JP2021087083A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】カラー信号を用いたＷＤＲ合成処理を行う画像処理装置で、色ずれ等の発生を低減する。【解決手段】画像処理装置１は、長露光画像データ及び短露光画像データにおける各画素のＲＧＢ成分値を、当該画素の周辺画素のＲＧＢ成分値に基づいて、それぞれ補間する色補間部１０と、長露光画像データと短露光画像データの合成画像を生成するＷＤＲ合成処理部２０とを備える。ＷＤＲ合成処理部２０は、各画素について、補間後の最大のＲＧＢ各成分値に基づいて、長露光画像と短露光画像の合成比率を決定する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

デジタルカメラのダイナミックレンジは、肉眼と比較するとかなり狭いため、被写体の明暗差が大きい場合には、撮影された画像においては、明度の高い部位および低い部位の階調が失われ、それぞれ、「白飛び」、「黒潰れ」と呼ばれる現象が発生する。こうした「白飛び」、「黒潰れ」を防止するため、近年、「ＷＤＲ（Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）」ないし「ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）」と呼ばれる機能が導入されるようになってきている。

ＷＤＲ及びＨＤＲは、露光時間の異なる２枚の画像を合成して、ダイナミックレンジを拡大した画像を生成した後、トーンマッピングにより、ダイナミックレンジを縮小した上で、１枚の画像として出力するが、合成の際の２枚の画像の合成比率の決め方については、種々の技術が提案されている。例えば、特許文献１には、露光量の異なる２つの画像データから、被写体の動きを検出し、被写体の動きの有無に応じて、ＷＤＲ出力のオン・オフを切り替える技術が開示されている。また、特許文献２には、イメージセンサにおける信号増幅度に基づき、信号増幅度が高い場合、すなわち、被写体の明度が低い場合には、長露光画像の選択比率が大きくなるように、長露光画像と短露光画像の合成比率を算出する技術が開示されている。

特開２０００−５０１５１号公報 特開２０１６−０５８８８９号公報

しかしながら、特許文献１には、ＷＤＲ出力がオンとなった場合における合成比率をどのように決めるかについては開示されていない。一方、特許文献２に記載された技術では、合成比率の算出方法の例が開示されているが、これは、ＷＤＲ合成画像におけるノイズを緩やかに低減させることを目的とするものであって、１フレーム内の明暗差または色差のある領域の動きが考慮されていないため、かかる場合に発生し得る色ずれを抑止することは困難である。

本発明は、上記の問題に鑑みてなされたものであり、ＷＤＲ合成処理において、色ずれ等の発生を抑止または低減、緩和することができる、画像処理装置等を提供することを目的とする。

本発明の画像処理装置は、第１の画像データと、前記第１の画像データよりも短い露光時間にて撮像された第２の画像データの合成を行う画像処理装置であって、前記第１の画像データにおける各画素のＲＧＢ成分値及び前記第２の画像データにおける各画素のＲＧＢ成分値を、当該画素の周辺画素のＲＧＢ成分値に基づいて、それぞれ補間する色補間部と、前記第１の画像データと前記第２の画像データを合成して、前記第１の画像データ及び第２の画像データよりもダイナミックレンジが拡大された画像データを生成するＷＤＲ合成処理部と、を備え、前記色補間部は、前記第１の画像データにおける各画素について、補間後のＲＧＢ各成分値のうち、最大のＲＧＢ成分値を出力し、前記ＷＤＲ合成処理部は、前記色補間部から出力された、各画素の最大のＲＧＢ成分値に基づいて、第１の画像データと前記第２の画像データの合成比率を画素ごとに決定する構成を有している。

この構成によれば、より露光時間の長い第１のフレーム画像について、色補間部によって補間された各ＲＧＢ値の最大値に基づいて、ＷＤＲ合成処理部における各画素のＷＤＲ合成比率が決定される。色補間部においては、各画素のＲＧＢ成分値が、その周辺画素のＲＧＢ成分値に基づいて補間されるので、合成対象となる画素のＲＧＢ最大値は、その周辺画素のＲＧＢ最大値と近似した値となり、したがって、補間後のＲＧＢ最大値に基づいて決定された合成比率も、周辺画素において一致、または、近似することになる。被写体に動きがある場合、周辺に位置するＲＧＢで合成比率の差が大きいと、元のカラーバランスが崩れて、合成後に色ずれ（偽色）が発生しやすくなるところ、かかる構成により、色ずれしにくい合成比率を決定することができる。

本発明の画像処理装置は、前記色補間部から出力された補間後の第１の画像データ及び第２の画像データを合成して生成された画像データに基づいて、合成輝度値を算出する輝度算出部と、前記輝度算出部にて算出された合成輝度値に基づき算出された圧縮パラメータにより、前記ＷＤＲ合成処理部にて生成された画像データの圧縮を行う圧縮部と、をさらに備え、前記輝度算出部は、補間後の第１の画像データ及び第２の画像データの合成比率を、補間後の第１の画像データの画素値に基づいて決定してよい。

合成輝度値は圧縮パラメータの算出に用いられるものであるため、合成画像データに色ずれが生じたとしても、ＷＤＲ合成画像への影響は小さいと考えられる一方で、補間処理後のＲＧＢ最大値に基づいて合成比率を決定すると、短露光画像の合成比率が高くなって、Ｓ／Ｎ比が悪化するおそれがある。ＷＤＲ合成処理部においては、色ずれの抑止、低減を優先して、補間後のＲＧＢ最大値に基づき、合成比率を決定する一方で、輝度算出部においては、Ｓ／Ｎ比の維持を優先し、色補間後の長露光画像データの画素値に基づき、合成比率を決定することにより、ＷＤＲ画像合成処理全体における画質の向上を図ることができる。

本発明の画像処理装置は、前記第１の画像データ及び第２の画像データにおける同一位置の各画素について、動きの有無を判定する動き判定部をさらに備え、前記ＷＤＲ合成処理部は、前記動き判定部において、画素における動きがあると判定された場合に、前記第２の画像データのみが使用されるように、当該画素についての合成比率を決定してよい。

この構成によれば、画素に動きがあると判断された場合、ＷＤＲ合成処理部において、より露光時間の短い画像データのみが使用されるので、被写体の位置ずれを防止するとともに、動きブレを抑制ないし低減させることができる。

本発明の他の画像処理装置は、第１の画像データと前記第１の画像データよりも短い露光時間にて撮像された第２の画像データの合成、及び、前記第２の画像データと前記第２の画像データよりも短い露光時間にて撮像された第３の画像データの合成を行う画像処理装置であって、前記第１の画像データ、前記第２の画像データ、前記第３の画像データのそれぞれにおける各画素のＲＧＢ成分値を、当該画素の周辺画素のＲＧＢ成分値に基づいて、それぞれ補間する色補間部と、前記第１の画像データと前記第２の画像データを合成して、前記第１の画像データ及び第２の画像データよりもダイナミックレンジが拡大された画像データを生成し、前記第２の画像データと前記第３の画像データを合成して、前記第２の画像データ及び第３の画像データよりもダイナミックレンジが拡大された画像データを生成するＷＤＲ合成処理部と、を備え、前記色補間部は、前記第１の画像データ及び前記第２の画像データにおける各画素について、補間後のＲＧＢ各成分値のうち、最大のＲＧＢ成分値を出力し、前記ＷＤＲ合成処理部は、前記色補間部から出力された、各画素の最大のＲＧＢ成分値に基づいて、前記第１の画像データと前記第２の画像データの合成比率及び前記第２の画像データと前記第３の画像データの合成比率を画素ごとに決定し、前記第１の画像データの画素値に基づいて、前記第１の画像データと前記第２の画像データの合成データまたは前記第２の画像データと前記第３の画像データの合成データのいずれかを画素ごとに選択する構成を有している。

この構成によれば、露光時間が異なる３つの画像データを入力データとして用いて、２つの合成画像データを生成する際、より露光時間の長い画像データの補間処理後のＲＧＢ最大値に基づき合成比率が決定されるとともに、最も露光時間の長い画像データの画素値に基づいて２つの合成画像のうちの１つが選択されるので、各々において、色ずれが抑制、低減された２つの合成画像データから、最適な合成画像を出力することができる。

上記の画像処理装置は、前記第１の画像データ及び第２の画像データにおける同一位置の各画素について、動きの有無を判定する動き判定部をさらに備え、前記ＷＤＲ合成処理部は、前記動き判定部において、画素における動きがあると判定された場合に、前記第２の画像データと前記第３の画像データの合成データを選択してよい。

この構成によれば、画素に動きがあると判断された場合、ＷＤＲ合成処理部において、より露光時間の短い２つの画像データから生成された合成データが選択されるので、動きブレを抑制ないし低減させた合成画像を出力することができる。

本発明の画像処理方法は、第１の画像データと、前記第１の画像データよりも短い露光時間にて撮像された第２の画像データの合成を行う画像処理方法であって、前記第１の画像データにおける各画素のＲＧＢ成分値及び前記第２の画像データにおける各画素のＲＧＢ成分値を、当該画素の周辺画素のＲＧＢ成分値に基づいて、それぞれ補間するステップと、前記第１の画像データと前記第２の画像データを合成して、前記第１の画像データ及び第２の画像データよりもダイナミックレンジが拡大された画像データを生成するステップと、を備え、前記補間を行うステップにおいては、前記第１の画像データにおける各画素について、補間後のＲＧＢ各成分値のうち、最大のＲＧＢ成分値が出力され、前記画像データを生成するステップにおいては、前記最大のＲＧＢ成分値に基づいて、第１の画像データと前記第２の画像データの合成比率を画素ごとに決定される。

本発明のプログラムは、第１の画像データと、前記第１の画像データよりも短い露光時間にて撮像された第２の画像データの合成を行うためのプログラムであって、コンピュータに、前記第１の画像データにおける各画素のＲＧＢ成分値及び前記第２の画像データにおける各画素のＲＧＢ成分値を、当該画素の周辺画素のＲＧＢ成分値に基づいて、それぞれ補間するステップと、前記第１の画像データと前記第２の画像データを合成して、前記第１の画像データ及び第２の画像データよりもダイナミックレンジが拡大された画像データを生成するステップと、を実行させ、前記補間を行うステップにおいては、前記第１の画像データにおける各画素について、補間後のＲＧＢ各成分値のうち、最大のＲＧＢ成分値が出力され、前記画像データを生成するステップにおいては、前記最大のＲＧＢ成分値に基づいて、第１の画像データと前記第２の画像データの合成比率を画素ごとに決定される。

本発明によれば、色補間部によって補間された各ＲＧＢ値の最大値に基づいてＷＤＲ合成における合成比率が設定されるので、周辺画素において、相互に合成比率を一致、または、近似させることができ、これにより、例えば、被写体に動きがある場合において、色ずれの発生を抑止または低減、緩和することができる

本発明の第１の実施の形態における画像処理装置の構成を示すブロック図 本発明の第１の実施の形態における色補間部による色補間処理の概念を説明するための図 本実施の第１の実施の形態における、ＲＧＢＭａｘとｒａｔｉｏとの関係を示す図 合成輝度値の変換テーブルの一例を示す図 本発明の第２の実施の形態における画像処理装置の構成を示すブロック図 （ａ）〜（ｃ）本発明の第１、第２の実施の形態における画像処理装置の出力例を説明するための図 本発明の第３の実施の形態における画像処理装置の構成を示すブロック図 本発明の第３の実施の形態における画像処理装置のＷＤＲ合成処理部における合成処理のフロー図

以下、本発明の実施の形態の画像処理装置について、図面を参照しながら説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態の画像処理装置の構成を示す図である。図１において、画像処理装置１は、色補間部１０と、ＷＤＲ合成処理部２０と、輝度算出部３０と、圧縮部４０を備える。また、Ｔ１、Ｔ２は、図示しない撮像素子からの出力Ｒａｗデータ（生データ）である。Ｔ１、Ｔ２は、露光時間を変えて２フレーム連続して撮像されたデータであり、その連続する２フレーム画像のうち、Ｔ１は、より長い露光時間にて撮像された画像データ（長露光画像データ）であり、Ｔ２は、より短い露光時間にて撮像された画像データ（短露光画像データ）である。

色補間部１０は、長露光画像データＴ１と、短露光画像データＴ２のそれぞれについて、各画素のＲＧＢ成分値のうち、不足している成分値を、その画素の周辺画素のＲＧＢ成分値に基づいて補間生成する。

図２は、本発明の第１の実施の形態における色補間部１０による色補間処理の概念を説明するための図である。長露光画像データＴ１は、ベイヤーフィルタが適用されることで、図２に示すようなパターンにて、画素位置とＲＧＢ成分及びＲＧＢ成分値が対応付けられている。色補間処理は、本実施の形態においては、対応する画素位置に応じて、Ｒ（ＩＤ：０（Ｒ））、Ｇｒ（ＩＤ：１（Ｇｒ））、Ｇｂ（ＩＤ：２（Ｇｂ））、Ｂ（ＩＤ：３（Ｂ））のそれぞれについて、以下のように、不足する成分値が補間生成されることにより行われる。

ＩＤ：０（Ｒ）
Ｒ＝ｐｉｘ（ｘ，ｙ）
Ｇ＝Ａｖｒ（ｐｉｘ（ｘ，ｙ−１）, ｐｉｘ（ｘ，ｙ＋１），ｐｉｘ（ｘ−１，ｙ），ｐｉｘ（ｘ＋１，ｙ））
Ｂ＝Ａｖｒ（ｐｉｘ（ｘ−１，ｙ−１）, ｐｉｘ（ｘ＋１，ｙ−１），ｐｉｘ（ｘ−１，ｙ＋１），ｐｉｘ（ｘ＋１，ｙ＋１））

ＩＤ：１（Ｇｒ）
Ｒ＝Ａｖｒ（ｐｉｘ（ｘ−１，ｙ），ｐｉｘ（ｘ＋１，ｙ））
Ｇ＝ｐｉｘ（ｘ，ｙ）
Ｂ＝Ａｖｒ（ｐｉｘ（ｘ，ｙ−１）,ｐｉｘ（ｘ，ｙ＋１））

ＩＤ：２（Ｇｂ）
Ｒ＝Ａｖｒ（ｐｉｘ（ｘ，ｙ−１），ｐｉｘ（ｘ，ｙ＋１））
Ｇ＝ｐｉｘ（ｘ，ｙ）
Ｂ＝Ａｖｒ（ｐｉｘ（ｘ−１，ｙ）,ｐｉｘ（ｘ＋１，ｙ））

ＩＤ：３（Ｂ）
Ｒ＝Ａｖｒ（ｐｉｘ（ｘ−１，ｙ−１）, ｐｉｘ（ｘ＋１，ｙ−１），ｐｉｘ（ｘ−１，ｙ＋１），ｐｉｘ（ｘ＋１，ｙ＋１））
Ｇ＝Ａｖｒ（ｐｉｘ（ｘ，ｙ−１）, ｐｉｘ（ｘ，ｙ＋１），ｐｉｘ（ｘ，ｙ−１），ｐｉｘ（ｘ，ｙ＋１））
Ｂ＝ｐｉｘ（ｘ，ｙ）

ここで、ｐｉｘ（ｘ，ｙ）は、補間処理を行う座標（ｘ，ｙ）に位置する画素の画素値（ＲＧＢ成分値）であり、Ａｖｒ（）は平均関数、すなわち、括弧内の画素値の平均値を求める計算式である。

したがって、例えば、図２において、画素Ｐ１（１,２）が、Ｒ成分に対応しているとき、ＲＧＢ成分値のうち、Ｇ成分値及びＢ成分値は、以下のように、Ｐ１の周囲８個の周辺画素のＲＧＢ成分値（画素値）の平均値により補間生成される。
Ｒ= ｐｉｘ（１， ２）＝３８０
Ｇ＝（６８８＋７００＋６９２＋６８８）／４＝６９２
Ｂ＝（１５２＋１５２＋１５６＋１４８）／４＝１５２

また、画素Ｐ２（５，３）がＧ成分に対応しているとき、ＲＧＢ成分値のうち、Ｒ成分値及びＧ成分値は、以下のように、Ｐ２の周囲８個の周辺画素のＲＧＢ成分値（画素値）の平均値により補間生成される。
Ｒ＝（ ４０８ ＋ ３９６ ） ／ ２ ＝ ４０２
Ｇ＝ｐｉｘ（５，３）＝６７２
Ｂ＝（ １５２ ＋ １５２ ＋ １５６ ＋ １４８ ） ／ ４ ＝ １５２

色補間部１０は、このようにして補間されたＲＧＢ成分値を、長露光画像Ｔ１を構成する各画素及び短露光画像Ｔ２を構成する各画素それぞれについて算出し、輝度算出部３０に出力する。色補間部１０はまた、長露光画像Ｔ１を構成する各画素について、補間生成された各ＲＧＢ成分値のうち、最大のＲＧＢ成分値（ＲＧＢＭａｘ）をＷＤＲ合成処理部２０に出力する。上記の例では、画素Ｐ１（１,２）について、６９２が、画素Ｐ２（５，３）について、６７２が、それぞれ最大値として出力されることになる。

ＷＤＲ合成処理部２０は、長露光画像データＴ１と短露光画像データＴ２を合成して、それらの画像データよりもダイナミックレンジが拡大された、ＷＤＲ画像データを生成する。ＷＤＲ画像データの合成は、同一位置に存在する画素の長露光画素値と短露光画素値を次式
Ｍｉｘ＝［Ｔ１×（１．０−ｒａｔｉｏ）＋（Ｔ２×ｅｘｐＲａｔｉｏ）×ｒａｔｉｏ］×２^{（６−ｅｘｐＲｂｉｔ）}
に従い合成することにより行う。ここで、Ｔ１は長露光画像データの画素値、Ｔ２は短露光画像データの画素値、ｅｘｐＲａｔｉｏは露出倍率（２のべき乗で最大６４）、ｅｘｐＲｂｉｔはｌｏｇ２（ｅｘｐＲａｔｉｏ）、ｒａｔｉｏは合成比率（０≦ｒａｔｉｏ≦１）である。上式において、ｒａｔｉｏ、すなわち、ＷＤＲ合成処理部２０が長露光画像データＴ１と短露光画像データＴ２の合成を行う際の両画像データの合成比率は、色補間部１０から出力された、補間処理後の長露光画像データの各画素の最大のＲＧＢ成分値ＲＧＢＭａｘに基づいて、画素ごとに決定される。なお、長露光画像及び短露光画像がともに１２ビットの場合、合成された画像データは１８ビットとなる。

図３は、本実施の形態における、ＲＧＢＭａｘとｒａｔｉｏとの関係を示す図である。図３に示すように、本実施の形態では、ＲＧＢＭａｘが０〜α０のとき、ｒａｔｉｏは０となり、長露光画像データＴ１のみが使用されることになり、ＲＧＢＭａｘがβ０以上のときは、ｒａｔｉｏは１となり、短露光画像デーＴ２タのみが使用されることになる。ＲＧＢＭａｘがα０〜β０のとき、ｒａｔｉｏは０〜１の間でＲＧＢＭａｘに比例して増加し、長露光画像データＴ１と短露光画像データＴ２が合成されることになる。本発明において、このようにＲＧＢＭａｘの大きさに応じてｒａｔｉｏを変化させるのは、ＲＧＢＭａｘが小さいほど、つまり、被写体が暗いほど短露光画像データＴ２の精度が悪くなり、また、ＲＧＢＭａｘが大きいほど、つまり、被写体が明るいほど、長露光画像データＴ１では、いわゆる白飛びの状態となって、階調の再現性が悪化する可能性が高くなるためである。

ところで、被写体の明度は、色補間前の生の長露光画像データＴ１にも反映されている。したがって、単に、被写体の明度と、長露光画像／短露光画像の相対的な優位性との関係にのみ着目する場合には、ＲＧＢＭａｘの代わりに、例えば、色補間前の長露光画像データの生の画素値をそのまま利用することで、図３と同様の手法で合成比率ｒａｔｉｏを決めることも考えられる。しかしながら、色補間前の生の画素値は、その位置に応じて、Ｒ、Ｇ、Ｂのいずれかの成分値しか有さず、また、その周辺で大きな差がある場合もあるため、もし、色補間前の生の長露光画像データの画素値を用いると、周辺に位置するＲＧＢで合成比率の差が大きくなり得る。このような場合であっても、長時間露光画像データＴ１と短時間露光画像データＴ２が同じ色に対応したデータであれば、ＲＧＢで合成比率が異なっていても合成された画像データは元の色と同じまたは近似した色となる。これに対して、色の境界領域や明暗差のある領域が動いている場合においては、長時間露光画像データＴ１と短時間露光画像データＴ２が、かかる動きにより異なる色に対応する場合がある。このような場合においては、異なる色のデータを合成することになるため、周辺に位置するＲＧＢで合成比率の差が大きくなると、元のカラーバランスが崩れて、合成後に色ずれ（偽色）が発生しやすくなるという問題が生じる。これに対して、本発明では、色補間部１０から出力されるＲＧＢＭａｘは、周辺画素の画素値を利用して算出されるものであるため、周辺画素のＲＧＢＭａｘは、相互に近似した値となり、これにより、周辺画素の合成比率を一致、または、近づけることができる。

輝度算出部３０は、色補間部１０から出力された補間後の長露光画像データ（Ｔ１（Ｒ），Ｔ１（Ｇ），Ｔ１（Ｂ））及び補間後の短露光画像データ（Ｔ２（Ｒ），Ｔ２（Ｇ），Ｔ２（Ｂ））をＷＤＲ合成して、Ｒ、Ｇ、Ｂそれぞれの合成信号（Ｍｉｘ（Ｒ），Ｍｉｘ（Ｇ），Ｍｉｘ（Ｂ））を生成した上で、次式のように、各合成信号を所定割合で加算して、圧縮部４０にて使用される圧縮パラメータの算出に必要な合成輝度値Ｙｍｉｘを算出する。
Ｙｍｉｘ＝［４×Ｍｉｘ（Ｒ）＋１１×Ｍｉｘ（Ｇ）＋Ｍｉｘ（Ｂ）］／１６

輝度算出部３０における、補間後の長露光画像データ（Ｔ１（Ｒ），Ｔ１（Ｇ），Ｔ１（Ｂ））及び補間後の短露光画像データ（Ｔ２（Ｒ），Ｔ２（Ｇ），Ｔ２（Ｂ））の合成は、ＷＤＲ合成処理部２０における合成処理と同様に行われる。ただし、ＷＤＲ合成処理部２０においては、合成比率は、色補間部１０から出力された、補間処理後の長露光画像データの各画素の最大のＲＧＢ成分値（ＲＧＢＭａｘ）に基づいて決定されたのに対し、輝度算出部３０は、色補間後の長露光画像データＴ１の画素値に基づき、Ｒ、Ｇ、Ｂごとに、合成比率を決定する。合成比率は、図３において、横軸のＲＧＢＭａｘをＴ１（Ｔ１（Ｒ）またはＴ１（Ｇ）またはＴ１（Ｂ））に読み替えることにより割り出すことができる。

ＷＤＲ合成処理部２０の合成処理においては、周辺画素の合成比率を一致、または、近づけて、色ずれを抑止または低減させるために、合成比率の決定にＲＧＢＭａｘを用いたことは上述のとおりである。これに対して、輝度算出部３０における合成処理は、輝度算出を目的とするものであり、色ずれが生じたとしても、影響は小さいと考えられる一方で、ＲＧＢＭａｘに基づいて合成比率を決定すると、短露光画像データＴ２の比率が高くなって、Ｓ／Ｎ比が悪化するおそれがある。そこで、本発明においては、ＷＤＲ合成処理部２０においては、色ずれの抑止、低減を優先して、ＲＧＢＭａｘに基づき、合成比率を決定する一方で、輝度算出部３０においては、Ｓ／Ｎ比の維持を優先し、色補間後の長露光画像データＴ１の画素値に基づき、合成比率を決定することにより、ＷＤＲ画像合成処理全体における画質の向上の観点からのバランスを図っている。

圧縮部４０は、ＷＤＲ合成処理部２０にて生成された１８ビットのＷＤＲ合成画像を、輝度算出部３０から出力された合成輝度値Ｙｍｉｘに基づき、１２ビットの画像データに圧縮する。具体的には、まず、合成輝度値Ｙｍｉｘを、図４に示す変換テーブルに基づき、１２ビットの値（Ｙｏｕｔ）に変換した後、その入出力比（Ｙｏｕｔ／Ｙｍｉｘ）から算出した変換倍率をＷＤＲ合成画像データに乗じることにより、ＷＤＲ合成処理部４０にて、一旦拡大されたダイナミックレンジを圧縮する。このように、合成輝度値Ｙｍｉｘに基づき、変換倍率を決めるため、もともとのカラーバランスを維持した状態で圧縮を行うことができる。

以上、説明したように、本発明の第１の実施の形態の画像処理装置によれば、長露光画像の色補間後の最大のＲＧＢ成分値に基づき、長露光画像データと短露光画像データの合成比率が決定されるので、周辺画素の合成比率を一致、または、近づけることができる。これにより、合成画像において、色ずれの発生を抑止または低減させることができる。

なお、第１の実施の形態においては、ベイヤーフィルタが適用され、色補間部３０が、線形補間法により色補間を行う場合について説明したが、本発明の範囲はこれに限らず、他の種類のカラーフィルタが適用されても良く、また、色補間も他の手法により行われても良い。

また、第１の実施の形態においては、ＲＧＢＭａｘとｒａｔｉｏの関係の一例として、図３を用いて説明したが、本発明の範囲はこれに限らず、０＜ｒａｔｉｏ＜１の間において、ＲＧＢＭａｘとｒａｔｉｏの関係は線形でなくても良い。

（第２の実施の形態）
図５は、本発明の第２の実施の形態の画像処理装置の構成を示す図である。図５に示すように、本発明の第２の実施の形態の画像処理装置２は、図１に示す第１の実施の形態の画像処理装置１の構成に加えて、動き判定部５０を備える。

動き判定部５０は、色補間部１０から取得した、色補間後の長露光画像データ及び短露光画像データにおける、同一位置の各画素について、動きの有無を判定し、その結果をＷＤＲ合成処理部２０及び輝度算出部３０に出力する。

動き判定部５０は、まず、各画素において、Ｒ、Ｇ、Ｂそれぞれについて、動きの有無を判定する。Ｒ、Ｇ、Ｂそれぞれについての動きの判定は、色補間後の長露光画像データＴ１と短露光画像データＴ２を露出倍率ｅｘｐＲａｔｉｏでレベル調整し、ｓｈｔＲｅｆ（＝Ｔ１／ｅｘｐＲａｔｉｏ）を得た後、色補間後の短露光画像データＴ２と比較し、ｍｉｎ≦Ｔ２≦ｍａｘ（ただし、ｍｉｎ＝ｓｈｔＲｅｆ−ｅｒｒ、ｍａｘ＝ｓｈｔＲｅｆ＋ｅｒｒであり、ｅｒｒは小さな動きを無視するためのパラメータである。）となる場合に、その色成分について、動きなしと判定し、それ以外の場合、すなわち、Ｔ２＜ｍｉｎ、または、Ｔ２＞ｍａｘのとき、動きありと判定する。動き判定部５０は、このようにして各画素において、Ｒ、Ｇ、Ｂそれぞれについて、動きの有無を判定した上で、Ｒ、Ｇ、Ｂの少なくともいずれかに動きがあると判定した場合には、当該画素については、動きがあると判定する。

ＷＤＲ合成処理部２０及び輝度算出部３０の機能及び動作は、第１の実施の形態における画像処理装置１のそれらと概ね同様である。ただし、第２の実施の形態における画像処理装置２においては、ＷＤＲ合成処理部２０及び輝度算出部３０は、さらに、動き判定部５０から出力された判定結果に基づいて、合成比率ｒａｔｉｏを決定する。具体的には、ＷＤＲ合成処理部２０は、動き判定部５０から出力された判定結果が、その画素について、「動きあり」であった場合、ＲＧＢＭａｘの値によらず、ｒａｔｉｏ＝１と設定し、「動きなし」であった場合、ＲＧＢＭａｘの値に基づき、図３で示す関係性に従い、ｒａｔｉｏを決定する。

輝度算出部３０も、動き判定部５０から出力された判定結果が、その画素について、「動きあり」であった場合、色補間後の長露光画像データの画素値によらず、ｒａｔｉｏ＝１と設定し、「動きなし」であった場合、色補間後の長露光画像データの画素値に基づき、図３で示す関係性に従い、ｒａｔｉｏを決定する。なお、輝度算出部３０においては、Ｒ、Ｇ、Ｂそれぞれについて、合計３つのＷＤＲ合成処理が行われるが、本実施の形態では、動き判定部５０から取得される、画素ごとに１つの判定結果を、この３つの合成処理に共通して用いる。

以上説明したように、本発明の第２の実施の形態の画像処理装置２では、被写体に動きがあると判断された場合、ＷＤＲ合成処理部及び輝度算出部において、合成比率は１となり、短露光画像データＴ２画像データのみが使用される。これは、一方の画像データのみ使用することで被写体の位置ずれを防止するとともに、露光時間が短いＴ２画像データを用いることで、ブレを抑制ないし低減させるためである。また、本実施の形態において、被写体の動きの有無が、ＷＤＲ合成処理部における色ずれ抑制のための合成比率の決定に優先される。本実施の形態では、動きを検出した場合に、合成比率を１とすることから、これにより、同時にＲＧＢで合成比率を一致させることができるので、色ずれも同時に抑制することができる。本実施の形態では、動きの検出によるブレ、色ずれ抑制と、ＲＧＢＭａｘに基づく合成比率の決定による色ずれ抑制とを組み合わせることにより、ブレの発生、色ずれの発生の双方を、１フレーム全体できめ細かく抑制、低減させることができる。

なお、第２の実施の形態においては、ＷＤＲ合成処理部２０が、ＲＧＢＭａｘを取得する場合について説明したが、本発明の範囲はこれに限らず、色補間部１０とＷＤＲ合成処理部２０との間にセレクタを設け、例えば、「色ずれ抑制」機能をユーザが手動で選択した場合に、ＷＤＲ合成処理部２０がＲＧＢＭａｘを取得してもよい。

（本発明の第１、第２の実施の形態の画像処理結果）
図６（ａ）〜（ｃ）は、本発明の第１、第２の実施の形態における画像処理結果を説明するための図である。図６（ａ）〜（ｃ）は、いずれも、右側に位置する指が動いている状態を撮影したものである。図６（ａ）は、本発明の第１の実施の形態における画像処理結果であり、従来技術による画像処理結果（図６（ｃ））と比べて、偽色の発生が低減されていることが分かる。また、図６（ｂ）は、本発明の第２の実施の形態における画像処理結果であり、従来技術による画像処理結果（図６（ｃ））と比べて、色ずれ、ぶれが抑制されたことが分かる。

（本発明の第３の実施の形態）
図７は、本発明の第３の実施の形態の画像処理装置３の構成を示す図である。第３の実施の形態の画像処理装置３において、色補間部１０は、露光時間が異なる３つの画像データＴ１、Ｔ２、Ｔ３（露光時間は、Ｔ１＞Ｔ２＞Ｔ３）について、色補間を行う。ＷＤＲ合成処理部２０は、Ｔ１、Ｔ２、Ｔ３を入力データとして用いて、Ｔ１及びＴ２の合成データとＴ２及びＴ３の合成データの２つの合成データのうちのいずれかを選択して出力する。輝度算出部３０は、補間後のＴ１データ（Ｔ１（Ｒ），Ｔ１（Ｇ），Ｔ１（Ｂ））、補間後のＴ２データ（Ｔ２（Ｒ），Ｔ２（Ｇ），Ｔ２（Ｂ））、補間後のＴ３データ（Ｔ３（Ｒ），Ｔ３（Ｇ），Ｔ３（Ｂ））を入力データとして用いて、Ｔ１及びＴ２、Ｔ２及びＴ３の２つのデータについて、Ｒ、Ｇ、ＢごとにＷＤＲ合成して２つの合成信号（Ｍｉｘ（Ｒ），Ｍｉｘ（Ｇ），Ｍｉｘ（Ｂ））を生成し、そのうちのいずれかを選択した上で、合成輝度値Ｙｍｉｘを算出する。圧縮部４０の機能及び動作は、第１の実施形態にて説明したとおりである。動き判定部５０は、画像データＴ１とＴ２について、第２の実施の形態と同様に、画素ごとに動きの有無を判定する。

図８は、画像処理装置３のＷＤＲ合成処理部２０における合成処理のフロー図である。まず、合成処理部２０は、Ｔ１及びＴ２のデータ合成における合成比率ｒａｔｉｏ０とＴ２及びＴ３のデータ合成におけるｒａｔｉｏ１を決定する（ステップＳ１）。ｒａｔｉｏ０とｒａｔｉｏ１の決定は、第１の実施の形態と同様に行う。すなわち、Ｔ１及びＴ２のデータ合成においては、補間処理後のＴ１の各画素の最大のＲＧＢ成分値ＲＧＢＭａｘに基づき、画素ごとにｒａｔｉｏ０を決定し、Ｔ２及びＴ３のデータ合成においては、補間処理後のＴ２の各画素の最大のＲＧＢ成分値ＲＧＢＭａｘに基づき、画素ごとにｒａｔｉｏ１を決定する。

ＷＤＲ合成処理部２０は、こうして決定されたｒａｔｉｏ０、ｒａｔｉｏ１を用いて、Ｔ１及びＴ２のデータ合成と、Ｔ２及びＴ３のデータ合成を行い（ステップＳ２）、動き判定部５０から取得した判定結果に基づいて、当該画素に動きがある場合には（ステップＳ３にてＹｅｓ）、Ｔ２／Ｔ３合成データを選択する（ステップＳ４）。一方、当該画素に動きがない場合には（ステップＳ３にてＮｏ）、さらに、Ｔ１画素値と閾値β０を比較し、Ｔ１画素値の方がβ０以上であれば（ステップＳ５にてＮｏ）、同様にＴ２／Ｔ３合成データを選択する（ステップＳ４）が、Ｔ１画素値の方がβ０よりも小さければ（ステップＳ５にてＹｅｓ）、Ｔ１／Ｔ２合成データを選択する（ステップＳ６）。なお、ステップＳ４で、Ｔ２／Ｔ３合成が選択された場合には、Ｔ１／Ｔ２合成データとレベルをあわせるため、Ｔ１／Ｔ２の最大倍率（６４）を乗じた（ステップＳ７）上で、Ｔ２／Ｔ３データを出力する。ＷＤＲ合成処理部２０は、以上の合成処理を画素ごとに行う。

ステップＳ３〜４にて、画素に動きがある場合に、Ｔ２／Ｔ３合成データを選択するのは、動きブレや色ずれを抑制、低減させる観点からは、露光時間がより短い合成データを選択した方が好ましいからであり、また、ステップＳ５〜Ｓ６にて、Ｔ１画素値の方がβ０よりも小さい場合に、Ｔ１／Ｔ２合成データを選択するのは、Ｔ１画素値≧β０の場合、Ｔ１画素値が飽和レベルに達している可能性があるので、そうでない場合に限り、Ｔ１／Ｔ２合成データを選択した方が好ましいからである。

輝度算出部３０における合成処理は、第１の実施の形態で説明したように、Ｒ、Ｇ、Ｂごとに行われ、また、合成比率は、補間処理後のＲ、Ｇ、Ｂ成分値に基づき決定されるが、処理の流れは、ＷＤＲ合成処理部２０と同様である。

以上、説明したように、本発明の第３の実施の形態の画像処理装置３は、露光時間が異なる３つの画像データＴ１、Ｔ２、Ｔ３を入力データとして用いて、Ｔ１及びＴ２の合成データとＴ２及びＴ３の合成データの２つの合成データのうちのいずれかを選択して出力する。とりわけ、画素ごとの動きの有無及び長露光画像の画素値に基づき、合成画像を選択するため、動きブレ、色ずれが抑制、低減され、より色再現性に優れた画像を出力することができる。

なお、第３の実施の形態においては、ＷＤＲ合成処理部２０における合成比率の決定の際に、ＲＧＢＭａｘを用いる場合について説明したが、本発明の範囲はこれに限らず、合成比率は、Ｔ１／Ｔ２合成ではＴ１画素値に基づき、Ｔ２／Ｔ３合成ではＴ２画素値に基づき、決定されてよい。また、合成比率の決定の際には、第２の実施の形態の画像処理装置と同様に、動き判定の結果を利用してもよく、この場合において、Ｔ１／Ｔ２合成処理においてのみ、動き判定結果を利用してもよいし、Ｔ１／Ｔ２合成とＴ２／Ｔ３合成の双方に動き判定結果を利用してもよい。また、Ｔ１／Ｔ２合成における、０と０を上回る合成比率の閾値となる閾値α０及び１と１未満の合成比率の閾値となるβ０は、Ｔ２／Ｔ３合成における対応する閾値α１、β１の値と、同一でも異なっていてもよい。さらに、第３の実施の形態においては、画像選択の際に、閾値α０とＴ１画素値の大小を比較したが、Ｔ１画素値の代わりに、Ｔ１のＲＧＢＭａｘを比較に用いてもよい。

以上，本発明について実施例を用いて説明したが、本発明の技術的範囲は上記実施例に記載の範囲には限定されない。上記実施例に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１〜３ 画像処理装置
１０ 色補間部
２０ ＷＤＲ合成処理部
３０ 輝度算出部
４０ 圧縮部
５０ 動き判定部

Claims (7)

1. 第１の画像データと、前記第１の画像データよりも短い露光時間にて撮像された第２の画像データの合成を行う画像処理装置であって、
   前記第１の画像データにおける各画素のＲＧＢ成分値及び前記第２の画像データにおける各画素のＲＧＢ成分値を、当該画素の周辺画素のＲＧＢ成分値に基づいて、それぞれ補間する色補間部と、
   前記第１の画像データと前記第２の画像データを合成して、前記第１の画像データ及び第２の画像データよりもダイナミックレンジが拡大された画像データを生成するＷＤＲ合成処理部と、
   を備え、
   前記色補間部は、前記第１の画像データにおける各画素について、補間後のＲＧＢ各成分値のうち、最大のＲＧＢ成分値を出力し、
   前記ＷＤＲ合成処理部は、前記色補間部から出力された、各画素の最大のＲＧＢ成分値に基づいて、第１の画像データと前記第２の画像データの合成比率を画素ごとに決定する
   ことを特徴とする画像処理装置。
2. 前記色補間部から出力された補間後の第１の画像データ及び第２の画像データを合成して生成された画像データに基づいて、合成輝度値を算出する輝度算出部と、
   前記輝度算出部にて算出された合成輝度値に基づき算出された圧縮パラメータにより、前記ＷＤＲ合成処理部にて生成された画像データの圧縮を行う圧縮部と、
   をさらに備え、
   前記輝度算出部は、補間後の第１の画像データ及び第２の画像データの合成比率を、補間後の第１の画像データの画素値に基づいて決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の画像データ及び第２の画像データにおける同一位置の各画素について、動きの有無を判定する動き判定部をさらに備え、
   前記ＷＤＲ合成処理部は、前記動き判定部において、画素における動きがあると判定された場合に、前記第２の画像データのみが使用されるように、当該画素についての合成比率を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 第１の画像データと前記第１の画像データよりも短い露光時間にて撮像された第２の画像データの合成、及び、前記第２の画像データと前記第２の画像データよりも短い露光時間にて撮像された第３の画像データの合成を行う画像処理装置であって、
   前記第１の画像データ、前記第２の画像データ、前記第３の画像データのそれぞれにおける各画素のＲＧＢ成分値を、当該画素の周辺画素のＲＧＢ成分値に基づいて、それぞれ補間する色補間部と、
   前記第１の画像データと前記第２の画像データを合成して、前記第１の画像データ及び第２の画像データよりもダイナミックレンジが拡大された画像データを生成し、前記第２の画像データと前記第３の画像データを合成して、前記第２の画像データ及び第３の画像データよりもダイナミックレンジが拡大された画像データを生成するＷＤＲ合成処理部と、
   を備え、
   前記色補間部は、前記第１の画像データ及び前記第２の画像データにおける各画素について、補間後のＲＧＢ各成分値のうち、最大のＲＧＢ成分値を出力し、
   前記ＷＤＲ合成処理部は、前記色補間部から出力された、各画素の最大のＲＧＢ成分値に基づいて、前記第１の画像データと前記第２の画像データの合成比率及び前記第２の画像データと前記第３の画像データの合成比率を画素ごとに決定し、前記第１の画像データの画素値に基づいて、前記第１の画像データと前記第２の画像データの合成データまたは前記第２の画像データと前記第３の画像データの合成データのいずれかを画素ごとに選択する
   ことを特徴とする画像処理装置。
5. 前記第１の画像データ及び第２の画像データにおける同一位置の各画素について、動きの有無を判定する動き判定部をさらに備え、
   前記ＷＤＲ合成処理部は、前記動き判定部において、画素における動きがあると判定された場合に、前記第２の画像データと前記第３の画像データの合成データを選択する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 第１の画像データと、前記第１の画像データよりも短い露光時間にて撮像された第２の画像データの合成を行う画像処理方法であって、
   前記第１の画像データにおける各画素のＲＧＢ成分値及び前記第２の画像データにおける各画素のＲＧＢ成分値を、当該画素の周辺画素のＲＧＢ成分値に基づいて、それぞれ補間するステップと、
   前記第１の画像データと前記第２の画像データを合成して、前記第１の画像データ及び第２の画像データよりもダイナミックレンジが拡大された画像データを生成するステップと、
   を備え、
   前記補間を行うステップにおいては、前記第１の画像データにおける各画素について、補間後のＲＧＢ各成分値のうち、最大のＲＧＢ成分値が出力され、
   前記画像データを生成するステップにおいては、前記最大のＲＧＢ成分値に基づいて、第１の画像データと前記第２の画像データの合成比率を画素ごとに決定されることを特徴とする画像処理方法。
7. 第１の画像データと、前記第１の画像データよりも短い露光時間にて撮像された第２の画像データの合成を行うためのプログラムであって、コンピュータに、
   前記第１の画像データにおける各画素のＲＧＢ成分値及び前記第２の画像データにおける各画素のＲＧＢ成分値を、当該画素の周辺画素のＲＧＢ成分値に基づいて、それぞれ補間するステップと、
   前記第１の画像データと前記第２の画像データを合成して、前記第１の画像データ及び第２の画像データよりもダイナミックレンジが拡大された画像データを生成するステップと、
   を実行させ、
   前記補間を行うステップにおいては、前記第１の画像データにおける各画素について、補間後のＲＧＢ各成分値のうち、最大のＲＧＢ成分値が出力され、
   前記画像データを生成するステップにおいては、前記最大のＲＧＢ成分値に基づいて、第１の画像データと前記第２の画像データの合成比率を画素ごとに決定される
   ことを特徴とするプログラム。
   

Images