JP2004112572A - 画像処理装置、カメラ装置、及びその信号処理方法 - Google Patents

Abstract

【課題】長時間露光と短時間露光とを組み合わせることにより、広ダイナミックレンジの撮影を行うようにしたカメラシステムの補色バランス機能において、色温度のバランスを広い範囲で自在に制御する。
【解決手段】従来の補色バランス機能は、色信号にゲイン係数を掛けるだけであったが、本発明では乗算器の前後でオフセット値Ａ、Ｂを加算することにより、短時間側と長時間側の色温度領域で、マイナスゲインも含め、広い範囲で自在に補正を行えるようにした。つまり、乗算器１２０、２２０の前段に加算器１１０、２１０を追加することで、ゲイン＝傾きだけでなく、プラスやマイナスのオフセット値を自在に設定できるので、図３に示すＣＲ、ＣＢ軸方向に関係なく、すなわち象限に関係なく補色バランスを制御することが可能となる。
【選択図】　　　　　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、色分離によって得られた色信号にゲインを掛けて色温度を合わせてバランスさせる機能を実現する画像処理装置、カメラ装置及びその信号処理方法に関する。
【０００２】
【従来の技術】
従来より、長時間露光と短時間露光とを組み合わせることにより、広ダイナミックレンジの撮影を行うようにしたカメラシステムが提供されている。
そして、このような広ダイナミックレンジのカメラシステムにおいて、長時間露光側の信号と短時間露光側の信号の色温度が異なる場合に、それぞれ２つの色成分の信号（具体的にはＣＲ、ＣＢ）にゲイン（乗算器）を掛けて色温度を合わせるようにしている。
なお、このような色温度をバランスさせる機能を以下の説明では補色バランス機能という。
図４は従来の補色バランス機能による処理例を示す説明図であり、赤と青の２つの色信号ＣＲ、ＣＢを縦軸、横軸にとって４つの象限に分けた図である。
ここで、短時間側の色温度領域は、補色バランス機能による処理によってサンプルＡＡからサンプルＡＢに示すように補正され、長時間側の色温度領域は、補色バランス機能による処理によってサンプルＢＡからサンプルＢＢに示すように補正される。
【０００３】
また、図５は図４の処理を実現するための構成例を示す回路図である。
この回路は、短時間側と長時間側の各色信号の色成分に対してゲイン係数を乗算する乗算器１０、１２と、これら乗算器１０、１２に与えるゲイン係数（ＣＲＧＡＳ、ＣＢＧＡＳ、ＣＲＧＡＬ、ＣＢＧＡＬ）をライン識別信号（ＬＩＤ）に応じて選択するセレクタ１４、１６とで構成されている。
【０００４】
【発明が解決しようとする課題】
ところで、上述のような従来の広ダイナミックレンジカメラシステムにおける補色バランス機能においては、色信号にゲイン係数を掛けるだけであったので、色温度差を抑えるための制御として、図４に示すように、長時間側も短時間側も各画像信号をＣＲ軸及びＣＢ軸に近付けるような補正しかできない。
このため、従来の補色バランス機能では、制御できる範囲（すなわち、カメラシステムとして使える範囲）がせまいという課題があった。
また、象限を超えるようなゲインを与えると色相がずれてしまう。
このため、マイナスのゲインをかけるような制御も行えないという課題があった。
【０００５】
そこで本発明の目的は、色温度のバランスを広い範囲で自在に制御できる画像処理装置、カメラ装置、及びその信号処理方法を提供することにある。
【０００６】
【課題を解決するための手段】
本発明は前記目的を達成するため、長時間露光による画像信号と短時間露光による画像信号とを入力し、各画像信号の色分離を行う色分離手段と、前記色分離手段によって得られた長時間露光と短時間露光の各色信号の色温度をバランスさせる色バランス処理手段とを有し、前記色バランス処理手段は、前記色信号にゲイン係数を掛ける乗算器と、前記色信号にオフセット値を加算する加算器とを有することを特徴とする。
【０００７】
また本発明は、長時間露光による画像信号と短時間露光による画像信号とを入力し、各画像信号の色分離を行う色分離ステップと、前記色分離ステップによって得られた長時間露光と短時間露光の各色信号の色温度をバランスさせる色バランス処理ステップとを有し、前記色バランス処理ステップは、前記色信号にゲイン係数を掛ける乗算ステップと、前記色信号にオフセット値を加算する加算ステップとを有することを特徴とする。
【０００８】
本発明の画像処理装置、カメラ装置、及びその信号処理方法では、長時間露光と短時間露光の各色信号の色温度をバランスさせる場合に、各色信号にゲイン係数を掛けるだけでなく、オフセット値を加算するようにした。
このため、広ダイナミックレンジの画像信号に対し、色温度のバランスを広い範囲で自在に制御することができ、画像処理の高機能化や画質の向上等を図ることができる。
【０００９】
【発明の実施の形態】
以下、本発明による画像処理装置、カメラ装置、及びその信号処理方法の実施の形態例について説明する。
本実施の形態例では、長時間露光と短時間露光とを組み合わせることにより、広ダイナミックレンジの撮影を行うようにしたカメラシステムの補色バランス機能において、ゲイン係数を乗算する乗算器の前後に加算器を設けることにより、補色バランス機能の性能向上と制御可能な範囲の拡大を図るものである。
【００１０】
図１は本発明の実施の形態例におけるカメラ装置の画像処理を行う部分の構成例を示すブロック図である。
このカメラ装置は、例えばＣＣＤ固体撮像素子内でＡ／Ｄ変換されたデジタル画像信号を用いるものであり、長・短時間露光画像同時化回路２０、クランプ回路２２、２４、フリッカ補正回路２６、色（Ｙ／Ｃ）分離回路２８、３０、補色バランス処理回路３２、３４、及び長短合成回路３６、３８を有して構成されている。
長・短時間露光画像同時化回路２０は、ＣＣＤ固体撮像素子のシャッタ動作等によって長時間露光による画像信号と短時間露光による画像信号を順次入力し、後段の処理を行えるように、２つの画像信号の同時化を行うものである。
クランプ回路２２、２４は、長時間露光側の画像信号（ＬＯＮＧ）と短時間露光側の画像信号（ＳＨＯＲＴ）をそれぞれクランプするものであり、フリッカ補正回路２６は、短時間露光側（クランプ回路２４）の画像信号に対してフリッカ除去の補正を行うものである。
【００１１】
色（Ｙ／Ｃ）分離回路２８、３０は、長時間露光側の画像信号（ＬＯＮＧ）と短時間露光側の画像信号（ＳＨＯＲＴ）をそれぞれ輝度（Ｙ）信号と色（Ｃ）信号に分離するものであり、補色バランス処理回路３２、３４は、色（Ｙ／Ｃ）分離回路２８、３０によって分離された色信号（ＣＬＯＮＧ、ＣＳＨＯＲＴ）に対して補色バランス処理を行うものである。
また、長短合成回路３６は、色（Ｙ／Ｃ）分離回路２８、３０からの長時間露光側と短時間露光側の輝度信号（ＹＬＯＮＧ、ＹＳＨＯＲＴ）を合成し、合成輝度信号（ＹＭＩＸ）を出力するものであり、長短合成回路３８は、補色バランス処理回路３２、３４からの長時間露光側と短時間露光側の色信号（ＣＬＯＮＧ、ＣＳＨＯＲＴ）を合成し、合成輝度信号（ＣＭＩＸ）を出力するものである。
【００１２】
図２は本例の補色バランス処理回路の構成例を示す回路図であり、図２（Ａ）は長時間露光側の補色バランス処理回路３２を示し、図２（Ｂ）は短時間露光側の補色バランス処理回路３４を示している。
本例の補色バランス処理回路３２、３４は、従来例（図５）で説明した乗算器の前段と後段にそれぞれオフセット値を加算する加算器を設けたものである。
まず、短時間露光側の補色バランス処理回路３２は、前段加算器１１０と、乗算器１２０と、後段加算器１３０を有する。
そして、前段加算器１１０は、色（Ｙ／Ｃ）分離回路２８から入力された色信号（クロマ信号）に各色（ＣＲとＣＢ）毎のオフセット値Ｂ（ＣＲｏｆｓｅｔＢＳ、ＣＢｏｆｓｅｔＢＳ）を加算する。
【００１３】
また、乗算器１２０は、前段加算器１１０からの色信号に対し、従来と同様のゲイン係数（ＣＲＧＡＳ、ＣＢＧＡＳ）を乗算する。
また、後段加算器１３０は、乗算器１２０からの色信号に対して各色（ＣＲとＣＢ）毎のオフセット値Ａ（ＣＲｏｆｓｅｔＡＳ、ＣＢｏｆｓｅｔＡＳ）を加算するものである。
なお、これらの演算動作は、ライン識別信号（ＬＩＤ）に応じたセレクタ１４０、１５０、１６０による切り換え制御により、ＣＲ側の処理とＣＢ側の処理を切り換えながら行われる。
【００１４】
まず、長時間露光側の補色バランス処理回路３４は、前段加算器２１０と、乗算器２２０と、後段加算器２３０を有する。
そして、前段加算器２１０は、色（Ｙ／Ｃ）分離回路３０から入力された色信号（クロマ信号）に各色（ＣＲとＣＢ）毎のオフセット値Ｂ（ＣＲｏｆｓｅｔＢＬ、ＣＢｏｆｓｅｔＢＬ）を加算する。
乗算器２２０は、前段加算器２１０からの色信号に対し、従来と同様のゲイン係数（ＣＲＧＡＬ、ＣＢＧＡＬ）を乗算する。
また、後段加算器２３０は、乗算器２２０からの色信号に対して各色（ＣＲとＣＢ）毎のオフセット値Ａ（ＣＲｏｆｓｅｔＡＬ、ＣＢｏｆｓｅｔＡＬ）を加算するものである。
なお、これらの演算動作は、ライン識別信号（ＬＩＤ）に応じたセレクタ２４０、２５０、２６０による切り換え制御により、ＣＲ側の処理とＣＢ側の処理を切り換えながら行われる。
【００１５】
図３は本例の補色バランス機能による処理例を示す説明図であり、２つの色信号ＣＲ、ＣＢを縦軸、横軸にとって４つの象限に分けた図である。
従来は、色信号にゲイン係数を掛けるだけであったが、本例では乗算器の前後でオフセット値Ａ、Ｂを加算することにより、短時間側と長時間側の色温度領域で、矢印α、βに示すように、マイナスゲインも含め、広い範囲で自在に補正を行うことが可能となる。
すなわち、乗算器１２０、２２０の前段に加算器１１０、２１０を追加することで、ゲイン＝傾きだけでなく、プラスやマイナスのオフセット値を自在に設定できるので、ＣＲ、ＣＢ軸方向に関係なく、すなわち象限に関係なく補色バランスを制御することが可能となる。
また、従来はマイナスのゲインをかけるると色相がずれることにより、カメラの制御として使用できなかったが、マイナスのオフセット値を設定できることで、色相のずれを考慮しなくてよい。
【００１６】
ただし、乗算器の前にオフセットを設定することで、そのオフセット値にもゲインがかかり、特にゲイン係数が大きくなればなるほど、影響を受け易い。
そこで、本例のように、乗算器の後段にも加算器を追加することで、ゲイン係数の影響を抑制した補正を行うことが可能となる。
この結果、広ダイナミックレンジのカメラシステムにおける補色バランス機能の性能向上と制御可能な範囲の拡張を実現でき、長時間露光側と短時間露光側の色温度差をほぼ完全に抑えることが可能となる。
【００１７】
なお、以上の説明では、乗算器の前段と後段の両方に加算器を設けた例を説明したが、乗算器の前段か後段の一方に加算器を設ける場合についても本発明に含まれるものとする。
また、以上は本発明をＣＣＤ撮像素子を用いたカメラシステムに適用した例を説明したが、本発明はＣＣＤ撮像素子以外の撮像手段やその他の画像入力装置によって入力した画像を処理するカメラ装置に広く適用し得るものである。
また、カメラ装置として構成されるものに限らず、各種の画像信号を処理する画像処理装置単体としても構成することが可能である。
【００１８】
【発明の効果】
以上説明したように本発明の画像処理装置、カメラ装置、及びその信号処理方法によれば、長時間露光と短時間露光の各色信号の色温度をバランスさせる場合に、各色信号にゲイン係数を掛けるだけでなく、オフセット値を加算するようにしたことから、広ダイナミックレンジの画像信号に対し、色温度のバランスを広い範囲で自在に制御することができ、画像処理の高機能化や画質向上等を図ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態例におけるカメラ装置の画像処理を行う部分の構成例を示すブロック図である。
【図２】図１に示すカメラシステムにおける補色バランス処理回路の構成例を示す回路図である。
【図３】図２に示す補色バランス処理回路による処理例を示す説明図である。
【図４】従来のカメラシステムにおける補色バランス処理回路の構成例を示す回路図である。
【図５】図４に示す補色バランス処理回路による処理例を示す説明図である。
【符号の説明】
２０……長・短時間露光画像同時化回路、２２、２４……クランプ回路、２６……フリッカ補正回路、２８、３０……色（Ｙ／Ｃ）分離回路、３２、３４……補色バランス処理回路、３６、３８……長短合成回路、１１０、２１０……加算器、１２０、１３０、２２０、２３０……乗算器、１４０、１５０、１６０、２４０、２５０、２６０……セレクタ。

Claims (34)

1. 長時間露光による画像信号と短時間露光による画像信号とを入力し、各画像信号の色分離を行う色分離手段と、
   前記色分離手段によって得られた長時間露光と短時間露光の各色信号の色温度をバランスさせる色バランス処理手段とを有し、
   前記色バランス処理手段は、前記色信号にゲイン係数を掛ける乗算器と、前記色信号にオフセット値を加算する加算器とを有する、
   ことを特徴とする画像処理装置。
2. 前記色バランス処理手段は、複数の色成分毎に独立したゲイン係数を掛け、前記複数の色成分毎に独立したオフセット値を加算することを特徴とする請求項１記載の画像処理装置。
3. 前記乗算器に各色成分に対応するゲイン係数を選択的に供給するセレクタと、前記加算器に各色成分に対応するオフセット値を選択的に供給するセレクタとを有することを特徴とする請求項２記載の画像処理装置。
4. 前記加算器は前記乗算器の前段と後段の両方に設けられていることを特徴とする請求項１記載の画像処理装置。
5. 前記加算器は前記乗算器の前段に設けられていることを特徴とする請求項１記載の画像処理装置。
6. 前記加算器は前記乗算器の後段に設けられていることを特徴とする請求項１記載の画像処理装置。
7. 前記オフセット値はプラスとマイナスの値を含むことを特徴とする請求項１記載の画像処理装置。
8. 前記色分離手段によって得られた長時間露光と短時間露光による輝度信号を合成するとともに、前記色バランス処理手段によって得られた長時間露光と短時間露光による色信号を合成する長短合成手段を有することを特徴とする請求項１記載の画像処理装置。
9. 長時間露光による画像信号と短時間露光による画像信号とを入力し、各画像信号の色分離を行う色分離ステップと、
   前記色分離ステップによって得られた長時間露光と短時間露光の各色信号の色温度をバランスさせる色バランス処理ステップとを有し、
   前記色バランス処理ステップは、前記色信号にゲイン係数を掛ける乗算ステップと、前記色信号にオフセット値を加算する加算ステップとを有する、
   ことを特徴とする画像処理方法。
10. 前記色バランス処理ステップは、複数の色成分毎に独立したゲイン係数を掛け、前記複数の色成分毎に独立したオフセット値を加算することを特徴とする請求項９記載の画像処理方法。
11. 前記乗算器に各色成分に対応するゲイン係数を選択的に供給するステップと、前記加算器に各色成分に対応するオフセット値を選択的に供給するステップとを有することを特徴とする請求項１０記載の画像処理方法。
12. 前記加算ステップは前記乗算ステップの前段と後段の両方で加算を行うことを特徴とする請求項９記載の画像処理方法。
13. 前記加算ステップは前記乗算ステップの前段で加算を行うことを特徴とする請求項９記載の画像処理方法。
14. 前記加算ステップは前記乗算ステップの後段で加算を行うことを特徴とする請求項９記載の画像処理方法。
15. 前記オフセット値はプラスとマイナスの値を含むことを特徴とする請求項９記載の画像処理方法。
16. 前記色分離ステップによって得られた長時間露光と短時間露光による輝度信号を合成するとともに、前記色バランス処理ステップによって得られた長時間露光と短時間露光による色信号を合成する長短合成ステップを有することを特徴とする請求項９記載の画像処理方法。
17. 長時間露光による画像信号と短時間露光による画像信号とを入力し、各画像信号の色分離を行う色分離手段と、
    前記色分離手段によって得られた長時間露光と短時間露光の各色信号の色温度をバランスさせる色バランス処理手段とを有し、
    前記色バランス処理手段は、前記色信号にゲイン係数を掛ける乗算器と、前記色信号にオフセット値を加算する加算器とを有する、
    ことを特徴とするカメラ装置。
18. 被写体を撮像して画像を前記色分離手段に出力する撮像手段を有することを特徴とする請求項１７記載のカメラ装置。
19. 前記撮像手段は固体撮像素子を含むことを特徴とする請求項１８記載のカメラ装置。
20. 前記色バランス処理手段は、複数の色成分毎に独立したゲイン係数を掛け、前記複数の色成分毎に独立したオフセット値を加算することを特徴とする請求項１７記載のカメラ装置。
21. 前記乗算器に各色成分に対応するゲイン係数を選択的に供給するセレクタと、前記加算器に各色成分に対応するオフセット値を選択的に供給するセレクタとを有することを特徴とする請求項２０記載のカメラ装置。
22. 前記加算器は前記乗算器の前段と後段の両方に設けられていることを特徴とする請求項１７記載のカメラ装置。
23. 前記加算器は前記乗算器の前段に設けられていることを特徴とする請求項１７記載のカメラ装置。
24. 前記加算器は前記乗算器の後段に設けられていることを特徴とする請求項１７記載のカメラ装置。
25. 前記オフセット値はプラスとマイナスの値を含むことを特徴とする請求項１７記載のカメラ装置。
26. 前記色分離手段によって得られた長時間露光と短時間露光による輝度信号を合成するとともに、前記色バランス処理手段によって得られた長時間露光と短時間露光による色信号を合成する長短合成手段を有することを特徴とする請求項１７記載のカメラ装置。
27. 撮像手段で得られた長時間露光による画像信号と短時間露光による画像信号とを入力し、各画像信号の色分離を行う色分離ステップと、
    前記色分離ステップによって得られた長時間露光と短時間露光の各色信号の色温度をバランスさせる色バランス処理ステップとを有し、
    前記色バランス処理ステップは、前記色信号にゲイン係数を掛ける乗算ステップと、前記色信号にオフセット値を加算する加算ステップとを有する、
    ことを特徴とするカメラ装置の信号処理方法。
28. 前記色バランス処理ステップは、複数の色成分毎に独立したゲイン係数を掛け、前記複数の色成分毎に独立したオフセット値を加算することを特徴とする請求項２７記載のカメラ装置の信号処理方法。
29. 前記乗算器に各色成分に対応するゲイン係数を選択的に供給するステップと、前記加算器に各色成分に対応するオフセット値を選択的に供給するステップとを有することを特徴とする請求項２８記載のカメラ装置の信号処理方法。
30. 前記加算ステップは前記乗算ステップの前段と後段の両方で加算を行うことを特徴とする請求項２７記載のカメラ装置の信号処理方法。
31. 前記加算ステップは前記乗算ステップの前段で加算を行うことを特徴とする請求項２７記載のカメラ装置の信号処理方法。
32. 前記加算ステップは前記乗算ステップの後段で加算を行うことを特徴とする請求項２７記載のカメラ装置の信号処理方法。
33. 前記オフセット値はプラスとマイナスの値を含むことを特徴とする請求項２７記載のカメラ装置の信号処理方法。
34. 前記色分離ステップによって得られた長時間露光と短時間露光による輝度信号を合成するとともに、前記色バランス処理ステップによって得られた長時間露光と短時間露光による色信号を合成する長短合成ステップを有することを特徴とする請求項２７記載のカメラ装置の信号処理方法。

Images