JP2004120229A - ホワイトバランス調整方法及びホワイトバランス調整装置 - Google Patents

Abstract

【課題】長時間露光画像と短時間露光画像を合成することにより得られるダイナミックレンジの広い映像信号に対して適正なホワイトバランス調整を行う。
【解決手段】長時間露光の撮像動作により得られた映像信号と短時間露光の撮像動作により得られた映像信号に対して、前段処理部１０において、第１及び第２の色バランス調整部１２，１３により個別に色バランス調整を施し、それぞれ色バランスが調整された長時間露光画像と短時間露光画像の映像信号を合成処理１４により部合成して、広ダイナミックレンジの合成画像の映像信号を形成し、上記合成画像の映像信号に対して、後段処理部２０において長時間露光画像として得られた映像信号の情報のみを用いてホワイトバランス調整を施す。
【選択図】　　　　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、長時間露光画像と短時間露光画像を合成することにより得られるダイナミックレンジの広い映像信号に対して有効なホワイトバランス調整方法及びホワイトバランス調整装置に関する。
【０００２】
【従来の技術】
従来より、ビデオカメラ等の撮像装置では、ホワイトバランス調整を行うことにより、光源により被写体の色温度が異なっても一定の色再現性を得ることができるようになっている。
【０００３】
ここで、ホワイトバランス調整は、白被写体を撮像し、この白の輝度点における各色信号の信号レベルが等しくなるようにレベル調整するものである。
【０００４】
ところで、撮像装置では、撮像素子の電荷蓄積容量による制限からダイナミックレンジに限界があり、室内から室外を撮影する時など、極めて明るい（高輝度）被写体と比較的暗い（低輝度）被写体が混在するような場面を撮像する場合、高輝度被写体か低輝度被写体の何れかが適正レベルで得られるよう露光時間等を制御していたため、低輝度部分を適正レベルとすると高輝度部分が白とびし、高輝度部分を適正レベルとすると低輝度部分が黒つぶれしてしまうことになる。例えば屋内と屋外が一緒に写るようなシーンでは屋外の画が白く飛んでしまったり、逆に屋内の画が暗くなってしまい、屋内外の両方の画をきれいにとることができない。そこで、屋外の画をとるためにシャッター速度を速くして得た画像（短時間露光画像）と、屋内の画をとるためにシャッター速度を遅くして得た画像（長時間露光画像）を両方の画が再現できるように合成することにより、広いダイナミックレンジを確保するようにしている。
【０００５】
また、屋内と屋外のように異なる色温度下の被写体が混在するような場面を撮像する場合、色温度が異なる長時間露光画像と短時間露光画像を合成した画像でそのままホワイトバランスをとると、どちらの信号も中途半端に色のバランスが取られるため、適正なホワイトバランスが取れなくなる。
【０００６】
そこで、長時間露光画像と短時間露光画像のそれぞれにおいて色のバランスを調整し、各画像の色バランスを取り、二つの画像を合成してホワイトバランスの調整を行うことにより、適正なホワイトバランスを取るようにしたデュアルホワイトバランス機能が提案されている。
【０００７】
例えば、長時間露光画像と短時間露光画像を合成する前にそれぞれにおいて色温度を合わせる補正を行ってから合成し、ホワイトバランスを取ったり（例えば、特許文献１参照）、ダイナミックレンジ処理回路側に明暗領域を区別する判別パルスを持ち、その情報から合成信号の長時間露光画像部分と短時間露光画像部分の色情報を抽出し、長時間露光画像側、短時間露光画像側の順にホワイトバランス調整を行ったり（例えば、特許文献２参照）することで、上記デュアルホワイトバランス機能を実現することにより、長時間露光画像と短時間露光画像の色温度が異なる場合に適正なホワイトバランスが取れなくなる問題を回避している。
【０００８】
【特許文献１】
特開２００１−９４９９９号公報
【特許文献２】
特開平１０−２５７５１６号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上述の如き従来の手法でデュアルホワイトバランス機能を実現したのでは、ハードウェアの規模が大きくなったり、長時間露光画像と短時間露光画像の色温度の差が非常に大きく異なることで、ハードウェアの制限を受けて、十分に色再現ができなくなるという問題点があった。
【００１０】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、ハードウェアに制限があること、長時間露光画像と短時間露光画像の色温度の差が非常に大きく異なることなどの理由から、長時間露光画像と短時間露光画像のそれぞれにおいて色のバランスを取ることができない場合や、各画像の色バランスをとる補正を行うことができない場合に、少ない情報から好ましいホワイトバランスをとるのに有効なホワイトバランス調整方法及びホワイトバランス調整装置を提供することにある。
【００１１】
【課題を解決するための手段】
本発明に係るホワイトバランス調整方法は、長時間露光の撮像動作により得られた映像信号と短時間露光の撮像動作により得られた映像信号に対して、個別に色バランス調整を施し、それぞれ色バランスが調整された長時間露光画像と短時間露光画像の映像信号を合成して、広ダイナミックレンジの合成画像の映像信号を形成し、上記合成画像の映像信号に対して、長時間露光画像として得られた映像信号の情報のみを用いてホワイトバランス調整を施すことを特徴とする。
【００１２】
また、本発明に係るホワイトバランス調整装置、長時間露光の撮像動作により得られた映像信号と短時間露光の撮像動作により得られた映像信号に対して、個別に色バランス調整を施す色バランス調整手段と、上記色バランス調整手段によりそれぞれ色バランスが調整された長時間露光画像と短時間露光画像の映像信号を合成して、広ダイナミックレンジの合成画像の映像信号を形成する合成手段と、上記合成手段により合成する長時間露光画像と短時間露光画像の映像信号の合成ポイントを設定する合成ポイント設定手段と、上記合成ポイント設定手段により設定された合成ポイントの情報に基づいて、上記合成手段により合成された合成画像の映像信号に対して、長時間露光画像として得られた映像信号の情報のみを用いてホワイトバランス調整を施すことを特徴とするホワイトバランス調整手段とを備えることを特徴とする。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１４】
本発明は、例えば図１に示すような構成の監視用の撮像装置１００に適用される。
【００１５】
この撮像装置１００は、ＣＣＤカラーイメージセンサ１０２の電荷蓄積期間を制御することにより等価的に露光時間を制御して、標準的な明るさの被写体が適正レベルで得られるように露光時間を制御して撮像行う長時間露光撮像動作と、極めて明るい被写体が適正レベルで得られるように露光時間を制御して撮像を行う短時間露光撮像動作を交互に繰り返し行い、上記ＣＣＤカラーイメージセンサ１０２から長時間露光撮像動作により得られる長時間露光画像の撮像出力と短時間露光撮像動作により得られる短時間露光画像の撮像出力を合成することにより、広ダイナミックレンジ映像信号を得るようにしたものであって、撮像レンズ１０１を介して撮像光が入射されるＣＣＤカラーイメージセンサ１０２、このＣＣＤカラーイメージセンサ１０２により得られるカラー撮像出力が供給される前処理部１０３を介して供給される信号処理部１０４、この信号処理部１０４により処理されたカラー撮像出力をカラービデオ信号として出力するビデオ出力部１０５、上記信号処理部１０４により処理された撮像出力や制御パラメータを記録媒体に記録する記録部１０６、これらを制御するマイクロコンピュータ１０７及びタイミングジェネレータ１０８などからなる。
【００１６】
この撮像装置１００では、撮像レンズ１０１を介して入射される撮像光により結像される被写体像をＣＣＤカラーイメージセンサ１０２により撮像する。そして、上記ＣＣＤカラーイメージセンサ１０２によるカラー撮像出力は、前処理部１０３でＣＤＳ（相関二重サンプリング）やＡＧＣなどの前処理が施され、さらにＡ／Ｄ変換されて映像データとして信号処理部１０４に供給される。そして、上記映像データは、信号処理部１０４において、長時間、短時間の露光信号の合成・圧縮などの信号処理が行われ、さらに自動露光処理、ホワイトバランス処理が施されてから、Ｄ／Ａ変換されてアナログ撮像信号としてビデオ出力部１０５に供給される。アナログ撮像信号は、ビデオ出力部１０５を介してビデオ信号として出力される。また、上記信号処理部１０４により処理された画像データやマイクロコンピュータ１０７により算出された制御パラメータは、記録部１０６に記録媒体に記録される。
【００１７】
マイクロコンピュータ１０７は各処理部１０３，１０４から出力されるデータを用いて各処理部１０３，１０４や記録部１０６などの制御を行ったり、外部Ｉ／Ｆを介して外部より入力されるコマンドなどに応じて各処理部１０３，１０４や記録部１０６などの制御を行ったりする。また、マイクロコンピュータ１０７は、各処理部１０３，１０４で得られたデータを基に自動露光の制御を行う。
【００１８】
タイミングジェネレータ１０８は、マイクロコンピュータ１０７によって与えられたデータをもとに各処理部１０３，１０４にデータを出力したり、各処理部１０３，１０４からのデータを入力したりする。
【００１９】
上記信号処理部１０４は、その機能的な構成を図２に示すように、長時間露光画像と短時間露光画像の合成を行う前段処理部１０と、合成画像を用いてホワイトバランス処理などを行う後段処理部２０からなる。
【００２０】
前段処理部１０では、上記前処理部１０３から長時間露光画像と短時間露光画像の映像データが供給されるＹＣ分離部１１により、映像データから輝度データＹと色データＣが分離される。
【００２１】
このＹＣ分離部１１により、映像データから分離された輝度データＹは、上記マイクロコンピュータ１０７の合成ポイント設定部３１に供給される。また、このＹＣ分離部１１により、映像データから分離された長時間露光画像と短時間露光画像の色データＣは、第１及び第２の色バランス調整部１２，１３に供給される。
【００２２】
上記第１の色バランス調整部１２では、長時間露光画像の色データＣに色バランス調整を施す。そして、色バランス調整の施された長時間露光画像の色データＣは、合成処理部１４に供給される。
【００２３】
また、第２の色バランス調整部１３では、短時間露光画像の色データＣに色バランス調整を施す。そして、色バランス調整の施された短時間露光画像の色データＣは、合成処理部１４に供給される。
【００２４】
合成処理部１４では、上記第１及び第２の色バランス調整部１２，１３により色バランスが調整された長時間露光画像と短時間露光画像の各色データをマイクロコンピュータ１０７の合成ポイント設定部３１により設定された合成ポイントで合成して、広ダイナミックレンジの合成画像の色データを形成する。そして、合成画像の色データは、圧縮処理部１５に供給される。
【００２５】
圧縮処理部１５では、上記合成画像の色データに圧縮処理を施す。そして、圧縮処理を施された合成画像の色データは、ＹＣ合成部１６に供給される。
【００２６】
ＹＣ合成部１６では、圧縮処理を施された輝度データと色データから、合成画像の輝度データＹと色データＣを合成する。そして、このＹＣ合成部１６により合成された合成画像の輝度データＹと色データＣは、後段処理部２０のＹＣ分離部２１に供給される。
【００２７】
後段処理部２０では、合成画像の輝度データＹと色データＣからＹＣ分離部２１により色データＣが分離され、色情報検出部２２により上記色データＣから合成画像の３原色（ＲＧＢ）のデータが検出される。上記色データＣから検出された上記合成画像の３原色（ＲＧＢ）のデータは、ホワイトバランス処理部２３に供給されるとともに、マイクロコンピュータ１０７のホワイトバランス演算部３２に供給される。
【００２８】
ここで、上記マイクロコンピュータ１０７では、上記前処理部１０のＹＣ分離部１１から供給される輝度データＹと、上記合成ポイント設定部３１により設定された合成ポイントを示す情報に基づき、上記合成画像の３原色（ＲＧＢ）のデータのうち、長時間露光画像として得られた情報を特定し、長時間露光画像として得られた情報のみをもちいて、低輝度部分の３原色（ＲＧＢ）の値を一致させホワイトバランスを取るための制御パラメータをホワイトバランス演算部３２により演算する。そして、上記制御パラメータは、後段処理部２０のホワイトバランス処理部２３に供給される。
【００２９】
そして、後段処理部２０のホワイトバランス処理部２３では、上記色情報検出部２２により上記色データＣから検出された合成画像の３原色（ＲＧＢ）のデータに対して、上記マイクロコンピュータ１０７のホワイトバランス演算部３２から供給される制御パラメータに応じて、ホワイトバランス調整処理を施す。そして、ホワイトバランス調整処理済みの３原色（ＲＧＢ）のデータは、上記記録部１０６に供給されるとともに、図示しないＤ／Ａ変換されてアナログ撮像信号としてビデオ出力部１０５に供給される。
【００３０】
このように、この撮像装置１００では、各処理部１０３，１０４で得られたデータを基にマイクロコンピュータ１０７が自動露光の制御を行うことにより、長時間露光画像と短時間露光画像を撮像する。そして、長時間露光画像と短時間露光画像が前段処理部１０に入力され、合成、圧縮された画像が後段処理部２０の入力画像とされる。この後段処理部２０において、合成された画像の色情報が得られ、その情報の内、長時間露光画像として得られた情報のみを用いて、ホワイトバランスを取る。
【００３１】
例えば、図３に示すように、合成画像の映像信号を［１００］とし、屋内（長時間露光画像）が［７０］、屋外（短時間露光画像）が［３０］の割合で再生されている時に、上記屋内と屋外の閾値Ｘ＝７０により、合成画像の屋内領域（長時間露光画像）を判定することができる。そして、色情報についても映像信号と同様に、合成画像の色情報を長時間露光画像の色情報と短時間露光画像の色情報にわけることができるため、屋内のみの色情報が得られる。この閾値Ｘを動的に得ることによって、常に長時間露光画像の色情報から合成画像の適正なホワイトバランスをとることができる。この閾値Ｘはその時に最適な露光が得られる合成ポイントを長時間露光画像、短時間露光画像それぞれの映像信号から算出することによって決定する。このため、図４に特性Ａとして示すように、撮り込むシーンによってその閾値が変化したり、また、図４に特性Ｂとして示すように、同じ閾値であったとしても長時間露光画像の情報が変化したりする場合もある。
【００３２】
なおハードウェアに制限があること、長時間露光画像と短時間露光画像の色温度の差が非常に大きく異なることなどの理由から、長時間露光画像と短時間露光画像のそれぞれにおいて色のバランスを取ることができない場合、得られた合成画像から長時間露光画像に着目したホワイトバランスを取ると、最適な画を得ることができる。ここで、長時間露光画像の色情報を用いるのは、ワイドダイナミックレンジを持つ撮像装置が例えばＡＴＭの監視用に使用される場合、屋内と屋外の画が得られる中で特に必要とされるのは屋内の画の方になるためである。
【００３３】
また、晴天の昼間、屋内と屋外が一緒に撮られていたとした場合、屋内は白色蛍光灯の光で４，０００〜５，０００Ｋの色温度、屋外は太陽光で１５，０００Ｋ以上の色温度になる。それぞれの色温度をそのままに長時間露光画像のみの色情報をもとにホワイトバランスをとると、屋外は青側にずれたところでホワイトバランスが取られることになるため、デュアルホワイトバランスが正確に取れていない。しかし、実際に人間が同じ光景を目で見た時、屋外の色は色温度が高いため青く見える。また、逆に夕暮れ時の空を一緒に映していた場合、長時間露光画像のみの色情報をもとにホワイトバランスをとると、屋外は赤側にずれるが、同じように人間が見れば色温度が低いため赤く見える。つまり、より自然に近い色再現が得られるために、違和感のない画像となる。
【００３４】
以上のように、合成画像から長時間露光画像に着目したホワイトバランスを取ると、最適な画像を得ることができる。
【００３５】
【発明の効果】
以上説明したように、長時間露光の撮像動作により得られた映像信号と短時間露光の撮像動作により得られた映像信号に対して、個別に色バランス調整を施し、それぞれ色バランスが調整された長時間露光画像と短時間露光画像の映像信号を合成して、広ダイナミックレンジの合成画像の映像信号を形成し、上記合成画像の映像信号に対して、長時間露光画像として得られた映像信号の情報のみを用いてホワイトバランス調整を施すことにより、最適な画像を得ることができる。
【００３６】
したがって、本発明によれば、ハードウェアに制限があること、長時間露光画像と短時間露光画像の色温度の差が非常に大きく異なることなどの理由から、長時間露光画像と短時間露光画像のそれぞれにおいて色のバランスを取ることができない場合や、各画像の色バランスをとる補正を行うことができない場合に、少ない情報から好ましいホワイトバランスをとるのに有効なホワイトバランス調整方法及びホワイトバランス調整装置を提供することができる。
【００３７】
【図面の簡単な説明】
【図１】本発明を適用した監視用の撮像装置の構成例を示すブロック図である。
【図２】上記信号処理部の機能的な構成を示すブロック図である。
【図３】合成画像の映像信号の特性を示す特性図である。
【図４】上記撮像装置により得られる合成画像の映像信号の閾値の変化を示す特性図である。
【符号の説明】
１０　前段処理部、１１　ＹＣ分離部、１２，１３　第１及び第２の色バランス調整部、１４　合成処理部、１５　圧縮処理部、１６　ＹＣ合成部、２０　後段処理部、２１　ＹＣ分離部、２２　色情報検出部、２３　ホワイトバランス処理部、３１　合成ポイント設定部、３２　ホワイトバランス演算部、１００　撮像装置、１０１　撮像レンズ、１０２　ＣＣＤカラーイメージセンサ、１０３　前処理部、１０４　信号処理部、１０５　ビデオ出力部、１０６　記録部、１０７　マイクロコンピュータ、１０８　タイミングジェネレータ

Claims (2)

1. 長時間露光の撮像動作により得られた映像信号と短時間露光の撮像動作により得られた映像信号に対して、個別に色バランス調整を施し、
   それぞれ色バランスが調整された長時間露光画像と短時間露光画像の映像信号を合成して、広ダイナミックレンジの合成画像の映像信号を形成し、
   上記合成画像の映像信号に対して、長時間露光画像として得られた映像信号の情報のみを用いてホワイトバランス調整を施すことを特徴とするホワイトバランス調整方法。
2. 長時間露光の撮像動作により得られた映像信号と短時間露光の撮像動作により得られた映像信号に対して、個別に色バランス調整を施す色バランス調整手段と、
   上記色バランス調整手段によりそれぞれ色バランスが調整された長時間露光画像と短時間露光画像の映像信号を合成して、広ダイナミックレンジの合成画像の映像信号を形成する合成処理手段と、
   上記合成手段により合成する長時間露光画像と短時間露光画像の映像信号の合成ポイントを設定する合成ポイント設定手段と、
   上記合成ポイント設定手段により設定された合成ポイントの情報に基づいて、上記合成手段により合成された合成画像の映像信号に対して、長時間露光画像として得られた映像信号の情報のみを用いてホワイトバランス調整を施すことを特徴とするホワイトバランス調整手段と
   を備えることを特徴とするホワイトバランス調整装置。

Images