JP2010035120A - ビデオカメラ撮像装置 - Google Patents

Abstract

【課題】 本発明では、よりワイドなダイナミックレンジを確保するニー曲線合成特性を実現し、高輝度場面でも色再現性や諧調再現性に優れたビデオカメラ装置の提供を目的とする。また、本発明では、高輝度画像信号においてニー合成処理によりダイナミックレンジを大きく確保してもビット処理能力内での諧調スケーリング設定値によりニー合成出力信号を制御するため諧調歪の無い、画像処理を行うことができるビデオカメラ装置の提供を目的とする。
【解決手段】長時間露光と短時間露光の少なくとも２つの複数の画像信号を利用して露光時間制御を行う電子カメラ装置において、前記短時間露光による画像信号を取り出す取得手段と、該取得手段により取り出した画像信号から色信号成分レベルを演算する演算手段とを備え、該演算結果より得られた長時間露光と短時間露光の時間比率によりホワイトバランスおよび露光を制御することを特徴とする電子カメラ装置。
【選択図】図１

Description

本発明は、簡便な構成により高ダイナミックレンジを確保し、色再現性に優れた画像が得られるビデオカメラ撮像装置およびその方法に関する。

ビデオカメラ撮像装置は監視カメラ、防犯カメラなどのセキュリティ用、放送用、会議用など多様化した分野で利用されてきており、夫々の利用目的に応じた撮像システム、撮像画像品質、利便性などが求められている。特に、屋外で利用したり高画質が要求されるビデオカメラにおいては、よりワイドなダイナミックレンジや色再現性の向上が要求されるようになってきている。

撮像カメラの高画質化には「解像度向上」、「色再現性の向上」、「ノイズの減少」など総合的な処理が求められるが、特に色再現性においてはビデオカメラが高画質を求める場合、人の知覚的な要素を含んでおり撮像場面のシチュエーションや撮影者の意図により可変・編集できるように色再現性のパラメータを変えることが出来るように工夫されている。これらの色再現性の可変・編集はビデオカメラのハード側で撮影時に行うものと、撮影後いわゆるポストプロなどソフトウェアで処理するものとがあるが、できるだけ撮影時にカメラ装置側で適正化された撮像が望ましい。

ビデオカメラ装置においては屋外などの明るさ・輝度が大きく変化する環境で撮影することが多く映画やコマーシャルなどの撮影ではフィルムのラティチュードに匹敵するワイドなダイナミックレンジを確保することが求められている。例えば逆光での撮影においては１０万ルックスあたりから１０ルックス以下までのダイナミックレンジを確保しておく必要がある。逆光場面などの再生画像上では白とびや黒つぶれといった現象が生じる。つまり、明るい場面では白部分、暗い場面では黒部分がつぶれて詳細が再生できない。輝度の高い場面での撮影では光学的にレンズの絞りを絞り込んで調整し撮影するが、動画撮影のビデオカメラでは被写体の動きに合わせて移動するため絞りは明るさに順応して適応させ、よりダイナミックレンジを確保したカメラ装置で撮影できることが望ましい。

また、室内などで撮影する場合は光源の種類などにより色温度などが大きく影響を受け色再現性を工夫することが求められている。特に屋外の色温度は６０００〜７０００Ｋ（ケルビン）であり、色温度の低い照明下での室内へ移動した場合、光源である白熱電球（色温度２５００〜３２００Ｋ）、蛍光灯（５０００Ｋ程度）により大きく色温度が変化するため、再生画像は赤みがかったり、青みがかったりした画像となる。

これらワイドなダイナミックレンジを確保し、色再現性を向上させるためのビデオカメラ装置における処理方法として、種々の工夫が提案されている。ワイドなダイナミックレンジを確保する方法としては高輝度部分の諧調を圧縮して白つぶれ、白とびを少なくする処理（「ニー」処理）が多くに採用され、また色温度差による色再現性を調整する方法としてはホワイトバランス、ブラックバランスなどの方法が提案されている。

プロ・放送用カメラなどにおいてはこれら絞りやニー調整、ホワイト・ブラックバランス調整を手動で行ったり、撮影環境に応じて都度設定するが、煩雑であり利便性に欠けている。また、家庭用ビデオカメラや利便性を重視したビデオカメラでは出来るだけ撮影環境に順応したオート処理、または部分的オート処理あるいは撮影状況に応じた適応型オート処理などで色再現性を向上させることが望ましい。特に、単板撮像素子を用いるビデオカメラではベイヤー配列による色フィルターでＲＧＢ信号を取り出すためＲＧＢのレベルはそれぞれに異なっている。これらのデモザイク（ｄｅ−ｍｏｓａｉｃ）処理によりフルカラーとして取り出すには色再現性に大きく影響するためどこでホワイトバランスをかけて色再現性を適正にするかが重要となる。

ニー処理の方法としては長時間露光と短時間露光のように異なる露光時間による撮像素子からの出力を合成して高輝度画像部分を圧縮してワイドなダイナミックレンジを確保することで、高輝度ビデオカメラとして利用する方法が種々提案されている（特許文献１など）。このニー処理で利用する長時間露光出力と短時間露光出力との合成比率を変化させてダイナミックレンジを数倍に変更することができる。通常このニー処理によるワイドダイナミックレンジを確保する場合、合成された露光時間出力を利用したホワイトバランス調整が行われている。しかし、この合成信号によるホワイトバランスでは常に高輝度部分と低輝度部分との中間的な色バランスであり、適正なホワイトバランスが確保できない。

これらのホワイトバランスを適正に確保するため長時間露光出力と短時間露光出力とをニー処理による合成する前に長時間露光および短時間露光の両方の露光出力によりホワイトバランス処理を行うデュアルホワイトバランスが提案されている（特許文献２など）。しかし、このデュアルホワイトバランス方式では処理回路が複雑となるほか、処理回路の規模が大きくなる。また利用方法としてもプロ仕様となり、フルタイムオートホワイトバランスやワンプッシュホワイトバランスのような監視カメラや家庭用ビデオカメラでは簡便性に欠ける不都合があった。

さらにニー合成処理による高輝度画面部分の圧縮をかけてダイナミックレンジを大きく確保しても合成信号が後段の画像信号処理回路でのビット処理基準レベルを超えたり、また最大ビット処理能力よりはるかに低いレベルで合成信号が飽和してしまい、ビット処理の最大諧調を十分生かして適切な色再現性や諧調を確保できない問題があった。

特開平７−９５４８１号公報 特開２００１−９４９９９号公報

本発明では、よりワイドなダイナミックレンジを確保するニー曲線合成特性を実現し、高輝度場面でも色再現性や諧調再現性に優れたビデオカメラ装置の提供を目的とする。

本発明では、高輝度画像信号においてニー合成処理によりダイナミックレンジを大きく確保してもビット処理能力内での諧調スケーリング設定値によりニー合成出力信号を制御するため、諧調歪の無い画像処理を行うことができるビデオカメラ装置の提供を目的とする。

本発明では、従来高ダイナミックレンジ用には複雑となっていたニー処理およびホワイトバランス確保を簡便な処理により構成でき、ワイドなダイナミックレンジを確保できるビデオカメラシステム装置の提供を目的とする。

上記目的を達成するため、請求項１に記載の発明は、長時間露光と短時間露光の少なくとも２つの複数の画像信号を利用して露光時間制御を行う電子カメラ装置において、前記短時間露光による画像信号を取り出す取得手段と、該取得手段により取り出した画像信号から色信号成分レベルを演算する演算手段とを備え、該演算結果より得られた長時間露光と短時間露光の時間比率によりホワイトバランスおよび露光を制御することを特徴とする。

また、請求項２に記載の発明は、上記請求項１に記載の電子カメラシステム装置において、前記色信号の演算手段は前記短時間露光で得られたベイヤー配列画像信号の色信号で行うことを特徴とする。

また、請求項３に記載の発明は、前記短時間露光は前記長時間露光の可変比例値を１／Ｋと表記したとき、前記短時間露光及び前記長時間露光による画像信号の合成出力Ｅ＝（長時間露光画像信号／Ｋ＋短時間露光画像信号）とすることを特徴とする。

また、請求項４に記載の発明は、上記請求項３に記載の電子カメラシステム装置において、前記合成出力がデジタル処理による画像信号処理スケーリング設定値となるように前記画像合成出力を正規化補正することを特徴とする。

また、請求項５に記載の発明は、上記請求項２に記載の電子カメラシステム装置において、前記ベイヤー配列画像信号の色信号による演算は緑−赤の色差信号、及び緑−青の信号によりホワイトバランス制御を行うことを特徴とする。

また、請求項６に記載の発明は、上記請求項２に記載の電子カメラシステム装置において、ベイヤー配列画像信号の画素単位の平均信号レベルとピークレベルによって露光制御を行うことを特徴とする。

このような構成により、本発明を用いたビデオカメラ装置では、固体撮像素子より取り出した露光時間の異なる複数の画像入力（固体撮像装置の画像出力）のうち短時間露光による画像信号から色信号成分レベルを演算し、長時間露光と短時間露光との時間比率によりホワイトバランスと露光を制御することでホワイトバランス制御およびダイナミックレンジ制御に利用しているため、飽和（クリップ）していない短時間露光による画像入力信号が制御信号として用いることが出来るためダイナミックレンジをかなりワイドにしても、色再現性に優れたホワイトバランス制御およびが露光制御が確保できる効果がある。

また、本発明の構成によれば、高輝度撮影画面においても短時間露光と長時間露光との可変比率（露光時間比Ｋｖ）を変化させ、ニー処理によるダイナミックレンジを拡大しても、その出力処理信号はＡＤコンバータなどの処理回路におけるビット処理能力内での諧調スケーリング設定値によりニー合成出力信号を制御するため諧調歪の無い、画像処理を行うことができるため、輝度が極めて上昇した太陽光撮影場面でもダインミックレンジを大きく確保しながら常に適正なホワイトバランスを確保できる効果がある。

また、本発明の構成によれば、長時間露光と短時間露光との信号合成によりニー処理を行う前に短時間露光による画像信号を制御信号としてホワイトバランスを設定するため、合成信号により得られた色成分信号によるホワイトバランス制御に比べより色歪や飽和の少ない信号が制御信号として利用可能となり、後段での信号処理が適正化されたものとなる。

さらに、本発明の構成によれば、特に単板式固体撮像素子によるビデオカメラにおいてフルタイムホワイトバランス確保を高ダイナミックレンジ下で確保することが可能であり、家庭用などのビデオカメラや監視用カメラでも簡易な構成で多大なダイナミックレンジおよび色再現性を得ることが可能となる。

以下、図面を参照して本発明を具体化した実施形態について説明する。図１は本発明に係るビデオカメラ装置を説明する全体ブロック構成図であり、ビデオカメラ入力部からＹＣｂＣｒ信号取出しまでを示している。

図１において、ビデオカメラの単板固体撮像装置により画像信号を取り出し、マトリックス回路により色信号分離を行う前のホワイトバランスおよびニー処理合成を示すビデオ信号処理ブロック１００である。カメラヘッド部１０１にある固体撮像素子１０２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｉｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサーで電荷蓄積時間を制御することにより異なる露光時間出力を取り出す。長時間（または標準時間）露光出力（Ａｅｏ）と短時間露光出力（Ｂｅｏ）とは交互に時間的に連続する露光出力信号として取り出す。

本発明のビデオカメラにおいて、固体撮像素子１０２は単板の撮像素子カメラを実施例に使用する。撮像レンズを介して上記固体撮像素子１０２上に結像される被写体を固体撮像素子にメモリーしピクセル信号として取り出す。単板固体撮像素子では各ピクセルを色分離するためにベイヤー配列やオンチップフィルターが利用される。これらのピクセル出力はＲＧＢそれぞれに出力がばらついておりＲＧＢを同じレベルとしてホワイトバランスを適正化する。

本発明では、長時間（または標準時間）露光画像信号（Ａｅｏ）および短時間露光画像信号（Ｂｅｏ）の異なる露光時間による画像信号が倍速フレームレートにより取り出されている。それぞれの異なる露光時間の画像信号出力はホワイトバランス制御部１０３に供給される。長時間露光画像信号出力（Ａｅｏ）は長時間画像信号のＲＧＢピクセルゲイン補正部１０４に供給され、短時間露光画像信号出力（Ｂｅｏ）は短時間露光画像信号のＲＧＢピクセルゲイン補正部１０５に供給される。それぞれホワイトバランス補正後の長時間露光画像出力（Ａｅ）および短時間露光画像出力（Ｂｅ）はニー曲線合成部１０６に供給され、ニー処理合成が行われる。本発明において異なる露光時間の出力比Ａｅ／Ｂｅ＝Ｋｖとする。

ここで異なる露光時間の出力比Ｋｖは、ＡｅおよびＢｅのそれぞれの露光量を測定しその比を求められる。Ａｅが予め決められた標準時間露光であればＡｅの飽和値を基準値として設定しておけばＢｅの露光量を測定するだけでＫｖを演算することもできる。図１では基準値として標準時間露光画像出力Ａｅの飽和値を基準値として設定し、基準値設定部１１４より設定入力している。

ニー処理合成部１０６においては長時間露光画像信号出力（Ａｅ）を１／Ｋｖだけ圧縮し、短時間露光画像信号出力（Ｂｅ）と合成する。ここで、ダイナミックレンジを大きく取る場合はＫｖの値を大きくし長時間露光画像信号出力Ａｅを圧縮して合成するが、圧縮比が増加するにつれて光量増加に伴う合成曲線の飽和点出力が減少するため、予め設定したデフォルト値を基準として光量がデフォルト値を超える場合は合成出力を増加させ、デフォルト値を下回る場合は合成出力を低下させるようにＫｖの値を重み付けする。本発明では、デフォルト値としてＫｖ＝２として設定した例を説明する。Ｋｖに重み付けした圧縮比をＫｄとすると、ニー処理合成は出力Ｅｏ＝Ａｅ／Ｋｄ＋Ｂｅとして表示される。さらに、合成部１０６でニー処理合成された出力信号Ｅｏは後段での画像処理回路においてビット処理の上限諧調に適合するように正規化部１０７において正規化処理されて最大出力レベルが常に所定の値となり、デジタル処理能力として効率的に利用できるようにスケーリング設定値になるように補正される。正規化処理された信号はガンマ補正部１０８においてガンマ補正が行われ後段のＹ／Ｃマトリクス部１０９よりＹ、Ｃｂ、Ｃｒ（またはＹ、Ｐｂ、Ｐｒ）信号として送出される。

本発明において、短時間露光画像信号出力が輝度信号の露光制御およびホワイトバランスのゲイン制御信号として利用される。ホワイトバランス制御部１０３の短時間露光ＲＧＢゲイン補正部１０５の出力部から取り出された信号は短時間露光信号による露光乗数決定部１１０およびホワイトバランス補正係数抽出部１１１へ制御信号として送られる。これらの露光乗数決定やホワイトバランス補正係数はコンピュータによる演算回路により処理される。処理回路としてはゲートアレイ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＤＳＰマイコン、組み込みＣＰＵなどいずれでも構成可能である。

露光乗数決定部１１０より露光時間比Ｋｖを取り出しタイミングジェネレータ（ＴＧ）１１２を制御し露光ゲート１１３を介してビデオカメラヘッド部１０１の露出時間を制御する。露光ゲート１１３の制御は露光乗数決定部１１０とＴＧ１１２との間で共通バスを介して信号の授受を行い制御している。短時間露光画像信号Ｂｅが最大でもＣＣＤの飽和しない範囲に収まるように露光ゲート１１３を制御する。露光時間比決定部１１０ではＫｖに後述するような重み付け処理を行いＫｄを算出しニー曲線合成部１０６へ送出する。

短時間露光による画像信号はベイヤー配列信号からＲＧＢピクセル信号として取り出される。この露光量演算はビデオカメラの使用目的およびどんな撮影場面かにより大きく異なる。本実施例においては、フルタイムオートホワイトバランスを前提として画面を１２分割したそれぞれの分割部分セルにおいて測光した露光量の平均値とピーク値を測定し、その割合を定めウエイト付けを行う。例えば、高輝度部分を重視したい場合はピーク値に多くのウエイト（８０％ぐらい）を与え、ＡＰＬ（Ａｖｅｒａｇｅ Ｐｉｃｔｕｒｅ Ｌｅｖｅｌ））平均値に対しては２０％ぐらいのウエイトで重み付けを行う。また、通常の人物撮影などでは画面中心部のピーク値とＡＰＬ値との中間値を採用し利用したり、画面のヒストグラム分布を利用して算出してもよい。

ホワイトバランス補正係数抽出部１１１では短時間露光画像信号Ｂｅに応じてＲＧＢゲインの補正係数を演算しホワイトバランス制御部１０３の長時間露光画像信号ＲＧＢゲイン補正部１０４および短時間露光画像信号ＲＧＢゲインの補正部１０５の両方に補正信号を送出し、長時間露光画像信号Ａｅおよび短時間露光画像信号ＢｅのＧピクセルに対するＲ、Ｂピクセルゲインの補正を行う。単板固体撮像素子１０２によるベイヤー配列などの色フィルターを用いている場合ピクセル毎のレベル補正を行う必要がある。特に、白基準入力画像によるワンプッシュホワイトバランス設定でなく、常時ホワイトバランスをチェックしているフルタイムオートホワイトバランス機構においては入力画像信号により画面全体からホワイトバランス補正を適正に実行する必要がある。

ホワイトバランス制御部１０３は、基本的にＧレベルを基準としてＲおよびＢのレベルを掛け算し、Ｇレベルの基準値（絶対値）に合わせる方法やＧ−ＢやＧ−Ｒの色差信号をゼロする補正係数を算出する方法があり、いずれの方法においてもそれぞれのピクセルでのＲＧＢレベルを同一基準に合わせている。本発明の実施例では、まず黒レベルを０レベルに設定し（黒固定回路は図示せず）、Ｇの出力レベルを基準としてＢおよびＲのレベルを掛け算によりＧのレベルに揃えている。短時間露光画像出力Ｂｅを利用してホワイトバランス制御を行うのは固体撮像素子１０２からの出力が飽和していないためである。

このホワイトバランス制御信号は短時間露光画像信号出力Ｂｅを用いてフルタイムオートホワイトバランス制御している。このホワイトバランス処理は、後段でのホワイトバランスをとる場合に比べ、ＲＧＢのピクセルレベルが高い時でも飽和していない状態でホワイトバランスを行いＲＧＢレベルが揃えられるため、ニー合成処理前にするほうが望ましい。図１ではフルタイムオートホワイトバランスではＧ出力レベルの設定値を基準値入力部１１５により設定入力してホワイトパランス補正係数を抽出している。

ニー処理合成部１０６においては長時間露光画像信号（Ａｅ）と短時間露光画像信号（Ｂｅ）とを処理しＥｏ＝Ａｅ／Ｋｄ＋Ｂｅのニー特性曲線に基づく信号合成を行う。図２はニー処理合成を示すタイミングチャート説明図である。電荷読み出しゲートパルス２０１は倍速フレームレートで駆動される。ＮＴＳＣでは６０Ｈｚ、ＰＡＬでは５０Ｈｚであるが、本発明の実施例ではＮＴＳＣで説明する。ＮＴＳＣにおいて倍速フレームレート１／６０秒で長時間（または標準時間）露光ゲートパルスはτ１Ｌ、τ２Ｌ、τ３Ｌ、・・・・・・で読み出し、短時間用露光ゲートパルスは長時間（または標準時間）露光ゲートパルスより短い読み出し時間τ０Ｓ、τ１Ｓ、τ２Ｓ、τ３Ｓ、・・・・・・・・の間隔で、交互に違う露光時間で読み出す。

長時間（または標準時間）露光画像信号出力（Ａｅ）は２０２で示されている。露光信号は信号電荷の蓄積が終了してから読み出しが開始されるので実時間に対してはＮＴＳＣでは１／６０秒の遅延がある。固体撮像素子からの出力は光量の増加によりある点からは飽和して光量がいくら増加しても出力は比例的に増加しない。読み出された画像信号出力（Ａｅ）２０２は露光時間比Ｋｖで割算されＡｅ／Ｋｖの出力２０３を求める。図２ではＫｖに対して重み付けされたＫｄとして表している。一方、短時間用露光ゲートパルス２０１はτ０Ｓ、τ１Ｓ、τ２Ｓ、τ３Ｓ、・・・・・・・・に設定され、露光画像信号出力（Ｂｅ）２０４が読み出される。短時間露光画像出力は露光時間が短く設定し、固体撮像素子での出力は飽和しないように取り出される。長時間（標準時間）露光時間と短時間露光時間とのそれぞれの出力は交互に取り出されるがフレームバッファーメモリーに蓄積され時間軸を合わせＥｏ＝Ａｅ／Ｋｄ＋Ｂｅの合成信号２０５を作成する。合成された画像信号２０５はフレーム変換され連続したニー曲線合成信号２０６を作成する。

ここでダイナミックレンジが圧縮されない場合は露光時間比Ｋｖ＝１であり、合成出力Ｅｏ＝Ａｅ＋Ｂｅの単純合成となる。ダイナミックレンジを２倍，３倍、４倍、６倍、・・・・・・・と変化させると、Ｋｖ＝２、３、４、６、・・・・・・となり、合成出力はＡｅがダイナミックレンジの倍数に応じて圧縮されるため入射光量の増加により結果的に大幅なダイナミックレンジを確保することができる。

図３は露光時間比Ｋｖ＝２におけるニー曲繰合成を示す説明図である。図３において長時間（または標準時間）露光出力はＡｅで示され、短時間露光出力はＢｅで示されている。Ｋｖ＝Ａｅ／Ｂｅ＝２であり、Ｂｅの露光時間がＡｅの１／２であることを示している。露光時間のＡｅは光量が増加すると撮像素子出力がある点で飽和し、その後は光量が増加しても出力は増加しない。このＡｅの飽和点Ｓにおける光量を１とし、出力を１とすると出力Ａｅは光量が０〜１までは比例して増加し、光量１以上は出力のレベルで飽和する。またＢｅは露光時間がＡｅの１／２であるため光量２までは飽和しない。光量２以上は飽和し出力１となる。Ａｅを露光時間比で割りＡｅ／Ｋｖを求め、ニー合成出力Ｅｏ＝Ａｅ／Ｋｖ＋ＢｅによりＥｏが得られる。ニー合成出力Ｅｏは光量が２の場合、信号出力レベルは圧縮され１．５まで増加しそれ以上は一定となる。

前述の通りニー合成処理以降で後段の画像信号処理部ではＹ／Ｃマトリックス、Ｙエンハンス、Ｙ合成などをデジタル処理する。このためニー曲線合成部１０６の出力レベルは画像信号処理基準の最大値を超えないようにする必要がある。８ビットデータでは０から２５５階調、１２ビットでは０から４０９５階調が利用できるビット諧調である。つまり図３のＫｖ＝２においてニー合成出力Ｅｏが１．５を８ビット処理の場合は２５５階調、１２ビット処理では４０９５階調を上限値以下の範囲内で画像信号処理スケーリング値として設定し、ニー合成出力信号を制限する。これにより光量変化にともなう諧調変化を飽和することなく取り出し、後段におけるデジタル処理をビット歪み無く処理することができる。

露光時間比Ｋｖを増加しダイナミックレンジを大幅に拡大していくと、合成出力Ｅｏ＝Ａｅ／Ｋｖ＋ＢｅによりＢｅの値に近づき合成出力は抑えられる。ダイナミックレンジを拡大して効果的に処理するにはこの分を補正し、圧縮倍率が大きくなってもビット処理能力を効果的に利用できるように持ち上げる必要がある。

この処理のため本発明では、ダイナミックレンジのデフォルトとして図３に示す露光時間比Ｋｖ＝２、ビット処理上限値諧調を１．５基準とする。このデフォルト値は設計上の問題であり常時輝度の高い窩ダイナミックレンジで使用する場合はより圧縮倍率を上げても良い。本発明ではデフォルト値Ｋｖ＝２の場合を基準としてそれ以上の圧縮率の場合はニー合成飽和点が１．５のビット処理上限諧調となるよう出力レベルを上げる補正をかけている。またデフォルト以下の圧縮倍率の場合は出力レベルを下げる処理を行う。

上記補正処理手段として圧縮比Ｋｄ＝２＋（Ｋｖ−２）／２をＫｖとして用いることでデフォルト値を基準としてそれ以上に光量が増加すれば出力をより増加させ、光量が下がれば出力を低減させている。つまり、デフォルト値においてＫｖ＝Ｋｄ＝２、ニー合成出力飽和値（リミットライン）は１．５であり、このニー合成リミットラインを８ビットデータ処理では０〜２５５階調、１２ビット処理では０〜４０９５階調の１００％出力に設定する。ダイナミックレンジをデフォルト以外に変化させる場合、圧縮比としてＫｄを用いることでニー合成出力Ｅｏ＝Ａｅ／Ｋｄ＋Ｂｅとなりビット処理能力内の諧調変化領域により対応した出力とすることができる。この補正圧縮比Ｋｄを用いた場合、Ｋｖ＝１でＫｄ＝１．５、合成リミットライン値＝１．６６７、Ｋｖ＝４でＫｄ＝３、合成リミットライン値＝１．３３３、Ｋｖ＝８でＫｄ＝５、合成リミットライン値＝１．２、Ｋｖ＝２０でＫｄ＝１１、合成リミットライン値＝１．０９１として算出される。この補正圧縮比Ｋｄを用いることは、光量増加に比例して圧縮比を大幅に上げた高ダイナミックレンジの使用状態でより人の目視感覚に合った圧縮比となっている。

上記のようにニー合成出力を補正された圧縮比Ｋｄを用いても、算定された合成リミットライン値はデフォルト値（Ｋｖ＝Ｋｄ＝２）以上では、デフォルト合成リミットライン値＝１．５のビット処理最大値を下回り、デフォルト値以下では上回っている。そこで、出来るだけビット処理最大基準値に合成リミットライン値を近づけるために正規化係数を乗算し、合成リミットラインが１．５となるように補正する。上記正規化処理によりニー出力の合成リミットラインはすべて１．５となりビット処理信号上限値内でビット諧調処理をフルに活用できるようになる。正規化部１０７においてはこれらの演算処理が行われる。

上限出力のリミットラインが１．５に正規化されたニー合成出力はガンマ補正部１０８によりガンマ補正が行われる。ガンマ補正については正規化されたニー出力合成上限値１．５を上限値として受信機の電光変換特性γ＝２．２をカメラ側で補正したカーブを作成する。ガンマ補正部１０８ではγ補正係数＝（合成出力値）＾（１／２．２）のγ補正処理を行う。この場合のγ補正係数は０．８２３３となり、γ補正上限値は１．１となる。

図４はデフォルト値をＫｖ＝Ｋｄ＝２と設定した場合の露光時間比Ｋｖ，圧縮率Ｋｄ，ニー合成出力リミットライン、正規化係数、ガンマ補正係数、ガンマ補正上限値を算出した一覧表説明図である。これらのニー合成処理により画像信号合成出力は常に１．５が１００％信号レベルとして確保され、出力が所定のビット諧調を上限としてその範囲内のデジタル処理スケーリング設定値を設定することでγ補正や後段の画像信号処理のビット歪、諧調歪が生じないように処理することが可能となる。

図５、は露光時間比Ｋｖ＝８のニー特性図である。図５において、長時間（または標準時間）露光画像出力（Ａｅ）と短時間露光画像出力（Ｂｅ）との露光比Ｋｖ＝８であり、高ダイナミックレンジを確保したい場合の設定である。この場合圧縮比Ｋｄ＝５として算出される。Ａｅ／Ｋｄの曲線とＢｅとの合成により求められたニー特性合成値Ｅｏの曲線が示されている。ニー合成出力のリミットラインＬＭ＝１＋１／Ｋｄ＝１．２となる。つまり光量が８に達した場合ニー合成出力は１．２で上限諧調となりそれ以上に光量が増加しても飽和した状態となる。

図６はＫｖ＝８のニー合成出力を正規化したニー合成出力Ｅｃおよびγ補正出力を示す説明図である。図５でニー合成出力Ｅｏに対して正規化係数１．２５を乗算して補正されたニー合成出力Ｅｃが得られる。この正規化された合成出力は光量８において１．５となり１００％信号レベルとして上限諧調１２ビットで４０９５階調（８ビットでは２５６階調）の範囲内でデジタル処理スケーリング設定を行う。この正規化されたニー合成出力に対してガンマ補正を施したガンマ補正出力がＥγの曲線で示す。ガンマ補正後のリミットラインは光量８以上において１．１となる。ガンマ補正出力ＥγはＲＧＢ信号としてＹ／Ｃマトリックス回路にてＹＣｒＣｂ（またはＹＰｂＰｒ）の輝度色差信号をそれぞれに取り出し、後段の画像信号処理に送られる。

図５および図６においてＫｖ＝８におけるニー合成曲線およびγ補正曲線を例示したが、それ以外の露光比の場合でも正規化合成出力の上限リミットラインは１．５であり、１００％信号レベルとしてこの範囲内でスケーリング設定する。また、この上限値を用いてガンマ補正を掛けることにより、ガンマ補正後のリミットライン出力は１．１と確定する。

図７は前述した露光時間比Ｋｖ，露光圧縮比Ｋｄの決定プロセスを説明するフロー図である。プロセスの前提としてＫｖ＝Ｋｄ＝２をデフォルト設定とする。この処理は図１における露光時間比決定部１１０で主に処理される。まず短時間露光画像信号（Ｂｅ）を取込み（Ｐ７０１）、取りこんだＢｅの画像信号の輝度解析をピクセルレベルで実行する（Ｐ７０２）。前述の通りＡＰＬ値およびピーク値を測定し、平均値またはそれぞれにウエイト付けを行ってデフォルトにおける露光レベルとなるＢｅを決定する。標準露光時間Ａｅにおける基準値（または設定されたテーブルより基準値）を取込み（Ｐ７０３）、Ｋｖ＝Ａｅ基準値／ＢｅによりＫｖを決定する（Ｐ７０４）。算出されたＫｖはＴＧへ送出され撮像素子の露光時間を制御する。設定されたデフォルト値（Ｋｖ＝Ｋｄ＝２）を入力し（Ｐ７０５）、これを基準として場合Ｋｄ＝２＋（Ｋｖ＋２）／２によりＫｄを演算する（Ｐ７０６）。算出されたＫｄはニー曲線合成に利用される。

図８は短時間露光画像信号（Ｂｅ）を利用したホワイトバランス制御処理、ニー曲線合成演算処理、正規化処理、フレーム変換処理、ガンマ処理のプロセスを説明するフロー図である。このプロセスは図１におけるホワイトバランス補正係数抽出部１１１、ホワイトバランス制御部１０２、ニー曲線合成部１０６、正規化部１０７、ガンマ補正部１０８により行われる。ホワイトバランス補正係数抽出部１１１に短時間露光画像信号（Ｂｅ）を取込む（Ｐ８０１）。取り込まれた短時間露光画像信号ＢｅのＧに対するＲ、Ｂピクセルレベルを計算し、（Ｇ−Ｒ）および（Ｇ−Ｂ）の差分を制御信号として取り出し、Ｇ＝Ｒ、Ｇ＝ＢとなるようにＲとＢのレベル補正係数を算定する（Ｐ８０２）。またこのプロセスではＧの値を基準としてピクセルＲおよびＢの補正係数を算定することもできる。得られたＲとＢの補正係数を用いて長時間露光画像信号（Ａｅ）のピクセルゲインを制御する（Ｐ８０３）。また同様に短時間露光画像信号（Ｂｅ）のピクセルゲインも制御する（Ｐ８０４）。これによりＲＧＢピクセルのゲインレベルは同じとなりホワイトバランスが確保できる。

ホワイトバランス処理が行われた長時間露光画像信号および短時間画像信号を用いてニー合成演算処理が行われる。ニー合成処理は図７の露光時間比決定プロセスにより得られたＫｄを取得し、Ｅｏ＝Ａｅ／Ｋｄ＋Ｂｅの演算処理を行う（Ｐ８０５）。ニー曲線合成処理の出力Ｅｏは出力のリミットラインが常に１．５となるように正規化係数を乗じる処理を行う（Ｐ８０６）。正規化処理された信号は露光ゲートパルスが倍速フレームレートで取り出しているため、フレーム変換処理を行う（Ｐ８０７）。フレーム変換処理後の合成画像信号出力は所定のガンマ補正係数によりガンマ処理を行う（Ｐ８０８）。ガンマ処理を施した画像出力信号は後段のＹ／Ｃマトリクス回路に送出されＹＣｂＣｒ（またはＹＰｂＰｒ）信号として取り出される。

以上説明した通り、本発明によれば飽和の生じない短時間露光画像出力を用いて露光時間制御およびピクセルゲイン毎のホワイトバランス設定を行うためワイドなダイナミックレンジにおいても色再現性に優れた画像処理を行うことが出来る。また、ダイナミックレンジがいかに変化してもニー曲線合成の出力値をビット処理能力の諧調上限値としてスケーリング設定してその範囲内で画像信号のデジタル処理を行うためワイドダイナミックレンジを確保しつつビット諧調に歪の生じない処理が可能となる。このようなビデオカメラは、簡易な構成でダイナミックレンジを拡大しつつ色再現性、諧調変化を良好に維持できるためワイドなダイナミックレンジを必要とする監視カメラ、放送用ビデオカメラなどにおいて、撮影・監視目的、撮影・監視環境などに応じて種々形態で利用可能である。

本発明によるビデオカメラのブロック説明図である。 本発明によるニー信号合成タイミングチャート説明図である。 本発明による露光時間比Ｋｖ＝２、圧縮比Ｋｄ＝２のニー特性図である。 本発明による露光時間比Ｋｖ、圧縮率Ｋｄ、合成リミットライン、正規化係数を算出した一覧表説明図である。 本発明による露光時間比Ｋｖ＝８、圧縮率Ｋｄ＝５のニー特性図である。 本発明による露光時間比Ｋｖ＝８、圧縮率Ｋｄ＝５のニー合成出力を正規化したニー合成出力Ｅｃおよびγ補正出力を示す説明図である。 本発明による露光時間比Ｋｖ、Ｋｄの決定プロセスを説明するフロー説明図である。 本発明によるホワイトバランス制御処理からガンマ処理までのプロセスを説明するフロー説明図である。

符号の説明

１０１ ビデオカメラヘッド部
１０２ 固体撮像素子
１０３ ホワイトバランス制御部
１０４ 長時間画像信号ピクセルゲイン補正部
１０５ 短時間画像信号ピクセルゲイン補正部
１０６ ニー曲線合成部
１０７ 正規化部
１０８ ガンマ補正部
１０９ Ｙ／Ｃマトリクス部および画像信号処理部
１１０ 短時間露光画像信号による露光時間比決定部
１１１ 短時間露光画像信号によるホワイトバランス補正係数抽出部
１１２ タイミングジェネレータ（ＴＧ）
１１３ 露光ゲート部
１１４ 基準値入力部
１１５ 基準値入力部

Claims (6)

1. 長時間露光と短時間露光の少なくとも２つの複数の画像信号を利用して露光時間制御を行う電子カメラ装置において、前記短時間露光による画像信号を取り出す取得手段と、該取得手段により取り出した画像信号から色信号成分レベルを演算する演算手段とを備え、該演算結果より得られた長時間露光と短時間露光の時間比率によりホワイトバランスおよび露光を制御することを特徴とする電子カメラ装置。
2. 前記色信号の演算手段は前記短時間露光で得られたベイヤー配列画像信号の色信号で行うことを特徴とする請求項１に記載の装置。
3. 前記短時間露光は前記長時間露光の可変比例値を１／Ｋと表記したとき、前記短時間露光及び前記長時間露光による画像信号の合成出力Ｅ＝（長時間露光画像信号／Ｋ＋短時間露光画像信号）とすることを特徴とする請求項１に記載の装置。
4. 前記合成出力がデジタル処理による画像信号処理スケーリング設定値となるように前記画像合成出力を正規化補正することを特徴とする請求項３に記載の装置。
5. 前記ベイヤー配列画像信号の色信号による演算は緑−赤の色差信号、及び緑−青の信号によりホワイトバランス制御を行うことを特徴とする請求項２に記載の装置。
6. ベイヤー配列画像信号の画素単位の平均信号レベルとピークレベルによって露光制御を行うことを特徴とする請求項２に記載の装置。

Images