JP2007208642A - 画像信号処理回路および撮像システム - Google Patents

Abstract

【課題】暗い画面で撮影されたハレーションによる不自然な画像の破綻を軽減する。
【解決手段】画像の光源の輝度レベルを測定するため上記光源を囲む位置に検知枠を設定する検知枠設定手段と、上記検知枠内の上記画像の輝度を測定する検知手段と、上記検知手段で得られた結果に基づき、上記検知枠に対する上記検知枠内で所定の輝度レベル以上の画像の割合を求め利得を設定する利得設定手段と、上記利得設定手段から出力された制御信号により画像信号の利得が制御される利得制御手段とを有し、検知枠の高輝度画素の割合を求め線形補間して求められた利得制御データにより輝度信号の利得を制御することにより、画面上の高輝度溢れ状態を軽減させる。
【選択図】図７

Description

本発明は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等で構成された固体撮像装置で発生するブルーミング（ハレーション）を軽減する画像信号処理回路および撮像システムに関する。

従来のハレーション対策は、特許文献１（特開２００４−４８３４５号公報）に開示されているように２重露光制御を用いて、長時間露光と短時間露光の２枚の画像を作成し、この２枚の画像を合成することで、高輝度画の軽減対策を行っていた。これは、長時間露光側を基準に２枚のＧａｉｎ（ゲイン；利得）調整を行うことで高輝度の画像は暗めに、逆に短時間露光側はゲインを上げる（掛ける）ことでランプによるハレーションの軽減を行っていた。この方式は常に、高輝度の画を基準にゲイン調整が出来る為、ハレーション発生時でも、安定して高輝度溢れを抑えることができ、画像を自然に調整することが出来る。
特開２００４−４８３４５号公報

しかし上述したハレーション対策による撮像システムの方式では、常に２枚の画像を処理しなくてはならない為、２つの画処理回路及びそれを合成する回路が必要となり、システムのコストは増大する。
また、２枚の画が必要であるため、２回の撮像によりフレームレートが遅くなるのと同時に、２枚の画には時間的な差があるため、車載撮像装置による撮影のような高速に状況の変化する画像では、画像の合成に破綻が生じることがあり、場合によっては不自然な画を招く結果も伴っていた。
これを懸念して、システムの軽量化と、時間的な差による問題を無くす為、２枚の画像を合成せずに、１枚の現フレーム画像から高輝度溢れ状態を検出するような対策が必要であった。
また、車載撮像装置において、自動露光制御が動作している夜間の撮像では、高いゲインが掛かっている為、自動車のウィンカーなどの明るい物体を撮像してしまうと、ウィンカーライトの大きさをはるかに超えた高輝度溢れ状態が周辺に発生する。また、ウィンカーではランプが点滅を繰り返す為、自動露光制御でこれに追従させてしまうと、ゲインの掛かる／掛からない状況が繰り返し発生してしまう為、周辺画の破綻が生じてしまい、画として成り立たなくなってしまう。
本発明の目的は、画像を破綻させること無くまた２重露光回路を不要として回路規模を削減してハレーションを軽減させることである。

本発明の画像信号処理回路は、画像の光源の輝度レベルを測定するため上記光源を囲む位置に検知枠を設定する検知枠設定手段と、上記検知枠内の上記画像の輝度を測定する検知手段と、上記検知手段で得られた結果に基づき、上記検知枠に対する上記検知枠内で所定の輝度レベル以上の画像の割合を求め利得を設定する利得設定手段と、上記利得設定手段から出力された制御信号により画像信号の利得が制御される利得制御手段とを有する。
本発明の撮像システムは、撮像装置により撮像された画像の光源の輝度に応じて画像全体の輝度を調整する撮像システムであって、上記撮像された画像の固定位置に光源の輝度を検知する検知枠を設定する検知枠設定手段と、上記検知枠内で上記画像を測定し、閾値以上の画像を検知する検知手段と、上記検知手段から出力された結果に基き、上記閾値以上の画像の割合を導出して利得を設定する利得設定手段と、上記利得設定手段から出力された制御信号により画像信号の利得が制御される利得制御手段とを有する。

暗い場所で撮像したときハレーションによる画像の破綻を緩和することができる。また、長時間・短時間露光の２つの画像を用いない回路構成とし２重露光回路を不要とすることにより回路規模を削減でき、これに伴いコストの削減ができる。さらに、高輝度状態の状況によってシステム、回路などのモードの切り替えを必要とせずに高輝度溢れ状態を軽減することができる。
また、輝度レベル調節を輝度検出して得られた割合から、線形補間により、次フレーム画面の輝度のレベルを調整することができる。

図１を用いて、固定されたカメラ装置等に用いられるハレーション削減のための動作原理について説明する。
図１に示すように、撮像された画面に光源（ランプ）と人形が存在し、光は人形の一方向から所定時間間隔で放射されている。この光源の周囲に、画面の高輝度状態を判別するため所定の大きさの検知枠を設ける。検知枠の大きさは、まず光源の大きさを特定してそれを囲む必要があり、少なくとも検知枠内の一部の領域が閾値ａ以下になるように設定する必要がある。このように設定しないと、たとえば検知枠が小さ過ぎ検知枠内が全て高輝度であると、常時ハレーション対策（調整）が行われることになり、画面全体が暗くなり、正常な動作が行われなくなる可能性がある。このように、高輝度測定用の検知枠は光源の大きさや輝度に応じて設定する必要がある。
またこの他、車載用カメラシステムの例があり、例えば車のフロントミラーにリヤウィンカーが映っている画像を車載カメラでフロントミラーを一部に含む前方を撮影する。撮影するときのウィンカーの位置は既知であるので、予め検知枠を設定する。

これらのハレーション軽減対策は、たとえば以下の条件にて機能する。
車載装置のウィンカーやランプなどのハレーション発生源を、固定位置で撮像する撮像装置を前提とする。また、ウィンカーの点滅動作よりもはるかに長い時間(時定数の大きい露光制御)で安定する自動露光制御の入った撮像システムとする。さらに、夜間ではない昼間などの普段の画では、自動露光制御により、画面全体のゲインを低く抑えている為、ウィンカーなどのランプや太陽光が写っても、画面上に大きな高輝度溢れ状態は発生しない。よって、このハレーション軽減対策は、自動露光制御がある程度高いゲインを掛けている状態で機能するシステムである。

図２に高輝度判定を行うための輝度レベルを示す。ここで行う画面の輝度判定は検知枠内に閾値ａを設定し、この閾値ａよりも大きな輝度レベルの画素を高輝度画素と判別する。
通常画素の輝度レベルは０から閾値ａまでの間に存在し、高輝度画素の輝度レベルは閾値ａからＭＡＸ Ｌｅｖｅｌ（最大レベル）の範囲に存在する。
たとえば、ウィンカー、ランプなどの光源の周囲に検知枠を設定し、検知枠内で全ての画素の輝度レベルを調べ、その画素の輝度レベルが閾値ａより大きいとき高輝度としてカウントする。一方、画素の輝度レベルが閾値ａ以下のときは高輝度としてカウントされない。
閾値ａは光源の大きさ、明るさ等に影響し、それに応じてＣＰＵ（パーソナルコンピュータ）等で任意にパラメータとして可変設定できるようにする。

図３〜５に、光源（ランプ）の周囲に設定した検知枠内に存在する高輝度画素数をカウントした結果を表したレベル別ヒストグラムを示す。このヒストグラムの縦軸は画素数（データ数）を０から８０００個まで１０００個単位の目盛で示し、横軸は各画素の輝度レベル（入力データ）で１２８レベル単位の目盛で０〜１０２４まで示す。
図３に、光源を囲んだ検知枠内の全画素数を例えば７８００個としたとき、検知枠内に３から５個の閾値ａ以上の画素が存在したときのヒストグラムを示す。輝度レベル０〜１２７の範囲に、約７８００個の画素数が存在し、輝度レベル８９６〜１０２４ではグラフ上無視できる。
図４に、同じ検知枠内で光源から光が溢れ始めた状態で、約２０００個の画素数が高輝度状態となった例を示す。
この例では、輝度レベル０〜１２７の範囲に存在する画素数は１００個以下、また輝度レベル１２８〜８９５の範囲では、１２８レベル単位目盛毎に画素数は約１０００個、高輝度状態を示す輝度レベル８９６〜１０２４の範囲では約２０００個の画素数が計測された。
この輝度状態では、光源から照射された光により、対象物の人形の陰影は識別しにくくなっている。
図５にさらに光源の輝度レベルが高くなったときのヒストグラムを示す。検知枠内の約半分が高輝度状態で、ほぼ光が溢れた状態を示す。このとき画面の光源と対象物の人形はハレーションでほとんど識別できない。
ヒストグラムにおいて、輝度レベル２５６から画素数が増加し始め、輝度レベル６４０〜７６７の範囲で約１０００個、７６８〜８９５の範囲で約１６００個、輝度レベル８９６〜１０２４の範囲で約４２００個の高輝度の画素数が測定される。

このように、光源の周囲に設定された高輝度測定用の検知枠の枠全体の画素数を求め、また高輝度レベルを決める閾値ａを設定し、検知枠内の各画素に対する輝度レベルを測定し、各輝度レベルに対応する画素数を計測する。
設定した閾値ａ、例えば図３〜５の場合、輝度レベル８９６〜１０２４の範囲にある画素数を計測して、検知枠内の高輝度画素数の割合を求め、この割合を用いて利得を線形補間により求める。

次に、図６に利得制御を行うためのＧａｉｎ（利得）−高輝度画素数の関係を表したグラフを示す。検知枠内の高輝度画素数に対するＧａｉｎ（利得）を線形補間したグラフを示す。このグラフの横軸に検知枠内の高輝度画素数（個数）を示し、縦軸にＧａｉｎを１倍（０ｄＢ（デシベル））、０．５倍（−６ｄＢ）、０．２５（−１２ｄＢ）、０倍とした目盛を示す。
高輝度画素数が増加するに伴いゲインを小さくするために、検知枠の全画素数に対する検知枠内の高輝度画素数の割合を求め、この値を１から減算するようにしている。
しかしながら、検知枠内で高輝度画素数が増加し、所定以上あるいは全て高輝度になると、図６に示すグラフの破線はＧａｉｎ（ゲイン）が０倍となり、その結果画面全体が黒くなってしまう現象が生じる。
この現象を避けるため、高輝度画素が増加し一定の画素数以上になるとゲインが固定（一定に）されるようにしている。具体的には、図６のグラフにおいて、高輝度画素数が０からｎ１までの範囲は高輝度画素数が増加するとともにゲインは直線的に減少する。しかし、高輝度画素の個数がｎ１以上になるとゲインは０．２５（−１２ｄＢ）と固定され、検知枠全体の個数ｎ２まで一定とする。
高輝度画素数０からｎ１までのゲインは、高輝度画素数を検知枠全体の画素数で規格化し、下記式（１）と表すことができる。
[数１]
Ｇａｉｎ＝ｂ＝１−（高輝度画素数／検知枠全体画素数） ・・・（１）
また高輝度画素数ｎ１からｎ２までのＧａｉｎ（またはリミット値ｃ）は、式（２）に示すとおりである。
［数２］
Ｇａｉｎ＝ｃ＝ｃｏｎｓｔ（一定） ・・・（２）
ゲインと高輝度画素数を表す関係は、ＣＰＵ（パーソナルコンピュータ）などを用いて制御プログラムに従い計算することができ、またパラメータを設定してこの最小リミット値ｃのゲインを設定する。図６に示すように、例えばデフォルトの場合、高輝度画素数がｎ１以上のとき、Ｇａｉｎは０．２５倍と設定する。
またこの最小リミット値ｃはソフトウェアーのパラメータ設定以外に、明らかにハードウェアーでも設定することができる。

図７に、ハレーション対策Ｈ／Ｗ（ハードウェアー）回路１００の概略ブロック構成を示す。ハレーション対策Ｈ／Ｗ回路１００はセンサ部１０１、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ；ディジタル演算処理装置）１０２で構成されている。さらに、このＤＳＰ１０２は、前処理（ＰＲＥ）ブロック１０３、Ｙ（輝度信号）ブロック１０４、Ｃ（色信号）ブロック１０７、ＯＰＤ（光検出）ブロック１１０、ファームウェアー（Ｆ／Ｗ）部１１３で構成されている。
センサ部１０１はＣＣＤやＣＭＯＳ等の固体撮像素子と、この固体撮像素子から出力された画素信号を処理するゲイン（利得）制御回路や露光時間を電気的に制御する電子シャッターなどで構成されている。
ＤＳＰ１０２の前処理ブロック１０３（ディジタルＧａｉｎ）では、センサ部１０１から出力されたディジタル画像信号をディジタル的にゲインを調整して、出力レベルを一定にする。またディジタルゲインの調整以外に黒レベル調整部、画素欠陥補正部、シェーディング補正部などで構成されているが、これらについての詳細な説明は後述する。

Ｙ（輝度信号）ブロック１０４は、輝度信号利得（ゲイン）制御部１０５、ガンマ補正部１０６で構成されている。さらに詳細には、図９に示すように、Ｙゲイン（輝度信号利得制御）部１０５は、ＩＲ（赤外線）カット対策輝度バランス部３２１、アパコン（アパーチャーコントロール）生成部３２２、ハレーション対策用ゲイン部３２３、γ（ガンマ）補正部３２４などで構成される。
Ｃブロック１０７は、ホワイトバランスゲイン制御部１０８、ガンマ補正部１０９等で構成されている。さらに詳細には、図９に示すように、色分離・クランプ部３３１、フィルタ３３２、ＲＧＢ（赤・緑・青色）マトリクス部３３３、ＷＢ（ホワイトバランス）／γ（ガンマ）補正部３３４、Ｒ−Ｇ／Ｂ−Ｇ変換・色偽抑圧部３３５、Ｃｒ／Ｃｂ形成部３３６などで構成される。
ＯＰＤ（光検出）ブロック１１０は、ハレーション枠検波（高輝度ヒストグラム）部１１１と通常検波部１１２で構成される。
また、Ｆ／Ｗ（ファームウェアー）部１１３は、ＣＰＵ等で制御プログラムに従い、ＯＰＤブロック１１０の通常検波部１１２で検波された画像信号の検波レベルに基づいてセンサ部１０１の利得と前処理ブロック部１０３の利得を制御する。

次に、ハレーション対策Ｈ／Ｗ回路１００の動作について説明する。センサ部１０１から出力された画像信号は、前処理ブロック部１０３に供給され、通常検波部１１２で検出された画像信号がＦ／Ｗ部１１３に出力される。Ｆ／Ｗ部１１３に供給された検出信号レベルに応じてセンサ部１０１のゲインがアナログまたはディジタル的に制御され、また前処理ブロック１０３のゲインがディジタル的に利得制御される。

前処理ブロック１０３で利得制御された画像信号はＹブロック１０４、Ｃブロック１０７、ＯＰＤブロック１１０にそれぞれ供給される。
Ｙブロック１０４の輝度信号利得制御（ＹＧａｉｎ）部１０５に入力された画像信号はＯＰＤブロック１１０のハレーション枠検波（高輝度ヒストグラム）部１１１で検出された検出結果によって利得制御される。
具体例として、ハレーション枠検波（高輝度ヒストグラム）部１１１に入力された画像信号は図１〜３で示したように、車載カメラ装置の場合は、撮影された画面上の例えばウィンカーなどの光源の周囲に検知枠を予め設け、この検知枠内の閾値ａ（所定レベル）以上の高輝度画素数を計数する。
この計数した高輝度画素数に対応して、数式（１）、（２）から導出されたゲイン（利得）を求め、ＹＧａｉｎ（輝度信号利得制御）部１０５に出力し、輝度信号のゲイン（利得）を制御する。
利得制御された輝度信号はγ（ガンマ）補正部１０６に出力され、表示装置に対応するγ係数に従って入力レベル−出力レベルの関係によりＹ（輝度）信号が変換される。その結果、γ補正されたＹ信号が出力される。

Ｃ（色信号）ブロック１０７に入力された画像信号は、ＷＢＧａｉｎ（ホワイトバランスゲイン）制御部１０８でＲＧＢ（赤・緑・青色）回路の係数を色温度に応じて設定し、ホワイトバランスの調整を行う。ホワイトバランス調整された色信号はγ（ガンマ）補正部１０９でγ補正され、またその他の色信号処理が行われ色差信号Ｃｒ／Ｃｂが出力される。

光検出（ＯＰＤ）ブロック１１０のハレーション枠検波（高輝度ヒストグラム）部１１１は、上述したように撮像画面上の光源の周囲に予め設定された検知枠内の閾値ａ以上の高輝度画素数を計数する。その計数した高輝度画素数と設定された検知枠全体の画素数との比を求め、検知枠内の高輝度画素数に対応するＧａｉｎ（利得）を数式（１）、（２）から求める。このハレーション枠検波（高輝度ヒストグラム）部１１１については後述する。
一方、前処理ブロック１０３から出力された画像信号は通常検波部１１２に供給され、画像信号の信号レベルが検出される。この検出された信号レベルをファームウェアー（Ｆ／Ｗ）部１１３に出力し、ＣＰＵ等を用いて内蔵された制御プログラムに従い制御信号が出力される。センサ部１０１にはアナログまたはディジタル制御信号が出力され、画像信号のアンプ（増幅回路）の利得調整が行われる。また、前処理（ＰＲＥ）ブロック（ディジタルＧａｉｎ）１０３にもディジタル制御信号が供給され、利得調整が行われる。

図８に、ハレーション対策Ｈ／Ｗ回路２００のＹＧＡＩＮ（輝度信号利得制御）部２０２のハードウェアー構成の概略ブロック構成とＹＡＰＭＩＸ（輝度信号アパーチャーコントロール混合；アパコン付加）部２０１、ＯＰＤ（光検出）部２０４を示す。
ＹＡＰＭＩＸ（アパコン付加）部２０１では、アパコン生成部（３２２）で画像の輪郭を抽出し、この抽出した画像の輪郭（エッジ）信号が元の画像信号に付加され、画像の輪郭が強調された輝度信号が出力される。
ＹＧＡＩＮ（輝度信号利得制御部）部２０２は、乗算器２１０、丸め処理部（回路）２１１、ハレーションゲイン設定ブロック２２０で構成されている。
乗算器２１０は、ＹＡＰＭＩＸ（アパコン付加）部２０１から出力された輪郭補正された輝度信号とハレーションゲイン設定ブロック２２０から出力された利得制御信号が供給され、乗算処理されることにより利得制御が行われる。
乗算器２１０から出力されたＹ（輝度）信号は、アパコン付加部２０１から出力されたＹ輝度信号と利得制御信号がディジタル的に乗算される。しかし、この乗算処理によりビット数が増加する。丸め処理部２１１に入力された利得制御された輝度信号は下位ビットを除去して（丸め処理されて）ビット数を減らしている。
丸め処理された輝度信号は、後段のγ（ガンマ）補正部２０３に供給され、そこでガンマ補正されて出力される。

上述したハレーションゲイン設定ブロック２２０は、定数設定部２２２、加算（減算）器２２３、ＤＩＶ部（割算器）２２１、ゲイン（Ｇａｉｎ）リミッタ２２４で構成されている。
定数設定部２２２は、上述した数式（１）の数値１を設定する回路であり、ハードウェアーまたはＣＰＵ等を用いてソフトウェアーで設定する。
ＤＩＶ部２２１は、各フレーム毎にハレーションを測定するため、検知枠内の高輝度画素数と検知枠サイズ（検知枠内の全画素数）の各データが入力され、ハレーション枠サイズ（検知枠内全画素数）に対するハレーション枠（検知枠）内の高輝度画素数の割合、即ち検知枠内の高輝度画素数／検知枠内全画素数＝ｂが求められ、その結果を加算器２２３に出力する。
加算器２２３は、定数設定部２２２から出力されたデータとＤＩＶ部２２１から出力されたデータ（ｂ）が供給され、１−ｂの演算処理が行われ、数式（１）が求められる。
加算器２２３から出力された数式（１）のデータがＧａｉｎ（ゲイン）リミッタ２２４に供給されて、ゲインが一定以下になると利得が固定値に設定される。ゲインリミットパラメータ「Ｃ」でゲイン（利得）の下限を設定する。この利得の下限は図６で示したように、検知枠内の高輝度画素数が例えば高輝度画素数がｎ１以上になった場合、一定利得として画面が一定以上暗くならないようにしている。
もし下限の利得を制限しないと、ゲインリミッタ２２４からたとえば０倍の利得制御信号が乗算器２１０に出力され、輝度信号と乗算され０倍の輝度信号が出力される。
その結果、線形補間した利得が図６の破線で示すように、横軸の高輝度画素数がｎ１以上になってもそのまま利得が減少し、０．２５より小さくなり最終的には０倍となり、その結果、画面全体が暗くなってしまう。

図８に示す光検出（ＯＰＤ）部２０４は、ハレーション枠高輝度画素数計測部２３１とハレーション枠サイズ（検知枠内全画素数）設定部２３２で構成される。ここで、ハレーション枠高輝度画素数計測部２３１は検知枠内で計測された閾値ａ以上の高輝度画素数のデータが記憶され、またハレーション枠サイズ設定部２３２は検知枠の全画素数のデータが記憶されている。
撮影画面の光源の周囲に予め設定されたハレーション枠サイズ（枠内全体画素数）を計測または設定し、そのデータはＤＩＶ部２２１に出力される。また、ハレーション枠高輝度画素数計測部２３１から出力された高輝度画素数のデータもＤＩＶ部２２１に出力される。

次に、図８に示したハレーション対策Ｈ／Ｗ回路２００の動作について説明する。
アパコン付加部２０１から出力された輪郭補正された画像信号（Ｙ（輝度）信号）が乗算器２１０に供給される。一方、輝度信号利得制御部２０２は、自動露光制御により制御されてＯＮ状態になると、光検出部２０４でハレーション枠高輝度画素数のデータが計数され、この計数データと予め設定されたハレーション枠サイズ（検知枠内全体画素数）のデータが毎フレームＤＩＶ部２２１に供給される。
ＤＩＶ部２２１において、フレーム毎にハレーション枠サイズ（枠内全体画素数）に対するハレーション枠内の高輝度画素数の割合、即ち検知枠内高輝度画素数／検知枠内全画素数＝ｂが求められる。このｂの値を加算器２２３に出力し、そこで演算処理して数式（１）の値を求める。
このとき、高輝度画素数が所定画素数より多いとき、ゲインが下限値以下にならないようにゲインリミッタ２２４で制御する。

ゲインリミッタ２２４から出力されたゲイン制御用信号（係数値）は次のフレーム期間に乗算器２１０に供給され、Ｙ（輝度）信号とディジタル的に乗算処理され、丸め処理部２１１で丸め処理されてビット数を削減してγ（ガンマ）補正部２０３に出力される。そしてガンマ補正部２０３でガンマ補正された輝度信号が出力される。

上述したハレーション対策Ｈ／Ｗ回路２００は自動露光制御によりＯＮ／ＯＦＦ制御され、ＯＮ状態になると、毎フレーム検知枠内の高輝度画素の割合（ｂ）を求め、この情報を元に次フレームのゲインを決定する。
次フレームとの切り替わり時に、(１−ｂ)の計算を完了し、これを次フレームでのゲイン値とする。このゲインを、画面全体の輝度に対して乗算することで、画面全体のゲインを下げる調整を行う。
つまり、高輝度数が増える程、画面全体に掛けるゲイン値が減っていくので、高輝度の溢れ状態を抑えることが出来る。逆にいえば、例えば車載カメラ装置において、ウィンカーの点滅の暗い状態のときには、画面全体に掛けるゲイン値は増える(１倍に近づく)方向になるので、暗い背景などが見えなくなる症状も防ぐことができる。
従って、このゲイン調整を毎フレーム行うことで、ウィンカーなどの点滅によるハレーション状況の不自然な画の破綻を低減させることができ、動画出力においても、画を自然に見せることが出来る。

図９に、カメラ装置に用いられるハレーション対策Ｈ／Ｗ回路を備えた信号処理回路３００の全体ブロック構成を示す。
図９のカメラ装置は不図示の撮像素子部、信号処理回路３００で構成される。
カメラ装置において、不図示撮像素子部のレンズを介して入力された被写体の画像が撮像素子（センサー）の撮像面上に投写される。撮像素子（センサー）は、例えば、ＣＣＤやＣＭＯＳなどで構成され、レンズを透過した画像を電気信号に変換し、画像信号としてＣＤＳ（相関二重サンプリング）やプリアンプなどを介して信号処理回路３００に供給する。

信号処理部３００は、図９に示すように、前処理（ＰＲＥ）ブロック３１０、Ｙ（輝度信号）ブロック３２０とＣ（色信号；クロマ信号）ブロック３３０、パラレルインターフェース３４０、ＣＰＵ（マイクロコンピュータ）ブロック３５０等で構成される。
前処理ブロック３１０は、ビット順変換部３１１、ディジタルＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）部３１２、シェーディング補正部３１３、欠陥検出・補正部３１４、ディレイライン３１５、パターン生成部３１６、黒（色信号）積分部３１７等で構成される。
ビット順変換部３１１はセンサから出力された画素信号のビット順の変換を行う。ディジタルＡＧＣ部３１２は、黒積分部３１７などで黒レベル補正された画像信号をディジタル的に自動ゲイン調整する。シェーディング補正部３１３は不図示のレンズで生じるシェーディングの補正を行う。ディレイライン（遅延線）３１５は、画像信号を遅延させ、元の画像信号と演算して画素欠陥補正等を行う。

Ｙ（輝度信号）ブロック３２０は、ＩＲカット対策輝度バランス部３２１、アパコン生成部３２２、ハレーション対策用ゲイン部３２３、ガンマ（γ）補正部３２４等で構成されている。
ＩＲカット対策輝度バランス部３２１は、画像信号に含まれる赤外線をカットし輝度調整を行う。アパコン生成部３２２はＹ（輝度）信号の画像の垂直・水平（方向）輪郭補正信号を導出し、アパコン付加部で元のＹ輝度信号と垂直・水平輪郭補正信号をＭｉｘ（混合；加算）処理する。輪郭補正された輝度信号は、ハレーション対策用ゲイン部３２３に入力される。
ハレーション対策用ゲイン部３２３は、上述したように、撮像された画面にハレーション測定の検知枠を予め設定し、さらに高輝度レベルを判定するために閾値ａを設ける。
不図示の自動露光制御部により、ハレーション対策用ゲイン部３２３がＯＮ（動作状態）になると、その枠内の所定レベル（閾値ａ）以上の画素数を計測し、その計測した画素数を枠内全体の画素数で割算する。この割算した値を値１から減算し利得を線形補間する。
線形補間で得られた利得制御信号を乗算器（２１０）に供給して、次のフレームの期間、元の輝度信号レベルに乗算処理（掛けて）して、輝度信号の利得を制御する。この利得制御される増幅回路はガンマ補正部３２４の前段に設けている。また、この輝度信号の利得制御信号は線形補間し、かつ高輝度画素数が所定個以上になったとき、画面が一定以上暗くならないように下限リミットを設けている。
ガンマ補正部３２４は、ハレーション対策された輝度信号のガンマ補正を行う。その後、ルミナンス（輝度）キー処理、画像の一部領域を任意の輝度などに処理するソラリ、また画像を反転するネガ処理などの種々の画像処理を行われ、輝度信号ＹがＹブロック３２０から出力される。

Ｃ（色信号）ブロック３３０は、色分離・クランプ部３３１、フィルタ３３２、ＲＧＢマトリクス部３３３、ＷＢ／γ補正部３３４、Ｒ−Ｇ／Ｂ−Ｇ変換・色偽抑圧部３３５、Ｃｒ／Ｃｂ形成部３３６などで構成されている。
色分離・クランプ部３３１は画像信号から色信号を分離し、その色信号のレベルを所定レベルにクランプする。フィルタ３３２は色信号のノイズや色偽信号を除去する。ＲＧＢマトリクス部３３３は色（画素）信号を演算処理してＲＧＢの３原色を得る。ＷＢ／γ補正部３３４はＲＧＢ信号のホワイトバランスの設定とガンマ補正を行う。Ｒ−Ｇ／Ｂ−Ｇ変換・色偽抑圧部３３５は、ＲＧＢマトリクスから出力されたＲＧＢ信号をＲ−Ｇ，Ｂ−Ｇ信号に変換し、偽色信号を除去する。Ｃｒ／Ｃｂ形成部３３６は、ＣｒとＣｂの色差信号を生成する。
前処理ブロック３１０のディレイライン３１５から出力された画像信号はＣ（色信号）ブロックに入力され、色分離・クランプ部３３１に入力される。色分離やクランプ処理が行われ、フィルタ３３２で色信号のノイズや色偽信号が除去される。
フィルタ３３２から出力された色信号は、ＲＧＢマトリクス部３３に出力されＲＧＢマトリックス（Ｍａｔｒｉｘ）処理される。ＲＧＢマトリクス処理された後、ＷＢ／γ補正部３３４でＲ，Ｇ，Ｂの各回路の利得係数を可変するホワイトバランス（ＷＢ）調整を行い、その後γ（ガンマ）補正が行われる。Ｒ−Ｇ／Ｂ−Ｇ変換・色偽抑圧部３３５でＲ−Ｇ／Ｂ−Ｇ変換と色偽信号の抑圧処理が行われ、Ｃｒ／Ｃｂ形成部３３６で色差信号（Ｃｒ／Ｃｂ）が生成された後、クロマサプレス（抑制）処理、Ｈｕｅ／Ｇａｉｎ調整などが行われ、その結果得られた色信号Ｃが出力される。
そして、Ｙブロック３２０とＣブロック３３０から出力されたＹ信号とＣ信号を用いて復号され、ディジタルコンポジット信号、ディジタルＹ（輝度）、Ｃ（色）信号などが出力される。

次に、ハレーション対策に関する信号処理回路３００の動作について説明する。
センサから出力された画素信号はビット順の変換が行われ、黒レベルの検出が行われる。黒レベル補正された画像信号は、ディジタル的に自動ゲイン調整された後、不図示のレンズで生じるシェーディングの補正や、ディレイライン（遅延線）３１５を用いて画素欠陥の補正が行われる。
前処理ブロック３１０から出力された輝度信号は、赤外線をカットして輝度調整を行い、Ｙ（輝度）信号の垂直・水平（方向）輪郭補正信号を導出し、元のＹ輝度信号と垂直・水平輪郭補正信号をＭｉｘ（混合；加算）処理する。
輪郭補正された輝度信号は、ハレーション対策用ゲイン部３２３に入力される。ハレーション対策用ゲイン部３２３は、撮像される画面にハレーション測定の検知枠を予め設定し、また高輝度レベルを判定するために閾値ａを設ける。
自動露光制御により、ハレーション軽減対策回路がＯＮ（動作状態）になると、その検知枠内の所定レベル（閾値ａ）以上の画素数を計測し、その計測した画素数を枠内全体の画素数で割算する。この割算した値を値１から減算し利得を線形補間する。線形補間して得られた利得（データ）は、次のフレームの期間、元の輝度信号レベルに乗算処理され、その結果、元の輝度信号は利得制御される。
この輝度信号の利得制御は線形補間しているが、高輝度画素数が所定個以上になったとき、画面が一定以上暗くならないように下限リミットを設けている。これにより、画面全体の輝度レベルを調整して、ハレーション状態を軽減する。
ハレーション対策された輝度信号は、γ（ガンマ）補正部３２４でガンマ補正され出力される。

上述したＹブロック３２０に備えられたハレーション対策用ゲイン部３２３の動作に係わるハレーション枠（検知枠）の設定やゲインリミットのパラメータＣの設定は、ＣＰＵを用いたソフトウェアーで行うことができる。
図９に示すように、ＣＰＵブロック３５０から出力された制御信号は、パラレルインターフェース（ＰＩＯ）部３４０を介してハレーション対策用ゲイン部３２３に供給される。供給された制御信号により、光源の周囲に設ける検知枠を任意に設定する。例えば、光源の位置または大きさにより、検知枠の設定位置を変えたりまたその大きさを変えたりする。
またゲインリミットパラメータＣを変えて、画面の暗さの最低レベルを設定することができる。例えば、光源を変更したり、また上述した枠の設定位置、大きさなどを変更したとき、これに応じてパラメータＣを変化することにより画面の最低レベルの明るさを調整することができる。

以上述べたように、暗い場所で撮像したときハレーションによる画像の破綻を緩和することができる。また、長時間・短時間露光の２つの画像を用いない回路構成とし２重露光回路を不要とすることにより回路規模を削減でき、それに伴いコスト削減もできる。さらに、高輝度状態の状況によってシステム、回路などのモードの切り替えを必要とせずに高輝度溢れ状態を軽減することができる。
また、輝度レベル調節を輝度検出した高輝度画素数の割合から、線形補間により、次フレーム画面の輝度のレベルを調整することができる。
ゲイン調整を毎フレーム行うことで、車載カメラ装置において、ウィンカーなどの点滅によるハレーション状況の不自然な画の破綻を低減させることができ、動画出力においても、画を自然に見せることができる。

高輝度画素を検出するための検知枠を設定した画像を示す。 画素の高輝度レベルを判定するための輝度レベルを示す図である。 ハレーションと高輝度画素数の関係を示すヒストグラムである。 ハレーションと高輝度画素数の関係を示すヒストグラムである。 ハレーションと高輝度画素数の関係を示すヒストグラムである。 線形補間された利得−輝度の関係を示すグラフである。 ハレーション対策ハードウェアー回路のブロック構成を示した図である。 輝度信号利得制御部のブロック構成を示した図である。 カメラ装置の信号処理回路のブロック構成を示す図である。

符号の説明

１００…ハレーション対策Ｈ／Ｗ（ハードウェアー）回路、１０１…センサ部、１０２…ＤＳＰ（ディジタル演算処理装置）、１０３…前処理（ＰＲＥ）ブロック、１０４…Ｙ（輝度信号）ブロック、１０５…ＹＧａｉｎ（輝度信号利得制御）部、１０６，１０９，２０３…γ（ガンマ）補正部、１０８…ＷＢ（ホワイトバランス）ゲイン制御部、１１０…光検出（ＯＰＤ）ブロック、１１１…ハレーション枠検波部、１１２…通常検波部、１１３…ファームウェアー（Ｆ／Ｗ）部、２００…ハレーション対策Ｈ／Ｗ（ハードウェアー）回路、２０１…アパコン付加（ＹＡＰＭＩＸ；輝度・アパーチャー信号混合）部、２０２…ＹＧＡＩＮ（輝度信号利得制御）部、２０４…光検出部、２１０…乗算器、２１１…丸め処理部、２２０…ハレーションゲイン（利得）設定ブロック、２２１…ＤＩＶ部（割算器）、２２２…定数設定部、２２３…加算器、２２４…ゲイン（利得）リミッタ、２３１…ハレーション枠高輝度画素数計測部、２３２…ハレーション枠サイズ設定部、３００…信号処理回路、３１０…前処理（ＰＲＥ）ブロック、３１１…ビット順変換部、３１２…ディジタルＡＧＣ部、３１３…シェーディング補正部、３１４…欠陥検出・補正部、３１５…ディレイライン、３１６…パターン生成部、３１７…黒積分部、３２０…Ｙ（輝度信号）ブロック、３２１…ＩＲ（赤外）カット対策輝度バランス部、３２２…アパコン（アパーチャーコントロール）生成部、３２３…ハレーション対策用ゲイン部、３２４…γ（ガンマ）補正部、３３０…Ｃ（クロマ信号）ブロック、３３１…色分離・クランプ部、３３２…フィルタ、３３３…ＲＧＢマトリクス部、３４３…ＷＢ（ホワイトバランス）／γ（ガンマ）補正部、３３５…Ｒ−Ｇ／Ｂ−Ｇ変換・色偽抑圧部、３３６…Ｃｒ／Ｃｂ形成部、３４０…パラレルインターフェース（ＰＩＯ）部、３５０…ＣＰＵ（パーソナルコンピュータ）ブロック。

Claims (14)

1. 画像の光源の輝度レベルを測定するため上記光源を囲む位置に検知枠を設定する検知枠設定手段と、
   上記検知枠内の上記画像の輝度を測定する検知手段と、
   上記検知手段で得られた結果に基づき、上記検知枠に対する上記検知枠内で所定の輝度レベル以上の画像の割合を求め利得を設定する利得設定手段と、
   上記利得設定手段から出力された制御信号により画像信号の利得が制御される利得制御手段と
   を有する画像信号処理回路。
2. 上記検知枠は、予め上記光源を囲む固定された位置に設定される請求項１記載の画像信号処理回路。
3. 上記検知枠内の輝度測定は、フレーム毎に行われ、該測定結果を用いて次のフレームの画像の輝度を制御する請求項１記載の画像信号処理回路。
4. 上記利得制御手段は、ガンマ補正手段より前段に供えられて利得制御される請求項１記載の画像信号処理回路。
5. 上記検知手段は、上記検知枠内の画素の輝度レベルを測定し上記検知枠内の所定の輝度レベル以上の割合を求める請求項１記載の画像信号処理回路。
6. 上記利得設定手段は、上記検知手段で測定された結果を用いて線形補間して上記利得を導出する請求項１記載の画像信号処理回路。
7. 上記線形補間は、上記検知枠内で所定の輝度レベル以上の画像の割合が増加するに伴い上記利得は減少し、上記割合が所定値以上のとき該利得を一定とする請求項６記載の画像信号処理回路。
8. 撮像装置により撮像された画像の光源の輝度に応じて画像全体の輝度を調整する撮像システムであって、
   上記撮像された画像の固定位置に光源の輝度を検知する検知枠を設定する検知枠設定手段と、
   上記検知枠内で上記画像を測定し、閾値以上の画像を検知する検知手段と、
   上記検知手段から出力された結果に基き、上記閾値以上の画像の割合を導出して利得を設定する利得設定手段と、
   上記利得設定手段から出力された制御信号により画像信号の利得が制御される利得制御手段と
   を有する撮像システム。
9. 上記検知手段は、１フレーム内の動画で、上記検知枠内の画素の輝度レベルを測定して上記閾値以上の画素数を検知する請求項８記載の撮像システム。
10. 上記利得設定手段は、上記検知枠内の全体画素数に対する閾値以上の輝度レベルを有する画素数の割合により利得が設定される請求項８記載の撮像システム。
11. 上記利得設定手段は、現フレーム画像の上記検知枠内の閾値以上の画素数の輝度割合を求め、次フレーム画像について上記利得制御手段の利得を制御する請求項８記載の撮像システム。
12. 上記利得設定手段は、上記輝度測定された結果を用いて線形補間して上記利得を導出する請求項８記載の撮像システム。
13. 上記線形補間は、上記検知枠の閾値以上の画素数の割合が増加するに伴い上記利得は減少し、所定値以上のとき該利得は一定とする請求項８記載の撮像システム。
14. 上記光源はウィンカーとし、車のフロントミラーに映った上記ウィンカーを有する画像を車載用カメラで撮影し、該ウィンカーの光の周囲に上記検知枠設定手段により上記検知枠を設ける請求項８記載の撮像システム。