JP2007036999A - 映像信号処理装置、および、映像信号のレベルバランス方法 - Google Patents

Abstract

【課題】色温度の変動に対するレベルバランスゲインの制御を容易に、かつ、回路規模を増やすことなく行う。
【解決手段】映像信号に含まれる画素信号間で画素ごとの色の違いに応じて異なる輝度レベルを、画素信号Ｓ１Ｒ,Ｓ２Ｒ,Ｓ１Ｂ,Ｓ２Ｂの輝度成分に対し色ごとのゲインＧ_s1r,Ｇ_s1b,Ｇ_s2r,Ｇ_s2bを乗じて揃えるレベルバランス回路６１と、色温度とゲインとの関係を色ごとに保持するテーブルメモリ（ＲＡＭ１０Ａ,不揮発性メモリ１１）と、映像信号に基づいて色温度を算出する色温度算出部（ＯＰＤ８）とを有し、算出した色温度に対するゲインを、ルックアップテーブルに基づいて色ごとに特定し、特定した色ごとのゲインをレベルバランス回路６１に出力する。
【選択図】図８

Description

本発明は、映像信号に含まれる画素信号間で画素ごとの色の違いに応じて異なる輝度レベルを、画素信号の輝度成分に対し色ごとのゲインを乗じて揃えるレベルバランスを含む処理を実行する映像信号処理装置と、映像信号のレベルバランス方法とに関する。

ビデオカメラあるいはディジタルスチルカメラ内に、通常ＩＣ化された映像信号処理装置が搭載されている。
映像信号処理装置は、色間で信号レベルを調整する処理として、色温度に対するＲＧＢの原色信号のレベルを適正化するホワイトバランス処理を含む。

ホワイトバランス処理は、一般に、映像信号から原色分離によって生成されたＲＧＢ信号のそれぞれ、あるいは、特定の２色の信号に対してゲインを調整することによって実行される（たとえば、特許文献１参照）。
特許文献１は、固体撮像デバイスと、これとは別に設けた光検出手段との感度差を調整するために絞り制御を行い、このときの光検出手段の出力信号に基づいてテーブルデータを参照し、前記ホワイトバランスを行う可変増幅器の調整すべきゲインを取得する技術が記載されている。

一方、ホワイトバランス時に用いる色温度の算出時に、テーブルデータを用いる技術も知られている（たとえば、特許文献２参照）。

ところで撮像デバイスは、光電変換する素子であるが、水平および垂直方向に配列されたフォトダイオードによる画像サンプリングを行う素子と考えることもできる。この撮像デバイスの撮像部には所定配列の色フィルタが形成されている。色フィルタは、入力光量が同じ場合であっても、各色フィルタの透過率が異なることに因る輝度成分差を発生させる。したがって、撮像後の映像信号には、サンプリング周波数（ナイキスト周波数）で上記輝度成分差が一種の誤差成分（クロマキャリア成分）として重畳されている。

その結果、上記ホワイトバランス等を行う映像信号処理装置にも、この誤差成分（クロマキャリア成分）が重畳された映像信号が入力される。しかも、クロマキャリア成分は、原色分離後も除去されないままホワイトバランス処理等に用いるＲＧＢ信号の信号間でも微妙な輝度レベルの誤差となって重畳されている。

クロマキャリア成分を除去する回路として、レベルバランス回路が知られている（たとえば、特許文献３参照）。

レベルバランス回路は、いわゆる「レベルバランスゲイン」と称される係数を、入力された映像信号の輝度成分に、画素ごと（色ごと）に切り換えて乗じることによって、上記クロマキャリア成分をキャンセルする回路である。
そして、上記特許文献３には、ＣＣＤの出力信号に基づいて算出される色温度情報に応じて、各色のバランス係数を設定する係数設定回路が開示されている。
特許第２５６８１８２号公報 特許第３５３８９６３号公報 特開平５−３０４６７９号公報

ところが上記特許文献３には、上記バランス係数（レベルバランスゲイン）を生成する具体的な方法、そのための手段が開示されていない。
とくにレベルバランスゲインは、映像信号の画素単位で高速に切り換えて出力する必要があるため、当該ゲインをその都度演算により求めていたのでは処理負担および回路規模が大きい。
また、色温度が異なると、その都度レベルバランスゲインの計算を行う必要があり、さらに適用可能な撮像デバイスが複数ある場合、撮像デバイスごとにレベルバランスゲインを算出する必要があり、さらに処理負担と回路規模が増大する。

本発明が解決しようとする課題は、色温度の変動に対するレベルバランスゲインの制御を、容易に、かつ、回路規模を増やすことなく行うことが可能な映像信号処理装置と、レベルバランスゲインの設定ステップを含む映像信号のレベルバランス方法とを提供することである。

本発明に係る映像信号処理装置は、映像信号を入力し、映像信号に含まれる画素信号間で画素ごとの色の違いに応じて異なる輝度レベルを、画素信号の輝度成分に対し色ごとのゲインを乗じて揃えるレベルバランス回路と、色温度と前記ゲインとの関係を色ごとに保持するメモリと、前記映像信号に基づいて色温度を算出する色温度算出部とを有し、算出した色温度に対する前記ゲインを、前記メモリ内のデータに基づいて色ごとに特定し、特定した色ごとのゲインを前記レベルバランス回路に出力する。

この装置によれば、ルックアップテーブルに、色温度とゲインとの関係が保持されている。レベルバランス回路は、映像信号の輝度成分と、ルックアップテーブルから読み出した色ごとのゲインとを乗算する。この乗算に用いるゲインは、乗算後に映像信号に含まれる画素信号の輝度レベルが色間で揃うような値を有する。したがって、映像信号を得る撮像デバイスに一様な光量の光を入射した場合、レベルバランス回路から出力される映像信号は、その色間の輝度レベルが揃った信号となる。

本発明に係る他の映像信号処理装置は、映像信号を入力し、映像信号に含まれる画素信号間で画素ごとの色の違いに応じて異なる輝度レベルを、画素信号の輝度成分に対し色ごとのゲインを乗じて揃えるレベルバランス回路と、前記映像信号に基づいて色温度を算出する色温度算出部と、前記色温度と前記ゲインとの関係が異なる複数のルックアップテーブルを保存するテーブルメモリと、前記映像信号を出力する撮像デバイスに応じた一のルックアップテーブルを前記テーブルメモリから読み出し、前記色温度算出部が算出した色温度に対する前記ゲインを、前記読み出したルックアップテーブルに基づいて特定し、特定した色ごとのゲインを前記レベルバランス回路に出力する制御部とを有する。

この装置によれば、当該映像信号処理装置と組み合わせて使用することが可能な撮像デバイスごとのテーブルを複数保存しているテーブルメモリを有する。制御部は、使用されている撮像デバイスに応じて、すなわち、使用時に映像信号を出力している撮像デバイスに応じて一のルックアップテーブルをテーブルメモリから読み出し、たとえば内蔵のレジスタ等に保持する。そして、色温度算出部が算出した色温度に対するゲインを、読み出したルックアップテーブルに基づいて特定する。特定した色ごとのゲインは、レベルバランス回路に出力され、そこで色ごとの輝度成分と乗算される。

本発明に係るレベルバランス方法は、映像信号に含まれる画素信号間で画素ごとの色の違いに応じて異なる輝度レベルを、画素信号の輝度成分に対し色ごとのゲインを乗じて揃えるレベルバランス方法であって、前記映像信号のレベルバランスに先立って、特定色の色画像を撮像デバイスで撮像することにより得られた色画像信号をレベルバランス回路に入力し、レベルバランス回路の出力で前記輝度成分が色間で揃うような前記ゲインを色ごとに設定する第１ステップと、複数の撮像デバイスごとに、かつ、前記色画像の色を種々変更しながら前記第１ステップを繰り返し、前記色ごとのゲインを前記撮像デバイスおよび色温度ごとに設定する第２ステップと、前記第２ステップで得られた前記色ごとのゲインと前記色温度との関係を、前記撮像デバイスごとにルックアップテーブルを有するテーブルメモリに保存する第３ステップと、を実行し、前記映像信号のレベルバランス時の処理が、前記映像信号を出力する撮像デバイスに応じた一のルックアップテーブルを前記テーブルメモリから読み出す第４ステップと、前記映像信号に基づいて色温度を算出する第５ステップと、前記第５ステップで算出した色温度に対する前記ゲインを、前記第４ステップで読み出したルックアップテーブルに基づいて特定する第６ステップと、前記特定した色ごとのゲインを前記レベルバランス回路に出力し、前記映像信号に対するレベルバランスを実行する第７ステップとを含む。

この方法によれば、実際に映像信号のレベルバランスを行うための第４〜第７ステップに先立って、第１〜第３ステップにおいて、撮像デバイスごとのルックアップテーブルを作成し、テーブルメモリに保存する処理が実行される。このとき、第１ステップでは、テスト用の特定色の色画像を撮像デバイスで撮像し、レベルバランス回路の出力信号をモニタしながら、レベルバランスをとるためには、色ごとのゲインをどの程度にすればよいかが決められる。第２ステップでは、色温度を変えて第１ステップを繰り返し、また、第１ステップで用いる撮像デバイスを他のものに交換して、色温度を変えながら第１ステップを繰り返す。第３ステップでは、第２ステップで得られた色ごとのゲインと色温度との関係を、テーブルメモリ内の、各撮像デバイスに対応したルックアップテーブルに格納する。

その後は、使用されている撮像デバイスに応じて、すなわち、使用時に映像信号を出力している撮像デバイスに応じて一のルックアップテーブルをテーブルメモリから読み出し（第４ステップ）、たとえば内蔵のレジスタ等に保持する。また、色温度を算出する（第５ステップ）。そして、第６ステップにて、色温度算出部が算出した色温度に対するゲインを、読み出したルックアップテーブルに基づいて特定する。特定した色ごとのゲインは、第７ステップにて、レベルバランス回路に出力され、そこで色ごとの輝度成分と乗算される。

本発明によれば、色温度の変動に対するレベルバランスゲインの制御を、容易に、かつ、回路規模を増やすことなく行うことができる。

図１は、本実施形態に係る映像信号処理装置を内蔵したビデオカメラのブロック図である。
図示したビデオカメラは、レンズや光学フィルタを含む光学部品１、撮像デバイス２、アナログの撮像信号を処理するアナログ・フロント・エンド（ＡＦＥ）回路３、アナログの撮像信号をディジタル信号に変換し、ディジタルの映像信号として各種信号処理部に出力するＡＤコンバータ（ＡＤＣ）５、および、各種信号処理がされた映像信号をアナログ信号に変換し、ビデオ信号１４として出力するＤＡコンバータ（ＤＡＣ）１２を有する。

本実施形態に係る映像信号処理装置としては、図１の破線で囲んだ部分（以下、映像信号処理部４という）が、これに該当する。映像信号処理部４は、自動露光制御、自動ホワイトバランス制御、レベルバランス制御等の各種信号処理を行う回路である。
映像信号処理部４は、半導体チップにＩＣ化され、あるいは、複数の部品が実装されたモジュールや実装基板として提供され、ビデオカメラに内蔵されている。

映像信号処理部４は、ＡＤＣ５とＤＡＣ１２間で、前述した各種信号処理を行う手段として、輝度信号処理ブロック６、色信号処理ブロック７、オプティカルディテクタ（ＯＰＤ）８、および、混合回路（ＹＣ＿ＭＩＸ）９を有する。さらには、映像信号処理部４は、「制御部」としてのマイクロコンピュータ１０と、「テーブルメモリ」としての不揮発性メモリ１１とを有する。

輝度信号処理ブロック６内に、レベルバランス回路６１が設けられている。また、色信号処理ブロック７内に、原色分離部７１と、ホワイトバランス（ＷＢ）制御部７２とが設けられている。これらレベルバランス回路６１、原色分離部７１およびＷＢ制御部７２の詳細および動作は後述する。

撮像デバイス２は、ＣＣＤセンサまたはＣＭＯＳイメージセンサである。撮像デバイス２は、光学部品１からの光（像）を撮像面に結像可能な範囲内に固定されている。また、撮像デバイス２は光センサをマトリックス状に多数配置させ、その撮像面の光入射側に色フィルタを、隣接した数個の光センサ単位（画素単位）で一定の配列となるように形成している。
撮像デバイス２に、タイミングジェネレータ（ＴＧ）１３が接続されている。ＴＧ１３はマイクロコンピュータ１０により制御されて所定の信号を生成する。より詳細には、撮像デバイス２にＴＧ１３からのクロック信号、垂直同期信号、水平同期信号が入力可能になっている。また、撮像デバイス２がＣＣＤの場合、垂直同期信号や水平同期信号と同期した転送パルスも、ＴＧ１３から供給される。

ＴＧ１３は、これらのタイミング制御のための信号を、マイクロコンピュータ１０の制御を受けて、不図示のシステムクロック信号から生成する回路である。撮像デバイス２は、これらのタイミング制御のための信号によって、転送動作やシャッタスピード変更等の各種動作が制御される。

ここで撮像デバイス２の動作を簡単に説明する。
撮像デバイス２は、半導体基板上にマトリックス状に配列した光センサにより被写体からの光を光学部品１内のレンズを通し、撮像面に結像させる。そして、光センサが、被写体からの光を検出して、光量に応じた信号電荷を生成し（光電変換）、信号電荷を垂直信号線、あるいは、垂直および水平の電荷転送部を通じ読み出して被写体の画像信号（撮像信号）を出力する。
また、撮像デバイス２はタイミングジェネレータ１３から供給される信号に基づいて動作し、たとえばインタレース方式の場合、１フレーム分の画像信号を偶数フィールドと奇数フィールドとに分けて出力する。

ＡＦＥ回路３は、ＣＤＳ（Correlation Double Sampling）回路およびＡＧＣ（Auto-gain Control）回路を含み、撮像デバイス２からの撮像信号に対し、ＣＤＳを行って撮像信号に含まれる固定パターンノイズを除去するとともに、ＡＧＣ（自動利得制御）により信号レベルを安定化するための回路である。撮像デバイス２がＣＣＤの場合、センサ出力が負電荷（電子）対応であるため信号反転を行う必要があり、撮像信号はＡＦＥ回路３を通る間に信号反転される。撮像デバイス２がＣＭＯＳイメージセンサの場合、信号反転は不要である。

ＡＤＣ５は、ＡＦＥ３の出力信号をディジタル化する回路である。

輝度信号処理ブロック６は、このディジタル化された信号（映像信号）に対して、自動露光制御として信号レベルを適切なレベルとすべく信号処理を行う回路である。
輝度信号処理ブロック６内のレベルバランス回路６１は、最初に映像信号の輝度成分を抽出し、輝度成分に色ごとのゲイン（レベルバランスゲイン）を乗じるための回路である。これによって、映像信号から、色フィルタの透過率の違いに起因して生じる色間の誤差成分（クロマキャリア成分）が除去される。

図１では図示を省略しているが、ガンマ補正回路および同期信号付加回路、さらには、自動露出制御のための回路も、この輝度信号処理ブロック６内に設けられている。輝度信号処理ブロック６内の全ての処理が施された後の輝度成分（輝度信号）は、その後、混合回路９に送られる。

色信号処理ブロック７内の原色分離部７１は、ＡＤＣ５の出力信号より、赤（Ｒ）、緑（Ｇ），青（Ｂ）の３つの原色信号（ＲＧＢ信号）を抽出する。
ＷＢ制御部７２は、ＲＧＢ信号に対してマイクロコンピュータ１０から与えられる係数を乗じて信号レベルを制御する。図１において符号７２Ａにより示す部分は、この係数を乗算する部分である（以下、「係数乗算部」という）。ホワイトバランス後のＲＧＢ信号は、一方でＯＰＤ８に送られるとともに、色差信号Ｙ−Ｒ,Ｙ−Ｂに変換された後に混合回路９に送られる。

ＯＰＤ８は、本発明の「色温度算出部」の一実施例に該当する。図示例で色温度算出は、自動ホワイトバランス制御時と、レベルバランス制御時の双方に必要な処理である。
自動ホワイトバランス制御時のＯＰＤ８は、ＷＢ制御部７２からのホワイトバランス後のＲＧＢ信号を入力して色温度を検出する。
一方、レベルバランス制御時のＯＰＤ８は、ホワイトバランス後のＲＧＢ信号、あるいは、ホワイトバランス前のＲＧＢ信号を入力して色温度を検出する。
このため、ＯＰＤ８は、ホワイトバランス前後でＲＧＢ信号が入力可能に色信号処理ブロック７と接続されている。

ＯＰＤ８は、ホワイトバランス制御回路が上記係数を乗じたＲＧＢ信号、あるいは、上記係数を乗じる前のＲＧＢ信号を、それぞれ垂直同期信号の周期ごとに、すなわちフィールドごとに、たとえばＩＩＲ（Infinite Impulse Response）フィルタにより積分することによって各フィールドにおける原色信号（Ｒ信号,Ｂ信号,Ｇ信号）の各々または全部で平均的な信号レベルを算出する回路である。
このように輝度レベルを１画面、たとえば１フィールドで平均化すると、一般的な被写体の画像では、その平均輝度レベルが色温度にほぼ比例した値をとる。検出した色温度、すなわち１画面の平均輝度レベルは、マイクロコンピュータ１０に送られる。

マイクロコンピュータ１０は、ＣＰＵ，ＲＯＭ，ＲＡＭを含み、ＣＰＵがＲＯＭに格納されたプログラムデータに基づき、適宜ＲＡＭを使用して動作することで各種の機能を制御する。
そして、自動ホワイトバランス制御、レベルバランス制御の際に、ＯＰＤ８が算出したＲＧＢ信号の平均輝度レベルに基づいて、Ｒ信号,Ｇ信号,Ｂ信号の平均輝度レベルを均一化するためのホワイトバランス係数Ｇwb、レベルバランス係数（レベルバランスゲイン）Ｇlbを生成する。
ホワイトバランス係数Ｇwbは、ＷＢ制御部７２内の係数乗算部７２Ａに送られ、レベルバランスゲインＧlbは輝度信号処理ブロック６内のレベルバランス回路６１に送られる。

混合回路９は、輝度信号処理ブロック６が出力する輝度信号と、色信号処理ブロック７が出力する色差信号とを合成してビデオ信号を生成する回路である。
ＤＡＣ１２は、ビデオ信号をアナログのビデオ信号１４に変換して出力する。

図２に、輝度信号処理ブロック６の初段に設けられている同時化回路の構成を示す。図３に、輝度信号処理ブロック６内の図２に続く回路のブロック図を示す。また、図４に撮像デバイス２（図１）の色フィルタ配列と画素信号名との対応を示す。

図１に示す撮像デバイス２の色フィルタは、たとえばマゼンダ（Ｍｇ）、シアン（Ｃｙ）、イエロー（Ｙｅ）、グリーン（Ｇ）といった４種類の色を備える２×２の基本画素配列を単位として同じ配列が繰り返されている。ＣＣＤの場合、これをそのまま読み出す場合もあるし、縦の２画素を混合して読み出す場合もある。
いずれにしても、ＣＣＤから読み出され、輝度信号処理ブロック６に入力されてくる映像信号は、たとえば、最初に２色に対応した画素信号Ｓ１ＲとＳ２Ｒが交互に時系列で繰り返される「Ｒライン」が１水平走査期間（１Ｈ）に出力され、つぎの１Ｈに他の２色に対応した画素信号Ｓ１ＢとＳ２Ｂが交互に時系列で繰り返される「Ｂライン」が出力され、全体では「Ｒライン」と「Ｂライン」が交互に時系列で繰り返されたものとなる（図４参照）。

図２に示す同時化回路はＳＲＡＭ等の１Ｈディレイのためのラインメモリ６０を有する。
これにより、２つの出力信号、すなわち第１ライン信号ｉh1dと第２ライン信号ｉh2dとで、その一方がＲラインを出力しているときは他方がＢラインを出力し、ＲラインとＢラインが交互に切り替わる。このとき図２に示す同時化回路の２つの出力からは、図４に示す２×２の基本画素配列内の２画素に対応した画素信号Ｓ１ＲとＳ１Ｂが同時に出力され、画素信号Ｓ２ＲとＳ２Ｂが同時に出力される。

図３に示すように、輝度信号処理ブロック６は他の処理回路として、レベルバランス回路６１（図１）、ガンマ補正回路６２、ゲイン調整回路６３、同期信号（Ｓｙｎｃ）付加回路６４、水平輪郭強調回路６５、垂直輪郭強調回路６６、および、輪郭強調信号の混合回路（以下、アパコン混合回路（ＡＰ＿ＭＩＸ）という）６７を有する。
このうちレベルバランス回路６１と垂直輪郭強調回路６６との双方に、図２に示す同時化回路からの第１ライン信号ｉh1dと第２ライン信号ｉh2dが並列に入力されるようになっている。
なお、この図３に入力される際の第１および第２ライン信号ｉh1d,ｉh2dは、不図示の輝度分離回路を通したものであり、映像信号から輝度成分が抽出された輝度信号となっている。

レベルバランス回路６１、ガンマ補正回路６２、ゲイン調整回路６３および同期信号付加回路６４は、図３に示す回路の入出力間に縦続接続されている。水平輪郭強調回路６５とアパコン混合回路６７は、レベルバランス回路６１とガンマ補正回路６２との接続に対して並列に接続され、垂直輪郭強調回路６６の出力がアパコン混合回路６７に接続されている。

レベルバランス回路６１は、前述したクロマキャリア成分を除去するための回路である。

水平輪郭強調回路６５と垂直輪郭強調回路６６は、入力信号に対して、それぞれ水平方向と垂直方向のハイパスフィルタ処理を行う回路である。

アパコン混合回路６７は、水平輪郭強調回路６５のハイパスフィルタ処理により抽出された高周波信号（Ｈ輪郭信号）と、垂直輪郭強調回路６６のハイパスフィルタにより抽出された高周波信号（Ｖ輪郭信号）とを加算する回路である。加算後の輪郭信号を以下、輪郭補正信号という。

ガンマ補正回路６２は、映像信号の輝度を当該ビデオカメラが接続される表示デバイスの特性に応じて、テーブル変換する回路である。
そのため複数の輝度曲線（入出力特性）を示すルックアップテーブルが内蔵または外部のメモリに保持されている。また、ガンマ補正回路６２は、レベルバランス回路６１からの輝度信号と、アパコン混合回路６７からの輪郭補正信号を加算する機能を備えている。ガンマ補正回路６２は、輝度信号と輪郭補正信号とを加算後の信号に対して適切で、かつ、表示デバイスに応じたルックアップテーブルを選択し、輝度補正を行う。

ゲイン調整回路６３は、ガンマ補正後の輝度信号のレベルに応じたゲイン調整を行う回路である。
たとえば、輝度レベルが過剰に高い場合には信号をサプレスするようなハイライトサプレス処理を行う。また、セットアップレベル（標準的な輝度レベル）の付加も行う。ビデオカメラを起動したときの輝度レベルは、このセットアップレベルに設定される。ユーザはメニュー画面等で、セットアップレベルからの輝度レベルの変更が可能である。

同期信号付加回路６４は、ゲイン調整後の輝度信号に対して、水平同期信号、垂直同期信号およびブランキング信号を付加するための回路である。

図３に示す回路の大まかな動作を説明する。

第１または第２ライン信号ｉh1d,ｉh2dがレベルバランス回路６１に入力されると、その入力信号に対しレベルバランス制御が実行される。レベルバランス制御については後述する。
レベルバランス後のライン信号（輝度信号）は、ガンマ補正回路６２でガンマ補正された後、ゲイン調整回路６３で、ハイライトサプレス処理等が施され、同期信号付加回路６４で同期信号等が付加された後、図１の混合回路（ＹＣ＿ＭＩＸ）９へと送られる。

一方、レベルバランス回路６１に入力されている信号が第１ライン信号ｉh1dと仮定すると、このとき垂直輪郭強調回路６６には第２ライン信号ｉh2dが入力されている。垂直輪郭強調回路６６では第２ライン信号ｉh2dから垂直輪郭補正量を示す信号（Ｖ輪郭信号）が生成され、アパコン混合回路６７の一方入力に送られる。
その間、第１ライン信号ｉh1dに対しレベルバランス回路６１でレベルバランスが施され、さらに、水平輪郭強調回路６５で水平輪郭補正量を示す信号（Ｈ輪郭信号）が生成され、アパコン混合回路６７に送られる。

アパコン混合回路６７は、上記Ｖ輪郭信号とＨ輪郭信号とを加算して「輪郭補正信号」を生成し、ガンマ補正回路６２に送る。
ガンマ補正回路６２は、輪郭補正信号を、レベルバランス回路６１から送られてくるレベルバランス後の第１ライン信号ｉh1dに加算し、その輪郭強調後の第１ライン信号ｉh1dに対して最適なルックアップテーブルを選択し、ガンマ補正を実行する。
その後は、ゲイン調整と同期信号付加を経て、全ての処理後の輝度信号（ライン信号）が図１の混合回路９へ送られる。

図５（Ａ）に、レベルバランス回路６１の回路構成図を示す。
レベルバランス回路６１は、減算器６１Ａ、乗算器６１Ｂ、スイッチ回路６１Ｃおよびオーバフローリミッタ（Overflow limiter）６１Ｄを有する。
レベルバランス回路６１の入出力間に、減算器６１Ａ、乗算器６１Ｂおよびオーバフローリミッタ６１Ｄが縦続接続され、乗算器６１Ｂに対しスイッチ回路６１Ｃの出力が接続されている。

減算器６１Ａは、その一方入力に第１または第２ライン信号ｉh1d／ｉh2dが供給され、他方入力に黒レベル信号ｉblkが供給される。減算器６１Ａは、第１または第２ライン信号ｉh1d／ｉh2dから黒レベル信号ｉblkを引く処理を行う回路である。
なお、黒レベル信号ｉblkは、たとえば、図１に示す撮像デバイス２の有効撮像領域周囲の遮光領域（オプティカルブラック部：不図示）で読み出された輝度レベルを、ＡＦＥ回路３内で複数回サンプルホールドした値をマイクロコンピュータ１０で平滑化（平均）することにより得られた信号であり、輝度信号の基準レベルとするべき信号である。減算器６１Ａの減算処理により、第１または第２ライン信号ｉh1d／ｉh2dの基準レベルが正確な値に補正される。

スイッチ回路６１Ｃは、４入力１出力のスイッチを実現するための回路である。スイッチ回路６１Ｃの４つの入力に、それぞれ値が異なる４つのレベルバランスゲインＧ_s1r,Ｇ_s1b,Ｇ_s2r,Ｇ_s2bが個々に入力される。４つのレベルバランスゲインＧ_s1r,Ｇ_s1b,Ｇ_s2r,Ｇ_s2bは、図１においてはマイクロコンピュータ１０からレベルバランス回路６１に付与されるレベルバランスゲインＧlbに該当する。
スイッチ回路６１Ｃの切り替え制御については後述する。

乗算器６１Ｂは、その一方入力に黒レベル補正後の第１または第２ライン信号ｉh1d／ｉh2dが供給され、他方入力に、上記レベルバランスゲインＧ_s1r,Ｇ_s1b,Ｇ_s2r,Ｇ_s2bが１つずつ供給される。４つのレベルバランスゲインＧ_s1r,Ｇ_s1b,Ｇ_s2r,Ｇ_s2bが所定の順序で供給されるように、スイッチ回路６１Ｃによるスイッチ動作が行われる。
乗算器６１Ｂは、第１または第２ライン信号ｉh1d／ｉh2dに対し、画素ごとに、上記４つのレベルバランスゲインを乗じる回路である。乗算後のライン信号は、４つのレベルバランスゲインの各値に応じてレベルが揃えられたものとなる。換言すると、４つのレベルバランスゲインの各値は、乗算器６１Ｂの出力信号が画素間で輝度レベルが揃うように設定されている。

オーバフローリミッタ６１Ｄは、ゲインの乗算により輝度レベルが過度に上昇してしまい映像として見づらくなる場合、後段の回路の入力ダイナミックレンジを越えてしまう場合、後段の回路の処理で輝度ハイレベルに制限がある場合などの理由により、予め高輝度成分をカットするための回路である。この何れかが生じる可能性が低いときは、オーバフローリミッタ６１Ｄを省略することも可能である。

図５（Ｂ）に、ＣＣＤの補色系読み出し画素配列と、スイッチ回路６１Ｃの制御信号との関係を示す。
図４と同様な２×２の画素配列において、それぞれの画素信号に対し、ライン判定信号（Line_ID）およびビット判定信号（Bit_ID）を組み合わせた２ビットのスイッチ制御信号Ｓｃの論理を対応させている。
このため、２ビットのスイッチ制御信号［Line_ID, Bit_ID］が［0,0］のときは、画素信号Ｓ１Ｒに乗算すべきレベルバランスゲインＧ_s1rがレベルバランス回路６１により選択される。同様に、［Line_ID, Bit_ID］＝［0,1］のときはレベルバランスゲインＧ_s2rが選択され、［Line_ID, Bit_ID］＝［1,0］のときはレベルバランスゲインＧ_s1bが選択され、そして、［Line_ID, Bit_ID］＝［1,1］のときはレベルバランスゲインＧ_s2bが、それぞれスイッチ回路６１Ｃにより選択される。

これにより、たとえば輝度が均一な白色光を撮像デバイスに入射したときに、１つの基本画素配列に対応する４つの画素信号Ｓ１Ｒ,Ｓ２Ｒ,Ｓ１Ｂ,Ｓ２Ｂで輝度を揃えるレベルバランスが達成される。つまり、色フィルタ配列に起因したクロマキャリア成分が映像信号の輝度成分から除去される。

なお、クロマキャリア成分を除去する別の手段としてローパスフィルタを用いる場合もあるが、その場合、ナイキスト周波数付近の高周波成分が減衰し、解像度が劣化してしまう。

そこで、本実施形態ではレベルバランス回路６１を用いてクロマキャリア成分を除去する。
ただし、レベルバランス補正の際に乗算する４つのレベルバランスゲインＧ_s1r,Ｇ_s1b,Ｇ_s2r,Ｇ_s2bのそれぞれを１種類ずつの固定値とすると、色温度の変動によって適正なレベルバランスが変動してしまうため、レベルバランス回路６１の機能が十分に発揮できない。たとえば、極端に色温度が高い場合には、レベルバランス処理により逆にクロマキャリア成分が増幅されてしまうケースもある。

図１に示す本実施形態の映像信号処理部４は、色温度変動に応じて適切にレベルバランスゲインを制御し、どの色温度に対しても常に、クロマキャリア成分を除去できるように構成している。

以下、このレベルバランスゲイン制御について説明する。
図６は、レベルバランスゲイン制御の全体のフローチャート、図７は、テーブル作成ステップの詳細を示すフローチャートである。また、図８は、図６および図７の各ステップと処理ブロックとの対応を示すために、図１の要部を示す図である。

図６のステップＳＴ１〜ＳＴ３は、当該映像信号処理部（ＩＣ等）の開発時あるいはビデオカメラへの実装時における初期設定のステップである。続くステップ４以降は、ビデオカメラの使用時のステップである。

ステップＳＴ１は、各色温度に対する適切なレベルバランスを算出し、ルックアップテーブル化し、このルックアップテーブルを対応可能な撮像デバイスの種類ごとに作成するステップである。
色温度については、たとえば２５００Ｋ（Ｋ：ケルビン）〜９５００Ｋの範囲で何点かレベルバランスゲインを算出する。この色温度点数は多いほど後述するようにレベルバランスゲイン制御の精度が向上する。ここでは一例として２５００Ｋ,３２００Ｋ,９５００Ｋの３点でレベルバランスゲインを算出する場合を述べる。

ルックアップテーブル作成では、最初に、図７のステップＳＴ１１にて、各色温度（たとえば、２５００Ｋ,３２００Ｋ,９５００Ｋ）において白色単色画像を撮像する。このとき、図１に示す所定の撮像デバイスが２内蔵されているビデオカメラを用いる。

ステップＳＴ１２では、図８に示すように、ＡＤＣ５の出力を、ロジックアナライザ等のモニタ機器１００、あるいは、ロジック解析ソフトをインストールしたパーソナルコンピュータ（ＰＣ）１０１によりモニタする。ＰＣ１０１によりモニタする場合は、マイクロコンピュータ１０に接続されたＲＳ２３２Ｃ等の通信ケーブルを経由して、ＰＣ１０１がＡＤＣ５の出力をモニタする。

ステップＳＴ１３では、ＣＣＤ基本画素配列（４画素）中の各画素信号レベル（Ｓ１Ｒ、Ｓ２Ｒ、Ｓ１Ｂ，Ｓ２Ｂ）を、図８のモニタ機器１００により抽出し、４画素出力の平均値（Ｓ＿Ａｖｅ）を算出する。

つぎのステップＳＴ１４〜ＳＴ１６は、図８のモニタ機器１００からマイクロコンピュータ１０を経由してモニタ結果を受信したＰＣ１０１が実行する。
ステップＳＴ１４では、図７の関係式（式（１））を用いて、各画素信号レベル（Ｓ１Ｒ、Ｓ２Ｒ、Ｓ１Ｂ、Ｓ２Ｂ）とその平均値（Ｓ＿Ａｖｅ）の比をとって、その比を各色温度におけるレベルバランスゲインとする。
式（１）から明らかなように、各画素信号レベル（Ｓ１Ｒ、Ｓ２Ｒ、Ｓ１Ｂ，Ｓ２Ｂ）が異なっていても、各画素信号にレベルバランスゲインを乗算することによって、全て平均値（Ｓ＿Ａｖｅ）に揃えられる。
このステップＳＴ１４を色温度ごとに繰り返すことによって、つぎのステップＳＴ１５でルックアップテーブルを作成する。

一例として図９に、色温度とＣＣＤ基本４画素のレベルバランスゲインとの関係を示す。
このグラフから、色温度によって４画素それぞれのレベルバランスゲインが変動していることが分かる。

この色温度とレベルバランスゲインとの関係は、一般に撮像デバイス（ＣＣＤ）のタイプに応じて異なることから、ＰＣ１０１はＣＣＤのタイプごとにルックアップテーブルを作成する。このため、図７のステップＳＴ１６にて、ＰＣ１０１は、全てのＣＣＤでルックアップテーブルが作成されたかを確認し、その判断が「ＹＥＳ」となるまでステップＳＴ１１〜ＳＴ１５を繰り返す。
ステップＳＴ１６の判断が「ＹＥＳ」となると、当該ステップＳＴ１の処理が終了する。

図６に戻り、ステップＳＴ２にて、ＰＣ１０１は、作成した全てのルックアップテーブルをテーブルメモリ（不揮発性メモリ１１）に、マイクロコンピュータ１０を経由して書き込む。

つぎのステップＳＴ３にて、システム初期化が行われる。
システム初期化では、電源投入時またはシステムリセットによってシステムをイニシャライズした際、不揮発性メモリ１１に書き込んだ複数のルックアップテーブルから、当該ビデオカメラに搭載されることが決定されたＣＣＤのタイプに対応した一のルックアップテーブルに記憶されたデータ（色温度ごとのレベルバランスゲイン値）が、マイクロコンピュータ１０内のＲＡＭ１０Ａに読み出される。この際もＲＳ２３２Ｃ等の通信機能を利用する。
読み出されたテーブルデータは、ＲＡＭ１０Ａに保持される。

図８に示す色信号処理ブロック７内の原色分離部７１がＲＧＢ信号をＯＰＤ８に出力する。
ＯＰＤ８は、図６のステップＳＴ４にて、入力したＲＧＢ信号からＲＧＢ積分値が算出される。
具体的には、ＯＰＤ８が、原色分離されたＲＧＢ信号を１フィールドまたは１フレーム間積分し、ＲＧＢ積分値を算出する。
算出されたＲＧＢ積分値は、ＯＰＤ８からマイクロコンピュータ１０に転送される。

マイクロコンピュータ１０は、図６のステップＳＴ５にて、転送されてきたＲＧＢ積分値から色温度を算出する。そして、つぎのステップＳＴ６にて、ＲＡＭ１０Ａ内のルックアップテーブルを参照し、算出した色温度に対応する４つのレベルバランスゲインＧ_s1r,Ｇ_s1b,Ｇ_s2r,Ｇ_s2bを決定する。
その後、マイクロコンピュータ１０は、これらの４つのレベルバランスゲインを図８のレベルバランス回路６１に転送し、図５に示すスイッチ回路６１Ｃの４つの入力に設定するとともに、ライン判定信号（Line_ID）とビット判定信号（Bit_ID）をスイッチ回路６１Ｃの制御入力に印加する。

図６のステップＳＴ７にて、図５に示すレベルバランス回路６１内でレベルバランスが実行される。
上記ライン判定信号（Line_ID）とビット判定信号（Bit_ID）は、図５（Ａ）に示す４つのビットの組み合わせで常時、画素信号に同期した状態変化を繰り返しており、そのため、４つのレベルバランスゲインＧ_s1r,Ｇ_s1b,Ｇ_s2r,Ｇ_s2bを、たとえば、この順で乗算器６１Ｂに繰り返し出力する。
乗算器６１Ｂは、黒レベル補正後の映像信号の輝度成分に対して、その画素信号ごとに、４つのレベルバランスゲインＧ_s1r,Ｇ_s1b,Ｇ_s2r,Ｇ_s2bを順次乗じ、その動作を繰り返す。

この動作は、第１ライン信号ｉh1dと第２ライン信号ｉh2dとが切り替わった後も繰り返される。
その結果、映像信号に対するクロマキャリアの除去が達成される。

なお、上記レベルバランス制御はホワイトバランス制御との連動させることもできる。
その場合の制御をつぎに簡単に述べる。

図１に示すように、原色分離後のＲＧＢ信号はＷＢ制御部７２に送られ、そこでホワイトバランス制御が行われる。
その際、マイクロコンピュータ１０はＯＰＤ８の出力からホワイトバランス係数Ｇwbを算出する。マイクロコンピュータ１０は、さらに、算出されたホワイトバランス係数Ｇwbから色温度を算出する。
図９に、色温度とレベルバランスゲインとの関係を示しているが、これと同様に色温度とホワイトバランス係数とのルックアップテーブルを作成する。

そして、マイクロコンピュータ１０は、前述した図６のステップＳＴ６と同様な方法により、算出された色温度に対するレベルバランスゲイン値を、ルックアップテーブルを参照して求め、レベルバランス回路６１に設定する（ステップＳＴ６）。
レベルバランス回路６１は、前述した図６のステップＳＴ７と同様な方法により、レベルバランスを実行する。

なお、この方法ではホワイトバランス係数から色温度を算出し、その色温度からレベルバランスゲインを算出するというように説明の便宜上、２ステップのフロー構成となっているが、別の実施形態としてホワイトバランス係数対レベルバランスゲインのルックアップテーブルを予め用意し、ホワイトバランス係数からレベルバランスゲインを算出するようにしてもよい。

上記何れの方法においても、１フィールドまたは１フレーム画面で色温度が検出され、レベルバランスゲインを求めて、実際にレベルバランスを行う。
マイクロコンピュータ１０の処理能力にもよるが、この間、たとえば２〜３フレーム程度のディレイが生じる。ただし、動画においても２〜３フレーム程度の画面変化は軽微であり、同じ色温度と推定できる。したがって、このディレイがあっても、ほぼ正確に色温度に対するレベルバランス制御が可能である。
本実施形態によれば、たとえば２〜３フレームごとに色温度が検出され、それに基づいてレベルバランス制御が行われることからダイナミックに追従性のよい制御が可能である。

また、色温度に対するレベルバランスゲイン値の算出にあたっては、図９に示す色温度とレベルバランスゲインとの関係を保存するルックアップテーブルにもとづいて、線形補間によりレベルバランスゲインを算出することもできる。
すなわち、マイクロコンピュータ１０は、ＯＰＤ８から送られてくる色温度の計算結果が、図９に示すプロット点から外れている場合は、それに近い複数のプロット点（保存されたレベルバランスゲイン値）から、所定の補間方法により、新たなレベルバランスゲイン値を算出し、これをレベルバランス処理に用いる。

一旦補間により求めたゲインデータを既存のルックアップテーブルに追加するようにしてもよい。これは、色温度の検出結果がビデオカメラの使われ方によって、その頻度に傾向がある場合、再び同じ補間計算を不要とし、処理効率を向上させるためである。

本発明の実施の形態によれば、ルックアップテーブルを用いて色温度ごとに４つのレベルバランスゲインＧ_s1r,Ｇ_s1b,Ｇ_s2r,Ｇ_s2bが、レベルバランス回路６１に設定されることから、逐次ゲイン計算する場合に比べて処理負担が小さい。また、レベルバランスゲインの色温度に対する組み合わせがルックアップテーブルとして保存され、色温度が変わった場合でも、ルックアップテーブルから読み出すだけで済むことから、その点でも処理負担が小さい。

また、撮像デバイス２のタイプごとにルックアップテーブルを不揮発性メモリ１１に保存しているため、種々の撮像デバイス２に対応可能な映像信号処理装置が実現できる。

対応可能な撮像デバイス２のタイプが多ければ多いほど汎用性が高くなる。また、図９に示す色温度とレベルバランスゲインとのプロットにおいて、プロット数（ゲインデータ数）が多いほど、補間計算処理の負担が小さい。ただし、撮像デバイス２のタイプ数および図９のプロット数に比例して、不揮発性メモリ１１に保存すべきデータ量が膨大となる。
一方で、ビデオカメラに搭載する撮像デバイス２のタイプが決まれば、そのタイプに対応した１つのルックアップテーブル以外は実質的に不要となる。したがって、本実施形態では、全てのテーブルデータを不揮発性メモリ１１に保存しておいて、必要なテーブルデータだけをロード、すなわちマイクロコンピュータ１０内に読み出して用いるようにしている。これによって、マイクロコンピュータ１０のデータアクセス性、処理負担が軽減できるという利益が得られる。

なお、図９に示すグラフにおいて、プロット数が多いほど補間処理の精度が増す。また、ビデオカメラの被写体に応じ、更には動作環境に応じて、検出される色温度の範囲も限られることが多い。
そのことを加味して、補間後のデータをルックアップテーブルに追加する構成をとれば、必要最小限のデータ追加で、処理負担低減という大きな利益が得られる。

実施形態に係るビデオカメラのブロック図である。 同時化回路のブロック図である。 輝度信号処理ブロック内の同時化回路以外の回路ブロック図である。 レベルバランス回路の回路構成図である。 撮像デバイスの色フィルタ配列と画素信号名およびライン名との対応を示す説明である。 （Ａ）はレベルバランス回路の回路構成図、（Ｂ）はＣＣＤの補色系読み出し画素配列とスイッチ制御信号との関係を示す説明図である。 レベルバランスゲイン制御の全体のフローチャートである。 ルックアップテーブル作成ステップの詳細を示すフローチャートである。 各ステップと処理ブロックとの対応を示す図である。 色温度とレベルバランスゲインとの関係を示すグラフである。

符号の説明

２…撮像デバイス、４…映像信号処理部、５…ＡＤＣ、６…輝度信号処理ブロック、７…色信号処理ブロック、８…ＯＰＤ、９…混合回路、１０…マイクロコンピュータ、１０Ａ…ＲＡＭ、１１…不揮発性メモリ、１２…ＤＡＣ、６１…レベルバランス回路、６１Ａ…減算器、６１Ｂ…乗算器、６１Ｃ…スイッチ回路、７１…原色分離部、７２…ＷＢ制御部、１００…モニタ機器、１０１…ＰＣ、Ｇlb,Ｇ_s1r,Ｇ_s1b,Ｇ_s2r,Ｇ_s2b…レベルバランスゲイン、Ｇwb…ホワイトバランス係数、Ｓ１Ｒ,Ｓ２Ｒ,Ｓ１Ｂ,Ｓ２Ｂ…画素信号、ｉblk…黒レベル信号、ｉh1d…第１ライン信号、ｉh2d…第２ライン信号、Bit_ID…ビット判定信号、Line_ID…ライン判定信号

Claims (9)

1. 映像信号を入力し、映像信号に含まれる画素信号間で画素ごとの色の違いに応じて異なる輝度レベルを、画素信号の輝度成分に対し色ごとのゲインを乗じて揃えるレベルバランス回路と、
   色温度と前記ゲインとの関係を色ごとに保持するメモリと、
   前記映像信号に基づいて色温度を算出する色温度算出部と、を有し、
   算出した色温度に対する前記ゲインを、前記メモリ内のデータに基づいて色ごとに特定し、特定した色ごとのゲインを前記レベルバランス回路に出力する
   映像信号処理装置。
2. 前記ゲインの特定と出力を制御する制御部と、
   前記色温度と前記ゲインとの関係が異なる複数のルックアップテーブルを保存するテーブルメモリと、をさらに有し、
   前記制御部は、前記映像信号を出力する撮像デバイスに応じた一のルックアップテーブルを前記テーブルメモリから読み出し、読み出したルックアップテーブルに基づいて前記ゲインを特定する
   請求項１に記載の映像信号処理装置。
3. 前記テーブルメモリは、所定数の離散的な色温度と当該色温度ごとの前記ゲインとの関係をルックアップテーブルとして保持し、
   前記色温度算出部が算出した色温度に対応する前記ゲインが前記メモリ内に保存されていないときは、前記算出した色温度に近い複数の色温度に対応する複数のゲインから補間処理によりゲインを色ごとに算出し、前記レベルバランス回路に出力する
   請求項１に記載の映像信号処理装置。
4. 前記映像信号から原色信号を分離するＲＧＢ分離部をさらに有し、
   前記色温度算出部は、前記ＲＧＢ分離部からの原色信号を、前記映像信号の１画面に相当する領域で積分し、積分値に基づいて色温度を算出する
   請求項１に記載の映像信号処理装置。
5. 前記色温度の算出と、算出された色温度に対応する前記ゲインの特定および出力とを定期的に繰り返し、
   前記レベルバランス回路は、新たにゲインが入力されるたびに、前記輝度レベルを色間で揃える動作を実行する
   請求項１に記載の映像信号処理装置。
6. 映像信号を入力し、映像信号に含まれる画素信号間で画素ごとの色の違いに応じて異なる輝度レベルを、画素信号の輝度成分に対し色ごとのゲインを乗じて揃えるレベルバランス回路と、
   前記映像信号に基づいて色温度を算出する色温度算出部と、
   前記色温度と前記ゲインとの関係が異なる複数のルックアップテーブルを保存するテーブルメモリと、
   前記映像信号を出力する撮像デバイスに応じた一のルックアップテーブルを前記テーブルメモリから読み出し、前記色温度算出部が算出した色温度に対する前記ゲインを、前記読み出したルックアップテーブルに基づいて特定し、特定した色ごとのゲインを前記レベルバランス回路に出力する制御部と、
   を有する映像信号処理装置。
7. 前記テーブルメモリは、所定数の離散的な色温度と当該色温度ごとの前記ゲインとの関係をルックアップテーブルとして保持し、
   前記制御部は、前記色温度算出部が算出した色温度に対応する前記ゲインが前記テーブルメモリから読み出したルックアップテーブル内に保存されていないときは、前記算出した色温度に近い複数の色温度に対応する複数のゲインから補間処理によりゲインを色ごとに算出し、前記レベルバランス回路に出力する
   請求項６に記載の映像信号処理装置。
8. 映像信号に含まれる画素信号間で画素ごとの色の違いに応じて異なる輝度レベルを、画素信号の輝度成分に対し色ごとのゲインを乗じて揃えるレベルバランス方法であって、
   前記映像信号のレベルバランスに先立って、
   特定色の色画像を撮像デバイスで撮像することにより得られた色画像信号をレベルバランス回路に入力し、レベルバランス回路の出力で前記輝度成分が色間で揃うような前記ゲインを色ごとに設定する第１ステップと、
   複数の撮像デバイスごとに、かつ、前記色画像の色を種々変更しながら前記第１ステップを繰り返し、前記色ごとのゲインを前記撮像デバイスおよび色温度ごとに設定する第２ステップと、
   前記第２ステップで得られた前記色ごとのゲインと前記色温度との関係を、前記撮像デバイスごとにルックアップテーブルを有するテーブルメモリに保存する第３ステップと、を実行し、
   前記映像信号のレベルバランス時の処理が、
   前記映像信号を出力する撮像デバイスに応じた一のルックアップテーブルを前記テーブルメモリから読み出す第４ステップと、
   前記映像信号に基づいて色温度を算出する第５ステップと、
   前記第５ステップで算出した色温度に対する前記ゲインを、前記第４ステップで読み出したルックアップテーブルに基づいて特定する第６ステップと、
   前記特定した色ごとのゲインを前記レベルバランス回路に出力し、前記映像信号に対するレベルバランスを実行する第７ステップと、
   を含む映像信号のレベルバランス方法。
9. 前記第６ステップにおいて、前記算出した色温度に対応する前記ゲインが前記テーブルメモリから読み出したルックアップテーブル内に保存されていないときは、前記算出した色温度に近い複数の色温度に対応する複数のゲインから補間処理によりゲインを色ごとに算出し、前記レベルバランス回路に出力する
   請求項８に記載の映像信号のレベルバランス方法。
   

Images