JP2014165505A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】収束アルゴリズムに依存せず、ホワイトバランスを一挙に収束させる。
【解決手段】本発明のホワイトバランス装置１０は、色差信号比率の急変後に、収束点予測部１３によって、色差信号比率からホワイドバランスの収束後の色信号Ｒ，Ｂのゲインを予測し、ホワイトバランス制御を実行する。このことにより、被写体が切り替わって色温度環境が急変した場合、ホワイトバランス制御装置１０は、一挙にホワイトバランスの収束点を設定すること、またはホワイトバランスの収束点の近傍の状態を設定することができる。
【選択図】図１

Description

本発明は、カメラのホワイトバランスを制御する技術に関する。

監視用途で使用されるカメラには、旋回機構を備えて、一台で撮影対象をいくつも切り換えることができるタイプのものがある。このようなカメラでは、撮影対象を切り替えた時に、切り替え前と切り替え後とで、色温度の異なる照明環境を撮影する状態が発生する場合がある。

ある色温度の照明環境でホワイトバランスが安定している状態から、別の色温度の照明環境に切り替わった場合、色温度差が大きいほど、大きな色ずれを生じる。そのため、ホワイトバランスが安定するまでの間、実際の色とは異なった画像に見えてしまうことがある。したがって、ホワイトバランスの調整を素早く収束させるための検討が行われている。

例えば、特許文献１には、色温度や輝度が急変した場合、急変直後の所定期間では、ホワイトバランスを収束させる動作を速いクロック速度で実行し、所定期間経過後には、クロック速度を通常（低速）に戻して収束動作を実行する技術が開示されている。このようにすることで、色ずれの状態からホワイトバランスが収束する状態になるまでの時間を短縮できることが記載されている。

特許３０３４５４２号公報

しかしながら、特許文献１に記載の技術では、ホワイトバランスを収束させるアルゴリズム自身は変更されていないので、色ずれの解消が格段に速くなったように感じにくいという問題がある。また、クロック速度を速くした効果を出すために、収束アルゴリズムのプログラム（演算手順）等を、高速演算に適するように変更しなければならないという手間を生ずるという問題もある。
そこで、本発明では、収束アルゴリズムに依存せず、ホワイトバランスを一挙に収束させる技術を提供することを課題とする。

前記課題を解決するために、本発明の画像処理装置は、色差信号の比率を示す色差信号比率を算出し、前記色差信号比率が所定値以上か否かを判定する色信号処理部と、前記色差信号比率が所定値以上と判定された場合、前記色差信号比率に基づいてホワイトバランスの収束後の色信号のゲインを予測する収束点予測部と、前記予測したホワイトバランスの収束後の色信号のゲインを、前記色信号のゲインを調整する色信号ゲイン調整部に出力するゲイン出力部とを備えることを特徴とする。

本発明によれば、収束アルゴリズムに依存せず、ホワイトバランスを一挙に収束させることができる。

ホワイトバランス制御装置を含むカメラの機能例を示す図である。 ゲイン予測の一例を示す図であり、（ａ）はゲイン予測テーブルの一例を表し、（ｂ）は色信号ごとの色差信号比率とゲインとの関係の一例を表す。 ホワイトバランス制御装置の処理フロー例を示す図である。

次に、本発明を実施するための形態（以降、「本実施形態」と称す。）について、適宜図面を参照しながら詳細に説明する。

ホワイトバランス制御装置（画像処理装置）１０を含むカメラ１００の機能例について、図１を用いて説明する。
カメラ１００は、撮像素子２１、信号処理部２２、色信号ゲイン調整部２３、エンコーダ２４およびホワイトバランス制御装置１０を備える。

撮像素子２１は、入力してきた光を、光電変換することによって撮像信号を生成し、信号処理部２２に出力する機能を有する。
信号処理部２２は、受信した撮像信号から、輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙを生成する機能を有する。そして、信号処理部２２は、輝度信号Ｙをエンコーダ２４に出力し、色差信号Ｒ―Ｙ，Ｂ−Ｙを色信号ゲイン調整部２３に出力する。

色信号ゲイン調整部２３は、受信した色差信号Ｒ−Ｙ，Ｂ−Ｙのうち、色信号Ｒ，Ｂに対して、ホワイトバランス制御装置１０から信号線１６を介して受信したゲイン情報に基づいて、色信号Ｒ，Ｂそれぞれのゲインを調整する機能を有する。

エンコーダ２４は、信号処理部２２から輝度信号Ｙを受信し、色信号ゲイン調整部２３から色差信号Ｒ―Ｙ，Ｂ−Ｙを受信して、カメラ出力を生成する機能を有する。したがって、色信号ゲイン調整部２３からホワイトバランスが収束した状態の色差信号Ｒ−Ｙ，Ｂ−Ｙが出力されていれば、エンコーダ２４の出力であるカメラ出力のホワイトバランスは適正になっている。

ホワイトバランス制御装置１０は、色信号処理部１１、スイッチ１２、収束点予測部１３およびゲイン出力部１５を備える。
色信号処理部１１は、色信号ゲイン調整部２３から色差信号Ｒ−Ｙ，Ｂ−Ｙを受信し、信号処理部２２から輝度信号Ｙを受信する。そして、色信号処理部１１は、ホワイトバランス制御の対象範囲を示す色信号検出枠の中に属する色差信号Ｒ−Ｙおよび色差信号Ｂ−Ｙに対して、所定のアルゴリズムに基づいて、色信号Ｒ，Ｂのゲインを算出する機能を有する。なお、色信号検出枠は、ホワイトバランスの制御対象となる、ホワイトの近傍に位置する色信号Ｒ，Ｂを検出する範囲を表している。

一般的に、色信号処理部１１は、色信号検出枠内の色差信号Ｒ−Ｙおよび色差信号Ｂ−Ｙそれぞれの積分値が同じ数値（すなわち、Ｒ＝Ｂ）となるように、所定のアルゴリズムを用いて、色信号Ｒ，Ｂそれぞれのゲインを少しずつ調整するための演算処理を実行する。そして、色信号処理部１１は、ホワイトバランスが収束（安定）した時に演算処理を停止する。
次に、色信号処理部１１は、被写体が切り替わった時に色温度環境が急変した場合、収束（安定）していた色信号Ｒ，Ｂのゲインを変化させる演算処理を実行する。具体的には、色信号処理部１１は、色差信号Ｒ−Ｙ，Ｂ−Ｙの比率を算出し、その色差信号比率が所定値以上の場合に変化が生じたと判定することによって、色差信号Ｒ−Ｙ，Ｂ−Ｙに変化が生じたことを検出する。また、色信号処理部１１は、カメラ１００の向きが変化したことをトリガとして、所定のアルゴリズムの演算処理を開始しても構わない。

変化が生じたと判定した場合、色信号処理部１１は、スイッチ１２を収束点予測部１３側に接続し、その色差信号比率を収束点予測部１３に出力する機能を有する。なお、色差信号比率が所定値未満と判定した場合、色信号処理部１１は、スイッチ１２をゲイン出力部１５側に接続し、所定のアルゴリズムによって算出したゲインをゲイン出力部１５に出力する。

スイッチ１２は、色信号処理部１１によって制御され、色信号処理部１１の出力する情報を収束点予測部１３またはゲイン出力部１５に引き渡す。また、スイッチ１２は、本実施形態では、プログラムによって論理的に切り替えられるものとするが、半導体スイッチや電気機械式スイッチ等のハード的なものであっても構わない。

収束点予測部１３は、色信号処理部１１から色差信号比率を受信し、ホワイトバランスの収束後の色信号Ｒ，Ｂのゲインを予測する機能を有する。具体的には、収束点予測部１３は、予め色差信号比率と色信号Ｒ，Ｂの値を変更するゲインとを関連付けたゲイン予測テーブル（ゲイン予測情報）１４を参照して、色信号Ｒ，Ｂのゲインを取得し、当該ゲインを予測値としてゲイン出力部１５に出力する。

ゲイン出力部１５は、収束点予測部１３から色信号Ｒ，Ｂのゲインを受信し、受信したゲインをゲイン情報として信号線１６を介して、色信号ゲイン調整部２３に出力する機能を有する。また、ゲイン設定部１５は、色信号処理部１１から色信号Ｒ，Ｂのゲインを受信し、受信したゲインをゲイン情報として信号線１６を介して、色信号ゲイン調整部２３に出力する機能を有する。

ゲイン予測テーブル１４は、色差信号比率とホワイトバランスの収束後の色信号Ｒ，Ｂのゲインとを関連付けた表である。ここで、図２を用いて、ゲイン予測テーブル１４の一例と、色差信号比率と色信号Ｒ，Ｂのゲインとの関係の定性的な傾向について、説明する。

図２（ａ）は、ゲイン予測テーブル１４の一例を示している。ゲイン予測テーブル１４は、色差信号比率とホワイトバランスの収束後の色信号Ｒ，Ｂのゲインとを関連付けたものである。なお、図２（ａ）中の色信号Ｒ，Ｂのゲインは、ホワイトバランス制御の最終的な収束点を実現する値、または最終的な収束点の近傍を実現する値であり、少なくとも、視覚的に一挙にホワイトバランスが収束したような効果をもたらすことができる。例えば、色差信号比率が「１．１」の時、色信号Ｒのゲインが「ｒｕ１」で、色信号Ｂのゲインが「ｂｕ１」であれば、収束したような効果をもたらす。

図２（ｂ）は、横軸に色差信号比率［（Ｒ−Ｙ）／（Ｂ−Ｙ）］を表し、縦軸に色信号Ｒ，Ｂのゲインの増加または減少の度合いを表している。つまり、色差信号比率と色信号Ｒ，Ｂのゲインとの定性的な傾向を表している。この度合いを関数として、ゲイン予測テーブル１４の代わりとして用いてもよい。
色差信号比率［（Ｒ−Ｙ）／（Ｂ−Ｙ）］が１より大きくなるに従って、色信号Ｒのゲインは減少し、色信号Ｂのゲインは増加する。また、色差信号比率［（Ｒ−Ｙ）／（Ｂ−Ｙ）］が１より小さくなるに従って、色信号Ｒのゲインは増加し、色信号Ｂのゲインは減少する。

次に、ホワイトバランス制御装置１０の処理フロー例について、図３を用いて説明する（適宜、図１参照）。
ステップＳ３０１では、色信号処理部１１は、色差信号Ｒ−Ｙ，Ｂ−Ｙを受信する。
ステップＳ３０２では、色信号処理部１１は、色差信号比率（例えば、（Ｒ−Ｙ）／（Ｂ−Ｙ））を算出する。

ステップＳ３０３では、色信号処理部１１は、色差信号比率が所定値以上か否かを判定する。
所定値以上の場合（ステップＳ３０３でＹｅｓ）、処理はステップＳ３０４へ進み、所定値未満の場合（ステップＳ３０３でＮｏ）、処理はステップＳ３０５へ進む。
なお、所定値以上の場合には、色信号処理部１１は、スイッチ１２を収束点予測部１３側へ接続する。また、所定値未満の場合には、色信号処理部１１は、スイッチ１２をゲイン出力部１５側へ接続する。

色信号処理部１１は、色差信号比率が所定値以上に急変した時に、スイッチ１２を収束点予測部１３側へ接続する。そして、収束点予測部１３によって予測された色信号Ｒ，Ｂのゲインによって色信号Ｒ，Ｂが更新されることによって、色ずれがほぼ解消される。言い換えると、ホワイトバランスの急変直後に、収束点予測部１３が予測した色信号Ｒ，Ｂのゲインを色信号ゲイン調整部２３に適用することによって、色差信号比率は、ほぼ所定値未満となる。つまり、視覚的には、ホワイトバランスが一挙に収束したように感じられる。

ステップＳ３０４では、収束点予測部１３は、ゲイン予測テーブル１４（図２参照）を参照し、色差信号比率に対応する収束点の色信号Ｒ，Ｂのゲインを予測する。
ステップＳ３０５では、色信号処理部１１は、公知のアルゴリズムを実行して、色信号Ｒ，Ｂのゲインを算出する。
ステップＳ３０６では、ゲイン出力部１５は、ステップＳ３０４で予測した色信号Ｒ，ＢのゲインまたはステップＳ３０６で算出した色信号Ｒ，Ｂのゲインをゲイン情報として色信号ゲイン調整部２３に出力する。

以上説明したように、本発明のホワイトバランス制御装置１０は、色差信号比率の急変後に、収束点予測部１３によって、色差信号比率からホワイドバランスの収束後の色信号Ｒ，Ｂのゲインを予測し、ホワイトバランス制御を実行する。このことにより、被写体が切り替わって色温度環境が急変した場合、ホワイトバランス制御装置１０は、一挙にホワイトバランスの収束点を設定すること、またはホワイトバランスの収束点の近傍の状態を設定することができる。つまり、ホワイトバランス制御装置１０は、収束アルゴリズムに依存せず、ホワイトバランスを一挙に収束させることができる。

また、一般の監視用途のカメラに、本実施形態のホワイトバランス制御装置１０を適用することによって、瞬時に正確に色再現することができる。したがって、本実施形態のホワイトバランス制御装置１０は、犯行現場を捉えるための映像利用だけでなく、犯人の服装や車等の色情報を記録することに効果がある。

なお、図１では、ホワイトバランス制御装置１０の機能を符号１１〜１５に示すブロックとして別個に表しているが、符号１１〜１３は、マイコンに展開されたアプリケーションプログラムによって実現されていても構わない。

また、本実施形態では、色差信号比率と色信号Ｒ，Ｂのゲインとの関係を、ゲイン予測テーブル１４（図２（ａ））で表現したが、図２（ｂ）に示すような傾向を示す関数で表現しても構わない。関数で表現した場合には、色差信号比率を当該関数に入力することによって、色信号Ｒ，Ｂのゲインが予測値として算出されることになる。例えば、色差信号比率「１．１」を当該関数に入力すると、色信号Ｒのゲインが「ｒｕ１」、色信号Ｂのゲインが「ｂｕ１」と算出される。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも、説明したすべての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、ホワイトバランス制御装置１０の各構成、機能等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、ホワイトバランス制御装置１０の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、またはＩＣカード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてもよい。

１０ ホワイトバランス制御装置（画像処理装置）
１１ 色信号処理部
１２ スイッチ
１３ 収束点予測部
１４ ゲイン予測テーブル（ゲイン予測情報）
１５ ゲイン出力部
２１ 撮像素子
２２ 信号処理部
２３ 色信号ゲイン調整部
２４ エンコーダ
１００ カメラ

Claims (6)

1. 色差信号の比率を示す色差信号比率を算出し、前記色差信号比率が所定値以上か否かを判定する色信号処理部と、
   前記色差信号比率が所定値以上と判定された場合、前記色差信号比率に基づいてホワイトバランスの収束後の色信号のゲインを予測する収束点予測部と、
   前記予測したホワイトバランスの収束後の色信号のゲインを、前記色信号のゲインを調整する色信号ゲイン調整部に出力するゲイン出力部と
   を備えることを特徴とする画像処理装置。
2. 前記収束点予測部は、前記ホワイトバランスの収束後の色信号のゲインと前記色差信号比率とを関連付けて記憶しているゲイン予測情報を参照し、前記色差信号比率に対応する前記ホワイトバランスの収束後の色信号のゲインを取得して、当該ゲインを予測値とする
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記収束点予測部は、前記ホワイトバランスの収束後の色信号のゲインと前記色差信号比率とを関連付けた関数を用いて、前記色差信号比率に対応する前記ホワイトバランスの収束後の色信号のゲインを取得して、当該ゲインを予測値とする
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記色信号処理部は、前記色差信号比率が前記所定値以上と判定した場合、前記収束点予測部に前記色差信号比率を出力する
   ことを特徴とする請求項１ないし請求項３のいずれか一項に記載の画像処理装置。
5. ホワイトバランスを制御する画像処理装置が、
   色差信号を取得し、前記色差信号の比率を示す色差信号比率を算出し、前記色差信号比率が所定値以上か否かを判定する色信号比較ステップと、
   前記色差信号比率が所定値以上と判定された場合、前記色差信号比率に基づいてホワイトバランスの収束後の色信号のゲインを予測する収束点予測ステップと、
   前記予測したホワイトバランスの収束後の色信号のゲインを、前記色信号のゲインを調整する色信号ゲイン調整部に出力するゲイン出力ステップと
   を実行することを特徴とする画像処理方法。
6. 前記色信号比較ステップでは、前記色差信号比率が前記所定値以上と判定した場合、前記収束点予測ステップに前記色差信号比率を出力する
   ことを特徴とする請求項５に記載の画像処理方法。

Images