JP2004356681A - ホワイトバランス調整回路、その応用装置、ホワイトバランス調整方法、及びホワイトバランス調整プログラム - Google Patents
ホワイトバランス調整回路、その応用装置、ホワイトバランス調整方法、及びホワイトバランス調整プログラム Download PDFInfo
- Publication number
- JP2004356681A JP2004356681A JP2003148512A JP2003148512A JP2004356681A JP 2004356681 A JP2004356681 A JP 2004356681A JP 2003148512 A JP2003148512 A JP 2003148512A JP 2003148512 A JP2003148512 A JP 2003148512A JP 2004356681 A JP2004356681 A JP 2004356681A
- Authority
- JP
- Japan
- Prior art keywords
- white balance
- balance adjustment
- determination
- image signal
- scan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
【課題】メモリのアクセス効率をよくし処理速度の向上を図れるホワイトバランス調整回路、その応用装置、ホワイトバランス調整方法及びホワイトバランス調整プログラムを提供する。
【解決手段】カラーフィルタを備えたＣＣＤ撮像素子１からの画像信号を複数ブロックに分割するブロック分割部２と、第１の走査による画像信号において各ブロック毎に各色毎に累積加算する累積加算部３と、累積加算結果を保持する第１の保持部４と、累積加算結果を用いてホワイトバランス判定を行うホワイトバランス判定部５と、その判定結果を保持する第２の保持部６と、第２の走査による画像信号において各ブロック毎に各色毎に累積加算した累積加算結果と、前記第１及び第２の保持部で保持されている累積加算結果とホワイトバランス判定結果とを用いてホワイトバランス係数を算出するホワイトバランス係数算出部７とでホワイトバランス調整回路を構成する。
【選択図】 図１
【解決手段】カラーフィルタを備えたＣＣＤ撮像素子１からの画像信号を複数ブロックに分割するブロック分割部２と、第１の走査による画像信号において各ブロック毎に各色毎に累積加算する累積加算部３と、累積加算結果を保持する第１の保持部４と、累積加算結果を用いてホワイトバランス判定を行うホワイトバランス判定部５と、その判定結果を保持する第２の保持部６と、第２の走査による画像信号において各ブロック毎に各色毎に累積加算した累積加算結果と、前記第１及び第２の保持部で保持されている累積加算結果とホワイトバランス判定結果とを用いてホワイトバランス係数を算出するホワイトバランス係数算出部７とでホワイトバランス調整回路を構成する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
この発明は、撮像素子から入力される画像信号に対してホワイトバランス調整を行うホワイトバランス調整回路、その応用装置、ホワイトバランス調整方法、及びホワイトバランス調整プログラムに関する。
【０００２】
【従来の技術】
【特許文献１】特開２００２−１８５９７６号公報
【０００３】
カラー撮像素子で撮像して取得した画像信号を処理し、被写体の白色部分を正しく白色に再生するためのホワイトバランス調整は、電子スチルカメラやビデオカメラなどの画像信号処理装置によく用いられている。ホワイトバランスの調整制御は、例えばカラー撮像素子から入力される赤成分と青成分と緑成分のうち、赤成分及び青成分のゲイン値を、緑成分を基準として決定し、決定されたゲイン値を、元の画像データに乗じることで、その処理を行っている。
【０００４】
ホワイトバランス調整では、画面の全体を色毎に累積加算すると無彩色（白）に近づくことを利用している、累積加算形のホワイトバランス回路がよく用いられている。例えば、特開２００２−１８５９７６号公報には、画面を複数のブロックに分割して、各ブロックにおいて色毎に累積加算し、その結果を累積加算しホワイトバランス調整に用いる方式について開示がなされている。
【０００５】
次に、図８，図９を用いて、前記公報開示のホワイトバランス調整の概要について説明する。図８は、撮像素子の各画素に対応する各色フィルタの配置と画面分割の例を示す図であり、図８の（Ａ）は原色フィルタを用いた例を、図８の（Ｂ）は補色フィルタを用いた場合の例を示している。図９は白判定手法の一例を示す説明図である。図９において、ΣＲとΣＧｒ，ΣＢとΣＧｂの比率が、いずれもある一定範囲（白判定領域）に入ったとき白と判定することを示している。以下に原色フィルタを用いた場合におけるホワイトバランス調整について説明する。
【０００６】
図８の（Ａ）に示すように、例えば画面を４×４画素単位のブロックに分割し、各ブロック毎に赤成分、青成分、緑成分の累積加算値ΣＲ、ΣＧｒ，ΣＧｂ、ΣＢを算出する。その後、図９に示すように、累積加算値の比ΣＲ／ΣＧｒ，ΣＢ／ΣＧｂを算出し、これら比がある一定の範囲内にあれば有効ブロック（白判定領域）と判断し、一定の範囲内になければ無効ブロックと判断する。ホワイトバランス演算係数の決定は、有効ブロックの値のみ用いられ、例えば有効ブロックの累積加算値ΣＲ，ΣＧｒ，ΣＧｂ，ΣＢを一画面分累積することにより、ホワイトバランス係数を求めるようになっている。
【０００７】
以上のホワイトバランス調整方法によれば、白判定エリア外のデータは用いず、白とみなすこのできるエリアのデータ値のみを用いるため、精度のよいホワイトバランス処理が可能となる。
【０００８】
次に、上記のようなホワイトバランス調整を行う回路構成例を、図１０に基づいて説明する。１０１ は撮像用のＣＣＤ撮像素子、１０２ は前記ＣＣＤ撮像素子１０１ から入力された画像データを複数の領域に分割するブロック分割部、１０３ は前記ブロック分割部１０２ において分割された各領域において色毎に累積加算する累積加算部、１０４ は前記累積加算部１０３ で演算された累積加算結果を保持する保持部、１０５ は前記累積加算部１０３ において累積加算された結果を用いてホワイトバランス判定を行うホワイトバランス判定部、１０６ は前記ホワイトバランス判定部１０５の判定に基づいて、前記累積加算部１０３ ，保持部１０４ の結果を用いてホワイトバランス係数を算出するホワイトバランス係数算出部を示している。
【０００９】
このように構成されたホワイトバランス調整回路においては、ＣＣＤ撮像素子１０１ より入力された撮像データはブロック分割部１０２ において複数のブロックに分割され、累積加算部１０３ において各ブロック毎に色毎に累積加算される。累積加算されたデータは、バス経由で保持部１０４ に色毎に保持される。１画面分、保持部１０４ に保持されると、各ブロック毎に累積加算値が読み出され、ΣＲ／ΣＧｒ，ΣＢ／ΣＧｂの演算が行われ、その演算結果に基づいて白判定領域に収まっているか否かをホワイトバランス判定部１０５ において判定する。その判定の結果、白判定領域内に収まっていると判定されると、そのブロックのΣＲ，ΣＧｒ，ΣＧｂ，ΣＢをホワイトバランス係数演算に用い、ホワイトバランス係数算出部１０６ において係数を算出する。
【００１０】
【発明が解決しようとする課題】
ところで、上記構成のホワイトバランス調整回路においては、各ブロック毎に各色累積加算値ΣＲ，ΣＧｒ，ΣＧｂ，ΣＢを読み出し、白判定領域内か否かのホワイトバランス判定を行う。したがって、全ブロックのデータを読み出すため、白判定エリア外となるブロックデータも読み出すことになり、メモリのアクセス効率が悪くなり、処理時間がかかるという問題がある。
【００１１】
本発明は、従来のホワイトバランス調整回路における上記問題点を解消するためになされたもので、メモリのアクセス効率をよくし、処理速度の向上を図ることの可能なホワイトバランス調整回路、その応用装置、ホワイトバランス調整方法、及びホワイトバランス調整プログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、カラーフィルタが受光面に貼付された撮像素子から入力される画像信号に対してホワイトバランス調整を行うホワイトバランス調整回路であって、画像信号を複数のブロックに分割するブロック分割手段と、第１の走査で得られた画像信号において、各ブロック毎に、各色毎の累積加算値の比を算出し、その算出結果に基づいてホワイトバランス調整を行うか否かの仮判定を行う仮判定手段と、第１の走査に引き続く第２の走査で得られた画像信号において、前記仮判定手段による仮判定結果がホワイトバランス調整を行うとされたブロックに対し、ホワイトバランス調整を行うか否かの本判定を行う本判定手段とを有することを特徴とするものである。
【００１３】
このように構成されたホワイトバランス調整回路においては、画像信号は、複数のブロックに分割され、第１の走査で得られた画像信号において、仮判定手段により、各ブロック毎に各色毎の累積加算値の比が求められ、その結果に基づいてホワイトバランス調整を行うか否かの仮判定が行なわれる。そして、第１の走査に引き続く第２の走査で得られた画像信号において、本判定手段により、仮判定結果がホワイトバランス調整を行うとされたブロックに対してホワイトバランス調整を行うか否かの本判定が行なわれ、画像信号に対するホワイトバランス調整が実行される。したがって、本判定に伴う処理を削減することが可能となり、メモリのアセクス効率が向上し、処理時間を短縮することができる。
【００１４】
請求項２に係る発明は、請求項１に係るホワイトバランス調整回路において、前記仮判定の結果を保持する第１の保持手段を更に有し、前記本判定手段は、前記第１の保持手段に保持された仮判定結果に基づいて本判定を行うことを特徴とするものである。
【００１５】
このように構成されたホワイトバランス調整回路においては、第１の保持手段に保持された仮判定結果に基づき、本判定手段による本判定が行われる。したがって、本判定手段による、仮判定結果の参照が容易になる。
【００１６】
請求項３に係る発明は、請求項１に係るホワイトバランス調整回路において、前記本判定手段は、第２の走査で得られた画像信号において、ブロック単位で、各色毎の累積加算値の比を算出し、その算出結果に基づいて本判定を行うことを特徴とするものである。
【００１７】
このように構成されたホワイトバランス調整回路においては、第２の走査で得られた画像信号において、ブロック単位で、各色毎の累積加算値の比が算出され、その算出結果に基づき、本判定手段により本判定が行なわれる。したがって、仮判定手段と略同一構成となり、両判定手段を共有化できる。
【００１８】
請求項４に係る発明は、請求項３に係るホワイトバランス調整回路において、前記仮判定手段からの累積加算値を保持する第２の保持手段と、該第２の保持手段に保持されている累積加算値と、前記本判定手段からの累積加算値及び本判定結果とに基づき、画像信号のホワイトバランスを調整するためのホワイトバランス係数を求めるホワイトバランス係数算出手段とを更に有することを特徴とするものである。
【００１９】
このように構成されたホワイトバランス調整回路においては、第２の保持手段に累積加算値が保持され、この保持されている累積加算値と、本判定手段からの累積加算値及び本判定結果とに基づき、ホワイトバランス係数算出手段により、ホワイトバランス係数が求められる。したがって、改めて、ホワイトバランス係数の算出に用いる、第１の走査で得られた画像信号における累積加算値を演算する処理を省くことができる
【００２０】
請求項５に係る発明は、請求項１に係るホワイトバランス調整回路において、前記仮判定手段は、インターレース走査における奇フィールドを第１の走査として仮判定を行うと共に、前記本判定手段は、インターレース走査における偶フィールドを第２の走査として本判定を行うことを特徴とするものである。
【００２１】
このように構成されたホワイトバランス調整回路においては、インターレース走査における奇フィールドを第１の走査として仮判定が行なわれ、偶フィールドを第２の走査として本判定が行われる。したがって、インタレース走査で画像信号が与えられる際に、ほぼリアルタイムでホワイトバランス調整が行える。
【００２２】
請求項６に係る発明は、請求項１に係るホワイトバランス調整回路において、前記仮判定手段は、プログレッシブ走査における奇ラインを第１の走査として仮判定を行うと共に、前記本判定手段は、プログレッシブ走査における偶ラインを第２の走査として本判定を行うことを特徴とするものである。
【００２３】
このように構成されたホワイトバランス調整回路においては、プログレッシブ走査における奇ラインを第１の走査として仮判定が行なわれ、偶ラインを第２の走査として本判定が行われる。したがって、プログレッシブ走査で画像信号が与えられる際に、ほぼリアルタイムでホワイトバランス調整が行える。
【００２４】
請求項７に係る発明は、請求項２に係るホワイトバランス調整回路において、第１の保持手段は、仮判定結果を「０」又は「１」で保持することを特徴とするものである。
【００２５】
このように構成されたホワイトバランス調整回路においては、仮判定結果は、「０」又は「１」で前記第１の保持手段に保持される。これにより、第１の保持手段の構成を簡単化できる。
【００２６】
請求項８に係る発明は、請求項２に係るホワイトバランス調整回路において、第１の保持手段は、前記仮判定手段においてホワイトバランス調整を行うと仮判定されたブロックの位置情報を保持することを特徴とするものである。
【００２７】
このように構成されたホワイトバランス調整回路においては、仮判定結果は、ホワイトバランス調整を行うと仮判定されたブロックの位置情報として保持される。これにより、ホワイトバランス調整を行うと仮判定されたブロックの確認が容易となる。
【００２８】
請求項９に係る発明は、請求項２に係るホワイトバランス調整回路において、前記第１の保持手段は、前記仮判定手段においてホワイトバランス調整を行わないと仮判定されたブロックの位置情報を保持することを特徴とするものである。
【００２９】
このように構成されたホワイトバランス調整回路においては、仮判定結果は、ホワイトバランス調整を行なわないと仮判定されたブロックの位置情報として保持される。これにより、ホワイトバランス調整を行わないと仮判定されたブロックの確認が容易となる。
【００３０】
請求項１０に係る発明は、請求項１〜９のいずれか１項に係るホワイトバランス調整回路において、前記撮像素子は、カラーフィルタとして、第１の走査と第２の走査とにおいて相異なる色成分を有する色フィルタが貼付されていることを特徴とするものである。
【００３１】
このように構成されたホワイトバランス調整回路においては、第１の走査と第２の走査とで、相異なる色成分にかかる画像信号が出力される。このような特性を有するカラーフィルタとしては、ベイヤー配列色フィルタや、補色フィルタ等がある。そして、このような特性を有するカラーフィルタを用いることにより、適切なホワイトバランス調整を行うことが可能となる。
【００３２】
請求項１１に係る発明は、請求項１〜１０のいずれか１項に係るホワイトバランス調整回路において、前記仮判定手段は、コンピュータに、第１の走査で得られた画像信号において、各ブロック毎に、各色毎の累積加算値の比を算出し、その算出結果に基づいてホワイトバランス調整を行うか否かの仮判定を行う処理を実行させるプログラムで構成されていることを特徴とするものである。
【００３３】
このように構成されたホワイトバランス調整回路においては、第１の走査で得られた画像信号において、各ブロック毎に、各色毎の累積加算値の比を算出し、その算出結果に基づいてホワイトバランス調整を行うか否かの仮判定を行う仮判定手段にかかる処理が、プログラムに従い、コンピュータにより実行される。このように、仮判定手段を、コンピュータにその処理を実行させるプログラムとして構成することにより、処理の変更を容易とすることができる。
【００３４】
請求項１２に係る発明は、カラーフィルタが受光面に貼付された撮像素子から入力される画像信号に対してホワイトバランス調整を実行させるホワイトバランス調整方法であって、画像信号を複数のブロックに分割するステップと、第１の走査で得られた画像信号において、各ブロック毎に、各色毎の累積加算値の比を算出し、その算出結果に基づいてホワイトバランス調整を行うか否かの仮判定を行うステップと、第１の走査に引き続く第２の走査で得られた画像信号において、前記仮判定ステップによる仮判定結果がホワイトバランス調整を行うとされたブロックに対し、ホワイトバランス調整を行うか否かの本判定を行うステップとを有することを特徴とするものである。
【００３５】
このように構成されたホワイトバランス調整方法においては、画像信号は、複数のブロックに分割され、第１の走査で得られた画像信号において、各ブロック毎に各色毎の累積加算値の比が算出され、その算出結果に基づいてホワイトバランス調整を行うか否かの仮判定が行なわれる。そして、第１の走査に引き続く第２の走査で得られた画像信号において、仮判定結果がホワイトバランス調整を行うとされたブロックに対してホワイトバランス調整を行うか否かの本判定が行なわれ、画像信号に対するホワイトバランス調整が実行される。これにより、本判定に伴う処理を削減することが可能となるホワイトバランス調整方法が実現できる。
【００３６】
請求項１３に係る発明は、コンピュータに対して、カラーフィルタが受光面に貼付された撮像素子から入力される画像信号に対するホワイトバランス調整を実行させるためのホワイトバランス調整プログラムであって、画像信号を複数のブロックに分割するブロック分割処理手順と、第１の走査で得られた画像信号において、各ブロック毎に、各色毎の累積加算値の比を算出し、その算出結果に基づいてホワイトバランス調整を行うか否かの仮判定を行う仮判定処理手順と、第１の走査に引き続く第２の走査で得られた画像信号において、前記仮判定結果がホワイトバランス調整を行うとされたブロックに対し、ホワイトバランス調整を行うか否かの本判定を行う本判定処理手順とを実行させるように構成するものである。
【００３７】
このように構成されたホワイトバランス調整プログラムにより、コンピュータにおいて、画像信号を、複数のブロックに分割し、第１の走査で得られた画像信号において、仮判定処理により、各ブロック毎に各色毎の累積加算値の比を算出し、その算出結果に基づいてホワイトバランス調整を行うか否かの仮判定が行なわれる。そして、第１の走査に引き続く第２の走査で得られた画像信号において、仮判定結果がホワイトバランス調整を行うとされたブロックに対してホワイトバランス調整を行うか否かの本判定処理が行なわれ、画像信号に対するホワイトバランス調整が実行される。これにより、本判定に伴う処理を削減することが可能なホワイトバランス調整プログラムを提供することができる。
【００３８】
請求項１４に係る発明は、カラーフィルタが受光面に貼付され、カラー画像信号を出力する撮像素子と、請求項１〜１１のいずれか１項に記載のホワイトバランス調整回路と、ホワイトバランス調整が行われたカラー画像信号を外部機器が要求するフォーマットに変換して出力するフォーマット変換回路とで撮像装置を構成するものである。
【００３９】
このように構成された撮像装置においては、撮像素子から取得されたカラー撮像信号は、ホワイトバランス調整が行われた後、外部機器が要求するフォーマットが指定されて変換が行われ、外部機器に対して出力される。したがって、外部機器が要求するフォーマットに変換して、ホワイトバランス調整がとられたカラー画像信号を出力することが可能な撮像装置を実現することができる。
【００４０】
【発明の実施の形態】
（第１の実施形態）
次に、発明の実施の形態について説明する。なお、本実施の形態においてはインタレース動作により生成された画像信号を対象としたものについて説明するが、本発明に係るホワイトバランス調整回路で対象とする画像信号はインタレース動作により生成された画像信号に限定されるものではなく、プログレッシブ走査により得られた画像信号をも対象とすることができる。
【００４１】
図１は、本発明に係るホワイトバランス調整回路の第１の実施の形態を示すブロック構成図である。図１において、１は撮像用のカラーフィルタを受光面に貼付したＣＣＤ撮像素子、２は前記ＣＣＤ撮像素子１から入力された画像を複数の領域に分割するブロック分割部、３は前記ブロック分割部２において分割された各分割領域において、色毎に累積加算する累積加算部、４は前記累積加算部３において演算された累積加算結果を保持する第１の保持部、５は前記累積加算部３において累積加算された結果を用いてホワイトバランス判定を行うホワイトバランス判定部、６は前記ホワイトバランス判定部５においてホワイトバランス判定を行った結果を保持する第２の保持部、７は該第２の保持部６で保持されている前記ホワイトバランス判定結果、前記第１の保持部４で保持されている前記累積結果、及び前記累積加算部３による累積加算結果を用いてホワイトバランス演算に用いるホワイトバランス係数を算出するホワイトバランス係数算出部を示している。
【００４２】
なお、本実施の形態においては、ＣＣＤ撮像素子１の受光面に貼付されているフィルタとして、原色フィルタを用いた場合について説明する。すなわち、図８の（Ａ）に示すようにＣＣＤ撮像素子１における平面状に配列された複数の各画素上には、赤（Ｒ）、緑（Ｇｒ，Ｇｂ）、青（Ｂ）のカラーフィルタが配置されている。
【００４３】
次に、上記構成の実施の形態の全体の動作説明に先立って、ホワイトバランス判定部５で行われる各フィールドにおけるホワイトバランス判定（白判定）について説明する。図２は、各フィールドにおいて白と判定する領域を示している。図２の（Ａ）は、奇フィールドにおける判定領域、図２の（Ｂ）は偶フィールドにおける判定領域を示し、図２の（Ａ）ではＲとＧｒの累積加算値の比が、図２の（Ｂ）ではＢとＧｂの累積加算値の比が一定の範囲内か否かを判定する。すなわち、各図において、それぞれの灰色部が各フィールドにおいて、ＲとＧｒの累積加算値の比、あるいはＢとＧｂの累積加算値の比が一定の範囲内となる白判定エリアを示している。
【００４４】
図３に各フィールドにおける判定例を示す。図３の（Ａ）は、奇フィールドにおける８画素ブロック毎の判定結果、図３の（Ｂ）は偶フィールドにおける８画素ブロック毎の判定結果を示し、各図の灰色部はそれぞれのフィールドにおいて白と判定されたブロックを示している。
【００４５】
次に、本実施の形態における動作を、図４のフローチャートに基づいて説明する。撮像が行われると、ＣＣＤ撮像素子１よりカラー画像データが取得され、インタレース動作の場合、奇フィールドではＲ，Ｇｒの画素データが入力される（ステップＳ１）。ＣＣＤ撮像素子１より入力される撮像データはブロック分割部２において複数のブロックに分割され、累積加算部３により各ブロックにおいて色毎に累積加算される（ステップＳ２）。そして累積加算されたデータは、バス経由で第１の保持部４に色毎に保持される（ステップＳ３）。
【００４６】
ブロック毎に累積加算値が演算されると、ホワイトバランス判定部５においてブロック毎に累積加算値の比ΣＲ／ΣＧｒを演算し、この値が図２の（Ａ）の所定の白判定エリア（灰色部領域）内の値か否かを判定（ホワイトバランス判定）する（ステップＳ４）。判定の結果、図２の（Ａ）における灰色部領域内のブロックと判定され、白と判定されると“１”を、灰色部領域外のブロックなら“０”を判定結果として、第２の保持部６において保持する（ステップＳ５）。
【００４７】
ホワイトバランス判定が１フィールド分終了したことを確認すると（ステップＳ６）、偶フィールドに入り（ステップＳ７）、ＣＣＤ撮像素子１よりＧｂ及びＢの画素データが入力され、撮像データは同様にブロック分割部２を通ってブロックに分割され、累積加算部３により各ブロックにおいて色毎に累積される（ステップＳ８）。累積加算されたデータは、バス経由で第１の保持部４において保持される。そして、第２の保持部６より奇フィールドでの判定結果を読み出し、判定しようとしているブロックが、奇フィールドにおいて白判定エリア内のブロックであったか否かを確認し、偶フィールドにおける当該ブロックのホワイトバランス演算判定の要否を決定する（ステップＳ９）。
【００４８】
判定しようとしているブロックが奇フィールドにおいて白判定エリア外のブロックの場合、偶フィールドにおける当該ブロックはホワイトバランス演算に使用せず、次のブロックの処理に移る。判定しようとしているブロックが奇フィールドにおいて白判定エリア内に入っていたブロックの場合、ホワイトバランス判定部５において偶フィールドのΣＢ／ΣＧｂを演算し、この値が図２の（Ｂ）で灰色部で示す白判定エリア内の値か否かを判定（ホワイトバランス判定）する（ステップＳ１０）。当該ブロックが偶フィールドにおいても白判定エリア内の場合は、白領域と判定されたことになるため、第１の保持部４より、判定している当該ブロックの奇フィールドでの演算結果（累積加算値）をバス経由で読み出し（ステップＳ１１）、ホワイトバランス係数算出用のデータとして用いて、ホワイトバランス係数算出部７において、ホワイトバランス係数を算出し、ホワイトバランス処理を行う（ステップＳ１２）。
【００４９】
本実施の形態によると、奇フィールドにおいては、図２の（Ａ）に示すように、ΣＲ／ΣＧｒの値のみにより、各ブロックが白判定エリア内か否かのホワイトバランス判定結果を第２の保持部６に保持する。偶フィールドにおいては、奇フィールドで白判定エリア内と判定されたブロックのみ、図２の（Ｂ）に示すようにΣＢ／ΣＧｂの値のみにより、白判定エリア内か否かの判定を行い、白判定エリア内と判定されると、第１の保持部４よりバス経由で奇フィールドの当該ブロックの累積加算値を読み出す。そのため、第１の保持部４より読み出す累積加算データは白領域のブロックのみとなり、第１の保持部４へのアクセス効率をよくし、処理速度を向上させることができる。
【００５０】
上記実施の形態に係るホワイトバランス調整回路によるホワイトバランス調整方法を、図４に示したフローチャートに基づいて説明したが、このホワイトバランス調整方法は、図１に示したハードウエアによる処理を用いずに、図４に示したフローチャートを基に、この処理をプログラム化し、コンピュータに実行させるソフトウエア処理とすることも、勿論可能である。
【００５１】
図５は、本実施の形態の変形例を示す説明図である。この変形例は、図１に示した実施の形態における第２の保持手段６に書き込むデータとして、白判定エリア内か否についての判定結果を書き込むのではなく、例えば図５の（Ａ）に示すように各分割ブロックに番号をつけ、白判定エリア内のブロック（灰色ブロック）の番号、もしくは白判定エリア外のブロックの番号を、図５の（Ｂ）に示すように第２の保持手段６に保持させる。これは、各ブロックについて白判定エリア内か否かの判定結果を保持するのではなく、必要なブロックの情報のみを保持することになる。
【００５２】
図６は、本実施の形態の他の変形例を示す図で、図１に示した実施の形態と同一構成要素には同一符号を付して示している。図６において、ＣＰＵ１１は図１に示した実施の形態における、ホワイトバランス判定エリア（白判定エリア）内に収まっているか否かを判定するホワイトバランス判定部５，及びホワイトバランス係数を算出するホワイトバランス係数算出部７の機能を持つ。すなわち、ＣＰＵ１１は累積加算結果を基にプログラムによりホワイトバランス判定演算を行い、その判定結果をＣＰＵ１１より第２の保持手段６に書き込む。ホワイトバランス判定処理がプログラムで提供されているため、ホワイトバランス判定処理における判定方法を容易に変更することができるようになる。
【００５３】
図７は、本発明の第２の実施の形態を示すブロック図である。この実施の形態は、図１，図５，図６のいずれかに示したホワイトバランス調整回路を用いた撮像装置に関するもので、図７において、２１はカラーフィルタが受光面に貼付されたＣＣＤ撮像素子、２２は図１， 図５，図６のいずれかに示したホワイトバランス調整回路を有する画像処理装置、２３はホワイトバランス調整が行われたカラー画像信号を入力する外部機器、２４はホワイトバランス調整が行われたカラー画像信号を外部機器が要求するフォーマットに変換して出力するフォーマット変換回路、２５はフォーマットを指定する指定回路を示している。
【００５４】
このように構成された撮像装置においては、ＣＣＤ撮像素子２１から出力されるカラー画像信号は、画像処理装置２２に入力され、ホワイトバランス調整を施される。ホワイトバランス調整を施されたカラー画像信号はフォーマット変換回路２４に入力され、記憶装置といった外部機器２３が要求するフォーマットに変換される。また、このフォーマットは外部機器２３より指定回路２５に指示がなされる。
【００５５】
このように、ホワイトバランス調整回路を含む画像処理装置２２にフォーマット変換回路２４を接続することで、外部機器２３の要求するフォーマットでホワイトバランス調整がとられたカラー画像信号を出力することが可能となる。
【００５６】
上記各実施の形態における説明においては、原色フィルタを用いた場合のホワイトバランス調整に関して説明したが、図８の（Ｂ）に示すように緑（Ｇ）、黄（Ｙ）、青緑（Ｃ）、紫（Ｍ）の補色系カラーフィルタを用いた場合にも、本発明を適用することもできる。また、上記各実施の形態においては、インタレース動作により生成された画像信号を対象としたものについて説明したが、プログレッシブ動作により生成された画像信号についても同様の処理を行うことができる。
【００５７】
また、上記各実施の形態においては、インタレース動作により生成した画像信号を対象としたものの説明では、奇フィールドにおいてＲ・Ｇ，偶フィールドにおいてＢ・Ｇの各画素データが入力される場合を示したが、奇フィールドにおいてＢ・Ｇ，偶フィールドにおいてＲ・Ｇの各画素データが入力されてもよく、ＣＣＤ撮像素子の画素に対するフィルタ配列が限定されるものではない。また一画面の画像の分割方法は、図８の（Ａ），（Ｂ）に示すように全領域を均等の大きさで分割する方法、あるいは各領域を不均等の大きさで分割する方法などがあるが、分割手法は特に限定されるものではなく、他の方法であってもよい。また、各実施の形態におけるホワイトバランス判定手法、判定結果の格納手法は特に限定されるものではなく、その他の手法であってもよい。
【００５８】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、本判定に伴う処理を削減することができ、メモリのアクセス効率を向上させ処理時間を短縮することが可能なホワイトバランス調整回路を実現することができる。また請求項２に係る発明によれば、第１の保持手段に保持された仮判定結果に基づいて本判定が行われるように構成しているので、本判定手段による仮判定結果の参照を容易に行うことができる。また請求項３に係る発明によれば、本判定手段が仮判定手段と略同一の構成となり、両判定手段を共有化できる。また請求項４に係る発明によれば、改めて、ホワイトバランス係数の算出に用いる第１の走査で得られた画像信号における累積加算値を演算する処理を省くことができる。また請求項５に係る発明によれば、インタレース走査で画像信号が与えられる際に、ほぼリアルタイムでホワイトバランス調整を行うことができる。また請求項６に係る発明によれば、プログレッシブ走査で画像信号が与えられる際に、ほぼリアルタイムでホワイトバランス調整を行うことができる。また請求項７に係る発明によれば、第１の保持手段の構成を簡単化できる。
【００５９】
また請求項８に係る発明によれば、ホワイトバランス調整を行うと仮判定されたブロックの確認が容易となる。また請求項９に係る発明によれば、ホワイトバランス調整を行わないと仮判定されたブロックの確認が容易となる。また請求項１０に係る発明によれば、第１の走査と第２の走査において異なる色成分を有する色フィルタを用いているので、適切なホワイトバランス調整を行うことが可能となる。また請求項１１に係る発明によれば、仮判定手段をコンピュータにその処理を実行させるプログラムとして構成しているので、処理の変更を容易に行うことができる。また請求項１２に係る発明によれば、本判定に伴う処理を削減することが可能なホワイトバランス調整方法を実現することができる。また請求項１３に係る発明によれば、本判定に伴う処理を削減することが可能なホワイトバランス調整プログラムを実現することができる。また請求項１４に係る発明によれば、外部機器が要求するフォーマットに変換して、処理の削減されたホワイトバランス調整がとられたカラー画像信号を出力することが可能な撮像装置を実現することができる。
【図面の簡単な説明】
【図１】本発明に係るホワイトバランス調整回路の第１の実施の形態を示すブロック図である。
【図２】各フィールドにおける白判定エリアを示す図である。
【図３】各フィールドにおけるブロック毎の白判定エリアを示す図である。
【図４】図１に示した第１の実施の形態の動作を説明するためのフローチャートである。
【図５】図１に示した第１の実施の形態の変形例を説明するための説明図である。
【図６】図１に示した第１の実施の形態の他の変形例を示すブロック図である。
【図７】本発明の第２の実施の形態を示すブロック図である。
【図８】撮像素子の各画素に対応する各色フィルタの配置と画面分割の例を示す図である。
【図９】累積加算値の比と白判定領域との関係を示す図である。
【図１０】従来のホワイトバランス調整回路を示すブロック図である。
【符号の説明】
１ ＣＣＤ撮像素子
２ ブロック分割部
３ 累積加算部
４ 第１の保持部
５ ホワイトバランス判定部
６ 第２の保持部
７ ホワイトバランス係数算出部
１１ ＣＰＵ
２１ ＣＣＤ撮像素子
２２ 画像処理装置
２３ 外部機器
２４ フォーマット変換回路
２５ 指定回路
【発明の属する技術分野】
この発明は、撮像素子から入力される画像信号に対してホワイトバランス調整を行うホワイトバランス調整回路、その応用装置、ホワイトバランス調整方法、及びホワイトバランス調整プログラムに関する。
【０００２】
【従来の技術】
【特許文献１】特開２００２−１８５９７６号公報
【０００３】
カラー撮像素子で撮像して取得した画像信号を処理し、被写体の白色部分を正しく白色に再生するためのホワイトバランス調整は、電子スチルカメラやビデオカメラなどの画像信号処理装置によく用いられている。ホワイトバランスの調整制御は、例えばカラー撮像素子から入力される赤成分と青成分と緑成分のうち、赤成分及び青成分のゲイン値を、緑成分を基準として決定し、決定されたゲイン値を、元の画像データに乗じることで、その処理を行っている。
【０００４】
ホワイトバランス調整では、画面の全体を色毎に累積加算すると無彩色（白）に近づくことを利用している、累積加算形のホワイトバランス回路がよく用いられている。例えば、特開２００２−１８５９７６号公報には、画面を複数のブロックに分割して、各ブロックにおいて色毎に累積加算し、その結果を累積加算しホワイトバランス調整に用いる方式について開示がなされている。
【０００５】
次に、図８，図９を用いて、前記公報開示のホワイトバランス調整の概要について説明する。図８は、撮像素子の各画素に対応する各色フィルタの配置と画面分割の例を示す図であり、図８の（Ａ）は原色フィルタを用いた例を、図８の（Ｂ）は補色フィルタを用いた場合の例を示している。図９は白判定手法の一例を示す説明図である。図９において、ΣＲとΣＧｒ，ΣＢとΣＧｂの比率が、いずれもある一定範囲（白判定領域）に入ったとき白と判定することを示している。以下に原色フィルタを用いた場合におけるホワイトバランス調整について説明する。
【０００６】
図８の（Ａ）に示すように、例えば画面を４×４画素単位のブロックに分割し、各ブロック毎に赤成分、青成分、緑成分の累積加算値ΣＲ、ΣＧｒ，ΣＧｂ、ΣＢを算出する。その後、図９に示すように、累積加算値の比ΣＲ／ΣＧｒ，ΣＢ／ΣＧｂを算出し、これら比がある一定の範囲内にあれば有効ブロック（白判定領域）と判断し、一定の範囲内になければ無効ブロックと判断する。ホワイトバランス演算係数の決定は、有効ブロックの値のみ用いられ、例えば有効ブロックの累積加算値ΣＲ，ΣＧｒ，ΣＧｂ，ΣＢを一画面分累積することにより、ホワイトバランス係数を求めるようになっている。
【０００７】
以上のホワイトバランス調整方法によれば、白判定エリア外のデータは用いず、白とみなすこのできるエリアのデータ値のみを用いるため、精度のよいホワイトバランス処理が可能となる。
【０００８】
次に、上記のようなホワイトバランス調整を行う回路構成例を、図１０に基づいて説明する。１０１ は撮像用のＣＣＤ撮像素子、１０２ は前記ＣＣＤ撮像素子１０１ から入力された画像データを複数の領域に分割するブロック分割部、１０３ は前記ブロック分割部１０２ において分割された各領域において色毎に累積加算する累積加算部、１０４ は前記累積加算部１０３ で演算された累積加算結果を保持する保持部、１０５ は前記累積加算部１０３ において累積加算された結果を用いてホワイトバランス判定を行うホワイトバランス判定部、１０６ は前記ホワイトバランス判定部１０５の判定に基づいて、前記累積加算部１０３ ，保持部１０４ の結果を用いてホワイトバランス係数を算出するホワイトバランス係数算出部を示している。
【０００９】
このように構成されたホワイトバランス調整回路においては、ＣＣＤ撮像素子１０１ より入力された撮像データはブロック分割部１０２ において複数のブロックに分割され、累積加算部１０３ において各ブロック毎に色毎に累積加算される。累積加算されたデータは、バス経由で保持部１０４ に色毎に保持される。１画面分、保持部１０４ に保持されると、各ブロック毎に累積加算値が読み出され、ΣＲ／ΣＧｒ，ΣＢ／ΣＧｂの演算が行われ、その演算結果に基づいて白判定領域に収まっているか否かをホワイトバランス判定部１０５ において判定する。その判定の結果、白判定領域内に収まっていると判定されると、そのブロックのΣＲ，ΣＧｒ，ΣＧｂ，ΣＢをホワイトバランス係数演算に用い、ホワイトバランス係数算出部１０６ において係数を算出する。
【００１０】
【発明が解決しようとする課題】
ところで、上記構成のホワイトバランス調整回路においては、各ブロック毎に各色累積加算値ΣＲ，ΣＧｒ，ΣＧｂ，ΣＢを読み出し、白判定領域内か否かのホワイトバランス判定を行う。したがって、全ブロックのデータを読み出すため、白判定エリア外となるブロックデータも読み出すことになり、メモリのアクセス効率が悪くなり、処理時間がかかるという問題がある。
【００１１】
本発明は、従来のホワイトバランス調整回路における上記問題点を解消するためになされたもので、メモリのアクセス効率をよくし、処理速度の向上を図ることの可能なホワイトバランス調整回路、その応用装置、ホワイトバランス調整方法、及びホワイトバランス調整プログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、カラーフィルタが受光面に貼付された撮像素子から入力される画像信号に対してホワイトバランス調整を行うホワイトバランス調整回路であって、画像信号を複数のブロックに分割するブロック分割手段と、第１の走査で得られた画像信号において、各ブロック毎に、各色毎の累積加算値の比を算出し、その算出結果に基づいてホワイトバランス調整を行うか否かの仮判定を行う仮判定手段と、第１の走査に引き続く第２の走査で得られた画像信号において、前記仮判定手段による仮判定結果がホワイトバランス調整を行うとされたブロックに対し、ホワイトバランス調整を行うか否かの本判定を行う本判定手段とを有することを特徴とするものである。
【００１３】
このように構成されたホワイトバランス調整回路においては、画像信号は、複数のブロックに分割され、第１の走査で得られた画像信号において、仮判定手段により、各ブロック毎に各色毎の累積加算値の比が求められ、その結果に基づいてホワイトバランス調整を行うか否かの仮判定が行なわれる。そして、第１の走査に引き続く第２の走査で得られた画像信号において、本判定手段により、仮判定結果がホワイトバランス調整を行うとされたブロックに対してホワイトバランス調整を行うか否かの本判定が行なわれ、画像信号に対するホワイトバランス調整が実行される。したがって、本判定に伴う処理を削減することが可能となり、メモリのアセクス効率が向上し、処理時間を短縮することができる。
【００１４】
請求項２に係る発明は、請求項１に係るホワイトバランス調整回路において、前記仮判定の結果を保持する第１の保持手段を更に有し、前記本判定手段は、前記第１の保持手段に保持された仮判定結果に基づいて本判定を行うことを特徴とするものである。
【００１５】
このように構成されたホワイトバランス調整回路においては、第１の保持手段に保持された仮判定結果に基づき、本判定手段による本判定が行われる。したがって、本判定手段による、仮判定結果の参照が容易になる。
【００１６】
請求項３に係る発明は、請求項１に係るホワイトバランス調整回路において、前記本判定手段は、第２の走査で得られた画像信号において、ブロック単位で、各色毎の累積加算値の比を算出し、その算出結果に基づいて本判定を行うことを特徴とするものである。
【００１７】
このように構成されたホワイトバランス調整回路においては、第２の走査で得られた画像信号において、ブロック単位で、各色毎の累積加算値の比が算出され、その算出結果に基づき、本判定手段により本判定が行なわれる。したがって、仮判定手段と略同一構成となり、両判定手段を共有化できる。
【００１８】
請求項４に係る発明は、請求項３に係るホワイトバランス調整回路において、前記仮判定手段からの累積加算値を保持する第２の保持手段と、該第２の保持手段に保持されている累積加算値と、前記本判定手段からの累積加算値及び本判定結果とに基づき、画像信号のホワイトバランスを調整するためのホワイトバランス係数を求めるホワイトバランス係数算出手段とを更に有することを特徴とするものである。
【００１９】
このように構成されたホワイトバランス調整回路においては、第２の保持手段に累積加算値が保持され、この保持されている累積加算値と、本判定手段からの累積加算値及び本判定結果とに基づき、ホワイトバランス係数算出手段により、ホワイトバランス係数が求められる。したがって、改めて、ホワイトバランス係数の算出に用いる、第１の走査で得られた画像信号における累積加算値を演算する処理を省くことができる
【００２０】
請求項５に係る発明は、請求項１に係るホワイトバランス調整回路において、前記仮判定手段は、インターレース走査における奇フィールドを第１の走査として仮判定を行うと共に、前記本判定手段は、インターレース走査における偶フィールドを第２の走査として本判定を行うことを特徴とするものである。
【００２１】
このように構成されたホワイトバランス調整回路においては、インターレース走査における奇フィールドを第１の走査として仮判定が行なわれ、偶フィールドを第２の走査として本判定が行われる。したがって、インタレース走査で画像信号が与えられる際に、ほぼリアルタイムでホワイトバランス調整が行える。
【００２２】
請求項６に係る発明は、請求項１に係るホワイトバランス調整回路において、前記仮判定手段は、プログレッシブ走査における奇ラインを第１の走査として仮判定を行うと共に、前記本判定手段は、プログレッシブ走査における偶ラインを第２の走査として本判定を行うことを特徴とするものである。
【００２３】
このように構成されたホワイトバランス調整回路においては、プログレッシブ走査における奇ラインを第１の走査として仮判定が行なわれ、偶ラインを第２の走査として本判定が行われる。したがって、プログレッシブ走査で画像信号が与えられる際に、ほぼリアルタイムでホワイトバランス調整が行える。
【００２４】
請求項７に係る発明は、請求項２に係るホワイトバランス調整回路において、第１の保持手段は、仮判定結果を「０」又は「１」で保持することを特徴とするものである。
【００２５】
このように構成されたホワイトバランス調整回路においては、仮判定結果は、「０」又は「１」で前記第１の保持手段に保持される。これにより、第１の保持手段の構成を簡単化できる。
【００２６】
請求項８に係る発明は、請求項２に係るホワイトバランス調整回路において、第１の保持手段は、前記仮判定手段においてホワイトバランス調整を行うと仮判定されたブロックの位置情報を保持することを特徴とするものである。
【００２７】
このように構成されたホワイトバランス調整回路においては、仮判定結果は、ホワイトバランス調整を行うと仮判定されたブロックの位置情報として保持される。これにより、ホワイトバランス調整を行うと仮判定されたブロックの確認が容易となる。
【００２８】
請求項９に係る発明は、請求項２に係るホワイトバランス調整回路において、前記第１の保持手段は、前記仮判定手段においてホワイトバランス調整を行わないと仮判定されたブロックの位置情報を保持することを特徴とするものである。
【００２９】
このように構成されたホワイトバランス調整回路においては、仮判定結果は、ホワイトバランス調整を行なわないと仮判定されたブロックの位置情報として保持される。これにより、ホワイトバランス調整を行わないと仮判定されたブロックの確認が容易となる。
【００３０】
請求項１０に係る発明は、請求項１〜９のいずれか１項に係るホワイトバランス調整回路において、前記撮像素子は、カラーフィルタとして、第１の走査と第２の走査とにおいて相異なる色成分を有する色フィルタが貼付されていることを特徴とするものである。
【００３１】
このように構成されたホワイトバランス調整回路においては、第１の走査と第２の走査とで、相異なる色成分にかかる画像信号が出力される。このような特性を有するカラーフィルタとしては、ベイヤー配列色フィルタや、補色フィルタ等がある。そして、このような特性を有するカラーフィルタを用いることにより、適切なホワイトバランス調整を行うことが可能となる。
【００３２】
請求項１１に係る発明は、請求項１〜１０のいずれか１項に係るホワイトバランス調整回路において、前記仮判定手段は、コンピュータに、第１の走査で得られた画像信号において、各ブロック毎に、各色毎の累積加算値の比を算出し、その算出結果に基づいてホワイトバランス調整を行うか否かの仮判定を行う処理を実行させるプログラムで構成されていることを特徴とするものである。
【００３３】
このように構成されたホワイトバランス調整回路においては、第１の走査で得られた画像信号において、各ブロック毎に、各色毎の累積加算値の比を算出し、その算出結果に基づいてホワイトバランス調整を行うか否かの仮判定を行う仮判定手段にかかる処理が、プログラムに従い、コンピュータにより実行される。このように、仮判定手段を、コンピュータにその処理を実行させるプログラムとして構成することにより、処理の変更を容易とすることができる。
【００３４】
請求項１２に係る発明は、カラーフィルタが受光面に貼付された撮像素子から入力される画像信号に対してホワイトバランス調整を実行させるホワイトバランス調整方法であって、画像信号を複数のブロックに分割するステップと、第１の走査で得られた画像信号において、各ブロック毎に、各色毎の累積加算値の比を算出し、その算出結果に基づいてホワイトバランス調整を行うか否かの仮判定を行うステップと、第１の走査に引き続く第２の走査で得られた画像信号において、前記仮判定ステップによる仮判定結果がホワイトバランス調整を行うとされたブロックに対し、ホワイトバランス調整を行うか否かの本判定を行うステップとを有することを特徴とするものである。
【００３５】
このように構成されたホワイトバランス調整方法においては、画像信号は、複数のブロックに分割され、第１の走査で得られた画像信号において、各ブロック毎に各色毎の累積加算値の比が算出され、その算出結果に基づいてホワイトバランス調整を行うか否かの仮判定が行なわれる。そして、第１の走査に引き続く第２の走査で得られた画像信号において、仮判定結果がホワイトバランス調整を行うとされたブロックに対してホワイトバランス調整を行うか否かの本判定が行なわれ、画像信号に対するホワイトバランス調整が実行される。これにより、本判定に伴う処理を削減することが可能となるホワイトバランス調整方法が実現できる。
【００３６】
請求項１３に係る発明は、コンピュータに対して、カラーフィルタが受光面に貼付された撮像素子から入力される画像信号に対するホワイトバランス調整を実行させるためのホワイトバランス調整プログラムであって、画像信号を複数のブロックに分割するブロック分割処理手順と、第１の走査で得られた画像信号において、各ブロック毎に、各色毎の累積加算値の比を算出し、その算出結果に基づいてホワイトバランス調整を行うか否かの仮判定を行う仮判定処理手順と、第１の走査に引き続く第２の走査で得られた画像信号において、前記仮判定結果がホワイトバランス調整を行うとされたブロックに対し、ホワイトバランス調整を行うか否かの本判定を行う本判定処理手順とを実行させるように構成するものである。
【００３７】
このように構成されたホワイトバランス調整プログラムにより、コンピュータにおいて、画像信号を、複数のブロックに分割し、第１の走査で得られた画像信号において、仮判定処理により、各ブロック毎に各色毎の累積加算値の比を算出し、その算出結果に基づいてホワイトバランス調整を行うか否かの仮判定が行なわれる。そして、第１の走査に引き続く第２の走査で得られた画像信号において、仮判定結果がホワイトバランス調整を行うとされたブロックに対してホワイトバランス調整を行うか否かの本判定処理が行なわれ、画像信号に対するホワイトバランス調整が実行される。これにより、本判定に伴う処理を削減することが可能なホワイトバランス調整プログラムを提供することができる。
【００３８】
請求項１４に係る発明は、カラーフィルタが受光面に貼付され、カラー画像信号を出力する撮像素子と、請求項１〜１１のいずれか１項に記載のホワイトバランス調整回路と、ホワイトバランス調整が行われたカラー画像信号を外部機器が要求するフォーマットに変換して出力するフォーマット変換回路とで撮像装置を構成するものである。
【００３９】
このように構成された撮像装置においては、撮像素子から取得されたカラー撮像信号は、ホワイトバランス調整が行われた後、外部機器が要求するフォーマットが指定されて変換が行われ、外部機器に対して出力される。したがって、外部機器が要求するフォーマットに変換して、ホワイトバランス調整がとられたカラー画像信号を出力することが可能な撮像装置を実現することができる。
【００４０】
【発明の実施の形態】
（第１の実施形態）
次に、発明の実施の形態について説明する。なお、本実施の形態においてはインタレース動作により生成された画像信号を対象としたものについて説明するが、本発明に係るホワイトバランス調整回路で対象とする画像信号はインタレース動作により生成された画像信号に限定されるものではなく、プログレッシブ走査により得られた画像信号をも対象とすることができる。
【００４１】
図１は、本発明に係るホワイトバランス調整回路の第１の実施の形態を示すブロック構成図である。図１において、１は撮像用のカラーフィルタを受光面に貼付したＣＣＤ撮像素子、２は前記ＣＣＤ撮像素子１から入力された画像を複数の領域に分割するブロック分割部、３は前記ブロック分割部２において分割された各分割領域において、色毎に累積加算する累積加算部、４は前記累積加算部３において演算された累積加算結果を保持する第１の保持部、５は前記累積加算部３において累積加算された結果を用いてホワイトバランス判定を行うホワイトバランス判定部、６は前記ホワイトバランス判定部５においてホワイトバランス判定を行った結果を保持する第２の保持部、７は該第２の保持部６で保持されている前記ホワイトバランス判定結果、前記第１の保持部４で保持されている前記累積結果、及び前記累積加算部３による累積加算結果を用いてホワイトバランス演算に用いるホワイトバランス係数を算出するホワイトバランス係数算出部を示している。
【００４２】
なお、本実施の形態においては、ＣＣＤ撮像素子１の受光面に貼付されているフィルタとして、原色フィルタを用いた場合について説明する。すなわち、図８の（Ａ）に示すようにＣＣＤ撮像素子１における平面状に配列された複数の各画素上には、赤（Ｒ）、緑（Ｇｒ，Ｇｂ）、青（Ｂ）のカラーフィルタが配置されている。
【００４３】
次に、上記構成の実施の形態の全体の動作説明に先立って、ホワイトバランス判定部５で行われる各フィールドにおけるホワイトバランス判定（白判定）について説明する。図２は、各フィールドにおいて白と判定する領域を示している。図２の（Ａ）は、奇フィールドにおける判定領域、図２の（Ｂ）は偶フィールドにおける判定領域を示し、図２の（Ａ）ではＲとＧｒの累積加算値の比が、図２の（Ｂ）ではＢとＧｂの累積加算値の比が一定の範囲内か否かを判定する。すなわち、各図において、それぞれの灰色部が各フィールドにおいて、ＲとＧｒの累積加算値の比、あるいはＢとＧｂの累積加算値の比が一定の範囲内となる白判定エリアを示している。
【００４４】
図３に各フィールドにおける判定例を示す。図３の（Ａ）は、奇フィールドにおける８画素ブロック毎の判定結果、図３の（Ｂ）は偶フィールドにおける８画素ブロック毎の判定結果を示し、各図の灰色部はそれぞれのフィールドにおいて白と判定されたブロックを示している。
【００４５】
次に、本実施の形態における動作を、図４のフローチャートに基づいて説明する。撮像が行われると、ＣＣＤ撮像素子１よりカラー画像データが取得され、インタレース動作の場合、奇フィールドではＲ，Ｇｒの画素データが入力される（ステップＳ１）。ＣＣＤ撮像素子１より入力される撮像データはブロック分割部２において複数のブロックに分割され、累積加算部３により各ブロックにおいて色毎に累積加算される（ステップＳ２）。そして累積加算されたデータは、バス経由で第１の保持部４に色毎に保持される（ステップＳ３）。
【００４６】
ブロック毎に累積加算値が演算されると、ホワイトバランス判定部５においてブロック毎に累積加算値の比ΣＲ／ΣＧｒを演算し、この値が図２の（Ａ）の所定の白判定エリア（灰色部領域）内の値か否かを判定（ホワイトバランス判定）する（ステップＳ４）。判定の結果、図２の（Ａ）における灰色部領域内のブロックと判定され、白と判定されると“１”を、灰色部領域外のブロックなら“０”を判定結果として、第２の保持部６において保持する（ステップＳ５）。
【００４７】
ホワイトバランス判定が１フィールド分終了したことを確認すると（ステップＳ６）、偶フィールドに入り（ステップＳ７）、ＣＣＤ撮像素子１よりＧｂ及びＢの画素データが入力され、撮像データは同様にブロック分割部２を通ってブロックに分割され、累積加算部３により各ブロックにおいて色毎に累積される（ステップＳ８）。累積加算されたデータは、バス経由で第１の保持部４において保持される。そして、第２の保持部６より奇フィールドでの判定結果を読み出し、判定しようとしているブロックが、奇フィールドにおいて白判定エリア内のブロックであったか否かを確認し、偶フィールドにおける当該ブロックのホワイトバランス演算判定の要否を決定する（ステップＳ９）。
【００４８】
判定しようとしているブロックが奇フィールドにおいて白判定エリア外のブロックの場合、偶フィールドにおける当該ブロックはホワイトバランス演算に使用せず、次のブロックの処理に移る。判定しようとしているブロックが奇フィールドにおいて白判定エリア内に入っていたブロックの場合、ホワイトバランス判定部５において偶フィールドのΣＢ／ΣＧｂを演算し、この値が図２の（Ｂ）で灰色部で示す白判定エリア内の値か否かを判定（ホワイトバランス判定）する（ステップＳ１０）。当該ブロックが偶フィールドにおいても白判定エリア内の場合は、白領域と判定されたことになるため、第１の保持部４より、判定している当該ブロックの奇フィールドでの演算結果（累積加算値）をバス経由で読み出し（ステップＳ１１）、ホワイトバランス係数算出用のデータとして用いて、ホワイトバランス係数算出部７において、ホワイトバランス係数を算出し、ホワイトバランス処理を行う（ステップＳ１２）。
【００４９】
本実施の形態によると、奇フィールドにおいては、図２の（Ａ）に示すように、ΣＲ／ΣＧｒの値のみにより、各ブロックが白判定エリア内か否かのホワイトバランス判定結果を第２の保持部６に保持する。偶フィールドにおいては、奇フィールドで白判定エリア内と判定されたブロックのみ、図２の（Ｂ）に示すようにΣＢ／ΣＧｂの値のみにより、白判定エリア内か否かの判定を行い、白判定エリア内と判定されると、第１の保持部４よりバス経由で奇フィールドの当該ブロックの累積加算値を読み出す。そのため、第１の保持部４より読み出す累積加算データは白領域のブロックのみとなり、第１の保持部４へのアクセス効率をよくし、処理速度を向上させることができる。
【００５０】
上記実施の形態に係るホワイトバランス調整回路によるホワイトバランス調整方法を、図４に示したフローチャートに基づいて説明したが、このホワイトバランス調整方法は、図１に示したハードウエアによる処理を用いずに、図４に示したフローチャートを基に、この処理をプログラム化し、コンピュータに実行させるソフトウエア処理とすることも、勿論可能である。
【００５１】
図５は、本実施の形態の変形例を示す説明図である。この変形例は、図１に示した実施の形態における第２の保持手段６に書き込むデータとして、白判定エリア内か否についての判定結果を書き込むのではなく、例えば図５の（Ａ）に示すように各分割ブロックに番号をつけ、白判定エリア内のブロック（灰色ブロック）の番号、もしくは白判定エリア外のブロックの番号を、図５の（Ｂ）に示すように第２の保持手段６に保持させる。これは、各ブロックについて白判定エリア内か否かの判定結果を保持するのではなく、必要なブロックの情報のみを保持することになる。
【００５２】
図６は、本実施の形態の他の変形例を示す図で、図１に示した実施の形態と同一構成要素には同一符号を付して示している。図６において、ＣＰＵ１１は図１に示した実施の形態における、ホワイトバランス判定エリア（白判定エリア）内に収まっているか否かを判定するホワイトバランス判定部５，及びホワイトバランス係数を算出するホワイトバランス係数算出部７の機能を持つ。すなわち、ＣＰＵ１１は累積加算結果を基にプログラムによりホワイトバランス判定演算を行い、その判定結果をＣＰＵ１１より第２の保持手段６に書き込む。ホワイトバランス判定処理がプログラムで提供されているため、ホワイトバランス判定処理における判定方法を容易に変更することができるようになる。
【００５３】
図７は、本発明の第２の実施の形態を示すブロック図である。この実施の形態は、図１，図５，図６のいずれかに示したホワイトバランス調整回路を用いた撮像装置に関するもので、図７において、２１はカラーフィルタが受光面に貼付されたＣＣＤ撮像素子、２２は図１， 図５，図６のいずれかに示したホワイトバランス調整回路を有する画像処理装置、２３はホワイトバランス調整が行われたカラー画像信号を入力する外部機器、２４はホワイトバランス調整が行われたカラー画像信号を外部機器が要求するフォーマットに変換して出力するフォーマット変換回路、２５はフォーマットを指定する指定回路を示している。
【００５４】
このように構成された撮像装置においては、ＣＣＤ撮像素子２１から出力されるカラー画像信号は、画像処理装置２２に入力され、ホワイトバランス調整を施される。ホワイトバランス調整を施されたカラー画像信号はフォーマット変換回路２４に入力され、記憶装置といった外部機器２３が要求するフォーマットに変換される。また、このフォーマットは外部機器２３より指定回路２５に指示がなされる。
【００５５】
このように、ホワイトバランス調整回路を含む画像処理装置２２にフォーマット変換回路２４を接続することで、外部機器２３の要求するフォーマットでホワイトバランス調整がとられたカラー画像信号を出力することが可能となる。
【００５６】
上記各実施の形態における説明においては、原色フィルタを用いた場合のホワイトバランス調整に関して説明したが、図８の（Ｂ）に示すように緑（Ｇ）、黄（Ｙ）、青緑（Ｃ）、紫（Ｍ）の補色系カラーフィルタを用いた場合にも、本発明を適用することもできる。また、上記各実施の形態においては、インタレース動作により生成された画像信号を対象としたものについて説明したが、プログレッシブ動作により生成された画像信号についても同様の処理を行うことができる。
【００５７】
また、上記各実施の形態においては、インタレース動作により生成した画像信号を対象としたものの説明では、奇フィールドにおいてＲ・Ｇ，偶フィールドにおいてＢ・Ｇの各画素データが入力される場合を示したが、奇フィールドにおいてＢ・Ｇ，偶フィールドにおいてＲ・Ｇの各画素データが入力されてもよく、ＣＣＤ撮像素子の画素に対するフィルタ配列が限定されるものではない。また一画面の画像の分割方法は、図８の（Ａ），（Ｂ）に示すように全領域を均等の大きさで分割する方法、あるいは各領域を不均等の大きさで分割する方法などがあるが、分割手法は特に限定されるものではなく、他の方法であってもよい。また、各実施の形態におけるホワイトバランス判定手法、判定結果の格納手法は特に限定されるものではなく、その他の手法であってもよい。
【００５８】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、本判定に伴う処理を削減することができ、メモリのアクセス効率を向上させ処理時間を短縮することが可能なホワイトバランス調整回路を実現することができる。また請求項２に係る発明によれば、第１の保持手段に保持された仮判定結果に基づいて本判定が行われるように構成しているので、本判定手段による仮判定結果の参照を容易に行うことができる。また請求項３に係る発明によれば、本判定手段が仮判定手段と略同一の構成となり、両判定手段を共有化できる。また請求項４に係る発明によれば、改めて、ホワイトバランス係数の算出に用いる第１の走査で得られた画像信号における累積加算値を演算する処理を省くことができる。また請求項５に係る発明によれば、インタレース走査で画像信号が与えられる際に、ほぼリアルタイムでホワイトバランス調整を行うことができる。また請求項６に係る発明によれば、プログレッシブ走査で画像信号が与えられる際に、ほぼリアルタイムでホワイトバランス調整を行うことができる。また請求項７に係る発明によれば、第１の保持手段の構成を簡単化できる。
【００５９】
また請求項８に係る発明によれば、ホワイトバランス調整を行うと仮判定されたブロックの確認が容易となる。また請求項９に係る発明によれば、ホワイトバランス調整を行わないと仮判定されたブロックの確認が容易となる。また請求項１０に係る発明によれば、第１の走査と第２の走査において異なる色成分を有する色フィルタを用いているので、適切なホワイトバランス調整を行うことが可能となる。また請求項１１に係る発明によれば、仮判定手段をコンピュータにその処理を実行させるプログラムとして構成しているので、処理の変更を容易に行うことができる。また請求項１２に係る発明によれば、本判定に伴う処理を削減することが可能なホワイトバランス調整方法を実現することができる。また請求項１３に係る発明によれば、本判定に伴う処理を削減することが可能なホワイトバランス調整プログラムを実現することができる。また請求項１４に係る発明によれば、外部機器が要求するフォーマットに変換して、処理の削減されたホワイトバランス調整がとられたカラー画像信号を出力することが可能な撮像装置を実現することができる。
【図面の簡単な説明】
【図１】本発明に係るホワイトバランス調整回路の第１の実施の形態を示すブロック図である。
【図２】各フィールドにおける白判定エリアを示す図である。
【図３】各フィールドにおけるブロック毎の白判定エリアを示す図である。
【図４】図１に示した第１の実施の形態の動作を説明するためのフローチャートである。
【図５】図１に示した第１の実施の形態の変形例を説明するための説明図である。
【図６】図１に示した第１の実施の形態の他の変形例を示すブロック図である。
【図７】本発明の第２の実施の形態を示すブロック図である。
【図８】撮像素子の各画素に対応する各色フィルタの配置と画面分割の例を示す図である。
【図９】累積加算値の比と白判定領域との関係を示す図である。
【図１０】従来のホワイトバランス調整回路を示すブロック図である。
【符号の説明】
１ ＣＣＤ撮像素子
２ ブロック分割部
３ 累積加算部
４ 第１の保持部
５ ホワイトバランス判定部
６ 第２の保持部
７ ホワイトバランス係数算出部
１１ ＣＰＵ
２１ ＣＣＤ撮像素子
２２ 画像処理装置
２３ 外部機器
２４ フォーマット変換回路
２５ 指定回路
Claims (14)
- カラーフィルタが受光面に貼付された撮像素子から入力される画像信号に対してホワイトバランス調整を行うホワイトバランス調整回路であって、画像信号を複数のブロックに分割するブロック分割手段と、第１の走査で得られた画像信号において、各ブロック毎に、各色毎の累積加算値の比を算出し、その算出結果に基づいてホワイトバランス調整を行うか否かの仮判定を行う仮判定手段と、第１の走査に引き続く第２の走査で得られた画像信号において、前記仮判定手段による仮判定結果がホワイトバランス調整を行うとされたブロックに対し、ホワイトバランス調整を行うか否かの本判定を行う本判定手段とを有することを特徴とするホワイトバランス調整回路
- 前記仮判定の結果を保持する第１の保持手段を更に有し、前記本判定手段は、前記第１の保持手段に保持された仮判定結果に基づいて本判定を行うことを特徴とする請求項１に係るホワイトバランス調整回路。
- 前記本判定手段は、第２の走査で得られた画像信号において、ブロック単位で、各色毎の累積加算値の比を算出し、その算出結果に基づいて本判定を行うことを特徴とする請求項１に係るホワイトバランス調整回路。
- 前記仮判定手段からの累積加算値を保持する第２の保持手段と、該第２の保持手段に保持されている累積加算値と、前記本判定手段からの累積加算値及び本判定結果とに基づき、画像信号のホワイトバランスを調整するためのホワイトバランス係数を求めるホワイトバランス係数算出手段とを更に有することを特徴とする請求項３に係るホワイトバランス調整回路。
- 前記仮判定手段は、インターレース走査における奇フィールドを第１の走査として仮判定を行うと共に、前記本判定手段は、インターレース走査における偶フィールドを第２の走査として本判定を行うことを特徴とする請求項１に係るホワイトバランス調整回路。
- 前記仮判定手段は、プログレッシブ走査における奇ラインを第１の走査として仮判定を行うと共に、前記本判定手段は、プログレッシブ走査における偶ラインを第２の走査として本判定を行うことを特徴とする請求項１に係るホワイトバランス調整回路。
- 第１の保持手段は、仮判定結果を「０」又は「１」で保持することを特徴とする請求項２に係るホワイトバランス調整回路。
- 第１の保持手段は、前記仮判定手段においてホワイトバランス調整を行うと仮判定されたブロックの位置情報を保持することを特徴とする請求項２に係るホワイトバランス調整回路。
- 前記第１の保持手段は、前記仮判定手段においてホワイトバランス調整を行わないと仮判定されたブロックの位置情報を保持することを特徴とする請求項２に係るホワイトバランス調整回路。
- 前記撮像素子は、カラーフィルタとして、第１の走査と第２の走査とにおいて相異なる色成分を有する色フィルタが貼付されていることを特徴とする請求項１〜９のいずれか１項に係るホワイトバランス調整回路。
- 前記仮判定手段は、コンピュータに、第１の走査で得られた画像信号において、各ブロック毎に、各色毎の累積加算値の比を算出し、その算出結果に基づいてホワイトバランス調整を行うか否かの仮判定を行う処理を実行させるプログラムで構成されていることを特徴とする請求項１〜１０のいずれか１項に係るホワイトバランス調整回路。
- カラーフィルタが受光面に貼付された撮像素子から入力される画像信号に対してホワイトバランス調整を実行させるホワイトバランス調整方法であって、画像信号を複数のブロックに分割するステップと、第１の走査で得られた画像信号において、各ブロック毎に、各色毎の累積加算値の比を算出し、その算出結果に基づいてホワイトバランス調整を行うか否かの仮判定を行うステップと、第１の走査に引き続く第２の走査で得られた画像信号において、前記仮判定ステップによる仮判定結果がホワイトバランス調整を行うとされたブロックに対し、ホワイトバランス調整を行うか否かの本判定を行うステップとを有することを特徴とするホワイトバランス調整方法。
- コンピュータに対して、カラーフィルタが受光面に貼付された撮像素子から入力される画像信号に対するホワイトバランス調整を実行させるためのホワイトバランス調整プログラムであって、画像信号を複数のブロックに分割するブロック分割処理手順と、第１の走査で得られた画像信号において、各ブロック毎に、各色毎の累積加算値の比を算出し、その算出結果に基づいてホワイトバランス調整を行うか否かの仮判定を行う仮判定処理手順と、第１の走査に引き続く第２の走査で得られた画像信号において、前記仮判定結果がホワイトバランス調整を行うとされたブロックに対し、ホワイトバランス調整を行うか否かの本判定を行う本判定処理手順とを実行させることを特徴とするホワイトバランス調整プログラム。
- カラーフィルタが受光面に貼付され、カラー画像信号を出力する撮像素子と、請求項１〜１１のいずれか１項に記載のホワイトバランス調整回路と、ホワイトバランス調整が行われたカラー画像信号を外部機器が要求するフォーマットに変換して出力するフォーマット変換回路と、フォーマットを指定する指定回路とを有することを特徴とする撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003148512A JP2004356681A (ja) | 2003-05-27 | 2003-05-27 | ホワイトバランス調整回路、その応用装置、ホワイトバランス調整方法、及びホワイトバランス調整プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003148512A JP2004356681A (ja) | 2003-05-27 | 2003-05-27 | ホワイトバランス調整回路、その応用装置、ホワイトバランス調整方法、及びホワイトバランス調整プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004356681A true JP2004356681A (ja) | 2004-12-16 |
Family
ID=34044854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003148512A Withdrawn JP2004356681A (ja) | 2003-05-27 | 2003-05-27 | ホワイトバランス調整回路、その応用装置、ホワイトバランス調整方法、及びホワイトバランス調整プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004356681A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009524283A (ja) * | 2006-01-13 | 2009-06-25 | マイクロン テクノロジー， インク． | 撮像装置中の電気的な安定化のために画素格納ゲートの電荷の感知を提供する方法と装置 |
| JP5877931B2 (ja) * | 2013-05-23 | 2016-03-08 | 富士フイルム株式会社 | 画素補間装置およびその動作制御方法 |
| JP5883992B2 (ja) * | 2013-05-23 | 2016-03-15 | 富士フイルム株式会社 | 画素混合装置およびその動作制御方法 |
-
2003
- 2003-05-27 JP JP2003148512A patent/JP2004356681A/ja not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009524283A (ja) * | 2006-01-13 | 2009-06-25 | マイクロン テクノロジー， インク． | 撮像装置中の電気的な安定化のために画素格納ゲートの電荷の感知を提供する方法と装置 |
| US8488036B2 (en) | 2006-01-13 | 2013-07-16 | Micron Technology, Inc. | Method and apparatus providing pixel storage gate charge sensing for electronic stabilization in imagers |
| US9554071B2 (en) | 2006-01-13 | 2017-01-24 | Micron Technology, Inc. | Method and apparatus providing pixel storage gate charge sensing for electronic stabilization in imagers |
| JP5877931B2 (ja) * | 2013-05-23 | 2016-03-08 | 富士フイルム株式会社 | 画素補間装置およびその動作制御方法 |
| JP5883992B2 (ja) * | 2013-05-23 | 2016-03-15 | 富士フイルム株式会社 | 画素混合装置およびその動作制御方法 |
| US10306196B2 (en) | 2013-05-23 | 2019-05-28 | Fujifilm Corporation | Pixel mixing device and method for controlling operation of same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4350706B2 (ja) | 画像処理装置及び画像処理プログラム | |
| US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
| JP5128207B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
| US20020141005A1 (en) | Image processing program and image processing apparatus | |
| JP2008199177A (ja) | 画像処理装置およびその方法と電子カメラ | |
| RU2432614C2 (ru) | Устройство обработки изображения, способ обработки изображения и программа | |
| JP4317619B2 (ja) | 画像処理装置 | |
| JP6282123B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4717371B2 (ja) | 画像処理装置および画像処理プログラム | |
| JP4504412B2 (ja) | 画像処理装置及び画像処理方法 | |
| US7142236B2 (en) | Digital zoom apparatus to perform zoom during successive changes in zoom magnification | |
| JP5092536B2 (ja) | 画像処理装置及びそのプログラム | |
| JP2003169255A (ja) | シェーディング補正方法 | |
| JP2009194721A (ja) | 画像信号処理装置、画像信号処理方法、及び撮像装置 | |
| JP2004356681A (ja) | ホワイトバランス調整回路、その応用装置、ホワイトバランス調整方法、及びホワイトバランス調整プログラム | |
| JP5676233B2 (ja) | 画像処理装置、画像処理方法、及び撮像装置 | |
| JP2007306083A (ja) | 撮像装置および信号処理装置 | |
| JP7183015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP6105960B2 (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
| JP4503106B2 (ja) | 情報処理装置および方法、情報処理システム、並びに記録媒体 | |
| JP4436626B2 (ja) | 画像処理装置 | |
| JP5090899B2 (ja) | 撮像装置 | |
| JP5269954B2 (ja) | 撮像装置 | |
| JP5228929B2 (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
| JP2006262382A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060801 |