JP2004112741A

JP2004112741A - 画質を向上させた画像処理回路

Info

Publication number: JP2004112741A
Application number: JP2002317033A
Authority: JP
Inventors: Jun Funakoshi; 船越　純; Shigeru Nishio; 西尾　茂; Tomoo Kokubo; 小久保　朝生; Masatoshi Kokubu; 國分　政利
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2002-07-25
Filing date: 2002-10-31
Publication date: 2004-04-08
Anticipated expiration: 2022-10-31
Also published as: US7456876B2; JP4213943B2; US20040119854A1

Abstract

【課題】イメージセンサの出力画像に周期的に現れる縦縞を抑制して、画質を向上させる。
【解決手段】本発明は、光電変換素子を有し行列方向に配置された画素の光電変換信号を各列毎に増幅して出力される画素信号に対して、所定のオフセットを加減算し、所定のゲインを乗算する色感度補正回路を有し、前記所定のオフセットは、各色に応じて設定された第１のオフセットと複数のコラムに応じて設定された第２のオフセットとを含むことを特徴とするカラーイメージセンサ用の画像処理回路である。この画像処理回路によれば、色感度補正回路のオフセットに、各色に応じて設定された第１のオフセットと複数のコラムに応じて設定された第２のオフセットとを含ませることにより、コラム毎のコラム出力回路や出力信号供給回路などに起因する周期的な縦方向の縞模様を抑制することができ、画質を向上させることができる。
【選択図】図９

Description

【０００１】
【発明の属する技術分野】
本発明は、半導体イメージセンサ、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの画像処理回路に関し、特に、コラム毎に発生する縞模様などのノイズを抑制して画質を向上させたイメージセンサの画像処理回路に関する。
【０００２】
【従来の技術】
半導体イメージセンサのうち、例えばＣＭＯＳイメージセンサは、光電変換素子を有する画素を行列に配置した画素アレイを有し、その画素アレイ上にＲＧＢなどのカラーフィルタが設けられ、各画素が、カラーフィルタに対応して、ＲＧＢそれぞれの階調値に対応した光電変換信号を出力する。画素アレイの行方向には、各画素を選択する行選択線と、各画素の電位をリセットするリセット線とが設けられ、画素アレイの列方向には、各画素の光電変換信号をコラム出力回路に伝播するコラム線が設けられている。そして、このコラム線には、光電変換信号を増幅しそのリセットノイズを削除するなどの機能を有するコラム出力回路がそれぞれ設けられ、コラム出力回路の出力信号が出力バスを介して、画像処理回路に供給される。
【０００３】
画像処理回路は、カラープロセッサとも称され、センサの感度補正、色補間処理、色調整処理、ガンマ変換処理、出力フォーマット変換処理などを行って、所望のフォーマットの画像信号を出力する。
【０００４】
このようなＣＭＯＳイメージセンサは、例えば、以下の先行技術に開示されている。
【０００５】
【特許文献１】
特開平２００２−２１８３２４号公報
【０００６】
【発明が解決しようとする課題】
イメージセンサは、コラム毎にコラム出力回路が設けられ、その出力信号である画素信号が共通の出力バスを介してカラープロセッサに供給される。各コラム出力回路と、そのコラム出力回路からカラープロセッサまでの画素信号を供給する回路は、並列構成であり、各コラム毎に特性バラツキがないように設計される。
【０００７】
しかしながら、イメージセンサから生成される画像信号によって画像表示または画像出力を行うと、その出力画像に縦方向の縞模様が規則的にまたは周期的に発生するという問題がある。特に、一様な色の画像を出力する場合に、このような縦方向の縞模様が目立つことがある。
【０００８】
そこで、本発明の目的は、出力画像に縦方向の縞模様が発生することを抑制できるイメージセンサを提供することにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、本発明の一つの側面は、光電変換素子を有し行列方向に配置された画素の光電変換信号を各列毎に増幅して出力される画素信号に対して、所定のオフセットを加減算し、所定のゲインを乗算する色感度補正回路を有し、前記所定のオフセットは、各色に応じて設定された第１のオフセットと複数のコラムに応じて設定された第２のオフセットとを含むことを特徴とするカラーイメージセンサ用の画像処理回路である。
【００１０】
本発明の側面によれば、色感度補正回路のオフセットに、各色に応じて設定された第１のオフセットと複数のコラムに応じて設定された第２のオフセットとを含ませることにより、コラム毎のコラム出力回路や出力信号供給回路などに起因する周期的な縦方向の縞模様を抑制することができ、画質を向上させることができる。
【００１１】
上記の発明の側面において、より好ましい実施例によれば、少なくとも１フレームの画像の輝度に応じて、前記第２のオフセットを調整するオフセット調整部を有する。このオフセット調整部は、例えば、より高い輝度の場合は第２のオフセットがより大きく調整され、より低い輝度の場合は第２のオフセットがより小さく調整される。これにより、高い輝度の画面で縦縞の発生がより効果的に抑制される。
【００１２】
上記の発明の側面において、より好ましい実施例によれば、コラム毎の画素信号と、少なくとも１フレームの画像の輝度に対応する基準値とを比較して、前記第２のオフセットを動的に生成するオフセット生成部を有することを特徴とする。これにより、各イメージセンサ毎に最適化された第２のオフセットが生成され、より適切に出力画像内の縦縞の発生が抑制される。
【００１３】
上記の目的を達成するために、本発明の第２の側面は、光電変換素子を有し行列方向に配置された画素の光電変換信号を各列毎に増幅して出力される画素信号に対して、複数のコラムに応じて設定されたオフセットを加減算する補正回路を有することを特徴とするイメージセンサ用の画像処理回路である。
【００１４】
上記の第２の側面によれば、画素信号の供給経路に依存して周期的に発生するオフセットが、補正回路により修正されるので、出力画像に現れる縦縞が抑制される。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態例を説明する。しかしながら、本発明の保護範囲は、以下の実施の形態例に限定されるものではなく、特許請求の範囲に記載された発明とその均等物にまで及ぶものである。本発明は、イメージセンサに広く適用可能であるが、以後の実施の形態では、ＣＭＯＳイメージセンサを例にして説明する。
【００１６】
図１は、本実施の形態におけるＣＭＯＳイメージセンサの画素アレイの構成を示す図である。画素アレイ１０は、行方向に配置された複数のリセット電源線ＶＲ、行選択線ＳＬＣＴ、リセット線ＲＳＴと、コラム方向に配置された複数のコラム線ＣＬと、各行選択線、リセット線とコラム線との交差位置に配置された画素ＰＸ００〜ＰＸ３３とを有する。各画素には、画素ＰＸ０３に示されるとおり、リセット用トランジスタＭ１と、光電変換素子であるフォトダイオードＰＤと、フォトダイオードのカソード電位を増幅するソースフォロワートランジスタＭ２と、行選択線ＳＬＣＴに応答して、ソースフォロワートランジスタＭ２のソースとコラム線ＣＬとを接続する選択トランジスタＭ３とからなる光電変換回路が設けられる。
【００１７】
行方向に配置された行選択線ＳＬＣＴやリセット線ＲＳＴは、垂直走査シフトレジスタ及びリセット制御回路１２により駆動制御される。また、列方向に配置された各コラム線ＣＬは、それぞれコラム出力回路１４に接続される。コラム出力回路１４は、後述するとおり、各画素からコラム線ＣＬを経由して供給される光電変換信号を増幅し、リセット動作に伴うリセットノイズを削除して、画素信号を出力する。
【００１８】
コラム出力回路１４から出力される画素信号は、水平走査シフトレジスタ１６により選択されるコラム選択トランジスタＣＳ０〜ＣＳ３を介して、共通出力バスＯＢｕｓに出力され、出力バスに接続された増幅器ＡＭＰにより増幅される。増幅器ＡＭＰの出力は、後述するカラープロセッサに供給される。
【００１９】
図２は、コラム出力回路の具体例を示す図であり、図３は、コラム出力回路の動作を示す信号波形図である。図２には、１つの画素ＰＸの回路と、それに図示しないコラム線を介して接続されるコラム出力回路１４とが示される。コラム出力回路１４は、第１のスイッチＳＷ１と、第２のスイッチＳＷ２と、第１のサンプル・ホールドキャパシタＣ１、第２のサンプリング・ホールドキャパシタＣ２と、基準電圧ＶＲＥＦと、第１及び第２のアンプＡＭＰ１，ＡＭＰ２とを有する相関二重サンプリング回路である。また、画素ＰＸとコラム出力回路１４との間に、電流源Ｉ１が設けられている。
【００２０】
この画素ＰＸとコラム出力回路１４の動作について、図３を参照しながら説明する。説明を簡単にするために、行選択線ＳＬＣＴはＨレベルに維持されて、選択トランジスタＭ３は導通状態を維持するものとする。そして、その状態において、リセット期間Ｔ１では、リセット線ＲＳＴがＨレベルになりリセットトランジスタＭ１を導通し、フォトダイオードＰＤのカソード電位ＶＰＤがリセットレベルＶＲにされる。リセット線ＲＳＴがＬレベルになりリセットトランジスタＭ１が非導通になると、カソード電位ＶＰＤは、入力光の光量に応じてフォトダイオードＰＤが発生する電流により徐々にレベルを下げる。これが積分期間Ｔ２である。
【００２１】
所定の積分期間Ｔ２を経過した後に、スイッチＳＷ１，ＳＷ２が一時的に導通状態にされて、カソード電位ＶＰＤに応じて生成されるソースフォロワートランジスタＭ２からの駆動電流が、選択トランジスタＭ３と図示しないコラム線を介して、キャパシタＣ１を充電する。これにより、ノードＶＣ１は、リセット時の電位Ｖｎに積分期間で低下した電位Ｖｓ（負電位）を加えたレベルＶｓ＋Ｖｎになる。また、ノードＶＣ１の電位は、第１のアンプＡＭＰ１を介して第２のキャパシタＣ２にも伝えられる。この時、第２のスイッチＳＷ２も導通状態であり、第１のアンプＡＭＰ１の増幅率が１とすると、第２のキャパシタＣ２も第１のキャパシタと同じ電圧状態に充電される。上記のリセット時の電位Ｖｎには、リセット動作に伴うリセットノイズが含まれる。
【００２２】
積分期間Ｔ２の終了後に、リセット線ＲＳＴに再度リセットパルスが供給されて、リセットトランジスタＭ１が導通する。それによりカソード電位ＶＰＤは再度リセットレベルに充電される。その後、リセットノイズ読み出し期間Ｔ４経過後に、第１のスイッチＳＷ１が一時的に導通状態にされ、第２のスイッチＳＷ２は非導通状態に維持される。このリセットノイズ読み出し期間Ｔ４においても、積分期間Ｔ２と同様に、カソード電位ＶＰＤは受光光量に応じたフォトダイオードの電流によりレベルが低下するが、このリセットノイズ読み出し期間Ｔ４は、積分期間Ｔ２に比較すると短く設定される。但し、積分期間Ｔ２は、入力光の輝度レベルに応じて最適の期間に制御されるので、必ずしも両期間Ｔ２，Ｔ４を単純には比較できない。
【００２３】
このリセットノイズ読み出し期間Ｔ４経過後に、スイッチＳＷ１が導通状態になり、第１のキャパシタＣ１のノードＶＣ１は、リセット後のレベルに応じた電位Ｖｎになる。この電位Ｖｎは、第１のアンプＡＭＰ１を介して第２のキャパシタＣ２の第１のアンプ側の端子にも伝えられる。この時、第２のスイッチＳＷ２が非導通状態であるので、第２のキャパシタＣ２のノードＶＣ２はオープン状態になっている。従って、第２のキャパシタＣ２のノードＶＣ２には、積分期間Ｔ２終了時のノードＶＣ１の電位Ｖｓ＋Ｖｎと、リセットノイズ読み出し期間Ｔ４終了時のノードＶＣ１の電位Ｖｎとの差電圧（Ｖｓ＋Ｖｎ）−Ｖｎ＝Ｖｓ分の変動が生じて、それに最初のサンプリング時の基準電圧ＶＲＥＦを加えた電圧ＶＲＥＦ＋ＶｓがノードＶＣ２に生成される。この電圧ＶＲＥＦ＋Ｖｓからは、リセットノイズを含む電圧Ｖｎが削除されている。
【００２４】
図２の第３のスイッチＳＷ３は、図１におけるコラムゲートＣＳ０〜ＣＳ３に対応し、上記のノードＶＣ２の電圧（ＶＲＥＦ＋Ｖｓ）が、第２のアンプＡＭＰ２により増幅され、水平走査シフトレジスタ１６により導通制御されたコラムゲートＳＷ３を介して、出力バスＯＢｕｓに出力される。そして、出力バスＯＢｕｓに設けられた共通増幅器ＡＭＰにより増幅され、後段のＡ／Ｄ変換回路に画素信号として供給される。
【００２５】
図４は、イメージセンサのレイアウト例を示す図である。画素アレイは、図１と同様に、光電変換素子を有する画素ＰＸ００〜ＰＸ３７が行列方向に配置され、行方向に、リセット電源線ＶＲと、行選択線ＳＬＣＴ０−３と、リセット線ＲＳＴ０−３とが設けられ、垂直走査シフトレジスタ兼リセット制御回路１２によりそれぞれ制御される。また、列方向には、コラム線ＣＬ０−７が設けられ、それぞれのコラム線ＣＬ０−７にコラム出力回路（相関二重サンプリング回路）ＣＤＳ０−７が設けられている。このコラム出力回路は、コラム線ピッチに整合して配置することが困難であるので、４本のコラム線のピッチに一致する幅を有し、４つのコラム出力回路ＣＤＳ０−３、ＣＤＳ４−７が、コラム方向に配列されている。
【００２６】
このようなコラム出力回路の配列に伴って、４本の出力バスＯＢＵＳ０−３がそれぞれバススイッチＢＳＷを介して、共通のアンプＡＭＰに接続される。従って、コラム線ＣＬ０に接続される画素ＰＸ００〜ＰＸ３０の光電変換信号は、コラム出力回路ＣＤＳ０で検出され、その画素信号は、出力バスＯＢＵＳ０とバススイッチＢＳＷを介してアンプＡＭＰに供給される。同様に、コラム線ＣＬ４に接続される画素ＰＸ０４〜ＰＸ３４の光電変換信号も、コラム出力回路ＣＤＳ４、出力バスＯＢＵＳ０、バススイッチＢＳＷを介してアンプＡＭＰに供給される。これが、第１の画素信号出力経路である。
【００２７】
更に、コラムＣＬ１やＣＬ５に接続される画素の光電変換信号は、コラム出力回路ＣＤＳ１、ＣＤＳ５、出力バスＯＢＵＳ１を介して、アンプＡＭＰに供給される。これが第２の画素信号出力経路である。同様に、コラムＣＬ２，ＣＬ６に接続される画素の信号は、第３の画素信号出力経路を介してアンプＡＭＰに供給され、コラムＣＬ３，ＣＬ７に接続される画素の信号は、第４の画素信号出力経路を介してアンプＡＭＰに供給される。
【００２８】
図４のようなレイアウト例の場合は、４つの画素信号出力経路の回路特性や配線特性に応じて、一様な色の画像であっても、コラム毎に画素信号に所定のオフセットが発生して、周期的な縦縞またはコラム方向の縞模様が発生してしまう。
このような縦縞の発生を抑制するためには、レイアウトの規則性を失わせるような修正が必要であり、設計工数の増大を招いている。
【００２９】
図５は、本実施の形態におけるイメージセンサのカラープロセッサ（画像処理回路）の構成を示す図である。画素アレイ１０で検出された光電変換信号が、出力バスＯＢＵＳ、アンプＡＭＰ、Ａ／Ｄ変換回路ＡＤＣを介して、画素信号Ｐｉｎとしてカラープロセッサ２０に供給される。画素アレイ１０にＲＧＢのカラーフィルタが設けられている場合は、画素信号Ｐｉｎは、ＲＧＢ各色の信号になる。
【００３０】
カラープロセッサ２０は、画素アレイ１０の駆動に利用された水平同期信号Ｈｓｙｎｃと、垂直同期信号Ｖｓｙｎｃと画素クロックＰＣＬＫとから、各種のタイミング信号を生成するタイミング発生回路２２を有する。更に、カラープロセッサ２０は、画素信号Ｐｉｎの色の感度に依存する特性を補正する感度補正回路２４と、各画素で検出される色以外の色の階調値を周囲の画素の画素信号から補間演算によって求める色補間処理回路２８と、色合い（青っぽい青など）を調整する色調整回路３２と、ＬＣＤやＣＲＴなどの画像を出力するデバイス特性（ガンマ特性）に合わせるためのガンマ変換回路３４とを有する。そして、最後に表示装置に適合した画像信号のフォーマットに変換するフォーマット変換回路３８により、画素信号が、ＮＴＳＣやＹＵＶ、ＹＣｂＣｒなどのデジタルコンポーネントのフォーマットに変換されて出力される。
【００３１】
感度補正回路２４は、色の感度に依存する特性を補正するために、各色に対応して設けられた感度補正テーブル２６を参照して、補正演算を行う。
【００３２】
図６はカラーフィルタの一例を示す図であり、図７、図８は、感度補正を説明するための図である。図６に示したカラーフィルタは、ベイヤー配列と称されるものであり、人間の目に最も敏感な緑色（Ｇ）の検出信号をより多く出力することが人間に対して高感度を与えるとの理由から、奇数行には赤色（Ｒ）と緑色（Ｇ）が交互に配置され、偶数行には青色（Ｂ）と緑色（（Ｇ）とが交互に配置される。つまり、このカラーフィルタは、緑色（Ｇ）が市松模様に配置され、赤色（Ｒ）と青色（Ｂ）とが別の市松模様に配置される。このカラーフィルタが設けられることにより、画素アレイからは、各色の階調値（輝度）に対応した画素信号が出力される。
【００３３】
図７は、波長と相対感度との関係を示す図である。ＲＧＢは波長が大、中、小の順に対応し、それぞれの感度は、画素のセンサ感度とカラーフィルタ特性によって決まるものであり、デバイス依存性を持つ。図示されるとおり、緑色（Ｇ）が最も感度が高く、赤色（Ｒ）、青色（Ｂ）は順に感度が低くなる。
【００３４】
図８（Ａ）は、画素アレイへの入力光の光量と、それに対する光電変換されコラム出力回路で増幅されＡ／Ｄ変換された出力値である画素信号Ｐｉｎとの関係を示している。図７で示したとおり、ＲＧＢによって相対感度が異なることに伴って、入力光に対する出力値の関係は、ＧＲＢの順にゲインが異なり、更に、ＲＧＢそれぞれが異なるオフセット値を有する。従って、このようなオフセットとゲインが異なる画素信号Ｐｉｎに対して、感度補正を行って、入力光と出力値（画素信号Ｐｉｎ）とをＲＧＢで同じ特性にするためには、図８（Ｂ）に示されるような所定のオフセットＫｏｆｆとゲインＫｇａｉｎを利用して、画素信号Ｐｉｎを補正すれば良い。
【００３５】
即ち、図８（Ａ）に示す特性のずれを有するＲＧＢの画素信号Ｐｉｎに対して、それぞれの色に対して設定された色別のオフセットＫｏｆｆを減算または加算し、設定された色別のゲインＫｇａｉｎを乗算または除算（以下簡単に乗算で説明する）することで、図８（Ｃ）に示すような特性がそろった画素信号Ｐを得ることができる。即ち、
Ｐ＝（Ｐｉｎ−Ｋｏｆｆ）×Ｋｇａｉｎ
の演算が、感度補正回路２４により行われる。上記オフセットＫｏｆｆとゲインＫｇａｉｎとが、各色毎に設定され、感度補正テーブル２６に格納されている。図６のベイヤー配列のカラーフィルタの場合は、奇数行の赤色（Ｒ）と緑色（Ｇｒ）、及び偶数行の青色（Ｂ）と緑色（Ｇｂ）とが、異なる感度を有するので、それに対応して、４種類の補正用のオフセットＫｏｆｆとゲインＫｇａｉｎとがあらかじめ感度補正テーブル２６に格納されている。
【００３６】
カラーフィルタがＲＧＢの補色の色空間であるＣＭＹＫで構成される場合は、ＣＭＹＫそれぞれで感度が異なるので、それにともなって、感度補正テーブル２６には、ＣＭＹＫそれぞれのオフセットとゲインとが設定される。
【００３７】
図５に戻り、色補間処理回路２８は、各画素毎にＲＧＢの画素信号を生成する。図６に示したカラーフィルタの場合は、赤色（Ｒ）に対応する画素には、緑色（Ｇ）や青色（Ｂ）の画素信号を得ることができない。そこで、色補間処理回路２８にて、周囲の画素の信号を補間演算することで、赤色（Ｒ）のカラーフィルタの画素にも、緑色（Ｇ）や青色（Ｂ）の画素信号を生成することができる。そのために、補間用メモリ３０には、周囲の画素の画素信号が一時的に記録されている。そして、色補間処理回路２８は、この補間用メモリ３０内に一時的に記録されている周囲の画素の画素信号に対して補間演算を行う。
【００３８】
ガンマテーブル３６には、ＣＲＴやＬＣＤなどの画像出力デバイスのガンマ特性に変換するための変換テーブルが格納されている。また、フォーマット変換テーブル４０は、ＮＴＳＣやＹＵＶなどの表示信号フォーマットに変換するためのテーブルである。
【００３９】
さて、図４において説明したように、レイアウト上の制約などから、画素部から出力される画像信号は、コラム毎に所定の特性が重畳されていて、一様な色の画像を撮像した場合に、周期的に縦縞が発生することが確認されている。そこで、本実施の形態では、カラープロセッサ２０内の感度補正回路２４にて、この周期的な縦縞を抑制するための演算を行う。具体的には、感度補正テーブル２６に、感度補正用のオフセットに加えて、周期的な縦縞抑制用のオフセットを設けて、レイアウト上の制約などに起因する縦縞の発生を抑制する。
【００４０】
図９は、本実施の形態における感度補正回路を示す図である。図８にて説明したとおり、感度補正回路２４は、オフセット補正回路２４２とゲイン補正回路２４３とが設けられ、オフセット補正回路２４２にて、画素信号Ｐｉｎから各色Ｒ、Ｇｒ、Ｂ、Ｇｂ毎に異なるオフセットを加算または減算し、ゲイン補正回路２４３にて、各色毎に異なるゲインを乗算する。それに伴って、感度補正テーブル２６には、各色Ｒ、Ｇｒ、Ｇｂ、Ｂ毎に異なるオフセットＲＯ、ＧｒＯ、ＧｂＯ、ＢＯを有する第１のオフセットテーブル２６１と、ゲインＲＧ、ＧｒＧ、ＧｂＧ、ＢＧを有するゲインテーブル２６３とが設けられる。
【００４１】
更に、周期的に現れる縦縞を抑制するために、感度補正テーブル２６は、周期性を有する４つのコラム毎に異なるオフセットＣ１，Ｃ２，Ｃ３，Ｃ４を有する第２のオフセットテーブル２６２を有する。これらのオフセットテーブル２６１，２６２及びゲインテーブル２６３内の設定値は、タイミング発生回路２２が生成するタイミング信号に応じてセレクタ２４５，２４６，２４７でそれぞれ選択され、補正回路２４２，２４３に出力される。そして、第１のオフセットテーブル２６１のオフセット値と、第２のオフセットテーブル２６２のオフセット値とは、加算回路２４４にて加算演算（又は減算演算）され、オフセット補正回路２４２に供給される。
【００４２】
このように、本実施の形態では、感度補正回路２４にオフセット補正回路２４２が設けられているので、その演算機能を利用して、周期的に現れる縦縞模様を抑制する。そのために、コラム毎の特性に違いに伴うオフセット値Ｃ１，Ｃ２，Ｃ３，Ｃ４をあらかじめ設定して、感度補正テーブル２６に格納しておく。図４の回路レイアウト例では、４コラム毎に縦縞模様が発生するので、それを抑制するオフセット値も４種類Ｃ１〜Ｃ４である。
【００４３】
尚、図９には、カラーフィルタがＣＭＹＫの場合の感度補正テーブル２６６，２６７，２６８が示されている。その場合は、感度補正用のオフセットテーブル２６６と、縦縞補正用のオフセットテーブル２６７と、感度補正用のゲインテーブル２６８が、テーブル２６１，２６２，２６３に代わって格納される。
【００４４】
図１０は、感度補正回路の演算例を示す図である。（Ａ）はベイヤー配列されたＲＧＢカラーフィルタの場合に、一様な色の画像を撮像したときの４行４列の画素から出力される画素信号Ｐｉｎの一例である。つまり、１行目の画素信号Ｐｉｎは、Ｒ１１，Ｇ１２，Ｔ１３，Ｇ１４の画素信号が出力され、２行目の画素信号Ｐｉｎは、Ｇ２１，Ｂ２２，Ｇ２３，Ｂ２４の画素信号が出力される。３行目、４行目も同様である。この例では、緑色（Ｇ）の画素信号に注目すると、１列目の「６０」に比較して、２列目は＋１、３列目は＋２、４列目は−１になっている。
【００４５】
図１０（Ｂ）に、オフセット値とゲインの設定値が示されている。コラム毎のオフセット値は、上記の傾向を考慮して、Ｃ１＝０，Ｃ２＝１，Ｃ３＝２，Ｃ４＝−１と設定されている。また、色別のオフセットＲＯ，ＧＯ，ＢＯと、色別のゲインＲＧ，ＧＧ，ＢＧも図示の通り設定されている。尚、この例では、奇数行の緑色（Ｇｒ）と偶数行の緑色（Ｇｂ）とは区別されていない。
【００４６】
そこで、図（Ｃ）には、１行目と２行目のコラム１〜４について、感度補正回路の演算式が示されている。コラム毎のオフセットと色別のオフセットを加算したものを、画素信号Ｐｉｎから減算し、更に色別のゲインを乗算することで、各画素の補正値Ｒ１１ｍ〜Ｇ１４ｍ、Ｇ２１ｍ〜Ｂ２４ｍが求められる。このようにして求められた補正後の画素信号Ｐは、図１０（Ｄ）に示される通り、全て同じ「６０」になっている。
【００４７】
図１１は、図９の感度補正回路の変形例を示す図である。図９の例では、色別のオフセットテーブル２６１とコラム別のオフセットテーブル２６２とを別々に設けて、それらを加算回路２４４で加算している。それに対して、図１１の例では、色別のオフセットとコラム別のオフセットとを加算したオフセットＣ１ＲＯ、Ｃ２ＧｒＯ、Ｃ３ＲＯ、Ｃ４ＧｒＯ、Ｃ１ＧｂＯ、Ｃ２ＢＯ、Ｃ３Ｇｂ、Ｃ４ＢＯをあらかじめ演算して求めておき、合体したオフセットテーブル２６１に格納している。従って、オフセット用のセレクタ２４５が１つ設けられるだけであり、加算回路２４４は必要ない。ゲインテーブル２６３は図９の例と同じである。
【００４８】
図１２は、第２の実施の形態における感度補正回路を示す図である。この例では、撮像される画像の明るさを示すアンプＡＰＭのゲイン制御信号Ｇａに従って、コラム別のオフセットＣ１〜Ｃ４を調整するオフセット調整回路２４８が設けられている。それ以外の構成は、図９と同じである。イメージセンサは、画像の明るさに応じて、画素アレイでの積分期間の長さを自動制御する。明るい画像の場合は、積分時間を短く制御して、光電変換信号が飽和しないようにし、また、暗い画像の場合は、積分時間を長く制御して、光電変換信号が十分なレベルになるようにする。従って、画像の明るさを検出して何らかの制御信号を生成している。
この制御信号の１つが、アンプＡＭＰのゲイン制御信号Ｇａである。または、Ａ／Ｄ変換回路ＡＤＣのダイナミックレンジ制御信号Ｄａである。明るい画像の場合は、アンプＡＭＰのゲインは低く制御され、またはＡ／Ｄ変換回路のダイナミックレンジは広く制御される。暗い画像の場合は、アンプＡＭＰのゲインは高く制御され、またはＡ／Ｄ変換回路のダイナミックレンジは狭く制御される。
【００４９】
このように画像の明るさに依存する制御信号、例えばゲイン制御信号Ｇａをオフセット調整回路２４８に与えることで、コラム別のオフセット値を調整する。つまり、明るい画像の時は、コラム別のオフセットがより強調されやすいので、オフセット値もより大きく調整される。また、暗い画像の時は、コラム別のオフセットはあまり強調されないので、オフセット値はより小さく調整される。こうすることにより、画像の輝度に応じた最適なコラム別オフセットをオフセット補正回路２４２に与えることができる。オフセット調整回路２４８は、Ａ／Ｄ変換回路のダイナミックレンジ制御信号Ｄａに基づいてコラム別オフセットを調整してもよい。
【００５０】
図１３は、第３の実施の形態例における感度補正回路を示す図である。この例は、図９と同じ感度補正回路２４及び感度補正テーブル２６に加えて、オフセット設定回路２５を有する。このオフセット設定回路２５は、例えばイメージセンサの電源立ち上げ時において、１フレームの画像についてその平均的輝度レベルとコラム別の画像信号Ｐｉｎのレベルとから、最適なオフセットを生成して、コラム別オフセットテーブル２６２に設定する。具体的には、生成されたコラム別オフセットＣ１〜Ｃ４がオフセットテーブル２６２に格納される。
【００５１】
１フレームの画像の平均的輝度レベルは、例えばアンプＡＭＰのゲインコントロール信号Ｇａをもとに、基準値生成部２５２が生成する。また、コラム別の画像信号のレベルは、画像信号Ｐｉｎのコラム別のレベルを累積するコラム累積部２５１が生成する。そして、基準値とコラム毎の累積値との差が、オフセット生成部２５３により求められ、最適なコラム別オフセットＣ１〜Ｃ４が生成される。
【００５２】
このように、オフセット設定回路２５を設けることにより、工場出荷時においてあらかじめコラム別オフセットをテーブル２６２に設定する必要がない。そして、デバイス毎のバラツキ、製造ロット毎のバラツキ、更にデバイスの経年変化によるバラツキを考慮して、コラム別のオフセットＣ１〜Ｃ２が生成され、テーブルに設定される。従って、設定フリーであり且つ最適なコラム別オフセットが設定されて画質が向上する。
【００５３】
図１４は、第４の実施の形態における補正回路を示す図である。本例では、色感度補正回路２４とは別に、コラム別のオフセットを補正するためのコラムオフセット補正回路２７を設けた例である。この例では、コラムオフセット補正回路２７と、コラム別オフセットテーブル２７４とが設けられ、セレクタ２７２により画素に対応するコラム別オフセットＣ１〜Ｃ４が選択され、オフセット補正回路２７１で画素信号Ｐｉｎに加減算される。その後は、前述の感度補正回路２４により、感度補正が行われる。
【００５４】
以上、実施の形態例をまとめると以下の付記の通りである。
【００５５】
（付記１）光電変換素子をそれぞれ有し行列方向に配置された画素の光電変換信号を各列毎に増幅して得られた画素信号に対して、所定のオフセットを加減算し、所定のゲインを乗算する色感度補正回路を有し、
前記所定のオフセットは、各色に応じて設定された第１のオフセットと複数のコラムに応じて設定された第２のオフセットとを含むことを特徴とする画像処理回路。
【００５６】
（付記２）付記１において、
前記色感度補正回路は、
前記第１のオフセットを格納した第１のオフセットテーブルと、前記第２のオフセットを格納した第２のオフセットテーブルとを有し、当該第１及び第２のオフセットテーブルから出力された第１及び第２のオフセットを、前記画素信号に加減算することを特徴とする画像処理回路。
【００５７】
（付記３）付記１において、
前記色感度補正回路は、
前記第１のオフセットと第２のオフセットとを組み合わせたオフセットを有するオフセットテーブルを有し、当該オフセットテーブルから出力されたオフセットを、前記画素信号に加減算することを特徴とする画像処理回路。
【００５８】
（付記４）付記１において、
前記色感度補正回路は、少なくとも１フレームの画像の輝度に応じて、前記第２のオフセットを調整するオフセット調整部を有することを特徴とする画像処理回路。
【００５９】
（付記５）付記４において、
前記オフセット調整部は、画像がより高い輝度の場合は第２のオフセットをより大きく調整し、画像がより低い輝度の場合は第２のオフセットをより小さく調整することを特徴とする画像処理回路。
【００６０】
（付記６）付記４において、
前記オフセット調整部は、少なくとも１フレームの画像に対応する前記画像信号を増幅するアンプのゲインに基づいて、前記アンプのゲインがより小さい場合は前記第２のオフセットをより大きく調整し、前記アンプのゲインがより大きい場合は前記第２のオフセットをより小さく調整することを特徴とする画像処理回路。
【００６１】
（付記７）付記１において、
前記色感度補正回路は、コラム毎の画素信号と、少なくとも１フレームの画像の輝度に対応する基準値とを比較して、前記第２のオフセットを動的に生成するオフセット生成部を有することを特徴とする画像処理回路。
【００６２】
（付記８）付記７において、
前記基準値は、少なくとも１フレームの画像に対応する前記画像信号を増幅するアンプのゲインに基づいて決められることを特徴とする画像処理回路。
【００６３】
（付記９）光電変換素子をそれぞれ有し行列方向に配置された画素の光電変換信号を各列毎に増幅して得られた画素信号に対して、複数のコラムに応じて設定されたコラム別オフセットを加減算する補正回路とを有することを特徴とする画像処理回路。
【００６４】
（付記１０）付記９において、
前記補正回路は、更に、前記画素信号に、色別に設定された色別オフセットを加減算し、色別に設定されたゲインを乗算することを特徴とする画像処理回路。
【００６５】
（付記１１）付記１０において、
前記補正回路は、更に、コラム別オフセットを格納するオフセットテーブルを有し、当該オフセットテーブルから出力されるコラム別オフセットを前記画素信号に加減算することを特徴とする画像処理回路。
【００６６】
（付記１２）付記１１において、
前記補正回路は、少なくとも１フレームの画像の輝度に応じて、前記コラム別オフセットを調整するオフセット調整部を有することを特徴とするイメージセンサ。
【００６７】
（付記１３）付記１１において、
前記補正回路は、コラム毎の画素信号と、少なくとも１フレームの画像の輝度に対応する基準値とを比較して、前記コラム別オフセットを動的に生成して、前記オフセットテーブルに格納するオフセット生成部を有することを特徴とするイメージセンサ。
【００６８】
（付記１４）付記１２において、
前記オフセット調整部は、少なくとも１フレームの画像に対応する前記画像信号を増幅するアンプのゲインに基づいて、前記コラム別オフセットを調整することを特徴とする画像処理回路。
【００６９】
（付記１５）付記１３において、
前記基準値は、少なくとも１フレームの画像に対応する前記画像信号を増幅するアンプのゲインに基づいて決められることを特徴とする画像処理回路。
【００７０】
（付記１６）付記１〜１５のいずれかに記載の画像処理回路と、
前記画素を行列方向に配置した画素アレイと、
各列毎に設けられ、列方向に配置された前記画素の光電変換信号を増幅して、前記画像信号を出力するコラム出力回路と
を有することを特徴とするカラーイメージセンサ。
【００７１】
【発明の効果】
以上、本発明によれば、イメージセンサの出力画像に周期的に現れる縦縞を抑制して、画質を向上させることができる。
【図面の簡単な説明】
【図１】本実施の形態におけるＣＭＯＳイメージセンサの画素アレイの構成を示す図である。
【図２】コラム出力回路の具体例を示す図である。
【図３】コラム出力回路の動作を示す信号波形図である。
【図４】イメージセンサのレイアウト例を示す図である。
【図５】本実施の形態におけるイメージセンサのカラープロセッサの構成を示す図である。
【図６】カラーフィルタの一例を示す図である。
【図７】感度補正を説明するための図である。
【図８】感度補正を説明するための図である。
【図９】本実施の形態における感度補正回路を示す図である。
【図１０】感度補正回路の演算例を示す図である。
【図１１】図９の感度補正回路の変形例を示す図である。
【図１２】第２の実施の形態における感度補正回路を示す図である。
【図１３】第３の実施の形態における感度補正回路を示す図である。
【図１４】第４の実施の形態における補正回路を示す図である。
【符号の説明】
１０　画素アレイ、１４　コラム出力回路、２４　感度補正回路、２６　感度補正テーブル、２７　補正回路、２７４　コラム別オフセットテーブル
ＰＸ　画素

Claims

光電変換素子をそれぞれ有し行列方向に配置された画素の光電変換信号を各列毎に増幅して得られた画素信号に対して、所定のオフセットを加減算し、所定のゲインを乗算する色感度補正回路を有し、
前記所定のオフセットは、各色に応じて設定された第１のオフセットと複数のコラムに応じて設定された第２のオフセットとを含むことを特徴とする画像処理回路。
請求項１において、
前記色感度補正回路は、
前記第１のオフセットを格納した第１のオフセットテーブルと、前記第２のオフセットを格納した第２のオフセットテーブルとを有し、当該第１及び第２のオフセットテーブルから出力された第１及び第２のオフセットを、前記画素信号に加減算することを特徴とする画像処理回路。
請求項１において、
前記色感度補正回路は、
前記第１のオフセットと第２のオフセットとを組み合わせたオフセットを有するオフセットテーブルを有し、当該オフセットテーブルから出力されたオフセットを、前記画素信号に加減算することを特徴とする画像処理回路。
請求項１において、
前記色感度補正回路は、少なくとも１フレームの画像の輝度に応じて、前記第２のオフセットを調整するオフセット調整部を有することを特徴とする画像処理回路。
請求項１において、
前記色感度補正回路は、コラム毎の画素信号と、少なくとも１フレームの画像の輝度に対応する基準値とを比較して、前記第２のオフセットを動的に生成するオフセット生成部を有することを特徴とする画像処理回路。
光電変換素子をそれぞれ有し行列方向に配置された画素の光電変換信号を各列毎に増幅して得られた画素信号に対して、複数のコラムに応じて設定されたコラム別オフセットを加減算する補正回路とを有することを特徴とする画像処理回路。
請求項９において、
前記補正回路は、更に、コラム別オフセットを格納するオフセットテーブルを有し、当該オフセットテーブルから出力されるコラム別オフセットを前記画素信号に加減算することを特徴とする画像処理回路。
請求項７において、
前記補正回路は、少なくとも１フレームの画像の輝度に応じて、前記コラム別オフセットを調整するオフセット調整部を有することを特徴とするイメージセンサ。
請求項７において、
前記補正回路は、コラム毎の画素信号と、少なくとも１フレームの画像の輝度に対応する基準値とを比較して、前記コラム別オフセットを動的に生成して、前記オフセットテーブルに格納するオフセット生成部を有することを特徴とするイメージセンサ。