JP2006054527A - 撮像信号処理方法、撮像信号処理回路、撮像装置 - Google Patents

Abstract

【課題】撮像装置において、ＡＥ制御とＡＷＢ制御とをコンパクトな回路で実現できるようにする。
【解決手段】信号処理部１００に、指示されたゲイン制御値に基づきゲイン調整機能を果たすゲイン調整アンプ部１１０と、このゲイン調整アンプ部１１０に対して、明るさ制御のためのゲイン制御値ＣＮ１（ＡＥ）と、ホワイトバランス制御のためのゲイン制御値ＣＮ２，ＣＮ３，ＣＮ４とを合成して設定するゲイン制御部１５０とを設ける。同一のゲイン調整アンプを用いて、明るさ制御とホワイトバランス制御のためのゲイン調整を行なうようにした。同じアンプを明るさ調整と色調整の両方に用いることができ、信号処理回路の単純化を図ることができ、ゲイン調整アンプの回路構成をコンパクトにでき、回路の小面積化を図ることができる。
【選択図】図１

Description

本発明は、撮像信号処理方法およびこの撮像信号処理方法を実施する信号処理回路、並びにこの信号処理回路を搭載した撮像装置に関する。より詳細には、ＣＣＤ(Charge Coupled Device) 撮像素子やＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）撮像素子などの撮像素子（撮像デバイス）を用いて撮像する際の露出制御機能や、撮像結果として得られる色信号のホワイトバランスを自動的に調整するいわゆるオートホワイトバランス調整をなす制御技術に関する。

撮像装置を用いて被写体像を撮像する際には、信号に対するゲイン調整を利用して、露出（露光）調整や白バランス調整を行なう仕組みが知られている。たとえば、異なる色温度の光源下においても、人間は脳の中で無意識に補正をしているため、白い物は白として認識することができる。しかしながら、ＣＣＤ撮像素子やＣＭＯＳ撮像素子などの撮像素子（イメージセンサ）を用いて被写体画像を撮像すると、光源の色温度の影響を受け、白が白として出力されない。

たとえば、被写体に含まれる白色は、屋内などの色温度が低い環境で撮像した場合には赤っぽくなり、屋外などの色温度が高い環境で撮像した場合には青っぽくなるという現象が生じる。このことを、一般にホワイトバランスが崩れるといっている。なお、色温度とは、テスト光源と同じ色度を持った黒体の温度（Ｋ）をいう。

ホワイトバランスが崩れる現象を解消するためには、従来、撮像素子で取得された撮像信号に対して、人間の目と合わせるために、照明光の色温度に拘らず、白い被写体が白く撮影されるように、オートホワイトバランス（ＡＷＢ；Auto White Balance）調整機能を撮像装置に搭載している。たとえば、カメラ信号処理のオートホワイトバランス処理部にて、白が白と見えるように色分離された複数の色信号に所定のゲインをそれぞれ個別に掛け、補正を行なっている。

また、ゲイン調整を利用した露出調整は、一般に自動露出（ＡＥ；Auto Exposure ）と呼ばれ、測光によって得られた情報を元に、信号レベルを調整することで、シャッタ速度や絞りを調整することなく実質的に露出量を調整し、撮像画面の全体の明るさが一定となるように制御するものである。

たとえば、特許文献１には、この自動露出調整用のアンプと、ホワイトバランス調整用のアンプとを備えた構成が開示されている。

特許第２５１０５４２号公報

この特許文献１の第５図（ここでは図示を割愛する）においては、イメージセンサ１５０から出力された信号は、ＡＧＣ２１０によって増幅され、さらに色フィルタの配列に応じて色分離され（この場合Ｒ，Ｇ，Ｂの３つ）、再びアンプ２５０，２６０によって増幅される。

初段のアンプ２１０はＡＥと呼ばれる明るさ制御に用いられるもので、カラーフィルタの配列に関係なく、一様に信号を増幅する。一方、アンプ２５０，２６０はＡＷＢと呼ばれるホワイトバランス制御に用いられるもので、Ｇ（緑）信号を基準にＲ（赤）信号とＢ（青）信号のゲインをうまく制御することで、カラー処理を施した際のホワイトバランスを調節するのに用いられる。なお、この例ではＧ信号にはアンプが備えられていないが、Ｇ信号にもアンプを備え、Ｒ，Ｇ，Ｂそれぞれのゲイン比率を制御するにしてもよい。

このように、カラーフィルタを備えた撮像素子の信号処理においては、ＡＥ用およびＡＷＢ用に少なくとも２段のアンプを必要としている。また、ブロック図上においては１つの箱として表現されているアンプも、ＡＥやＡＷＢの制御に用いるには、幅広いゲインレンジと、細かいゲインステップを実現したものでなければならない。

一般的に、ＡＥの制御に用いられるアンプは、０〜３０ｄＢ、３００ステップ（０．１ｄＢステップ）といったスペックが要求される場合が普通である。このようなアンプをアナログ回路で実現するためには、アンプを１段で構成することは難しく、レンジとステップの異なる複数のアンプを組み合わせて多段構成とする場合が多い。また、デジタル回路で実現する場合は、限られたビット精度のなかでしか信号を扱えないため、あまり大きなゲインアップは信号の劣化を引き起こす原因となる。

このように、従来の信号処理ブロックにおいてはＡＥ，ＡＷＢの制御のために複数段数のアンプを必要としており、回路規模が大きく、レイアウト面積の増大、消費電流の増大、システムの複雑化といった問題を抱えていた。また、デジタル信号処理においてアンプを構成する場合、信号の劣化を伴うという問題があった。

この劣化を最小限に抑えるためには高分解能のＡ／Ｄ（アナログ−デジタル）変換器を備え、デジタル信号処理のビット幅を太くするということが考えられる。しかしながら、ビデオ帯域において高分解能のＡ／Ｄ変換器を実現すること自体が難しく、膨大な消費電力を必要とするものが殆どで、近年のモバイル用途向けの需要には応えられないのが実情である。

一方で、ＣＭＯＳイメージセンサの登場によって、イメージセンサにおける撮像部の周辺に種々の回路を取り込み同一の半導体基板上に取り込む構成が現在の主な流れである。これにより、周辺のシステムをコンパクトにすることができる反面、イメージセンサ自体はどんどん複雑になっている。

この場合、種々の回路の中にはゲイン調整アンプも含まれる。そういった意味では、ゲイン調整アンプを如何にしてコンパクトに構成し、半導体基板上に取り込むかが問題となる。

なお、ゲイン調整アンプを撮像部と一体的に取り込む場合、上記で説明したようなＡＥ用およびＡＷＢ用の調整アンプを備えたシステムも考えられる。この場合には、２種類のゲイン調整アンプを如何にしてコンパクトに構成し、半導体基板上に取り込むかが問題となる。

たとえば、ＣＭＯＳイメージセンサの場合、画素アレイの中のある一行を選択し、それらを同時に列方向へと読み出すような列並列出力型が主流となっている（たとえば特許文献２参照）。

特開２００３−１８４６９号公報

この特許文献２の図８（ここでは図示を割愛する）においては、列ごとにアンプを配置している。やはりゲイン調整に用いられるアンプも列ごとに並列に配置することができれば最も効率がよい。しかしながら、列ごとにレイアウトするという制限の元では、画素の微細化が進んだ現在においてはせいぜいアンプ１段を配置するのが精一杯であり、ＡＥ用とＡＷＢ用のアンプ全てを同一の半導体基板上に配置することは不可能である。

よってＡＥ用やＡＷＢ用に用いるゲイン調整アンプは別個、撮像デバイスの後段に用意される場合が多い。しかしながら、あまり後段でゲインを上げることはＳ／Ｎの観点から望ましくない。すなわち、後段のアンプに到達する過程において混入してくるノイズを全てゲインアップしてしまうことになるので、信号の劣化につながりやすい。

Ｓ／Ｎを考えると、できるだけ手前でゲインアップすることが必要である。このことは、撮像装置、たとえばＣＭＯＳイメージセンサにおいては、列ごとにアンプを配置してゲインアップするのが望ましいということになる。ところが、前述した理由から、それは困難な状況である。

本発明は、上記事情に鑑みてなされたもので、従来のシステムに比べてアンプの段数が少なくて済む仕組みを提供することを目的とする。また本発明は、一例として、列並列形式で画素信号を出力するタイプの撮像措置において、アンプの段数が少なくて済む仕組みを提供することを目的とする。また、ゲイン調整アンプをコンパクトに構成し、撮像部と同一の半導体基板上に取り込むことを可能にする仕組みを提供することを目的とする。

本発明に係る撮像信号処理方法は、撮像デバイスで得られる撮像信号に対してゲイン調整を行なう撮像信号処理方法であって、同一のゲイン調整アンプを用いて、明るさ制御とホワイトバランス制御のためのゲイン調整を行なうようにした。

本発明に係る信号処理回路は、上記本発明に係る撮像信号処理方法を実施するのに好適な回路（装置）であって、指示されたゲイン制御値に基づきゲイン調整機能を果たすゲイン調整アンプと、このゲイン調整アンプに対して、明るさ制御のためのゲイン制御値とホワイトバランス制御のためのゲイン制御値とを設定するゲイン制御部とを備えるものとした。

本発明に係る撮像装置は、所定色の色分離フィルタが設けられた画素が行列状に配列された撮像部と、撮像部で得られた撮像信号に基づいて信号処理をする信号処理部とを備えた撮像装置であって、撮像部から列並列に撮像信号を読み出すように制御する駆動制御部を備え、信号処理部は、列ごとに配置されゲインを調節可能なゲイン調整アンプと、色分離フィルタの色種に応じた一方の列用のゲイン調整アンプと他方の列用のゲイン調整アンプにそれぞれ独立のゲイン制御値を設定するゲイン制御部とを有してものとした。

なお、信号処理部は、本発明に係る信号処理回路と同様に、ゲイン調整アンプが、指示されたゲイン制御値に基づいてゲイン調整機能を果たすように構成されており、ゲイン制御部が、ゲイン調整アンプに対して、明るさ制御のためのゲイン制御値とホワイトバランス制御のためのゲイン制御値とを設定するように構成されているものであるのがよい。

本発明によれば、同一のゲイン調整アンプを用いて、明るさ制御とホワイトバランス制御のためのゲイン調整を行なうようにした。同じアンプを明るさ調整と色調整の両方に用いることができ、信号処理回路の単純化を図ることができ、ゲイン調整アンプの回路構成をコンパクトにでき、回路の小面積化を図ることができる。

また、たとえば、色ごとに１つずつ可変ゲインアンプを用意し、色調整の場合にはそれぞれ独立にゲインを調節し、明るさ調整の場合には各アンプを同じだけゲイン調節することができる。

また、ゲイン調整アンプの段数を削減でき、ノイズの向上やゲインレンジおよびステップに有利である。

また、列ごとに配置されゲインを調節可能なゲイン調整アンプを色種に応じて複数に分けて取り扱うようにし、色分離フィルタの色種に応じた一方の列用のゲイン調整アンプと他方の列用のゲイン調整アンプにそれぞれ独立のゲイン制御値を設定するようにすれば、ゲイン調整アンプのレイアウトの自由度が増し、回路の小面積化を図ることができる。

以下、図面を参照して本発明の実施形態について詳細に説明する。

＜第１実施形態＞
図１は、本発明に係る撮像装置の第１実施形態を示す図である。第１実施形態の撮像装置１は、画素に対応するフォトダイオードなどの光電変換素子（信号電荷生成部）が多数（たとえば行列状に）配列されてなるＣＣＤ型もしくはＣＭＯＳ型のイメージセンサ（固体撮像装置）１２を主要部とする撮像部１０と、撮像部１０から出力される画素信号に対して所定の信号処理を施す信号処理部１００とを備えている。

イメージセンサ１２は、その構成例については図示を割愛するが、たとえば、半導体基板上に、画素（ユニットセル）に対応して受光素子の一例であるフォトダイオードなどからなるセンサ部（感光部；フォトセル）が多数、水平（行）方向および垂直（列）方向において２次元マトリクス状に配列されている。これらセンサ部は、受光面から入射した入射光をその光量に応じた電荷量の信号電荷に変換して蓄積する。

イメージセンサ１２は単板式のものであり、センサ部には、カラー画像撮像用途として、光が入射されるフォトダイオードなどの受光面に、複数色の色フィルタの組合せからなる色分解フィルタの何れかの色フィルタが設けられる。一例としては、いわゆるベイヤ（Ｂａｙｅｒ）配列の基本形のカラーフィルタを用いて、正方格子状に配されたセンサ部（単位画素）が赤（Ｒ），緑（Ｇ），青（Ｂ）の３色カラーフィルタ（原色フィルタ）に対応するように配される。あるいは、シアン（Ｃ），マゼンタ（Ｍ），イエロ（Ｙ），緑（Ｇ）の４色を組み合わせた補色フィルタ構成のものとしてもよい。

信号処理として、原色信号処理を行なう構成のものとする場合、原色フィルタとすれば、イメージセンサ１２にて得られる撮像信号（複数色の画素信号の組合せ）から、赤（Ｒ），緑（Ｇ），青（Ｂ）の原色信号を分離する原色分離部を割愛することができる。

信号処理部１００は、図示を割愛するが、イメージセンサ１２で取得された撮像信号の黒基準をクランプするクランプ回路、アナログ撮像信号を増幅する増幅アンプ、増幅された撮像信号をサンプリングすることによってノイズを低減させるＣＤＳ（Correlated Double Sampling：相関２重サンプリング）回路などを有するプリアンプ部、プリアンプ部が出力するアナログ撮像信号であるたとえば補色の撮像信号から、赤（Ｒ），緑（Ｇ），青（Ｂ）の原色信号を分離する原色分離処理、原色の撮像信号（Ｒ，Ｇ，Ｂの各画素信号）を同時化する同時化処理をなす機能部などが設けられる。

なお、イメージセンサ１２が単板式の場合であっても、イメージセンサ１２が色別に出力する機能を備えている場合には、原色分離処理部は不要である。

また、信号処理部１００は、露出調整を行なう自動露出（ＡＥ；Auto Exposure ）制御処理、ホワイトバランス（ＷＢ；White Balance ）調整を制御するＷＢ制御処理、階調度合いを調整するガンマ補正処理、あるいは輝度データ（Ｙ）や色データ（Ｃ）を生成するＹＣ信号生成処理などを行なうべく、ゲイン調整アンプ部１１０と、映像信号処理部１３０と、ゲイン制御部１５０とを備えている。

ゲイン調整アンプ部１１０は、本実施形態特有の機能として、同時化された画素信号のゲインを調整可能な色信号増幅部の一例であって、自動露出調整（ＡＥ）アンプ部とオートホワイトバランス（ＡＷＢ）アンプ部との両機能を持っている。ここで、ゲイン調整アンプ部１１０は、色分離された赤（Ｒ），緑（Ｇ），青（Ｂ）の各色用に独立のゲイン調整アンプ部１１０Ｒ，，１１０Ｇ，１１０Ｂを有している。

各ゲイン調整アンプ部１１０Ｒ，１１０Ｇ，１１０Ｂは、ＡＥアンプ部とＡＷＢアンプ部との両機能を１つのアンプで担当するので、これら２機能を担当しても飽和しないだけの十分なダイナミックレンジつまりアンプゲイン（調整幅）を持つものとするのがよい。これにより、１つのアンプでも、２機能分として必要なゲイン量の制御が実現される。

ここで、ゲイン制御信号であるゲイン制御値ＣＮ２，ＣＮ３，ＣＮ４（Ｒ−Ｇａｉｎ，Ｇ−Ｇａｉｎ，Ｂ−Ｇａｉｎ）とゲイン制御値ＣＮ１（ＥＶ）は、アナログ信号であるかデジタル信号であるかは制限しないが、デジタル信号である場合は、足したときにオーバーフローしないだけの十分なレンジを持つようににするのがよい。

映像信号処理部１３０は、たとえばＤＳＰ（Digital Signal Processor）などの信号処理ＬＳＩ（Large Scale Integrated Circuit；大規模集積回路）で構成され、ゲイン調整アンプ部１１０から入力されたゲイン調整済みの撮像信号に基づいて、たとえば階調度合いを調整するガンマ補正処理、あるいは輝度データＹ（あるいは明度データＬ）や色データＣを生成し、あるいは２つの色データＵ，Ｖに変換するＹＣ信号生成処理などを行なうなどの機能を持つ。

映像信号処理部１３０で処理された各種の映像信号は、図示しない記録系に送られて画像記録に供されたり、あるいは表示系に送られて表示出力に供されたりする。

ゲイン制御部１５０は、本実施形態特有の機能として、ゲイン調整アンプ部１１０における自動露出調整（ＡＥ）アンプ部のゲイン調整機能をフィードバック制御するＡＥ制御機能と、同じくゲイン調整アンプ部１１０におけるオートホワイトバランス（ＡＷＢ）アンプ部のゲイン調整機能をフィードバック制御するＡＷＢ制御機能の両機能を持つ。

このオートホワイトバランス処理としては種々の方式があるが、たとえば、色信号処理系において、フィールドごとの色信号（色差信号を含む）の積分値を求め、その結果から被写体の全体が白に近づくようにホワイトバランスアンプのゲインを一定量操作し、この手順を毎フィールド繰り返すことで、最終的にホワイトバランスをとる、いわゆるフィードバック制御方式のものがある。

撮像部１０のイメージセンサ１２から出力された画素信号は、図示しない原色分離処理部や同時化処理部にて赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色信号に色分離・同時化された後にゲイン調整アンプ部１１０に供給される。

この後、Ｒ，Ｇ，Ｂ各色用に用意されたゲイン調整アンプ部１１０Ｒ，１１０Ｇ，１１０Ｂを通り、映像信号処理部１３０に渡される。映像信号処理部１３０は、受け取った画素信号をゲイン制御部１５０に渡す。ゲイン制御部１５０は、ＡＥ制御用とＡＷＢ制御用の両機能を持ち、受け取った画素信号に基づいて、所定の手順に従って計算して適切な明るさとホワイトバランスを実現するためのゲイン制御値を算出し、この算出したゲイン制御値を、ゲイン調整アンプ部１１０Ｒ，１１０Ｇ，１１０Ｂに送信する。

ここで、従来では、明るさ制御のためのゲイン制御値ＣＮ１（ＥＶ）と、ホワイトバランス制御のためのゲイン制御値ＣＮ２，ＣＮ３，ＣＮ４（Ｒ−Ｇａｉｎ，Ｇ−Ｇａｉｎ，Ｂ−Ｇａｉｎ）は、自動露出アンプおよびホワイトバランスアンプといったそれぞれ別のアンプへと送られていた。これに対して、本実施形態では、両アンプ機能を持つ同一のゲイン調整アンプ部１１０Ｒ，１１０Ｇ，１１０Ｂに送信することを特徴とする。

このため、本実施形態のゲイン制御部１５０は、ホワイトバランス調整用のゲイン制御値ＣＮ２，ＣＮ３，ＣＮ４（Ｒ−Ｇａｉｎ，Ｇ−Ｇａｉｎ，Ｂ−Ｇａｉｎ）に、それぞれ均等に明るさ調整用のゲイン制御値ＣＮ１（ＥＶ）を加えたものＣＮ１２（Ｒ−Ｇａｉｎ＋ＥＶ），ＣＮ１３（Ｇ−Ｇａｉｎ＋ＥＶ）），ＣＮ１４（Ｂ−Ｇａｉｎ＋ＥＶ）を、対応するゲイン調整アンプ部１１０Ｒ，１１０Ｇ，１１０Ｂに送信するようにする。

このような形態を採ることで、従来、撮像素子の出力信号処理回路においてはＡＥ用、ＡＷＢ用のアンプが少なくても２段以上、複数段数必要とされていたが、１段で済むようになる。これにより、システムの簡素化に貢献するとともに、消費電力の削減、レイアウト面積の削減、それによるコストの削減といった効果が得られる。また、信号が通過するアンプの段数が減ることで、信号の経路が短くなり、ノイズの混入を防ぎ、Ｓ／Ｎを向上させる効果を得ることもできる。

なお、上記第１実施形態では、Ｒ，Ｇ，Ｂの３原色用に色分離された画素信号に対応するように、ゲイン調整アンプ部１１０内には、３原色用のゲイン調整アンプ部１１０Ｒ，１１０Ｇ，１１０Ｂを設けていたが、これに限らず、たとえばＲ，Ｇ，Ｂに加えて第４色（たとえばエメラルドＥ）を持つ色分離フィルタを備えたイメージセンサ１２を用いる場合には、ゲイン調整アンプ部１１０内にも、第４色用のゲイン調整アンプ部１１０Ｅを設けるとよい。

また、上記説明では、色分離された画素信号に対応する数のアンプをゲイン調整アンプ部１１０内に独立に設ける構成を説明したが、これに限らず、たとえば、色分離フィルタの色種数あるいは色分離された画素信号種（色種に相当）より少ない数のアンプ（たとえば１個のアンプ）を用意し、色ごとにゲインを切り替えて使うような構成を採ることもできる。すなわち、本実施形態で必要なのは、色ごとに独立に、ホワイトバランス調整用の色ごとのゲイン制御値に明るさ調整用のゲイン制御値を加えたゲイン設定ができるということであり、特にアンプの数には制限がない。

＜第２実施形態＞
図２は、本発明に係る撮像装置の第２実施形態を示す図である。第２実施形態の撮像装置１は、第１実施形態の撮像装置１におけるゲイン制御部１５０のより具体的な構成を示したものである。

図１に示した第１実施形態の撮像装置１におけるゲイン制御部１５０との構成上の第１の違いは、ゲイン調整アンプ部１１０における自動露出調整（ＡＥ）アンプ部のゲイン調整機能を制御するＡＥ制御部１５２と、ゲイン調整アンプ部１１０におけるオートホワイトバランス（ＡＷＢ）アンプ部のゲイン調整機能を制御するＡＷＢ制御部１５４とを別々に備えている点にある。このような構成は、従来のシステムにおいても採られていたものである。

ＡＥ制御部１５２は、明るさ制御のためのゲイン制御値ＣＮ１（ＥＶ）を、またＡＷＢ制御部１５４はホワイトバランス制御用のゲイン制御値ＣＮ２，ＣＮ３，ＣＮ４（Ｒ−Ｇａｉｎ，Ｇ−Ｇａｉｎ，Ｂ−Ｇａｉｎ）を、それぞれ別々に出力する。

また、図１に示した第１実施形態の撮像装置１におけるゲイン制御部１５０との構成上の第２の違いは、明るさ制御のためのＡＥ制御部１５２から出力されたゲイン制御値ＣＮ１（ＥＶ）と、ホワイトバランス制御用のＡＷＢ制御部１５４から出力されたゲイン制御値ＣＮ２，ＣＮ３，ＣＮ４（Ｒ−Ｇａｉｎ，Ｇ−Ｇａｉｎ，Ｂ−Ｇａｉｎ）とを合成するゲイン合成部１６０を備える点である。

ゲイン合成部１６０は、ＡＥゲイン制御値ＣＮ１とＡＷＢゲイン制御値ＣＮ２，ＣＮ３，ＣＮ４の命令を合成して、合成後のゲイン制御値ＣＮ１２，ＣＮ１３，ＣＮ１４（Ｒ−Ｇａｉｎ＋ＥＶ，Ｇ−Ｇａｉｎ＋ＥＶ，Ｂ−Ｇａｉｎ＋ＥＶ）を、自動露出アンプおよびホワイトバランスアンプの両アンプ機能を持つ同一のゲイン調整アンプ部１１０Ｒ，１１０Ｇ，１１０Ｂに送信する。

このため、ゲイン合成部１６０は、ホワイトバランス制御用のＡＷＢ制御部１５４から出力されたゲイン制御値ＣＮ２，ＣＮ３．ＣＮ４（Ｒ−Ｇａｉｎ，Ｇ−Ｇａｉｎ，Ｂ−Ｇａｉｎ）に、明るさ制御のためのＡＥ制御部１５２から出力されたゲイン制御値ＣＮ１（ＥＶ）を均等に足し算する色ごとの加算部１６２（それぞれを１６２，１６２Ｇ，１６２Ｂとする）を備えている。

ここで、ゲイン制御信号であるゲイン制御値ＣＮ２，ＣＮ３，ＣＮ４（Ｒ−Ｇａｉｎ，Ｇ−Ｇａｉｎ，Ｂ−Ｇａｉｎ）とゲイン制御値ＣＮ１（ＥＶ）は、アナログ信号であるかデジタル信号であるかは制限しないが、デジタル信号である場合は、足したときにオーバーフローしないだけの十分な調整レンジを持つようにするのがよい。

このようなＡＥ制御部１５２とＡＷＢ制御部１５４とを別々に備えた第２実施形態の構成を採ることで、従来のシステム構成を極力流用することができ、そのインタフェースを統一することができる。たとえば、ＡＥの制御ブロックであるＡＥ制御部１５２とＡＷＢの制御ブロックであるＡＷＢ制御部１５４は従来と全く同じものを流用することができる。また、ゲイン合成部１６０をＡＥ制御部１５２とＡＷＢ制御部１５４の直後に配置し、ブロック化してしまうことで、図１に示した第１実施形態と全く同じシステムを実現することもできる。

また、ゲイン合成部１６０を備えるだけで、従来はＡＷＢ専用に用いていたアンプをＡＥ用にも使うことができるようになる。その際、使わなくなったＡＥ用のアンプを削除することができる。

＜第３実施形態＞
図３は、本発明に係る撮像装置の第３実施形態を示す図である。第３実施形態の撮像装置１は、第２実施形態の撮像装置１におけるゲイン調整アンプ部１１０のより具体的な構成を示したものである。

図２に示した第２実施形態の撮像装置１における構成上の第１の違いは、自動露出アンプおよびホワイトバランスアンプの両アンプ機能を持つ色別のゲイン調整アンプ部１１０Ｒ，１１０Ｇ，１１０Ｂのそれぞれが、２段構成となり、かつ間にアナログ−デジタル（Ａ／Ｄ）変換器を挟む構成としている点にある。

すなわち、色別のゲイン調整アンプ部１１０Ｒ，１１０Ｇ，１１０Ｂは、前段側に配された粗ゲイン調整アンプ部１１２（それぞれ１１２Ｒ，１１２Ｇ，１１２Ｂとする）と、Ａ／Ｄ変換部１１４（それぞれ１１４Ｒ，１１４Ｇ，１１４Ｂとする）と、後段側に配された細ゲイン調整アンプ部１１６（それぞれ１１６Ｒ，１１６Ｇ，１１６Ｂとする）とを備えている。このような構成では、前段側の粗ゲイン調整アンプ部１１２はアナログで、後段側の細ゲイン調整アンプ部１１６はデジタルで、それぞれゲイン調整処理をする構成となる。

つまり、前段でゲイン調整を行なう場合にはアナログ増幅、後段でゲイン調整を行なう場合にはデジタル増幅となる。ｎビットのデジタルデータを単純に増幅してしまうと、階調が損なわれてしまう可能性があるため、どちらかというとアナログにて増幅した後にデジタル変換するのが好ましいと考えられるので、このような形態を採った。

また、図２に示した第２実施形態の撮像装置１における構成上の第２の違いは、ゲイン制御部１５０が、前段側の粗ゲイン調整アンプ部１１２と、後段側の細ゲイン調整アンプ部１１６にゲイン制御値をうまく振り分けるためのゲイン分配部１６４（それぞれ１６４Ｒ，１６４Ｇ，１６４Ｂとする）を、対応する加算部１６２Ｒ，１６２Ｇ，１６２の後段に備えている点にある。

ゲイン分配部１６４Ｒは、加算部１６２Ｒで合成されたゲイン制御値ＣＮ１２（Ｒ−Ｇａｉｎ＋ＥＶ）を、粗ゲイン調整アンプ部１１２Ｒ用のゲイン制御値ＣＮ１２ａと、細ゲイン調整アンプ部１１６Ｒ用のゲイン制御値ＣＮ１２ｂとに振り分ける。同様に、ゲイン分配部１６４Ｇは、加算部１６２Ｇで合成されたゲイン制御値ＣＮ１３（Ｇ−Ｇａｉｎ＋ＥＶ）を、粗ゲイン調整アンプ部１１２Ｇ用のゲイン制御値ＣＮ１３ａと、細ゲイン調整アンプ部１１６Ｇ用のゲイン制御値ＣＮ１３ｂとに振り分ける。同様に、ゲイン分配部１６４Ｂは、加算部１６２Ｂで合成されたゲイン制御値ＣＮ１４（Ｂ−Ｇａｉｎ＋ＥＶ）を、粗ゲイン調整アンプ部１１２Ｂ用のゲイン制御値ＣＮ１４ａと、細ゲイン調整アンプ部１１６Ｂ用のゲイン制御値ＣＮ１４ｂとに振り分ける。

通常、ＡＥ制御やＡＷＢ制御に用いられるアンプは幅広いゲインレンジと細かいゲインステップが要求される。そのため、アナログ回路のみでゲイン調整処理を行なう構成にする場合は１段アンプで構成することは難しく、多段アンプ構成となってしまう場合が多い。逆にデジタルのみでゲイン調整処理を行なう構成にすると、非常に細かいゲインステップを実現することができるが、限られたビット幅の中であまりゲインを上げ過ぎると信号が劣化してしまう問題がある。

これに対して、第３実施形態で示したアナログアンプとデジタルアンプを組み合わせてゲイン調整アンプ部を構成することで、前段側の粗ゲイン調整アンプ部１１２を用いて刻みは荒いがゲインレンジの広いアンプを構成し、Ａ／Ｄ変換部１１４にてＡ／Ｄ変換した後、後段側の細ゲイン調整アンプ部１１６でその間を細かく刻むことができる。

こうすることで、ゲインレンジが広く、かつゲインステップが細かいゲイン調整アンプを簡単に実現することができるようになる。また、アナログアンプ（前段側の粗ゲイン調整アンプ部１１２）はゲインステップ数が減るのでその構成がずっと簡単になる。また、デジタルアンプ（後段側の細ゲイン調整アンプ部１１６）は、間を刻むだけでよく、大きなゲインアップは行なわないので、すなわちデジタルアンプのゲインアップ量を少なく抑えることができるので、限られたビット幅の中において、信号の劣化を少なくできる。

また、細かいゲイン調整をデジタル領域で行なうことで、ゲイン精度の向上につながりリニアリティに優れたゲイン調整アンプを実現できる。また、アナログアンプの段数を減らすことにもつながるので、消費電力の削減、レイアウト面積の削減、それによるコストの削減といった効果を得ることができる。また、信号が通過するアナログアンプの段数が減ることで、アナログ信号の経路が短くなり、ノイズの混入を防ぎ、Ｓ／Ｎを向上させることもできる。

また、このような構成を採る場合、外見上は１つのアンプの場合と変わらないように、すなわちゲイン制御値のインタフェースが従来例と変わらないようにゲイン分配部１６４を持つことで、適宜ゲイン制御値をアナログアンプ（前段側の粗ゲイン調整アンプ部１１２）とデジタルアンプ（後段側の細ゲイン調整アンプ部１１６）に振り分けるようにしている。こうすることで、ゲイン制御値は従来通り入力するだけで、自動的にゲイン制御値を割り振り、全体として必要なゲイン量の制御が実現される。

なお、図３の例では、Ｒ，Ｇ，Ｂの３原色に対してそれぞれ粗ゲイン調整アンプ部１１２、Ａ／Ｄ変換部１１４と、細ゲイン調整アンプ部１１６とを配しているが、これに限らず、たとえば粗ゲイン調整アンプ部１１２（１１２Ｒ，１１２，Ｇ，１１２Ｂ）の後段にマルチプレクサを配置することで、Ａ／Ｄ変換部１１４の数を色数よりも減らすことも可能である。この場合、その後、再び色分離して色ごとに配したデジタルアンプ（後段の細ゲイン調整アンプ部１１６Ｒ，１１６，１１６Ｂ）に信号を渡してもよいし、１個のデジタルアンプ（後段の細ゲイン調整アンプ部１１６）を色ごとにゲインを変えて使うような構成を採ることもできる。

また、アナログアンプ（前段の粗ゲイン調整アンプ部１１２）自体も、色ごとに用意するのではなく、１つもしくは色種数よりも少ない数だけ用意し、色ごとにゲインを切り替えて使うような構成を採ることもできる。

何れにしても、本実施形態で必要なのは、色ごとに独立に、ホワイトバランス調整用の色ごとのゲイン制御値に明るさ調整用のゲイン制御値を加えたゲイン設定が、アナログ領域とデジタル領域の双方でできるということであり、特にアンプの数には制限がない。

＜第４実施形態＞
図４は、本発明に係る撮像装置の第４実施形態を示す図である。第４実施形態の撮像装置１は、固体撮像装置（撮像デバイス）への実装において、ゲイン調整アンプ部１１０の配置形態に着目した構成例を示すものである。

なお、以下においては、Ｘ−Ｙアドレス型の固体撮像装置の一例である、ＣＭＯＳ撮像素子（イメージセンサ）を撮像デバイスとして使用した場合を例に説明する。

ただしこれは一例であって、対象となるデバイスはＭＯＳ型の撮像デバイスに限らない。光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知用の半導体装置の全てに、後述する全ての実施形態が同様に適用できる。

第４実施形態の撮像装置１は、入射光量に応じた信号を出力するフォトダイオードなどの受光素子（電荷生成部の一例）を含む複数個の画素が行および列に配列された（すなわち２次元マトリクス状の）画素部を有し、各画素からの信号出力が電圧信号であって、ゲイン調整部やＣＤＳ(Correlated Double Sampling ；相関２重サンプリング）処理機能部などが列並列に設けられているものである。

“列並列にゲイン調整部やＣＤＳ処理機能部が設けられている”とは、垂直列の垂直信号線２１９に対して実質的に並列に複数のゲイン調整部ＣＤＳ処理機能部が設けられていることを意味する。複数の各機能部は、デバイスを平面視したときに、ともに画素部２１０に対して列方向の一方の端縁側（図の下側に配されている出力側）にのみ配されている形態のものであってもよいし、画素部２１０に対して列方向の一方の端縁側（図の下側に配されている出力側）とその反対側である他方の端縁側（図の上側）に分けて配されている形態のものであってもよい。後者の場合、行方向の読出走査（水平走査）を行なう水平走査部も、各端縁側に分けて配して、それぞれが独立に動作可能に構成するのがよい。

たとえば、列並列にゲイン調整部やＣＤＳ処理機能部が設けられている典型例としては、撮像部の出力側に設けたカラム領域と呼ばれる部分に、ゲイン調整部やＣＤＳ処理機能部を垂直列ごとに設け、順次出力側に読み出すカラム型のものである。また、カラム型に限らず、隣接する複数（たとえば２つ分）の垂直信号線２１９（垂直列）に対して１つのゲイン調整部やＣＤＳ処理機能部を割り当てる形態や、Ｎ本おき（Ｎは正の整数；間にＮ−１本を配する）のＮ本分の垂直信号線２１９（垂直列）に対して１つのゲイン調整部やＣＤＳ処理機能部を割り当てる形態などを採ることもできる。

カラム型を除くものは、何れの形態も、複数の垂直信号線２１９（垂直列）が１つのゲイン調整部やＣＤＳ処理機能部を共通に使用する構成となるので、画素部２１０側から供給される複数列分の画素信号を１つのゲイン調整部やＣＤＳ処理機能部に供給する切替回路（スイッチ）を設ける。なお、後段の処理によっては、出力信号を保持するメモリを設けるなどの対処が必要になる。

何れにしても、複数の垂直信号線２１９（垂直列）に対して１つのゲイン調整部やＣＤＳ処理機能部を割り当てる形態などを採ることで、各画素信号の信号処理を画素列単位で読み出した後に行なうことで、同様の信号処理を各単位画素内で行なうものに比べて、各単位画素内の構成を簡素化し、イメージセンサの多画素化、小型化、低コスト化などに対応できる。

また、列並列に配された複数の信号処理部にて１行分の画素信号を同時並行処理することができるので、出力回路側やデバイスの外部で１つのゲイン調整部やＣＤＳ処理機能部にて処理を行なう場合に比べて、信号処理部を低速で動作させることができ、消費電力や帯域性能やノイズなどの面で有利である。逆に言えば、消費電力や帯域性能などを同じにする場合、センサ全体の高速動作が可能となる。

なお、カラム型の構成の場合、低速で動作させることができ消費電力や帯域性能やノイズなどの面で有利であるとともに切替回路（スイッチ）が不要である利点もある。以下の実施形態では、特に断りのない限り、このカラム型で説明する。

図４に示すように、第４実施形態の撮像装置１は、画素形状が概ね正方状の複数の単位画素２０３が行および列（つまり正方格子状）に配列された画素部（撮像部）２１０と、画素部２１０の外側に設けられたゲイン調整機能を持つカラム処理部２２６とを備えている。

なお、図示を割愛するが、画素部２１０の外側には、画素部２１０やカラム処理部２２６などを駆動制御する駆動制御部や、カラム処理部２２６から出力された画素信号を適度に増幅して外部に出力する出力回路などが設けられている。

また、カラム処理部２２６の前段または後段には、必要に応じてＣＤＳ機能を持つＣＤＳ回路などをカラム処理部２２６と同一の半導体領域に設けることも可能である。

また、この第４実施形態の撮像装置１は、画素部２１０をカラー撮像対応にしている。すなわち、画素部２１０における各電荷生成部（フォトダイオードなど）の電磁波（本例では光）が入射される受光面には、カラー画像を撮像するための複数色の色フィルタの組合せからなる色分解フィルタの何れかの色フィルタが設けられている。

この場合、カラム処理部のゲイン調整アンプに必要とされるのは、色ごとに独立のゲイン設定が行なえるアンプであり、図示しないゲイン制御部１５０は、色種に応じて、対応するゲイン調整アンプに独立のゲイン制御値を設定する。また前述したようにＳ／Ｎの観点からアンプはできるだけ手前すなわち撮像部２１０に近い方に配置されるがよいため、画素出力を撮像部２１０から受け取った直後に、列ごとに配置されていることが最も望ましい。

また単板式のセンサにおいて、色分離フィルタを用いる場合には、その色分離フィルタの列並列読出時の読出方向である列方向（垂直列）に直交した行方向（水平行）の繰返単位内の色種分の信号を同時に読み出すので、その同時読出しの色種分のゲインを設定する必要がある。この場合、それぞれ独立のゲイン制御用の信号線を対応する色種のゲイン調整アンプに接続することで、色種分の独立したゲイン制御を行なうことができるようにする。このためには、 図示しないゲイン制御部１５０は、色分離フィルタの色種に応じた一方の列用のゲイン調整アンプと他方の列用のゲイン調整アンプにそれぞれ独立のゲイン制御値を設定する必要がある。

図示した例は、いわゆるベイヤ（Ｂａｙｅｒ）配列の基本形のカラーフィルタを用いており、正方格子状に配された単位画素２０３が赤（Ｒ），緑（Ｇ），青（Ｂ）の３色カラーフィルタに対応するように、色分離フィルタの繰返単位が２画素×２画素で配されて画素部２１０を構成している。

たとえば、奇数行奇数列には第１のカラー（赤；Ｒ）を感知するための第１のカラー画素を配し、奇数行奇偶数列および偶数行奇数列には第２のカラー（緑；Ｇ）を感知するための第２のカラー画素を配し、偶数行偶数列には第３のカラー（青；Ｂ）を感知するための第３のカラー画素を配しており、行ごとに異なったＲ／Ｇ、またはＧ／Ｂの２色のカラー画素が市松模様状に配置されている。

このようなベイヤ配列の基本形のカラーフィルタの色配列は、行方向および列方向の何れについても、Ｒ／ＧまたはＧ／Ｂの２色が２つごとに繰り返される。

この図４に示すようにベイヤ配列を採用している場合、ある任意の行を選択して読み出すと、Ｒ／Ｇ行もしくはＧ／Ｂ行を読み出すことになる。同時に２種類の色信号を出力するため、２種類のゲインを設定する必要がある。

なお、使用する色分離フィルタの色種の配列形態によっては、同時に３種類以上の色信号を出力する構成が採られることもある。この場合には、ゲイン調整アンプ部２２７内に、色分離フィルタの列方向の配列ピッチに対応する数に応じた分の行数のアンプ行を設け、各アンプ行には、色分離フィルタの行方向の配列ピッチに対応する数のピッチでアンプを配列しておき、各列用のアンプに、それぞれ独立のゲイン制御値を設定するようにすればよい。

このため、第４実施形態の撮像装置１においては、カラム処理部２２６内に、垂直列ごとにゲイン調整アンプ部１１０に相当するゲイン調整アンプ部２２７を配置する。また、、ゲイン制御用の制御信号線（ゲイン制御線）２２８を奇数列用のゲイン制御線２２８ｏと偶数列用のゲイン制御線２２８ｅに分けて、それぞれ奇数（Ｏｄｄ）列のゲイン調整アンプ部２２７ｏと偶数（Ｅｖｅｎ）列のゲイン調整アンプ部２２７ｅに別々に接続する。これにより、２本のゲイン制御線２２８ｏ，２２８ｅを使って、色種に応じて２種類の独立したゲイン制御を行なう。

なお、ここでのゲイン制御線２２８ｏ，２２８ｅを使ったゲイン制御は、上記第１〜第３実施形態で説明したと同様に、ホワイトバランス調整用のゲイン制御値ＣＮ２，ＣＮ３，ＣＮ４（Ｒ−Ｇａｉｎ，Ｇ−Ｇａｉｎ，Ｂ−Ｇａｉｎ）に、それぞれ均等に明るさ調整用のゲイン制御値ＣＮ１（ＥＶ）を加えたものＣＮ１２（Ｒ−Ｇａｉｎ＋ＥＶ），ＣＮ１３（Ｇ−Ｇａｉｎ＋ＥＶ）），ＣＮ１４（Ｂ−Ｇａｉｎ＋ＥＶ）に基づいて行なう。

また、効率よくゲイン調整アンプ部２２７を画素部２１０と同一の半導体基板上にレイアウトすることを考えると、ゲイン調整アンプ部２２７を２つのブロック（アンプ行２２７ｏ，２２７ｅ）に分けて取り扱うようにして、個々のアンプを１列ごとに配置するのではなく、各アンプ行２２７ｏ，２２７ｅ内で２列に１つのアンプを配置し、アンプ行２２７ｏ，２２７ｅを２段積みにして２行配置することで、奇数列と偶数列の画素出力をそれぞれアンプ行２２７ｏ，２２７ｅに分けて読み出す構成を採ることが望ましい。

このような第４実施形態の仕組みを採用することで、列並列の出力のアーキテクチャを持ったＣＭＯＳイメージセンサにおいても、列並列信号処理の場面において効率よくゲイン調整処理を実現できる構成を採ることができ、簡単に色ごとに独立のゲイン制御が行なえるシステムをコンパクトに構築できるようになる。これを用いることで、ＣＭＯＳイメージセンサにおいて、ＡＥとＡＷＢの２種類の調整機能を持つゲイン調整アンプを画素部２１０と同一基板上でコンパクトに構成し、上記第１〜第３実施形態を実現することが容易になる。

また、上記説明では、第１〜第３実施形態と同様に、ホワイトバランス調整用のゲイン制御値ＣＮ２，ＣＮ３，ＣＮ４に、それぞれ均等に明るさ調整用のゲイン制御値ＣＮ１を加えたものＣＮ１２，ＣＮ１３，ＣＮ１４をゲイン制御線２２８ｏ，２２８ｅに供給してアンプ行２２７ｏ，２２７ｅを制御することとしていたが、これに限らず、何れか一方のみに基づいてアンプ行２２７ｏ，２２７ｅを制御することも可能である。

たとえば、ホワイトバランス調整用のゲイン制御値ＣＮ２，ＣＮ３，ＣＮ４（Ｒ−Ｇａｉｎ，Ｇ−Ｇａｉｎ，Ｂ−Ｇａｉｎ）に基づくことで、アンプ行２２７ｏ，２２７ｅを、単純にＡＷＢ制御用のアンプとして用いることもできるし、明るさ調整用のゲイン制御値ＣＮ１（ＡＥ）に基づくことで、アンプ行２２７ｏ，２２７ｅを、単純にＡＥ制御用のアンプとして用いることもできる。

また、この第４実施形態の仕組みを、単純にＡＷＢ用のアンプとして用いることも可能である。また、列並列のアーキテクチャにおいて、列内に配置したアンプでＡＥ，ＡＷＢで用いられるゲイン制御を全て行なうことが可能となる。これは、画素からの信号を受け取った直後、一番手前で必要なゲインアップが全て行なえることを意味し、後段でゲインアップする場合と比べてノイズが混入する前に信号を増幅できるのでＳ／Ｎ的に有利となる。

さらに、ゲイン調整アンプ部２２７を奇数列用（ゲイン調整アンプ部２２７ｏ）と偶数列用（ゲイン調整アンプ部２２７ｏ）と２段積みの構成とすることで、独立した２本のゲイン制御用のゲイン制御線２２８ｏ，２２８ｅをレイアウト的に通し易くなることに加えて、１つのアンプを２画素分のピッチでレイアウトする、すなわち、画素ピッチの２倍のピッチでゲイン調整アンプ部２２７のレイアウトができるようになる。これにより、横方向の素子分離領域を半分に減らすことができ、実効的に使えるレイアウト面積が大きくなり、結果的に、縦方向のレイアウト長も短くなり、全体のレイアウト面積の削減・縮小、ひいてはコスト削減に貢献できる。

＜第４実施形態の応用例＞
図５、図６、および図７は、第４実施形態の仕組みを利用したゲイン調整の他の事例を説明する図である。上記第４実施形態の説明では、画素部２１０で得られる画素信号（撮像信号）に基づく色信号のうちの同時に処理対象となる信号の数分（前例では３つの原色信号Ｒ，Ｇ，ＢのうちのＲ／ＧもしくはＧ／Ｂ）だけのアンプ行２２７ｏ，２２７ｅを設けておき、同時に２種類のゲインを設定する方法を述べたが、これを応用することで、色別に３種類のゲインが設定できるようになる。

列並列に読出しを行なうアーキテクチャの場合、通常、水平ブランキング期間に読出しを行ない、有効期間に水平転送しながら画素信号を出力していく動作となる。よってこの場合、ゲイン調整アンプ部２２７は水平ブランキング期間に一斉に動作することになる。

たとえば、図５に示す状態のように、先ず、Ｒ／Ｇ行を読み出すものとする。この場合、奇数列のアンプ行２２７ｏにはＲ画素のみが、偶数列のアンプ行２２７ｅにはＧ画素のみが出力される。このため、奇数列用のゲイン制御線２２８ｏにＲ画素用のゲイン制御値（図１〜図３のＣＮ１２もしくは図３のＣＮ１２ａに相当）を、偶数列用のゲイン制御線２２８ｅにＧ画素画素用のゲイン制御値（図１〜図３のＣＮ１３もしくは図３のＣＮ１３ａに相当）を設定する。

次に図６に示す状態のように、Ｇ／Ｂ行を読み出す場合、奇数列のアンプ行２２７ｏにはＧ画素のみが、偶数列のアンプ行２２７ｅにはＢ画素のみが出力される。このため、奇数列用のゲイン制御線２２８ｏにＧ画素用のゲイン制御値（図１〜図３のＣＮ１３もしくは図３のＣＮ１３ａに相当）を、偶数列用のゲイン制御線２２８ｅにＢ画素画素用のゲイン制御値（図１〜図３のＣＮ１４もしくは図３のＣＮ１４ａに相当）を設定する。

このように、Ｒ／Ｇ行、Ｇ／Ｂ行を読む度にゲインの設定値を変えてやることで、２本しかないゲイン制御線２２８ｏ，２２８ｅを用いて、色ごとに３種類のゲイン調整処理を実現することができる。

この様子は図７に示すタイミングチャートで理解される。行ごとにゲインを変えるだけなので、特に高速にゲイン変化をさせる必要はない。なお、ゲイン制御線２２８ｏ，２２８ｅはそれぞれ図中では１本の線で示されているが、デジタル信号でゲイン制御を行なう場合は、複数ゲインを実現するために、それに必要なだけのビット幅を持つことになる。

＜第５実施形態＞
図８は、本発明に係る撮像装置の第５実施形態を示す図である。第５実施形態の撮像装置１は、ゲイン調整アンプ部１１０の配置形態に着目しつつ、第３実施形態と同様に、粗く大きなゲインアップをアナログ領域で、その細かい繋ぎの部分はデジタル領域で行なう場合を具体化した構成例を示すものである。

第５実施形態の撮像装置１は、ゲイン調整アンプ部２２７ｏ，２２７ｅを有するカラム処理部２２６の後段に、マルチプレクサ（ＭＵＸ）２３０とバッファアンプ２３２とを順に有する出力回路を備えている。また、この出力回路の後段に、Ａ／Ｄ変換部２３４と、プログラマブルゲインコントロール（ＰＧＡ；Programable Gain Amplifier）構成のデジタルアンプ部（Digital PGA ）２４０とを順に備えている。

また、第５実施形態の撮像装置１は、デジタルアンプ部２４０に所定のゲイン制御値ＣＮ３２を設定するゲイン切替設定部２４２を備えている。ゲイン切替設定部２４２は、上記第１〜第３実施形態で説明したと同様に、ホワイトバランス調整用のゲイン制御値ＣＮ２，ＣＮ３，ＣＮ４（Ｒ−Ｇａｉｎ，Ｇ−Ｇａｉｎ，Ｂ−Ｇａｉｎ）に、それぞれ均等に明るさ調整用のゲイン制御値ＣＮ１（ＥＶ）を加えたものＣＮ１２（Ｒ−Ｇａｉｎ＋ＥＶ），ＣＮ１３（Ｇ−Ｇａｉｎ＋ＥＶ）），ＣＮ１４（Ｂ−Ｇａｉｎ＋ＥＶ）をデジタルのゲインコードで受け取り、図示しない駆動制御部からの切替制御信号ＣＮ３０の元で、ＣＮ１２，ＣＮ１３，ＣＮ１４の何れか１つを選択してゲイン制御値ＣＮ３２としてデジタルアンプ部２４０に設定する。

こうすることで、デジタルアンプ部２４０が、画素部２１０で得られる画素信号の色種の数（本例ではＲ，Ｇ，Ｂの３種）よりも少ない分だけ設けられている場合であっても、デジタルアンプ部２４０の処理対象の色種に応じて、明るさ制御のためのゲイン制御値とホワイトバランス制御のためのゲイン制御値とを合成したゲイン制御値ＣＮ１２，ＣＮ１３，ＣＮ１４を切り替えることで、つまり画素ごとにゲイン制御値を変更することで、見かけ上、色ごとに異なるゲイン制御値を設定することができるようになる。

なお、第４実施形態で述べたと同様に、ホワイトバランス調整用のゲイン制御値ＣＮ２，ＣＮ３，ＣＮ４に、それぞれ均等に明るさ調整用のゲイン制御値ＣＮ１を加えたものＣＮ１２，ＣＮ１３，ＣＮ１４に基づいて制御することに限らず、何れか一方のみに基づいて制御することも可能である。またたとえば、アンプ行２２７ｏ，２２７ｅについては明るさ調整用のゲイン制御値ＣＮ１で制御し、デジタルアンプ部２４０についてはホワイトバランス調整用のゲイン制御値ＣＮ２，ＣＮ３，ＣＮ４で制御することも可能である。

ゲイン調整アンプ部２２７とマルチプレクサ２３０との間は、ゲイン調整アンプ部２２７から出力される各垂直列の画素信号の水平転送を行なうための水平信号線２１８で接続されるようになっている。

図３に示した第３実施形態の構成との対応では、粗ゲイン調整アンプ部１１２がゲイン調整アンプ部２２７（アンプ行２２７ｏ，２２７ｅ）に相当し、細ゲイン調整アンプ部１１６がデジタルアンプ部２４０に相当し、Ａ／Ｄ変換部１１４がＡ／Ｄ変換部２３４に相当する。

ゲイン調整アンプ部２２７の動作までは、図４に示した第４実施形態の仕組みと同様である。第５実施形態の構成では、この後に、画素信号の水平転送を行なうが、この例では複数の水平信号線２１８を用いる並列転送としている。特に並列に限定するものではないが、列ごとにゲイン調整アンプ部２２７を配置し、そのアンプで直接水平転送を行なう場合は、スピード不足のため並列化することが好ましい。

水平信号線２１８を介して並列に水平転送された画素信号は、マルチプレクサ２３０にてマルチプレックスされて画素データレートと同じスピードのシリアル信号となり、バッファアンプ２３２を介してＡ／Ｄ変換部２３４に送られる。そして、Ａ／Ｄ変換部２３４にてＡ／Ｄ変換されシリアルの画素データとされ、その後、図３の細ゲイン調整アンプ部１１６に相当するデジタルアンプ部２４０へと供給される。

図９は、第５実施形態の撮像装置１におけるデジタルアンプ部２４０に対するゲイン設定動作を説明するタイミングチャートである。

図３に示した第３実施形態の構成では、色ごとに３つのデジタルアンプ（細ゲイン調整アンプ部１１６Ｒ，１１６Ｇ，１１６Ｂ）を用意していたが、図８に示した第５実施形態の構成では、１つで実現している。その代わり、ゲイン切替設定部２４２において、Ｒ，Ｇ，Ｂそれぞれに対応するゲイン制御値ＣＮ３０（図３の例ではＣＮ１２，ＣＮ１３，ＣＮ１４に相当）を１画素ごとに切替制御信号ＣＮ３０の元で高速にスイッチングすることで、あたかも３つの細ゲイン調整アンプ部１１６があるようにふるまっている。こうすることで、回路規模を削減することができる。

このゲイン制御値ＣＮ３２を高速にスイッチングする様子は図９に示すタイミングチャートで理解される。水平ブランキング期間内でカラム処理部２２６（ゲイン調整アンプ部２２７）から並列に読み出された画素信号は、水平有効期間内に１画素ずつ転送されてくる。ゲイン切替設定部２４２は、その画素の色に応じて、ＣＮ１２，ＣＮ１３，ＣＮ１４の何れか１つを選択（高速にスイッチング）して、それをゲイン制御値ＣＮ３２としてデジタルアンプ部２４０に設定する、つまりデジタルアンプ部２４０に対するゲイン設定も高速にスイッチングする。デジタル回路なので、ゲイン設定を特に高速にスイッチングすることに対する問題はない。

このように、第５実施形態の仕組みを採ることで、第３実施形態で示したような、アナログ、デジタル２段構成のゲイン調整アンプ部を実現する場合に、デジタルアンプの数を減らすことができる。これにより、消費電力の削減、レイアウト面積の削減、それによるコストの削減といった効果が得られる。

＜その他の構成例＞
図１０および図１１は、その他の構成例を示す図である。上記の各実施形態では、ＡＥおよびＡＷＢの双方をフィードバック制御するシステムを例に説明してきたが、これに限らず、たとえば双方をフィードフォワード制御するシステムや、何れか一方をフィードバック制御とし他方をフィードフォワード制御する、フィードバック制御とフィードフォワード制御を組み合わせたシステムにすることもできる。

フィードフォワード制御方式では、たとえば測光センサを用いて被写体の照度を測定し、その測定結果を自動露出制御情報として用いて画素信号や色信号（たとえば原色信号Ｒ，Ｇ，Ｂなど）のゲインを調整し、また透過光の分光分布が異なるフィルタをそれぞれ備える複数の光電変換素子などから構成される測色センサを用いて被写体の周囲光の色温度を測定し、その測定結果をホワイトバランス制御情報として用いて、色信号（たとえば原色信号Ｒ，Ｇ，Ｂなど）のゲインを調整する。

フィードバック制御方式は、高精度ではあるもの応答性の点で難点があるが、フィードフォワード制御方式は、制度は劣るものの、高速な応答性をもってゲイン調整ができる利点がある。

たとえば、図１０は、図２に示した第２実施形態の構成に対する第１の変形例を示しており、ゲイン制御部１５０は、ゲイン調整アンプ部１１０における自動露出調整（ＡＥ）アンプ部のゲイン調整機能をフィードフォワード制御するＡＥ制御機能と、同じくゲイン調整アンプ部１１０におけるオートホワイトバランス（ＡＷＢ）アンプ部のゲイン調整機能をフィードフォワード制御するＡＷＢ制御機能の両機能を持つようにしている点が異なる。

また、図１１は、図２に示した第２実施形態の構成に対する第２の変形例を示しており、ゲイン制御部１５０は、ゲイン調整アンプ部１１０における自動露出調整（ＡＥ）アンプ部のゲイン調整機能をフィードフォワード制御するＡＥ制御機能と、同じくゲイン調整アンプ部１１０におけるオートホワイトバランス（ＡＷＢ）アンプ部のゲイン調整機能をフィードバック制御するＡＷＢ制御機能の両機能を持つようにしている点が異なる。

なお、図１１ではＡＥ制御がフィードフォワード制御、ＡＷＢ制御がフィードバック制御であるが、無論逆でも構わない。

また、図１０および図１１は、図２に示した第２実施形態に対する変形例であるが、同様の変形は他の全ての実施形態においても同様に適用可能である。

本発明に係る撮像装置の第１実施形態を示す図である。 本発明に係る撮像装置の第２実施形態を示す図である。 本発明に係る撮像装置の第３実施形態を示す図である。 本発明に係る撮像装置の第４実施形態を示す図である。 第４実施形態の仕組みを利用したゲイン調整の他の事例を説明する図である（Ｒ／Ｇ行選択時）。 第４実施形態の仕組みを利用したゲイン調整の他の事例を説明する図である（Ｇ／Ｂ行選択時）。 第４実施形態の仕組みを利用したゲイン調整の他の事例を説明する図である（タイミングチャート）。 本発明に係る撮像装置の第５実施形態を示す図である。 第５実施形態の撮像装置１におけるデジタルアンプ部２４０に対するゲイン設定動作を説明するタイミングチャートである。 図２に示した第２実施形態の構成に対する第１の変形例を示す図である。 図２に示した第２実施形態の構成に対する第２の変形例を示す図である。

符号の説明

１…撮像装置、１０…撮像部、１２…イメージセンサ、１００…信号処理部、１１０…ゲイン調整アンプ部、１１２…粗ゲイン調整アンプ部、１１４…Ａ／Ｄ変換部、１１６…細ゲイン調整アンプ部、１３０…映像信号処理部、１５０…ゲイン制御部、１５２…ＡＥ制御部、１５４…ＡＷＢ制御部、１６０…ゲイン合成部、１６２…加算部、１６４…ゲイン分配部、２０３…単位画素、２１０…画素部、２１８…水平信号線、２１９…垂直信号線、２２６…カラム処理部、２２７…ゲイン調整アンプ部、２２７ｏ，２２７ｅ…アンプ行、２２８…ゲイン制御線、２３０…マルチプレクサ、２３２…バッファアンプ、２３４…Ａ／Ｄ変換部、２４０…デジタルアンプ部、２４２…ゲイン切替設定部

Claims (13)

1. 撮像デバイスで得られる撮像信号に対してゲイン調整を行なう撮像信号処理方法であって、
   同一のゲイン調整アンプを用いて、明るさ制御とホワイトバランス制御のためのゲイン調整を行なう
   ことを特徴とする撮像信号処理方法。
2. 撮像デバイスで得られる撮像信号に対してゲイン調整を行なう撮像信号処理回路であって、
   指示されたゲイン制御値に基づいてゲイン調整機能を果たすゲイン調整アンプと、
   前記ゲイン調整アンプに対して、明るさ制御のためのゲイン制御値とホワイトバランス制御のためのゲイン制御値とを設定するゲイン制御部と
   を備えていることを特徴とする撮像信号処理回路。
3. 前記ゲイン調整アンプは、前記撮像信号に基づく色信号のうちの同時に処理対象となる信号の数分だけ設けられている
   ことを特徴とする請求項２に記載の撮像信号処理回路。
4. 前記ゲイン制御部は、前記撮像信号に基づく色信号ごとに異なるゲイン制御値を設定する
   ことを特徴とする請求項２に記載の撮像信号処理回路。
5. 前記ゲイン制御部は、前記撮像信号に基づく色信号ごとの前記ホワイトバランス制御のためのゲイン制御値に、明るさ制御のためのゲイン制御値が均等に加えられた制御値を前記色信号ごとに設定する
   ことを特徴とする請求項４に記載の撮像信号処理回路。
6. 前記ゲイン制御部は、前記撮像信号に基づく色信号ごとに前記ホワイトバランス制御のためのゲイン制御値を設定するホワイトバランス制御部と、明るさ制御のためのゲイン制御値を設定する露出制御部と、前記ホワイトバランス制御部で設定された色信号ごとのゲイン制御値に前記露出制御部で設定されたゲイン制御値を均等に加算するゲイン合成部と
   を有していることを特徴とする請求項５に記載の撮像信号処理回路。
7. 前記ゲイン調整アンプは、アナログアンプとデジタルアンプの２段で構成されている
   ことを特徴とする請求項２に記載の撮像信号処理回路。
8. 前記ゲイン制御部は、明るさ制御のためのゲイン制御値とホワイトバランス制御のためのゲイン制御値とを、前記アナログアンプと前記デジタルアンプに分配して設定するゲイン分配部
   を有していることを特徴とする請求項７に記載の撮像信号処理回路。
9. 前記デジタルアンプは、前記撮像信号の色種の数よりも少ない分だけ設けられており、
   前記ゲイン制御部は、前記デジタルアンプの処理対象の色種に応じて、前記明るさ制御のためのゲイン制御値と前記ホワイトバランス制御のためのゲイン制御値とを切り替える
   ことを特徴とする請求項７に記載の撮像信号処理回路。
10. 所定色の色分離フィルタが設けられた画素が行列状に配列された撮像部と、前記撮像部で得られた撮像信号に基づいて信号処理をする信号処理部とを備えた撮像装置であって、
    前記撮像部から列並列に前記撮像信号を読み出すように制御する駆動制御部を備え、
    前記信号処理部は、列ごとに配置されゲインを調節可能なゲイン調整アンプと、前記色分離フィルタの色種に応じた一方の列用の前記ゲイン調整アンプと他方の列用の前記ゲイン調整アンプにそれぞれ独立のゲイン制御値を設定するゲイン制御部と
    を有していることを特徴とする撮像装置。
11. 前記ゲイン調整アンプは、指示されたゲイン制御値に基づいてゲイン調整機能を果たすように構成されており、
    前記ゲイン制御部は、前記ゲイン調整アンプに対して、明るさ制御のためのゲイン制御値とホワイトバランス制御のためのゲイン制御値とを設定するように構成されている
    ことを特徴とする請求項１０に記載の撮像装置。
12. 前記ゲイン調整アンプは、個々のアンプが前記色分離フィルタの行方向の配列ピッチに対応する数のピッチで配列されたアンプ行が、前記色分離フィルタの列方向の配列ピッチに対応する数の行分だけ設けられて構成されている
    ことを特徴とする請求項１０に記載の撮像装置。
13. 前記ゲイン制御部は、前記撮像信号の読出行ごとに、処理対象の色種に応じて、前記ゲイン制御値を切り替える
    ことを特徴とする請求項１２に記載の撮像装置。
    

Images