JP2004159252A - 画像信号処理回路及びこれを用いた撮像装置 - Google Patents

Abstract

【課題】各固体撮像素子間の動作切り替えをスムーズに行えるようにする。
【解決手段】第１の固体撮像素子２０ａは、第１の被写体映像を捉えて第１の画像信号Ｙａ（ｔ）を生成する。第２の固体撮像素子２０ｂは、第２の被写体映像を捉えて第２の画像信号Ｙｂ（ｔ）を生成する。選択回路２６は、第１及び第２の固体撮像素子２０ａ、２０ｂの動作に同期して第１及び第２の画像信号Ｙａ（ｔ）、Ｙｂ（ｔ）を交互に選択して出力する。デジタル処理回路２９は、第１の画像信号Ｙａ（ｔ）に応じて生成する第１の露光データＥＤａを第１のレジスタ３３ａに格納し、第２の画像信号Ｙｂ（ｔ）に応じて生成する第２の露光データＥＤｂを第２のレジスタ３３ｂに格納する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本願発明は、複数の固体撮像素子を用いて複数の被写体映像を撮像し、それによって得られる複数系列の画像信号が交互に入力される画像信号処理回路及びこれを用いた撮像装置に関する。
【０００２】
【従来の技術】
デジタルカメラ等の撮像装置においては、複数の固体撮像素子を搭載して複数の被写体映像を撮像し、それによって得られる複数系列の画像信号を合成して共通の表示画面に表示することが考えられている（例えば、特許文献１参照。）。
【０００３】
このような撮像装置は、例えば、図６のように構成され、第１の撮像系列として、第１の固体撮像素子１ａ、第１の駆動回路２ａ及び第１の信号処理回路４ａを備えると共に、第２の撮像系列として、第２の固体撮像素子１ｂ、第２の駆動回路２ｂ及び第２の信号処理回路４ｂを備える。そして、共通の回路として、同期信号発生回路３、選択回路５及び第３の信号処理回路６を備える。
【０００４】
図６に示す撮像装置では、第１及び第２の駆動回路２ａ、２ｂが同期信号発生回路３からのタイミング信号に応答して第１及び第２の固体撮像素子１ａ、１ｂを駆動し、第１及び第２の固体撮像素子１ａ、１ｂから取り出される２系列の画像信号を第１及び第２の信号処理回路４ａ、４ｂへ取り込む。第１及び第２の信号処理回路４ａ、４ｂは、各系列の画像信号に対してガンマ補正処理やＡＧＣ（自動利得制御）処理を施し、処理後の信号を選択回路５へ出力する。選択回路５は、２系列の画像信号を各入力端子に取り込み、これらを交互に選択して選択した画像信号を第３の信号処理回路６へ出力する。第３の信号処理回路６は、選択回路５で選択された画像信号に対して、色分離やマトリクス演算等の処理を施し、輝度信号及び色差信号を含む画像信号を生成する。
【０００５】
このような撮像装置では、第１及び第２の固体撮像素子からの２系列の画像信号を交互に選択することで、第１及び第２の画像信号が所定間隔毎に交互に配列された１系列の画像信号を得ている。
【０００６】
【特許文献１】
特開昭６４−６２９７４号公報
【０００７】
【発明が解決しようとする課題】
上述のような撮像装置においては、複数の固体撮像素子を備えているため、正しい画像信号を得るには、固体撮像素子の露光量を制御する露光制御や画像信号のホワイトバランスを補正するホワイトバランス処理を個別に行う必要がある。
【０００８】
１つの方法として、露光制御やホワイトバランス処理用の信号処理回路を撮像系列の数と同等数備えることが考えられるが、撮像装置全体の小型化が強く望まれる場合にあっては、好ましい方法ではない。特に、近年においては、小型の携帯機器に撮像装置を搭載するタイプのものが見受けられ、このようなタイプの撮像装置にあっては、小型化が重要な課題となるため、露光制御用やホワイトバランス制御用の回路を複数の撮像系列で共有化するのが望ましい。
【０００９】
このように信号処理回路を共有化した構成では、固体撮像素子の動作を切り替えた場合、動作を開始する固体撮像素子に対する露光制御やホワイトバランス処理の設定が、それまで動作していた側の固体撮像素子に対する露光制御やホワイトバランスの設定が初期値となる。このため、動作切り替え直後の露光制御やホワイトバランス処理の設定が極端に変化することになり、正しい画像信号が得られなかったり、或いは、正しい画像信号が得られるようになるまでに時間がかかるといった不具合があった。
【００１０】
そこで、本願発明は、固体撮像素子間の動作を切り替える際に、正しい画像信号を迅速に得ることができ、動作切り替えをスムーズに行うことが可能な画像信号処理回路及び撮像装置の提供を目的とする。
【００１１】
【課題を解決するための手段】
本願発明は、上述の課題に鑑みてなされたものであり、その特徴とするところは、時分割で動作する第１及び第２の固体撮像素子の露光量を制御する画像信号処理回路において、前記第１及び第２の固体撮像素子から出力される第１及び第２の画像信号の値が所定の範囲に収まるように前記第１及び第２の固体撮像素子の露光量を指定する第１及び第２の露光データをそれぞれ生成する露光制御部を備え、前記露光制御部は、前記第１の露光データを格納する第１の記憶部と、前記第２の露光データを格納する第２の記憶部と、を有することにある。
【００１２】
また、撮像装置において、第１の被写体映像に応答して発生する情報電荷を複数の受光画素に蓄積する第１の固体撮像素子と、前記第１の固体撮像素子を駆動して第１の画像信号を得る第１の駆動回路と、第２の被写体映像に応答して発生する情報電荷を複数の受光画素に蓄積する第２の固体撮像素子と、前記第２の固体撮像素子を駆動して第２の画像信号を得る第２の駆動回路と、前記第１及び第２の画像信号を取り込んで前記第１及び第２の固体撮像素子の動作タイミングに同期して何れか一方を選択的に出力する選択回路と、前記第１及び第２の固体撮像素子から出力される第１及び第２の画像信号の値が所定の範囲に収まるように前記第１及び第２の固体撮像素子の露光量を指定する第１及び第２の露光データをそれぞれ生成する露光制御回路と、を備え、前記露光制御回路は、前記第１の露光データを格納する第１の記憶部と、前記第２の露光データを格納する第２の記憶部と、を有することを特徴とする。
【００１３】
本願発明によれば、露光データを生成する信号処理系の回路を共通としながら、第１の固体撮像素子に対応する第１の露光データと、第２の固体撮像素子に対応する第２の露光データとを、それぞれで独立して記憶しておくことができる。これにより、固体撮像素子間の動作切り替えの際、直前まで動作していた側の固体撮像素子に対する露光データを引き継ぐことなく、記憶部に保持していた露光データを採用することができるため、動作切り替えをスムーズに行うことができる。
【００１４】
また、時分割で動作する第１及び第２の固体撮像素子から出力される第１及び第２の画像信号に所定のゲインを与えてホワイトバランスを補正する画像信号処理回路において、前記第１及び第２の画像信号に対するゲイン量を示す第１及び第２のゲインデータをそれぞれ生成するホワイトバランス処理部を備え、前記ホワイトバランス処理部は、前記第１のゲインデータを格納する第１の記憶部と、前記第２のゲインデータを格納する第２の記憶部と、を有することを特徴とする。
【００１５】
また、撮像装置において、第１の被写体映像に応答して発生する情報電荷を複数の受光画素に蓄積する第１の固体撮像素子と、前記第１の固体撮像素子を駆動して第１の画像信号を得る第１の駆動回路と、第２の被写体映像に応答して発生する情報電荷を複数の受光画素に蓄積する第２の固体撮像素子と、前記第２の固体撮像素子を駆動して第２の画像信号を得る第２の駆動回路と、前記第１及び第２の画像信号を取り込んで前記第１及び第２の固体撮像素子の動作タイミングに同期して何れか一方を選択的に出力する選択回路と、前記第１及び第２の画像信号に所定のゲインを与えてホワイトバランスを補正するホワイトバランス処理回路と、を備え、前記ホワイトバランス処理回路は、前記第１の画像信号に対するゲイン量を示す第１のゲインデータを格納する第１の記憶部と、前記第２の画像信号に対するゲイン量を示す前記第２のゲインデータを格納する第２の記憶部と、を有することを特徴とする。
【００１６】
本願発明によれば、ホワイトバランス補正を行う信号処理系の回路を共通としながら、第１の固体撮像素子に対応するホワイトバランス用の第１のゲインデータと、第２の固体撮像素子に対応する第２のゲインデータとを、それぞれで独立して記憶しておくことができる。これにより、固体撮像素子間の動作切り替えの際、直前まで動作していた側の固体撮像素子に対するホワイトバランス用のゲインデータを引き継ぐことなく、記憶部に保持していたゲインデータを採用することができるため、動作切り替えをスムーズに行うことができる。
【００１７】
【発明の実施の形態】
図１は、本願発明の実施形態の概略構成を示すブロック図であり、撮像装置全体としてのブロック構成を示している。図１に示す撮像装置は、第１の固体撮像素子２０ａ、第２の駆動回路２１ａ、第２の固体撮像素子２０ｂ、第２の駆動回路２１ｂ、タイミング制御回路２２、選択回路２６、アナログ処理回路２７、Ａ／Ｄ変換回路２８及びデジタル処理回路２９から構成される。
【００１８】
第１の固体撮像素子２０ａは、複数の受光画素が受光部に行列配置され、この受光部に受ける第１の被写体映像に応答して発生する第１の情報電荷を各受光画素に蓄積する。このような固体撮像素子には、１画面の情報電荷を高速で蓄積部へ転送するフレーム転送型や、受光部に蓄積する情報電荷を受光画素の列間に配置される垂直転送部へ転送するインターライン型や、フレーム転送型及びインターライン型の両方の機能を併せ持つフレームインターライン型といった転送方式の異なる幾つかのタイプがある。
【００１９】
第１の駆動回路２１ａは、第１の固体撮像素子２０ａに対応して設けられ、第１の固体撮像素子２０ａを駆動して第１の画像信号Ｙａ（ｔ）を取り出す。この第１の駆動回路２１ａは、タイミング制御回路２２から与えられるタイミング信号に応答して駆動クロックを生成し、駆動クロックを第１の固体撮像素子２０ａへ出力して第１の固体撮像素子２０ａを駆動する。例えば、第１の固体撮像素子２０ａがフレーム転送型であった場合、駆動クロックとしてフレーム転送クロックφｆ、垂直転送クロックφｖ、水平転送クロックφｈ及びリセットクロックφｒを生成する。フレーム転送クロックφｆは、受光部に蓄積された１画面分の情報電荷を蓄積部へ高速で転送し、垂直転送クロックφｖは、蓄積部に蓄積された１画面分の情報電荷を１行単位で水平転送部へ転送する。水平転送クロックφｈは、水平転送部に蓄積された１行分の情報電荷を１画素単位で出力部へ転送し、リセットクロックφｒは、１画素単位で出力部をリセットする。これにより、第１の固体撮像素子２０ａからは、第１の画像信号Ｙａ（ｔ）が１画素単位で取り出される。
【００２０】
第２の固体撮像素子２０ｂ及び第２の駆動回路２１ｂは、第１の固体撮像素子２０ａ及び第１の駆動回路２１ｂと基本的に同一の構造を有し、第２の固体撮像素子２０ｂは、第２の被写体映像に応答して発生する情報電荷を複数の受光画素に蓄積し、第２の駆動回路２１ｂは、第２の固体撮像素子２０ｂを駆動して第２の画像信号Ｙｂ（ｔ）を取り出す。
【００２１】
タイミング制御回路２２は、第１及び第２の駆動回路２１ａ、２１ｂへタイミング信号を供給し、第１及び第２の固体撮像素子２０ａ、２０ｂの垂直走査タイミング及び水平走査タイミングを決定する。このタイミング制御回路２２は、カウンタ２３及びデコーダ２４を含んで構成され、一定周期の基準クロックＣＫをカウンタ２３でカウントし、このカウンタ２３の出力をデコーダ２４でデコードしてタイミング信号を生成する。この際、デコーダ２４の設定値を変更することで様々なタイミング信号を複数生成することができる。
【００２２】
また、タイミング制御回路２２は、デジタル処理回路２９から第１及び第２の固体撮像素子２０ａ、２０ｂの露光量を指定する露光データを受け取り、これに応じて第１及び第２の固体撮像素子２０ａ、２０ｂの電子シャッタタイミングを指定する排出タイミング信号を生成する。これを受ける第１及び第２の駆動回路２１ａ、２１ｂは、排出クロックφｂを生成して第１及び第２の固体撮像素子２０ａ、２０ｂへ供給し、受光部に蓄積された情報電荷をリセットさせる。このリセットタイミングを制御することにより、第１及び第２の固体撮像素子２０ａ、２０ｂに対する露光量が適正となるように情報電荷の蓄積時間が伸縮制御される。
【００２３】
更に、タイミング制御回路２２は、第１及び第２の駆動回路２１ａ、２１ｂ以外の回路にもタイミング信号を供給しており、各回路の動作が第１及び第２の固体撮像素子２０ａ、２０ｂの動作タイミングに同期するようにしている。
【００２４】
レジスタ２５は、複数パターンの撮像モードのそれぞれに対応付けられた複数の設定データを格納し、外部から与えられる撮像モード切り替え信号ＭＯＤＥを受けて、これによって指定される撮像モードに対応した設定データをタイミング制御回路２２へ出力する。このレジスタ２５に格納される複数の設定データに対応付けられる撮像モードとしては、例えば、第１及び第２の固体撮像素子２０ａ、２０ｂの何れか一方だけを動作させるといったものや、１画面、或いは、複数画面単位で第１及び第２の固体撮像素子２０ａ、２０ｂの動作を切り替えるといったものがある。そして、これらの撮像モードに対応した設定データがタイミング制御回路２２へ供給されることにより、各タイミング信号が、指定された撮像モードに合わせて変更される。例えば、撮像モードとして、第１及び第２の固体撮像素子２０ａ、２０ｂを１画面単位で交互に動作させるように指定された場合、タイミング制御回路２２からは、動作させる側の固体撮像素子に対応する駆動回路のみにタイミング信号を供給し、もう一方の駆動回路に対するタイミング信号の供給を停止する。この後、動作させた固体撮像素子から１画面分の画像信号の取得が完了すると、タイミング信号を供給する側の駆動回路を切り替え、もう一方の固体撮像素子を動作させる。
【００２５】
選択回路２６は、第１及び第２の画像信号Ｙａ（ｔ）、Ｙｂ（ｔ）を取り込み、第１及び第２の固体撮像素子２０ａ、２０ｂの動作タイミングに同期して第１及び第２の画像信号Ｙａ（ｔ）、Ｙｂ（ｔ）の何れか一方を選択して画像信号Ｙ（ｔ）として出力する。これにより、第１及び第２の画像信号Ｙａ（ｔ）、Ｙｂ（ｔ）が所定間隔毎に交互に配列された一系列の画像信号Ｙ（ｔ）を得ることができる。
【００２６】
アナログ処理回路２７は、選択回路２６から出力される画像信号Ｙ（ｔ）に対し、ＣＤＳやＡＧＣ等のアナログ信号処理を施す。ＣＤＳでは、リセットレベルと信号レベルとを交互に繰り返す画像信号Ｙ（ｔ）に対し、リセットレベルをクランプした後に信号レベルを取り出すようにして、信号レベルの連続する画像信号を生成する。また、ＡＧＣでは、ＣＤＳで取り出された画像信号を、１画面、或いは、１垂直走査期間で積分した積分値が所定の範囲内に収まるようにゲイン調整を行うと共に、タイミング制御回路２９から出力される露光データに応答して、第１及び第２の画像信号Ｙａ（ｔ）、Ｙｂ（ｔ）のレベルが適正なレベルとなるように所定のゲインを与える。
【００２７】
Ａ／Ｄ変換回路２８は、アナログ信号処理の施された画像信号Ｙ’（ｔ）を取り込んで規格化し、アナログ信号からデジタル信号に変換して画像データＹ（ｎ）として出力する。
【００２８】
デジタル処理回路２９は、ラインメモリ３０、ＲＧＢプロセス処理部３１、露光制御部３２及びホワイトバランス処理部３４を含み、画像データＹ（ｎ）に対してデジタル信号処理を施す。
【００２９】
ラインメモリ３０は、Ａ／Ｄ変換回路２８から出力される画像データＹ（ｎ）を１ライン単位で適数行を格納し、１水平走査期間で保持した後にＲＧＢプロセス処理部３１及び露光制御部３２へ出力する。
【００３０】
ＲＧＢプロセス処理部３１は、画像データＹ（ｎ）に対して、色分離やマトリクス演算等の処理を施し、輝度データ及び色差データを含む画像データＹ’（ｎ）を生成する。例えば、色分離処理においては、第１及び第２の固体撮像素子２０ａ、２０ｂの色配列に従って画像データＹ（ｎ）を振り分け、複数の色成分データＲ（ｎ）、Ｇ（ｎ）、Ｂ（ｎ）を生成する。また、マトリクス演算処理においては、振り分けた各色成分データを所定の割合で合成して輝度データを生成すると共に、色成分データＲ（ｎ）、Ｂ（ｎ）から輝度データを差し引いて色差データを生成する。
【００３１】
露光制御部３２は、画像データＹ（ｎ）を、例えば、１画面、或いは、１垂直走査期間単位で積分して積分データを生成し、この積分データが適正露光量に合わせて設定される所定の範囲内に収まるように露光データＥＤを生成する。この露光データＥＤは、第１及び第２の固体撮像素子２０ａ、２０ｂの露光量を指定するデータとして、タイミング制御回路２２、アナログ処理回路２７及びＲＧＢプロセス処理部３１へ供給される。そして、露光データＥＤに応じて、固体撮像素子の電子シャッタタイミング、ＡＧＣにおけるアナログのゲイン及び画像データＹ（ｎ）に対するデジタルのゲインが制御される。
【００３２】
また、露光制御部３２は、第１のレジスタ３３ａ及び第２のレジスタ３３ｂを有し、第１の画像信号Ｙａ（ｎ）がデジタル信号に変換された画像データに応じて生成された第１の露光データＥＤａを第１のレジスタ３３ａに格納すると共に、第２の画像信号Ｙｂ（ｎ）がデジタル信号に変換された画像データに応じて生成された第２の露光データＥＤｂを第２のレジスタ３３ｂに格納する。各レジスタ３３ａ、３３ｂは、例えば、複数のフリップフロップの組み合わせから構成され、所定ビット数のデータが格納可能となっている。
【００３３】
このように第１及び第２の露光データＥＤａ、ＥＤｂをそれぞれ別の記憶領域に格納することで、露光制御部３２を共通としながら、第１及び第２の露光データＥＤａ、ＥＤｂを、それぞれで独立して生成することができる。即ち、固体撮像素子間の動作切り替えの際に、直前まで動作していた側の固体撮像素子に対する露光データを引き継ぐことがなくなり、動作開始の初期値として第１のレジスタ３３ａ、または、第２のレジスタ３３ａに保持していた露光データを採用することができる。
【００３４】
ホワイトバランス処理部３４は、ＲＧＢプロセス処理部３１から出力される色成分データＲ（ｎ）、Ｇ（ｎ）、Ｂ（ｎ）を、例えば、１画面、或いは、１垂直走査期間単位で積分して色積分データＲ’（ｎ）、Ｇ’（ｎ）、Ｂ’（ｎ）を生成する。そして、各色積分データＲ’（ｎ）、Ｇ’（ｎ）、Ｂ’（ｎ）が等しくなるように、色成分データＲ（ｎ）、Ｂ（ｎ）にゲインを与えてホワイトバランスを補正する。
【００３５】
また、ホワイトバランス処理部３４は、第３及び第４のレジスタ３５ａ、３５ｂを有し、第１の画像信号Ｙａ（ｔ）から得られた色成分データＲａ（ｎ）、Ｂａ（ｎ）に対するゲイン量を指定する第１のゲインデータＧＤａを第３のレジスタ３５ａに格納すると共に、第２の画像信号Ｙｂ（ｔ）から得られた色成分データＲｂ（ｎ）、Ｂｂ（ｎ）に対するゲイン量を指定する第２のゲインデータＧＤｂを第４のレジスタ３５ｂに格納する。
【００３６】
このようにホワイトバランス処理部３４においても、露光制御部３２と同様に、第１及び第２のゲインデータＧＤａ、ＧＤｂをそれぞれ別の記憶領域に格納するようにしている。これにより、ホワイトバランス処理部３４を共通としながら、第１及び第２のゲインデータＧＤａ、ＧＤｂを、それぞれで独立して生成することができる。
【００３７】
図２は、露光制御部３２の構成の一例を示すブロック図である。図２に示す露光制御部２は、露光制御用演算回路４０、第１のセレクタ４１、第１のレジスタ４２、第２のセレクタ４３、第２のレジスタ４４、第３のセレクタ４５及び切り替えタイミング回路４６から構成される。
【００３８】
露光制御用演算回路４０は、画像データＹ（ｎ）に対して所定の演算処理を施して、第１及び第２の露光データＥＤａ、ＥＤｂを生成する。第１のセレクタ４１は、入力端子Ｓ１に第１のレジスタ４２の出力を受けると共に、入力端子Ｓ２に露光制御用演算回路４０からの第１及び第２の露光データＥＤａ、ＥＤｂを受け、第１の選択信号ＳＥＬ１に応答して何れか一方を選択的に出力する。第１のレジスタ４２は、第１のセレクタ４１の出力を取り込んで保持し、第３のセレクタ４５へ出力する。この第１のレジスタ４２は、垂直走査期間に同期するクロックＶＣＫに応答して動作する複数のフリップフロップから構成され、第１のセレクタ４１から出力される所定ビットの露光データを、例えば、１垂直走査期間単位で保持する。
【００３９】
第２のセレクタ４３は、入力端子Ｓ３に第２のレジスタ４４の出力を受けると共に、入力端子Ｓ４に第１及び第２の露光データＥＤａ、ＥＤｂを受け、第２の選択信号ＳＥＬ２に応答して選択的に出力する。第２のレジスタ４４は、第２のセレクタ４３の出力を取り込んで保持し、第３のセレクタ４５へ出力する。この第２のレジスタ４４は、第１のレジスタ４２と同様に、クロックＶＣＫに応答して動作する複数のフリップフロップから構成され、第２のセレクタ４３の出力を、例えば、１垂直走査期間単位で保持する。第３のセレクタ４５は、入力端子Ｓ５に第１のレジスタ４２を出力に受けると共に、入力端子Ｓ６に第２のレジスタ４４の出力を受け、選択信号ＳＥＬに応答して何れか一方を選択して露光データＥＤとして出力する。
【００４０】
切り替えタイミング回路４６は、第１のＯＲゲート４７、第２のＯＲゲート４８及びインバータ４９から構成される。第１のＯＲゲート４７は、タイミング制御回路２２で生成されるホールド信号ＨＬＤを一方の入力に受けると共に、同じくタイミング制御回路２２で生成される選択信号ＳＥＬを他方の入力に受け、これらの論理和を取って第１の選択信号ＳＥＬ１を出力する。第２のＯＲゲート４８は、ホールド信号ＨＬＤを一方の入力に受けると共に、選択信号ＳＥＬがインバータ４９によって反転された反転信号を他方の入力に受け、これらの論理和を取って第２の選択信号ＳＥＬ２として出力する。
【００４１】
図３は、露光制御部３２の動作を説明するタイミング図である。この図においては、タイミングｔ０〜タイミングｔ１の４垂直走査期間及びタイミングｔ３〜タイミングｔ５までの５垂直走査期間で第１の固体撮像素子２０ａが動作し、タイミングｔ１〜タイミングｔ３の５垂直走査期間及びタイミングｔ５〜タイミングｔ６の５垂直走査期間で第２の固体撮像素子２０ｂが動作するものとする。また、第１及び第２のレジスタ４２、４４には、予め設定された初期データＥＤ（０）が格納されるものとする。そして、ここでは、１垂直走査期間毎に順次更新される第１の露光データＥＤａをＥＤａ（１）、ＥＤａ（２）・・・ＥＤａ（ｎ）と示し、第２の露光データＥＤｂをＥＤｂ（１）、ＥＤｂ（２）・・・ＥＤｂ（ｎ）と示す。
【００４２】
先ず、タイミングｔ０において、第１の固体撮像素子２０ａが動作を開始するのに応じて選択信号ＳＥＬがＬレベルに立ち下げられると共に、露光制御用演算回路４０から第１の露光データＥＤａが出力される。そして、選択信号ＳＥＬのレベルに応答して、第１の選択信号ＳＥＬ１がＬレベルに立ち下げられると共に、第２の選択信号ＳＥＬ２がＨレベルに立ち上げられる。これに応答して、第１のセレクタ４１が入力端子Ｓ２を選択し、露光制御用演算回路４０から出力される第１の露光データＥＤａを第１のレジスタ４２に出力する。一方、第２のセレクタ４３は、入力端子Ｓ３を選択し、露光制御用演算回路４０からの出力を無効とする。
【００４３】
また、第３のセレクタ４５では、入力端子Ｓ５を選択し、第１のレジスタ４２の出力を露光データＥＤとして次段の回路へ出力すると共に、露光制御用演算回路４０へフィードバックする。こういった状態は、タイミングｔ１までの４垂直走査期間で継続され、この結果、第１のレジスタ４２に入力される第１の露光データＥＤａがＥＤａ（１）〜ＥＤａ（４）まで順次更新されて露光データＥＤとして出力される。このように、選択信号ＳＥＬに応じて、第１及び第２の露光データＥＤａ、ＥＤｂを振り分けることによって、これら第１及び第２の露光データＥＤａ、ＥＤｂを第１及び第２のレジスタ４２、４４のそれぞれに格納することができる。
【００４４】
次いで、タイミングｔ１においては、固体撮像素子間の動作が切り替えられるのに応じて選択信号ＳＥＬがＨレベルに立ち上げられると共に、露光制御用演算回路４０から第２の露光データＥＤｂの出力が開始される。そして、選択信号ＳＥＬのレベルに応答して、第３のセレクタ４５が入力端子Ｓ６側に選択を切り替える。また、このとき、選択信号ＳＥＬに立ち上げに同期してホールド信号ＨＬＤが立ち上げられ、これに応答して第１及び第２の選択信号ＳＥＬ１、ＳＥＬ２がＨレベルに立ち上げられる。このホールド信号ＨＬＤは、例えば、タイミングｔ１〜タイミングｔ２までの１垂直走査期間で立ち上げられ、この結果、第１及び第２のセレクタ４１、４３が、それぞれ入力端子Ｓ１、Ｓ３を１垂直走査期間に亘って選択する。このため、タイミングｔ１〜タイミングｔ２までの期間で露光制御用演算回路４０の出力が第１及び第２のセレクタ４１、４３の両方で無効とされる。
【００４５】
次いで、タイミングｔ２において、ホールド信号ＨＬＤがＬレベルに立ち下げられると、第２の選択信号ＳＥＬ２がＬレベルに立ち下げられる。これに応答して第２のセレクタ４３が入力端子Ｓ４を選択し、第２の露光データＥＤｂを第２のレジスタ４４へ出力する。このとき、第１のセレクタ４１が入力端子Ｓ１を選択しており、第１のレジスタ４１及び第１のセレクタ４１によってループ回路が構成される。
【００４６】
こういった状態は、タイミングｔ２〜タイミングｔ３までの４垂直走査期間で継続され、この結果、第２のレジスタ４４に入力される第２の露光データＥＤｂがＥＤｂ（１）〜ＥＤｂ（４）まで順次更新されて露光データＥＤとして出力される。また、このとき、第１のレジスタ４２及び第１のセレクタ４１にて構成されるループ回路によって、第１の固体撮像素子２０ａが動作を停止する直前の第１の露光データの値ＥＤａ（４）を繰り返し保持し、結果として同じ値を保持している。
【００４７】
次いで、タイミングｔ３において、固体撮像素子間の動作が再度切り替えられ、選択信号ＳＥＬがＬレベルに立ち下げられて第３のセレクタ４５が入力端子Ｓ５を選択する。また、このとき、タイミングｔ１〜タイミングｔ２と同様に、ホールド信号ＨＬＤがタイミングｔ３〜タイミングｔ４の１垂直走査期間に亘ってＨレベルに立ち上げられ、第１及び第２の選択信号ＳＥＬ１、ＳＥＬ２がＨレベルに立ち上げられる。この結果、第１及び第２のセレクタ４１、４３で露光制御用演算回路４０の出力が無効とされ、露光制御用演算回路４０には、第１のレジスタ４２に保持されている第１の露光データＥＤａ（４）がフィードバックされる。
【００４８】
このように、固体撮像素子の動作立ち上げ直後の画像信号に応じて生成された露光データＥＤを無効とすることで、新たに生成される露光データＥＤが動作立ち上げ直後の不安定な画像信号の影響を受けないようにしている。これにより、ホールド信号ＨＬＤが立ち下げられた後、露光データＥＤが適正な値へ収束するまでの時間を短縮することができ、固体撮像素子間の動作切り替えをスムーズに行うことができる。
【００４９】
次いで、タイミングｔ４において、ホールド信号ＨＬＤがＬレベルに立ち下げられると、第１の選択信号ＳＥＬ１がＬレベルに立ち下げられる。これに応答して第１のセレクタ４１が入力端子Ｓ２を選択し、第１の露光データＥＤａを第１のレジスタ４２へ出力する。このとき、第１のレジスタ４２には、第１の露光データとして、ＥＤａ（４）が保持されており、この第１の露光データＥＤａ（４）が露光制御用演算回路４０にて初期値して採用される。そして、第１の露光データＥＤａ（４）を初期値して露光制御が開始され、タイミングｔ４〜ｔ５に亘って、第１の露光データＥＤａの値がＥＤａ（４）〜ＥＤａ（８）まで順次更新される。また、このとき、第２のセレクタ入力端子Ｓ４を選択しており、第２のレジスタ４４及び第２のセレクタ４３によって構成されるループ回路にて第２の露光データＥＤｂ（４）が保持される。
【００５０】
このように、固体撮像素子間の動作が切り替えられるとき、動作を開始する固体撮像素子に対応する露光データの初期値として、動作停止期間で保持された露光データの値を適用することで、各固体撮像素子間の動作切り替えを更にスムーズに行うことができる。例えば、第１及び第２の固体撮像素子２０ａ、２０ｂが、それぞれで固定的に被写体を捉える場合、動作が停止される前と動作が再開されたときに、適切な露光量が極端に変化することがないため、以前用いた露光データを初期値として適用することによって、露光データを適正な値へ迅速に収束させることができる。
【００５１】
次いで、タイミングｔ５〜タイミングｔ６においては、タイミングｔ３〜タイミングｔ４と同様に、ホールド信号ＨＬＤがＨレベルに立ち上げられて、露光制御用演算回路４０の出力を無効とする。次いで、タイミングｔ６にてホールド信号ＨＬＤがＬレベルに立ち下げられると、第２のセレクタ４３で露光制御用演算回路４０の出力が有効とされ、第２の露光データＥＤｂがＥＤｂ（５）〜ＥＤｂ（８）まで順次更新される。そして、タイミングｔ７以降においても、第１及び第２の固体撮像素子２０ａ、２０ｂの動作切り替えに応じて、タイミングｔ０〜タイミングｔ７の動作を繰り返すようにしている。
【００５２】
図４は、ホワイトバランス処理部３４の構成の一例をブロック構成図であり、図５は、その動作を示すタイミング図である。尚、図５においては、図３の場合と同様に、タイミングｔ０〜タイミングｔ１の４垂直走査期間及びタイミングｔ３〜タイミングｔ５までの５垂直走査期間で第１の固体撮像素子２０ａが動作し、タイミングｔ１〜タイミングｔ３の５垂直走査期間及びタイミングｔ５〜タイミングｔ６の５垂直走査期間で第２の固体撮像素子２０ｂが動作するものとする。また、１垂直走査期間毎に順次更新される第１のゲインデータＧＤａをＧＤａ（１）、ＧＤａ（２）・・・ＧＤａ（ｎ）と示し、第２の露光データＧＤｂをＧＤｂ（１）、ＧＤｂ（２）・・・ＧＤｂ（ｎ）と示す。
【００５３】
図４に示すホワイトバランス処理部３４において、図２に示す露光制御部３２と異なる点は、露光制御用演算回路４０がホワイトバランス処理用演算回路５０に変更されていることにある。このホワイトバランス処理用演算回路５０は、ＲＧＢプロセス処理部３１から出力される色成分データＲ（ｎ）、Ｇ（ｎ）、Ｂ（ｎ）を取り込んで所定の演算処理を施し、第１の画像信号Ｙａ（ｔ）から生成された色成分データＲａ（ｎ）、Ｂａ（ｎ）に対するゲイン量を指定する第１のゲインデータＧＤａ及び第２の画像信号Ｙｂ（ｔ）から生成された色成分データＲｂ（ｎ）、Ｂｂ（ｎ ）に対するゲイン量を指定する第２のゲインデータＧＤｂ（ｎ）を生成する。そして、その他の回路構成は、図２と同様であり、第１のゲインデータＧＤａを第３のレジスタ５２に格納すると共に、第２のゲインデータＧＤｂを第４のレジスタ５４に格納する。
【００５４】
また、動作においても、図５に示すように、図３の場合と同様に動作し、第１及び第２の固体撮像素子２０ａ、２０ｂの動作切り替えに応じて、第１及び第２のゲインデータＧＤａ、ＧＤｂの一方を順次更新しながら、他方を保持しておく。また、これ加え、タイミングｔ１〜タイミングｔ２、タイミングｔ３〜タイミングｔ４及びタイミングｔ５〜ｔ６にあっては、ホールド信号ＨＬＤを立ち上げ、第１及び第２のセレクタ４１、４３でホワイトバランス処理部５０の出力を無効とし、動作切り替えタイミングの直前の前記第１及び第２のゲインデータＧＤａ、ＧＤｂの値を所定期間で保持するようにしている。更に、タイミングｔ３及びタイミングｔ４にあっては、動作を開始する固体撮像素子に対応するゲインデータの初期値として、動作停止期間で第３及び第４のレジスタ５２、５４に保持されたゲインデータの値を適用するようにしている。このような動作を行うことにより、ホワイトバランス処理においても、各固体撮像素子間の動作切り替えがスムーズに行えるようにしている。
【００５５】
【発明の効果】
本願発明によれば、露光制御を行う信号処理系の回路を共通としながら、第１の固体撮像素子２０ａに対応する第１の露光データＥＤａと、第２の固体撮像素子２０ｂに対応する第２の露光データＥＤｂとを、それぞれの動作期間に合わせて独立して生成することができる。このため、動作を各固体撮像素子間で切り替える際に、動作開始する側の設定が、直前まで動作していた側の設定の影響を受けなくなる。これにより、正しい画像信号を迅速に得ることができ、固体撮像素子間の動作切り替えをスムーズに行うことができる。
【図面の簡単な説明】
【図１】本願発明の実施形態の構成を示すブロック図である。
【図２】露光制御部３２の構成の一例を示すブロック図である。
【図３】図３の動作を説明するタイミング図である。
【図４】ホワイトバランス処理部３４の構成の一例を示すブロック図である。
【図５】図４の動作を説明するタイミング図である。
【図６】従来の撮像装置の構成を示すブロック図である。
【符号の説明】
１ａ、２０ａ：第１の固体撮像素子、２ａ、２１ａ：第１の駆動回路、１ｂ、２０ｂ：第２の固体撮像素子、２ｂ、２１ｂ：第２の駆動回路、３：同期信号発生回路、４ａ：第１の信号処理回路、４ｂ：第２の信号処理回路、５：スイッチ回路、６：第３の信号処理回路、２２：タイミング制御回路、２３：カウンタ、２４：デコーダ、２５：レジスタ、２６：選択回路、２７：アナログ処理回路、２８：Ａ／Ｄ変換回路、２９：デジタル処理回路、３０：ラインメモリ、３１：ＲＧＢプロセス処理部、３２：露光制御部、３３ａ：第１のレジスタ、３３ｂ：第２のレジスタ、３４：ホワイトバランス処理部、３５ａ：第３のレジスタ、３５ｂ：第４のレジスタ、４０：露光制御用演算回路、４１、５１：第１のセレクタ、４２：第１のレジスタ、４３、５３：第２のセレクタ、４４：第２のレジスタ、４５、５５：第３のセレクタ、４６、５６：切り替えタイミング調整部、５０：ホワイトバランス用演算回路、５２：第３のレジスタ、５４：第４のレジスタ

Claims (16)

1. 時分割で動作する第１及び第２の固体撮像素子の露光量を制御する画像信号処理回路において、前記第１及び第２の固体撮像素子から出力される第１及び第２の画像信号の値が所定の範囲に収まるように前記第１及び第２の固体撮像素子の露光量を指定する第１及び第２の露光データをそれぞれ生成する露光制御部を備え、前記露光制御部は、前記第１の露光データを格納する第１の記憶部と、前記第２の露光データを格納する第２の記憶部と、を有することを特徴とする画像信号処理回路。
2. 請求項１に記載の画像信号処理回路において、
   前記第１及び第２の固体撮像素子の一方が動作する期間で、動作中の固体撮像素子から得られる画像信号に応じて前記第１及び第２の露光データの一方の値を順次更新すると共に、前記第１及び第２の露光データの他方の値を更新せずに保持することを特徴とする画像信号処理回路。
3. 請求項２に記載の画像信号処理回路において、
   前記第１及び第２の固体撮像素子の動作が切り替えられるとき、動作停止期間で保持された前記露光データの値を動作開始時の初期値とすることを特徴とする画像信号処理回路。
4. 請求項２に記載の画像信号処理回路において、
   前記第１及び第２の固体撮像素子の動作が切り替えられるとき、動作切り替えタイミングの直前の前記第１及び第２の露光データの値を前記動作切り替えタイミングから所定期間に亘って保持することを特徴とする画像信号処理回路。
5. 時分割で動作する第１及び第２の固体撮像素子から出力される第１及び第２の画像信号に所定のゲインを与えてホワイトバランスを補正する画像信号処理回路において、前記第１及び第２の画像信号に対するゲイン量を示す第１及び第２のゲインデータをそれぞれ生成するホワイトバランス処理部を備え、前記ホワイトバランス処理部は、前記第１のゲインデータを格納する第１の記憶部と、前記第２のゲインデータを格納する第２の記憶部と、を有することを特徴とする画像信号処理回路。
6. 請求項５に記載の画像信号処理回路において、
   前記第１及び第２の固体撮像素子の一方が動作する期間で、動作中の固体撮像素子から得られる画像信号に応じて前記第１及び第２のゲインデータの一方の値を順次更新すると共に、前記第１及び第２のゲインデータの他方の値を更新せずに保持することを特徴とする画像信号処理回路。
7. 請求項６に記載の画像信号処理回路において、
   前記第１及び第２の固体撮像素子の動作が切り替えられるとき、動作停止期間で保持された前記ゲインデータの値を動作開始時の初期値とすることを特徴とする画像信号処理回路。
8. 請求項６に記載の画像信号処理回路において、
   前記第１及び第２の固体撮像素子の動作が切り替えられるとき、動作切り替えタイミングの直前の前記第１及び第２のゲインデータの値を前記動作切り替えタイミングから所定期間に亘って保持することを特徴とする画像信号処理回路。
9. 第１の被写体映像に応答して発生する情報電荷を複数の受光画素に蓄積する第１の固体撮像素子と、前記第１の固体撮像素子を駆動して第１の画像信号を得る第１の駆動回路と、第２の被写体映像に応答して発生する情報電荷を複数の受光画素に蓄積する第２の固体撮像素子と、前記第２の固体撮像素子を駆動して第２の画像信号を得る第２の駆動回路と、前記第１及び第２の画像信号を取り込んで前記第１及び第２の固体撮像素子の動作タイミングに同期して何れか一方を選択的に出力する選択回路と、前記第１及び第２の固体撮像素子から出力される第１及び第２の画像信号の値が所定の範囲に収まるように前記第１及び第２の固体撮像素子の露光量を指定する第１及び第２の露光データをそれぞれ生成する露光制御回路と、を備え、前記露光制御回路は、前記第１の露光データを格納する第１の記憶部と、前記第２の露光データを格納する第２の記憶部と、を有することを特徴とする撮像装置。
10. 請求項９に記載の撮像装置において、
    前記第１及び第２の固体撮像素子が時分割で動作し、前記露光制御回路は、前記第１及び第２の固体撮像素子の一方が動作する期間で、動作中の固体撮像素子から得られる画像信号に応じて前記第１及び第２の露光データの一方の値を順次更新すると共に、前記第１及び第２の露光データの他方の値を更新せずに保持することを特徴とする撮像装置。
11. 請求項１０に記載の撮像装置において、
    前記露光制御回路は、前記第１及び第２の固体撮像素子の動作が切り替えられるとき、動作停止期間で保持された前記露光データの値を動作開始時の初期値とすることを特徴とする撮像装置。
12. 請求項１０に記載の撮像装置において、
    前記露光制御回路は、前記第１及び第２の固体撮像素子の動作が切り替えられるとき、動作切り替えタイミングの直前の前記第１及び第２の露光データの値を前記動作切り替えタイミングから所定期間に亘って保持することを特徴とする撮像装置。
13. 第１の被写体映像に応答して発生する情報電荷を複数の受光画素に蓄積する第１の固体撮像素子と、前記第１の固体撮像素子を駆動して第１の画像信号を得る第１の駆動回路と、第２の被写体映像に応答して発生する情報電荷を複数の受光画素に蓄積する第２の固体撮像素子と、前記第２の固体撮像素子を駆動して第２の画像信号を得る第２の駆動回路と、前記第１及び第２の画像信号を取り込んで前記第１及び第２の固体撮像素子の動作タイミングに同期して何れか一方を選択的に出力する選択回路と、前記第１及び第２の画像信号に所定のゲインを与えてホワイトバランスを補正するホワイトバランス処理回路と、を備え、前記ホワイトバランス処理回路は、前記第１の画像信号に対するゲイン量を示す第１のゲインデータを格納する第１の記憶部と、前記第２の画像信号に対するゲイン量を示す前記第２のゲインデータを格納する第２の記憶部と、を有することを特徴とする撮像装置。
14. 請求項１３に記載の撮像装置において、
    前記第１及び第２の固体撮像素子が時分割で動作し、前記ホワイトバランス処理回路は、前記第１及び第２の固体撮像素子の一方が動作する期間で、動作中の固体撮像素子から得られる画像信号に応じて前記第１及び第２のゲインデータの一方の値を順次更新すると共に、前記第１及び第２のゲインデータの他方の値を更新せずに保持することを特徴とする撮像装置。
15. 請求項１４に記載の撮像装置において、
    前記ホワイトバランス処理回路は、前記第１及び第２の固体撮像素子の動作が切り替えられるとき、動作停止期間で保持された前記ゲインデータの値を動作開始時の初期値とすることを特徴とする撮像装置。
16. 請求項１４に記載の撮像装置において、
    前記ホワイトバランス処理回路は、前記第１及び第２の固体撮像素子の動作が切り替えられるとき、動作切り替えタイミングの直前の前記第１及び第２のゲインデータの値を前記動作切り替えタイミングから所定期間に亘って保持することを特徴とする撮像装置。

Images