JP2007020223A - 撮像装置 - Google Patents

Abstract

【課題】 撮像装置の回路規模を縮小化する。
【解決手段】 第１及び第２のＣＣＤドライバ回路３３ａ、３３ｂは、第１及び
第２のＣＣＤ固体撮像素子３１ａ、３１ｂから所定の時間毎に交互に第１及び第
２の画像信号Ｙa(t)、Ｙb(t)を取り出す。選択回路３６は、第１及び第２のＣＣ
Ｄ固体撮像素子の動作タイミングに応答するタイミングで、第１及び第２の画像
信号Ｙa(t)、Ｙb(t)を交互に取り込み、画像信号Ｙ(t)として出力する。これに
より、選択回路３６の出力側では、実質的に第１及び第２の画像信号Ｙa(t)、Ｙ
b(t)が合成された状態となる。
【選択図】 図１

Description

本願発明は、複数の固体撮像素子を用いて複数の被写体映像を撮像し、それによって得られる複数系列の画像信号を合成して共通の表示画面に複数の再生画像を表示する撮像装置に関する。

デジタルスチルカメラ等の撮像装置において、複数の固体撮像素子を搭載し、互いに異なる被写体を同時に撮像することが考えられている。このような撮像装置では、複数の固体撮像装置から得られる複数系列の画像信号を合成して、例えば、１つの表示画面上に複数の再生画像を表示するように構成される。図９は、複数の固体撮像素子を搭載した撮像装置の一例を示すブロック図である。

図９に示す撮像装置は、２つの被写体映像を撮像するために、それぞれの被写体に対応して２つの撮像装置２０ａ、２０ｂを有しており、メモリコントローラ９によって、それぞれの出力が制御される。

第１の撮像装置２０ａは、第１のＣＣＤ固体撮像素子１ａ、第１の昇圧回路２ａ、第１のＣＣＤドライバ回路３ａ、第１のタイミング制御回路４ａ、第１のアナログ信号処理回路５ａ、第１のＡ／Ｄ変換回路６ａ、第１のデジタル信号処理回路７ａ及び第１のメモリ８ａから構成され、第１の撮像系をなしている。第１のＣＣＤ固体撮像素子１ａは、複数の受光画素が行列配置され、入射される第１の被写体画像に応答して発生した情報電荷を各受光画素に蓄積する。また、第１のＣＣＤ固体撮像素子１ａは、各受光画素に発生する過剰な情報電荷を基板側へ吸収させる、いわゆる縦型オーバーフロードレイン構造を有しており、各受光画素に蓄積される情報電荷の基板側への排出が可能になっている。

第１の昇圧回路２ａは、入力される電源電圧ＶD（図示せず）を昇圧して昇圧電圧を発生し、第１のＣＣＤドライバ回路３ａへ供給する。第１のＣＣＤドライバ回路３ａは、第１の昇圧回路２ａで生成される昇圧電圧を用いて複数のクロックパルスを生成し、第１のＣＣＤ固体撮像素子１ａへ供給する。これら複数のクロックパルスは、第１のタイミング制御回路４ａから供給される各種タイミング信号に基づいて生成される。これにより、第１のＣＣＤ固体撮像素子１ａの各受光画素に蓄積された情報電荷の電荷量に応じた画像信号Ｙ(t)が、第１のＣＣＤ固体撮像素子１ａから１画素単位で取り出される。

第１のタイミング制御回路４ａは、一定周期の基準クロックＣＫをカウントする複数のカウンタからなり、基準クロックＣＫを分周して垂直同期信号ＶＤ及び水平同期信号ＨＤを生成する。そして、これら垂直同期信号ＶＤ及び水平同期信号ＨＤに同期するタイミングで、第１のＣＣＤドライバ回路１ｂに供給する各種タイミング信号を生成する。これにより、第１のＣＣＤ固体撮像素子１ａからは、水平同期信号ＨＤに同期するタイミングで１ライン毎の画像信号Ｙ(t)が出力され、垂直同期信号ＶＤに同期するタイミングで１画面毎の画像信号Ｙ(t)が出力される。

第１のアナログ信号処理回路５ａは、第１のＣＣＤ固体撮像素子１ａから出力される画像信号Ｙa(t)に対して、ＣＤＳ(Correlated Double Sampling：相関二重サンプリング)、ＡＧＣ（Automatic Gain Control：自動利得制御）等のアナログ信号処理を施す。ＣＤＳでは、リセットレベルと信号レベルとを繰り返す画像信号に対し、リセットレベルをクランプした後に信号レベルを取り出すようにして、信号レベルの連続する画像信号を生成する。ＡＧＣでは、ＣＤＳで取り出された画像信号を１画面、或いは、１垂直走査期間単位
で積分して、その積分データを所定の範囲内に収めるようにゲイン調整を行う。第１のＡ／Ｄ変換器６ａは、第１のアナログ信号処理回路５ａから出力される第１の画像信号Ｙa(t)を第１のＣＣＤ固体撮像素子１ａの出力タイミングに同期して規格化し、デジタル信
号の第１の画像データＹa(n)を出力する。

第１のデジタル信号処理回路７ａは、第１の画像データＹa(n)に対して、色分離、マトリクス演算等の処理を施し、輝度データ及び色差データを含む画像データＹ'(n)を生成する。また、第１のデジタル信号処理回路７ａでは、露光制御回路及びホワイトバランス制御回路を内蔵し、第１のＣＣＤ固体撮像素子１ａの露光状態を制御する露光制御、画像信号Ｙ(t)のホワイトバランスを調整するホワイトバランス補正処理を施す。第１のメモリ８ａはフレームメモリであり、メモリコントローラ９からの書き込み指示に応答して第１のデジタル信号処理回路７ａから出力される輝度データ及び色差データを１画面単位で格納する。

第２の撮像装置２０ｂは、第２のＣＣＤ固体撮像素子１ｂ、第２の昇圧回路２ｂ、第２のＣＣＤドライバ回路３ｂ、第２のタイミング制御回路４ｂ、第２のアナログ信号処理回路５ｂ、第２のＡ／Ｄ変換回路６ｂ、第２のデジタル信号処理回路７ｂ及び第２のメモリ８ｂから構成され、第２の撮像系をなしている。この第２の撮像装置２０ｂを構成する各回路は、第１の撮像装置２０ａを構成する各回路と同一の回路構成であり、第２のＣＣＤ固体撮像素子１ｂから出力される第２の画像信号に対して同等の処理を行う。

メモリコントローラ９は、第１及び第２のメモリ８ａ、８ｂからの第１及び第２の画像データの読み出しタイミングを制御し、第１の撮像装置２０ａで撮像された撮影画像と第２の撮像装置２０ｂで撮像された撮影画像とが、単一の表示画面上で再生されるように制御する。例えば、図１０（ａ）に示すように、単一の表示画面で垂直方向に分割された２つの領域に、第１の撮像装置２０ａで撮像された第１の撮影画像Ａと第２の撮像装置２０ｂで撮像された第２の撮像画像Ｂとをそれぞれ表示する場合、第１及び第２のメモリ８ａ、８ｂから第１の撮影画像Ａに対応する第１の画像データＹa(n)と第２の撮影画像Ｂに対応する第２の画像データＹb(n)とを取り出すようにする。その後、表示画面上での表示形態に合うように２つの画像データを合成する。また、図１０（ｂ）に示すように、表示画面上に主として第１の撮像画像Ａを表示し、表示画面の左下の１／４の領域に第２の撮像画像Ｂを縮小表示する場合、第１のメモリ８ａから表示画面の上半分に相当する第１の画像データＹa(n)を読み出し、その後、第１及び第２のメモリ８ａ、８ｂから表示画面の下半分の領域に相当する第１の画像データＹa(n)と第２の画像データＹb(n)とを読み出す。このとき、第２の撮影画像Ｂが表示画面上に割り当てられた領域で１画面分を表示するために、第２のメモリ８から読み出される１画面分の画像データを１／４のデータに圧縮する。そして、第１の画像データＹa(n)と圧縮された第２の画像データＹb(n)とを合成して、第１の撮影画像Ａと１／４に縮小された第２の撮影画像Ｂとを１つの表示画面上に同時に表示する。

上述のような複数の被写体映像を複数の固体撮像素子を用いて撮像し、単一の表示画面上に複数の撮影画像を合成して表示する撮像装置は、固体撮像素子、駆動回路、タイミング制御回路及び信号処理回路がそれぞれ複数組搭載されており、回路規模が大きくなると共に、消費電力も大きくなるという不都合があった。このため、固体撮像素子以外の回路を共有化して撮像装置の回路規模を小型化することが考えられるが、撮像装置に含まれる回路のどこを共通にするかは多数の選択肢があり、これらの選択肢のうちから単純に共有化する回路を選択すると、機能低下等の弊害を招いてしまう。例えば、駆動系を共有化した場合、複数の固体撮像素子を同時駆動することができず、それぞれの固体撮像素子のフ
レームレートが低下してしまう。

そこで、本願発明は、複数の固体撮像素子を用いた撮像装置において、個別に設ける回路と共通にする回路との最適な組み合わせを見出し、回路規模の縮小を実現すると共に、効率的な動作を可能とする撮像装置の提供を目的とする。

本願発明は、上述の課題を解決するために成されたもので、その特徴とするところは、複数の受光画素が行列配置され、第１の被写体映像に応答して発生する情報電荷を各受光画素に蓄積する第１の固体撮像素子と、複数の受光画素が行列配置され、第２の被写体映像に応答して発生する情報電荷を各受光画素に蓄積する第２の固体撮像素子と、前記第１の固体撮像素子の各受光画素に蓄積された情報電荷を転送出力して第１の画像信号を得る第１の駆動回路と、前記第２の固体撮像素子の各受光画素に蓄積された情報電荷を転送出力して第２の画像信号を得る第２の駆動回路と、一定周期の基準クロックに基づいて、前記第１及び第２の固体撮像素子の垂直走査及び水平走査のタイミングを決定するタイミング制御回路と、前記第１及び第２の固体撮像素子の動作タイミングに同期して前記第１及び第２の画像信号の何れか一方を選択的に出力する選択回路と、前記選択回路からの出力を受けて所定の画像信号を生成する信号処理回路と、を備え、前記選択回路は、所定の時間毎に交互に前記第１及び第２の画像信号を選択することにある。

本願発明によれば、第１及び第２の画像信号が第１及び第２の固体撮像素子から選択回路に取り込まれ、これら第１及び第２の画像信号が選択回路で所定の時間毎に交互に選択されて出力される。この結果、選択回路の出力側で実質的に第１及び第２の画像信号が合成される。このため、選択回路以降の信号処理回路を第１及び第２の固体撮像素子で共有化することができる。

図１は、本願発明の撮像装置の第１の実施形態の構成を示すブロック図である。この撮像装置は、２つの固体撮像装置を備えたものであり、第１及び第２のＣＣＤ固体撮像素子３１ａ、３１ｂ、第１及び第２の昇圧回路３２ａ、３３ｂ、第１及び第２のＣＣＤドライバ回路３３ａ、３３ｂ、タイミング制御回路３４、第１及び第２のクランプ回路３５ａ、３５ｂ、選択回路３６、アナログ信号処理回路３７、Ａ／Ｄ変換回路３８及びデジタル信号処理回路３９で構成される。

第１のＣＣＤ固体撮像素子３１ａは、例えば、図２に示すようなフレームトランスファ型の固体撮像素子であり、撮像部から蓄積部まで連続する複数の垂直シフトレジスタ１ｖ、これら複数の垂直シフトレジスタ１ｖの出力側に配置される水平シフトレジスタ１ｈ及びこの水平シフトレジスタ１ｈの出力側に配置される出力部１ｄより構成される。撮像部では、垂直シフトレジスタ１ｖが電気的に分離されて複数の受光画素が形成され、第１の被写体画像を受けて発生する情報電荷が各受光画素に蓄積される。また、撮像部では、複数の垂直シフトレジスタの一部の列が遮光されて所謂ＯＰＢ（Optical Black）領域と称される領域に設定されている。撮像部の各受光画素に蓄積された情報電荷は、フレーム転送クロックφa(f)及び垂直転送クロックφa(v)によって蓄積部に高速で転送される。蓄積部に出力された情報電荷は、蓄積部で一時的に蓄積され、垂直転送クロックφa(v)によって水平シフトレジスタ１ｈに１ライン単位で転送され、水平転送クロックφｈによって水平シフトレジスタ１ｈから出力部１ｄ側へ１画素単位で転送される。出力部１ｄへ出力された情報電荷は、１画素毎に容量に蓄積されることで、電荷量に応じた電圧値に変換され、画像信号Ｙa(t)として出力される。このとき、出力部１ｄでは、水平転送クロックφｈに同期するリセットクロックφｒに応答して容量に蓄積された情報電荷がドレインへ
排出される。また、第１のＣＣＤ固体撮像素子１ａは、撮像部に発生する過剰な電荷を基板側へ吸収させる所謂縦型オーバーフロードレイン構造を有しており、撮像部に蓄積される情報電荷を基板クロックφa(b)によって基板側へ排出することが可能になっている。第２のＣＣＤ固体撮像素子３１ｂは、第１のＣＣＤ固体撮像素子３１ａと同様に複数の受光画素が行列配置され、第２の被写体映像に応答して発生する情報電荷を各受光画素に蓄積し、この蓄積した情報電荷に応じた第２の画像信号Ｙb(t)を出力する。この第２のＣＣＤ固体撮像素子３１ｂは、動作電圧や駆動クロックの周波数といった駆動条件が第１のＣＣＤ固体撮像素子３１ｂと等しくなるように設定されている。

第１の昇圧回路３２ａは、第１のＣＣＤ固体撮像素子３１ａに対応して配置され、入力される電源電圧ＶD（図示せず）を昇圧して昇圧電圧を生成し、第１のＣＣＤドライバ回路３３ａへ供給する。第２の昇圧回路３３ｂは、第２のＣＣＤ固体撮像素子３１ｂに対応して配置され、第１の昇圧回路３２ａと同様に、電源電圧ＶDを昇圧して得られる昇圧電圧を第２のＣＣＤドライバ回路３３ｂへ供給する。

第１のＣＣＤドライバ回路３３ａは、タイミング制御回路３４から供給されるタイミング信号に基づいて第１のフレーム転送クロックφa(f)、第１の垂直転送クロックφa(v)、第１の水平転送クロックφa(h)、第１のリセットクロックφa(r)及び第１の基板クロックφa(b)を生成し、第１のＣＣＤ固体撮像素子３１ａへ供給する。第２のＣＣＤドライバ回路３３ｂは、タイミング制御回路３４から供給されるタイミング信号に基づいて第２のフレーム転送クロックφb(f)、第２の垂直転送クロックφb(v)、第２の水平転送クロックφb(h)、第２のリセットクロックφb(r)及び第２の基板クロックφb(b)を生成し、第２のＣＣＤ固体撮像素子３３ｂへ供給する。これら第１及び第２のＣＣＤドライバ回路３３ａ、３３ｂは、第１及び第２のＣＣＤ固体撮像素子３１ａ、３１ｂのそれぞれに対応して配置されており、このため、第１及び第２の固体撮像素子３１ａ、３１ｂの同時駆動が可能となっている。

タイミング制御回路３４は、一定周期の基準クロックＣＫをカウントする複数のカウンタ３４ａと、このカウンタの出力をデコードするデコーダ３４ｂからなり、デコーダ３４ｂの設定値を変更することで様々なタイミング信号を複数生成することができる。このタイミング制御回路３４は、第１及び第２のＣＣＤドライバ回路３３ａ、３３ｂに対して共通に配置される。

また、タイミング制御回路３４では、例えば、図３のように設定される複数の表示モードのそれぞれに対応する複数の設定データのうちから１つを後述するレジスタ４０から受け、これに応じてデコーダ３４ｂの設定値が変更される。これにより、各クロックパルスの供給開始タイミングや立ち上がりタイミングが変更される。例えば、図３(b)の場合、これに対応する設定データがデコーダ３４ｂに与えられ、第１のＣＣＤドライバ回路３３ａに供給するクロックパルスの位相と第２のＣＣＤドライバ回路３３ｂに供給するクロックパルスの位相とがずれるように各クロックパルスが生成される。そして、これらのクロックパルスが第１及び第２のＣＣＤ固体撮像素子３１ａ、３１ｂへ供給され、第１の画像信号Ｙa(t)と第２の画像信号Ｙb(t)とが時分割で出力されるように制御される。

レジスタ４０は、複数の表示モードのそれぞれに対応付けられた複数の設定データを格納しており、外部から与えられる表示モード切り替え信号ＭＯＤＥを受けて、これによって指定される表示モードに対応した設定データをタイミング制御回路３４に出力する。これにより、各クロックパルスの供給開始のタイミングや、或いは、立ち上がりのタイミングが指定された表示モードに合わせて変更される。

第１のクランプ回路３５ａは、第１のＣＣＤ固体撮像素子３１ａに対応して配置され、
第１の画像信号Ｙa(t)をクランプして選択回路３６に供給し、第２のクランプ回路３５ｂは、第２のＣＣＤ固体撮像素子３１ｂに対応して配置され、第２の画像信号Ｙb(t)をクランプして選択回路３６に供給する。これら第１及び第２のクランプ回路３５ａ、３５ｂは、互いに同一のクランプレベルを有しており、第１及び第２の画像信号Ｙa(t)、Ｙb(t)の互いの黒レベルを同じ電圧レベルに固定した後に出力するようにしている。

選択回路３６は、２つの入力端子３６ａ、３６ｂと１つの出力端子３６ｃとを備えて構成され、第１及び第２のクランプ回路３５ａ、３５ｂから出力される第１及び第２の画像信号Ｙa(t)、Ｙb(t)を取り込んで、これらの信号の何れか一方を選択して画像信号Ｙ(t)として出力する。選択回路３６は、タイミング制御回路３４から供給されるタイミング信号に従って動作し、第１のＣＣＤ固体撮像素子３１ａから第１の画像信号Ｙa(t)が出力されている期間で入力端子３６ａと出力端子３６ｃを接続し、第２のＣＣＤ固体撮像素子３１ｂから第２の画像信号Ｙb(t)が出力されている期間で入力端子３６ｂと出力端子３６ｃを接続する。即ち、選択回路３６は、第１及び第２のＣＣＤ固体撮像素子３１ａ、３１ｂから時分割で出力される２系列の画像信号をこれらの出力タイミングに応じて選択的に取り込んで出力することで、その出力側で実質的に１系列の画像信号に合成している。

アナログ信号処理回路３７は、選択回路３６から出力される画像信号Ｙ(t)を取り込み、ＣＤＳ、ＡＧＣ等の信号処理を施して画像信号Ｙ'(t)を出力する。Ａ／Ｄ変換回路３８は、アナログ信号処理の施された画像信号Ｙ'(t)をデジタル信号に変換し、画像データＹ(n)として出力する。デジタル信号処理回路３９は、画像データＹ(n)に対して、色分離、マトリクス演算等の処理を施し、輝度データ及び色差データを含む画像データを生成する。更に、デジタル信号処理回路３９は、露光制御回路、ホワイトバランス制御回路、積分回路を内蔵しており、画像データを所定の期間単位で積分して、その積分値に基づいて露光制御、ホワイトバランス補正を行う。尚、アナログ信号処理回路３７、Ａ／Ｄ変換回路３８及びデジタル信号処理回路３９では、タイミング制御回路３４の制御によって、第１及び第２の画像信号Ｙa(t)、Ｙb(t)のそれぞれに対する信号処理が時分割で別々に行われる。

以上のように、第１及び第２のＣＣＤ固体撮像素子３１ａ、３１ｂに対して第１及び第２のＣＣＤドライバ回路３３ａ、３３ｂ、第１及び第２のクランプ回路３５ａ、３５ｂを個別に設け、アナログ信号処理回路３７、Ａ／Ｄ変換回路３８及びデジタル信号処理回路３９を共有化することで、機能低下を防止しながら撮像装置としての回路規模の縮小化を可能としている。即ち、２つのＣＣＤ固体撮像素子３１ａ、３１ｂを同時駆動させながら第１及び第２の画像信号の出力タイミングを時分割に設定し、その出力タイミングに合わせて選択回路３６を動作させることで、２つの画像信号の切り換え動作を効率良く行っている。そして、選択回路３６以降のアナログ信号処理回路３７、Ａ／Ｄ変換回路３８及びデジタル信号処理回路３９を共有化することで、撮像装置としての回路規模の縮小化を効果的に実現している。更に、第１及び第２のＣＣＤ固体撮像素子３１ａ、３１ｂに対してタイミング制御回路３４を共通に設けており、回路規模の更なる小型化を可能としている。

また、本願発明の撮像装置では、２つのＣＣＤ固体撮像素子３１ａ、３１ｂに対して２つのクランプ回路３５ａ、３５ｂを個別に設けている。このため、２つのＣＣＤ固体撮像素子３１ａ、３１ｂの製造ばらつき等によって第１及び第２の画像信号Ｙa(t)、Ｙb(t)の黒レベルにレベル差が生じたとしても、このレベル差を補正した後に選択回路３６へ供給することができる。これにより、２つのＣＣＤ固体撮像素子３１ａ、３１ｂのそれぞれから得られる２つの撮像画像のコントラストのばらつきを抑制し、２つの撮像画像で画質が相違するのを防止することができる。

図４は、図１の動作を説明するタイミング図である。ここでは、図３に示す複数の表示モードのうちから、主として第１の撮像画像Ａを表示し、左下の１／４の領域に第２の撮像画像Ｂを表示する場合（図３（ａ））を例にあげて説明する。尚、以下の説明において、第１及び第２のＣＣＤ固体撮像素子３１ａ、３１ｂの撮像部が１２ラインで構成されるものとする。

タイミングｔ０〜ｔ１において、垂直同期信号ＶＤのブランキング期間内で第１のフレーム転送クロックφa(f)及び第１の垂直転送クロックφa(v)がクロッキングされて、第１のＣＣＤ固体撮像素子３１ａの撮像部に蓄積される１画面分の情報電荷が蓄積部に転送出力される。続くタイミングｔ１〜ｔ２において、第２のフレーム転送クロックφb(f)及び第２の垂直転送クロックφb(v)がクロッキングされて、第２のＣＣＤ固体撮像素子３１ｂの撮像部に蓄積される１画面分の情報電荷が蓄積部に転送出力される。ここで、第１のＣＣＤ固体撮像素子３１ａと第２のＣＣＤ固体撮像素子３１ｂとでフレームシフトタイミングをずらすのは、フレームシフト開始時の突入電流のピーク値を低減させるためである。即ち、フレームシフトは、撮像部に蓄積された情報電荷を高速で蓄積部に転送出力するため、フレームシフト開始時には過大な突入電流が流れる。そこで、２つのＣＣＤ固体撮像素子で同時にフレームシフトを開始しないことで、突入電流のピーク値を低く抑えている。

続いて、タイミングｔ３において、水平同期信号ＨＤに同期するタイミングで第１の垂直転送クロックφa(v)がクロッキングされ始め、第１のＣＣＤ固体撮像素子３１ａの蓄積部に出力された１画面分の情報電荷が１ライン単位で順次水平転送部に転送出力され、水平転送部に出力された情報電荷が順次画像信号Ｙa(t)として出力される。これは、タイミングｔ５まで継続され、１画面分の上半分の領域に相当する６ライン分の画像信号が出力される。尚、この期間では、第２のＣＣＤドライバ回路３３ｂへの電力供給が停止され、第２の垂直転送クロックφb(v)がローレベルに固定されている。これにより、第２のＣＣＤ固体撮像素子３１ｂから第２の画像信号Ｙb(t)の出力がなされないようにしている。

タイミングｔ４において、第１の基板クロックφa(b)が立ち上げられて、第１のＣＣＤ固体撮像素子３１ａの撮像部に蓄積された情報電荷が基板側に排出される。そして、次のフレームシフトタイミングまでの期間Ｌaで撮像部に情報電荷が蓄積される。また、タイミングｔ６において、第２の基板クロックφb(b)が立ち上げられて、次のフレームシフトタイミングまでの期間Ｌbで第２のＣＣＤ固体撮像素子３１ｂの撮像部に情報電荷が蓄積される。

タイミングｔ５において、第１のＣＣＤ固体撮像素子３１ａからの６ライン分の画像信号の出力が完了すると、第１の垂直転送クロックφa(v)の周期が２倍に変更され、それと同じ周期で第２の垂直転送クロックφb(v)のクロッキングが開始される。第１及び第２の垂直転送クロックφa(v)、φb(v)は、タイミングｔ５〜ｔ７にわたってクロッキングされ、第１のＣＣＤ固体撮像素子３１ａから第２の画像信号Ｙb(b)が出力される。この期間では、図４に示すように、第１及び第２の垂直転送クロックφa(v)、φb(v)が交互に立ち上がるように設定され、この結果、第１及び第２のＣＣＤ固体撮像素子３１ａ、３１ｂからは第１及び第２の画像信号Ｙa(t)、Ｙb(t)が１ライン単位で交互に出力される。このとき、第２の画像信号Ｙb(t)は、表示領域が垂直方向の１／２の領域に設定されているため、１２ラインで構成される１画面分が１ラインおきに間引かれて６ラインで出力される。また、タイミングｔ５〜ｔ７においては、第１及び第２の画像信号Ｙa(t)、Ｙb(t)の出力タイミングに応答して、選択回路３６でそれぞれの画像信号が選択的に取り出され、画像信号Ｙ(t)として出力される。このように、第１及び第２の画像信号Ｙ(t)の出力タイミングを制御し、その出力タイミングに合わせて選択回路３６を動作させることで、指定された表示モードに合わせた順序で画像信号を取り出すことができる。

図５は、図４に示すタイミングで第１及び第２のＣＣＤ固体撮像素子３１ａ、３１ｂから出力される第１及び第２の画像信号Ｙa(t )、Ｙb(t)と、選択回路３６から出力される画像信号Ｙ(t)と、デジタル信号処理回路３９から出力される画像データＤ(n)との状態を示すタイミング図である。

第１の画像信号Ｙa(t)は、図４で説明したように、６ライン目までは、順次１ライン単位で連続して出力される。その後、７ライン目からは、第２の画像信号Ｙb(t)と互いに異なるタイミングで交互に出力される。第２の画像信号Ｙb(t)は、第１の画像信号Ｙa(t)が６ライン分の出力が完了した後に出力が開始される。

選択回路３６から出力される画像信号Ｙ(t)は、６ライン目までが第１の画像信号Ｙa(t)の６ラインとなり、７ライン目以降が第１の画像信号Ｙa(t)と第２の画像信号Ｙb(t)とが１ライン単位で交互に割り当てられる。即ち、第１の画像信号Ｙa(t)が６ライン目まで出力されるまでの期間では、選択回路３６で第１のＣＣＤ固体撮像素子３１ａ側が選択されており、第１の画像信号Ｙa(t)の６ライン目までがそのまま選択されて画像信号Ｙ(t)として出力される。それ以降の期間では、選択回路３６で第１のＣＣＤ固体撮像素子３１ａ側と第２のＣＣＤ固体撮像素子３１ｂ側とが交互に選択され、第２の画像信号Ｙb(t)の１ライン目の信号に続いて第１の画像信号Ｙa(t)の７ライン目の信号、それに続いて第２の画像信号Ｙb(t)の３ライン目の信号という具合に、第１及び第２の画像信号Ｙa(t)、Ｙb(t)が交互に割り当てられて画像信号Ｙ(t)として出力される。この結果、画像信号Ｙ(t)の７ライン目以降は、実質的に第１の画像信号Ｙa(t)と第２の画像信号Ｙb(t)とが合成された状態となる。

デジタル信号処理回路３９から出力される画像データＤ(n)は、第１の画像信号Ｙa(t)の６ライン目までに相当する画像信号Ｙ(t)の６ライン目までが順次信号処理が施されて出力される。７ライン目以降は、第２の画像信号Ｙb(t)の１ライン分に対応する画像データが、デジタル信号処理回路３９に内蔵される圧縮回路で１ラインの半分のデータに圧縮される。これに加え、７ライン目以降では、第１の画像信号Ｙa(t)の１ライン分に対応する画像データから表示領域には当たらない１ラインの前半のデータが取り除かれる。そして、圧縮された画像データと１ラインの後半のみが取り出されたデータとが合成されて１ライン分の画像データＤ(n)とされる。例えば、画像データＤ(n)の７ライン目のデータは、第２の画像信号Ｙb(t)の１ライン目から生成された画像データが１ラインの半分に圧縮されたデータと第１の画像信号Ｙa(t)の７ライン目から生成された画像データの１ラインの後半が取り出されたデータとが合成されて生成されている。これにより、表示画面には、第１のＣＣＤ固体撮像素子３１ａで撮像した第１の撮影画像Ａの左下側１／４の領域に第２のＣＣＤ固体撮像素子３１ｂで撮像した第２の撮影画像Ｂが縮小表示され、２つの撮像画像が同時に表示される。

このように、第１の画像信号Ｙa(t)と第２の画像信号Ｙb(t)との出力を切り換え、それに合わせた圧縮処理や合成処理を行うことで、表示画面上での再生画像の表示形態を切り換えることができる。即ち、それぞれの表示領域に合わせて第１及び第２の画像信号Ｙa(t)、Ｙb(t)の各画像信号の出力を制御することで、フレームメモリを用いずとも、指定される表示モードに応じた画像データを生成することができる。例えば、図３（ｂ）に示すように表示画面の垂直方向に１／２に分割された領域のそれぞれに第１及び第２の撮像画像Ａ、Ｂを表示するには、第１及び第２の画像信号Ｙa(t)、Ｙb(t)を交互に出力するように第１及び第２のＣＣＤ固体撮像素子３１ａ、３１ｂを駆動すれば良い。また、図３（ｃ）、（ｄ）に示すように第１の撮影画像Ａ、或いは、第２の撮影画像Ｂの何れか一方のみを表示する場合には、表示を所望する画像に合わせて第１のＣＣＤ固体撮像素子３１ａ、または、第２のＣＣＤ固体撮像素子３１ｂの何れか一方を駆動させるようにすれば良い。

図６は、デジタル信号処理回路３９の構成を示すブロック図である。デジタル信号処理回路３９は、ラインメモリ４１、第１及び第２の積分回路４２、４３、露光制御回路４４、ＲＧＢプロセス回路４５、第３及び第４の積分回路４６、４７及びホワイトバランス制御回路４８で構成される。

ラインメモリ４１は、Ａ／Ｄ変換回路３８から出力される画像データＹ(n)を１ライン単位で適数行を格納し、１水平走査期間で保持した後に第１及び第２の積分回路４２、４３に出力する。第１及び第２の積分回路４２は、ラインメモリ４１から出力される画像データＹ(n)を取り込み、例えば、１画面のうちの中央領域に相当する期間で積分する。これら第１及び第２の積分回路４２、４３は、タイミング制御回路３４から供給される第１及び第２の積分制御信号Ｗ1、Ｗ2を受けて動作し、これら第１及び第２の積分制御信号Ｗ１、Ｗ２によって積分期間が制御される。第１及び第２の積分制御信号Ｗ1、Ｗ2は、第１及び第２の画像信号Ｙa(t)、Ｙb(t)の出力タイミング、或いは、出力順序に応じて生成され、例えば、ラインメモリ４１から出力されるデータが第１の画像信号Ｙa(t)から生成されたデータである場合、図７に示すように、そのデータが出力される期間に対応して第１の積分制御信号Ｗ1がハイレベルに立ち上げられる。これにより、第１の積分制御信号Ｗ1を受ける第１の積分回路４２では、第１の画像信号Ｙa(t)から生成された画像データの積分処理が行われる。逆に、ラインメモリ４１から出力されるデータが第２の画像信号Ｙb(t)から生成されたデータである場合、そのデータが出力される期間に対応して第２の積分制御信号Ｗ2がハイレベルに立ち上げられ、第２の積分回路４３で第２の画像信号Ｙb(t)から生成された画像データの積分処理が行われる。つまり、第１及び第２の積分回路４２、４３は、第１及び第２の画像信号Ｙa(t)、Ｙb (t)のそれぞれに対応しており、第１の画像信号Ｙa(t)に対応する画像データの積分と第２の画像信号Ｙb(t)に対応する画像データの積分とを独立して行うことができる。

露光制御回路４４は、第１及び第２の積分回路４２、４３に対して共通に配置され、これら２つの積分回路４２、４３からの出力に基づいて第１及び第２のＣＣＤ固体撮像素子３１ａ、３１ｂの露光状態の制御をそれぞれ独立して時分割で行う。即ち、第１の積分回路４２から出力される積分データに基づいて第１のＣＣＤ固体撮像素子３１aの蓄積時間を伸縮制御し、第２の積分回路４３から出力される積分データに基づいて第２のＣＣＤ固体撮像素子３１ｂの蓄積時間を伸縮制御する。例えば、第１のＣＣＤ固体撮像素子３１ａの露光状態を制御する場合、第１の画像信号Ｙa(t)から生成された画像データの積分値が適正範囲より大きくなると、第１のＣＣＤ固体撮像素子３１ａの蓄積時間を短くするようにタイミング制御回路３３へ指示を与える。逆に、積分値が適正範囲より小さくなると、蓄積時間を長くするように指示を与え、常に第１のＣＣＤ固体撮像素子３１ａの露光状態が適当となるようにフィードバック制御する。

ＲＧＢプロセス回路４５は、画像データＹ(n)に対して、色分離、マトリクス演算等の処理を施し、輝度データ及び色差データを含む画像データＤ(n)を生成する。例えば、色分離処理においては、第１及び第２のＣＣＤ固体撮像素子３１ａ、３１ｂの撮像部に装着されるカラーフィルタの色配列に従って画像データＹ(n)を振り分け、複数の色成分データＲ(n)、Ｇ(n)、Ｂ(n)を生成する。また、マトリクス演算処理においては、振り分けた各色成分データを合成して輝度データを生成すると共に、各色成分データから輝度データを差し引いて色差データを生成する。また、ＲＧＢプロセス回路４５には、圧縮回路、合成回路が内蔵され、必要に応じて特定の画像データに対する圧縮処理を行うと共に、第１のＣＣＤ固体撮像素子３１ａから得られる画像データと第２のＣＣＤ固体撮像素子３１ｂから得られる画像データとを合成する。

第３及び第４の積分回路４６、４７は、ＲＧＢプロセス回路４５から出力される色成分
データＲ(n)、Ｇ(n)、Ｂ(n)を取り込み、例えば、１画面単位から数画面単位で各色成分データ毎に積分する。これら第３及び第４の積分回路４６、４７は、第１及び第２の画像信号Ｙa(t)、Ｙb(t)の出力タイミング、或いは、出力順序に対応して生成される第３及び第４の積分制御信号Ｗ3、Ｗ4を受けて動作し、第１の画像信号Ｙa(t)から生成された色成分データＲ(n)、Ｇ(n)、Ｂ(n)の積分と第２の画像信号Ｙb(t)から生成された色成分データＲ(n)、Ｇ(n)、Ｂ(n)の積分とをそれぞれ独立して行う。

ホワイトバランス制御回路４８は、第３及び第４の積分回路４６、４７に対して共通に配置され、これら２つの積分回路４６、４７から出力される積分データに基づいて第１及び第２の画像信号Ｙa(t)、Ｙb(t )から生成された画像データのホワイトバランスの補正をそれぞれ独立して時分割で行う。このホワイトバランスの補正においては、例えば、第１の画像信号Ｙa(t)から生成された画像データのホワイトバランスを補正する場合、第３の積分回路４６から出力される色成分データＲ(n)、Ｇ(n)、Ｂ(n)の各積分値を比較し、これらの積分値が一致するように色成分信号Ｒ(n)、Ｂ(n)に固有の係数を乗算する。

このように、第１及び第２の画像信号Ｙa(t)、Ｙb(t)のそれぞれに対応して複数の積分回路を設け、第１及び第２の画像信号Ｙa (t)、Ｙb(t)の出力タイミングに応じて各積分回路で積分処理を行うことで、第１及び第２の画像信号Ｙa(t)、Ｙb(t)から生成される画像データの積分をそれぞれ独立して行うことができる。更には、これらの積分回路に対して露光制御回路４４、或いは、ホワイトバランス制御回路４８を共通に設ける構成としたことで、デジタル信号処理回路３９の回路規模の大型化を最小限に抑えている。

続いて、本願発明の第２の実施形態を説明する。図８は、本願発明の第２の実施形態を示すブロック図である。この第２の実施形態において、第１の実施形態と異なる点は、第１のＣＣＤ固体撮像素子３１ａと第２のＣＣＤ固体撮像素子３３ａとで昇圧回路５１を共有化すると共に、クランプ回路３５の前段に選択回路５２を配置してクランプ回路３５以降の信号処理系列を一本化したことにある。

昇圧回路５１は、昇圧部５１ａ及び出力選択部５１ｂからなり、昇圧部５１ａは、入力される電源電圧を昇圧して昇圧電圧を生成し、出力選択部５１ｂは、昇圧５１ｂの出力の供給先を第１のＣＣＤ固体撮像素子３１ａ、第２のＣＣＤ固体撮像素子３３ａの動作タイミングに合わせて切り換える。そして、第１のＣＣＤ固体撮像素子３１ａを駆動させるとき、昇圧回路５１は、昇圧部５１ａにて生成した昇圧電圧を第１のＣＣＤ固体撮像素子３１ａ及び第１のＣＣＤドライバ回路３２ａに出力し、第２のＣＣＤ固体撮像素子３１ｂを駆動させるとき、昇圧電圧を第２のＣＣＤ固体撮像素子３３ａ及び第２のＣＣＤドライバ回路３２ｂに出力する。尚、出力選択部５１ｂによる切換動作は、タイミング制御回路３４からのタイミング信号によって制御され、デジタル信号処理回路３９の切換動作と同期している。

選択回路５２は、第１及び第２のトランジスタ５２ａ、５２ｂ、抵抗素子５２ｃからなる。第１及び第２のトランジスタ５２ａ、５２ｂは、それぞれ第１のＣＣＤ固体撮像素子３１ａ、第２のＣＣＤ固体撮像素子３１ｂに対応して設けられ、電源電圧ＶDと接地点との間に抵抗素子５２ｃと直列接続される。これら第１及び第２のトランジスタ５２ａ、５２ｂは、例えば、バイポーラトランジスタから構成され、ベース端子に第１及び第２のＣＣＤ固体撮像素子３１ａ、３１ｂの出力をそれぞれ受ける。したがって、選択回路５２では、第１及び第２のＣＣＤ固体撮像素子３１ａ、３１ｂのうち、動作中のＣＣＤ固体撮像素子からの画像信号をインピーダンス変換して次段のクランプ回路３５へ画像信号Ｙ(t)として出力する。

このような構成において、例えば、第１のＣＣＤ固体撮像素子３１ａを駆動させる場合
、出力選択部５１ｂで第１のＣＣＤドライバ回路３２ａ側を選択し、昇圧電圧を第１のＣＣＤドライバ回路３２ａへ供給する。そして、第１のＣＣＤ固体撮像素子３１ａが駆動し、第１の画像信号Ｙa(t)が選択回路５２に取り込まれると、第１のトランジスタ５２ａが活性化して第１の画像信号Ｙa(t)が画像信号Ｙ(t)としてクランプ回路３５へ出力される。逆に、第２のＣＣＤ固体撮像素子３１ｂを駆動させる場合には、第２のＣＣＤドライバ回路３２ｂ側へ昇圧電圧が供給されると共に、第２のトランジスタ５２ｂが活性化し、第２の画像信号Ｙb(t)が画像信号Ｙ(t)として出力される。

この第２の実施形態によれば、２つのＣＣＤ固体撮像素子を同時駆動することができないといった制約を受けることになるが、第１の実施形態よりも回路構成を簡略化することができ、従来構成に対して回路規模の大幅な縮小化を図ることができる。また、２つのＣＣＤ固体撮像素子の駆動に対して１つの昇圧回路を動作させるのみとなるため、消費電力を低減させることが可能となり、バッテリ駆動するような撮像装置に対して特に有効となる。

以上、図１乃至図８を参照して本願発明の実施形態を説明した。第１の実施形態では、２つのＣＣＤ固体撮像素子に対して、タイミング制御回路及びアナログ信号処理回路以降の信号処理系列を共有化する構成を例示し、第２の実施形態では、更に昇圧回路及びクランプ回路を共有化する構成を例示したが、本願発明は、これに限られるものではない。例えば、第１の実施形態の構成に加えて昇圧回路だけを共有化する構成であったり、逆に、クランプ回路だけを共有化する構成であっても良い。即ち、共有化する回路及び別々に設ける回路を撮像条件に合わせて選択的に組み合わせて採用することが可能である。

また、本願発明においては、タイミング制御回路を第１及び第２のＣＣＤ固体撮像素子に対して共通としているため、２つのＣＣＤ固体撮像素子の駆動条件が等しく設定されるが、これら２つのＣＣＤ固体撮像素子が全くの同一構成である必要はない。例えば、駆動条件が同一であれば、カラー撮像用やモノクロ撮像用のＣＣＤ固体撮像素子を組み合わせて用いても良いし、デバイス構造の異なるＣＣＤ固体撮像素子を用いても良い。ただし、カラー撮像とモノクロ撮像のＣＣＤ固体撮像素子を組み合わせて用いる場合、カラー撮像用とモノクロ撮像用の両者に対応できる信号処理回路が適用される。

また、デジタル信号処理の露光制御、ホワイトバランス制御において、２つのＣＣＤ固体撮像素子に対応付けて複数の積分回路を設ける構成を例示しているが、本願発明は、これに限られるものではない。例えば、１ライン単位や１画面単位で第１及び第２のＣＣＤ固体撮像素子を交互に駆動させるといった２つのＣＣＤ固体撮像素子の動作切り換えを頻繁に行う場合には、積分回路を各ＣＣＤ固体撮像素子に対応付けて別々に設けるのが望ましいが、複数画面単位で２つのＣＣＤ固体撮像素子の動作を切り換えるような場合には、積分回路を２つのＣＣＤ固体撮像素子で共有化しても良い。

また、第１及び第２のＣＣＤ固体撮像素子がフレームトランスファ型である場合を例にあげて説明したが、本願発明は、これに限られるものではなく、１画面分の情報電荷を一時的に保持することのできる蓄積部を備えるフレームインターライン型の固体撮像素子を用いた撮像装置にも適している。

本願発明によれば、２つのＣＣＤ固体撮像素子からの画像信号の出力タイミングを時分割に設定し、その出力タイミングに合わせて選択回路を動作させている。これにより、２つの画像信号の切り換え動作を効率良く行うことができ、機能低下の弊害を防止しながら、撮像装置としての回路規模を最大限に縮小化することを可能としている。

本願発明の撮像装置の第１の実施形態の構成を示すブロック図である。 固体撮像素子の構成を示す平面図である。 表示モードの一例を示す模式図である。 図１の動作を説明するタイミング図である。 第１及び第２の画像信号Ｙa(t)、Ｙb(t)、画像信号Ｙ(t)、画像データＤ(n)の状態を示すタイミング図である。 デジタル信号処理回路の構成を示すブロック図である。 第１及び第２の積分制御信号を説明するタイミング図である。 本願発明の第２の実施形態の構成を示すブロック図である。 従来の撮像装置の構成を示すブロック図である。 表示モードの一例を示す模式図である。

符号の説明

１ａ、３１ａ：第１のＣＣＤ固体撮像素子
１ｂ、３１ｂ：第２のＣＣＤ固体撮像素子
２ａ、３２ａ：第１の昇圧回路
２ｂ、３３ｂ：第２の昇圧回路
３ａ、３３ａ：第１のＣＣＤドライバ回路
３ｂ、３３ｂ：第２のＣＣＤドライバ回路
４ａ：第１のタイミング制御回路
４ｂ：第２のタイミング制御回路
５ａ：第１のアナログ信号処理回路
５ｂ：第２のアナログ信号処理回路
６ａ：第１のＡ／Ｄ変換器
６ｂ：第２のＡ／Ｄ変換器
７ａ：第１のデジタル信号処理回路
７ｂ：第２のデジタル信号処理回路
８ａ：第１のメモリ
８ｂ：第２のメモリ
９：メモリコントローラ
３４：タイミング制御回路
３５：クランプ回路
３５ａ：第１のクランプ回路
３５ｂ：第２のクランプ回路
３６：選択回路
３７：アナログ信号処理回路
３８：Ａ／Ｄ変換回路
３９：デジタル信号処理回路
４１：ラインメモリ
４２：第１の積分回路
４３：第２の積分回路
４４：露光制御回路
４５：ＲＧＢプロセス回路
４６：第３の積分回路
４７：第４の積分回路
４８：ホワイトバランス制御回路
５１：昇圧回路
５１ａ：昇圧部
５１ｂ：出力選択部
５２：選択回路
５２ａ：第１のトランジスタ
５２ｂ：第２のトランジスタ
５２ｃ：抵抗素子

Claims (5)

1. 複数の受光画素が行列配置され、第１の被写体映像に応答して発生する情報電荷を各受光画素に蓄積する第１の固体撮像素子と、
   複数の受光画素が行列配置され、第２の被写体映像に応答して発生する情報電荷を各受光画素に蓄積する第２の固体撮像素子と、
   前記第１の固体撮像素子の各受光画素に蓄積された情報電荷を転送出力して第１の画像信号を得る第１の駆動回路と、
   前記第２の固体撮像素子の各受光画素に蓄積された情報電荷を転送出力して第２の画像信号を得る第２の駆動回路と、
   一定周期の基準クロックに基づいて、前記第１及び第２の固体撮像素子の何れか一方の垂直走査及び水平走査のタイミングを選択的に決定するタイミング制御回路と、
   前記第１の画像信号及び前記第２の画像信号を取り込んで合成し、前記タイミング制御回路が前記第１の固体撮像素子を駆動させる場合は前記第１の画像信号を選択的に出力し、前記タイミング制御回路が前記第２の固体撮像素子を駆動させる場合は前記第２の画像信号を選択的に出力する選択回路と、
   前記選択回路の出力をクランプして出力するクランプ回路と、
   前記クランプ回路からの出力を受けて所定の画像信号を生成する信号処理回路と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   入力される電圧を昇圧して生成する第１の昇圧電圧を前記第１の駆動回路へ供給する第１の昇圧回路と、
   入力される電圧を昇圧して生成する第２の昇圧電圧を前記第２の駆動回路へ供給する第２の昇圧回路と、を更に備えたことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   入力される電圧を昇圧して昇圧電圧を生成する昇圧回路を更に備え、
   前記昇圧回路は、前記昇圧電圧を生成する昇圧部と、前記昇圧電圧を前記第１及び第２の固体撮像素子の動作タイミングに同期して前記第１及び第２の駆動回路の何れか一方を選択的に出力する出力選択部と、を含むことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記信号処理回路は、前記第１及び第２の画像信号をそれぞれ取り込み、所定の期間単位で積分する第１及び第２の積分回路と、
   前記第１及び第２の積分回路の各出力に基づいて、前記第１及び第２の固体撮像素子の露光状態をそれぞれ独立して制御する露光制御回路と、を含むことを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記信号処理回路は、前記第１及び第２の画像信号をそれぞれ取り込み、所定の期間単位で積分する第３及び第４の積分回路と、
   前記第３及び第４の積分回路の各出力に基づいて、前記第１及び第２の画像信号のホワイトバランスをそれぞれ独立して補正するホワイトバランス制御回路と、を更に含むことを特徴とする撮像装置。

Images