以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下においては、X−Yアドレス型の固体撮像装置の一例であるCMOS撮像素子に、本発明を適用した場合を例に説明する。また、CMOS撮像素子は、全ての画素がNMOSよりなるものであるとして説明する。
<固体撮像装置の構成>
図1は、本発明の一実施形態に係るCMOS固体撮像装置の概略構成図である。また、図2は、クロック変換部と出力回路とのデバイス配置形態の一例を説明する図である。また、図3は、データ出力方式の一例を示すタイミングチャートである。
固体撮像装置1は、カラー画像を撮像し得る電子スチルカメラとして適用されるようになっており、たとえば、静止画撮像モード時には、全画素を順番に読み出すモードが設定されるようになっている。
固体撮像装置1は、入射光量に応じた信号を出力する受光素子(電荷生成部の一例)を含む複数個の画素が行および列に配列された(すなわち2次元マトリクス状の)画素部を有し、各画素からの信号出力が電圧信号であって、CDS(Correlated Double Sampling ;相関2重サンプリング)処理機能部やデジタル変換部などが列ごとに設けられたカラム型のものである。
すなわち、図1に示すように、固体撮像装置1は、複数の単位画素3が行および列に配列された画素部(撮像部)10と、画素部10の外側に設けられた駆動制御部7と、カラム処理部26とを備えている。駆動制御部7としては、たとえば、水平走査回路12と、垂直走査回路14と、通信・タイミング生成部20と、高速クロック生成部の一例であって、入力されたクロック周波数よりも高速のクロック周波数のパルスを生成するクロック変換部21とを備えている。
図1では、簡単のため行および列の一部を省略して示しているが、現実には、各行や各列には、数十から数千の画素が配置される。また、駆動制御部7の他の構成要素として、水平走査回路12、垂直走査回路14、および通信・タイミング生成部20が設けられている。これらの駆動制御部7の各要素は、画素部10とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像素子(撮像デバイス)として構成される。
単位画素3は、垂直列選択のための、垂直制御線15を介して垂直走査回路14と、垂直信号線19を介して、カラムAD回路が列ごとに設けられているカラム処理部26と、それぞれ接続されている。ここで、垂直制御線15は垂直走査回路14から画素に入る配線全般を示す。
水平走査回路12や垂直走査回路14は、後述のようにデコーダを含んで構成され、通信・タイミング生成部20から与えられる駆動パルスに応答してシフト動作(走査)を開始するようになっている。このため、垂直制御線15には、単位画素3を駆動するための種々のパルス信号(たとえば、リセットパルスRST、転送パルスTRF、DRN制御パルスDRNなど)が含まれる。
通信・タイミング生成部20は、図示しないが、各部の動作に必要なクロックや所定タイミングのパルス信号を供給するタイミングジェネレータTG(読出アドレス制御装置の一例)の機能ブロックと、入力クロックや動作モードなどを指令するデータを受け取り、また固体撮像装置1の情報を含むデータを出力する通信インタフェースの機能ブロックとを備える。たとえば、水平アドレス信号を水平デコーダ12aへ、また垂直アドレス信号を垂直デコーダ14aへ出力し、各デコーダ12a,14aは、それを受けて対応する行もしくは列を選択する。
また、本実施形態の通信・タイミング生成部20では、端子5aを介して入力される入力クロック(マスタークロック)CLK0と同じ周波数のクロックCLK1や、それを2分周したクロックやより分周した低速のクロックをデバイス内の各部、たとえば水平走査回路12、垂直走査回路14、カラム処理部26、あるいは出力回路28の前段側、すなわち出力端子5cに近い信号処理系統(出力近傍)以外に供給する。以下、2分周したクロックやそれ以下の周波数のクロック全般を纏めて、低速クロックCLK2という。
垂直走査回路14は、画素部の行を選択し、その行に必要なパルスを供給するものである。たとえば、垂直方向の読出行を規定する(画素部10の行を選択する)垂直デコーダ14aと、垂直デコーダ14aにて規定された読出アドレス上(行方向)の単位画素3に対する制御線にパルスを供給して駆動する垂直駆動回路14bとを有する。なお、垂直デコーダ14aは、信号を読み出す行の他に、電子シャッタ用の行なども選択する。
水平走査回路12は、低速クロックに同期してカラム処理部26のカラムAD回路を順番に選択し、その信号を水平信号線18に導くものである。たとえば、水平方向の読出列を規定する(カラム処理部26内の個々のカラム回路を選択する)水平デコーダ12aと、水平デコーダ12aにて規定された読出アドレスに従って、カラム処理部26の各信号を水平信号線18に導く水平駆動回路12bとを有する。なお、水平信号線18は、たとえばカラムAD回路が取り扱うビット数n(nは正の整数)分、たとえば10(=n)ビットならば、そのビット数分に対応して10本配置される。
<クロック変換部>
クロック変換部21は、入力されたクロック周波数よりも高速のクロック周波数のパルスを生成する逓倍回路を内蔵している。このクロック変換部21は、通信・タイミング生成部20から低速クロックCLK2を受け取り、それを元にして2倍以上高い周波数のクロックを生成する。以下、低速クロックCLK2よりも2倍以上高い周波数のクロック全般を纏めて、高速クロックという。ここでは、特に参照子CLK3を付して、高速クロックCLK3という。クロック変換部21は、通信・タイミング生成部20から受け取った低速クロックCLK2と、自身で生成した高速クロックCLK3とを、データ出力部の一例である出力回路28に供給する。
ここで、高速クロックCLK3としては、低速クロックCLK2に対して2倍以上高い周波数としたが、整数倍に限らず、整数倍以外でもよい。ただし、データのつながり易さの点から、整数倍とするのが好ましい。
この高速クロックCLK3の周波数は、外部との通信機能をなす通信・タイミング生成部20を介して、外部からの指令によって変更指示ができるようにしておくとよい。この場合、その周波数切替指令P3は、たとえば静止画撮影モードや動作撮影モードあるいは加算読出モードなどの動作モードに応じて自動的に切り替えられるようにするとよい。たとえば、通信・タイミング生成部20が、動作モードの指示をデバイス外部の中央制御部から受け付け、この動作モードに連動して周波数切替指令P3をクロック変換部21に発することで、クロック変換部21が生成する高速クロックCLK3の周波数を切り替えさせるようにするとよい。
あるいは、デバイス外部の中央制御部から発せられるクロック変換部21に対しての周波数切替指令P3を動作モードとは独立に(事実上直接に)通知することで、この通知に応じて自動的に切り替えられるようにしてもよい。なおこの場合でも、本実施形態の構成では、外部との通信機能を通信・タイミング生成部20内に設けているので、この通信・タイミング生成部20を介して周波数切替指令P3をクロック変換部21に通知する。ただし、このような構成に限らず、クロック変換部21内に外部との通信機能を持たせることで、クロック変換部21が外部と直接に通信し合う構成としてもよい。
なお、クロック変換部21は、通信・タイミング生成部20のTGブロック(図示せず)の中に設けてもよいが、クロック変換部21とそこから出る高速クロックCLK3の配線はノイズの発生源となるので、それぞれ個別に設計したクロック変換部21と出力回路28とを隣接させてデバイスの出力側に置くようにするとよい。この場合、図2(A)に示すように、各部の領域辺縁部を概ね矩形状に区画化しておくことで、両者を隙間なく隣接させるようにするのがよい。
また、クロック変換部21と出力回路28とを一体化させて1つのブロックとして出力側に置くようにデバイス設計すると一層望ましい。たとえば、図2(B)に示すように、各部は入り組んだ状態で、両者の領域辺縁部を確定できるようなものではなく、事実上両者を一体的に配置させることで、両者間で密接な信号間を最短距離で配線できる利点が得られる。
クロック変換部21の逓倍回路としては、k1を低速クロックCLK2の周波数の倍数としたときk1逓倍回路を設ければよく、周知の様々な回路を利用することができる。たとえば、特許公開2003―8435号公報の従来技術や、特許3360667号公報の従来技術、段落6,7や図10に記載のように、PLL(Phase Lock Loop ;位相同期ループ)を用いたPLL周波数シンセサイザの回路技術を利用することができる。PLLの手法を利用すれば、高速クロックCLK3を低速クロックCLK2に位相ロックさせることができる。また、PLLを用いるものに限らず、たとえば特許3366223号公報の従来技術に記載の回路技術を利用することができる。
また“周波数逓倍回路の説明、[online]、[平成15年6月20日検索]、インターネット<URL:http://www.nakaco.co.jp/technical/Freq%20multiplier.pdf ”に記載のように、バンドパスフィルタを使用し増幅を繰り返す形態の回路技術を利用してもよい。この方式を利用すれば、源発振としての低速クロックCLK2に基づいて、逓倍された高速クロックCLK3に亘る全て周波数をカバーすることができる。また、PLL回路で逓倍する方式に比べてノイズが少なく、比較的純度の高い高速クロックを得ることができる。
このような構成の固体撮像装置1において、単位画素3から出力された画素信号は、垂直列ごとに、垂直信号線19を介して、カラム処理部26のカラムAD回路に供給される。カラム処理部26の各カラムAD回路は、1列分の画素の信号を受けて、その信号を処理する。たとえば、通信・タイミング生成部20から与えられるサンプルパルスSHPとサンプルパルスSHDといった2つのサンプルパルスに基づいて、垂直信号線19を介して入力された電圧モードの画素信号に対して、画素リセット直後の信号レベル(ノイズレベル)と信号レベルとの差分をとる処理を行なう。これにより、固定パターンノイズ(FPN;Fixed Pattern Noise )やリセットノイズといわれるノイズ信号成分を取り除く。なお、カラム処理部26の後段には、必要に応じて信号増幅機能を持つAGC(Auto Gain Control) 回路などをカラム処理部26と同一の半導体領域に設けることも可能である。
また、各カラムAD回路は、処理済みのアナログ信号を、たとえば低速クロックCLK2を用いて10ビットのデジタルデータに変換するADC(Analog Digital Converter)回路を持つ。ここでデジタル化された画素データは、水平走査回路12からの水平選択信号により駆動される図示しない水平選択スイッチを介して水平信号線18に伝達され、さらに出力回路28に入力される。なお、10ビットは一例であって、10ビット未満(たとえば8ビット)や10ビットを超えるビット数(たとえば14ビット)など、その他のビット数としてもよい。
また、ここではAD変換機能をカラム回路ごとに持たせて垂直列ごとにデジタルデータ化する構成としているが、このAD変換機能は、カラム回路部分に限らず、その他の箇所に設けることもできる。たとえば、画素部の各画素に対して個々に設ける(多数設ける)構成としてもよいし、水平信号線18までアナログで画素信号を出力して、その後にAD変換を行ない出力回路28に渡すような構成としてもよい。
何れの構成であっても、電荷生成部としての受光素子が行列状に配された画素部10からは、行ごとに各垂直列について画素信号が順次出力される。そして、受光素子が行列状に配された画素部10に対応する1枚分の画像すなわちフレーム画像が、画素部10全体の画素信号の集合で示されることとなる。
<出力回路の第1例>
ここで、第1例の出力回路28は、クロック変換部21から供給される低速クロックCLK2や高速クロックCLK3あるいは通信・タイミング生成部20からのクロックCLK1や他のパルス信号P1を用いて、水平信号線18からの画素データD0をバッファリングして、映像(撮像)データD1として外部に出力する。なお、後述するように、たとえば黒レベル調整、列ばらつき補正、信号増幅、色関係処理、信号圧縮処理などを施した後に映像データD1として出力するようにしてもよい。
出力回路28は、高速クロックCLK3に基づきデータ出力する場合、先ず低速クロックCLK2に同期してカラム処理部26から画素データ(たとえば10ビット)をパラレルデータとして取り込み、この後、図3(A)に示すように、高速クロックCLK3の立上りエッジおよび立下りエッジの何れか一方のみ(図では立上りエッジ)に同期させてシリアル形式のデータに変換して出力する。パラレル形式のデータをシリアル形式のデータに変換(以下パリシリ変換)する回路構成としては、周知のパラシリ変換回路を利用することができる。また、後述するように、切替部284と同様の構成のものを利用することもできる。
ここで、高速クロックCLK3の周波数としては、低速クロックCLK2の1周期ごとにnビット/パラレルで示される画素データD0がカラム処理部26の各カラムAD回路から出力され信号処理部282に取り込まれるものとすれば、これを同一期間内でシリアル形式のデータに変換するに足りるだけの周波数でなければならない。具体的には、少なくともビット数倍、すなわち低速クロックCLK2のn(本例ではn=10)倍以上であることを必要とする。無用に高くする必要はないので、ここでは、図3の各図に示すように、高速クロックCLK3の周波数は、低速クロックCLK2の周波数の10倍であるものとする。
また、出力回路28は、映像データD1を出力端子5cから外部に出力する機能だけでなく、クロック変換部21が生成した高速クロックCLK3を、データ用の端子とは別端子から出力する高速クロック出力部の機能を持たせるとよい。たとえば、撮像データD0あるいは映像データD1のビットデータを立上りエッジに同期してシリアル形式のデータとして端子5cから順次出力し、またこのときに使用した高速クロックCLK3を端子5dから出力する。この際には、映像データD1との遅延を加味して高速クロックCLK3を出力する。遅延を加味するとは、シリアル形式の映像データD1の各ビットのデータ切替り位置と高速クロックCLK3の各エッジとが一定の関係を維持するように(たとえばほぼ同位置となるように)することを意味する。以下同様である。
このように、入力クロックCLK0として低周波数を使用して画素部10やカラム処理部26の動作を低速で動作させ、出力回路28側のみを高速で動作させることで、高速動作させる回路部を最低限の範囲に留めることができ、消費電力の低減を図ることができる。また、入力クロックCLK0を供給する前段回路やIC(集積回路)から固体撮像装置1までの接続が容易になる。
加えて、本実施形態では、高速クロックCLK3を必要とするパラシリ変換の機能を実行する出力回路28の近傍にクロック変換部21を配置し、出力回路28の近傍にて高速クロックCLK3を生成するようにしているので、高速パルスのラインを引き回すことがなく、画素部10やカラム処理部26の動作に対してノイズの影響を与えないようにすることができる。また、高速パルスのラインを引き回すことがなく、高速パルスのラインを出力回路28の近傍に留めることができるので、不要輻射の問題も抑えることができる。たとえば、不要輻射が映像データD1に飛び込みノイズとなることも低減される。
このような構成のCMOSセンサ型の固体撮像装置1に依れば、画素部やカラム回路を低周波数で動作させつつ、その後に出力部側で高速クロックを用いてパラシリ変換することで出力部には少ない端子で高速動作させることができる。これにより、装置全体としての消費電力の増加を抑え、ノイズを抑えることができる。また、撮像デバイスへの外部からのクロック入力が低周波数であるので、前段からCMOSセンサまでのロスを抑えることや不要輻射を抑えることもできる。これにより、小さくて安価で信頼性の高いカメラ(動画、静止画)を作ることができる。
たとえばVGA(約30万画素)クラスの固体撮像素子で、入力クロック周波数は24MHz、出力回路28以外は12MHzまたは24MHz(低速クロック)で動作させ、出力回路28のシングル出力端子5cから120MHzの高速クロックCLK3で、10ビットの映像データD1をシリアルで、フレームレートを30fps(frame/s)として出力することができる。
撮像デバイスの大部分は12MHzで動いているので、出力レートが120MHzでも、殆ど消費電力に影響がない。一般に、固体撮像装置は、1mV以下のノイズを気にする非常に精密なアナログ回路であるとともに、特に画素は光を感じ、光電変換された電荷を画素内に一定期間保持し、その後出力する特性が、VGAクラスなら約30万個、メガピクセルなら数百万個がそのオーダーで揃っていなければならない。この厳しさは、カラム処理部26も同様であり、数は画素数に比べて数百〜数千と少ないが、同様である。
よって、画素部10やカラム処理部26は、できる限り周波数特性を下げてホワイトノイズを減らすとともに、できる限り低周波数で動作させて、パルスの遅延などの、場所によるむらを抑える必要がある。しかも、出力したい画像情報として、数十万〜数百万画素×10ビットなどの画像を数十〜数千枚/秒で出力しなければならない。加えて、携帯電話やPDA(Personal Digital Assistant)などの小型機器に搭載するために、できるだけ小さく安く信頼性高く作りたく、そのために出力端子を少なくして、次段LSIまでの接続の負担を小さくしたいという要請がある。
ここで、固体撮像装置は出力モードの切替えや確認などのために外部と通信するが、このデータ量は出力データに対して十分少ない。このような固体撮像装置において、入力クロックとしては低い周波数で受けて、画素部10やカラム処理部26を低い周波数で動作させ、出力回路28だけ高い周波数で動作させる本実施形態の構成が非常に有効である。
なお、映像データD1だけでなく、映像データD1との遅延を加味しつつ高速クロックCLK3もデータ出力端子(本例では5c)とは異なる端子(本例では5d)から出力することで、デバイス外部のデータ受信側では、高速クロックCLK3に同期して映像データD1を取り込むことができ、エラーを防止することができる。
このように、映像データD1とともに高速クロックCLK3を出力する場合、高速クロックCLK3のジッターに対するスペックが緩くなる。よってPLLを小さく作ることができる。ただし、ジッターの影響を避けるために、高速クロックCLK3はアナログ信号を扱う部分、たとえば画素部10やカラム処理部26には使わないのが好ましい。
なお、通信の分野で用いられている技術のように、シリアル形式のデータにするとともにクロックをそのデータに埋め込む(たとえば同期信号として)データ形態を採ることで、事実上、映像データD1と高速クロックCLK3とを共通の端子から出力することもできる。こうすることで、インタフェース端子や配線を削減することができる。
また、高速クロックCLK3を出力することに加えて、図3(B)に示すように、映像データD1および高速クロックCLK3の各端子5c,5dとは別端子5eから、1画素分の区切りを示す境界データP2を高速クロックCLK3よりも低周波数のデータとして出力するようにしてもよい。たとえば本例では、10ビットの映像データD1の始まりまたは終わりを示す低速クロックCLK2と同じ周波数のクロックを境界データP2として出力してもよい。
これは、シリアル形式のデータにして出力すると、受信側で1画素分のデータの区切りを正しく認識できないと、当然のごとく正しい画像再生ができないからである。従来のような数10MHzのデータレートであれば、ミスの生じる可能性は少ないが、高速になるほど煩雑になるので、ミスを生じないようにするには、識別情報があった方がよい。すなわち、周波数が低ければ、境界データP2を使用しなくとも、受信側の追従性がある程度確保できるのでシリアル形式のデータ中における1画素分を正しく認識でき得るが、周波数が高くなると、データ再生の不安定さなどから、1画素分の区切りをミスする可能性が高まる。加えて、一度ミスをすると、それが後続の画素データにまで引き継がれるので、影響は多大であるから、高速クロックCLK3よりも低周波数の境界データP2を使用する効果は高い。
なお、この境界データP2は、たとえば通信・タイミング生成部20のTGブロックやクロック変換部21、あるいは後述する信号処理部282など、何れで生成してもよい。また、図3(B)では、そのデューティ(=ハイ期間/1周期)を50%とし、事実上低速クロックCLK2と逆極性のデータとしているが、これに限らず、図3(C)に示すように、そのデューティを50%以外に変えてもよい。
<出力回路の第1例の変形>
図4は、出力回路の第1の構成例の変形を示す回路ブロック図である。なおここでは、出力バッファの近傍のみを示す。また、図5は、この変形例におけるデータ出力方式を示すタイミングチャートである。この変形例は、nビット分のシリアル形式の出力データや高速クロックCLK3を、それぞれ差動で2個の出力端子から出力するように構成した点に特徴を有する。
このため、図5に示すように、出力回路28の出力バッファ286は、パラシリ変換部としての機能をなす切替部284が生成したシリアル形式で現されるn(本例では10)ビットの映像データD1に基づいて、この映像データD1と同極性の正転映像データD1Pおよび逆極性の反転映像データD1Nからなる差動形式のデータに変換する差動変換部の機能を備える。そして、この差動変換部の機能を持つ出力バッファ286は、正転映像データD1Pを外部に出力するための出力端子5cPと、反転映像データD1Nを外部に出力するための出力端子5cNとを有し、正転映像データD1Pと反転映像データD1Nの差動出力として、対応する2個の出力端子5cP,5cNからそれぞれ個別に外部に出力する。
同様に、出力バッファ286とは別の出力バッファ288は、切替部284を経由して受け取った高速クロックCLK3と同極性の正転高速クロックCLK3P および逆極性の反転高速クロックCLK3N からなる差動形式のデータに変換する差動変換部の機能を備える。この出力バッファ288は、正転高速クロックCLK3P を外部に出力するための出力端子5dPと、反転高速クロックCLK3N を外部に出力するための出力端子5dNとを有する。そして、出力バッファ288は、切替部284を経由して入力された高速クロックCLK3を、高速クロックCLK3については映像データD1との遅延を加味して、また反転高速クロックCLK3N については反転映像データD1Nとの遅延を加味して、高速クロックCLK3と反転高速クロックCLK3N の差動出力として、対応する2個の出力端子5dP,5dNからそれぞれ個別に外部に出力する。
このように、高速クロック周波数でデータ出力する場合、図3に示したように、高速クロックの立上りエッジおよび立下りエッジの何れか一方のみを使って出力する方式の他、図5に示すように、高速クロックCLK3の立上りおよび立下りの両エッジを使うことができる。こうすることで、実質的にさらに倍の周波数(倍の出力レート)で出力することができる。逆に、同じ出力レートとする場合、高速クロックCLK3の周波数を半減させることができる。
このように、差動出力のそれぞれについて、映像データD1P,D1Nとの遅延を加味しつつ、データ出力端子(本例では5cP,5cN)とは異なる端子(本例では5dP,5dN)から出力することで、デバイス外部のデータ受信側では、差動出力の何れについても、対応する高速クロックCLK3P ,CLK3N に同期して映像データD1P,D1Nを取り込むことができ、エラーを防止することができる。
<出力回路の第2例>
図6は、出力回路の第2の構成例を示す回路ブロック図である。また、図7は、第2例の出力回路の変形例を示す回路ブロック図である。ここで、図6は差動出力形式への適用、図7はシングル出力形式への適用を示す。また図8は、第2例の出力回路28による不要輻射の改善効果を説明する図である。
図6に示す第2例の出力回路28は、内部にデジタル信号処理部を取り込むようにしている点と、差動出力にしている点に特徴を有する。これに対して、図7に示す第2例の変形例は、内部にデジタル信号処理部を取り込むようにしている点で第2例と共通するが、第1例と同様に、シングル出力にしている点で第2例と異なる。以下具体的に説明する。
図6に示す第2例の出力回路28は、水平信号線18から入力される10ビットのデジタルデータD0に対してデジタル信号処理を施す信号処理部282と、切替部284と、出力バッファ286,288とを有している。
信号処理部282には、通信・タイミング生成部20のTGブロックから所定のデータが入力され、またクロック変換部21から低速クロックCLK2が入力されている。また、切替部284には、クロック変換部21から高速クロックCLK3が入力されている。
信号処理部282は、10本の水平信号線18から、低速クロックCLK2に同期して画素データD0をパラレルに取り込む。この点は、第1例の出力回路28と同様である。信号処理部282は、取り込んだデータD0に対して、たとえば、同じく低速クロックCLK2を用いて、黒レベル調整、列ばらつき補正、信号増幅、色関係処理、あるいは信号圧縮処理などを施す。そして、処理済みの10ビットのデータD1をビットごとに切替部284の異なる入力端子に入力する。
切替部284は、マルチプレクサ(多入力−1出力の切替スイッチ;詳細は図示を割愛する)を含んで構成されており、このマルチプレクサの複数の入力端子284aのそれぞれには、信号処理部282からのパラレル形式のデータが個々に入力される。また、この複数の入力端子284aに入力された各データの何れか1つが選択されて出力端子284bから出力される。マルチプレクサの制御端子284cにはクロック変換部21からの高速クロックCLK3が切替指令として入力される。このような構成のマルチプレクサをパラシリ変換機能部として利用することで、簡易な回路構成でパラシリ変換を実現することができる。
このような構成の切替部284は、高速クロックCLK3を切替指令として用いて、それぞれ別端子から入力された10ビットのデータ中から1ビットずつ所定の順序に従って選択して出力端子284bから出力することで、パラレルデータをシリアル形式のデータに変換(以下パラシリ変換ともいう)する。そして、パラシリ変換後の映像データD1を、データ用の出力バッファ286に導く。また、切替部284は、このパラシリ変換時に用いた高速クロックCLK3をクロック用の出力バッファ288に導く。
出力バッファ286,288は、第1例の変形例と同様に差動変換部の機能を備えている。たとえば出力バッファ286は、正転映像データD1Pと反転映像データD1Nの差動出力として、対応する2個の出力端子5cP,5cNからそれぞれ個別に外部に出力する。同様に、出力バッファ288は、高速クロックCLK3については映像データD1との遅延を加味して、また反転高速クロックCLK3N については反転映像データD1Nとの遅延を加味して、高速クロックCLK3と反転高速クロックCLK3N の差動出力として、対応する2個の出力端子5dP,5dNからそれぞれ個別に外部に出力する。
たとえば第1例と同様に、VGA(約30万画素)クラスの固体撮像素子で、入力クロック周波数は24MHz、出力回路28以外は12MHzまたは24MHz(低速クロック)で動作させると、出力回路28の2つの差動出力端子5cP,5cNから120MHzの高速クロックCLK3で、10ビットの映像データD1を何れもシリアルで、フレームレートを30fps(frame/s)として出力することができる。
なお、図7に示す第2例の変形例は、出力バッファ286,288をシングル出力としている点が異なるだけであるので、回路構成とその作用についての説明は割愛する。
図6に示す第2例の出力回路28においても、第1例と同様に、出力回路28へのデータ入力は低速クロックCLK2に同期して行なわれる一方、映像データD1の出力は高速クロックCLK3に同期して行なわれる。また、高速クロックも第1例と同様に、出力するようにしている。よって、シングル出力であるか差動出力であるのかの違いがあるが、第2例の出力回路28においても、基本的には、上述した第1例と同様の効果を享受することができる。
また、図6に示す第2例の出力回路28では、差動出力としたことに依る特有の効果を享受できる。すなわち、高速になるほどパルス波形に鈍りやリンギングなどの不正常な成分が発生し易くなり、何れか一方のみのシングル出力では、その影響を直接に被る。これに対して、差動出力とすることで、差動出力の両方を使って波形再生することが可能となるので、耐ノイズ性が改善する。この点は、データD1に限らず、高速クロックCLK3についても同様である。よって、差動出力形式を採用した第2例は、第1例の構成よりも、より高速の周波数に対応可能な構成となる。逆に言えば、中速の周波数であれば、シングル出力形式を採用した第1例の構成でも差し支えないと言える。
また、この第2例の構成では、電流モードで差動インタフェースを採る仕組み(LVDS;Low Voltage Differential Signaling)を利用することができる。こうすることで、耐ノイズ性や不要輻射の問題に対して有利になる。たとえば、第1例の構成や図7に示す第2例の変形例のようにシングル出力で電流モードのインタフェースを採ると、図8(A)に示すように、送信側である出力回路28と受信側である次段回路や次段ICとの間で電流が行き来する(そのタイミングは同時でない)ので、そのたびに不要輻射の原因となる電磁界が発生し、周辺回路や固体撮像装置1の外部に影響を与える。
これに対して、第2例の構成のように正転データPと反転データNとを用いて差動出力で電流モードのインタフェースを採ると、図8(B)に示すように、送信側である出力回路28と受信側である次段回路や次段ICとの間で電流が行き来するものの、常にそのタイミングが同時であり、発生する電磁界の向きが互いに逆方向となる。よって、双方が発生した電磁界を打ち消し合うようになり、大局的には不要輻射の原因となる電磁界が発生しないものと考えてよい。なお、このような効果をより高めるには、差動の2つの出力線を近接して出力アンプ28と外部回路との間のインタフェースを採るとよい。このためには、たとえばツイストペア線の形態を持つ接続線を利用するのがよい。
<出力回路の第3例>
図9は、出力回路の第3の構成例を示す回路ブロック図である。また、図10は、第3例の出力回路の変形例を示す回路ブロック図である。ここで、図10は差動出力形式への適用、図11はシングル出力形式への適用を示す。また、図11は、第3例とその変形例におけるデータ出力方式を示すタイミングチャートである。
ここで、図9に示す第3例の出力回路28は、第2例と同様に、内部にデジタル信号処理部を取り込むとともに差動出力にしている点と、カラム処理部26におけるm(mは2以上の正の整数)列分のn(nは正の整数)ビットのデータを同時に出力できるようにしている点に特徴を有する。これに対して、図10に示す第3例の変形例は、内部にデジタル信号処理部を取り込むとともに差動出力にしている点と、カラム処理部26におけるm列分のデータを同時に出力できるようにしている点で第3例と共通するが、第2例の変形例と同様にシングル出力にしている点で第3例と異なる。以下具体的に説明する。
ここでは、具体的な事例として、10(=n)ビットのカラムAD回路4(=m)列分のデータを同時に出力することができるように、水平信号線18が40本ある場合の例で示している。この場合、計40ビットの画素データD0が信号処理部282にて信号処理され、10ビットずつの4つのデータになって切替部284に入力される。
切替部284は、第2例と同様に、図示しないマルチプレクサを含んで構成されており、低速クロックCLK2に対してm倍の高速クロックCLK4を用いて第0〜第9ビットごとに、m個分のデータをシリアル形式のデータに変換(以下パラシリ変換ともいう)する。
本例においては、出力回路28の切替部284は、高速クロックCLK4に基づきデータ出力する場合、図11に示すように、高速クロックCLK4の立上りエッジおよび立下りエッジの何れか一方のみ(図では立上りエッジ)に同期させて、各ビットについて4個分のデータをシリアル形式のデータに変換する。そして第0〜第9ビットごとに、このパラシリ変換後のデータD1を、それぞれ用の出力バッファ286-0〜286-9に導く。また、切替部284は、このパラシリ変換時に用いた高速クロックCLK4をクロック用の出力バッファ288に導く。
出力バッファ286-0〜286-9は、入力された各ビットの画素データD1に基づき、映像データD1と反転映像データD1Nの差動出力として、対応する2個の出力端子5cP,5cNから出力する。同様に、出力バッファ286とは別の出力バッファ288は、入力された高速クロックCLK4に基づき、遅延を加味した高速クロックCLK4と反転高速クロックCLK4N の差動出力として、対応する2個の出力端子5dP,5dNから出力する。
なお、図10に示す第3例の変形例は、出力バッファ286-0〜286-9,288をシングル出力としている点が異なるだけであるので、回路構成とその作用についての説明は割愛する。
このように、m個の垂直列分のデータすなわち複数画素に相当するデータを取り扱うように出力回路28を構成した場合であっても、先ず複数画素に相当するデータを受け取る信号処理部282では低速クロックCLK2を使って複数画素分(前例では4画素分)を並列的に処理するようにし、信号処理部282から出力されるデータについて、切替部284にて低速クロックCLK2に対してm倍の周波数の高速クロックCLK4を用いて1画素に相当する信号ずつ順番に選択して高速に出力するものとすれば、出力データを高速化する部分であるパラシリ変換の機能部分を、データ出力の極近傍(前例では切替部284や出力バッファ286-0〜286-9,288)に配置することができる。よって、第3例およびその変形例とすることでも、第1例や第2例の構成と同様の効果を享受できる。
<出力回路の第2例と第3例との組合せ>
図12および図13は、上述した出力回路の第2と第3の構成例を組み合わせた構成を示す回路ブロック図である。何れの構成においても、シリアル形式のデータに変換するための機能部分として、切替部284a,284bを2段設けているが、図12と図13とでは、それぞれの役割が異なる。なお、図12および図13の何れも、第2や第3の構成例と同様に差動出力の構成を採っているが、第2や第3の構成例についての変形例と同様に、シングル出力としてもよい。以下具体的に説明する。
図12の構成例では、第3の構成例と同様に、先ず切替部284aにて高速クロックCLK4を用いて、m列分のデータをビットごとにシリアル形式のデータに変換し、この後切替部284bにて高速クロックCLK5を用いて第2の構成例を適用し、このnビットのパラレルデータをさらにシリアル形式のデータに変換する点に特徴を有する。切替部284bにてnビットのパラレルデータをシリアル形式のデータに変換する際に使用する高速クロックCLK5は、高速クロックCLK4に対してn倍、つまり低速クロックCLK2に対してm×n倍、本例では4×10=40倍にする。
一方、図13の構成例では、先ず第2の構成例を適用して、切替部284aにて高速クロックCLK3を用いて、カラム処理部26におけるm列分ごとに、nビットのパラレルデータをシリアル形式のデータに変換し、その後切替部284bにて高速クロックCLK6を用いて第3の構成例を適用し、m列分のデータをさらにシリアル形式のデータに変換する点に特徴を有する。切替部284bにてm列分のデータをシリアル形式のデータに変換する際に使用する高速クロックCLK6は、高速クロックCLK3に対してm倍、つまり低速クロックCLK2に対してn×m倍、本例では10×4=40倍にする。
このような構成とすることで、m個の垂直列分のデータを纏めて取り扱うように出力回路28を構成した場合であっても、元々はパラレルであるデータをm個分全てについてシリアル形式のデータに変換して出力することで、第3およびその変形例の構成よりも、データ出力端子を削減することができる。また、出力データを高速化する部分であるパラシリ変換の機能部分を、データ出力の極近傍(前例では切替部284や出力バッファ286-0〜286-9,288)に配置することができる。こうすることで、第1例〜第3例あるいはその変形例の構成と同様の効果を享受できる。
<出力回路の第4例>
図14は、出力回路28の第4の構成例を示す回路ブロック図であり、(A)は差動出力形式への適用、(B)はシングル出力形式への適用を示す。この第4例は、第2例の信号処理部282を若干変更しているものである。なお、第3例の信号処理部282に対しても、同様の変更を加えることができる。
ここで、第2例や第3例の信号処理部282では、低速クロックCLK2を用いてデジタル信号処理を行なうようにしていたが、この第4例の出力回路28は、低速クロックCLK2よりも2倍以上周波数が高くまた高速クロックCLK3よりも半分以下の周波数のクロック(1つとは限らない、以下纏めて中速クロックCLK7ともいう)を用いて信号処理を行なうようにしている点が異なる。なおこの場合、信号処理部282は、図示するように、中速クロックCLK7だけでなく低速クロックCLK2を用いて所定の処理をする機能部分を備えていてもよい。なおこの中速クロックCLK7も、低速クロックCLK2に対して2倍以上の周波数を持つものであり、本願発明の高速クロックの一例である。
この中速クロックCLK7は、クロック変換部21にて生成するのがよい。すなわち、クロック変換部21は、低速クロックCLK2よりも高周波の、異なる複数の周波数のクロック(本例ではCLK3,CLK5)を生成するものとする。このように、1つのクロック変換部21にて、低速クロックCLK2よりも周波数の高い複数の周波数クロックを生成する技術についても、1つの高速クロックCLK3を生成する場合と同様に周知の様々な回路による逓倍回路の仕組みを利用することができる。たとえば、k1,k2を低速クロックCLK2の周波数の倍数としたとき、k1逓倍回路とk2逓倍回路とを設ければよい。ここでは、その具体的な仕組みについては説明を割愛する。
ここで、信号処理部282における低速クロックCLK2を用いた信号処理の内容としては、たとえばデジタルゲインコントロール、縦筋補正など、1画素の信号ごとに単純な加減乗除を行なうものがある。これに対して、中速クロックCLK7を用いた信号処理の内容としては、たとえば色関係処理、圧縮処理など、複数画素の信号を参照しながら多数の計算を必要とするものがある。
高速クロックCLK3で動作させるデジタル信号処理回路を撮像デバイス内に設けると、デバイスの消費電力は増える。一方、このようなデジタル信号処理回路を、デバイス内に設けない場合、デバイスの外部に同様の回路を設けることになる。この場合、カメラ装置全体としての消費電力は、デジタル信号処理回路をデバイス内に設けるのかデバイス外に設けるのかで、相違は殆ど生じない。むしろ、画素信号との結びつきが強いデバイス内で処理した方が処理効率がよい場合もある。この第2例はこのような要求に応え得るものである。
ただし、このような場合、高速クロックCLK3で動作させるデジタル信号処理回路を撮像デバイス内に設けるとよいのだが、同一チップ内のデジタル信号処理部の発熱が大きくなると、ここから近い画素の暗電流が増えてシェーディングになってしまうので、ここでは、高速クロックCLK3そのものまでではなく、その1/2以下の周波数の中速クロックCLK7を用いても不都合のない処理対象範囲について、撮像デバイス内の信号処理部282に取り込むこととする。
すなわち、この第4例の構成では、データが出力される最終回路部分(本例では出力バッファ286,288)以外の信号処理部282にても、低速クロックCLK2よりも高周波数のクロック(本例では中速クロックCLK7)を使用する。なおここでは、高速クロックCLK3よりも周波数が低い中速クロックCLK7までの範囲の使用に留めているが、上記各構成例で示した周波数範囲の高速クロックCLK3やこの高速クロックCLK3よりもさらに高い周波数のクロックを信号処理部282にて使用することを排除するものではない。
<出力回路の第5例>
図15は、出力回路の第5の構成例を示す回路ブロック図である。なおここでは、差動出力方式についての出力バッファの近傍のみを示す。また図16は、第5例に用いられるストローブデータ生成部の一構成例を示す回路ブロック図である。なおここでは、差動出力の一方についてのみを示す。また図17は、第5例におけるデータ出力方式を示すタイミングチャートである。この第5例は、シリアル形式で現されるnビットの出力データとの間で排他的論理和を取ることでクロックを再現可能なストローブデータSTBを出力する点に特徴を有する。
このストローブデータSTBは、高速クロックCLK3の代わりに使用するものとする。すなわち端子5dからストローブデータSTBを出力するものとする。ここで、ストローブデータSTBとは、映像データD1が反転しないタイミングで反転するデータ信号であるものとする。
ストローブデータSTBは、出力バッファ290の手前の、信号処理部282かもしくは切替部284で生成する。これを出力バッファ286と同様の出力バッファ290を介して外部に出力する。たとえば、信号をシリアル化した後にストローブ信号生成部を設ける場合、一例として、図16に示すような回路構成するとよい。
このストローブ信号生成部300においては、パラシリ変換されたデータをDフリップフロップ312にて高速クロックCLK3で1クロック遅延させて排他的論理和回路(NXOR)314で排他的論理和を取り、これをTフリップフロップ316に入れることで、ストローブデータSTBを生成することができる。
このとき、フリップフロップ312とTフリップフロップ316(立下りエッジ同期)は利用する高速クロックCLK3のエッジを図のようにして誤動作を防止する。そのための半クロックの遅延を、シリアルデータをDフリップフロップ306(立下りエッジ同期)に通して調整する。
そして、これらシリアルデータとストローブデータSTBとを、それぞれ異なるエッジで動作するDフリップフロップ308(立上りエッジ同期),318(立下りエッジ同期)を通すことで、両者の位相を合わせる。
それぞれのDフリップフロップ308,318の正転端子Qから出力される各正転データD1P,STBPは出力バッファ286,290を介して正転端子5cP,5dPから外部に出力され、またDフリップフロップ308,318の反転端子QNから出力される各反転データD1N,STBNは出力バッファ286,290を介して反転端子5cN,5dNから外部に出力される。
図5から分かるように、普通に高速クロックCLK3を出力すると、高速クロックCLK3と映像データD1の両方が同時に反転するタイミングが生じ得る。両方が同時に反転する場合、デバイス出力に掛かる負荷が両方分となり、しかもそのタイミングは映像データD1次第であるから一定しない。
これに対してストローブデータSTBを使用すれば、図17から分かるように、映像データD1PとストローブデータSTBPの何れか一方、あるいは映像データD1NとストローブデータSTBNの何れか一方が、それぞれ反転するのみで、各クロックタイミングでのデバイス出力に掛かる負荷が片方分で済み、しかも一定である。また、ストローブデータSTBと映像データD1の排他的論理和を取ることによって、出力回路28の後段側に設けられる回路ブロックや次段ICなどで高速クロックCLK3を再現することができる。
なお、ここでは差動出力方式への適用について示したが、映像データD1およびストローブデータSTBのそれぞれについて、正転および反転の何れか一方のみを使用する構成に変形することで、第1例と同様に、シングル出力に対応することができる。
<出力回路の第6例>
図18は、出力回路の第6の構成例を示す回路ブロック図である。なおここでは、シングル出力方式についての出力バッファの近傍のみを示す。また図19は、第6例におけるデータ出力方式を示すタイミングチャートである。この第6例は、高速クロックの周波数を画素データを出力する分以上に確保し、その余裕で他の情報を出力するようにした点に特徴を有する。
たとえば、図3の各図に示したように、前述の各例では、信号処理部282が10ビット/パラレルで示される画素データを取り込む低速クロックCLK2の1周期と同一期間内に、このパラレルデータをシリアル形式のデータに変換できるように、低速クロックCLK2に対してビット数倍の周波数を持つ高速クロックCLK3を使用していた。
これに対して、この第6例では、図19に示すように、ビット数倍よりもさらに高周波数とすることで、先ず1画素分のデータをシリアル形式のデータで表すためのビット数(本例では10ビット)分以上をデータ割当部分として確保する。本例では、低速クロックCLK2に対して16倍の周波数の高速クロックCLK8を使用することで、1単位ごとに、全体として16ビット分を確保する。そしてこのデータ割当部分の1単位ごとに、1画素のビット数分を除く余裕部分(以下付加データ部分という、本例では6ビット分ある)に、画素データ以外の所望のデータを割り当てる。つまり、実質的に、画素データごとに付加データを埋め込んでおく。
たとえば、高速クロックの周波数を高速クロックCLK3よりもさらに上げて、画素に由来する情報以外の情報を出力する。従来のような数10MHzのデータレートであれば、ミスの生じる可能性は少ないが、高速になるほど煩雑になるので、ミスを生じないようにするには、識別情報があった方がよい。
出力バッファ292が出力する境界データP2については、映像データD1の1単位(本例では16ビット分)ごとに割り当てる。そのデューティは図19に示すように50%とし事実上低速クロックCLK2と逆極性のデータとしてもよいし、図3(C)に示したと同様に、そのデューティを50%以外に変えてもよい。
6ビット分確保した付加データ部分に割り当てる所望のデータとしては、たとえばシリアル出力方式では、行の始まりや終わりを示すデータ(すなわち行の切替りを示すデータ)P4や、フレームの始まりや終わりを示すデータ(すなわちフレームの切替りを示すデータ)P5などが考えられる。たとえば図18に示すように、切替部284は、信号処理部282から映像データD1のビットデータだけでなく、データP4,P5も取得する。そして、切替部284は、1画素のビットデータとデータP4,P5とを纏めて、高速クロックCLK8を用いてシリアルデータに変換することで、画素データごとにデータP4,P5を付加データとして埋め込む。
従来は、行の始まりやフレームの始まりは固体撮像装置外部から入力され、それに同期して固体撮像装置の信号が出力されていたが、本実施形態の構成では、出力データの周波数が高速なので、これらの同期を取るのが困難である。よって、行の始まりやフレームの始まりを示すデータを改めて固体撮像装置から出力することが好ましい。このとき、別端子にすると端子を増やしてしまうが、このようにして同一端子で出力することができ端子を増やすこともない。
また、その他の例としては、本実施形態のように固体撮像装置1がカラー撮像用のものである場合には、たとえば色フィルタ配列は偶数列と奇数列で変わるので、その認識をミスらないように、その画素がどの色分離フィルタ(色成分)に対応するのかを示す識別情報を割り当てることが考えられる。また、間引き読出しを行なう際には、その間引き動作が何画素飛びであるのかや、加算の有無などを示す情報を割り当ててもよい。これらの信号は、高速出力の場合に可能性が高くなる読取りミスに対するエラーチェックの役割がある。このように高速化の障害を、端子を増やさずにエラーチェックをすることができる。
何れにしても、周波数が高くなると、データ再生の不安定さなどから、行の切替りやフレームの切替り、あるいは色フィルタの並び方などをミスする可能性が高まる。加えて、一度ミスをすると、それが後続のデータにまで引き継がれ、正常な画像を再生できないので、その影響は多大であるから、行やフレームの切替り、あるいは色フィルタを示すデータを画素データごとに埋め込んでおくことの効果は高い。
なお、ここでは、境界データP2も出力するようにしているが、この境界データP2を使用しなくてもよい。また、ここでは、各データは、高速クロックCLK8の立下りエッジに同期しているが、立上りエッジに同期した態様としてもよい。また、シングル出力方式への適用について示したが、映像データD1およびストローブデータSTBのそれぞれについて、正転および反転の双方を使用する構成に変形することで、第1例の変形例やその他の構成例と同様に、差動出力に対応することができる。
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
また、上記の実施形態は、クレーム(請求項)にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
たとえば、上記実施形態では、高速クロックを使用する場合においても、ノイズや不要輻射を抑えることができるように、撮像デバイスから高速のデータが出力される部分(つまり高速クロックを使用する回路部分)の極近傍(前例では出力回路28)にクロック変換部21を配置する構成を示したが、たとえば消費電力だけに着目して、ノイズや不要輻射を考慮しなくてもよければ、このクロック変換部21を配置する箇所はその他の箇所とすることもできる。たとえば、通信・タイミング生成部20の近傍に配置することや、通信・タイミング生成部20と一体化させて設計することも可能である。
また、高速クロックを出力側回路でのみで使用する事例として、1画素分の全体や1画素分と付加データとを纏めてシリアルデータ化する事例を示したが、これに限らず、画素データに基づく出力データを外部に出力する際に、AD変換されたデジタルデータのビット分よりも少ない端子で出力可能なように構成するものであればよい。たとえば、sビット目と2s−1ビット目の2ビット分ずつシリアルデータ化するなど、1画素分の一部をシリアルデータ化するようにしてもよい。この場合でも、単純に全ビットをパラレルデータで出力する場合よりも、出力側回路を少ない端子で高速動作出力することができる利点が得られる。
また、高速クロックを出力側回路でのみで使用する事例として、シリアルデータ化する事例を示したが、高速クロックの利用形態としてはシリアルデータ化することに限らない。たとえば、高速多数の計算を必要とする動き抽出や圧縮処理に用いることができる。
また、外部からの周波数切替指令P3によって高速クロックの周波数を切り替える場合、クロック変換部21が複数の高速クロックを生成する構成とする場合には、それぞれの周波数についての切替指示を通知可能な構成とすればよい。
また、アドレス制御により個々の単位画素からの信号を任意選択して読出可能な固体撮像装置の一例として、光を受光することで信号電荷を生成する画素部を備えたCMOSセンサを例に示したが、信号電荷の生成は、光に限らず、たとえば赤外線、紫外線、あるいはX線などの電磁波一般に適用可能であり、この電磁波を受けてその量に応じたアナログ信号を出力する画素が多数配列された画素部を備えた撮像装置に、上記実施形態で示した事項を適用可能である。
1…固体撮像装置、3…単位画素、7…駆動制御部、10…画素部、12…水平走査回路、14…垂直走査回路、15…垂直制御線、18…水平信号線、19…垂直信号線、20…通信・タイミング生成部、21…クロック変換部21、26…カラム処理部、28…出力回路、282…信号処理部、284…切替部、286,288,290,292…出力バッファ、300…ストローブ信号生成部