以下、図面を参照しつつ、本発明の実施形態を説明する。複数の図面に渡って同一の要素又は対応する要素には共通の符号が付されており、その説明は省略又は簡略化されることがある。
[第1実施形態]
図1(a)は、本実施形態の撮像装置の概略構成を示す分解斜視図である。撮像装置は、積層された第1チップ1及び第2チップ5を含む。図1(a)では、第1チップ1と第2チップ5を上下に離して表示している。第1チップ1は、複数の行及び複数の列に渡って配された画素11を有する。画素11は、光電変換部を含み、入射光に応じたアナログ信号を生成する。第2チップ5は、複数の行及び複数の列に渡って配されたAD変換部(アナログデジタル変換部)21を有する。AD変換部21は、画素11によって生成されたアナログ信号を複数のビットを有するデジタル信号に変換する。言い換えると、本実施形態において、第2チップ5は、AD変換装置である。
なお、簡略化のため、図1(a)には、第1チップ1又は第2チップ5に形成される素子としては、画素11とAD変換部21のみが図示されている。しかしながら、撮像装置は、これらの他に画素11を制御する制御線、画素11からの出力信号を伝送する信号線を含み得る。また撮像装置は、走査回路、タイミングジェネレータ等の駆動回路を含み得る。
図1(b)は、本実施形態の撮像装置の概略構成を示す断面図である。第1チップ1は、シリコン等の材料により構成された基板10と、基板10上に形成された絶縁層17と、絶縁層17内に複数の層に渡って形成された配線15とを含む。第2チップ5も同様の構造を有している。
第1チップ1と第2チップ5とは、絶縁層17及び配線15が形成されている面が互いに向かい合うように、接合面2で接合されている。この接合面2においては、第1チップ1の最も上層に位置する配線15及び絶縁層17と、第2チップ5の最も上層に位置する配線15及び絶縁層17とが接するように接合されている。配線15の材料は、典型的には銅であるが、他の例としてはアルミニウムであってもよい。第1チップ1、第2チップ5の各々の最も上層に位置する配線15は、接続部3において接続される。
図2は、第1チップ1に配される複数の画素11のうちの1つの画素11の回路構成を示す等価回路図である。画素11は、光電変換部13と、転送トランジスタ603と、リセットトランジスタ606と、増幅トランジスタ607と、選択トランジスタ608とを有する。
光電変換部13は、フォトダイオードであり得る。フォトダイオードの光が入射する側には、不図示のマイクロレンズと、カラーフィルタとが形成されていてもよい。その場合、入射光は、マイクロレンズ及びカラーフィルタを透過して、フォトダイオードに入射される。
光電変換部13のフォトダイオードはアノード及びカソードを有する。アノードは、接地電圧線に接続されており、カソードは、転送トランジスタ603のソースに接続されている。転送トランジスタ603のドレインは、リセットトランジスタ606のソース及び増幅トランジスタ607のゲートに接続されている。転送トランジスタ603のドレイン、リセットトランジスタ606のソース及び増幅トランジスタ607のゲートが接続されているノードは、フローティングディフュージョン領域(以下、FD領域と呼称する)605である。リセットトランジスタ606のドレイン及び増幅トランジスタ607のドレインは、電源電圧線Vddに接続されている。増幅トランジスタ607のソースは、選択トランジスタ608のドレインに接続されている。選択トランジスタ608のソースは信号線201に接続されている。
第1チップ1には、画素11の行方向(図2において横方向)に延在して、制御線650、660、665が配されている。制御線650、660、665は、同一の行に配された画素11に対して共通のタイミングで制御信号を供給する。制御線650は、転送トランジスタ603のゲートに接続される。制御線660は、リセットトランジスタ606のゲートに接続される。制御線665は、選択トランジスタ608のゲートに接続される。図2において不図示の垂直走査回路(後述する垂直走査回路22)は、制御線650を介して、転送トランジスタ603を制御する制御信号Txを供給する。また、垂直走査回路は、制御線660を介して、リセットトランジスタ606を制御する制御信号Rxを供給する。また、垂直走査回路は、制御線665を介して、選択トランジスタ608を制御する制御信号PSELxを供給する。なお、垂直走査回路は、第2チップ5に配置されており、シフトレジスタ、アドレスデコーダ等の論理回路により構成され得る。
図3は、本実施形態の第2チップ5の構成を示すブロック図である。第2チップ5は、AD変換領域22、垂直走査回路24、バッファメモリ25、デジタル信号処理回路28、タイミングジェネレータ30、カウンタ31、ランプ信号生成部35及びデータインターフェース(I/F)部37を有する。
タイミングジェネレータ30は、撮像装置の各部の動作タイミング等を制御するための制御信号を生成する。垂直走査回路24は、第1チップ1に配された画素11を行ごとに順次走査するための制御信号を生成する。垂直走査回路24で生成された制御信号は、制御線650、660、665を介して第1チップ1の各トランジスタに供給される。
AD変換領域22は、複数の行及び複数の列に渡って配された複数のAD変換部21を含む。また、図3に示されているように、第2チップ5には2行2列に渡って4個のAD変換領域22が配されている。各AD変換部21は、対応する画素11から信号線201を介して出力されたアナログ信号をデジタル信号に変換する。
本実施形態において、AD変換部21が行うAD変換は、画素11により生成されたアナログ信号と、参照信号であるランプ信号とを比較するランプ信号比較型である。ランプ信号生成部35は、ランプ信号を生成し、AD変換部21に供給する。カウンタ31は、時間に応じて値が変化するカウント信号をAD変換部21に供給する。カウント信号は、例えば、グレイコードのデジタル値である。AD変換部21は、アナログ信号と、ランプ信号との比較結果が変化したタイミングに応じたカウント値をデジタル信号として記憶することにより、AD変換を行う。
バッファメモリ25は、複数のAD変換領域22の各々に対応して配されている。AD変換領域22のAD変換部21とバッファメモリ25とは、図3においては不図示の伝送線により接続されている。バッファメモリ25は、AD変換部21から出力されたデジタル信号を記憶し、所定のタイミングで出力する。
デジタル信号処理回路28は、バッファメモリ25から出力されたデジタル信号に対してノイズ減算処理、ゲイン補正処理、オフセット補正処理等の信号処理を行う。第2チップ5は、2個のデジタル信号処理回路28を有する。1つのデジタル信号処理回路28は、複数のバッファメモリ25から出力されたデジタル信号を処理するように構成されている。データインターフェース部37は、デジタル信号処理回路28における信号処理により得られたデータを撮像装置の外部の装置に出力するインターフェースである。
図4(a)は、AD変換領域22とバッファメモリ25とをより詳細に示すブロック図である。第2チップ5には、図3で示したものに加え、ADC走査回路41、メモリ垂直走査回路45、メモリ水平走査回路48及び伝送線43、49が配されている。
上述のように、AD変換領域22は、複数の行及び複数の列に渡って配されたAD変換部21を有する。この行数及び列数をそれぞれ、m行及びn列とする(m、nは2以上の整数)。
複数の伝送線43は、AD変換領域22の列ごとに配されている。複数の伝送線43は、AD変換領域22から、AD変換領域22の外部に設けられたバッファメモリ25に延在するように配されている。1つの伝送線43は、対応する列の複数のAD変換部21に接続されている。すなわち、複数の伝送線43の各々が、対応する列の複数の行のAD変換部21に接続されるように、AD変換領域22に配されている。
また、ADC走査回路41は、複数のAD変換部21を行ごとに走査する。AD変換部21の各々は、AD変換により得られたデジタル信号を保持するメモリ(後述の図5において第1のメモリ55)を有する。このメモリは、複数のビットを有するデジタル信号のうちの互いに異なる1ビットの信号(以降、ビット信号と表記する)を保持するビットメモリを複数個有する。このメモリは、伝送線43に接続されている。ADC走査回路41は、AD変換部21のメモリを行ごとに選択する。ADC走査回路41によって選択されたメモリは、伝送線43に、当該メモリが保持しているデジタル信号を出力する。
伝送線43に出力されたデジタル信号は、伝送線43を介してバッファメモリ25に伝送される。バッファメモリ25は、ビット信号を保持するビットメモリが複数の行及び複数の列に渡って配された構造をなしている。メモリ垂直走査回路45は、バッファメモリ25の行を選択する垂直走査を行う。また、メモリ水平走査回路48は、バッファメモリ25の列を選択する水平走査を行う。
メモリ垂直走査回路45及びメモリ水平走査回路48によって選択された位置に配されたビットメモリは、伝送線49を介してデジタル信号処理回路28にビット信号を伝送させる。
図4(b)は、AD変換部21の構成をより詳細に示すブロック図である。AD変換部21は、図1(b)で示した接続部3を介して、図2に示した信号線201に接続されている。電流源50は、第2チップ5に設けられており、接続部3を介して信号線201に電流を供給する。これにより、画素11の増幅トランジスタ607はソースフォロワとして動作する。言い換えると、電流源50及び増幅トランジスタ607はソースフォロワ回路を形成する。
AD変換部21は、比較器51及び第1メモリ55を有する。比較器51の第1の入力端子には、信号線201を介して画素11から出力されたアナログ信号が入力される。比較器51の第2の入力端子には、図3に示したランプ信号生成部35からランプ信号VRMPが入力される。比較器51は、画素11からのアナログ信号とランプ信号VRMPとの比較結果を示す比較結果信号を第1メモリ55に出力する。
カウンタ31は、第1メモリ55にカウント信号Countを出力する。カウント信号Countは、例えば、クロック信号をグレイコードで計数したデジタル信号である。第1メモリ55は、比較結果信号の信号レベルが変化したタイミングに基づいて、その時点のカウント信号Countを保持する。ここで、第1メモリ55は、複数のビットを有するカウント信号Countに含まれるビット信号を保持する複数のビットメモリを含む。各ビットメモリにより保持されるカウント信号Countの各ビット信号は、光電変換部13により生成された電荷に基づく信号に対応するデジタル信号の各ビット信号である。
本実施形態では、各第1メモリ55は、対応するAD変換部21に含まれている。したがって、AD変換領域22は、複数の行及び複数の列に渡って配された第1メモリ55を有する領域であるといえる。
ADC走査回路41は、第1メモリ55に走査信号を出力する。アクティブレベルの走査信号が入力されることにより選択された第1メモリ55は、保持しているデジタル信号を伝送線43に出力する。
図5は、AD変換部21と、バッファメモリ25の構成をより詳細に示すブロック図である。以下の図5の説明では、複数の行及び複数の列に渡って配されたAD変換部21のうちの1つに着目して説明する。AD変換領域22の中の他のAD変換部21も同様の構成を備える。
第1メモリ55は、4つの第1ビットメモリ550a〜550dと、4つのスイッチ551a〜551dと、出力回路56と、を有する。出力回路56は、バッファ561とスイッチ562とを含む。
第1ビットメモリ550a〜550dのそれぞれには、カウント信号Countのうちの互いに異なる1ビットの信号が入力される。第1ビットメモリ550a〜550dは、入力された各ビットの信号を保持する。比較器51の出力端子は、第1ビットメモリ550a〜550dに接続されている。比較器51から出力された比較結果信号は、第1ビットメモリ55a〜550dに出力される。
第1ビットメモリ550aと出力回路56のバッファ561との間には、スイッチ551aが配されている。同様に、第1ビットメモリ550b〜550dとバッファ561との間には、スイッチ551b〜551dがそれぞれ配されている。スイッチ551a〜551dには、ADC走査回路41から走査信号S1〜S4がそれぞれ入力される。走査信号S1〜S4がアクティブレベルのときにスイッチ551a〜551dはそれぞれ導通状態(オン)になる。
バッファ561と伝送線43との間にはスイッチ562が配されている。スイッチ562には、ADC走査回路41から走査信号SO1が入力される。走査信号SO1がアクティブレベルのときにスイッチ562は導通状態(オン)になる。
ADC走査回路41は、スイッチ551a〜551dを順次オンにすることにより、第1ビットメモリ550a〜550dを第1方向(図中の上から下に向かう方向であり、かつ行番号が増加する方向)に走査する第1走査回路である。すなわち、ADC走査回路41は、出力回路56に接続される第1ビットメモリ550a〜550dを順次選択する走査を行う。また、4つの第1ビットメモリ550a〜550dには、スイッチ551a〜551d及び出力回路56を介して1つの伝送線43が接続される。すなわち、伝送線43は、複数の第1ビットメモリが出力回路56を介して接続された第1伝送線である。
ADC走査回路41は、走査信号S1〜S4を順にアクティブレベルとする。また、ADC走査回路41は、走査信号S1〜S4がアクティブレベルになる期間に走査信号SO1をアクティブレベルとする。これにより、第1ビットメモリ550aから順にビット信号が出力回路56を介して伝送線43に出力される。これにより、伝送線43は、1つのAD変換部21から出力されるデジタル信号の各ビット信号をシリアルに伝送する。
本実施形態のAD変換部21は、第1ビットメモリ550a〜550dを、1つの出力回路56を介して選択的に伝送線43と接続させることが可能な構成となっている。これにより、すべての第1ビットメモリ550a〜550dが伝送線43に直接接続されている場合と比較して、伝送線43に付加される寄生容量等の負荷を低減できる。したがって、本実施形態によれば、シリアル伝送の高速化が実現される。
上述の第1ビットメモリ550a〜550dが配された行の次の行のAD変換部21に含まれる第1ビットメモリを第1ビットメモリ550e〜550hと呼び、これに対応するスイッチをスイッチ551e〜551hと呼ぶ。スイッチ551e〜551hには、ADC走査回路41から走査信号S5〜S8がそれぞれ入力され、走査信号S5〜S8がアクティブレベルのときにスイッチ551e〜551hはそれぞれオンになる。また、第1ビットメモリ550e〜550hが配された行のスイッチ562は、走査信号SO2により制御され、走査信号SO2がアクティブレベルのときにスイッチ562はオンになる。
走査信号S1〜S4が順にアクティブレベルになった後、ADC走査回路41は、走査信号S5〜S8を順にアクティブレベルにする。また、ADC走査回路41は、走査信号S5〜S8がアクティブレベルになる期間に走査信号SO2をアクティブレベルとする。これにより、このように、複数の行のAD変換部21が順に走査されることにより、デジタル信号の各ビット信号が、1つの伝送線43に出力回路56を介してシリアル伝送される。
バッファメモリ25は、選択回路60、スイッチ61及び第2メモリ250を有する。第2メモリ250は、複数の行及び複数の列に渡って配された複数の第2ビットメモリ250a〜250hを有する。
第2メモリ250は、1列のAD変換部21に対して、複数列(本実施形態では2列)に渡って設けられた複数の第2ビットメモリ250a〜250hを有する。複数列の第2ビットメモリ250a〜250hのうちの、ある列の第2ビットメモリ250a〜250hは1つのメモリ群といえる。このとき、別の列の第2ビットメモリ250a〜250hは、別のメモリ群であるといえる。すなわち、第2メモリ250は、1列のAD変換部21に対して、複数のメモリ群を有する。1列のAD変換部21に対して複数のメモリ群が設けられていることにより、第2メモリ250は、1列のAD変換部21から異なるタイミングで出力された複数のデジタル信号を記憶することができる。この複数のデジタル信号とは、画素11への入射光に基づく信号と、画素11のリセット状態に基づく信号であり得る。
選択回路60は、複数のメモリ群のいずれにデジタル信号を記憶させるかを選択する機能を有する。選択回路60は、例えばデマルチプレクサであり得る。選択回路60は、AD変換部21の列ごとに設けられている。選択回路60の入力端子は伝送線43に接続されている。選択回路60の制御端子には、タイミングジェネレータ30から制御信号SEL1が入力され、データを出力する端子の制御が行われる。
選択回路60の出力端子は、走査信号SI1により制御される1つのスイッチ61を介して複数の第2ビットメモリ250a〜250dに接続される。また、選択回路60の出力端子は、走査信号SI2により制御される別のスイッチ61を介して複数の第2ビットメモリ250e〜250hに接続される。すなわち、スイッチ61は、第1ビットメモリ550a〜550d又は第1ビットメモリ550e〜550hから出力されるビット信号が共通に入力される入力回路である。
選択回路60は、制御信号SEL1がアクティブレベルである場合には、複数列のうちの一方の列に設けられた第2ビットメモリ250a〜250hに、伝送線43から伝送される各ビット信号を伝送する。これに対し、選択回路60は、制御信号SEL1がノンアクティブレベルである場合には、他方の列に設けられた第2ビットメモリ250a〜250h、伝送線43から伝送される各ビット信号を伝送する。
メモリ垂直走査回路45は、走査信号Sxy(xは1から8までの整数、yは1又は2)を対応する行及び列の第2ビットメモリ250a〜250hに出力する。また、メモリ垂直走査回路45は、走査信号SI1、SI2を対応するスイッチ61に出力する。メモリ垂直走査回路45は、複数の第2ビットメモリ250a〜250hを第1方向に走査する第2走査回路である。メモリ垂直走査回路45は、スイッチ61を介して入力されるビット信号を受ける第2ビットメモリ250a〜250hを選択する走査を行う。
メモリ垂直走査回路45は、走査信号S1〜S4のそれぞれがアクティブレベルになる期間に、走査信号S1y〜S4yを順にアクティブレベルとする。また、メモリ垂直走査回路45は、走査信号S1y〜S4yがアクティブレベルになる期間に走査信号SI1をアクティブレベルとする。これにより、第1ビットメモリ550a〜550dから出力回路56を介して出力されたビット信号が、選択回路60及びスイッチ61を介して第2ビットメモリ250a〜250dに保持される。
第2ビットメモリ250a〜250hの出力端子には伝送線群260が接続されている。メモリ水平走査回路48は、複数の列の伝送線群260を順次選択して、第2ビットメモリ250a〜250hからデジタル信号処理回路28にビット信号を転送する。
本実施形態のバッファメモリ25は、1つのスイッチ61を介して複数の第2ビットメモリ250a〜250dに互いに異なる1ビットのビット信号を記憶させることができる。これにより、出力回路56に対しては、オンになっているスイッチ61に対応する第2ビットメモリのみが接続されるので、スイッチ61がない場合と比べて出力回路56に接続される第2ビットメモリの個数が少なくなる。したがって、出力回路56側から見た場合において、第2ビットメモリを構成するトランジスタ等の素子の負荷容量が低減される。このように、本実施形態では、出力回路56側から見える負荷が低減されるため、シリアル伝送の高速化が実現される。
図6は、本実施形態の撮像装置の動作を示すタイミング図である。図6に示されている制御信号などの符号は、図2、図4(b)、図5に示されているものに対応している。また、図6に示した電位VLINEは、信号線201の電位を示している。本タイミング図は、ある行の画素11から信号を読み出す際の各制御信号のレベルとランプ信号VRMP及び信号線201の電位VLINEのタイミングを示している。
期間P1において、垂直走査回路24は、信号を出力させる行の画素11に出力する制御信号Rxをアクティブレベルとする。これにより、リセットトランジスタ606がアクティブとなり、FD領域605の電位がリセットされる。期間P1の後において、信号線201の電位VLINEは、リセットが解除された後のFD領域605の電位に応じた電位となる。これにより、信号線201には、リセット状態に相当する信号(ノイズ信号)が出力される。
期間P2において、ランプ信号生成部35は、出力するランプ信号VRMPの電位を単調変化させる。ここでいう単調変化とは、電位の時間に対する変化の方向が、変化の開始から終了までの間、同じ方向に維持されることを意味する。ランプ信号の単位時間当たりの電位変化率が、変化の開始から終了までの間に変化があったとしても、これは単調変化に含まれる。言い換えると、単調変化とは、変化の開始から終了までの間、電位が時間に応じて単調増加又は単調減少していることを意味する。
期間P2においてランプ信号VRMPの電位は単調変化するため、画素11から出力されたアナログ信号の電位とランプ信号VRMPの電位との大小関係が変化するタイミングで比較結果信号のレベルが変化する。第1ビットメモリ550a〜550dは、比較結果信号のレベルが変化した時のカウント信号Countを保持する。このカウント信号Countは、ノイズ信号に基づくデジタル信号である。以下、このデジタル信号をNデータと表記することがある。
期間P3において、垂直走査回路24は、信号を出力させる行の画素11に出力する制御信号Txをアクティブレベルとする。これにより、転送トランジスタ603がオンになり、光電変換部13に蓄積された電荷がFD領域605に転送される。FD領域605の電位は転送された電荷により低下する。FD領域605の電位の低下に応じて、信号線201の電位VLINEは低下する。このようにして、信号線201には、光電変換部13により生成された電荷に相当する信号(光信号)が出力される。
期間P4において、タイミングジェネレータ30は、選択回路60に出力する制御信号SEL1をアクティブレベルとしている。これにより、第1ビットメモリ550a〜550dから出力されるビット信号が、出力回路56と、選択回路60と、スイッチ61とを介して第2メモリ250の一方の列の第2ビットメモリ250a〜250hに出力され得る状態となる。
また、期間P4において、ADC走査回路41は、走査信号S1〜S8を順次アクティブレベルとする。また、ADC走査回路41は、走査信号S1〜S4をアクティブレベルにする期間に走査信号SO1をアクティブレベルとし、走査信号S5〜S8をアクティブレベルにする期間に走査信号SO2をアクティブレベルとする。メモリ垂直走査回路45は、走査信号S1〜S8、SO1、SO2の駆動に合わせて、走査信号S11、S21、S31、S41、S51、S61、S71、S81、SI1、SI2を順次アクティブレベルとする。
この走査において、例えば、走査信号S1及び走査信号SO1がアクティブレベルである期間には、走査信号S11及び走査信号SI1もアクティブレベルになる。これにより、スイッチ551a、562、61がオンになり、第2メモリ250の一方の列の第2ビットメモリ250aにアクティブレベルの走査信号S11が入力される。このとき、第1ビットメモリ550aが出力したビット信号が、第2メモリ250の一方の列の第2ビットメモリ250aに保持される。
同様にして、AD変換部21の第1メモリ55に保持されたNデータのビット信号が、第2ビットメモリ250a〜250dに転送され、保持される。更に、上述の第1メモリ55と同じ列かつ別の行のAD変換部21の第1メモリ55に保持されたNデータのビット信号が、第2ビットメモリ250e〜250hに転送され、保持される。
なお、期間P3は、期間P4の一部に含まれている。すなわち、期間P4において、第1ビットメモリ550a〜550hから、第2ビットメモリ250a〜250hにビット信号を伝送する動作と、光電変換部13からFD領域605への電荷の転送動作とが並行して行われる。
期間P5において、ランプ信号生成部35は、期間P2と同様にして出力するランプ信号VRMPの電位を単調変化させる。第1ビットメモリ550a〜550dは、比較結果信号の信号レベルが変化した時のカウント信号Countを保持する。このカウント信号Countは、光信号に基づくデジタル信号である。以下、このデジタル信号をSデータと表記することがある。
期間P6において、垂直走査回路24は、次の行の画素11に出力する制御信号Rxをアクティブレベルとする。これにより、次の行のリセットトランジスタ606がアクティブとなり、FD領域605の電位がリセットされる。期間P6の後において、信号線201の電位VLINEは、リセットが解除された後のFD領域605の電位に応じた電位となる。これにより、信号線201には、次行の画素11のリセット状態に相当する信号(ノイズ信号)が出力される。
期間P7において、タイミングジェネレータ30は、選択回路60に出力する制御信号SEL1をノンアクティブレベルとしている。これにより、第1ビットメモリ550a〜550dから出力されるビット信号が、出力回路56と、選択回路60と、スイッチ61とを介して第2メモリ250の他方の列の第2ビットメモリ250a〜250hに出力され得る状態となる。
また、期間P7において、ADC走査回路41は、走査信号S1〜S8を順次アクティブレベルとする。また、ADC走査回路41は、走査信号S1〜S4をアクティブレベルにする期間に走査信号SO1をアクティブレベルとし、走査信号S5〜S8をアクティブレベルにする期間に走査信号SO2をアクティブレベルとする。メモリ垂直走査回路45は、走査信号S1〜S8、SO1、SO2の駆動に合わせて、走査信号S12、S22、S32、S42、S52、S62、S72、S82、SI1、SI2を順次アクティブレベルとする。
この走査において、例えば、走査信号S1及び走査信号SO1がアクティブレベルである期間には、走査信号S12及び走査信号SI1がアクティブレベルになる。これにより、スイッチ551a、562、61がオンになり、第2メモリ250の他方の列の第2ビットメモリ250aにアクティブレベルの走査信号S12が入力される。このとき、第1ビットメモリ550aが出力したビット信号が、第2メモリ250の他方の列の第2ビットメモリ250aに保持される。
同様にして、AD変換部21の第1メモリ55に保持されたSデータのビット信号が、第2ビットメモリ250a〜250dに転送され、保持される。更に、上述の第1メモリ55と同じ列かつ別の行のAD変換部21の第1メモリ55に保持されたSデータのビット信号が、第2ビットメモリ250e〜250hに転送され、保持される。
また、期間P10において、期間P4と同様に次行の画素11からのNデータの転送が行われる。すなわち、第1メモリ55に保持されたNデータのビット信号が、第2ビットメモリ250a〜250dに転送され、保持される。更に、上述の第1メモリ55と同じ列かつ別の行のAD変換部21の第1メモリ55に保持されたNデータのビット信号が、第2ビットメモリ250e〜250hに転送され、保持される。
本実施形態においては、第1ビットメモリ550a〜550dと第2ビットメモリ250a〜250dとの間は伝送線43により接続されており、シリアルな伝送が行われる。これにより、伝送線43の数を少なくすることができ、AD変換領域22における伝送線43の配線面積が削減される。
AD変換領域22内には、AD変換を行うための多数の素子が配されている。伝送線43の配線面積を削減することにより、AD変換領域22の面積に制限がある場合であってもAD変換用の素子の数を多く確保することができる。これにより、AD変換用の素子の数が不十分である場合に生じるAD変換時間の増加を抑制することができる。
シリアル伝送において生じ得る課題として、伝送線43の寄生容量、メモリの負荷容量等の負荷による伝送速度の低下がある。本実施形態では、第1ビットメモリ550a〜550dの出力を束ねる出力回路56が設けられており、伝送線43に起因する寄生容量が低減される。また、本実施形態では、第2ビットメモリ250a〜250dの入力を束ねるスイッチ61が設けられており、第2ビットメモリ250a〜250dに起因する負荷容量が低減される。
このように、本実施形態では、シリアル伝送を採用した構成において、負荷を低減することで、伝送速度の低下の抑制が実現される。したがって、本実施形態によれば、伝送線の数の増加を抑えつつ、デジタル信号の伝送を高速化することができるAD変換装置及び撮像装置が提供される。
本実施形態において、バッファメモリ25が設けられていることによる効果を説明する。バッファメモリ25が設けられていない場合には、本実施形態の撮像装置は、AD変換領域22から、バッファメモリ25を介さずにデジタル信号処理回路28にデジタル信号が伝送される構成となる。この場合、複数の行及び複数の列をなして配列されたAD変換部21の中から、指定されたアドレスの行及び列のAD変換部21からデジタル信号が読み出される。
AD変換領域22内には、比較器51等のAD変換を行うための素子が多く設けられている。したがって、AD変換領域22からデジタル信号処理回路28に直接デジタル信号を伝送する場合には、複数のAD変換部21とデジタル信号処理回路28との間の伝送経路の配線長は、AD変換部21ごとに異なる。したがって、AD変換部21からデジタル信号処理回路28までの伝送時間が、伝送距離が最長のAD変換部21を基準に設定されている場合には、AD変換領域22からデジタル信号処理回路28までのデジタル信号の伝送時間が長大化する。一方、AD変換部21からデジタル信号処理回路28までの伝送時間が、伝送距離が最短のAD変換部21を基準に設定されている場合には、デジタル信号の伝送不良が生じ得る。
これに対し、本実施形態では、AD変換部21から、バッファメモリ25にデジタル信号を伝送し、その後、バッファメモリ25からデジタル信号処理回路28にデジタル信号を伝送する。これにより、複数のAD変換部21からデジタル信号処理回路28にデジタル信号が伝送される際の伝送時間の差を低減することができる。これにより、デジタル信号の伝送に要する時間を十分に確保しつつ、高速にデジタル信号の伝送を行うことができる。
[第2実施形態]
第1実施形態の図5は、出力回路56によって束ねられる第1ビットメモリの個数が4個であり、スイッチ61によって束ねられる第2ビットメモリの個数も4個であることから、これらが同数である例を示している。これに対し、本実施形態では、スイッチ61によって束ねられる第2ビットメモリの個数が、出力回路56によって束ねられる第1ビットメモリの個数よりも多い例を示す。
図7は、AD変換部21と、バッファメモリ25の構成を詳細に示すブロック図である。図7において、出力回路56によって束ねられる第1ビットメモリの個数が4個であり、スイッチ61によって束ねられる第2ビットメモリの個数は8個である。このように、本実施形態では、スイッチ61によって束ねられる第2ビットメモリの個数が、出力回路56によって束ねられる第1ビットメモリの個数よりも多い。
比較器51は、例えば差動対アンプで構成される素子である。そのため、比較器51のレイアウトにおける第1方向の長さは、第1ビットメモリ等の素子と比べて長く、無視できない長さとなっている。したがって、複数個の比較器51が接続された第1ビットメモリを1つの出力回路56で束ねようとすると、比較器51の長さだけ、第1ビットメモリの出力端子を束ねる配線が長くなる。そのため、スイッチ61により第2ビットメモリを束ねる方が、複数個の比較器51が接続された第1ビットメモリを1つの出力回路56で束ねるよりも配線設計における制約が少なく、設計が容易である。すなわち、本実施形態のように、スイッチ61によって束ねられる第2ビットメモリの個数を、出力回路56によって束ねられる第1ビットメモリの個数よりも多くするか、あるいは、第1実施形態のように、これらを同数とすることが設計制約が少なく望ましい。
本実施形態では、第1実施形態と同様の効果が得られる。更に、第1実施形態及び本実施形態では、スイッチ61によって束ねられる第2ビットメモリの個数が、出力回路56によって束ねられる第1ビットメモリの個数以上である構成とすることにより、設計上の制約を少なくすることができる。
なお、図7の構成の場合、第2ビットメモリ250a〜250hが1つのスイッチ61で束ねられているため、図6で示したタイミング図に変更点が生じる。具体的には、本実施形態では、走査信号SI1は、図6において走査信号SI1がアクティブになっている期間と、走査信号SI2がアクティブになっている期間との双方においてアクティブになる。
また、スイッチ61によって束ねられる第2ビットメモリの個数は、出力回路56によって束ねられる第1ビットメモリの個数の倍数であることが望ましい。個数の比率が整数であることにより、転送時にビットメモリの余りが生じないため、読み出しを効率よく行うことができる。
[第3実施形態]
第1実施形態及び第2実施形態では、1つの比較器51に接続されている複数の第1ビットメモリが1つの出力回路56によって束ねられている例を示している。これに対し、本実施形態では、複数の比較器51に接続されている複数の第1ビットメモリが、1つの出力回路56によって束ねられている例を示す。
図8は、AD変換部21と、バッファメモリ25の構成を詳細に示すブロック図である。本実施形態においては、AD変換領域22は、図5に示したAD変換部21と同様の構成を有するAD変換部21−1(第1のAD変換部)と、AD変換部21−1に対して対称にレイアウトされたAD変換部21−2(第2のAD変換部)とを有する。このように、AD変換部21−1、21−2において、比較器51と複数のビットメモリとを対称な配置としてもよい。
本実施形態では、図8に示されるように、AD変換部21−1の第1ビットメモリ550a〜550dとAD変換部21−2の第1ビットメモリ550e〜550hとが隣接してレイアウトされる。そのため、第2実施形態で述べた比較器51の長さによる影響が解消され、第1ビットメモリ550a〜550dと、第1ビットメモリ550e〜550hとを1つの出力回路56で束ねることが容易となる。これにより、出力回路56によって束ねられる第1ビットメモリの個数が、スイッチ61によって束ねられる第2ビットメモリの個数よりも多い構成も実現可能である。
本実施形態では、第1実施形態の効果に加え、伝送線43に接続される出力回路56の個数を少なくすることができるため、伝送線43により生じる寄生容量の負荷を更に低減することができる。
なお、図8の構成の場合、第1ビットメモリ550a〜550hが1つの出力回路56で束ねられているため、図6で示したタイミング図に変更点が生じる。具体的には、本実施形態では、走査信号SO1は、図6において走査信号SO1がアクティブになっている期間と、走査信号SO2がアクティブになっている期間との双方においてアクティブになる。
[第4実施形態]
第1実施形態では、期間P4において、走査信号S1〜S8、S11〜S81が順次アクティブレベルになっている。このように、第1実施形態ではすべてのビットのビット信号がシリアル伝送されている。これに対し、本実施形態では、一部のビットのビット信号のみがシリアル伝送される例を示す。
一部のビットのビット信号のみをシリアル伝送する読み出し方法は、シリアル転送の時間を短縮するために、AD変換の分解能を低下させて読み出しを高速化する目的で用いられる。例えば、図5の回路構成では1つの比較器51に4個の第1ビットメモリが接続されているため、最大で4ビットの分解能によるAD変換を行うことが可能である。しかしながら、撮像モードによっては、処理の高速化のため、より低分解能でAD変換を行うことにより高速に読み出しを行うことが求められる場合もある。
図9は、本実施形態の撮像装置の動作を示すタイミング図である。本実施形態では、AD変換部21、バッファメモリ25等の回路構成は第1実施形態と同一であるが、AD変換の分解能が3ビットである点が第1実施形態と異なっているものとする。
期間P24において、ADC走査回路41は、走査信号S1〜S3、S5〜S7を順にアクティブレベルとする。また、ADC走査回路41は、走査信号S1〜S3がアクティブレベルになる期間に走査信号SO1をアクティブレベルとし、走査信号S5〜S7がアクティブレベルになる期間に走査信号SO2をアクティブレベルとする。
また、期間P24において、メモリ垂直走査回路45は、走査信号S1〜S3、S5〜S7のそれぞれがアクティブレベルになる期間に、走査信号S11〜S31、S51〜S71を順にアクティブレベルとする。また、メモリ垂直走査回路45は、走査信号S11〜S31がアクティブレベルになる期間に走査信号SI1をアクティブレベルとし、走査信号S51〜S71がアクティブレベルになる期間に走査信号SI2をアクティブレベルとする。このように、本実施形態では、走査信号S4、S8、S41、S81がアクティブレベルにならず、ビット信号が3ビット分のみ転送される点が第1実施形態と異なる。なお、期間P27、P30においては、図9に示されるように、期間P24と同様の走査が行われるため説明を省略する。
本実施形態では、AD変換の分解能が3ビットであるため、4ビット目のビット信号は不要となる。ビット信号が3ビット分のみ転送することにより、シリアル伝送の時間を短縮することができ、第1実施形態と比べて処理を高速化することができる。
なお、第1実施形態の読み出し方法と、第4実施形態の読み出し方法は、撮影モードの選択等に応じて切り替え可能であってもよい。第1実施形態のように、第1の個数(本例では4個)のビットメモリによりデジタル信号が保持されるモードを第1のモードとし、第4実施形態のように、第2の個数(本例では3個)のビットメモリによりデジタル信号が保持されるモードを第2のモードとする。この場合、第2の個数は第1の個数よりも少ない。すなわち、ADC走査回路41、メモリ垂直走査回路45により選択されるビットメモリの個数を変更することで、第1のモードと第2のモードの切り替えが実現され、撮影モード等の状況に応じて適切な速度での処理が可能となる。
[第5実施形態]
第4実施形態では、一部のビットのビット信号のみをシリアル伝送することにより読み出しを高速化する例を示した。これに対し本実施形態では、一部のAD変換部に保持されたビット信号のみをシリアル伝送することによる読み出しの高速化の例を示す。
まず、図10及び図11を参照して本実施形態の撮像装置の構成を説明する。図10は、本実施形態の撮像装置における第1チップ1と第2チップ5との接続及びAD変換部21−3、21−4の構成を示す図である。図11は、本実施形態の画素111の回路構成を示す図である。
図11に示されるように、本実施形態の画素111は、2つの選択トランジスタ608−1、608−2を有している。2つの選択トランジスタ608−1、608−2のドレインはいずれも増幅トランジスタ607のソースに接続されている。選択トランジスタ608−1のソースは、信号線1201に接続されており、選択トランジスタ608−2のドレインは、信号線1202に接続されている。垂直走査回路24は、制御線1665を介して、選択トランジスタ608−1を制御する制御信号PSEL1xを供給し、制御線1666を介して、選択トランジスタ608−2を制御する制御信号PSEL2xを供給する。
次に図10を参照して、画素111とAD変換部21−3、21−4との接続関係を説明する。図10には、第1チップ1に配された4行2列分の画素111と、第2チップ5に配された2行2列分のAD変換部21−3及びAD変換部21−4との接続が示されている。各画素111には、2本の信号線1201、1202と、2本の制御線1665、1666が接続される。なお、図10において、制御線1665、1666により供給される制御信号には、例えばPESL1x[n]のように末尾に行番号を付すことにより各行の制御信号を区別した表示がなされている。
画素111は、制御信号PSEL1xがアクティブレベルのときには信号線1201に信号を出力し、制御信号PSEL2xがアクティブレベルのときには信号線1202に信号を出力する。本構成において、異なる行の制御信号PSEL1x、PSEL2xをともにアクティブレベルにすることにより、2行分の画素111から並行して信号を出力させることができる。信号線1201は、接続部3を介してAD変換部21−3に接続されており、信号線1202は、接続部3を介してAD変換部21−4に接続されている。これにより、AD変換部21−3、21−4は、2行分の画素111から出力された信号を並行してAD変換することができる。なお、上述のように2行分を並行して読み出すことは必須ではなく、例えば、信号線1201とAD変換部21−3のみを用いることで1行ずつ読み出してもよい。また、高速に読み出す必要がある場合と高速に読み出す必要がない場合とで2行ずつ読み出すモードと1行ずつ読み出すモードとが切り替え可能であってもよい。
図12は、本実施形態の撮像装置の動作を示すタイミング図である。本タイミング図は、n行目とn+1行目の2行の画素111を1行ずつ順次読み出す場合の動作を示している。図12には、制御信号PSEL2xが図示されていないが、すべての行の制御信号PSEL2xはノンアクティブレベルであるものとする。また、制御信号Tx、Rxは、行番号の表示を省略しているが、読み出される行の制御信号Tx、Rxがアクティブレベルになるものとする。
期間P41において、制御信号PSEL1x[n]がアクティブレベルになり、n行目の画素111が信号線1201に接続される。また、期間P42において、制御信号PSEL1x[n+1]がアクティブレベルになり、n+1行目の画素111が信号線1201に接続される。
期間P41内の期間P54において、ADC走査回路41は、走査信号S1〜S4を順にアクティブレベルとする。また、ADC走査回路41は、走査信号S1〜S4がアクティブレベルになる期間に走査信号SO1をアクティブレベルとする。
また、期間P54において、メモリ垂直走査回路45は、走査信号S1〜S4のそれぞれがアクティブレベルになる期間に、走査信号S11〜S41を順にアクティブレベルとする。また、メモリ垂直走査回路45は、走査信号S11〜S41がアクティブレベルになる期間に走査信号SI1をアクティブレベルとする。期間P57、P60においても同様の走査が行われる。
このように、本実施形態では、走査信号S5〜S8、SO2がアクティブレベルにならない点が第1実施形態等と異なる。これにより、本モードでは使用されていないAD変換部21−4の第1ビットメモリの走査がスキップされ、シリアル転送期間の短縮が実現される。
なお、第1実施形態のようにすべてのAD変換部の第1ビットメモリを走査する第1のモードと、図12のように一部のAD変換部の第1ビットメモリを走査しない第2のモードとは、撮影モードの選択等に応じて切り替え可能であってもよい。第1のモードでは、第1の個数のAD変換部(メモリ領域)によりデジタル信号が保持され、第2のモードでは、第2の個数のAD変換部(メモリ領域)によりデジタル信号が保持される。この場合、第2の個数は第1の個数よりも少ない。すなわち、ADC走査回路41、メモリ垂直走査回路45により選択されるAD変換部(メモリ領域)の個数を変更することで、第1のモードと第2のモードの切り替えが実現され、撮影モード等の状況に応じて適切な速度での処理が可能となる。
[第6実施形態]
第1実施形態乃至第5実施形態では、撮像装置は第1チップ1及び第2チップ5の2つのチップにより構成されている。しかしながら、撮像装置を構成するチップの個数は2つに限定されるものではなく、1つであってもよく、3つ以上であってもよい。本実施形態では、撮像装置が3つのチップで構成される場合の例を説明する。
図13は、本実施形態の撮像装置の概略構成を示す分解斜視図である。撮像装置は、第1チップ101、第2チップ102及び第3チップ103がこの順に積層された構造をなしている。図13では、第1チップ101、第2チップ102及び第3チップ103を上下に離して表示している。
第1チップ101は、複数の行及び複数の列に渡って配された画素11を有する。画素11の構成は、例えば、図2と同様の構成であり、光電変換部13を含む。第2チップ102は、複数の行及び複数の列に渡って配されたAD変換部21−5を有する。第3チップ103は、複数のバッファメモリ25及び複数のデジタル信号処理回路28を有する。
図14(a)は、第2チップ102の構成を示すブロック図である。第2チップ102は、AD変換領域22、垂直走査回路24、タイミングジェネレータ30及びランプ信号生成部35を有する。AD変換領域22は、複数の行及び複数の列に渡って配された複数のAD変換部21−5を含む。
図14(b)は、第3チップ103の構成を示すブロック図である。第3チップ103は、バッファメモリ25、デジタル信号処理回路28、カウンタ31、データインターフェース部37及び第1メモリ55を有する。
図14(c)は、AD変換部21−5の構成をより詳細に示すブロック図である。比較器51は、画素11からのアナログ信号とランプ信号VRMPとを比較した結果を示す比較結果信号を第3チップ103に配されている第1メモリ55に出力する。
以上のように、本実施形態の撮像装置は、第1実施形態乃至第5実施形態とは異なり、AD変換部21−5の外部に第1メモリ55が設けられている。より具体的には、第1メモリ55は、第3チップ103に配されているため、AD変換部21−5とは別のチップに配されている。
このように、本実施形態の撮像装置は、第1チップ101、第2チップ102及び第3チップ103の3つのチップにより構成されている。また、本実施形態の撮像装置は、比較器51を有するAD変換部21−5と、AD変換部21−5の出力を受ける第1メモリ55とが別のチップに設けられている。このような構成であっても、第1実施形態と同様の効果が得られる。
[第7実施形態]
第1実施形態乃至第6実施形態の撮像装置では、画素を構成する素子とAD変換部を構成する素子が別々に設けられている。しかしながら、画素を構成する素子とAD変換部を構成する素子の一部が共有されていてもよい。本実施形態では、図2における増幅トランジスタ607が比較器を構成する素子の一部を兼ねている例を説明する。
図15は、本実施形態に係る撮像装置の回路構成を示す図である。第1チップ1は、複数の画素311を有しており、第2チップ5は、複数のAD変換部321とランプ信号生成部35とを有している。
画素311は、光電変換部13、転送トランジスタ603、リセットトランジスタ606、入力トランジスタ911、912及び電流源トランジスタ913を有している。入力トランジスタ911、912及び電流源トランジスタ913はNチャネル型のMOSトランジスタである。
AD変換部321は、第1メモリ55及び負荷トランジスタ914、915を有している。負荷トランジスタ914、915は、Pチャネル型のMOSトランジスタである。
光電変換部13、転送トランジスタ603及びリセットトランジスタ606の接続関係は図2と同様である。転送トランジスタ603のドレイン、リセットトランジスタ606のソース及び入力トランジスタ912のゲートが接続されているノードは、FD領域605をなしている。
入力トランジスタ911のソース及び入力トランジスタ912のソースは、電流源トランジスタ913のドレインに接続されている。電流源トランジスタ913のゲートには、電流源トランジスタ913を定電流源として動作させるように所定の電圧が印加される。電流源トランジスタ913のソースは接地電圧線に接続されている。入力トランジスタ911のゲートには、ランプ信号生成部35からランプ信号VRMPが入力される。
入力トランジスタ911のドレインは、負荷トランジスタ914のドレインと接続されており、入力トランジスタ912のドレインは、負荷トランジスタ915のドレインと接続されている。負荷トランジスタ914、915のソースは、電源電圧線Vddに接続されている。負荷トランジスタ914のゲート、負荷トランジスタ914のドレイン及び負荷トランジスタ915のゲートは相互に接続されている。このように、負荷トランジスタ914、915はカレントミラー回路を構成している。入力トランジスタ912のドレイン及び負荷トランジスタ915のドレインの接続ノードは第1メモリ55に接続されている。
入力トランジスタ911、912、電流源トランジスタ913及び負荷トランジスタ914、915は差動対910を構成している。入力トランジスタ911のゲート及び入力トランジスタ912のゲートは差動対910の入力端子であり、入力トランジスタ912のドレイン及び負荷トランジスタ915のドレインの接続ノードは、差動対910の出力端子である。差動対910は、入力トランジスタ911のゲートの電位と入力トランジスタ912のゲートの電位とを比較した結果を示す比較結果信号を第1メモリ55に出力する。このように、差動対910は光電変換部13で生成された電荷に基づくアナログ信号とランプ信号VRMPとを比較する比較器である。
本実施形態の撮像装置においては、画素311の入力トランジスタ912が光電変換部13で生成された電荷に基づく電位を増幅する増幅トランジスタの機能と、差動対910の入力トランジスタの機能とを兼ねている。また、差動対910を構成する複数のトランジスタは、第1チップ1と第2チップ5との間に分かれて配されている。このような構成であっても、第1実施形態と同様の効果が得られる。
[第8実施形態]
図16は、本実施形態による撮像システム500の構成を示すブロック図である。本実施形態の撮像システム500は、上述の各実施形態で述べた撮像装置のいずれかの構成を適用した撮像装置200を含む。撮像システム500の具体例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラ等が挙げられる。図16は、一例としてデジタルスチルカメラの構成例を示している。
図16に例示した撮像システム500は、撮像装置200、被写体の光学像を撮像装置200に結像させるレンズ5020、レンズ5020を通過する光量を可変にするための絞り504、レンズ5020の保護のためのバリア506を有する。レンズ5020及び絞り504は、撮像装置200に光を集光する光学系である。
また、撮像システム500は、撮像装置200から出力される出力信号の処理を行う信号処理部5080を有する。信号処理部5080は、必要に応じて入力信号に対して各種の補正、圧縮を行って出力する信号処理の動作を行う。
撮像システム500は、更に、画像データを一時的に記憶するための一時記憶部510、外部コンピュータ等と通信するための外部インターフェース部(外部I/F部)512を有する。更に撮像システム500は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体514、記録媒体514に記録又は読み出しを行うための記録媒体制御インターフェース部(記録媒体制御I/F部)516を有する。なお、記録媒体514は、撮像システム500に内蔵されていてもよく、着脱可能であってもよい。
更に撮像システム500は、各種演算を行うとともにデジタルスチルカメラ全体を制御する全体制御・演算部518、撮像装置200と信号処理部5080に各種タイミング信号を出力するタイミング発生部520を有する。ここで、タイミング信号等は外部から入力されてもよく、撮像システム500は、少なくとも撮像装置200と、撮像装置200から出力された出力信号を処理する信号処理部5080とを有すればよい。全体制御・演算部518及びタイミング発生部520は、撮像装置200の制御機能の一部又は全部を実施するように構成してもよい。
撮像装置200は、画像用信号を信号処理部5080に出力する。信号処理部5080は、撮像装置200から出力される画像用信号に対して所定の信号処理を実施し、画像データを出力する。また、信号処理部5080は、画像用信号を用いて、画像を生成する。
上述した各実施形態の撮像装置を用いて撮像システム500を構成することにより、より高速な撮像が可能な撮像システム500を実現することができる。
[第9実施形態]
本実施形態の撮像システム701及び車両700について、図17(a)、図17(b)及び図18を用いて説明する。図17(a)及び図17(b)は、本実施形態による撮像システム701及び車両700の構成例を示す図である。図18は、本実施形態による撮像システム701の動作を示すフローチャートである。
本実施形態では、車載カメラに関する撮像システム701の一例を示す。図17(a)及び図17(b)は、車両システムとこれに搭載される撮像システム701の一例を示したものである。撮像システム701は、撮像装置702、画像前処理部715、集積回路703、光学系714を含む。光学系714は、撮像装置702に被写体の光学像を結像する。撮像装置702は、光学系714により結像された被写体の光学像を電気信号に変換する。撮像装置702は、上述の各実施形態のいずれかの撮像装置である。画像前処理部715は、撮像装置702から出力された信号に対して所定の信号処理を行う。画像前処理部715の機能は、撮像装置702内に組み込まれていてもよい。撮像システム701には、光学系714、撮像装置702及び画像前処理部715が、少なくとも2組設けられており、各組の画像前処理部715からの出力が集積回路703に入力されるようになっている。
集積回路703は、撮像システム用途向けの集積回路であり、メモリ705を含む画像処理部704、光学測距部706、視差演算部707、物体認知部708、異常検出部709を含む。画像処理部704は、画像前処理部715の出力信号に対して、現像処理や欠陥補正等の画像処理を行う。メモリ705は、撮像画像の一次記憶、撮像画素の欠陥位置を格納する。光学測距部706は、被写体の合焦や、測距を行う。視差演算部707は、複数の撮像装置702により取得された複数の画像データから視差(視差画像の位相差)の算出を行う。物体認知部708は、車、道、標識、人等の被写体の認知を行う。異常検出部709は、撮像装置702の異常を検出すると、主制御部713に異常を発報する。
集積回路703は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよいし、これらの組合せによって実現されてもよい。また、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
主制御部713は、撮像システム701、車両センサ710、制御ユニット720等の動作を統括・制御する。なお、主制御部713を持たず、撮像システム701、車両センサ710、制御ユニット720が個別に通信インターフェースを有して、それぞれが通信ネットワークを介して制御信号の送受を行う(例えばCAN規格)構成であってもよい。
集積回路703は、主制御部713からの制御信号を受け、あるいは自身の制御部によって、撮像装置702に制御信号及び設定値を送信する機能を有する。例えば、集積回路703は、撮像装置702内のスイッチ(トランジスタ)をパルス駆動させるための設定、フレーム毎にスイッチを切り替える設定等を送信する。
撮像システム701は、車両センサ710に接続されており、車速、ヨーレート、舵角などの自車両走行状態及び自車外環境や他車・障害物の状態を検出することができる。車両センサ710は、視差画像から対象物までの距離情報を取得する距離情報取得手段でもある。また、撮像システム701は、自動操舵、自動巡行、衝突防止機能等の種々の運転支援を行う運転支援制御部711に接続されている。特に、衝突判定機能に関しては、撮像システム701や車両センサ710の検出結果を基に他車・障害物との衝突推定・衝突有無を判定する。これにより、運転支援制御部711は、衝突が推定される場合の回避制御、衝突時の安全装置起動を行う。
また、撮像システム701は、衝突判定部での判定結果に基づいて、運転者に警報を発する警報装置712にも接続されている。例えば、衝突判定部の判定結果として衝突可能性が高い場合、主制御部713は、ブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして、衝突を回避、被害を軽減する車両制御を行う。警報装置712は、音等の警報を鳴らす、カーナビゲーションシステム、メーターパネル等の表示部画面に警報情報を表示する、シートベルト又はステアリングに振動を与える等により運転者に警告を行う。
本実施形態では、車両700の周囲、例えば前方又は後方を撮像システム701により撮影する。図17(b)は、車両前方を撮像システム701で撮像する場合の撮像システム701の配置例を示している。
2つの撮像装置702は、車両700の前方に配置される。具体的には、車両700の進退方位又は外形(例えば車幅)に対する中心線を対称軸に見立て、その対称軸に対して2つの撮像装置702が線対称に配置されると、車両700と被写対象物との間の距離情報の取得や衝突可能性の判定を行う上で好ましい。また、撮像装置702は、運転者が運転席から車両700の外の状況を視認する際に運転者の視野を妨げない配置が好ましい。警報装置712は、運転者の視野に入りやすい配置が好ましい。
次に、撮像システム701における撮像装置702の故障検出動作について、図18を用いて説明する。撮像装置702の故障検出動作は、図18に示すステップS810〜S880に従って実施される。なお、本故障検出動作における前提として、撮像装置702は、撮像のための有効画素(画像取得用画素)と故障検出のための故障検出画素を備えているものとする。
ステップS810は、撮像装置702のスタートアップ時の設定を行うための処理である。すなわち、撮像システム701の外部(例えば主制御部713)又は撮像システム701の内部の装置が、撮像装置702の動作のための設定を撮像装置702に送信することにより、撮像装置702の撮像動作及び故障検出動作が開始する。
次いで、ステップS820において、撮像装置702は、有効画素から画素信号を取得する。また、ステップS830において、撮像装置702は、故障検出用に設けた故障検出画素からの出力値を取得する。この故障検出画素は、有効画素と同じく光電変換部を備える。この光電変換部には、所定の電圧が書き込まれる。故障検出画素は、この光電変換部に書き込まれた電圧に対応する信号を出力する。なお、ステップS820とステップS830との順序は逆でもよい。
次いで、ステップS840において、撮像装置702は、故障検出画素の出力期待値と、実際の故障検出画素からの出力値との一致又は不一致を判定する該非判定を行う。
ステップS840における該非判定の結果、出力期待値と実際の出力値とが一致している場合は、処理はステップS850に移行する。ステップS850において、撮像装置702は、撮像動作が正常に行われていると判定し、処理はステップS860へと移行する。ステップS860において、撮像装置702は、走査行の画素信号をメモリ705に送信する。メモリ705は、走査行の画素信号を一次保存する。その後、処理はステップS820に戻り、故障検出動作を継続する。
一方、ステップS840における該非判定の結果、出力期待値と実際の出力値とが一致していない場合は、処理はステップS870に移行する。ステップS870において、撮像装置702は、撮像動作に異常があると判定し、主制御部713又は警報装置712に警報を発報する。警報装置712は、運転者に異常が検出されたことを通知する。その後、ステップS880において、撮像装置702は停止し、撮像システム701の動作が終了する。
なお、本実施形態では、1行の読み出しごとにステップS820からステップS860の故障検出処理がループする例を示したが、故障検出処理の周期はこの例に限定されない。例えば、複数行の読み出しごとに故障検出処理が行われてもよく、1フレームごとに故障検出動作が行われてもよい。
なお、ステップS870における警報装置712による警報の発報先は車両700の外部であってもよい。この場合、警報のための信号は、無線ネットワークを介して、車両700の外部に送信され得る。
また、本実施形態では、他の車両と衝突しないようにするための制御を説明したが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システム701は、車両に限らず、例えば、船舶、航空機或いは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
[変形実施形態]
本発明は、上述の実施形態に限定されるものではなく種々の変形が可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した構成又は他の実施形態の一部の構成と置換した構成も本発明の実施形態である。
上述の実施形態において、比較器51に入力される参照信号としては、ランプ信号VRMPが例示されている。しかしながら、用いられ得る参照信号はこれに限定されるものではなく、例えば、比較器51に入力される参照信号は、逐次比較型のAD変換に用いられる参照信号であってもよい。
また、上述の実施形態において撮像装置の動作は、画素における電荷蓄積期間の開始時刻及び終了時刻が画素の行ごとに異なるローリングシャッタ動作が前提とされている。しかしながら、撮像装置の動作は、これに限定されるものではなく、電荷蓄積期間の開始時刻及び終了時刻が複数の行及び複数の列の間で一致しているグローバルシャッタ動作であってもよい。
また、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらの例示によって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な態様で実施することができる。