JP2021176211A - 光電変換装置及び光電変換システム - Google Patents

Abstract

【課題】フレームレートを低下することなく複数行にわたって焦点検出用の信号を取得しうる光電変換装置を提供する。【解決手段】光電変換装置は、第１の光電変換部及び第２の光電変換部を有する複数の画素を有する。各々の画素は、第１の光電変換部からの信号に基づく第１の信号と、第１の光電変換部及び第２の光電変換部からの信号に基づく第２の信号と、の少なくとも一方を出力する。複数の画素から出力される第１の信号の数は、第２の信号の数よりも少なく、第１行の第１転送期間に転送される第１の信号を出力する画素が配された列と第２行の第１転送期間の間に転送される第１の信号を出力する画素が配された列とが異なる。【選択図】図９

Description

本発明は、光電変換装置及び光電変換システムに関する。

被写体の画像を取得するための撮像素子を用いて被写体までの距離を取得する一手法として、撮像面位相差方式と呼ばれる撮像方法が知られている。撮像面位相差方式では、カメラの光学系の射出瞳における異なる２つの領域（部分瞳）を通過した光束によって形成される一対の画像の視差を求め、当該視差から三角測量の原理に基づいて被写体までの距離を測定する。撮像面位相差方式を用いたカメラでは、撮像素子の各画素が、例えば２つの部分瞳に対応する２つの光電変換部を有している。この画素により、１つの光電変換部に入射する光束によって形成される光学像から得られる信号と、２つの光電変換部に入射する光束によって形成される光学像から得られる信号とを取得し、これら信号から焦点検出用の信号と画像生成用の信号とを生成する。

特許文献１には、フレームレートの低下を抑制する観点から、１つの光電変換部で生成された電荷に基づく信号を読み出す領域を、２つの光電変換部で生成された電荷に基づく信号を読み出す領域よりも狭くする方法が開示されている。

特開２０１３−２１１８３３号公報

しかしながら、特許文献１に記載の方法では、１つの光電変換部で生成された電荷に基づく信号を読み出す領域が、一部の行及び／又は一部の列で規定されているため、一部の行以外の行を含む複数行にわたって焦点検出用の信号を取得することができない。

本発明の目的は、フレームレートを低下することなく複数行にわたって焦点検出用の信号を取得しうる光電変換装置を提供することにある。

本発明の一観点によれば、複数の行及び複数の列をなすように配され、第１の光電変換部及び第２の光電変換部を各々が有する複数の画素を有し、前記複数の画素の各々は、前記第１の光電変換部からの信号に基づく第１の信号と、前記第１の光電変換部及び前記第２の光電変換部からの信号に基づく第２の信号と、の少なくとも一を出力可能に構成され、前記複数の画素から出力される前記第１の信号の数は、前記第２の信号の数よりも少なく、第１の行の前記第１の信号を出力する画素が配された列と、前記第１の行とは異なる第２の行の前記第１の信号を出力する画素が配された列とが異なっている光電変換装置が提供される。

本発明によれば、フレームレートを低下することなく複数行にわたって焦点検出用の信号を取得することができる。

本発明の第１実施形態による光電変換装置の概略構成を示すブロック図である。 本発明の第１実施形態による光電変換装置における単位画素の構成例を示す等価回路図である。 １つの単位画素を構成する複数の光電変換部の配置例を示す概略図である。 本発明の第１実施形態による光電変換装置の駆動方法を示すタイミング図である。 本発明の第１実施形態による光電変換装置における測距用信号及び撮像用信号の読み出し位置を示す概略図（その１）である。 本発明の第１実施形態による光電変換装置における測距用信号及び撮像用信号の読み出し位置を示す概略図（その２）である。 本発明の第１実施形態による光電変換装置における測距用信号及び撮像用信号の読み出し位置を示す概略図（その３）である。 本発明の第２実施形態による光電変換装置における測距用信号及び撮像用信号の読み出し位置を示す概略図である。 本発明の第３実施形態による光電変換装置における測距用信号及び撮像用信号の読み出し位置を示す概略図である。 本発明の第４実施形態による撮像システムの概略構成を示すブロック図である。 本発明の第５実施形態による撮像システム及び移動体の構成例を示す図である。

［第１実施形態］
本発明の第１実施形態による光電変換装置について、図１乃至図３を用いて説明する。図１は、本実施形態による光電変換装置の概略構成を示すブロック図である。図２は、本実施形態による光電変換装置における単位画素の構成例を示す等価回路図である。図３は、１つの単位画素を構成する複数の光電変換部の配置例を示す概略図である。

本実施形態による光電変換装置１００は、図１に示すように、画素アレイ部１０と、垂直走査回路２０と、読み出し回路部３０と、ＡＤ変換部４０と、メモリ部５０と、水平走査回路６０と、信号処理部７０と、信号出力部８０と、を有する。また、光電変換装置１００は、パルス生成／基準バイアス回路部３２，４４と、参照信号生成部４２と、カウンタ回路５２と、ＰＬＬ回路５４と、制御部９０と、を更に有する。

画素アレイ部１０には、複数の行及び複数の列に渡ってマトリクス状に配された複数の単位画素１２が設けられている。図１には、画素アレイ部１０を構成する単位画素１２のうち、４行×４列に配列された１６個の単位画素１２を示しているが、画素アレイ部１０を構成する単位画素１２の数は、特に限定されるものではない。

画素アレイ部１０の各行には、第１の方向（図１において横方向）に延在して、制御線１４が配されている。制御線１４の各々は、第１の方向に並ぶ単位画素１２にそれぞれ接続され、これら単位画素１２に共通の信号線をなしている。制御線１４の延在する第１の方向は、行方向或いは水平方向と呼ぶことがある。制御線１４は、垂直走査回路２０に接続されている。

画素アレイ部１０の各列には、第１の方向と交差する第２の方向（図１において縦方向）に延在して、垂直出力線１６が配されている。垂直出力線１６の各々は、第２の方向に並ぶ単位画素１２にそれぞれ接続され、これら単位画素１２に共通の信号線をなしている。垂直出力線１６の延在する第２の方向は、列方向或いは垂直方向と呼ぶことがある。垂直出力線１６は、読み出し回路部３０に接続されている。

垂直走査回路２０は、単位画素１２から信号を読み出す際に単位画素１２内の読み出し回路を駆動するための制御信号を、画素アレイ部１０の各行に設けられた制御線１４を介して単位画素１２に供給する制御回路部である。垂直走査回路２０は、シフトレジスタやアドレスデコーダを用いて構成されうる。

読み出し回路部３０は、各列の垂直出力線１６に対応して設けられた複数の列読み出し回路（図示せず）を有する。列読み出し回路の各々は、垂直出力線１６を介して単位画素１２内の読み出し回路にバイアス電流を供給するための電流源負荷を備えうる。列読み出し回路の各々は、垂直出力線１６を介して読み出された画素信号を増幅するためのカラムアンプを更に有していてもよい。各列の列読み出し回路の出力は、ＡＤ変換部４０に接続されている。

パルス生成／基準バイアス回路部３２は、読み出し回路部３０に接続されている。パルス生成／基準バイアス回路部３２は、読み出し回路部３０を制御するための制御信号を生成するパルス回路や、読み出し回路部３０に基準バイアス電圧を供給するための基準バイアス回路を含みうる。

ＡＤ変換部４０は、各列の列読み出し回路に対応して設けられた複数の比較回路（図示せず）を有する。比較回路の各々は、対応する列の列読み出し回路から出力された画素信号のレベルと参照信号のレベルとを比較し、比較の結果に応じた信号をメモリ部５０に出力する。具体的には、比較回路は、画素信号の大きさと参照信号の大きさとを比較し、これら信号の大小関係が反転したときに出力信号をハイレベルからローレベル或いはローレベルからハイレベルへと遷移する。

参照信号生成部４２は、ＡＤ変換に用いるための参照信号を生成し、ＡＤ変換部４０の各列の比較回路に供給する。参照信号は、画素信号のレンジに応じた所定の振幅を有し、時間の経過とともに信号レベルが変化する信号でありうる。参照信号は、特に限定されるものではないが、例えば、時間の経過とともに信号レベルが単調増加し又は単調減少するランプ信号を適用可能である。なお、信号レベルの変化は、必ずしも連続的である必要はなく、ステップ状であってもよい。

パルス生成／基準バイアス回路部４４は、ＡＤ変換部４０に接続されている。パルス生成／基準バイアス回路部４４は、ＡＤ変換部４０を制御するための制御信号を生成するパルス回路や、ＡＤ変換部４０に基準バイアス電圧を供給するための基準バイアス回路を含みうる。

カウンタ回路５２は、参照信号生成部４２から供給される参照信号の信号レベルの変化が開始するタイミングに同期してカウント動作を開始し、そのカウント値示すカウント信号を各列のメモリ部５０へと出力する。ＰＬＬ（Phase Locked Loop）回路５４は、カウンタ回路５２の基準クロックを生成する。

メモリ部５０は、各列の列ＡＤ変換回路に対応して設けられた複数の列メモリ（図示せず）を有する。各列の列メモリは、対応する列の比較回路の出力信号のレベルが反転したタイミングにおいてカウンタ回路５２から出力されているカウント信号で示されるカウント値を、画素信号のデジタルデータ（デジタル画素信号）として記憶する。各列の列メモリは、ノイズ信号のデジタルデータを保持するＮメモリと、光信号のデジタルデータを保持するＳメモリと、を含みうる。

水平走査回路６０は、各列の列メモリに記憶されたデジタル画素信号を出力するための制御信号を、各列の列メモリに列毎に順次供給する回路部である。各列に対応して設けられた水平走査回路６０の制御線は、対応する列の列メモリに接続されている。各列の列メモリは、水平走査回路６０の対応する列の制御線を介して制御信号を受信すると、保持するデジタル画素信号を、水平出力線５６を介して信号処理部７０に出力する。水平走査回路６０は、メモリ部５０に保持されている信号を列単位で順次、後段の処理部（信号処理部７０）へと転送する転送部である。

信号処理部（ＤＦＥ：Digital Front End）７０は、水平出力線５６を介してメモリ部５０から出力されるデジタル画素信号に対して所定の信号処理を実行する回路部である。信号処理部７０が実行する処理としては、例えば、増幅処理や、デジタル相関二重サンプリング（ＣＤＳ）処理が挙げられる。デジタルＣＤＳ処理は、メモリ部がデジタル画素信号としてノイズ信号Ｎと光信号Ｓとの２種類のデジタルデータを記憶している場合に、（Ｓ−Ｎ）の差分処理を行う信号処理である。

信号出力部８０は、信号処理部７０で処理された信号を光電変換装置１００の外部へと出力するための回路部である。信号出力部８０は、ＬＶＤＳ（Low Voltage Differential Signaling）等の外部インターフェースを含み、信号処理後のデジタル画素信号を光電変換装置１００の外部へと出力する。

制御部９０は、垂直走査回路２０、パルス生成／基準バイアス回路部３２，４４、参照信号生成部４２、カウンタ回路５２、ＰＬＬ回路５４、水平走査回路６０に、それらの動作やそのタイミングを制御する制御信号を供給するための回路部である。これら制御信号の少なくとも一部は、光電変換装置１００の外部から供給するようにしてもよい。

単位画素１２は、画像を構成するために繰り返して配置される回路の最小単位を指しうる。単位画素１２の各々は、例えば図２に示すように、光電変換部ＰＤＡ，ＰＤＢと、転送トランジスタＭ１Ａ，Ｍ１Ｂと、リセットトランジスタＭ２と、増幅トランジスタＭ３と、選択トランジスタＭ４と、により構成されうる。単位画素１２の各々は、更に、浮遊拡散（フローティングディフュージョン）部ＦＤに容量を付加する容量付加トランジスタを含んでいてもよい。典型的には、選択トランジスタＭ４及び当該選択トランジスタＭ４を介して垂直出力線１６に接続された一群の素子が単位画素１２を構成する。すなわち、選択トランジスタが画素回路の外縁でありうる。単位画素１２は、１つのマイクロレンズＭＬと、当該マイクロレンズＭＬを通過した光が入射する複数の光電変換部ＰＤＡ、ＰＤＢにより構成されていてもよい。

光電変換部ＰＤＡ，ＰＤＢは、例えばフォトダイオードである。光電変換部ＰＤＡを構成するフォトダイオードは、アノードが接地ノードに接続され、カソードが転送トランジスタＭ１Ａのソースに接続されている。光電変換部ＰＤＢを構成するフォトダイオードは、アノードが接地ノードに接続され、カソードが転送トランジスタＭ１Ｂのソースに接続されている。転送トランジスタＭ１Ａのドレイン及び転送トランジスタＭ１Ｂのドレインは、リセットトランジスタＭ２のソース及び増幅トランジスタＭ３のゲートに接続されている。転送トランジスタＭ１Ａ，Ｍ１Ｂのドレイン、リセットトランジスタＭ２のソース及び増幅トランジスタＭ３のゲートの接続ノードは、いわゆる浮遊拡散部ＦＤである。浮遊拡散部ＦＤは、容量成分（浮遊拡散容量）を含み、電荷保持部としての機能を備える。

リセットトランジスタＭ２のドレイン及び増幅トランジスタＭ３のドレインは、電源ノード（電圧ＶＤＤ）に接続されている。増幅トランジスタＭ３のソースは、選択トランジスタＭ４のドレインに接続されている。選択トランジスタＭ４のソースは、垂直出力線１６に接続されている。

図２の画素構成の場合、画素アレイ部１０に配された各行の制御線１４は、垂直走査回路２０からの制御信号ｐＴＸＡ，ｐＴＸＢ，ｐＲＥＳ，ｐＳＥＬが供給される４本の信号線を含む。制御信号ｐＴＸＡが供給される信号線は、対応する行に属する単位画素１２の転送トランジスタＭ１Ａのゲートにそれぞれ接続され、これら単位画素１２に共通の信号線をなす。制御信号ｐＴＸＢが供給される信号線は、対応する行に属する単位画素１２の転送トランジスタＭ１Ｂのゲートにそれぞれ接続され、これら単位画素１２に共通の信号線をなす。制御信号ｐＲＥＳが供給される信号線は、対応する行に属する単位画素１２のリセットトランジスタＭ２のゲートにそれぞれ接続され、これら単位画素１２に共通の信号線をなす。制御信号ｐＳＥＬが供給される信号線は、対応する行に属する単位画素１２の選択トランジスタＭ４のゲートにそれぞれ接続され、これら単位画素１２に共通の信号線をなす。単位画素１２を構成する各トランジスタがＮ型トランジスタで構成される場合、垂直走査回路２０からＨｉｇｈレベル（以下、「Ｈレベル」と表記する）の制御信号が供給されると、対応するトランジスタがオンになる。また、垂直走査回路２０からＬｏｗレベル（以下、「Ｌレベル」と表記する）の制御信号が供給されると、対応するトランジスタがオフになる。

光電変換部ＰＤＡ，ＰＤＢは、入射光をその光量に応じた量の電荷に変換（光電変換）するとともに、生じた電荷を蓄積する。転送トランジスタＭ１Ａは、オンになることにより光電変換部ＰＤＡが保持する電荷を浮遊拡散部ＦＤに転送する。転送トランジスタＭ１Ｂは、オンになることにより光電変換部ＰＤＢが保持する電荷を浮遊拡散部ＦＤに転送する。浮遊拡散部ＦＤは、光電変換部ＰＤＡ，ＰＤＢから転送された電荷を保持するとともに、その容量による電荷電圧変換によって、光電変換部ＰＤＡ，ＰＤＢから転送された電荷の量に応じた電圧となる。増幅トランジスタＭ３は、ドレインに電源電圧が供給され、ソースに垂直出力線１６及び選択トランジスタＭ４を介して読み出し回路部３０からバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部（ソースフォロワ回路）を構成する。これにより増幅トランジスタＭ３は、浮遊拡散部ＦＤの電圧に応じた信号を、選択トランジスタＭ４を介して垂直出力線１６に出力する。リセットトランジスタＭ２は、オンになることにより浮遊拡散部ＦＤを電源電圧に応じた電圧にリセットする。選択トランジスタＭ４は、単位画素１２を選択するスイッチであり、オンになることにより増幅トランジスタＭ３を垂直出力線１６に接続する。

単位画素１２の転送トランジスタＭ１Ａ，Ｍ１Ｂ、リセットトランジスタＭ２及び選択トランジスタＭ４は、前述のように、垂直走査回路２０から供給される制御信号ｐＴＸＡ，ｐＴＸＢ，ｐＲＥＳ，ｐＳＥＬにより、行単位で制御される。制御信号ｐＳＥＬにより選択された行に属する単位画素１２の画素信号は、それぞれの単位画素１２の対応する垂直出力線１６に、同時に出力される。単位画素１２から出力される画素信号は、アナログ信号である。

本明細書では、光電変換部ＰＤＡで生成された電荷に基づく信号を「Ａ像信号」、光電変換部ＰＤＢで生成された電荷に基づく信号を「Ｂ像信号」と呼ぶものとする。また、光電変換部ＰＤＡ，ＰＤＢで生成された総電荷に基づく信号を「Ａ＋Ｂ像信号」と呼ぶものとする。単位画素１２のそれぞれは、Ａ像信号及びＡ＋Ｂ像信号の少なくとも一方を出力可能に構成されている。

図３は、１つの単位画素１２を構成する光電変換部ＰＤＡ及び光電変換部ＰＤＢの配置例を示す概略図である。図３（ａ）が上面図であり、図３（ｂ）が図３（ａ）のＡ−Ａ′線断面図である。

光電変換部ＰＤＡ，ＰＤＢは、単位画素１２を構成する各トランジスタ（図示せず）とともに半導体層１１０に設けられる。半導体層１１０の上方には、絶縁層１２０やカラーフィルタ層ＣＦなどを介してマイクロレンズＭＬが配置される。１つの単位画素１２を構成する光電変換部ＰＤＡと光電変換部ＰＤＢとは、図３（ａ）及び図３（ｂ）に示すように、１つのマイクロレンズＭＬを共有している。別の言い方をすると、光電変換部ＰＤＡと光電変換部ＰＤＢとは、撮像光学系に入射した光のうち互いに異なる瞳領域を通過した光を受光するように構成されている。このように構成することで、光電変換部ＰＤＡで生成された電荷に基づく信号（Ａ像信号）と、光電変換部ＰＤＢで生成された電荷に基づく信号（Ｂ像信号）とは、測距用の位相差検出信号として利用することができる。また、光電変換部ＰＤＡ，ＰＤＢで生成された総電荷に基づく信号（Ａ＋Ｂ像信号）は、画像生成用の信号として利用することができる。

次に、本実施形態による光電変換装置の駆動方法について、図４乃至図７を用いて説明する。
図４は、画素アレイ部１０を構成する単位画素１２のうち、Ｎ行目の単位画素１２とＮ＋１行目の単位画素１２の駆動例を示すタイミング図である。図４には、垂直走査回路２０から供給される制御信号のうち、対応する行の制御信号ｐＲＥＳ，ｐＴＸＡ，ｐＴＸＢを示している。また、図４には、画素信号のＡＤ変換期間と、メモリ部５０から信号処理部７０への水平転送期間と、を示している。

図４中、「ＮＡＤ」は、ノイズ信号のＡＤ変換期間を示している。「Ａ像ＳＡＤ」は、Ａ像信号のＡＤ変換期間を示している。「Ａ＋Ｂ像ＳＡＤ」は、Ａ＋Ｂ像信号のＡＤ変換期間を示している。「Ｎ行目 ＮＡＤ，Ａ像ＳＡＤ」は、Ｎ行目の単位画素１２のノイズ信号及びＡ像信号のデジタルデータの水平転送期間を示している。「Ｎ行目 ＮＡＤ，Ａ＋Ｂ像ＳＡＤ」は、Ｎ行目の単位画素１２のノイズ信号及びＡ＋Ｂ像信号のデジタルデータの水平転送期間を示している。「Ｎ＋１行目 ＮＡＤ，Ａ像ＳＡＤ」は、Ｎ＋１行目の単位画素１２のノイズ信号及びＡ像信号のデジタルデータの水平転送期間を示している。「Ｎ＋１行目 ＮＡＤ，Ａ＋Ｂ像ＳＡＤ」は、Ｎ＋１行目の単位画素１２のノイズ信号及びＡ＋Ｂ像信号のデジタルデータの水平転送期間を示している。

図４において、時刻ｔ１から時刻ｔ１６の期間がＮ行目の単位画素１２からの画素信号の読み出し期間であり、時刻ｔ１６から時刻ｔ１８の期間がＮ＋１行目の単位画素１２からの画素信号の読み出し期間である。なお、Ｎ＋１行目の読み出し動作はＮ行目の読み出し動作と基本的に同じであるため、Ｎ＋１行目の読み出し期間における時刻は、Ｎ行目の読み出し期間おける時刻に（ｎ＋１）の符号を付記することで区別している。

時刻ｔ０よりも前の期間において、垂直走査回路２０からＮ行目の単位画素１２及びＮ＋１行目の単位画素１２に供給されている制御信号ｐＲＥＳ，ｐＴＸＡ，ｐＴＸＢ，ｐＳＥＬは、Ｌレベルであるものとする。

時刻ｔ０から時刻ｔ１６の期間において、垂直走査回路２０は、Ｎ行目の単位画素１２に供給する制御信号ｐＳＥＬ（図示せず）をＨレベルに制御する。これにより、Ｎ行目の単位画素１２の選択トランジスタＭ４がオンになり、Ｎ行目の単位画素１２が選択される。すなわち、画素アレイ部１０は、Ｎ行目の単位画素１２の画素信号を垂直出力線１６に出力できる状態となる。

時刻ｔ１から時刻ｔ２の期間において、垂直走査回路２０は、Ｎ行目の単位画素１２に供給する制御信号ｐＲＥＳをＨレベルに制御する。これにより、Ｎ行目の単位画素１２のリセットトランジスタＭ２がオンになり、Ｎ行目の単位画素１２の浮遊拡散部ＦＤが電圧ＶＤＤに応じた電位にリセットされる。

時刻ｔ２において制御信号ｐＲＥＳがＬレベルに遷移することでＮ行目の単位画素１２のリセットトランジスタＭ２がオフになり、Ｎ行目の単位画素１２の浮遊拡散部ＦＤがフローティング状態になる。Ｎ行目の単位画素１２の増幅トランジスタＭ３は、このときの浮遊拡散部ＦＤの電位に応じた信号（ノイズ信号）を、選択トランジスタＭ４を介して垂直出力線１６に出力する。

続く時刻ｔ３から時刻ｔ４の期間において、ＡＤ変換部４０は、垂直出力線１６及び読み出し回路部３０を介して受け取ったノイズ信号をＡＤ変換する。ノイズ信号をＡＤ変換したデジタルデータは、メモリ部５０に保持される。以下、ノイズ信号をＡＤ変換する期間を「ＮＡＤ期間」と呼び、ノイズ信号をＡＤ変換したデジタルデータを「ＮＡＤ信号」と呼ぶものとする。

続く時刻ｔ５から時刻ｔ６の期間において、垂直走査回路２０は、Ｎ行目の単位画素１２に供給する制御信号ｐＴＸＡをＨレベルに制御する。これにより、Ｎ行目の単位画素１２の転送トランジスタＭ１Ａがオンになり、露光期間の間に光電変換部ＰＤＡに蓄積された電荷がＮ行目の単位画素１２の浮遊拡散部ＦＤに転送される。浮遊拡散部ＦＤは、光電変換部ＰＤＡから転送された電荷の量に応じた電位となる。

時刻ｔ６において制御信号ｐＴＸＡがＬレベルに遷移することでＮ行目の単位画素１２の転送トランジスタＭ１Ａがオフになり、Ｎ行目の単位画素１２の浮遊拡散部ＦＤがフローティング状態になる。Ｎ行目の単位画素１２の増幅トランジスタＭ３は、このときの浮遊拡散部ＦＤの電位に応じた信号（Ａ像信号）を、選択トランジスタＭ４を介して垂直出力線１６に出力する。

続く時刻ｔ７から時刻ｔ８の期間において、ＡＤ変換部４０は、垂直出力線１６及び読み出し回路部３０を介して受け取ったＡ像信号をＡＤ変換する。Ａ像信号をＡＤ変換したデジタルデータは、メモリ部５０に保持される。以下、Ａ像信号をＡＤ変換する期間を「Ａ像ＳＡＤ期間」と呼び、Ａ像信号をＡＤ変換したデジタルデータを「Ａ像ＳＡＤ信号」と呼ぶものとする。Ａ像ＳＡＤ信号は、焦点検出用の信号である。

続く時刻ｔ９から時刻ｔ１３の期間において、メモリ部５０は、水平走査回路６０からの制御信号に応じて、各列の列メモリが保持するＮＡＤ信号及びＡ像ＳＡＤ信号を信号処理部７０へと順次転送する。なお、ここではメモリ部５０の詳細は述べないが、各列の列メモリは、ＮＡＤ信号とＳＡＤ信号とを同時に保持することができ、これら信号を信号処理部７０へと転送した後は新たな信号を保持することが可能である。すなわち、ＮＡＤ信号及びＳＡＤ信号の転送期間の少なくとも一部は、後述するＡ＋Ｂ像ＳＡＤ期間と並行して行うことができる。

続く時刻ｔ１０から時刻ｔ１１の期間において、垂直走査回路２０は、Ｎ行目の単位画素１２に供給する制御信号ｐＴＸＡ，ｐＴＸＢをＨレベルに制御する。これにより、Ｎ行目の単位画素１２の転送トランジスタＭ１Ａ，Ｍ１Ｂがオンになり、露光期間の間に光電変換部ＰＤＡ，ＰＤＢに蓄積された電荷がＮ行目の単位画素１２の浮遊拡散部ＦＤに転送される。浮遊拡散部ＦＤは、光電変換部ＰＤＡ，ＰＤＢから転送された電荷の量に応じた電位となる。

時刻ｔ１１において制御信号ｐＴＸＡ，ｐＴＸＢがＬレベルに遷移することでＮ行目の単位画素１２の転送トランジスタＭ１Ａ，Ｍ１Ｂがオフになり、Ｎ行目の単位画素１２の浮遊拡散部ＦＤがフローティング状態になる。Ｎ行目の単位画素１２の増幅トランジスタＭ３は、このときの浮遊拡散部ＦＤの電位に応じた信号（Ａ＋Ｂ像信号）を、選択トランジスタＭ４を介して垂直出力線１６に出力する。

続く時刻ｔ１２から時刻ｔ１４の期間において、ＡＤ変換部４０は、垂直出力線１６及び読み出し回路部３０を介して受け取ったＡ＋Ｂ像信号をＡＤ変換する。Ａ＋Ｂ像信号をＡＤ変換したデジタルデータは、メモリ部５０に保持される。以下、Ａ＋Ｂ像信号をＡＤ変換する期間を「Ａ＋Ｂ像ＳＡＤ期間」と呼び、Ａ＋Ｂ像信号をＡＤ変換したデジタルデータを「Ａ＋Ｂ像ＳＡＤ信号」と呼ぶものとする。Ａ＋Ｂ像ＳＡＤ信号は、画像生成用の信号である。

続く時刻ｔ１５から時刻ｔ１７の期間において、メモリ部５０は、水平走査回路６０からの制御信号に応じて、各列の列メモリが保持するＮＡＤ信号及びＡ＋Ｂ像ＳＡＤ信号を信号処理部７０へと順次転送する。

時刻ｔ１６において、垂直走査回路２０は、Ｎ行目の単位画素１２に供給する制御信号ｐＳＥＬ（図示せず）をＬレベルに制御する。これにより、Ｎ行目の単位画素１２の選択トランジスタＭ４がオフになり、Ｎ行目の単位画素１２の選択が解除される。

続く時刻ｔ１６から時刻ｔ１８の期間において、垂直走査回路２０は、Ｎ＋１行目の単位画素１２に供給する制御信号ｐＳＥＬ（図示せず）をＨレベルに制御する。これにより、Ｎ＋１行目の単位画素１２の選択トランジスタＭ４がオンになり、Ｎ＋１行目の単位画素１２が選択される。すなわち、画素アレイ部１０は、Ｎ＋１行目の単位画素１２の画素信号を垂直出力線１６に出力できる状態となる。

時刻ｔ１６から時刻ｔ１８におけるＮ＋１行目の読み出し動作は、時刻ｔ０から時刻ｔ１６におけるＮ行目の読み出し動作と基本的に同じであるため、ここでは説明を省略する。

上述した駆動例において、撮像信号であるＡ＋Ｂ像ＳＡＤ信号の信号処理部７０への水平転送は、時刻ｔ１５から開始する。そのため、測距用信号であるＡ像ＳＡＤ信号の信号処理部７０への水平転送は、時刻ｔ１５よりも前に終える必要がある。同じ行に配された総ての単位画素１２から画素信号を読み出す場合、メモリ部５０から信号処理部７０への水平転送に要する時間としては、少なくとも時刻ｔ１５から時刻ｔ１７までの期間と同じ時間が必要である。そのため、同じ行に配された総ての単位画素１２からＡ像ＳＡＤ信号を読み出そうとすると、時刻ｔ９から時刻ｔ１３までの期間の長さは、時刻ｔ１５から時刻ｔ１７までの期間の長さと同じになる。

メモリ部５０の構成上、時刻ｔ１７は、Ｎ＋１行目の単位画素１２のＡ像ＳＡＤ信号の水平転送を開始する時刻ｔ９（ｎ＋１）を越えることはできない。そのため、画面全体にわたって測距を行うためにより多くのＡ像ＳＡＤ信号を得ようとすると、時刻ｔ９から時刻ｔ１３までの期間の長さが延び、Ａ＋Ｂ像ＳＡＤ信号の水平転送を開始する時刻ｔ１５が後ろ倒しされる。これに伴い、Ｎ＋１行目の単位画素１２のＡ像ＳＡＤ信号の水平転送を開始する時刻ｔ９（ｎ＋１）も後ろ倒しされる。

したがって、同じ行に配された総ての単位画素１２からＡ像ＳＡＤ信号を読み出そうとすると、１行分の画素信号を得るために要する時間が延び、フレームレートが低下してしまう。一方、フレームレートの低下を避けるために、特許文献１に記載のように、Ａ像ＳＡＤ信号については特定の領域に配された一部の単位画素１２のみから読み出しを行うように構成した場合、特定の領域以外の領域を含む複数行に渡って測距を行うことはできない。

このような観点から、本実施形態においては、Ａ像ＳＡＤ信号の読み出しを行う単位画素１２を行単位で変化する駆動を行う。このように光電変換装置を駆動することにより、フレームレートの低下を抑制しつつ、画面領域の全体をカバーするＡ像ＳＡＤ信号の読み出しを行うことが可能となる。

図５乃至図７は、Ａ像ＳＡＤ信号の読み出しを行う単位画素１２の配置例を示す概略図である。図中、「Ａ＋Ｂ」はＡ＋Ｂ像ＳＡＤ信号のみを読み出す領域を示し、「Ａ，Ａ＋Ｂ」はＡ像ＳＡＤ信号とＡ＋Ｂ像ＳＡＤ信号とを読み出す領域を示している。

図５は、画素アレイ部１０を水平方向に２つの列ブロックに分割し、１行毎にＡ像ＳＡＤ信号を読み出す領域を切り替える場合の配置例である。この例は、奇数行では水平方向の左側の列ブロックからＡ像ＳＡＤ信号の読み出しを行い、偶数行では水平方向の右側の列ブロックからＡ像ＳＡＤ信号の読み出しを行うものである。Ａ＋Ｂ像ＳＡＤ信号は、奇数行及び偶数行の両方において総ての列ブロックから読み出しを行う。

別の言い方をすると、Ａ像ＳＡＤ信号の水平転送期間に転送されるＡ像ＳＡＤ信号の数は、Ａ＋Ｂ像ＳＡＤ信号の水平転送期間に転送されるＡ＋Ｂ像ＳＡＤ信号の数よりも少ない。また、奇数行のＡ像ＳＡＤ信号の水平転送期間の間に転送されるＡ像ＳＡＤ信号を出力する単位画素１２が配された列と、偶数行のＡ像ＳＡＤ信号の水平転送期間の間に転送されるＡ像ＳＡＤ信号を出力する単位画素１２が配された列とは異なっている。また、画素アレイ部１０を構成する複数の行は、左側の列ブロックからＡ像ＳＡＤ信号を出力する行と、右側の列ブロックからＡ像ＳＡＤ信号を出力する行と、を含む行ブロックを周期的に配することにより構成されたものである。

この配置例は、ある特定の１行に着目すると測距用信号は水平方向の一部の領域からしか取得できないが、複数の行に着目すると測距用信号は水平方向の全体から取得することができる。画面全体で見ると測距用信号の垂直方向の解像度は落ちるが、画面全体を網羅した測距用の信号を取得することが可能となる。

測距用信号のＳ／Ｎ比を向上するために、隣り合う奇数行で同じ列のＡ像ＳＡＤ信号を加算し、隣り合う偶数行で同じ列のＡ像ＳＡＤ信号を加算するようにしてもよい。例えば、２つの行のＡ像ＳＡＤ信号を加算する場合、信号が２倍になるのに対してノイズは√２倍になるので、Ｓ／Ｎ比は√２倍に増加する。画素信号の加算処理には、低照度条件におけるＡＦ精度の向上などが期待できる。なお、加算する行数は２行に限定されるものではなく、３行以上であってもよい。Ａ像ＳＡＤ信号の加算処理は、特に限定されるものではないが、例えば、信号処理部７０や、光電変換装置１００の外部の信号処理装置において行うことができる。

なお、図５の配置例では、隣り合う２行の駆動により、各列から１回ずつＡ像ＳＡＤ信号を取得するように構成しているが、Ａ像ＳＡＤ信号を２回出力する列が少なくとも一部にあってもよい。また、Ａ像ＳＡＤ信号を出力しない列が少なくとも一部にあってもよい。後述する図６及び図７の配置例においても同様である。

図６は、図５における奇数行の動作と偶数行の動作とを入れ替えた場合の配置例である。すなわち、この例では、奇数行では水平方向の右側の列ブロックからＡ像ＳＡＤ信号の読み出しを行い、偶数行では水平方向の左側の列ブロックからＡ像ＳＡＤ信号の読み出しを行う。

図５の配置例及び図６の配置例は、総てのフレームにおいていずれかを採用してもよいし、フレーム単位で切り替えるようにしてもよい。例えば、Ｎフレーム目では図５の配置例に従って画素信号の読み出しを行い、Ｎ＋１フレーム目では図６の配置例に従って画素信号の読み出しを行うなど、図５の配置例と図６の配置例とをフレーム毎に交互に採用することができる。フレーム毎にＡ像ＳＡＤ信号の読み出しを行う列ブロックを変えることにより、あるフレームでは読み出しが行われない列ブロックのＡ像ＳＡＤ信号を、その前後のフレームで読み出しを行った当該列ブロックのＡ像ＳＡＤ信号から補間することも可能である。Ａ像ＳＡＤ信号の読み出しを行う列ブロックの切り替えは、必ずしも１フレーム毎に行う必要はなく、２以上の所定のフレーム数毎に行うようにしてもよい。

図５及び図６の配置例では、画素アレイ部１０を水平方向に２つの列ブロックに分割し、１行毎にＡ像ＳＡＤ信号を読み出す領域を切り替える例を示したが、水平方向の分割数は２に限定されるものではない。水平方向の分割数は、所望のフレームレートが得られるように、適宜設定することが可能である。

例えば図７に示すように、画素アレイ部１０を水平方向に３分割し、１行毎にＡ像ＳＡＤ信号を読み出す領域を切り替えるように構成することも可能である。図７の配置例は、各行の単位画素１２を水平方向に３つの領域に分割し、そのうち１つの領域からＡ像ＳＡＤ信号を取得するものである。３行周期でＡ像ＳＡＤ信号を取得する領域を切り替えることで、画面領域の全体をカバーするＡ像ＳＡＤ信号の読み出しを行うことが可能となる。

図７の配置例では、１つの行の総ての単位画素１２からＡ像ＳＡＤ信号を読み出す場合と比較して、１つの行の単位画素１２から読み出されるＡ像ＳＡＤ信号の数は１／３となる。したがって、メモリ部５０から信号処理部７０へのＡ像ＳＡＤ信号の転送時間（時刻ｔ９から時刻ｔ１３までの期間の長さ）も１／３にすることができる。これにより、図５及び図６の場合と比較して、フレームレートを更に向上することができる。

なお、測距用の位相差検出信号としては、Ａ像ＳＡＤ信号のほか、Ｂ像ＳＡＤ信号が用いられる。このＢ像ＳＡＤ信号は、読み出したＡ＋Ｂ像ＳＡＤ信号からＡ像ＳＡＤ信号を差し引くことにより、算出することができる。Ｂ像ＳＡＤ信号の生成は、信号処理部７０で行ってもよいし、光電変換装置１００の外部の信号処理部で行ってもよい。

このように、本実施形態によれば、フレームレートを低下することなく複数行にわたって焦点検出用の信号を取得することができる。

［第２実施形態］
本発明の第２実施形態による光電変換装置について、図８を用いて説明する。第１実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

図８は、本実施形態の光電変換装置における画素アレイ部のカラーフィルタ配列の一例を示す図である。図８には、画素アレイ部１０に配される複数の単位画素１２のうち、Ｎ行Ｍ列からＮ＋７行Ｍ＋１１列までの８行×１２列の単位画素アレイに対応するカラーフィルタ配列を示している。

画素アレイ部１０に配される単位画素１２の各々は、所定の分光感度特性を有するカラーフィルタを備えている。図８には、複数の単位画素１２を、カラーフィルタの色パターンの配列の一つであるベイヤー配列に従って配置した例を示している。ベイヤー配列では、緑のカラーフィルタを備えた画素（Ｇ画素）と、赤のカラーフィルタを備えた画素（Ｒ画素）と、青のカラーフィルタを備えた画素（Ｂ画素）とが、２：１：１の比率で配置される。一方の対角位置に２つのＧ画素を配置し、他方の対角位置にＲ画素とＢ画素とを配置した２行×２列の単位画素ブロックが、ベイヤー配列の最小の繰り返し単位である。ここで、Ｒ画素は赤色の波長域の光に感度を有する画素であり、Ｇ画素は緑色の波長域の光に感度を有する画素であり、Ｂ画素は青色の波長域の光に感度を有する画素である。本明細書において、感度を有するとは、光電変換部に入射する光のピーク波長が対応する色の波長域にあることを指す。一般的に、これら色画素の分光感度は、Ｇ画素、Ｒ画素、Ｂ画素の順に高い。

ベイヤー配列では、Ｒ画素とＧ画素とが交互に配される行と、Ｇ画素とＢ画素とが交互に配される行とが、交互に配置される。ここでは便宜上、Ｒ画素（図中、「Ｒ」）と同じ行に配されるＧ画素をＧｒ画素（図中、「Ｇｒ」）と表記し、Ｂ画素（図中、「Ｂ」）と同じ行に配されるＧ画素をＧｂ画素（図中、「Ｇｂ」）と表記するものとする。

本実施形態では、Ｇｒ画素及びＧｂ画素からＡ像ＳＡＤ信号とＡ＋Ｂ像ＳＡＤ信号とを読み出し、Ｒ画素及びＢ画素からはＡ＋Ｂ像ＳＡＤ信号を読み出すがＡ像ＳＡＤ信号は読み出さない。図８のカラーフィルタ配列は、Ｒ画素とＧｒ画素とが交互に配される行と、Ｇｂ画素とＢ画素とが交互に配される行とを含むため、いずれの行においてもＡ像ＳＡＤ信号は１／２に間引かれる。したがって、各行の水平転送動作において、Ａ像ＳＡＤ信号をメモリ部５０から信号処理部７０に転送する期間の長さを、Ａ＋Ｂ像ＳＡＤ信号をメモリ部５０から信号処理部７０に転送する期間の長さの半分に短縮することができる。これにより、総ての単位画素１２からＡ像ＳＡＤ信号を読み出す場合と比較して、フレームレートを向上することができる。

また、ベイヤー配列において、Ｇｒ画素を含む列とＧｂ画素を含む列とは交互に配されている。したがって、例えば奇数行に配されたＧｒ画素と例えば偶数行に配されたＧｂ画素とにより、測距領域は水平方向の全領域を網羅することができる。これにより、画面領域の全体をカバーするＡ像ＳＡＤ信号の読み出しを行うことが可能となる。また、ベイヤー配列ではＲ画素及びＢ画素よりもＧ画素の比率が高いため、Ｇ画素からＡ像ＳＡＤ信号を取得することにより、Ｒ画素やＢ画素からＡ像ＳＡＤ信号を取得する場合と比較してＡ像ＳＡＤ信号の解像度を高くすることが可能である。

測距用信号のＳ／Ｎ比を向上するために、所定の数の単位画素１２ごとにＡ像ＳＡＤ信号を加算するようにしてもよい。例えば、ベイヤー配列の１つの単位画素ブロックを構成するＧｒ画素のＡ像ＳＡＤ信号とＧｂ画素のＡ像ＳＡＤ信号とを加算することができる。Ｇｒ画素とＧｂ画素とは同色の画素であるため、これらのＡ像ＳＡＤ信号を加算することが可能である。或いは、同じ行に配された２つ以上のＧｒ画素のＡ像ＳＡＤ信号と、同じ行に配された２つ以上のＧｂ画素のＡ像ＳＡＤ信号とを、それぞれ加算することができる。或いは、同じ列に配された２つ以上のＧｒ画素のＡ像ＳＡＤ信号と、同じ列に配された２つ以上のＧｂ画素のＡ像ＳＡＤ信号とを、それぞれ加算することができる。

このように、本実施形態によれば、フレームレートを低下することなく複数行にわたって焦点検出用の信号を取得することができる。

［第３実施形態］
本発明の第３実施形態による光電変換装置について、図９を用いて説明する。第１及び第２実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

図９は、本実施形態の光電変換装置における画素アレイ部のカラーフィルタ配列の一例を示す図である。図９には、画素アレイ部１０に配される複数の単位画素１２のうち、Ｎ行Ｍ列からＮ＋７行Ｍ＋１１列までの８行×１２列の単位画素アレイに対応するカラーフィルタ配列を示している。

本実施形態の光電変換装置は、第２実施形態と同様、ベイヤー配列に従って配列された複数の単位画素１２を有する。第２実施形態では総てのＧ画素からＡ像ＳＡＤ信号の読み出しを行ったが、本実施形態においてもＧ画素からＡ像ＳＡＤ信号の読み出しを行うが、Ａ像ＳＡＤ信号の読み出しを行うＧ画素を１／３に間引いている。ベイヤー配列は、Ｒ画素とＧｒ画素とが交互に配される行と、Ｇｂ画素とＢ画素とが交互に配される行とを含むため、いずれの行においてもＡ像ＳＡＤ信号は１／６に間引かれることになる。

具体的に説明すると、Ｎ行Ｍ列からＮ＋５行Ｍ＋５列までの６行×６列の単位画素アレイを単位画素ブロックとして、この単位画素ブロックの一方の対角線上に位置するＧ画素から、Ａ像ＳＡＤ信号とＡ＋Ｂ像ＳＡＤ信号との読み出しを行う。他のＧ画素、Ｒ画素及びＢ画素からは、Ａ＋Ｂ像ＳＡＤ信号を読み出すがＡ像ＳＡＤ信号は読み出さない。この単位画素ブロックを行方向及び列方向に繰り返し配列することにより、画素アレイ部１０が構成される。

Ｍ列に着目すると、Ａ像ＳＡＤ信号を読み出すＧｒ画素は、Ｎ行目の次はＮ＋６行目となる。また、Ｎ行に着目すると、Ａ像ＳＡＤ信号を読み出すＧｒ画素は、Ｍ列目の次はＭ＋６行目となる。このように、この読み出しパターンでは、Ａ像ＳＡＤ信号は水平方向及び垂直方向の双方において１／６に間引かれる。したがって、各行の転送動作において、Ａ像ＳＡＤ信号をメモリ部５０から信号処理部７０に転送する期間の長さを、Ａ＋Ｂ像ＳＡＤ信号をメモリ部５０から信号処理部７０に転送する期間の長さの１／６に短縮することができる。これにより、総ての単位画素１２からＡ像ＳＡＤ信号を読み出す場合と比較して、フレームレートを向上することができる。

Ａ像ＳＡＤ信号の間引き率が高いほどＡ像ＳＡＤ信号の転送時間を転送することが可能である。Ａ像ＳＡＤ信号の間引き率は、Ａ像ＳＡＤ信号の転送が完了する時刻ｔ１３が、図４の時刻ｔ１２から時刻ｔ１４のＡ＋Ｂ像ＳＡＤ期間を超えないように、適宜設定することができる。

本実施形態においても第１及び第２実施形態と同様、測距用信号のＳ／Ｎ比を向上するために、所定の数の単位画素１２ごとにＡ像ＳＡＤ信号を加算するようにしてもよい。

このように、本実施形態によれば、フレームレートを低下することなく複数行にわたって焦点検出用の信号を取得することができる。

［第４実施形態］
本発明の第４実施形態による撮像システムについて、図１０を用いて説明する。図１０は、本実施形態による撮像システムの概略構成を示すブロック図である。

上記第１乃至第３実施形態で述べた光電変換装置１００は、種々の光電変換システムに適用可能である。適用可能な光電変換システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などの撮像システムや、撮像を行わずに距離を測定する測距システムが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。図１０には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。

図１０に例示した撮像システム２００は、撮像装置２０１、被写体の光学像を撮像装置２０１に結像させるレンズ２０２、レンズ２０２を通過する光量を可変にするための絞り２０４、レンズ２０２の保護のためのバリア２０６を有する。レンズ２０２及び絞り２０４は、撮像装置２０１に光を集光する光学系である。撮像装置２０１は、第１乃至第３実施形態のいずれかで説明した光電変換装置１００であって、レンズ２０２により結像された光学像を画像データに変換する。

撮像システム２００は、また、撮像装置２０１より出力される出力信号の処理を行う信号処理部２０８を有する。信号処理部２０８は、撮像装置２０１が出力するデジタル信号から画像データの生成を行う。また、信号処理部２０８は必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。撮像装置２０１は、信号処理部２０８で処理されるデジタル信号を生成するＡＤ変換部を備えうる。ＡＤ変換部は、撮像装置２０１の光電変換部が形成された半導体層（半導体基板）に形成されていてもよいし、撮像装置２０１の光電変換部が形成された半導体層とは別の半導体基板に形成されていてもよい。また、信号処理部２０８が撮像装置２０１と同一の半導体基板に形成されていてもよい。

撮像システム２００は、更に、画像データを一時的に記憶するためのメモリ部２１０、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）２１２を有する。更に撮像システム２００は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体２１４、記録媒体２１４に記録又は読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）２１６を有する。なお、記録媒体２１４は、撮像システム２００に内蔵されていてもよく、着脱可能であってもよい。

更に撮像システム２００は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部２１８、撮像装置２０１と信号処理部２０８に各種タイミング信号を出力するタイミング発生部２２０を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム２００は少なくとも撮像装置２０１と、撮像装置２０１から出力された出力信号を処理する信号処理部２０８とを有すればよい。

撮像装置２０１は、撮像信号を信号処理部２０８に出力する。信号処理部２０８は、撮像装置２０１から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部２０８は、撮像信号を用いて、画像を生成する。

このように、本実施形態によれば、第１乃至第３実施形態による光電変換装置１００を適用した撮像システムを実現することができる。

［第５実施形態］
本発明の第５実施形態による撮像システム及び移動体について、図１１を用いて説明する。図１１は、本実施形態による撮像システム及び移動体の構成を示す図である。

図１１（ａ）は、車載カメラに関する撮像システムの一例を示したものである。撮像システム３００は、撮像装置３１０を有する。撮像装置３１０は、上記第１乃至第３実施形態のいずれかに記載の光電変換装置１００である。撮像システム３００は、撮像装置３１０により取得された複数の画像データに対し、画像処理を行う画像処理部３１２と、撮像システム３００により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差取得部３１４を有する。また、撮像システム３００は、算出された視差に基づいて対象物までの距離を算出する距離取得部３１６と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部３１８と、を有する。ここで、視差取得部３１４や距離取得部３１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部３１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated circuit）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

撮像システム３００は車両情報取得装置３２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム３００は、衝突判定部３１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ３３０が接続されている。また、撮像システム３００は、衝突判定部３１８での判定結果に基づいて、ドライバーへ警報を発する警報装置３４０とも接続されている。例えば、衝突判定部３１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ３３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置３４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施形態では、車両の周囲、例えば前方又は後方を撮像システム３００で撮像する。図１１（ｂ）に、車両前方（撮像範囲３５０）を撮像する場合の撮像システムを示した。車両情報取得装置３２０が、撮像システム３００ないしは撮像装置３１０に指示を送る。このような構成により、測距の精度をより向上させることができる。

上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。

また、上記実施形態に示した単位画素１２の回路構成は一例であり、これに限定されるものではない。単位画素１２は、対をなす瞳領域を通過した光を受光する光電変換部の組を少なくとも１対有する瞳分割画素であればよく、少なくとも２つの光電変換部を有していればよい。また、画素内読み出し回路の構成も図２に示す構成に限定されるものではなく、適宜変更が可能である。

また、上記第２及び第３実施形態では、カラーフィルタ配列の一例としてベイヤー配列を示したが、カラーフィルタ配列はこれに限定されるものではない。また、カラーフィルタ配列は、ＲＧＢ配列のみならず、シアン色のカラーフィルタを備えたＣ画素と、マゼンダ色のカラーフィルタを備えたＭ画素と、黄色のカラーフィルタを備えたＹ画素と、を含むＣＭＹ配列のカラーフィルタであってもよい。また、画素アレイ部１０を構成する単位画素１２は、これら色画素のほか、入射光を色分離せず直接検出する画素（ホワイト画素）や、赤外線検出用の画素（ＩＲ画素）を含んでもよい。Ａ像ＳＡＤ信号を出力する単位画素１２やその配置は、カラーフィルタ配列に応じて適宜変更することができる。

また、上記実施形態では、ＡＤ変換部４０を備え、デジタル信号を出力する光電変換装置１００を例にして説明したが、光電変換装置１００は、必ずしもＡＤ変換部４０を備得ている必要はない。この場合、メモリ部５０を構成する列メモリは、単位画素１２から出力されるアナログ画素信号を保持するサンプルホールド容量でありうる。

また、上記第４及び第５実施形態に示した撮像システムは、本発明の光電変換装置を適用しうる撮像システム例を示したものであり、本発明の光電変換装置を適用可能な撮像システムは図１０及び図１１に示した構成に限定されるものではない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０…画素アレイ部
１２…単位画素
２０…垂直走査回路
３０…読み出し回路
４０…ＡＤ変換部
５０…メモリ部
６０…水平走査回路
７０…信号処理部
８０…信号出力部
９０…制御部

Claims (19)

1. 複数の行及び複数の列をなすように配され、第１の光電変換部及び第２の光電変換部を各々が有する複数の画素を有し、
   前記複数の画素の各々は、前記第１の光電変換部からの信号に基づく第１の信号と、前記第１の光電変換部及び前記第２の光電変換部からの信号に基づく第２の信号と、の少なくとも一方を出力可能に構成され、
   前記複数の画素から出力される前記第１の信号の数は、前記第２の信号の数よりも少なく、
   第１の行の前記第１の信号を出力する画素が配された列と、前記第１の行とは異なる第２の行の前記第１の信号を出力する画素が配された列とが異なっている
   ことを特徴とする光電変換装置。
2. 前記複数の列に対応して設けられ、それぞれが対応する列の画素から出力される信号を保持するように構成された複数の列メモリを有するメモリ部と、
   前記メモリ部に保持されている信号を列単位で順次、後段の処理部へと転送する転送部と、を有し、
   前記転送部は、前記メモリ部に保持されている前記第１の信号を転送する第１の転送期間と、前記メモリ部に保持されている複数の前記第２の信号を転送する第２の転送期間と、を行単位で実行するように構成され、
   前記第１の行の前記第１の転送期間の間に転送される前記第１の信号を出力する画素が配された列と、前記第２の行の前記第１の転送期間の間に転送される前記第１の信号を出力する画素が配された列とが異なっている
   ことを特徴とする請求項１記載の光電変換装置。
3. 前記複数の列は、少なくとも第１の列ブロックと第２の列ブロックとを含む複数の列ブロックに分けられており、
   前記転送部は、
   前記第１の行の前記第１の転送期間において、前記第１の列ブロックに含まれる画素から出力される前記第１の信号は転送せずに、前記第２の列ブロックに含まれる画素から出力される前記第１の信号を転送し、
   前記第２の行の前記第１の転送期間において、前記第２の列ブロックに含まれる画素から出力される前記第１の信号は転送せずに、前記第１の列ブロックに含まれる画素から出力される前記第１の信号を転送し、
   前記第１の行の前記第２の転送期間及び前記第２の行の前記第２の転送期間において、前記第１の列ブロックに含まれる前記画素から出力される前記第２の信号及び前記第２の列ブロックに含まれる前記画素から出力される前記第２の信号を転送する
   ことを特徴とする請求項２記載の光電変換装置。
4. 前記第１の行及び前記第２の行の各々は、第１の色に感度を有する第１の画素と、前記第１の色とは異なる色に感度を有する第２の画素と、を含み、前記第１の行の前記第１の画素は、前記第２の行の前記第１の画素とは別の列に配されており、
   前記転送部は、
   前記第１の行の前記第１の転送期間及び前記第２の行の前記第１の転送期間において、前記第２の画素から出力される前記第１の信号は転送せずに、前記第１の画素から出力される前記第１の信号を転送し、
   前記第１の行の前記第２の転送期間及び前記第２の行の前記第２の転送期間において、前記第１の画素から出力される前記第２の信号及び前記第２の画素から出力される前記第２の信号を転送する
   ことを特徴とする請求項２記載の光電変換装置。
5. 前記転送部は、前記第１の行の前記第１の転送期間及び前記第２の行の前記第１の転送期間において、複数の前記第１の画素から出力される複数の前記第１の信号のうちの一部を転送する
   ことを特徴とする請求項４記載の光電変換装置。
6. 前記第１の行及び前記第２の行は、前記第１の画素と前記第２の画素とが交互に配されてなる
   ことを特徴とする請求項４又は５記載の光電変換装置。
7. 前記第１の画素は、緑色に感度を有するＧ画素であり、
   前記第２の画素は、赤色に感度を有するＲ画素又は青色に感度を有するＢ画素である
   ことを特徴とする請求項４乃至６のいずれか１項に記載の光電変換装置。
8. 前記処理部は、２つ以上の前記第１の信号を加算して出力する
   ことを特徴とする請求項２乃至７のいずれか１項に記載の光電変換装置。
9. 前記２つ以上の前記第１の信号は、同じ列の異なる行の画素から出力された前記第１の信号である
   ことを特徴とする請求項８記載の光電変換装置。
10. 前記２つ以上の前記第１の信号は、同じ行の異なる列の画素から出力された前記第１の信号である
    ことを特徴とする請求項８記載の光電変換装置。
11. 前記２つ以上の前記第１の信号は、同じ色に感度を有する画素から出力された前記第１の信号である
    ことを特徴とする請求項８乃至１０のいずれか１項に記載の光電変換装置。
12. 前記２つ以上の前記第１の信号は、カラーフィルタの最小の繰り返し単位を構成する単位画素ブロックに含まれる、同じ色に感度を有する画素から出力された前記第１の信号である
    ことを特徴とする請求項８記載の光電変換装置。
13. 前記複数の行は、前記第１の行及び前記第２の行を含む２つ以上の行からなる行ブロックが周期的に配されてなる
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の光電変換装置。
14. 前記第１の行と前記第２の行とは隣り合っている
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の光電変換装置。
15. 前記画素から出力される信号をアナログ信号からデジタル信号に変換するＡＤ変換部を更に有し、
    前記第１の信号は、前記第１の光電変換部からの信号に基づくアナログ信号を前記ＡＤ変換部が変換したデジタル信号であり、
    前記第２の信号は、前記第１の光電変換部及び前記第２の光電変換部からの信号に基づくアナログ信号を前記ＡＤ変換部が変換したデジタル信号である
    ことを特徴とする請求項１乃至１４のいずれか１項に記載の光電変換装置。
16. 前記第１の信号は、焦点検出用の信号であり、
    前記第２の信号は、画像生成用の信号である
    ことを特徴とする請求項１乃至１５のいずれか１項に記載の光電変換装置。
17. 前記第１の信号及び前記第２の信号の各々は、ノイズ信号と光信号とを含む
    ことを特徴とする請求項１乃至１６のいずれか１項に記載の光電変換装置。
18. 請求項１乃至１７のいずれか１項に記載の光電変換装置と、
    前記光電変換装置から出力される信号を処理する信号処理部と
    を有することを特徴とする光電変換システム。
19. 移動体であって、
    請求項１乃至１７のいずれか１項に記載の光電変換装置と、
    前記第１の信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
    前記距離情報に基づいて前記移動体を制御する制御手段と
    を有することを特徴とする移動体。

Images