JP2020167441A

JP2020167441A - 固体撮像装置、及び電子機器

Info

Publication number: JP2020167441A
Application number: JP2019063262A
Authority: JP
Inventors: 渉新妻; Wataru Niitsuma
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2019-03-28
Filing date: 2019-03-28
Publication date: 2020-10-08
Also published as: WO2020195936A1

Abstract

【課題】画素並列ADC方式を用いて、より少ない回路規模で、消費電力を低減することができるようにする。【解決手段】複数の画素を２次元状に配置した画素アレイ部を備え、画素は、光電変換部と、光電変換部による光電変換で得られる画素信号をAD変換するAD変換部とを含み、画素アレイ部では、複数の画素からのAD変換結果を読み出すに際して、一部の画素が間引かれる固体撮像装置が提供される。本技術は、例えば、画素並列ADC方式を用いたイメージセンサに適用することができる。【選択図】図４

Description

本開示は、固体撮像装置、及び電子機器に関し、特に、画素並列ADC方式を用いて、より少ない回路規模で、消費電力を低減することができるようにした固体撮像装置、及び電子機器に関する。

イメージセンサにおいて、画素アレイ部に２次元状に配置された画素から読み出される画素信号を、アナログ信号からデジタル信号に変換するADC(Analog to Digital Converter)の方式として、画素の垂直列ごとにADCを並列配置した方式（以下、列並列ADC方式（カラムADC方式）という）が用いられている。

また、ADCの方式としては、画素アレイ部に２次元状に配置された各画素内にADCを設けた方式（以下、画素並列ADC方式という）が知られている（例えば、特許文献１参照）。

国際公開2016/009832号

ところで、イメージセンサにおいて、ADCの方式として画素並列ADC方式を用いた場合には、列並列ADC方式を用いた場合と比べて、より高速な撮像が可能になる一方で、より少ない回路規模で、消費電力を低減することが求められる。

本開示はこのような状況に鑑みてなされたものであり、画素並列ADC方式を用いて、より少ない回路規模で、消費電力を低減することができるようにするものである。

本開示の一側面の固体撮像装置は、複数の画素を２次元状に配置した画素アレイ部を備え、前記画素は、光電変換部と、前記光電変換部による光電変換で得られる画素信号をAD変換するAD変換部とを含み、前記画素アレイ部では、前記複数の画素からのAD変換結果を読み出すに際して、一部の画素が間引かれる固体撮像装置である。

本開示の一側面の電子機器は、複数の画素を２次元状に配置した画素アレイ部を備え、前記画素は、光電変換部と、前記光電変換部による光電変換で得られる画素信号をAD変換するAD変換部とを含み、前記画素アレイ部では、前記複数の画素からのAD変換結果を読み出すに際して、一部の画素が間引かれる固体撮像装置を搭載した電子機器である。

本開示の一側面の固体撮像装置、及び電子機器においては、複数の画素として、光電変換部と前記光電変換部による光電変換で得られる画素信号をAD変換するAD変換部とを含む画素を２次元状に配置した画素アレイ部で、前記複数の画素からのAD変換結果を読み出すに際して、一部の画素が間引かれる。

本開示の一側面の固体撮像装置、又は電子機器は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。

一般的な動き検出方法を説明する図である。ブロックマッチングの例を示す図である。画素の間引きの例を示す図である。本開示に係る技術を適用した固体撮像装置の構成の例を示す図である。リピータの動作の例を示す図である。クラスタの配置の例を示す図である。クラスタの内部の画素の構成の例を示す図である。リピータの配置の例を示す図である。リピータの内部のクラスタの構成の例を示す図である。リピータの構造の例を示す図である。間引きテンプレートとマッチングブロックの出力の例を示す図である。位相シフトされた間引き画像の読み出しの例を示す図である。間引き画像の領域の例を示す図である。手ぶれ補正処理の流れを説明するフローチャートである。動き補正後の有効画素領域の例を示す図である。固体撮像装置の３次元の構造の例を示す図である。画素のADCとラッチ部の詳細な構造の例を示す図である。固体撮像装置の要部の回路構成の例を示す図である。本開示に係る技術を適用した固体撮像装置を搭載した電子機器の構成の例を示す図である。本開示に係る技術を適用した固体撮像装置の使用例を示す図である。車両制御システムの概略的な構成の一例を示すブロック図である。車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、図面を参照しながら本開示に係る技術（本技術）の実施の形態について説明する。なお、説明は以下の順序で行うものとする。

１．本技術の実施の形態
２．変形例
３．電子機器の構成
４．固体撮像装置の使用例
５．移動体への応用例

＜１．本技術の実施の形態＞

図１は、電子機器における一般的な動き検出方法を示している。

図１において、電子機器９００は、列並列ADC方式（カラムAD方式）のイメージセンサ９０１と、DSP(Digital Signal Processor)９０２と、フレームメモリ９０３から構成される。また、DSP９０２には、キャッシュメモリ９１１が設けられる。

電子機器９００では、手ぶれ等の動きを検出する場合、イメージセンサ９０１で画角よりも大きい撮像画像を撮像し、その撮像画像をDSP９０２に供給する。DSP９０２では、撮像画像をフレームメモリ９０３に格納しながらサーチエリアに対応した画像を取得して、ブロックマッチング等の処理を実行し、動きベクトルを検出する。

ここで、ブロックマッチング法としては、例えば、代表点マッチング法がある。この代表点マッチング法では、サーチエリアＳＡ内で、保持しているテンプレートブロックに対応する画素の画素値と、マッチングブロック（ＭＢ_１，ＭＢ_２，ＭＢ_３，ＭＢ_４，・・・）に対応する画素の画素値との差分総和をとるなどして動きベクトルＭＶが検出される（図２）。

このように、一般的な動き検出方法では、DSP９０２によりフレームメモリ９０３を用いてブロックマッチング等の処理を行うことで動きベクトルＭＶを検出しているため、専用の回路が必要で、メモリアクセスの増加に伴い消費電力が大きくなる。また、フレームメモリ９０３だけでなく、DSP９０２には、マッチングブロック用にキャッシュメモリ９１１も必要となる。

また、列並列ADC方式のイメージセンサ９０１では撮像速度が遅いため、イメージセンサ９０１による撮像と、DSP９０２によるブロックマッチング等の処理を同時並列で行う必要がある。

そのため、ブロックマッチングの処理を行うに際しては、イメージセンサ９０１にて水平方向と垂直方向に画素を間引くことで得られる画像（間引き画像）を用いることで処理軽減を図ることが一般的に行われる。具体的には、図３に示すように、イメージセンサ９０１において、画素アレイ部に２次元状に配置される画素を、図中の円形の記号（○）で表した場合に、斜線が記された円形で表された画素が間引かれるようにする。

ここで、イメージセンサのADCの方式としては、列並列ADC方式のほかに、画素並列ADC方式がある。イメージセンサにおいて、画素並列ADC方式を用いた場合、列並列ADC方式を用いた場合と比べて、より高速な撮像が可能になる一方で、列並列ADC方式を用いた場合と同様に、より少ない回路規模で、消費電力を低減することが求められる。

本技術では、上述した問題を解決して、画素並列ADC方式を用いて、より少ない回路規模で、消費電力を低減することができるようにする。特に、本技術では、動き検出を行う場合に、より少ない回路規模で、消費電力を低減することが可能な動き検出方法を提案する。以下、本技術を適用した動き検出方法の詳細について、図４ないし図１８を参照しながら説明する。

（固体撮像装置の構成）
図４は、本技術を適用した固体撮像装置の構成の例を示している。

固体撮像装置１０は、裏面照射型のCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等のイメージセンサである。

図４において、固体撮像装置１０は、画素アレイ部１０１、リピータ部１０２、GC発生部１０３、SRAM(Static RAM)１０４、信号処理部１０５、及び動き判定用メモリ１０６を含んで構成される。

画素アレイ部１０１には、複数の画素１１１が２次元状に配置されている。各画素１１１は、フォトダイオード等の光電変換部と画素トランジスタを含む画素回路と、当該画素回路から出力される画素信号をアナログ信号からデジタル信号に変換するAD変換部（ADC）を有する。

すなわち、固体撮像装置１０では、ADCの方式として、画素アレイ部１０１に２次元状に配置された各画素１１１内にADCをそれぞれ設けた画素並列ADC方式を採用している。

ここで、各画素１１１（のADC）からのAD変換結果の読み出しは、フリップフロップ（FF：Flip Flop）を多段接続したシフトレジスタを含むリピータ１３１を複数配置したリピータ部１０２を介して行われる。また、この読み出し順序は、クラスタと呼ばれる矩形状のブロック（画素ブロック）ごとに、１画素単位で読み出される。

すなわち、各画素１１１（のADC）は、クラスタ１２１内のラッチ部（ラッチ回路）に１対１で接続され、複数のラッチ部が１クラスタにまとめられる。また、１つのクラスタ１２１は、リピータ回路として構成されるリピータ１３１のシフトレジスタの１つ（のフリップフロップ）に接続される。

リピータ部１０２は、垂直方向（図中の縦方向）に短冊状に並列に配置された複数個のリピータ１３１で、１フレームの画像に対応するように構成される。クラスタ１２１は、リピータ１３１内で垂直方向に配置されているシフトレジスタのフリップフロップと、１対１の関係になるように垂直方向に複数個が配置される。

GC発生部１０３は、グレイコード（GC：Gray Code）を、リピータ部１０２に配置された複数のリピータ１３１に入力する。リピータ１３１は、グレイコードの書き込み（Write）と読み出し（Read）を行う。図５は、リピータ１３１の動作の例を示している。

図５では、リピータ１３１に対し、GC発生部１０３からのグレイコードが、クロック供給部１３３からの動作クロック（CK）とは反対側から入力され、バケツリレー式に順次転送されてデータ処理部１３４に出力される。これにより、各ラッチ部へのグレイコードの書き込みが行われるとともに、画素１１１のADCのコンパレータからの反転出力（VCO）に応じたラッチ保持動作が行われる。

すなわち、リピータ１３１では、シフトレジスタで転送されてくるグレイコードが、画素１１１のADCのコンパレータの反転信号（VCO）に応じてラッチ部に取り込まれる。そして、リピータ１３１を介してラッチ部に保持されたラッチデータ（グレイコード）が読み出され、バイナリコードへ変換された後に、SRAM１０４を利用して、相関二重サンプリング（CDS：Correlated Double Sampling）が行われる。

このようにして、画素１１１のAD変換結果は、一旦、クラスタ１２１内のラッチ部に保持された後に、リピータ１３１内のシフトレジスタに転送され、リピータ部１０２の外部に順次出力される。なお、クラスタ１２１やラッチ部の読み出し順や、選択する画素１１１は、制御回路（不図示）からの選択信号を制御することで、任意に変更することができる。

固体撮像装置１０では、複数のラッチ部から１つのAD変換結果だけが選択されてクラスタ１２１の出力とされ、シフトレジスタを介して全てのクラスタ１２１のAD変換結果が出力されると、１回目の読み出しが完了される。続いて、別のラッチ部からAD変換結果が選択され、同様にクラスタ１２１内のラッチ部の回数分だけ読み出しが完了すると、１フレーム分の画像の全ての画素信号が読み出されたことになる。

信号処理部１０５は、画素信号から得られる画像に基づいて、所定の信号処理を行い、その処理結果を外部に出力する。例えば、信号処理部１０５では、動き検出を行う場合には、ブロックマッチング演算のための信号処理などが行われる。また、動き判定用メモリ１０６には、動き判定用の相関値が記録される。

（クラスタの構成）
ここで、図６及び図７を参照して、クラスタ１２１の詳細な構成を説明する。

図６は、画素アレイ部１０１に２次元状に配置された画素１１１を格子状に表しており、１つの四角が１つの画素１１１に対応している。また、ここでは、画素アレイ部１０１に配置された画素１１１のＸＹ座標を、画素（n，m）と表記し、クラスタ１２１のＸＹ座標を、クラスタ（j，k）と表記している。

ここで、画素アレイ部１０１に配置された複数の画素１１１から出力される画素信号から、１フレーム分の画像が生成されるが、１クラスタの範囲内の画素１１１は、例えば、左下のクラスタ（0，0）と、右上のクラスタ（j-1，k-1）の太枠内の四角に対応している。

また、図７は、クラスタ１２１の内部の画素１１１の座標の詳細を示している。図７では、１クラスタの範囲を、４×３２画素、すなわち、Ｘ方向（水平方向）に４画素とし、Ｙ方向（垂直方向）に３２画素としている。

なお、図７においては、説明の都合上、１クラスタごとに間隔を空けて配置して、その空間には「4pixels」と「32 pixels」の行方向と列方向の画素数をそれぞれ表記しているが、実際にはそのような空間は存在しない。また、各クラスタ１２１では、クラスタ１２１の座標とともに、そのクラスタ１２１内の画素１１１の座標も表記している。

具体的には、左下のクラスタ（0，0）は、画素（0，0）ないし（0，31）、画素（1，0）ないし（1，31）、画素（2，0）ないし（2，31）、及び画素（3，0）ないし（3，31）から構成される。

また、クラスタ（0，0）の右側に隣接するクラスタ（1，0）は、画素（4，0）ないし（4，31）、画素（5，0）ないし（5，31）、画素（6，0）ないし（6，31）、及び画素（7，0）ないし（7，31）から構成され、クラスタ（1，0）の右側に隣接するクラスタ（2，0）は、画素（8，0）ないし（8，31）、画素（9，0）ないし（9，31）、画素（10，0）ないし（10，31）、及び画素（11，0）ないし（11，31）から構成される。

クラスタ（0，0）の上側に隣接するクラスタ（0，1）は、画素（0，32）ないし（0，63）、画素（1，32）ないし（1，63）、画素（2，32）ないし（2，63）、及び画素（3，32）ないし（3，63）から構成される。

また、クラスタ（0，1）の右側に隣接するクラスタ（1，1）は、画素（4，32）ないし（4，63）、画素（5，32）ないし（5，63）、画素（6，32）ないし（6，63）、及び画素（7，32）ないし（7，63）から構成され、クラスタ（1，1）の右側に隣接するクラスタ（2，1）は、画素（8，32）ないし（8，63）、画素（9，32）ないし（9，63）、画素（10，32）ないし（10，63）、及び画素（11，32）ないし（11，63）から構成される。

これ以上は繰り返しになるので図示していないが、クラスタ１２１の座標とそのクラスタ１２１内の画素１１１の座標との関係を一般化すれば、次のように表すことができる。

すなわち、図中の右上に示すように、j=n/4，k=m/32としたとき、クラスタ（j-1，k-1）は、画素（n-4，m-32）ないし（n-4，m-1）、画素（n-3，m-32）ないし（n-3，m-1）、画素（n-2，m-32）ないし（n-2，m-1）、及び画素（n-1，m-32）ないし（n-1，m-1）から構成されることになる。

（リピータの構成）
次に、図８ないし図１０を参照して、リピータ部１０２の詳細な構成を説明する。

図８は、リピータ部１０２に配置される複数のリピータ１３１と、その後段に設けられるリピータセレクタ１３２の構成を示している。図８において、リピータ部１０２には、リピータ回路として、ｊ個のリピータ#0ないし#j-1が垂直方向（図中の縦方向）に短冊状に並列に配置されている。

ここで、図９は、リピータ１３１の内部のクラスタ１２１の構成を示している。図９において、リピータ#0では、ｋ個のクラスタ（0，0）ないし（0，k-1）が垂直方向に配置される。

また、リピータ#1，#2では、ｋ個のクラスタ（1，0）ないし（1，k-1）と、ｋ個のクラスタ（2，0）ないし（2，k-1）が垂直方向にそれぞれ配置される。なお、繰り返しになるので図示はしていないが、リピータ#3ないし#j-1においても同様に、ｋ個のクラスタ１２１が垂直方向にそれぞれ配置される。

このように、リピータ部１０２では、ｊ個のリピータ#0ないし#j-1が垂直方向に短冊状に並列に配置され、各リピータ１３１では、ｋ個のクラスタ１２１を垂直方向にそれぞれ束ねている。

ここで、リピータ部１０２において、ｊ個のリピータ#0ないし#j-1のうち、１つのリピータ１３１に注目すれば、注目しているリピータ１３１は、図１０に示すような構造を有している。

図１０では、リピータ１３１内に、順序回路としてのフリップフロップ１４２を多段接続したシフトレジスタ１４１が垂直方向に設けられる。シフトレジスタ１４１において、ｋ個のフリップフロップ１４２のそれぞれは、ｋ個のクラスタ#0ないし#k-1のそれぞれに接続される。

すなわち、画素アレイ部１０１に配置された各画素１１１（のADC）は、クラスタ１２１内のラッチ部に１対１で接続され、複数のラッチ部が１クラスタにまとめられる。また、１つのクラスタ１２１は、リピータ１３１内のシフトレジスタ１４１を構成する１つのフリップフロップ１４２に接続される。

そして、リピータ部１０２は、垂直方向に短冊状に並列に並んだ複数個のリピータ１３１で、１フレームの画像に対応するように構成される。また、クラスタ１２１は、リピータ１３１内で垂直方向に配置されるシフトレジスタ１４１のフリップフロップ１４２と１対１で接続され、垂直方向に複数個が配置される。

図８の説明に戻り、リピータ部１０２において、リピータセレクタ１３２は、制御回路（不図示）からの選択信号に従い、リピータ#0ないし#j-1のうち、任意のリピータ１３１からの出力を選択して後段に出力する。

例えば、代表点マッチング法を用いた動き検出を行う場合には、テンプレートブロックとマッチングブロックを用意するために、リピータセレクタ１３２では、水平間引き量と水平座標ずれに応じてリピータ１３１の出力が選択される。

図８の例では、リピータセレクタ１３２は、リピータ#0ないし#j-1のうち、偶数列のリピータ１３１からの出力、すなわち、クラスタ（0，0）ないし（0，k-1）、クラスタ（2，0）ないし（2，k-1）、・・・、クラスタ（j-2，0）ないし（0，k-1）の出力を選択している。

なお、上述した説明では、リピータ部１０２内のリピータ１３１の配置として、垂直方向に短冊状に並列に配置された場合を示したが、垂直方向に限らず、水平方向に並列に配置されてもよい。また、リピータ１３１内のクラスタ１２１の配置は、垂直方向に限らず、水平方向と垂直方向に複数個を並べてもよい。さらに、リピータ１３１内のシフトレジスタ１４１の段数や並列数は任意である。

（動き検出の例）
次に、図１１ないし図１５を参照して、信号処理部１０５（図４）による信号処理として、代表点マッチング法を用いた動き検出の例を説明する。

代表点マッチング法では、複数の検出ブロックのそれぞれで第１画像の代表点の画素値と第２画像のサンプリング点の画素値との差が算出され、その差分の総和が累積相関値（マッチング誤差ともいう）とされる。そして、第１画像と第２画像の相対位置をずらしながら複数の累積相関値を計算して、相対位置のずれを両ブロック間の動きとして検出する。

この例では、水平方向の１画素単位で０ないし＋７画素の範囲で、かつ、垂直方向の１画素単位で０ないし＋３１画素の範囲での動き検出の例を示す。

そのため、代表点マッチング法を用いた動き検出では、水平方向に８画素間引きで、かつ、垂直方向に３２画素間引きとなるテンプレートブロックを用意する。これに対し、サーチエリアとして、同一の間引き量で、その座標が水平方向と垂直方向にそれぞれ１画素ずつずれたマッチングブロックを用意する。

そして、固体撮像装置１０では、画素アレイ部１０１に配置された画素１１１を用いて、テンプレートブロックの各画素１１１と、８×３２個のマッチングブロックの各画素１１１を用意するに際し、上述したクラスタ１２１とリピータ１３１の構成を利用することができる。

すなわち、上述した図７の画素座標の例において、クラスタ（2j，k）に注目すれば、例えば、クラスタ（0，0）、クラスタ（2，0）、クラスタ（0，1）、及びクラスタ（2，1）における左下に位置する画素（0，0）、画素（8，0）、画素（0，32）、及び画素（8，32）から画素信号を読み出せば、テンプレートブロックと全てのマッチングブロックを用意することが可能となる。なお、図７の例では、注目画素を、白黒を反転させて表している。

ここでは、水平方向に８画素間引きで、かつ、垂直方向に３２画素間引きとなるテンプレートブロックとマッチングブロックを用意しているため、クラスタ（2j，k）の各左下に位置する画素１１１から画素信号が読み出されるようにしている。そして、リピータ１３１では、１クロックごとに、各クラスタ１２１内の画素１１１が順次選択され、４×３２回の選択で全ての画素１１１が読み出される。

このように、本技術では、画素並列ADC方式を採用するに際し、画素１１１からの画素信号の読み出しを、リピータ部１０２の各リピータ１３１内で垂直方向に配置されるシフトレジスタ１２２を介して行う。また、その読み出し順序は、クラスタ１２１内に配置される複数の画素１１１を１画素ずつ選択して行われる。

そのため、この出力としては、水平方向と垂直方向の画素１１１が間引かれた画像（間引き画像）であって、位相シフトを繰り返しながら読み出される画素信号に対応したものとされる。そして、この出力を、マッチングブロックに適合したクラスタサイズと、サーチ方法に適合した画素の選択順（間引き位相順）に適応させることで、代表点マッチング法を用いた動き検出が行われる。

図１１は、間引きされたテンプレートブロックとマッチングブロックの出力の例を示している。

図１１において、図中の円形の記号（○）は、画素アレイ部１０１に２次元状に配置された画素１１１を意味し、水平方向と垂直方向に並べられた複数の円形の記号によって、画素１１１が配置された全領域のうち、一部の領域を代表して表している。

また、図１１では、画素１１１を表す円形の記号に、３種類の模様を付しているが、同一の模様が付された円形の記号は、異なるクラスタ内に配置された画素１１１であって、同一の位相であることを表している。具体的には、例えば、図中の左上の画素１１１を位相（0，0）、その下側に隣接する画素１１１を位相（0，1）、その右側に隣接する画素１１１を位相（1，0）などのように表すことができる。

なお、図１１では、説明の都合上、同一のクラスタ１２１内で位相シフトされる画素１１１として、３種類の模様により３つの画素１１１を例示したが、同一のクラスタ１２１内の他の画素１１１についても同様に位相シフトを繰り返しながら読み出される。

このように、クラスタ１２１ごとに、位相シフトを繰り返しながら画素信号を読み出すことで、図１２に示すように、位相（間引き位相）の異なる間引き画像（画像フレーム）が順次読み出される。

図１２においては、図中の左側から右側に向かう方向が時間の方向とされ、図中の矩形の記号は、位相シフトをしながら読み出された画素信号から得られる間引き画像を時系列で表している。また、図１２では、矩形の記号には、３種類の模様を付しているが、この模様は、図１１に示した円形の記号に付された模様に対応している。

すなわち、図１２において、時系列に並べられた間引き画像のうち、先頭の間引き画像ＴＩ_１は、位相（0，0）の画素１１１の画素信号から得られる画像であり、２番目の間引き画像ＴＩ_２は、位相（0，1）の画素１１１の画素信号から得られる画像である。また、ｉ番目の間引き画像ＴＩ_ｉは、位相（1，0）の画素１１１の画素信号から得られる画像である。

図１３は、サーチエリアＳＡ内における、間引き画像ＴＩ_１，ＴＩ_２，ＴＩ_ｉの領域の例を示している。図１３において、間引き画像ＴＩ_１は、位相（0，0）に相当する画素１１１に対応した領域となる。また、間引き画像ＴＩ_２は、位相（0，1）に相当する画素１１１に対応した領域であって、間引き画像ＴＩ_１の領域に対して１画素分だけ下側にずれた領域となる。さらに、間引き画像ＴＩ_ｉは、位相（1，0）に相当する画素１１１に対応した領域であって、間引き画像ＴＩ_１の領域に対して１画素分だけ右側にずれた領域となる。

このように、クラスタ１２１とリピータ１３１の構成を利用することで、間引き画像ＴＩを、位相シフトしながら繰り返し読み出すことが可能となるため、例えば、水平方向に８画素間引きで、かつ、垂直方向に３２画素間引きとなるテンプレートブロックと、同一の間引き量で、その座標が水平方向と垂直方向にそれぞれ１画素ずつずれたマッチングブロックをそれぞれ用意することが可能となる。

なお、画素並列ADC方式を採用した場合、列並列ADC方式を用いた場合と比べて、100倍以上の速度でADCを含む撮像処理を行うことが可能であるため、位相をずらしながら、マッチングブロック用の画素信号を時分割で読み出すことで、例えば、10,000fpsなどのフレームレートが実現可能とされる。

信号処理部１０５では、テンプレートブロックに対応する各画素１１１の画素信号をメモリに保持しておき、順次読み出されるマッチングブロックに対応する各画素１１１の画素値と、保持しているテンプレートブロックに対応する各画素１１１の画素値との差分総和をとるなどして相関値を求める。

そして、信号処理部１０５では、相関が強いマッチングブロックの座標のずれを、動きベクトルＭＶとして検出する。この動き検出では、動き判定用の相関値が用いられるが、差分総和の絶対値が小さいほど、相関が強いものとすることができる。なお、ここでは、撮像のフレームレートを変更したり、ブロックマッチングを休止したりすることで、動き検出の周期（頻度）を変更することができる。

次に、図１４のフローチャートを参照して、動き検出を用いた手ぶれ補正処理の流れを説明する。

ここでは、固体撮像装置１０を搭載した電子機器（後述する図１９の電子機器１０００）を使用して、ユーザが被写体を撮影しているときに、手ぶれが発生した場合を想定する。なお、電子機器としては、例えば、スマートフォンやデジタルスチルカメラ、デジタルビデオカメラなどの撮像装置を含む。

信号処理部１０５では、特定形状のパターンを含む間引き画像ＴＩを、テンプレートブロックとして保持し（Ｓ１１）、サーチエリアＳＡ内から順次読み出される間引き画像ＴＩをマッチングブロックとして順次取得する（Ｓ１２）。

信号処理部１０５は、保持しているテンプレートブロックに対応する各画素１１１の画素値と、順次取得されるマッチングブロックに対応する各画素１１１の画素値との差分総和をとり、動きを検出する。

そして、こうして検出された動きベクトルＭＶの値から、次の撮像の読み出し開始座標を選択する（Ｓ１４）ことで、動き補正（手ぶれ補正）を実現することができる。

図１５は、動き補正後の有効画素領域の例を示している。図１５の例では、画素アレイ部１０１に２次元状に配置された画素１１１を格子状に表しており、この格子状の領域全体が撮像可能画素領域ＩＡとなる。また、撮像可能画素領域ＩＡよりも小さい領域を有効画素領域ＥＡとしている。つまり、固体撮像装置１０では、画角よりも大きい撮像画像を撮像して動き検出を行っている。

このとき、固体撮像装置１０において、信号処理部１０５は、手ぶれによって検出された動きベクトルＭＶの値（水平方向と垂直方向の移動量）が、被写体が図中の右上方向に移動したことを示した場合、次の撮像時の読み出し開始座標を、画素（0，0）から画素（4，4）に変更する。これにより、手ぶれによる被写体の移動に対応して有効画素領域ＥＡも右上方向にずらされ、有効画素領域ＥＡ内に被写体を収めることができるため、手ぶれ補正が実現される。

このように、本技術では、固体撮像装置１０のADCの方式として画素並列ADC方式を採用し、画素アレイ部１０１に配置された画素１１１（のADC）からの画素信号（AD変換結果）を、リピータ部１０２を介して信号処理部１０５に読み出す際に、クラスタ１２１とリピータ１３１の構成を利用して、読み出し順番がブロックマッチング用の間引き画像を時分割で読み出すのと同様に行うことができる。

ここで、例えば、代表点マッチング法を用いた動き検出を行う場合に、テンプレートブロックとマッチングブロックを用意する際に、固体撮像装置１０自体を、あたかもフレームメモリのように扱うことができる。

そのため、固体撮像装置１０では、一般的な動き検出方法（図１ないし図３）に示したような、DSP９０２により、専用のフレームメモリ９０３（DRAMやSRAM等）を用いてブロックマッチング等の処理を行う必要はない。また、固体撮像装置１０では、専用の回路を設ける必要がなくなり、消費電力が大きくなることもない。すなわち、固体撮像装置１０内で、ブロックマッチングによる動き検出を低コストに実現する構造とアルゴリズムを提供することが可能となる。

また、固体撮像装置１０内に、手ぶれ検出機能（全画面のみでない動き検出機能）や、手ぶれ補正機能（全画面のみでない動き補正機能）などを取り込むことが可能となる。さらには、カメラシステム全体でのコストや、消費電力の低減を図ることができる。

さらに、固体撮像装置１０では、ADCの方式として画素並列ADC方式を採用しているため、位相の異なる間引き画像を大量に必要となる場合に有利となる。

なお、間引き画像ではなく、通常の画像を用いた通常のブロックマッチングの場合でも、画素並列ADC方式を用いた場合、列並列ADC方式を用いた場合と比べて、より高速に撮像することができるため、性能的には十分とされる。また、固体撮像装置１０では、画素並列ADC方式を採用し、超高速での時分割読み出しを行うため、間引き読み出し後の撮像で、ブロックマッチング用の間引き画像以外に、撮像画像も取得可能である。

また、固体撮像装置１０では、画素並列ADC方式を用いた場合、高フレームレートで動作する全画素一括シャッタとなるため、フォーカルプレーン歪みの影響をほぼ受けずに、より誤判定の少ない動き検出を実現し、精度の高い動き補正を行うことが可能となる。

このように、本技術では、画素並列ADC方式を用いて、より少ない回路規模で、消費電力を低減することができる。特に、本技術を適用した動き検出方法では、画素並列ADC方式を用いた場合に、より少ない回路規模で、消費電力を低減した動き検出を実現することができる。

（画素並列ADCの構造）
図１６は、固体撮像装置１０の３次元構造の例を示している。

図１６において、固体撮像装置１０は、裏面側から光が入射される画素基板１００Ａと、信号処理を担うロジック基板１００Ｂとを貼り合わせた構造からなる。画素基板１００Ａには、画素アレイ部１０１とDAC(Digital to Analog Converter)１０７が少なくとも形成される。ロジック基板１００Ｂには、ラッチ・リピータ部１０８とロジック演算部１０９が少なくとも形成される。

画素アレイ部１０１には、複数の画素１１１が２次元状に配置される。各画素１１１には、１つのシングルスロープ方式に対応したADC１５１が設けられ、そのコンパレータの反転出力（VCO）が、ラッチ・リピータ部１０８に設けられた１つのラッチ回路１５２に接続される（図１７）。また、ラッチ・リピータ部１０８は、リピータ部１０２を含む。

すなわち、画素アレイ部１０１において、ｎ×ｍ個の画素１１１が２次元状に配列される場合には、ADC１５１とラッチ回路１５２との対が、ｎ×ｍ組設けられ、ADC１５１のコンパレータの反転信号（VCO）に応じて、リピータ部１０２（のリピータ１３１）からのグレイコードがラッチ回路１５２に取り込まれる。

図１８は、固体撮像装置１０の要部の回路構成の例を示している。

画素１１１は、画素回路１６１、差動増幅回路１６２、正帰還回路（PFB：Positive Feedback）１６３、及び多重回路（MUX：Multiplexer）１６４を含む。また、画素１１１では、差動増幅回路１６２と正帰還回路１６３により、コンパレータ１６０を構成している。なお、コンパレータ１６０は、ADC１５１の一部を構成している。

画素回路１６１は、光電変換部としてのフォトダイオード１７１、転送トランジスタ１７２、リセットトランジスタ１７３、及びFD(Floating Diffusion)１７４、排出トランジスタ１７５を含んで構成される。

転送トランジスタ１７２は、フォトダイオード１７１で生成された電荷をFD１７４に転送する。リセットトランジスタ１７３は、FD１７４に保持されている電荷をリセットする。FD１７４は、差動増幅回路１６２のトランジスタ１７７のゲートに接続される。

これにより、差動増幅回路１６２のトランジスタ１７７は、画素回路１６１の増幅トランジスタとしても機能する。なお、排出トランジスタ１７５は、フォトダイオード１７１に蓄積された電荷を排出する。

差動増幅回路１６２は、差動対となるトランジスタ１８１，１８２、カレントミラーを構成するトランジスタ１８３，１８４、及び入力バイアス電流（Vb）に応じた電流を供給する定電流源としてのトランジスタ１８５を含んで構成される。

差動対となるトランジスタ１８１，１８２のうち、トランジスタ１８１のゲートには、DAC１０７（図１６）から出力される参照信号（REF）が入力され、トランジスタ１８２のゲートには、画素１１１内の画素回路１６１から出力される画素信号（SIG）が入力される。

差動増幅回路１６２では、トランジスタ１８１のゲートに入力された参照信号（REF）と、トランジスタ１８２のゲートに入力された画素信号（SIG）とが比較され、参照信号（REF）と画素信号（SIG）との比較結果に応じた出力信号（VCO）が出力される。

正帰還回路１６３は、トランジスタ１９１ないし１９３、及びNOR回路１９４を含んで構成される。また、NOR回路１９４は、トランジスタ１９５ないし１９８を含んで構成される。

トランジスタ１８２のドレインとトランジスタ１８４のドレインの接続点が、差動増幅回路１６２の出力端とされ、トランジスタ１８６，１８７を介して、正帰還回路１６３内のトランジスタ１９１のドレインに接続される。差動増幅回路１６２から出力された出力信号（VCO）は、正帰還回路１６３内のNOR回路１９４に入力され、コンパレータ１６０の反転信号（VCO）として出力される。

多重回路１６４には、コンパレータ１６０（の正帰還回路１６３）からの反転信号（VCO）と、制御信号WORDが入力される。多重回路１６４では、制御信号WORDが制御されることで、コンパレータ１６０からの反転信号（VCO）が、ラッチ・リピータ部１０８内のラッチ回路１５２に出力される。

ラッチ・リピータ部１０８は、リピータ１３１とラッチ回路１５２から構成される。各画素１１１（のADC１５１）は、クラスタ１２１内のラッチ回路１５２に１対１で接続され、複数のラッチ回路１５２が１クラスタにまとめられている。また、１つのクラスタ１２１は、リピータ１３１のシフトレジスタ１４１の１つのフリップフロップ１４２に接続される（図１０）。

そして、各画素１１１（のADC１５１）からのAD変換結果は、クラスタ１２１内のラッチ回路１５２に保持された後に、リピータ１３１内のシフトレジスタ１４１に転送され、ラッチ・リピータ部１０８の外部に順次出力される。

＜２．変形例＞

上述した説明では、固体撮像装置１０において、クラスタ１２１とリピータ１３１の構成を利用して得られる間引き画像を、動き検出に用いた場合を例示したが、例えば、間引き画像（に応じた表示画像）を表示部（例えば、図１９の表示部１０１５）に表示したり、あるいは間引き画像（のデータ）を記憶部（例えば、図１９の記憶部１０１６）に記憶したりするなど、間引き画像を他の用途に用いてもよい。

また、上述した説明では、画像処理による画像間の動きの検出方法として、代表点マッチング法を用いた場合を例示したが、クラスタ１２１とリピータ１３１の構成を利用して得られる間引き画像を用いて動きを検出可能な方法であれば、他の検出方法を用いてもよい。

＜３．電子機器の構成＞

図１９は、本技術を適用した固体撮像装置を搭載した電子機器の構成例を示している。

電子機器１０００は、例えば、デジタルスチルカメラやビデオカメラ等の撮像装置や、スマートフォンやタブレット型端末等の携帯端末装置などの撮像機能を有する電子機器である。

電子機器１０００は、レンズ部１０１１、固体撮像装置１０１２、信号処理部１０１３、制御部１０１４、表示部１０１５、記憶部１０１６、操作部１０１７、通信部１０１８、及び電源部１０１９から構成される。また、電子機器１０００において、信号処理部１０１３ないし電源部１０１９は、バス１０２１を介して相互に接続されている。

レンズ部１０１１は、ズームレンズやフォーカスレンズ等から構成され、被写体からの光を集光する。レンズ部１０１１により集光された光（被写体光）は、固体撮像装置１０１２に入射される。

固体撮像装置１０１２は、本技術を適用した固体撮像装置（例えば、上述した固体撮像装置１０）である。固体撮像装置１０１２は、レンズ部１０１１を介して受光した光（被写体光）を光電変換してその結果得られる画素信号をAD変換し、その結果得られる信号を、信号処理部１０１３に供給する。

信号処理部１０１３は、例えばDSP(Digital Signal Processor)回路等の信号処理回路から構成され、固体撮像装置１０１２から供給される信号に対する信号処理を行う。例えば、信号処理部１０１３は、固体撮像装置１０１２からの信号に対して信号処理を施すことで、静止画又は動画の画像データを生成し、表示部１０１５又は記憶部１０１６に供給する。

制御部１０１４は、例えば、CPU(Central Processing Unit)やマイクロプロセッサ、FPGA(Field Programmable Gate Array)などとして構成される。制御部１０１４は、電子機器１０００の各部の動作を制御する。

表示部１０１５は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等の表示装置として構成される。表示部１０１５は、信号処理部１０１３から供給される画像データに応じた静止画又は動画を表示する。

記憶部１０１６は、例えば、半導体メモリやハードディスク等の記録媒体として構成される。記憶部１０１６は、信号処理部１０１３から供給される画像データを記録する。また、記憶部１０１６は、制御部１０１４からの制御に従い、記録されている画像データを供給する。

操作部１０１７は、例えば、物理的なボタンのほか、表示部１０１５と組み合わせて、タッチパネルとして構成される。操作部１０１７は、ユーザによる操作に応じて、電子機器１０００が有する各種の機能についての操作指令を出力する。制御部１０１４は、操作部１０１７から供給される操作指令に基づき、各部の動作を制御する。

通信部１０１８は、例えば、通信インターフェース回路などとして構成される。通信部１０１８は、所定の通信方式に従い、無線通信又は有線通信によって、外部の機器との間でデータのやりとりを行う。

電源部１０１９は、信号処理部１０１３ないし通信部１０１８の動作電源となる各種の電源を、これらの供給対象に対して適宜供給する。

電子機器１０００は、以上のように構成される。

本技術は、以上説明したように、固体撮像装置１０１２に適用される。固体撮像装置１０１２に本技術を適用することで、電子機器１０００では、固体撮像装置１０１２を、より少ない回路規模で、低消費電力で動作させつつ、例えば動き検出を用いた手ぶれ補正を実現することができる。

＜４．固体撮像装置の使用例＞

図２０は、本技術を適用した固体撮像装置の使用例を示す図である。

固体撮像装置１０は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。すなわち、図２０に示すように、鑑賞の用に供される画像を撮影する鑑賞の分野だけでなく、例えば、交通の分野、家電の分野、医療・ヘルスケアの分野、セキュリティの分野、美容の分野、スポーツの分野、又は、農業の分野などにおいて用いられる装置でも、固体撮像装置１０を使用することができる。

具体的には、鑑賞の分野において、例えば、デジタルカメラやスマートフォン、カメラ機能付きの携帯電話機等の、鑑賞の用に供される画像を撮影するための装置（例えば、図１９の電子機器１０００）で、固体撮像装置１０を使用することができる。

交通の分野において、例えば、自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置で、固体撮像装置１０を使用することができる。

家電の分野において、例えば、ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビ受像機や冷蔵庫、エアーコンディショナ等の家電に供される装置で、固体撮像装置１０を使用することができる。また、医療・ヘルスケアの分野において、例えば、内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置で、固体撮像装置１０を使用することができる。

セキュリティの分野において、例えば、防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置で、固体撮像装置１０を使用することができる。また、美容の分野において、例えば、肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置で、固体撮像装置１０を使用することができる。

スポーツの分野において、例えば、スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置で、固体撮像装置１０を使用することができる。また、農業の分野において、例えば、畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置で、固体撮像装置１０を使用することができる。

＜５．移動体への応用例＞

本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークI/F(interface)１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であってもよい。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図２２は、撮像部１２０３１の設置位置の例を示す図である。

図２２では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２２には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、図４の固体撮像装置１０は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、高フレームレートで、かつ、フォーカルプレーン歪み等の影響による誤判定の少ない動き検出を実現することが可能になる。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、本技術は、以下のような構成をとることができる。

（１）
複数の画素を２次元状に配置した画素アレイ部を備え、
前記画素は、光電変換部と、前記光電変換部による光電変換で得られる画素信号をAD変換するAD変換部とを含み、
前記画素アレイ部では、前記複数の画素からのAD変換結果を読み出すに際して、一部の画素が間引かれる
固体撮像装置。
（２）
前記一部の画素を除いた前記複数の画素から読み出された前記AD変換結果から得られる間引き画像に基づいて、所定の信号処理を行う信号処理部をさらに備える
前記（１）に記載の固体撮像装置。
（３）
前記AD変換結果を、読み出し用の順序回路と画素ブロックに応じたクラスタ単位で読み出す読み出し部をさらに備える
前記（１）又は（２）に記載の固体撮像装置。
（４）
前記順序回路は、フリップフロップを含み、
前記読み出し部は、前記クラスタの段数に応じた数の前記フリップフロップを接続したシフトレジスタを含むリピータ回路を複数含み、
前記クラスタと前記フリップフロップとは、対になって接続される
前記（３）に記載の固体撮像装置。
（５）
前記リピータ回路は、所定のタイミングで順次選択される前記クラスタ内の前記画素から前記AD変換結果を読み出す
前記（４）に記載の固体撮像装置。
（６）
前記読み出し部は、前記複数の画素に応じた数のラッチ回路をさらに含み、
前記画素に含まれる前記AD変換部と前記ラッチ回路とは、対になって接続され、
前記AD変換部に含まれるコンパレータの反転出力が前記ラッチ回路に入力される
前記（４）又は（５）に記載の固体撮像装置。
（７）
前記読み出し部は、複数の前記リピータ回路の中から、間引き量に応じた前記リピータ回路を選択するセレクタをさらに含む
前記（４）ないし（６）のいずれかに記載の固体撮像装置。
（８）
前記信号処理部は、複数の前記間引き画像に基づいて、動き検出を行う
前記（２）に記載の固体撮像装置。
（９）
前記動き検出は、代表点マッチング法を用いた動き検出を含み、
前記信号処理部は、
特定の間引き画像をテンプレートブロックとして保持し、
順次得られる間引き画像をマッチングブロックとして、当該マッチングブロックの画素値と、保持した前記テンプレートブロックの画素値との相関をとることで、動きベクトルを検出する
前記（８）に記載の固体撮像装置。
（１０）
第１の撮像よりも時間的に後の第２の撮像において、前記第１の撮像で検出した前記動きベクトルに基づいて、前記画素アレイ部に配置された前記複数の画素から読み出される前記AD変換結果の読み出し開始位置を選択して動き補正を行う
前記（９）に記載の固体撮像装置。
（１１）
前記画素アレイ部では、２次元状に配置された前記複数の画素が、画素ブロック単位で規則的に間引かれる
前記（１）ないし（１０）のいずれかに記載の固体撮像装置。
（１２）
複数の画素を２次元状に配置した画素アレイ部を備え、
前記画素は、光電変換部と、前記光電変換部による光電変換で得られる画素信号をAD変換するAD変換部とを含み、
前記画素アレイ部では、前記複数の画素からのAD変換結果を読み出すに際して、一部の画素が間引かれる
固体撮像装置を搭載した電子機器。

１０固体撮像装置，１００Ａ画素基板，１００Ｂロジック基板，１０１画素アレイ部，１０２リピータ部，１０３ GC発生部，１０４ SRAM，１０５信号処理部，１０６動き判定用メモリ，１０７ DAC，１０８ラッチ・リピータ部，１１１画素，１２１クラスタ，１３１リピータ，１３２リピータセレクタ，１４１シフトレジスタ，１４２フリップフロップ，１５１ ADC，１５２ラッチ回路，１６１画素回路，１６２差動増幅回路，１６３正帰還回路，１６４多重回路，１０００電子機器，１０１２固体撮像装置

Claims

複数の画素を２次元状に配置した画素アレイ部を備え、
前記画素は、光電変換部と、前記光電変換部による光電変換で得られる画素信号をAD変換するAD変換部とを含み、
前記画素アレイ部では、前記複数の画素からのAD変換結果を読み出すに際して、一部の画素が間引かれる
固体撮像装置。
前記一部の画素を除いた前記複数の画素から読み出された前記AD変換結果から得られる間引き画像に基づいて、所定の信号処理を行う信号処理部をさらに備える
請求項１に記載の固体撮像装置。
前記AD変換結果を、読み出し用の順序回路と画素ブロックに応じたクラスタ単位で読み出す読み出し部をさらに備える
請求項１に記載の固体撮像装置。
前記順序回路は、フリップフロップを含み、
前記読み出し部は、前記クラスタの段数に応じた数の前記フリップフロップを接続したシフトレジスタを含むリピータ回路を複数含み、
前記クラスタと前記フリップフロップとは、対になって接続される
請求項３に記載の固体撮像装置。
前記リピータ回路は、所定のタイミングで順次選択される前記クラスタ内の前記画素から前記AD変換結果を読み出す
請求項４に記載の固体撮像装置。
前記読み出し部は、前記複数の画素に応じた数のラッチ回路をさらに含み、
前記画素に含まれる前記AD変換部と前記ラッチ回路とは、対になって接続され、
前記AD変換部に含まれるコンパレータの反転出力が前記ラッチ回路に入力される
請求項４に記載の固体撮像装置。
前記読み出し部は、複数の前記リピータ回路の中から、間引き量に応じた前記リピータ回路を選択するセレクタをさらに含む
請求項４に記載の固体撮像装置。
前記信号処理部は、複数の前記間引き画像に基づいて、動き検出を行う
請求項２に記載の固体撮像装置。
前記動き検出は、代表点マッチング法を用いた動き検出を含み、
前記信号処理部は、
特定の間引き画像をテンプレートブロックとして保持し、
順次得られる間引き画像をマッチングブロックとして、当該マッチングブロックの画素値と、保持した前記テンプレートブロックの画素値との相関をとることで、動きベクトルを検出する
請求項８に記載の固体撮像装置。
第１の撮像よりも時間的に後の第２の撮像において、前記第１の撮像で検出した前記動きベクトルに基づいて、前記画素アレイ部に配置された前記複数の画素から読み出される前記AD変換結果の読み出し開始位置を選択して動き補正を行う
請求項９に記載の固体撮像装置。
前記画素アレイ部では、２次元状に配置された前記複数の画素が、画素ブロック単位で規則的に間引かれる
請求項１に記載の固体撮像装置。
複数の画素を２次元状に配置した画素アレイ部を備え、
前記画素は、光電変換部と、前記光電変換部による光電変換で得られる画素信号をAD変換するAD変換部とを含み、
前記画素アレイ部では、前記複数の画素からのAD変換結果を読み出すに際して、一部の画素が間引かれる
固体撮像装置を搭載した電子機器。