JP2018121254A - 固体撮像素子 - Google Patents

Abstract

【課題】一例として、画像認識処理の処理負荷を低減することができる固体撮像素子を得る。【解決手段】実施形態にかかる固体撮像素子は、画素アレイ部と、演算部と、出力部とを備える。画素アレイ部は、受けた光を画素信号に変換する複数色の同色画素が複数の行および複数の列に沿って配置される。演算部は、同一色の同色画素から同色画素信号をそれぞれ読み出し、読み出した複数の同色画素信号の代表値を演算する。出力部は、演算部によって演算された代表値の集合を同一色ごとに外部へ出力する。【選択図】図３

Description

本発明の実施形態は、固体撮像素子に関する。

従来、受けた光の強さに応じた信号電荷を蓄積する複数の画素を備え、各画素に蓄積された信号電荷を順次読み出して画像データとして出力する固体撮像素子が知られている。

この種の固体撮像素子では、各画素に赤（Ｒ）、緑（Ｇ）および青（Ｂ）のいずれかの色を割り当て、各色の画素から読み出される信号電荷を組み合わせることにより、肉眼に近い自然な画像を提供することができる。

特開２００７−１７４４７８号公報

上述したように、従来の固体撮像素子は、人間が見るのに適した画像を提供するものである。このため、固体撮像素子から出力される画像データを用いて顔認識や動体検出などの画像認識処理を行う場合には、出力される画像データに対してフィルタ処理等の画像処理を施し、画像処理後の画像データを用いて画像認識処理を行っていた。したがって、従来の固体撮像素子には、画像認識処理の処理負荷を低減するという点で更なる改善の余地がある。

本発明の実施形態に係る固体撮像素子は、一例として、受けた光を画素信号に変換する複数色の同色画素が複数の行および複数の列に沿って配置された画素アレイ部と、同一色の前記同色画素から同色画素信号をそれぞれ読み出し、読み出した複数の前記同色画素信号の代表値を演算する演算部と、前記演算部によって演算された前記代表値の集合を前記同一色ごとに外部へ出力する出力部とを備える。よって、一例としては、外部の認識装置において画像認識処理用の画像データを生成するための画像処理を省略することが可能となる。したがって、実施形態に係る固体撮像素子によれば、画像認識処理の処理負荷を低減することができる。

上記固体撮像素子では、一例として、前記演算部は、２以上の前記行および２以上の前記列のフィルタ範囲に含まれる前記同色画素から前記同色画素信号をそれぞれ読み出し、該同色画素信号を用いたフィルタ演算を行うことによって前記フィルタ範囲における一の前記代表値を得る処理を、前記フィルタ範囲の位置を変えながら複数回実行する。よって、一例としては、エッジ抽出などのフィルタ処理が施された色ごとの画像データを外部に提供することができる。

上記固体撮像素子では、一例として、前記演算部は、前記複数の列の少なくとも１つに対応して設けられ、前記同色画素から読み出された前記同色画素信号を伝送する複数の垂直信号線と、前記複数の列の少なくとも１つに対応して設けられ、入力される前記同色画素信号に対して前記フィルタ演算を行う複数のカラム処理部と、前記複数の垂直信号線と前記複数のカラム処理部との間に設けられ、前記複数の垂直信号線と前記複数のカラム処理部との接続状態を切り替えることによって前記同色画素信号を一の前記カラム処理部へ入力させる切替部とを備える。よって、一例としては、切替部を設けることにより、必要とするカラム処理部の数を削減することができる。

上記固体撮像素子では、一例として、前記カラム処理部は、アナログ−デジタル変換処理に用いられる比較回路およびカウンタ回路を用いて前記フィルタ演算を行う。よって、一例としては、フィルタ演算用に別途メモリ等を設けることなく、比較的簡易な構成でフィルタ演算を実現することができる。

上記固体撮像素子では、一例として、前記同色画素の各々は、複数の分割画素を含んでおり、前記演算部は、読み出し対象とする前記分割画素を変えつつ、一の前記同色画素から前記同色画素信号を複数回読み出す。よって、一例としては、一の同色画素から同色画素信号を１回のみ読み出してフィルタ処理を行う場合と比較して、フィルタ処理後の画像データの情報量を増加させることができる。

図１は、第１の実施形態に係るＣＭＯＳ型の固体撮像素子の構成の一例を示す図である。 図２は、エッジ画像データの生成に用いられるフィルタの一例を示す図である。 図３は、第２のＡＤ変換部の構成の一例を示す図である。 図４は、カラム処理部の構成の一例を示す図である。 図５は、比較回路の構成の一例を示す図である。 図６Ａは、第１の実施形態に係るフィルタ処理の動作例を示す図である。 図６Ｂは、第１の実施形態に係るフィルタ処理の動作例を示す図である。 図７Ａは、第１の実施形態に係るフィルタ処理によって生成されるＲエッジ画像の一例を示す図である。 図７Ｂは、第１の実施形態に係るフィルタ処理によって生成されるＲエッジ画像の一例を示す図である。 図８は、第２の実施形態に係る画素の構成の一例を示す図である。 図９は、第２の実施形態に係る画素アレイ部およびＡＤ変換部の構成の一例を示す図である。 図１０Ａは、第２の実施形態に係るフィルタ処理の動作例を示す図である。 図１０Ｂは、第２の実施形態に係るフィルタ処理の動作例を示す図である。 図１０Ｃは、第２の実施形態に係るフィルタ処理の動作例を示す図である。 図１０Ｄは、第２の実施形態に係るフィルタ処理の動作例を示す図である。 図１１Ａは、第２の実施形態に係るフィルタ処理によって生成されるＲエッジ画像の一例を示す図である。 図１１Ｂは、第２の実施形態に係るフィルタ処理によって生成されるＲエッジ画像の一例を示す図である。 図１２は、第３の実施形態に係る固体撮像素子の構成の一例を示す図である。 図１３は、第３の実施形態に係る画像認識システムの構成の一例を示すブロック図である。

（第１の実施形態）
〔１．固体撮像素子の構成〕
まず、第１の実施形態に係る固体撮像素子の構成について図１および図２を参照して説明する。図１は、第１の実施形態に係るＣＭＯＳ型の固体撮像素子の構成の一例を示す図である。また、図２は、エッジ画像データの生成に用いられるフィルタの一例を示す図である。なお、図２には、一例として、垂直方向のエッジを抽出するための６×６のフィルタを示している。

図１に示すように、第１の実施形態に係る固体撮像素子１は、たとえば図２に示すフィルタＦを用いたフィルタ処理を行うことにより、赤（Ｒ）、緑（Ｇ）および青（Ｂ）各色のエッジ画像データを生成して外部装置へ出力する。なお、画素の配列は、図１に示すベイヤー配列に限定されない。

外部装置は、たとえば顔認識や動体検出などの画像認識処理を行う認識装置である。認識装置は、固体撮像素子１から入力されるエッジ画像データを利用することで、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の全てを含んだＲＡＷ画像データからエッジ画像を生成する処理を省略することができる。

したがって、固体撮像素子１によれば、画像認識処理の処理負荷を低減することができる。

図１に示すように、第１の実施形態に係る固体撮像素子１は、画素アレイ部２と、垂直走査部３と、ＡＤ変換部４と、出力部５と、水平走査部６と、制御部７とを備える。

画素アレイ部２は、複数の行および複数の列に沿ってマトリクス状に配置された複数の画素２１を備える。

画素２１は、フォトダイオードおよびＭＯＳスイッチ等を含んで構成され、図示しないカラーフィルタによって色分解された色光のうち何れか一つを受光して画素信号に変換する。

具体的には、画素２１は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３種類の色光のうち何れか一つを受光して赤（Ｒ）、緑（Ｇ）または青（Ｂ）の画素信号に変換する。

以下では、複数の画素２１のうち同じ色の色光を受光する画素２１を「同色画素」と記載する場合がある。また、画素アレイ部２に配置される複数色の同色画素のうち、赤（Ｒ）の色光を受光する同色画素を「Ｒ画素」、緑（Ｇ）の色光を受光する同色画素を「Ｇ画素」、青（Ｂ）の色光を受光する同色画素を「Ｂ画素」と記載する場合がある。

また、以下では、同色画素から読み出される画素信号を「同色画素信号」と記載する場合がある。また、Ｒ画素から読み出される画素信号を「Ｒ画素信号」、Ｇ画素から読み出される画素信号を「Ｇ画素信号」、Ｂ画素から読み出される画素信号を「Ｂ画素信号」と記載する場合がある。

画素アレイ部２には、複数の行選択線２２が各行に１つずつ設けられるとともに、複数の垂直信号線２３が各列に１つずつ設けられる。行選択線２２は、複数の画素２１を行単位で垂直走査部３に接続する。また、垂直信号線２３は、複数の画素２１を列単位でＡＤ変換部４に接続する。

垂直走査部３は、制御部７からの制御に従って行選択線２２に行選択パルスを出力することにより、画素信号の読み出しを行う画素２１の行を選択する。

ＡＤ変換部４は、画素アレイ部２から読み出された画素信号をデジタル形式の画素信号に変換するアナログ−デジタル変換処理を行う。

ここで、ＡＤ変換部４の具体的な構成の一例について図３を参照して説明する。図３は、ＡＤ変換部４の構成の一例を示す図である。

図３に示すように、ＡＤ変換部４は、切替部４１と、複数のカラム処理部４２とを備える。

切替部４１は、複数の垂直信号線２３と複数のカラム処理部４２との間に設けられ、制御部７の制御に従って、複数の垂直信号線２３と複数のカラム処理部４２との接続状態を切り替える。これにより、ＡＤ変換部４は、複数の列から読み出された同色画素信号を１つのカラム処理部４２へ入力させることができる。

カラム処理部４２は、画素アレイ部２の各列に対して単一に設けられ、入力される同色画素信号に対してフィルタ演算を行う。具体的には、カラム処理部４２は、入力される同色画素信号に対して乗算処理および加減算処理を行う。

ここで、カラム処理部４２の構成の一例について図４および図５を参照して説明する。図４は、カラム処理部４２の構成の一例を示す図である。また、図５は、比較回路の構成の一例を示す図である。

図４に示すように、カラム処理部４２は、比較回路４２１と、カウンタ回路４２２とを備える。

図５に示すように、比較回路４２１は、たとえば、ＤＡＣ（Digital Analog Converter）４３と垂直信号線２３とに接続される比較器４２１ａを備える。比較器４２１ａは、垂直信号線２３から入力される画素信号の電圧と、ＤＡＣ４３から入力される参照電圧とを比較して、参照電圧と画素信号の電圧との大小関係が反転した場合に、カウンタ回路４２２への出力を反転させる。

比較回路４２１は、複数のスイッチ４２１ｂおよび複数のコンデンサ４２１ｃを備える。複数のスイッチ４２１ｂおよび複数のコンデンサ４２１ｃは、垂直信号線２３および垂直信号線２３に接続される信号線にそれぞれ設けられる。複数のスイッチ４２１ｂは、制御部７によって制御される。

カウンタ回路４２２は、比較回路４２１からの出力が反転するまでの期間をカウントし、カウント値（すなわち、デジタル形式の画素データ）を図示しないラッチ回路に一時的に保持する。

カウンタ回路４２２は、列選択線６１を介して水平走査部６に接続されており、水平走査部６から列選択線６１を介して列選択パルスが入力された場合に、図示しないラッチ回路に保持されているカウント値を出力部５の水平信号線５１に出力する。

図１に戻り、出力部５は、水平信号線５１と、増幅部５２と、出力端子５３とを備える。水平信号線５１は、ＡＤ変換部４に接続され、ＡＤ変換部４から出力されるデジタル形式の画素データを伝送する。増幅部５２は、水平信号線５１によって伝送される画素データを増幅する。出力端子５３は、増幅部５２によって増幅された画素データを外部に出力する。出力端子５３から出力される複数の画素データの集合により、１つの画像データが形成される。

水平走査部６は、制御部７からの制御に従って列選択線６１に列選択パルスを出力することにより、ＡＤ変換部４が備えるカラム処理部４２からＡＤ変換処理後の画素データを順次水平信号線５１に出力させる。

制御部７は、各部の動作に必要なクロックや所定タイミングのパルス信号を供給するタイミングジェネレータ等を含んで構成され、垂直走査部３、ＡＤ変換部４、出力部５、水平走査部６の各部の動作を制御する。

〔２．フィルタ処理の動作〕
次に、第１の実施形態に係るフィルタ処理の動作例について図３、図６Ａ、図６Ｂ、図７Ａおよび図７Ｂを参照して説明する。図６Ａおよび図６Ｂは、第１の実施形態に係るフィルタ処理の動作例を示す図である。また、図７Ａおよび図７Ｂは、第１の実施形態に係るフィルタ処理によって生成されるＲエッジ画像の一例を示す図である。

第１の実施形態に係る固体撮像素子１は、フィルタＦのフィルタ範囲に含まれる同色画素から同色画素信号をそれぞれ読み出し、読み出した同色画素信号を用いたフィルタ演算を行うことによってフィルタ範囲における一の代表値（デジタル形式の画素データ）を得る処理を行う。

具体的には、図３に示すように、垂直走査部３は、制御部７（図１参照）の制御に従い、フィルタ処理の対象となる色光（以下、「対象色光」と記載する）を受光する画素２１が配置される行を現在のフィルタ範囲の中から選択する。

たとえば、図３に示す場合、垂直走査部３は、対象色光である赤（Ｒ）を受光する複数のＲ画素２１のうち、フィルタ範囲に含まれる９つのＲ画素２１＿１〜２１＿９が配置される３つの行を順次選択する。また、切替部４１は、制御部７の制御に従い、Ｒ画素２１＿１〜２１＿９に接続される３つの垂直信号線２３＿１〜２３＿３を、フィルタ中心となるＲ画素２１＿５が配置される列のカラム処理部４２（左から３つ目のカラム処理部４２）に順次接続する。

これにより、まず、９つのＲ画素２１＿１〜２１＿９のうち、垂直信号線２３＿１に接続される３つのＲ画素２１＿１〜２１＿３からそれぞれＲ画素信号が読み出されて、フィルタ中心となるＲ画素２１＿５に対応するカラム処理部４２に順次入力される。

つづいて、カラム処理部４２では、入力される複数のＲ画素信号を用いてフィルタ演算を行う。

具体的には、カラム処理部４２では、Ｒ画素２１＿１〜２１＿３のうち、Ｒ画素２１＿１，２１＿３の画素信号に対してフィルタ係数「−１」を掛け合わせ、Ｒ画素２１＿２の画素信号に対してフィルタ係数「−２」を掛け合わせる乗算処理が行われる。

乗算処理は、たとえば、比較回路４２１の複数のスイッチ４２１ｂを制御して複数のコンデンサ４２１ｃの接続状態を切り替えることにより、Ｒ画素２１＿１〜２１＿３のそれぞれのＲ画素信号に対して適宜重み付けを行うことによって実現される。

また、カラム処理部４２では、乗算処理後のＲ画素信号同士を足し合わせる加算処理が行われる。加算処理は、たとえば、比較回路４２１に接続される垂直信号線２３上でのＳＦ（Source Follower）加算により実現することができる。

Ｒ画素２１＿１〜２１＿３の各Ｒ画素信号に対して上記の乗算処理および加算処理が行われることにより、カラム処理部４２のカウンタ回路４２２には、Ｒ画素２１＿１〜２１＿３についての演算結果（カウント値）が一時的に保持される。

つづいて、切替部４１が、フィルタ中心となるＲ画素２１＿５が配置される列のカラム処理部４２に垂直信号線２３＿２を接続し、制御部７が、比較回路４２１の複数のスイッチ４２１ｂを制御することにより、Ｒ画素２１＿４〜２１＿６の各Ｒ画素信号に対して乗算処理および加算処理を行う。これにより、カウンタ回路４２２には、Ｒ画素２１＿１〜２１＿３についての演算結果に加え、Ｒ画素２１＿４〜２１＿６についての演算結果が保持される。

つづいて、切替部４１が、フィルタ中心となるＲ画素２１＿５が配置される列のカラム処理部４２に垂直信号線２３＿３を接続し、制御部７が、比較回路４２１の複数のスイッチ４２１ｂを制御することにより、Ｒ画素２１＿７〜２１＿９の各Ｒ画素信号に対して乗算処理および加算処理を行う。これにより、カウンタ回路４２２には、Ｒ画素２１＿７〜２１＿９についての演算結果がさらに保持される。

その後、水平走査部６は、制御部７の制御に従って、フィルタ中心となるＲ画素２１＿５が配置される列のカラム処理部４２に対して列選択線６１（図１参照）を介して列選択パルスを出力する。これにより、Ｒ画素２１＿１〜２１＿３、Ｒ画素２１＿４〜２１＿６およびＲ画素２１＿７〜２１＿９についての各演算結果（カウント値）の合算値、すなわち、フィルタ中心となるＲ画素２１＿５に対応する一の代表値が水平信号線５１へ出力される。

なお、固体撮像素子１は、図６Ａに示すように、水平方向に複数のフィルタＦを適用することにより、上記の処理すなわちあるフィルタ範囲について一の代表値を出力する処理を、水平方向について同時に実行することが可能である。

これにより、図７Ａに示すように、各フィルタＦのフィルタ中心となるＲ画素２１＿１０〜２１＿１２に対応するフィルタ処理後の画素データ２１＿１０’〜２１＿１２’が出力部５から出力される。

つづいて、固体撮像素子１は、上記の処理すなわちあるフィルタ範囲について一の代表値を出力する処理を、フィルタ範囲の位置を変えながら複数回実行する。

具体的には、固体撮像素子１は、図６Ｂに示すように、フィルタＦの適用範囲を垂直方向にフィルタ単位分（ここでは、６画素分）ずらして上記と同様に各フィルタ範囲について一の代表値を出力する処理を行う。

これにより、図７Ｂに示すように、各フィルタＦのフィルタ中心となるＲ画素２１＿１３〜２１＿１５に対応するフィルタ処理後の画素データ２１＿１３’〜２１＿１５’が出力部５から出力される。

このように、固体撮像素子１は、フィルタＦをフィルタ単位でずらしながらフィルタ演算を繰り返し行うことにより、対象色光である赤（Ｒ）についてのエッジ画像であるＲエッジ画像を生成することができる。

また、固体撮像素子１は、他の色光を対象色光として同様の処理を繰り返し行うことにより、他の色光のエッジ画像を順次出力することができる。なお、緑（Ｇ）については、Ｒ画素２１と同じ行に配置されるＧ画素２１のエッジ画像と、Ｂ画素２１と同じ行に配置されるＧ画素２１のエッジ画像とをそれぞれ生成して出力してもよい。

上述してきたように、第１の実施形態に係る固体撮像素子１は、画素アレイ部２と、垂直走査部３およびＡＤ変換部４（演算部の一例）と、出力部５とを備える。画素アレイ部２は、受けた光を画素信号に変換する複数色の同色画素２１が複数の行および複数の列に沿って配置される。垂直走査部３およびＡＤ変換部４は、同一色の同色画素２１から同色画素信号をそれぞれ読み出し、読み出した複数の同色画素信号の代表値を演算する。出力部５は、ＡＤ変換部４によって演算された代表値の集合を同一色ごとに外部へ出力する。

したがって、第１の実施形態に係る固体撮像素子１によれば、画像認識処理の処理負荷を低減することができる。

（第２の実施形態）
次に、第２の実施形態に係る固体撮像素子について説明する。図８は、第２の実施形態に係る画素の構成の一例を示す図である。

図８に示すように、第２の実施形態に係る複数の画素２１Ａの各々は、複数の分割画素２１１を含んで構成される。たとえば、図８に示す場合、Ｒ画素２１Ａは、２×２のＲ分割画素２１１を備え、Ｇ画素２１Ａは、２×２のＧ分割画素２１１を備え、Ｂ画素２１Ａは、２×２のＢ分割画素２１１を備える。

このように、複数の分割画素２１１を含む画素２１Ａを備えることにより、一の画素２１Ａから画素信号を複数回読み出すことが可能となる。

なお、ここでは、１つの画素２１Ａが４つの分割画素２１１に分割される場合の例を示したが、画素２１Ａの分割数は４つに限定されない。

図９は、第２の実施形態に係る画素アレイ部およびＡＤ変換部の構成の一例を示す図である。なお、以下の説明では、既に説明した部分と同様の部分については、既に説明した部分と同一の符号を付し、重複する説明を省略する。

図９に示すように、画素アレイ部２Ａには、複数の行選択線２２と複数の垂直信号線２３とが設けられており、各分割画素２１１は、いずれか１つの行選択線２２および垂直信号線２３にそれぞれ接続されている。これにより、１つの画素２１Ａに含まれる複数の分割画素２１１から個別に画素信号を読み出すことが可能である。

なお、画素アレイ部２Ａに設けられる行選択線２２および垂直信号線２３の本数は、図示のものに限定されず、１つの画素２１Ａに含まれる複数の分割画素２１１から個別に画素信号を読み出すことができれば、他の構成であってもよい。

次に、第２の実施形態に係るフィルタ処理の動作について図１０Ａ〜１０Ｄ、図１１Ａおよび図１１Ｂを参照して説明する。図１０Ａ〜１０Ｄは、第２の実施形態に係るフィルタ処理の動作例を示す図である。また、図１１Ａおよび図１１Ｂは、第２の実施形態に係るフィルタ処理によって生成されるＲエッジ画像の一例を示す図である。

図１０Ａに示すように、第２の実施形態に係る固体撮像素子１Ａは、水平方向に複数のフィルタＦを適用することにより、１回目のフィルタ演算を実行する。具体的には、固体撮像素子１Ａは、各画素２１Ａに含まれる複数の分割画素２１１のうち何れか１つから画素信号を読み出して１回目のフィルタ処理を行う。

つづいて、図１０Ｂに示すように、固体撮像素子１Ａは、フィルタＦの位置を水平方向に一画素分ずらして２回目のフィルタ処理を行う。このとき、固体撮像素子１Ａは、１回目のフィルタ処理において画素信号を読み出した分割画素２１１とは異なる分割画素２１１から画素信号を読み出す。

つづいて、図１０Ｃに示すように、固体撮像素子１Ａは、フィルタＦの位置を水平方向にさらに一画素分ずらして３回目のフィルタ処理を行う。このとき、固体撮像素子１Ａは、１回目および２回目のフィルタ処理において画素信号を読み出した分割画素２１１とは異なる分割画素２１１から画素信号を読み出す。

これにより、図１１Ａに示すように、各フィルタＦのフィルタ中心となるＲ画素２１Ａ＿１〜２１Ａ＿６・・・に対応するフィルタ処理後の画素データ２１Ａ＿１’〜２１Ａ＿６’が出力部５から出力される。

その後、図１０Ｄに示すように、固体撮像素子１Ａは、フィルタＦの位置を垂直方向に一画素分ずつずらしながら、図１０Ａ〜１０Ｃと同様の処理を繰り返す。これにより、図１１Ｂに示すように、第１の実施形態に係る固体撮像素子１において生成されるＲエッジ画像（図７Ｂ参照）よりも情報量の多いＲエッジ画像を生成することができる。

このように、第２の実施形態に係る固体撮像素子１Ａでは、同色画素の各々が、複数の分割画素を含んでおり、垂直走査部３およびＡＤ変換部４が、読み出し対象とする分割画素２１１を変えつつ、一の同色画素２１Ａから同色画素信号を複数回読み出すこととした。したがって、第２の実施形態に係る固体撮像素子１Ａによれば、第１の実施形態のように、一の同色画素から同色画素信号を１回のみ読み出してフィルタ処理を行う場合と比較して、フィルタ処理後の画像データの情報量を増加させることができる。

（第３の実施形態）
次に、第３の実施形態に係る固体撮像素子について図１２を参照して説明する。図１２は、第３の実施形態に係る固体撮像素子の構成の一例を示す図である。

図１２に示すように、第３の実施形態に係る固体撮像素子１Ｂは、複数種類の画素データを同時に出力することが可能である。たとえば、固体撮像素子１Ｂは、垂直方向のエッジ画像の画素データと、水平方向のエッジ画像の画素データと、ＲＡＷ画像の画素データとを同時に出力することができる。

固体撮像素子１Ｂは、たとえば第２の実施形態に係る画素アレイ部２Ａと、垂直走査部３と、複数のＡＤ変換部４Ｘ、４Ｙ、８と、複数の出力部５Ｘ，５Ｙ，９と、水平走査部６と、制御部７とを備える。

複数のＡＤ変換部４Ｘ、４Ｙ、８は、複数の垂直信号線２３、複数の列選択線６１および制御部７にそれぞれ接続される。また、ＡＤ変換部４Ｘは出力部５Ｘに接続され、ＡＤ変換部４Ｙは出力部５Ｙに接続され、ＡＤ変換部８は出力部９に接続される。

ＡＤ変換部８は、たとえば、画素アレイ部２Ａにおける各列に対して単一に設けられた図示しないカラム処理部を備える。各カラム処理部は、垂直走査部３によって選択された読み出し行に配置される各画素２１Ａの何れかの分割画素２１１から垂直信号線２３を介して入力される画素信号に対してＡＤ変換処理を行う。

出力部９は、水平信号線９１と、増幅部９２と、出力端子９３とを備える。水平信号線９１は、ＡＤ変換部８に接続され、ＡＤ変換部８から出力されるデジタル形式の画素データを伝送する。増幅部９２は、水平信号線９１によって伝送される画素データを増幅する。出力端子９３は、増幅部９２によって増幅された画素データを外部に出力する。

固体撮像素子１Ｂは、画素アレイ部２Ａ、垂直走査部３、ＡＤ変換部８、水平走査部６および制御部７を用いてＲＡＷ画像の画素データを生成して出力部９から出力する。

具体的には、垂直走査部３が、複数の行選択線２２のうち何れか１つに行選択パルスを出力し、選択された１行分の画素信号をＡＤ変換部８が列ごとにデジタル形式の画素データに変換する。つづいて、固体撮像素子１Ｂでは、水平走査部６が、ＡＤ変換処理後の画素データをたとえば赤（Ｒ）、緑（Ｇ）および青（Ｂ）ごとに水平信号線９１に出力させる。これにより、１行分のＲＡＷ画像の画素データが外部へ出力される。そして、垂直走査部３により選択する行を垂直方向にずらしながら同様の処理を繰り返すことで、１フレーム分のＲＡＷ画像の画素データを出力することができる。

ＡＤ変換部４Ｘ，４Ｙおよび出力部５Ｘ，５Ｙの構成は、上述したＡＤ変換部４および出力部５と同様である。よって、ここでの説明を省略する。

固体撮像素子１Ｂは、画素アレイ部２Ａ、垂直走査部３、ＡＤ変換部４Ｘ、水平走査部６および制御部７を用いて垂直方向のエッジ画像を同一色ごとに生成して出力部５Ｘから出力する。垂直方向のエッジ画像を生成する場合におけるフィルタ処理の動作については、第１の実施形態において図３を用いて既に説明した通りである。

また、固体撮像素子１Ｂは、画素アレイ部２Ａ、垂直走査部３、ＡＤ変換部４Ｙ、水平走査部６および制御部７を用いて水平方向のエッジ画像を同一色ごとに生成して出力部５Ｙから出力する。

ここで、水平方向のエッジ画像を生成する場合の動作例について図３を参照して説明する。

まず、垂直走査部３は、制御部７の制御に従ってＲ画素２１＿１，２１＿４，２１＿７が配置される行を選択する。つづいて、切替部４１は、制御部７の制御に従って、Ｒ画素２１＿１，２１＿４，２１＿７のＲ画素信号が、フィルタ中心となるＲ画素２１＿５が配置される列に対応するカラム処理部４２に順次入力されるように、複数の垂直信号線２３と複数のカラム処理部４２との接続状態を切り替える。つづいて、カラム処理部４２は、制御部７の制御に従って、垂直信号線２３から順次入力されるＲ画素信号に対して乗算処理および加算処理を行う。これにより、カラム処理部４２のカウンタ回路４２２には、Ｒ画素２１＿１，２１＿４，２１＿７についての演算結果（カウント値）が一時的に保持される。

つづいて、垂直走査部３は、制御部７の制御に従い、Ｒ画素２１＿２，２１＿５，２１＿８が配置される行を選択する。つづいて、切替部４１は、制御部７の制御に従い、Ｒ画素２１＿２，２１＿５，２１＿８のＲ画素信号が、フィルタ中心となるＲ画素２１＿５が配置される列に対応するカラム処理部４２に順次入力されるように、複数の垂直信号線２３と複数のカラム処理部４２との接続状態を切り替える。つづいて、カラム処理部４２は、制御部７の制御に従い、垂直信号線２３から順次入力されるＲ画素信号に対して乗算処理および加算処理を行う。これにより、カラム処理部４２のカウンタ回路４２２には、Ｒ画素２１＿２，２１＿５，２１＿８についての演算結果（カウント値）がさらに保持される。

つづいて、垂直走査部３は、制御部７の制御に従い、Ｒ画素２１＿３，２１＿６，２１＿９が配置される行を選択する。つづいて、切替部４１は、制御部７の制御に従い、Ｒ画素２１＿３，２１＿６，２１＿９のＲ画素信号が、フィルタ中心となるＲ画素２１＿５が配置される列に対応するカラム処理部４２に順次入力されるように、複数の垂直信号線２３と複数のカラム処理部４２との接続状態を切り替える。つづいて、カラム処理部４２は、制御部７の制御に従い、垂直信号線２３から順次入力されるＲ画素信号に対して乗算処理および加算処理を行う。これにより、カラム処理部４２のカウンタ回路４２２には、Ｒ画素２１＿３，２１＿６，２１＿９についての演算結果（カウント値）がさらに保持される。

その後、水平走査部６は、制御部７の制御に従い、フィルタ中心となるＲ画素２１＿５が配置される列に対応するカラム処理部４２に対して列選択線６１を介して列選択パルスを出力する。これにより、Ｒ画素２１＿１，２１＿４，２１＿７、Ｒ画素２１＿２，２１＿５，２１＿８およびＲ画素２１＿３，２１＿６，２１＿９についての各演算結果（カウント値）の合算値、すなわち、フィルタ中心となるＲ画素２１＿５に対応する一の代表値が水平信号線５１Ｙへ出力される。以上の処理をフィルタ中心となる対象画素をずらしながら複数回実行することにより、水平方向のＲエッジ画像を生成することができる。

このように、第３の実施形態に係る固体撮像素子１Ｂによれば、複数種類の画素データを外部へ出力することができる。

なお、固体撮像素子１Ｂは、ＡＤ変換部および出力部の組を増やすことで、より多くの種類の画像データを提供することが可能である。

たとえば、固体撮像素子１Ｂは、所定のサイズにリサイズされた画像データを外部に出力することも可能である。この場合、固体撮像素子１Ｂは、ＡＤ変換部および出力部の組を２組増やし、互いに異なる画素を使用してリサイズ処理を行うことで、たとえば、垂直方向に１／３間引いた画像データと、垂直方向に１／５間引いた画像データとを同時に出力することができる。

（第４の実施形態）
次に、第３の実施形態に係る固体撮像素子１Ｂを車載用の画像認識システムに適用した場合の例について図１３を参照して説明する。図１３は、第４の実施形態に係る画像認識システムの構成の一例を示すブロック図である。

図１３に示す画像認識システム１００は、撮像装置１０１と、車載装置１０２とを備える。撮像装置１０１は車両の外部に設けられ、車載装置１０２は車両の内部に設けられる。

撮像装置１０１は、たとえば車両の前方、後方および側方の何れかの位置に設けられる。撮像装置１０１は、固体撮像素子１Ｂと、固体撮像素子１Ｂに被写体からの入射光を導く光学系１１１とを備える。光学系１１１は、たとえば、入射光を集めるマイクロレンズと、入射光を赤（Ｒ）、緑（Ｇ）および青（Ｂ）の各成分に色分解するカラーフィルタとを含む。

車載装置１０２は、たとえばダッシュボードなど、車両内部の所定位置に設けられる。車載装置１０２は、認識処理部１２１と、表示部１２２と、音声出力部１２３とを備える。表示部１２２は、たとえばＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electro-Luminescence Display）等である。音声出力部１２３は、たとえばスピーカである。

認識処理部１２１は、固体撮像素子１Ｂの出力部５Ｘ，５Ｙ，９に接続され、出力部５Ｘ，５Ｙから入力される垂直方向および水平方向のエッジ画像を用いて顔認識や動体検出といった画像認識処理を行う。そして、認識処理部１２１は、画像認識処理の結果に応じて表示部１２２に情報を表示したり、音声出力部１２３から音声を出力したりする。

たとえば、認識処理部１２１は、画像認識処理によって動体が検出された場合に、出力部９から入力されるＲＡＷ画像データを用い、検出された動体の周囲に枠画像を重畳させた画像を生成して表示部１２２に表示させる。これにより、運転者に対して歩行者等の存在を認識させることができる。

このように、第４の実施形態に係る画像認識システム１００によれば、エッジ画像を出力する固体撮像素子１Ｂを用いることにより、認識処理部１２１の処理負荷を低減することができる。

なお、ここでは、第３の実施形態に係る固体撮像素子１Ｂを用いる場合の例について説明したが、固体撮像素子１Ｂに代えて、第１の実施形態に係る固体撮像素子１または第２の実施形態に係る固体撮像素子１Ａを用いてもよい。

上述した各実施形態では、フィルタ処理の一例として、エッジフィルタを用いたエッジ抽出処理を行う場合の例について説明したが、フィルタ処理は、たとえば平滑化フィルタを用いた平滑化処理など、エッジ抽出処理以外の処理であってもよい。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

１…固体撮像素子、２…画素アレイ部、３…垂直走査部、４…ＡＤ変換部、５…出力部、６…水平走査部、７…制御部、２１…画素、２２…行選択線、２３…垂直信号線、４１…切替部、４２…カラム処理部、５１…水平信号線、５２…増幅部、５３…出力端子、６１…列選択線、Ｆ…フィルタ。

Claims (5)

1. 受けた光を画素信号に変換する複数色の同色画素が複数の行および複数の列に沿って配置された画素アレイ部と、
   同一色の前記同色画素から同色画素信号をそれぞれ読み出し、読み出した複数の前記同色画素信号の代表値を演算する演算部と、
   前記演算部によって演算された前記代表値の集合を前記同一色ごとに外部へ出力する出力部と
   を備える固体撮像素子。
2. 前記演算部は、
   ２以上の前記行および２以上の前記列のフィルタ範囲に含まれる前記同色画素から前記同色画素信号をそれぞれ読み出し、該同色画素信号を用いたフィルタ演算を行うことによって前記フィルタ範囲における一の前記代表値を得る処理を、前記フィルタ範囲の位置を変えながら複数回実行する、
   請求項１に記載の固体撮像素子。
3. 前記演算部は、
   前記複数の列の少なくとも１つに対応して設けられ、前記同色画素から読み出された前記同色画素信号を伝送する複数の垂直信号線と、
   前記複数の列の少なくとも１つに対応して設けられ、入力される前記同色画素信号に対して前記フィルタ演算を行う複数のカラム処理部と、
   前記複数の垂直信号線と前記複数のカラム処理部との間に設けられ、前記複数の垂直信号線と前記複数のカラム処理部との接続状態を切り替えることによって前記同色画素信号を一の前記カラム処理部へ入力させる切替部と
   を備える、
   請求項２に記載の固体撮像素子。
4. 前記カラム処理部は、
   アナログ−デジタル変換処理に用いられる比較回路およびカウンタ回路を用いて前記フィルタ演算を行う、
   請求項３に記載の固体撮像素子。
5. 前記同色画素の各々は、
   複数の分割画素を含んでおり、
   前記演算部は、
   読み出し対象とする前記分割画素を変えつつ、一の前記同色画素から前記同色画素信号を複数回読み出す、
   請求項１〜４のいずれか一つに記載の固体撮像素子。

Images