JP2021087108A - 固体撮像素子、撮像システム、および、固体撮像素子の制御方法 - Google Patents

Abstract

【課題】ＴＤＩ処理を行う固体撮像素子において、画素の微細化を容易にする。【解決手段】画素回路は、可視光成分および不可視光成分を各々が含む複数の混合信号と可視光を光電変換した複数の可視光信号とを生成する。アナログデジタル変換器は、複数の混合信号と複数の可視光信号とのそれぞれをデジタル信号に変換する。演算回路は、複数の混合信号のそれぞれに含まれる不可視光成分の積算値を示す積算データをデジタル信号から生成する。【選択図】図２０

Description

本技術は、固体撮像素子に関する。詳しくは、赤外線画像を撮像する固体撮像素子、撮像システム、および、固体撮像素子の制御方法に関する。

従来より、ＦＡ（Factory Automation）や空撮、医療の分野において、時間遅延積分（ＴＤＩ：Time Delay Integration）センサが用いられている。このＴＤＩセンサは、被写体の移動速度に合わせて時間をずらしながら、電荷量を積分するＴＤＩ処理を行うセンサである。例えば、赤外線光源を点滅させながら、ＴＤＩ処理を行って赤外線画像を撮像する固体撮像素子が提案されている（例えば、非特許文献１参照。）。この固体撮像素子では、赤外線および可視光を光電変換した混合信号を保持する浮遊拡散層と、可視光のみを光電変換した可視光信号を保持する浮遊拡散層と、それらの信号の差分を出力する回路とが画素ごとに設けられている。

Chen Cao1, et al., A Two-Tap NIR Lock-In Pixel CMOS Image Sensor with Background Light Cancelling Capability for Non-Contact Heart Rate Detection, 2018 Symposium on VLSI Circuits.

上述の従来技術では、混合信号と可視光信号との差分を求めることにより、可視光成分の除去を図っている。この可視光成分の除去により赤外線画像が得られる。しかしながら、上述の固体撮像素子では、可視光成分の除去のために画素ごとに浮遊拡散層を２つ設ける必要があり、画素ごとに浮遊拡散層が１つの場合と比較して画素の微細化が困難になるという問題がある。

本技術はこのような状況に鑑みて生み出されたものであり、ＴＤＩ処理を行う固体撮像素子において、画素の微細化を容易にすることを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、可視光成分および不可視光成分を各々が含む複数の混合信号と可視光を光電変換した複数の可視光信号とを生成する画素回路と、前記複数の混合信号と前記複数の可視光信号とのそれぞれをデジタル信号に変換するアナログデジタル変換器と、前記複数の混合信号のそれぞれに含まれる前記不可視光成分の積算値を示す積算データを前記デジタル信号から生成する演算回路とを具備する固体撮像素子、および、その制御方法である。これにより、デジタル信号から積算データが生成されるという作用をもたらす。

また、この第１の側面において、前記複数の混合信号は、第１および第２の混合信号を含み、前記複数の可視光信号は、第１および第２の可視光信号を含み、前記デジタル信号は、前記第１および第２の混合信号を変換した第１および第２の混合データと前記第１および第２の可視光信号を変換した第１および第２の可視光データとを含み、前記演算回路は、前記第１の混合データと前記第１の可視光データとの差分を差分データとして求める第１の減算処理と、前記差分データと前記第２の混合データとを加算して加算データを取得する加算処理と、前記加算データと前記第２の可視光データとの差分を求める第２の減算処理とを順に行ってもよい。これにより、加算、減算、加算の順の演算によって積算データが生成されるという作用をもたらす。

また、この第１の側面において、前記複数の混合信号は、第１および第２の混合信号を含み、前記複数の可視光信号は、第１および第２の可視光信号を含み、前記デジタル信号は、前記第１および第２の混合信号を変換した第１および第２の混合データと前記第１および第２の可視光信号を変換した第１および第２の可視光データとを含み、前記演算回路は、前記第１の混合データと前記第２の混合データとを加算して加算データを取得する加算処理と、前記加算データと前記第１の可視光データとの差分を差分データとして取得する第１の減算処理と、前記差分データと前記第２の可視光データとの差分を求める第２の減算処理とを順に行ってもよい。これにより、加算、減算、減算の順の演算によって積算データが生成されるという作用をもたらす。

また、この第１の側面において、フレームメモリをさらに具備し、前記演算回路は、前記アナログデジタル変換器からの前記デジタル信号と前記フレームメモリから読み出されたリードデータとを加算して加算データとして出力する加算器と、前記リードデータと前記デジタル信号との差分を差分データとして出力する減算器と、前記加算データと前記差分データとのいずれかを選択して前記フレームメモリに出力するセレクタとを備えてもよい。これにより、加算器および減算器の演算によって積算データが生成されるという作用をもたらす。

また、この第１の側面において、不可視光を照射する不可視光源を前記画素回路と同期して動作させる同期制御部をさらに具備することもできる。これにより、不可視光源からの不可視光成分が積算されるという作用をもたらす。

また、この第１の側面において、前記画素回路と前記アナログデジタル変換器の一部は、所定の受光チップに配置され、前記アナログデジタル変換器の残りと前記演算回路とは、前記受光チップに積層された回路チップに配置されてもよい。これにより、積層構造の固体撮像素子において、積算データが生成されるという作用をもたらす。

また、本技術の第２の側面は、不可視光を照射する不可視光源と、可視光成分および不可視光成分を各々が含む複数の混合信号と可視光を光電変換した複数の可視光信号とを生成する画素回路と、前記複数の混合信号と前記複数の可視光信号とのそれぞれをデジタル信号に変換するアナログデジタル変換器と、前記複数の混合信号のそれぞれに含まれる前記不可視光成分の積算値を示す積算データを前記デジタル信号から生成する演算回路とを具備する撮像システムである。これにより、不可視光源の照射した不可視光成分の積算データがデジタル信号から生成されるという作用をもたらす。

本技術の第１の実施の形態における撮像システムの一構成例を示すブロック図である。 本技術の第１の実施の形態における撮像システムの利用例を説明するための図である。 本技術の第１の実施の形態における固体撮像素子の積層構造の一例を示す図である。 本技術の第１の実施の形態における受光チップの一構成例を示すブロック図である。 本技術の第１の実施の形態における回路チップの一構成例を示すブロック図である。 本技術の第１の実施の形態における画素ＡＤ（Analog to Digital）変換部の一構成例を示す図である。 本技術の第１の実施の形態におけるＡＤＣ（Analog to Digital Converter）の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素回路、差動入力回路および正帰還回路の一構成例を示す回路図である。 本技術の第１の実施の形態における信号処理回路の一構成例を示すブロック図である。 本技術の第１の実施の形態における演算回路の一構成例を示す回路図である。 本技術の第１の実施の形態における１フレーム目を保持する際の演算回路の状態の一例を示す図である。 本技術の第１の実施の形態における２フレーム目と１フレーム目との差分を演算する際の演算回路の状態の一例を示す図である。 本技術の第１の実施の形態における３フレーム目とリードデータとを加算する際の演算回路の状態の一例を示す図である。 本技術の第１の実施の形態における４フレーム目とリードデータとの差分を演算する際の演算回路の状態の一例を示す図である。 本技術の第１の実施の形態における１フレーム目を保持する際の固体撮像素子の状態の一例を示す図である。 本技術の第１の実施の形態における２フレーム目と１フレーム目との差分を演算する際の固体撮像素子の状態の一例を示す図である。 本技術の第１の実施の形態における３フレーム目とリードデータとを加算する際の固体撮像素子の状態の一例を示す図である。 本技術の第１の実施の形態における４フレーム目とリードデータとの差分を演算する際の固体撮像素子の状態の一例を示す図である。 本技術の第１の実施の形態におけるＴＤＩ処理の一例を示す図である。 本技術の第１の実施の形態における固体撮像素子の制御を説明するための図である。 本技術の第１の実施の形態における撮像システムの動作の一例を示すフローチャートの一例である。 本技術の第２の実施の形態における１フレーム目を保持する際の演算回路の状態の一例を示す図である。 本技術の第２の実施の形態における２フレーム目と１フレーム目とを加算する際の演算回路の状態の一例を示す図である。 本技術の第２の実施の形態における３フレーム目とリードデータとの差分を演算する際の演算回路の状態の一例を示す図である。 本技術の第２の実施の形態における４フレーム目とリードデータとの差分を演算する際の演算回路の状態の一例を示す図である。 本技術の第２の実施の形態における１フレーム目を保持する際の固体撮像素子の状態の一例を示す図である。 本技術の第２の実施の形態における１フレーム目と２フレーム目とを加算する際の固体撮像素子の状態の一例を示す図である。 本技術の第２の実施の形態における３フレーム目とリードデータとの差分を演算する際の固体撮像素子の状態の一例を示す図である。 本技術の第２の実施の形態における４フレーム目とリードデータとの差分を演算する際の固体撮像素子の状態の一例を示す図である。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（デジタル信号から積算データを生成する例）
２．第２の実施の形態（デジタル信号から積算データを生成し、発光制御信号の周波数を低減した例）

＜１．第１の実施の形態＞
［撮像システムの構成例］
図１は、本技術の第１の実施の形態における撮像システムの一構成例を示すブロック図である。この撮像システムは、近赤外線画像を撮像するためのシステムであり、撮像装置１００および近赤外光源５００を備える。

撮像装置１００は、光学部１１０、固体撮像素子２００、記憶部１２０、同期制御部１３０および通信部１４０を備える。

光学部１１０は、入射光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、画像データを撮像するものである。この固体撮像素子２００は、画像データ（言い換えれば、フレーム）を記憶部１２０に信号線２０９を介して供給する。

記憶部１２０は、フレームを記憶するものである。通信部１４０は、フレームを記憶部１２０から読み出して外部に送信するものである。

同期制御部１３０は、固体撮像素子２００と近赤外光源５００とを同期して動作させるものである。この同期制御部１３０は、所定周波数の垂直走査信号を信号線２０８を介して供給する。ここで、垂直走査信号は、フレームの撮像タイミングを示す周期信号である。また、同期制御部１３０は、垂直走査信号に同期した発光制御信号を信号線２０９を介して近赤外光源５００に供給する。発光制御信号として、例えば、周波数が垂直同期信号の半分の周期信号が用いられる。

なお、同期制御部１３０を撮像装置１００内に設けているが、撮像装置１００の外部に配置することもできる。

近赤外光源５００は、同期制御部１３０の制御に従って近赤外光を照射するものである。なお、近赤外光源５００により近赤外光を照射しているが、不可視光を照射するものであれば、紫外光の光源など、近赤外光源５００以外の光源を設けることもできる。また、近赤外光源５００は、特許請求の範囲に記載の不可視光源の一例である。

図２は、本技術の第１の実施の形態における撮像システムの利用例を説明するための図である。同図に例示するように、撮像装置１００および近赤外光源５００は、ベルトコンベア５１０が設けられた工場などで用いられる。

ベルトコンベア５１０は、一定の速度で、被写体５１１を所定の方向に移動させるものである。撮像装置１００は、近赤外光源５００とともにベルトコンベア５１０の近傍に固定され、近赤外光源５００を点滅させつつ被写体５１１を撮像して赤外線画像の画像データを生成する。この画像データは、例えば、欠陥の有無などの検査に用いられる。これにより、特に暗所でのＦＡが実現される。

なお、撮像システムは、一定速度で移動する被写体５１１を撮像しているが、この構成に限定されない。空撮など、被写体に対して撮像システムが一定速度で移動して撮像する構成であってもよい。また、血流を観測するために、光学式の心拍計に撮像システムを適用することもできる。

［固体撮像素子の構成例］
図３は、本技術の第１の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この固体撮像素子２００は、回路チップ２０２と、その回路チップ２０２に積層された受光チップ２０１とを備える。これらのチップは、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Ｃｕ−Ｃｕ接合やバンプにより接続することもできる。

図４は、本技術の第１の実施の形態における受光チップ２０１の一構成例を示すブロック図である。受光チップ２０１には、画素アレイ部２１０および周辺回路２１２が設けられる。

画素アレイ部２１０には、複数の画素回路２２０が二次元格子状に配列される。また、画素アレイ部２１０は、複数の画素ブロック２１１に分割される。これらの画素ブロック２１１のそれぞれには、例えば、４行×２列の画素回路２２０が配列される。

周辺回路２１２には、例えば、ＤＣ（Direct Current）電圧を供給する回路などが配置される。

図５は、本技術の第１の実施の形態における回路チップ２０２の一構成例を示すブロック図である。この回路チップ２０２には、ＤＡＣ（Digital to Analog Converter）２５１、画素駆動回路２５２、時刻コード生成部２５３、画素ＡＤ変換部２５４および垂直走査回路２５５が配置される。さらに回路チップ２０２には、制御回路２５６、信号処理回路４００、画像処理回路２６０、出力回路２５７が配置される。

ＤＡＣ２５１は、所定のＡＤ変換期間内に亘って参照信号をＤＡ（Digital to Analog）変換により生成するものである。例えば、のこぎり刃状のランプ信号が参照信号として用いられる。ＤＡＣ２５１は、参照信号を画素ＡＤ変換部２５４に供給する。

時刻コード生成部２５３は、ＡＤ変換期間内の時刻を示す時刻コードを生成するものである。時刻コード生成部２５３は、例えば、カウンタにより実現される。カウンタとして、例えば、グレイコードカウンタが用いられる。時刻コード生成部２５３は、時刻コードを画素ＡＤ変換部２５４へ供給する。

画素駆動回路２５２は、画素回路２２０のそれぞれを駆動してアナログの画素信号を生成させるものである。

画素ＡＤ変換部２５４は、画素回路２２０のそれぞれのアナログ信号（すなわち、画素信号）をデジタル信号に変換するＡＤ変換を行うものである。この画素ＡＤ変換部２５４は、複数のクラスタ３００により分割される。クラスタ３００は、画素ブロック２１１ごとに設けられ、対応する画素ブロック２１１内のアナログ信号をデジタル信号に変換する。

画素ＡＤ変換部２５４は、ＡＤ変換によりデジタル信号を配列した画像データをフレームとして生成し、信号処理回路４００に供給する。このフレームにおいて、水平方向に配列されたデジタル信号の集合を以下、「ライン」と称する。ラインのそれぞれには、垂直方向におけるラインの位置を示すアドレスである行アドレスが割り当てられている。

垂直走査回路２５５は、画素ＡＤ変換部２５４を駆動してＡＤ変換を実行させるものである。

信号処理回路４００は、フレームに対して所定の信号処理を行うものである。信号処理として、ＴＤＩ処理を含む各種の処理が実行される。この信号処理回路４００は、処理後のフレームを画像処理回路２６０に供給する。

画像処理回路２６０は、信号処理回路４００からのフレームに対して、所定の画像処理を実行するものである。画像処理として、画像認識処理、黒レベル補正処理、画像補正処理やデモザイク処理などが実行される。この画像処理回路２６０は、処理後のフレームを出力回路２５７に供給する。

出力回路２５７は、画像処理後のフレームを外部に出力するものである。

制御回路２５６は、ＤＡＣ２５１、画素駆動回路２５２、垂直走査回路２５５、信号処理回路４００、画像処理回路２６０および出力回路２５７のそれぞれの動作タイミングを垂直同期信号ＶＳＹＮＣに同期して制御するものである。

［画素ＡＤ変換部の構成例］
図６は、本技術の第１の実施の形態における画素ＡＤ変換部２５４の一構成例を示す図である。この画素ＡＤ変換部２５４には、複数のＡＤＣ３１０が二次元格子状に配列される。ＡＤＣ３１０は、画素回路２２０ごとに配置される。画素回路２２０の行数および列数がＮ行（Ｎは、整数）およびＭ列（Ｍは、整数）である場合、Ｎ×Ｍ個のＡＤＣ３１０が配置される。

クラスタ３００のそれぞれには、画素ブロック２１１内の画素回路２２０の個数と同じ個数のＡＤＣ３１０が配置される。画素ブロック２１１内に４行×２列の画素回路２２０が配列される場合、クラスタ３００内にも４行×２列のＡＤＣ３１０が配列される。

ＡＤＣ３１０は、対応する画素回路２２０により生成されたアナログの画素信号に対してＡＤ変換を行うものである。このＡＤＣ３１０は、ＡＤ変換において、画素信号と参照信号とを比較し、その比較結果が反転したときの時刻コードを保持する。そして、ＡＤＣ３１０は、保持した時刻コードをＡＤ変換後のデジタル信号として出力する。

また、クラスタ３００の列ごとにリピータ部３６０が配置される。クラスタ３００の列数がＭ／２である場合、Ｍ／２個のリピータ部３６０が配置される。リピータ部３６０は、時刻コードを転送するものである。リピータ部３６０は、時刻コード生成部２５３からＡＤＣ３１０へ時刻コードを転送する。また、リピータ部３６０は、ＡＤＣ３１０から信号処理回路４００へデジタル信号を転送する。このデジタル信号の転送は、デジタル信号の「読出し」とも呼ばれる。

また、同図において、かっこ内の数字は、ＡＤＣ３１０のデジタル信号の読出し順序の一例を示す。例えば、１行目の奇数列のデジタル信号が１番目に読み出され、１行目の偶数列のデジタル信号が２番目に読み出される。２行目の奇数列のデジタル信号が３番目に読み出され、２行目の偶数列のデジタル信号が３番目に読み出される。以下、同様に、各行の奇数列、偶数列のデジタル信号が順に読み出される。

なお、画素回路２２０ごとに、ＡＤＣ３１０を配置しているが、この構成に限定されない。複数の画素回路２２０が１つのＡＤＣ３１０を共有する構成であってもよい。

［ＡＤＣの構成例］
図７は、本技術の第１の実施の形態におけるＡＤＣ３１０の一構成例を示すブロック図である。このＡＤＣ３１０は、差動入力回路３２０と、正帰還回路３３０と、ラッチ制御回路３４０と、複数のラッチ回路３５０とを備える。

また、画素回路２２０と差動入力回路３２０の一部とは、受光チップ２０１に配置され、差動入力回路３２０の残りと、その後段の回路とは、回路チップ２０２に配置される。

差動入力回路３２０は、画素回路２２０からの画素信号と、ＤＡＣ２５１からの参照信号とを比較するものである。この差動入力回路３２０は、比較結果を示す比較結果信号を正帰還回路３３０に供給する。

正帰還回路３３０は、出力の一部を入力（比較結果信号）に加算し、出力信号ＶＣＯとしてラッチ制御回路３４０に供給するものである。

ラッチ制御回路３４０は、垂直走査回路２５５からの制御信号ｘＷＯＲＤに従って、出力信号ＶＣＯが反転したときの時刻コードを複数のラッチ回路３５０に保持させるものである。

ラッチ回路３５０は、ラッチ制御回路３４０の制御に従って、リピータ部３６０からの時刻コードを保持するものである。ラッチ回路３５０は、時刻コードのビット数の分、設けられる。例えば、時刻コードが１５ビットの場合、ＡＤＣ３１０内に、１５個のラッチ回路３５０が配置される。また、保持された時刻コードは、ＡＤ変換後のデジタル信号としてリピータ部３６０により読み出される。

同図に例示した構成により、ＡＤＣ３１０は、画素回路２２０からの画素信号をデジタル信号に変換する。

［画素回路、差動入力回路および正帰還回路の構成例］
図８は、本技術の第１の実施の形態における画素回路２２０、差動入力回路３２０および正帰還回路３３０の一構成例を示す回路図である。

画素回路２２０は、リセットトランジスタ２２１、浮遊拡散層２２２、転送トランジスタ２２３、フォトダイオード２２４および排出トランジスタ２２５を備える。リセットトランジスタ２２１、転送トランジスタ２２３および排出トランジスタ２２５として、例えば、ｎＭＯＳ（n-channel Metal Oxide Semiconductor）トランジスタが用いられる。

フォトダイオード２２４は、光電変換により電荷を生成するものである。排出トランジスタ２２５は、画素駆動回路２５２からの駆動信号ＯＦＧに従ってフォトダイオード２２４に蓄積された電荷を排出させるものである。

転送トランジスタ２２３は、画素駆動回路２５２からの転送信号ＴＸに従って、フォトダイオード２２４から浮遊拡散層２２２へ電荷を転送するものである。

浮遊拡散層２２２は、転送された電荷を蓄積して、電荷量に応じた電圧を生成するものである。

リセットトランジスタ２２１は、画素駆動回路２５２からのリセット信号ＲＳＴに従って、浮遊拡散層２２２を初期化するものである。

差動入力回路３２０は、ｐＭＯＳ（p-channel Metal Oxide Semiconductor）トランジスタ３２１、３２４および３２６と、ｎＭＯＳトランジスタ３２２、３２３、３２５および３２７とを備える。これらのうちｎＭＯＳトランジスタ３２２、３２３および３２５は、受光チップ２０１に配置され、残りは回路チップ２０２に配置される。

ｎＭＯＳトランジスタ３２２および３２５は、差動対を構成し、これらのトランジスタのソースは、ｎＭＯＳトランジスタ３２３のドレインに共通に接続される。また、ｎＭＯＳトランジスタ３２２のドレインは、ｐＭＯＳトランジスタ３２１のドレインとｐＭＯＳトランジスタ３２１および３２４のゲートとに接続される。ｎＭＯＳトランジスタ３２５のドレインは、ｐＭＯＳトランジスタ３２４のドレインとｐＭＯＳトランジスタ３２６のゲートとリセットトランジスタ２２１のドレインとに接続される。また、ｎＭＯＳトランジスタ３２２のゲートには、ＤＡＣ２５１からの参照信号ＲＥＦが入力される。

ｎＭＯＳトランジスタ３２３のゲートには、所定のバイアス電圧Ｖｂが印加され、ｎＭＯＳトランジスタ３２３のソースには、所定の接地電圧が印加される。

ｐＭＯＳトランジスタ３２１、３２４および３２６は、カレントミラー回路を構成する。ｐＭＯＳトランジスタ３２１、３２４および３２６のソースには、電源電圧ＶＤＤＨが印加される。この電源電圧ＶＤＤＨは、後述する電源電圧ＶＤＤＬよりも高い。

ｎＭＯＳトランジスタ３２７のゲートには電源電圧ＶＤＤＬが印加される。また、ｎＭＯＳトランジスタ３２７のドレインは、ｐＭＯＳトランジスタ３２６のドレインに接続され、ソースは、正帰還回路３３０に接続される。

正帰還回路３３０はｐＭＯＳトランジスタ３３１、３３２、３３４および３３５と、ｎＭＯＳトランジスタ３３３、３３６および３３７とを備える。ｐＭＯＳトランジスタ３３１および３３２とｎＭＯＳトランジスタ３３３とは、電源電圧ＶＤＤＬに直列に接続される。また、ｐＭＯＳトランジスタ３３１のゲートには、垂直走査回路２５５からの駆動信号ＩＮＩ２が入力される。ｐＭＯＳトランジスタ３３２およびｎＭＯＳトランジスタ３３３の接続点は、ｎＭＯＳトランジスタ３２７のソースに接続される。

ｎＭＯＳトランジスタ３３３のソースには接地電圧が印加され、ゲートには、垂直走査回路２５５からの駆動信号ＩＮＩ１が入力される。

ｐＭＯＳトランジスタ３３４および３３５は、電源電圧ＶＤＤＬに直列に接続される。また、ｐＭＯＳトランジスタ３３５のドレインは、ｐＭＯＳトランジスタ３３２のゲートと、ｎＭＯＳトランジスタ３３６および３３７のドレインとに接続される。ｐＭＯＳトランジスタ３３５およびｎＭＯＳトランジスタ３３７のゲートには、垂直走査回路２５５からの制御信号ＴＥＳＴＶＣＯが入力される。また、ｐＭＯＳトランジスタ３３４およびｎＭＯＳトランジスタ３３６のゲートは、ｐＭＯＳトランジスタ３３２およびｎＭＯＳトランジスタ３３３の接続点に接続される。

ｐＭＯＳトランジスタ３３５およびｎＭＯＳトランジスタ３３７の接続点からは、出力信号ＶＣＯが出力される。また、ｎＭＯＳトランジスタ３３６および３３７のソースには、接地電圧が印加される。

なお、画素回路２２０、差動入力回路３２０および正帰還回路３３０のそれぞれは、図７で説明した機能を持つのであれば、図８に例示した回路に限定されない。

［信号処理回路の構成例］
図９は、本技術の第１の実施の形態における信号処理回路４００の一構成例を示すブロック図である。この信号処理回路４００は、複数のセレクタ４０５と、複数の演算回路４１０と、フレームメモリ４２０とを備える。

セレクタ４０５は、クラスタ３００の列ごと、言い換えれば、リピータ部３６０ごとに配置される。クラスタ３００に２列のＡＤＣ３１０が配列される場合、２列ごとにセレクタ４０５が配置される。また、演算回路４１０は、ＡＤＣ３１０の列ごとに配置される。ＡＤＣ３１０がＭ列である場合、Ｍ／２個のセレクタ４０５と、Ｍ個の演算回路４１０とが配置される。

前述したようにリピータ部３６０は、奇数列のデジタル信号と偶数列のデジタル信号とを順に出力する。

セレクタ４０５は、制御回路２５６の制御に従って、デジタル信号の出力先を選択するものである。リピータ部３６０により奇数列が出力された場合にセレクタ４０５は、その奇数列に対応する演算回路４１０にデジタル信号を出力する。一方、偶数列が出力された場合にセレクタ４０５は、その偶数列に対応する演算回路４１０にデジタル信号を出力する。

演算回路４１０は、セレクタ４０５からのデジタル信号に基づいて、時間をずらしながら、赤外光成分を積算するＴＤＩ処理を行うものである。

ここで、同期制御部１３０は、前述したように、垂直同期信号に同期して近赤外光源５００を点滅させる。例えば、同期制御部１３０は、奇数個目のフレームの露光期間内に近赤外光源５００を点灯させ、偶数個目のフレームの露光期間内に近赤外光源５００を消灯させる。これにより、赤外光および可視光を含む混合光が奇数個目の露光期間内に固体撮像素子２００に入射され、その露光期間内に、赤外光成分および可視光成分を含む画素信号が生成される。一方、偶数個目の露光期間内には、可視光が入射され、可視光成分を含み、近赤外光源５００からの赤外光成分を含まない画素信号が生成される。

以下、赤外光成分および可視光成分を含むアナログの画素信号を「混合信号」と称する。一方、可視光成分を含み、近赤外光源５００からの赤外光成分を含まないアナログの画素信号を「可視光信号」と称する。なお、混合信号には、近赤外光源５００の赤外光成分と可視光成分との他、近赤外光源５００以外の自然光源からの赤外光成分や紫外光成分が含まれることがある。同様に可視光信号内にも、可視光成分の他、自然光源からの赤外光成分や紫外光成分が含まれることがある。

また、混合信号をＡＤ変換したデジタル信号を「混合データ」と称し、可視光信号をＡＤ変換したデジタル信号を「可視光データ」と称する。

演算回路４１０は、ＴＤＩ処理において、Ｋ（Ｋは、整数）個の混合データとＫ個の可視光データとから１ライン分のラインデータを生成する。演算回路４１０は、まず、Ｋ個のうち最初の混合データをフレームメモリ４２０に保持させる。そして、演算回路４１０は、フレームメモリ４２０から１ライン分のリードデータを読み出し、Ｋ個のうち最初の可視光データとリードデータとの差分を求め、その差分値によりフレームメモリ４２０を更新する。続いて演算回路４１０は、フレームメモリ４２０から更新後のリードデータを読み出し、２番目の混合データとリードデータとを加算し、加算値によりフレームメモリ４２０を更新する。さらに演算回路４１０は、フレームメモリ４２０から更新後のリードデータを読み出し、２番目の可視光データとリードデータとの差分を求め、その差分値によりフレームメモリ４２０を更新する。

演算回路４１０は、Ｋ組の混合データおよび可視光データについて、上述の処理を繰り返し、１ライン分のラインデータを生成する。演算回路４１０は、このようなラインデータの生成処理を繰り返し、１フレーム分（Ｎライン分など）のラインデータをフレームメモリ４２０に保持させる。

フレームメモリ４２０は、フレームを保持するものである。保持されたフレームは、ＴＤＩフレームとして画像処理回路２６０へ出力される。

［演算回路の構成例］
図１０は、本技術の第１の実施の形態における演算回路４１０の一構成例を示す回路図である。この演算回路４１０は、バッファ４１１と、セレクタ４１２、４１３および４１６と、加算器４１４と、減算器４１５とを備える。

バッファ４１１は、セレクタ４０５からのデジタル信号を遅延させて出力するものである。

セレクタ４１２は、制御回路２５６の制御に従って、フレームメモリ４２０からのリードデータを、セレクタ４１３および減算器４１５のいずれかに出力するものである。

セレクタ４１３は、制御回路２５６の制御に従って、セレクタ４１２からのリードデータと、１０進数で「０」の値のデータとのいずれかを選択して加算器４１４に出力するものである。

加算器４１４は、バッファ４１１からのデジタル信号と、セレクタ４１３からのデータとを加算し、加算データとしてセレクタ４１６に出力するものである。

減算器４１５は、セレクタ４１２からのリードデータと、バッファ４１１からのデジタル信号との差分を求め、差分データとしてセレクタ４１６に出力するものである。

セレクタ４１６は、制御回路２５６の制御に従って、加算器４１４からの加算データと、減算器４１５からの差分データとのいずれかをフレームメモリ４２０に出力するものである。

図１１は、本技術の第１の実施の形態における１フレーム目を保持する際の演算回路４１０の状態の一例を示す図である。

画素ＡＤ変換部２５４は、近赤外光源５００の点灯中に１フレーム目の混合データを生成する。この混合データは、前述したように、赤外光成分および可視光成分を含む。１フレーム目の赤外光成分をＩＲ１とし、１フレーム目の可視光成分をＶ１とする。

バッファ４１１には、１フレーム目の対応する列内の混合データ（ＩＲ１＋Ｖ１）が入力される。バッファ４１１は、その混合データを遅延させて加算器４１４へ出力する。

セレクタ４１３は、「０」のデータを選択し、加算器４１４へ出力する。加算器４１４は、混合データに「０」を加算し、セレクタ４１６に出力する。セレクタ４１６は、加算器４１４からのデータをフレームメモリ４２０に出力する。

上述の制御により、フレームメモリ４２０には、１ライン分の混合データ（ＩＲ１＋Ｖ１）が保持される。

図１２は、本技術の第１の実施の形態における２フレーム目と１フレーム目との差分を演算する際の演算回路４１０の状態の一例を示す図である。

画素ＡＤ変換部２５４は、近赤外光源５００の消灯中に２フレーム目の可視光データを生成する。２フレーム目の可視光データ内の可視光成分は、１フレーム目の可視光成分Ｖ１と略同一の値とする。ここで、「略同一」とは、比較対象の２つの値が完全に同一であること、あるいは、それらの差が所定の許容値以内であることを意味する。

バッファ４１１には、２フレーム目の対応する列内の可視光データ（Ｖ１）が入力される。バッファ４１１は、その可視光データを遅延させて、減算器４１５へ出力する。

セレクタ４１２は、フレームメモリ４２０から混合データ（ＩＲ１＋Ｖ１）を読み出し、リードデータとして減算器４１５に供給する。

減算器４１５は、リードデータ（ＩＲ１＋Ｖ１）から、可視光データ（Ｖ１）を減算することにより、それらの差分データを求める。この減算により、可視光成分Ｖ１が除去される。

セレクタ４１６は、減算器４１５からの差分データ（ＩＲ１）をフレームメモリ４２０に出力する。

上述の制御により、フレームメモリ４２０に保持されていた１ライン分の混合データ（ＩＲ１＋Ｖ１）は、差分データ（ＩＲ１）により更新される。

図１３は、本技術の第１の実施の形態における３フレーム目とリードデータとを加算する際の演算回路４１０の状態の一例を示す図である。

画素ＡＤ変換部２５４は、近赤外光源５００の点灯中に３フレーム目の混合データを生成する。この混合データは、前述したように、赤外光成分および可視光成分を含む。３フレーム目の赤外光成分をＩＲ２とし、３フレーム目の可視光成分をＶ２とする。

バッファ４１１には、３フレーム目の対応する列内の混合データ（ＩＲ２＋Ｖ２）が入力される。バッファ４１１は、その混合データを遅延させて、加算器４１４へ出力する。

セレクタ４１２は、フレームメモリ４２０から差分データ（ＩＲ１）を読み出し、セレクタ４１３を介して加算器４１４にリードデータとして供給する。

加算器４１４は、混合データ（ＩＲ２＋Ｖ２）とリードデータ（ＩＲ１）とを加算し、加算データとしてセレクタ４１６に出力する。この加算データには、３フレーム目の赤外光成分ＩＲ２および可視光成分Ｖ２と、１フレーム目の赤外光成分ＩＲ１とが含まれる。

セレクタ４１６は、加算器４１４からの加算データ（ＩＲ１＋ＩＲ２＋Ｖ２）をフレームメモリ４２０に出力する。

上述の制御により、フレームメモリ４２０に保持されていた１ライン分の差分データ（ＩＲ１）は、加算データ（ＩＲ１＋ＩＲ２＋Ｖ２）により更新される。

図１４は、本技術の第１の実施の形態における４フレーム目と３フレーム目との差分を演算する際の演算回路４１０の状態の一例を示す図である。

画素ＡＤ変換部２５４は、近赤外光源５００の消灯中に４フレーム目の可視光データを生成する。４フレーム目の可視光データ内の可視光成分は、３フレーム目の可視光成分Ｖ２と略同一の値とする。

バッファ４１１には、４フレーム目の対応する列内の可視光データ（Ｖ２）が入力される。バッファ４１１は、その可視光データを遅延させて、減算器４１５へ出力する。

セレクタ４１２は、フレームメモリ４２０から加算データ（ＩＲ１＋ＩＲ２＋Ｖ２）を読み出し、リードデータとして減算器４１５に供給する。

減算器４１５は、リードデータ（ＩＲ１＋ＩＲ２＋Ｖ２）から、可視光データ（Ｖ２）を減算することにより、それらの差分データを求める。この減算により、可視光成分Ｖ２が除去される。

セレクタ４１６は、減算器４１５からの差分データ（ＩＲ１＋ＩＲ２）をフレームメモリ４２０に出力する。

上述の制御により、フレームメモリ４２０に保持されていた１ライン分の加算データ（ＩＲ１＋ＩＲ２＋Ｖ２）は、差分データ（ＩＲ１＋ＩＲ２）により更新される。

図１１乃至図１４に例示した演算により、２組の混合データおよび可視光データから、それらの差分の積算データが得られる。この積算データは、１フレーム目の赤外光成分ＩＲ１と３フレーム目の赤外光成分ＩＲ２との積算値を示す。

演算回路４１０は、Ｋ組の混合データおよび可視光データについて、図１１乃至図１４に例示した演算を行い、１ライン分の積算データを生成する。例えば、Ｋを「４」とすると、８フレームに対して演算が実行される。その結果、１フレーム目、３フレーム目、５フレーム目および７フレーム目のそれぞれの赤外光成分を積算した１ライン分の積算データがＴＤＩフレームのラインデータとして生成される。演算回路４１０は、ラインデータの生成を繰り返し、複数のラインデータを配列したＴＤＩフレームを生成する。

図１５は、本技術の第１の実施の形態における１フレーム目を保持する際の固体撮像素子２００の状態の一例を示す図である。

複数の画素回路２２０は、近赤外光源５００の点灯中に１フレーム目の画素信号（すなわち、混合信号）を生成する。この混合信号は、赤外光成分Ｒ１および可視光成分Ｖ１を含む。ＡＤＣ３１０（不図示）のそれぞれは、対応する画素回路２２０の画素信号（混合信号）をＡＤ変換して混合データを生成する。複数の行のいずれかの行（例えば、第１行）のＡＤＣ３１０のそれぞれは、混合データを演算回路４１０に供給する。

各列の演算回路４１０は、混合データをフレームメモリ４２０に出力する。ここで、フレームメモリ４２０内には、複数のメモリ４２１が二次元格子状に配列されている。メモリ４２１は、画素回路２２０ごとに設けられる。演算回路４１０からの１フレーム目の混合データ（ＩＲ１＋Ｖ１）は、１行目のメモリ４２１内に保持されるものとする。

図１６は、本技術の第１の実施の形態における２フレーム目と１フレーム目との差分を演算する際の固体撮像素子２００の状態の一例を示す図である。

複数の画素回路２２０は、近赤外光源５００の消灯中に２フレーム目の画素信号（可視光信号）を生成する。２フレーム目の可視光信号内の可視光成分は、１フレーム目の可視光成分Ｖ１と略同一の値とする。ＡＤＣ３１０（不図示）のそれぞれは、対応する画素回路２２０の画素信号（可視光信号）をＡＤ変換して可視光データを生成する。複数の行のうち、１フレーム目で読み出された行に隣接する行（例えば、第２行）のＡＤＣ３１０のそれぞれは、可視光データを演算回路４１０に供給する。

各列の演算回路４１０は、フレームメモリ４２０から混合データ（ＩＲ１＋Ｖ１）をリードデータとして読み出し、減算により、そのリードデータと可視光データ（Ｖ１）との差分データを求める。この減算により、可視光成分Ｖ１が除去される。

フレームメモリ４２０内の１行目のメモリ４２１は、差分データ（ＩＲ１）により更新される。

図１７は、本技術の第１の実施の形態における３フレーム目とリードデータとを加算する際の固体撮像素子２００の状態の一例を示す図である。

複数の画素回路２２０は、近赤外光源５００の点灯中に３フレーム目の画素信号（混合信号）を生成する。この混合信号は、赤外光成分Ｒ２および可視光成分Ｖ２を含む。ＡＤＣ３１０（不図示）のそれぞれは、対応する画素回路２２０の画素信号（混合信号）をＡＤ変換して混合データを生成する。複数の行のうち、２フレーム目で読み出された行に隣接する行（例えば、第３行）のＡＤＣ３１０のそれぞれは、混合データを演算回路４１０に供給する。

各列の演算回路４１０は、フレームメモリ４２０から差分データ（ＩＲ１）をリードデータとして読み出し、混合データ（ＩＲ２＋Ｖ２）と加算する。

フレームメモリ４２０内の１行目のメモリ４２１は、加算データ（ＩＲ１＋ＩＲ２＋Ｖ２）により更新される。

図１８は、本技術の第１の実施の形態における４フレーム目とリードデータとの差分を演算する際の固体撮像素子２００の状態の一例を示す図である。

複数の画素回路２２０は、近赤外光源５００の消灯中に４フレーム目の画素信号（可視光信号）を生成する。４フレーム目の可視光信号内の可視光成分は、３フレーム目の可視光成分Ｖ２と略同一の値とする。ＡＤＣ３１０（不図示）のそれぞれは、対応する画素回路２２０の画素信号（可視光信号）をＡＤ変換して可視光データを生成する。複数の行のうち、１フレーム目で読み出された行に隣接する行（例えば、第４行）のＡＤＣ３１０のそれぞれは、可視光データを演算回路４１０に供給する。

各列の演算回路４１０は、フレームメモリ４２０から加算データ（ＩＲ１＋ＩＲ２＋Ｖ２）をリードデータとして読み出し、減算により、そのリードデータと可視光データ（Ｖ２）との差分データを求める。この減算により、可視光成分Ｖ２が除去される。

フレームメモリ４２０内の１行目のメモリ４２１は、差分データ（ＩＲ１＋ＩＲ２）により更新される。

図１９は、本技術の第１の実施の形態におけるＴＤＩ処理の一例を示す図である。例えば、フレームメモリ４２０が初期化され、最初にフレームＦ１が撮像され、続いてフレームＦ２、Ｆ３、Ｆ４が順に撮像されたものとする。同図における矢印は、被写体の移動方向を示す。同図に例示するように、この被写体は、垂直方向に沿って、行アドレスが大きくなる方向に１ラインずつ移動するものとする。

同期制御部１３０は、近赤外光源５００を点灯させ、固体撮像素子２００にフレームＦ１を生成させる。固体撮像素子２００内の信号処理回路４００は、フレームＦ１のラインＬ１の各列の混合データをフレームメモリ４２０に保持する。近赤外光源５００の点灯中であるため、混合データは、赤外光成分Ｒ１および可視光成分Ｖ１を含む。

次に同期制御部１３０は、近赤外光源５００を消灯させ、固体撮像素子２００にフレームＦ２を生成させる。信号処理回路４００は、フレームＦ２のラインＬ２の各列の可視光データと、混合データ（ＩＲ１＋Ｖ１）との差分データ（ＩＲ１）を求める。

続いて、同期制御部１３０は、近赤外光源５００を点灯させ、固体撮像素子２００にフレームＦ３を生成させる。近赤外光源５００の点灯中であるため、フレームＦ３内の混合データは、赤外光成分Ｒ２および可視光成分Ｖ２を含む。信号処理回路４００は、フレームＦ３のラインＬ３の各列の混合データと、差分データ（ＩＲ１）とを加算する。

同期制御部１３０は、近赤外光源５００を消灯させ、固体撮像素子２００にフレームＦ４を生成させる。信号処理回路４００は、フレームＦ４のラインＬ４の各列の可視光データ（Ｖ２）と、加算データ（ＩＲ１＋ＩＲ２＋Ｖ２）との差分データ（ＩＲ１＋ＩＲ２）を求める。

信号処理回路４００は、Ｋ組の混合データおよび可視光データについて、上述の処理を繰り返し、１ライン分の積算データを生成する。Ｋが「４」である場合、フレームＦ８の可視光データと加算データとの差分演算により、ＴＤＩフレームの１ライン分の積算データが生成される。この積算データは、１フレーム目、３フレーム目、５フレーム目および７フレーム目の赤外光成分ＩＲ１、ＩＲ２、ＩＲ３およびＩＲ４の積算値を示す。ＴＤＩフレームの２ライン目以降のラインデータも同様の制御により生成される。

被写体の移動速度が速い場合には、ブレを防止するために、露光時間を短くする必要がある。露光時間を短くすると、画像が暗くなるおそれがあるが、ＴＤＩ処理を行うことにより、同じパターンの複数のラインを積算して明るさを向上させることができる。また、積算するライン数が多いほど、平滑化効果によりノイズが低減する。これらの明るさの向上とノイズ低減とにより、ＴＤＩ処理を行わない場合と比較して、フレーム（すなわち、画像データ）の画質を向上させることができる。

また、固体撮像素子２００は、赤外光成分を積算することにより、赤外線画像のＴＤＩフレームを生成することができる。これにより、暗所でのＦＡを実現することができる。

ここで、混合信号と可視光信号とを別々の浮遊拡散層に保持して、それらの差分を出力するアナログの画素回路により、可視光成分を除去する比較例を考える。この比較例では、画素ごとに浮遊拡散層を２つ設ける必要があるため、画素回路の回路規模が増大し、画素の微細化が困難になるおそれがある。これに対して、固体撮像素子２００では、混合信号および可視光信号をＡＤ変換し、演算回路４１０（言い換えれば、デジタル回路）で、可視光成分を除去している。このため、図８に例示したように画素回路２２０内の浮遊拡散層は１つでよく、比較例と比較して画素回路２２０の回路規模を削減し、画素を容易に微細化することができる。

なお、信号処理回路４００は、４つのラインの赤外光成分を積算しているが、積算するライン数は、２以上であれば、４つに限定されない。また、信号処理回路４００は、最初の４フレームについて先頭のラインから４ラインを積分しているが、この構成に限定されない。例えば、被写体の移動方向が逆の場合、信号処理回路４００は、最初の４フレームについて最後のラインから４ラインを積分すればよい。

図２０は、本技術の第１の実施の形態における固体撮像素子の制御を説明するための図である。同期制御部１３０は、固体撮像素子２００と同期して近赤外光源５００を動作させ、近赤外光を照射させる。

固体撮像素子２００内の画素駆動回路２５２は、同期制御部１３０の制御に従って、画素回路２２０を駆動する。近赤外光源５００が点灯中に画素回路２２０は、可視光および赤外光を含む混合光を光電変換し、可視光成分および赤外光成分を各々が含む複数の画素信号（混合信号）を生成する。一方、近赤外光源５００が消灯中に画素回路２２０は、可視光を光電変換し、可視光成分を各々が含む複数の画素信号（可視光信号）を生成する。

例えば、奇数番目のフレームＦ１およびＦ３の露光中に近赤外光源５００が点灯し、偶数番目のフレームＦ２およびＦ４の露光中に近赤外光源５００が消灯したものとする。この場合、フレームＦ１およびＦ３のそれぞれが画素ごとに混合信号を含み、フレームＦ２およびＦ４のそれぞれが画素ごとに可視光信号を含む。

画素ＡＤ変換部２５４内のＡＤＣ３１０のそれぞれは、複数の混合信号と、複数の可視光信号とを順にデジタル信号に変換する。

演算回路４１０は、ＴＤＩ処理により、複数の混合信号のそれぞれに含まれる赤外光成分の積算値を示す積算データをデジタル信号から生成する。例えば、ＴＤＩ処理において、演算回路４１０は、フレームＦ１の混合データをフレームメモリ４２０に保持する。また、演算回路４１０は、その混合データと、フレームＦ２の可視光データとをの差分を差分データとして求め、差分データによりフレームメモリ４２０を更新する。そして、演算回路４１０は、その差分データとフレームＦ３の混合データとを加算して加算データを取得し、加算データによりフレームメモリ４２０を更新する。続いて、演算回路４１０は、加算データと可視光データとをの差分を差分データとして求め、その差分データによりフレームメモリ４２０を更新する。

［撮像システムの動作例］
図２１は、本技術の第１の実施の形態における撮像システムの動作の一例を示すフローチャートの一例である。この動作は、例えば、赤外線画像を撮像するための所定のアプリケーションが実行されたときに開始される。

近赤外光源５００は、固体撮像素子２００の制御に従って点灯する（ステップＳ９０１）。固体撮像素子２００内のＡＤＣ３１０は、赤外光成分および可視光成分を含む画素信号をＡＤ変換する（ステップＳ９０２）。演算回路４１０は、１フレーム目の混合データをフレームメモリ４２０に保持させる（ステップＳ９０３）。

近赤外光源５００は、固体撮像素子２００の制御に従って消灯する（ステップＳ９０４）。固体撮像素子２００内のＡＤＣ３１０は、可視光成分を含む画素信号をＡＤ変換する（ステップＳ９０５）。演算回路４１０は、フレームメモリ４２０に保持されたデータから可視光データを減算して差分データを求める（ステップＳ９０６）。

そして、固体撮像素子２００は、赤外光成分の積算回数がＫ回であるか否かを判断する（ステップＳ９０７）。積算回数がＫ回である場合に（ステップＳ９０７：Ｙｅｓ）、固体撮像素子２００は、フレームメモリ４２０に保持されたライン数がＮであるか否かを判断する（ステップＳ９１１）。ライン数がＮである場合に（ステップＳ９１１：Ｙｅｓ）、固体撮像素子２００は、ＴＤＩフレームを生成するための処理を終了する。ライン数がＮ未満である場合に（ステップＳ９１１：Ｎｏ）、固体撮像素子２００は、アクセス先のフレームメモリ４２０内の行アドレスを変更してステップＳ９０１以降を繰り返し実行する。

積算回数がＫ未満である場合に（ステップＳ９０７：Ｎｏ）、近赤外光源５００は、固体撮像素子２００の制御に従って点灯する（ステップＳ９０８）。固体撮像素子２００内のＡＤＣ３１０は、赤外光成分および可視光成分を含む画素信号をＡＤ変換する（ステップＳ９０９）。演算回路４１０は、差分データと可視光データとを加算し、加算データによりフレームメモリ４２０を更新する（ステップＳ９１０）。ステップＳ９１０の後に、撮像システムは、ステップＳ９０４以降を繰り返し実行する。

このように、本技術の第１の実施の形態によれば、演算回路４１０が、赤外光成分を積算した積算データをデジタル信号（混合データおよび可視光データ）から生成するため、アナログの画素回路が赤外光成分を積算する必要がなくなる。これにより、画素回路の回路規模を削減し、画素を容易に微細化することができる。

＜２．第２の実施の形態＞
上述の第１の実施の形態では、演算回路４１０は、ラインごとに近赤外光源５００を点滅させて加算と減算とを交互に行うことにより、ＴＤＩフレームを生成していた。しかしこの構成では、１フレーム中のライン数が増大するほど、点滅間隔を短く（言い換えれば、発光制御信号の周波数を高く）する必要がある。この第２の実施の形態の演算回路４１０は、加算および減算のそれぞれを２回連続して行うことにより、発光制御信号の周波数を１／２に低減した点において第１の実施の形態と異なる。

図２２は、本技術の第２の実施の形態における１フレーム目を保持する際の演算回路４１０の状態の一例を示す図である。第２の実施の形態では、第１の実施の形態と比較して周波数が１／２の発光制御信号が供給される。これにより、近赤外光源５００は、２フレームに亘って連続して点灯し、次の２フレームに亘って連続して消灯する動作を繰り返す。

画素ＡＤ変換部２５４は、近赤外光源５００の点灯中に１フレーム目の混合データを生成する。この混合データは、赤外光成分ＩＲ１および可視光成分Ｖ１を含む。

バッファ４１１には、１フレーム目の対応する列内の混合データ（ＩＲ１＋Ｖ１）が入力される。バッファ４１１は、その混合データを遅延させて加算器４１４へ出力する。

セレクタ４１３は、「０」のデータを選択し、加算器４１４へ出力する。加算器４１４は、混合データに「０」を加算し、セレクタ４１６に出力する。セレクタ４１６は、加算器４１４からのデータをフレームメモリ４２０に出力する。

上述の制御により、フレームメモリ４２０には、１ライン分の混合データ（ＩＲ１＋Ｖ１）が保持される。

図２３は、本技術の第２の実施の形態における２フレーム目と１フレーム目とを加算する際の演算回路４１０の状態の一例を示す図である。

画素ＡＤ変換部２５４は、近赤外光源５００の点灯中に２フレーム目の混合データを生成する。この混合データは、赤外光成分および可視光成分を含む。２フレーム目の赤外光成分をＩＲ２とし、２フレーム目の可視光成分をＶ２とする。

バッファ４１１には、２フレーム目の対応する列内の混合データ（ＩＲ２＋Ｖ２）が入力される。バッファ４１１は、その混合データを遅延させて加算器４１４へ出力する。

セレクタ４１２は、フレームメモリ４２０から混合データ（ＩＲ１＋Ｖ１）を読み出し、セレクタ４１３を介して加算器４１４にリードデータとして供給する。

加算器４１４は、混合データ（ＩＲ２＋Ｖ２）とリードデータ（ＩＲ１＋Ｖ１）とを加算し、加算データとしてセレクタ４１６に出力する。この加算データには、１フレーム目の赤外光成分ＩＲ１および可視光成分Ｖ１と、２フレーム目の赤外光成分ＩＲ２および可視光成分Ｖ２とが含まれる。

セレクタ４１６は、加算器４１４からの加算データ（ＩＲ１＋ＩＲ２＋Ｖ１＋Ｖ２）をフレームメモリ４２０に出力する。

上述の制御により、フレームメモリ４２０に保持されていた１ライン分の混合データ（ＩＲ１＋Ｖ１）は、加算データ（ＩＲ１＋ＩＲ２＋Ｖ１＋Ｖ２）により更新される。

図２４は、本技術の第２の実施の形態における３フレーム目とリードデータとの差分を演算する際の演算回路の状態の一例を示す図である。

画素ＡＤ変換部２５４は、近赤外光源５００の消灯中に３フレーム目の可視光データを生成する。３フレーム目の可視光データ内の可視光成分は、１フレーム目の可視光成分Ｖ１に近い値Ｖ１'とする。

バッファ４１１には、３フレーム目の対応する列内の可視光データ（Ｖ１'）が入力される。バッファ４１１は、その可視光データを遅延させて減算器４１５へ出力する。

セレクタ４１２は、フレームメモリ４２０から加算データ（ＩＲ１＋ＩＲ２＋Ｖ１＋Ｖ２）を読み出し、リードデータとして減算器４１５に供給する。

減算器４１５は、リードデータ（ＩＲ１＋ＩＲ２＋Ｖ１＋Ｖ２）から、可視光データ（Ｖ１'）を減算することにより、それらの差分データを求める。この減算により、可視光成分Ｖ１が除去される。

セレクタ４１６は、減算器４１５からの差分データ（ＩＲ１＋ＩＲ２＋Ｖ２）をフレームメモリ４２０に出力する。

上述の制御により、フレームメモリ４２０に保持されていた１ライン分の加算データ（ＩＲ１＋ＩＲ２＋Ｖ１＋Ｖ２）は、差分データ（ＩＲ１＋ＩＲ２＋Ｖ２）により更新される。

図２５は、本技術の第２の実施の形態における４フレーム目とリードデータとの差分を演算する際の演算回路の状態の一例を示す図である。

画素ＡＤ変換部２５４は、近赤外光源５００の消灯中に４フレーム目の可視光データを生成する。４フレーム目の可視光データ内の可視光成分は、２フレーム目の可視光成分Ｖ１に近い値Ｖ２'とする。

バッファ４１１には、４フレーム目の対応する列内の可視光データ（Ｖ２'）が入力される。バッファ４１１は、その可視光データを遅延させて減算器４１５へ出力する。

セレクタ４１２は、フレームメモリ４２０から差分データ（ＩＲ１＋ＩＲ２＋Ｖ２）を読み出し、リードデータとして減算器４１５に供給する。

減算器４１５は、リードデータ（ＩＲ１＋ＩＲ２＋Ｖ２）から、可視光データ（Ｖ２'）を減算することにより、それらの差分データを求める。この減算により、可視光成分Ｖ２が除去される。

セレクタ４１６は、減算器４１５からの差分データ（ＩＲ１＋ＩＲ２）をフレームメモリ４２０に出力する。

上述の制御により、フレームメモリ４２０に保持されていた１ライン分の加算データ（ＩＲ１＋ＩＲ２＋Ｖ２）は、差分データ（ＩＲ１＋ＩＲ２）により更新される。

８フレームから１ラインを生成する場合、続いて演算回路４１０は、差分データと５フレーム目の混合データとを加算し、加算データと６フレーム目の混合データとを加算する。そして、演算回路４１０は、加算データと７フレーム目の可視光データとの差分を演算し、差分データと８フレーム目の可視光データとの差分を演算する。これにより、８フレームからＴＤＩフレームの１ラインが生成される。ＴＤＩフレームの２ライン以降も同様の演算により生成される。このように、加算および減算のそれぞれが２回ずつ実行される。

図２６は、本技術の第２の実施の形態における１フレーム目を保持する際の固体撮像素子２００の状態の一例を示す図である。

複数の画素回路２２０は、近赤外光源５００の点灯中に１フレーム目の画素信号（混合信号）を生成する。この混合信号は、赤外光成分Ｒ１および可視光成分Ｖ１を含む。ＡＤＣ３１０（不図示）のそれぞれは、対応する画素回路２２０の画素信号（混合信号）をＡＤ変換して混合データを生成する。複数の行のいずれかの行（例えば、第１行）のＡＤＣ３１０のそれぞれは、混合データを演算回路４１０に供給する。

各列の演算回路４１０は、混合データをフレームメモリ４２０に出力する。演算回路４１０からの１フレーム目の混合データ（ＩＲ１＋Ｖ１）は、１行目のメモリ４２１内に保持されるものとする。

図２７は、本技術の第２の実施の形態における１フレーム目と２フレーム目とを加算する際の固体撮像素子２００の状態の一例を示す図である。

複数の画素回路２２０は、近赤外光源５００の点灯中に２フレーム目の画素信号（混合信号）を生成する。この混合信号は、赤外光成分Ｒ２および可視光成分Ｖ２を含む。ＡＤＣ３１０（不図示）のそれぞれは、対応する画素回路２２０の画素信号（混合信号）をＡＤ変換して混合データを生成する。複数の行のうち、１フレーム目で読み出された行に隣接する行（例えば、第２行）のＡＤＣ３１０のそれぞれは、混合データを演算回路４１０に供給する。

各列の演算回路４１０は、フレームメモリ４２０から混合データ（ＩＲ１＋Ｖ１）をリードデータとして読み出し、２フレーム目の混合データ（ＩＲ２＋Ｖ２）と加算する。

フレームメモリ４２０内の１行目のメモリ４２１は、加算データ（ＩＲ１＋ＩＲ２＋Ｖ１＋Ｖ２）により更新される。

図２８は、本技術の第２の実施の形態における３フレーム目とリードデータとの差分を演算する際の固体撮像素子２００の状態の一例を示す図である。

複数の画素回路２２０は、近赤外光源５００の消灯中に３フレーム目の画素信号（可視光信号）を生成する。３フレーム目の可視光信号内の可視光成分は、３フレーム目の可視光成分Ｖ１に近い値Ｖ１'とする。ＡＤＣ３１０（不図示）のそれぞれは、対応する画素回路２２０の画素信号（可視光信号）をＡＤ変換して可視光データを生成する。複数の行のうち、２フレーム目で読み出された行に隣接する（例えば、第３行）のＡＤＣ３１０のそれぞれは、可視光データを演算回路４１０に供給する。

各列の演算回路４１０は、フレームメモリ４２０から加算データ（ＩＲ１＋ＩＲ２＋Ｖ１＋Ｖ２）をリードデータとして読み出し、減算により、そのリードデータと可視光データ（Ｖ１'）との差分データを求める。この減算により、可視光成分Ｖ１が除去される。

フレームメモリ４２０内の１行目のメモリ４２１は、差分データ（ＩＲ１＋ＩＲ２＋Ｖ２）により更新される。

図２９は、本技術の第２の実施の形態における４フレーム目とリードデータとの差分を演算する際の固体撮像素子２００の状態の一例を示す図である。

複数の画素回路２２０は、近赤外光源５００の消灯中に４フレーム目の画素信号（可視光信号）を生成する。４フレーム目の可視光信号内の可視光成分は、２フレーム目の可視光成分Ｖ２に近い値Ｖ２'とする。ＡＤＣ３１０（不図示）のそれぞれは、対応する画素回路２２０の画素信号（可視光信号）をＡＤ変換して可視光データを生成する。複数の行のうち、３フレーム目で読み出された行に隣接する行（例えば、第４行）のＡＤＣ３１０のそれぞれは、可視光データを演算回路４１０に供給する。

各列の演算回路４１０は、フレームメモリ４２０から差分データ（ＩＲ１＋ＩＲ２＋Ｖ２）をリードデータとして読み出し、減算により、そのリードデータと可視光データ（Ｖ２'）との差分データを求める。この減算により、可視光成分Ｖ２が除去される。

フレームメモリ４２０内の１行目のメモリ４２１は、差分データ（ＩＲ１＋ＩＲ２）により更新される。

図２２乃至図２９に例示したように、演算回路４１０は、１フレーム目の混合データと２フレーム目との混合データとを加算する。そして、演算回路４１０は、加算データと３フレーム目の可視光データとの差分を差分データとして取得し、その差分データと４フレーム目の可視光データとの差分を求める。このように、演算回路４１０は、加算および減算のそれぞれを２回連続して行う。このため、発光制御信号の周波数を第１の実施の形態と比較して１／２にすることができる。

上述したように、本技術の第２の実施の形態では、演算回路４１０は、加算および減算のそれぞれを２回連続して行うため、加算および減算を１回ずつ行う第１の実施の形態と比較して発光制御信号の周波数を１／２にすることができる。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。

なお、本技術は以下のような構成もとることができる。
（１）可視光成分および不可視光成分を各々が含む複数の混合信号と可視光を光電変換した複数の可視光信号とを生成する画素回路と、
前記複数の混合信号と前記複数の可視光信号とのそれぞれをデジタル信号に変換するアナログデジタル変換器と、
前記複数の混合信号のそれぞれに含まれる前記不可視光成分の積算値を示す積算データを前記デジタル信号から生成する演算回路と
を具備する固体撮像素子。
（２）前記複数の混合信号は、第１および第２の混合信号を含み、
前記複数の可視光信号は、第１および第２の可視光信号を含み、
前記デジタル信号は、前記第１および第２の混合信号を変換した第１および第２の混合データと前記第１および第２の可視光信号を変換した第１および第２の可視光データとを含み、
前記演算回路は、前記第１の混合データと前記第１の可視光データとの差分を差分データとして求める第１の減算処理と、前記差分データと前記第２の混合データとを加算して加算データを取得する加算処理と、前記加算データと前記第２の可視光データとの差分を求める第２の減算処理とを順に行う
前記（１）記載の固体撮像素子。
（３）前記複数の混合信号は、第１および第２の混合信号を含み、
前記複数の可視光信号は、第１および第２の可視光信号を含み、
前記デジタル信号は、前記第１および第２の混合信号を変換した第１および第２の混合データと前記第１および第２の可視光信号を変換した第１および第２の可視光データとを含み、
前記演算回路は、前記第１の混合データと前記第２の混合データとを加算して加算データを取得する加算処理と、前記加算データと前記第１の可視光データとの差分を差分データとして取得する第１の減算処理と、前記差分データと前記第２の可視光データとの差分を求める第２の減算処理とを順に行う
前記（１）記載の固体撮像素子。
（４）フレームメモリをさらに具備し、
前記演算回路は、
前記アナログデジタル変換器からの前記デジタル信号と前記フレームメモリから読み出されたリードデータとを加算して加算データとして出力する加算器と、
前記リードデータと前記デジタル信号との差分を差分データとして出力する減算器と、
前記加算データと前記差分データとのいずれかを選択して前記フレームメモリに出力するセレクタと
を備える前記（１）から（３）のいずれかに記載の固体撮像素子。
（５）不可視光を照射する不可視光源を前記画素回路と同期して動作させる同期制御部をさらに具備する前記（１）から（４）のいずれかに記載の固体撮像素子。
（６）前記画素回路と前記アナログデジタル変換器の一部は、所定の受光チップに配置され、
前記アナログデジタル変換器の残りと前記演算回路とは、前記受光チップに積層された回路チップに配置される
前記（１）から（５）のいずれかに記載の固体撮像素子。
（７）不可視光を照射する不可視光源と、
可視光成分および不可視光成分を各々が含む複数の混合信号と可視光を光電変換した複数の可視光信号とを生成する画素回路と、
前記複数の混合信号と前記複数の可視光信号とのそれぞれをデジタル信号に変換するアナログデジタル変換器と、
前記複数の混合信号のそれぞれに含まれる前記不可視光成分の積算値を示す積算データを前記デジタル信号から生成する演算回路と
を具備する撮像システム。
（８）可視光成分および不可視光成分を各々が含む複数の混合信号と可視光を光電変換した複数の可視光信号とを生成する信号生成手順と、
前記複数の混合信号と前記複数の可視光信号とのそれぞれをデジタル信号に変換するアナログデジタル変換手順と、
前記複数の混合信号のそれぞれに含まれる前記不可視光成分の積算値を示す積算データを前記デジタル信号から生成する演算手順と
を具備する固体撮像素子の制御方法。

１００ 撮像装置
１１０ 光学部
１２０ 記憶部
１３０ 同期制御部
１４０ 通信部
２００ 固体撮像素子
２０１ 受光チップ
２０２ 回路チップ
２１０ 画素アレイ部
２１１ 画素ブロック
２１２ 周辺回路
２２０ 画素回路
２２１ リセットトランジスタ
２２２ 浮遊拡散層
２２３ 転送トランジスタ
２２４ フォトダイオード
２２５ 排出トランジスタ
２５１ ＤＡＣ
２５２ 画素駆動回路
２５３ 時刻コード生成部
２５４ 画素ＡＤ変換部
２５５ 垂直走査回路
２５６ 制御回路
２５７ 出力回路
２６０ 画像処理回路
３００ クラスタ
３１０ ＡＤＣ
３２０ 差動入力回路
３２１、３２４、３２６、３３１、３３２、３３４、３３５ ｐＭＯＳトランジスタ
３２２、３２３、３２５、３２７、３３３、３３６、３３７ ｎＭＯＳトランジスタ
３３０ 正帰還回路
３４０ ラッチ制御回路
３５０ ラッチ回路
３６０ リピータ部
４００ 信号処理回路
４０５、４１２、４１３、４１６ セレクタ
４１０ 演算回路
４１１ バッファ
４１４ 加算器
４１５ 減算器
４２０ フレームメモリ
４２１ メモリ
５００ 近赤外光源
５１０ ベルトコンベア
５１１ 被写体

Claims (8)

1. 可視光成分および不可視光成分を各々が含む複数の混合信号と可視光を光電変換した複数の可視光信号とを生成する画素回路と、
   前記複数の混合信号と前記複数の可視光信号とのそれぞれをデジタル信号に変換するアナログデジタル変換器と、
   前記複数の混合信号のそれぞれに含まれる前記不可視光成分の積算値を示す積算データを前記デジタル信号から生成する演算回路と
   を具備する固体撮像素子。
2. 前記複数の混合信号は、第１および第２の混合信号を含み、
   前記複数の可視光信号は、第１および第２の可視光信号を含み、
   前記デジタル信号は、前記第１および第２の混合信号を変換した第１および第２の混合データと前記第１および第２の可視光信号を変換した第１および第２の可視光データとを含み、
   前記演算回路は、前記第１の混合データと前記第１の可視光データとの差分を差分データとして求める第１の減算処理と、前記差分データと前記第２の混合データとを加算して加算データを取得する加算処理と、前記加算データと前記第２の可視光データとの差分を求める第２の減算処理とを順に行う
   請求項１記載の固体撮像素子。
3. 前記複数の混合信号は、第１および第２の混合信号を含み、
   前記複数の可視光信号は、第１および第２の可視光信号を含み、
   前記デジタル信号は、前記第１および第２の混合信号を変換した第１および第２の混合データと前記第１および第２の可視光信号を変換した第１および第２の可視光データとを含み、
   前記演算回路は、前記第１の混合データと前記第２の混合データとを加算して加算データを取得する加算処理と、前記加算データと前記第１の可視光データとの差分を差分データとして取得する第１の減算処理と、前記差分データと前記第２の可視光データとの差分を求める第２の減算処理とを順に行う
   請求項１記載の固体撮像素子。
4. フレームメモリをさらに具備し、
   前記演算回路は、
   前記アナログデジタル変換器からの前記デジタル信号と前記フレームメモリから読み出されたリードデータとを加算して加算データとして出力する加算器と、
   前記リードデータと前記デジタル信号との差分を差分データとして出力する減算器と、
   前記加算データと前記差分データとのいずれかを選択して前記フレームメモリに出力するセレクタと
   を備える請求項１記載の固体撮像素子。
5. 不可視光を照射する不可視光源を前記画素回路と同期して動作させる同期制御部をさらに具備する請求項１記載の固体撮像素子。
6. 前記画素回路と前記アナログデジタル変換器の一部は、所定の受光チップに配置され、
   前記アナログデジタル変換器の残りと前記演算回路とは、前記受光チップに積層された回路チップに配置される
   請求項１記載の固体撮像素子。
7. 不可視光を照射する不可視光源と、
   可視光成分および不可視光成分を各々が含む複数の混合信号と可視光を光電変換した複数の可視光信号とを生成する画素回路と、
   前記複数の混合信号と前記複数の可視光信号とのそれぞれをデジタル信号に変換するアナログデジタル変換器と、
   前記複数の混合信号のそれぞれに含まれる前記不可視光成分の積算値を示す積算データを前記デジタル信号から生成する演算回路と
   を具備する撮像システム。
8. 可視光成分および不可視光成分を各々が含む複数の混合信号と可視光を光電変換した複数の可視光信号とを生成する信号生成手順と、
   前記複数の混合信号と前記複数の可視光信号とのそれぞれをデジタル信号に変換するアナログデジタル変換手順と、
   前記複数の混合信号のそれぞれに含まれる前記不可視光成分の積算値を示す積算データを前記デジタル信号から生成する演算手順と
   を具備する固体撮像素子の制御方法。

Images