JP2017220926A - 撮像装置 - Google Patents

Abstract

【課題】被検体の内部の情報を高い精度で取得する。
【解決手段】本開示の一態様に係る撮像装置は、光源と、イメージセンサと、制御回路とを備える。イメージセンサの各画素は、信号電荷を蓄積する第１および第２の蓄積部と、排出部とを含む。制御回路は、光源から出射されたパルス光のうち、対象物の表面で反射された表面反射成分がイメージセンサに入射している間に、排出部に信号電荷が排出される状態にして、信号電荷のうち、排出部に排出されなかった部分を第１および第２の蓄積部に蓄積させ、対象物の内部で散乱された内部散乱成分がイメージセンサに入射している間に、排出部に信号電荷が排出されず、第１の蓄積部に信号電荷が蓄積される状態にして、第１の蓄積部に信号電荷を蓄積させ、イメージセンサに、第１および第２の蓄積部に蓄積された信号電荷にそれぞれ基づく第１および第２の信号を生成させる。
【選択図】図１

Description

本開示は、対象物の内部の情報を取得するための撮像装置に関する。

生体計測および材料分析の分野では、対象物に光を照射し、対象物の内部を透過した光の情報から、対象物の内部情報を非接触で取得する方法が用いられている。例えば、特許文献１は、人の頭部を光で照射し、ＣＭＯＳまたはＣＣＤのようなイメージセンサを用いて、生体内で拡散した光を検出する方法を開示している。また、特許文献２は、ストリークカメラを用いて、深さ方向において異なる位置にある情報を検出する方法を開示している。

特開２０１５−１３４１５７号公報 特開平４―１８９３４９号公報

本開示は、対象物の内部情報を、対象物に接触せず、かつ、対象物の表面で反射された強い光の成分によるノイズを抑制した状態で取得し得る技術を提供する。

本開示の一態様に係る撮像装置は、
対象物の画像を撮像するための撮像装置であって、
前記対象物に照射される少なくとも１つのパルス光を出射する第１の光源、
複数の画素を含み、前記複数の画素の各々が、
入射した光を信号電荷に変換する光電変換素子と、
前記信号電荷を蓄積する第１の蓄積部と、
前記信号電荷を蓄積する第２の蓄積部と、
前記信号電荷を排出する排出部と、を含む、イメージセンサ、並びに
前記第１の光源および前記イメージセンサを制御する制御回路
を備え、
前記制御回路は、１つのフレームの前記画像を撮像する期間であるフレーム期間において、
前記第１の光源に前記少なくとも１つのパルス光を出射させ、
前記少なくとも１つのパルス光のうち、前記対象物の表面で反射された表面反射成分が前記イメージセンサに入射している期間を含む第１期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出される状態にすることにより、前記信号電荷のうち、前記排出部に排出されなかった部分を前記第１の蓄積部および前記第２の蓄積部に蓄積させ、
前記少なくとも１つのパルス光のうち、前記対象物の内部で散乱された内部散乱成分が前記イメージセンサに入射している第２期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第１の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第１の蓄積部に前記信号電荷を蓄積させ、
前記第１期間および前記第２期間の後、前記イメージセンサに、前記第１の蓄積部に蓄積された前記信号電荷に基づく第１の信号と、前記第２の蓄積部に蓄積された前記信号電
荷に基づく第２の信号とを生成させる。

上記の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または記録媒体で実現されてもよい。あるいは、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示の一態様によれば、対象物の内部情報を、対象物に接触せず、かつ、対象物の表面で反射された光の成分によるノイズを抑制した状態で取得できる。

図１は、撮像装置の概略的な構成を示す模式図である。 図２は、検討例におけるイメージセンサにおける１つの画素の構成を簡易的に示す図である。 図３は、光源から光が出射するタイミングと、対象物からの光がイメージセンサに入射するタイミングと、電子シャッタのタイミングとの関係を示す図である。 図４Ａは、イメージセンサの構成例を模式的に示す図である。 図４Ｂは、画素アレイのうち、隣接する４つの画素を模式的に示す図である。 図４Ｃは、図４Ｂにおける４Ｃ−４Ｃ線断面を模式的に示す図である。 図４Ｄは、図４Ｃにおける４Ｄ−４Ｄ線に沿った信号電荷のポテンシャルを模式的に示す図である。 図５は、本開示の実施形態１における撮像装置の構成を模式的に示す図である。 図６は、ダブルバンドパスフィルタの分光透過率の例を示すグラフである。 図７は、イメージセンサの１つの画素４０１の概略的な構成を示す図である。 図８は、イメージセンサの構成の一例を模式的に示す図である。 図９は、実施形態１における撮像装置の動作の例を示すタイミング図である。 図１０は、実施形態２の撮像装置におけるイメージセンサおよび光学系を模式的に示す図である。 図１１Ａは、実施形態２における１番目のフレーム期間の信号を取得する動作を示すタイミング図である。 図１１Ｂは、実施形態２における２番目のフレーム期間の信号を取得する動作を示すタイミング図である。 図１２は、実施形態２における、フレーム期間と、各浮遊拡散層との信号量とを模式的に示す図である。 図１３Ａは、実施形態３における１番目のフレーム期間のシステムタイミングを示している。 図１３Ｂは、実施形態３における２番目のフレーム期間のシステムタイミングを示している。 図１３Ｃは、実施形態３における３番目のフレーム期間のシステムタイミングを示している。 図１４は、実施形態３における信号処理回路の構成を模式的に示すブロック図である。 図１５は、実施形態３における信号処理の具体例を説明するための図である。 図１６Ａは、実施形態４における１番目のフレーム期間の動作を示すタイミング図である。 図１６Ｂは、実施形態４における２番目のフレーム期間の動作を示すタイミング図である。 図１６Ｃは、実施形態４における３番目のフレーム期間の動作を示すタイミング図である。 図１７Ａは、実施形態５における１番目のフレーム期間の動作を示すタイミング図である。 図１７Ｂは、実施形態５における２番目のフレーム期間の動作を示すタイミング図である。 図１７Ｃは、実施形態５における３番目のフレーム期間の動作を示すタイミング図である。 図１８は、実施形態６における撮像装置の構成を示す図である。 図１９は、実施形態６におけるイメージセンサの画素構成を模式的に示す図である。 図２０は、実施形態６におけるイメージセンサの構成の一例を模式的に示す図である。 図２１Ａは、実施形態６における１番目のフレーム期間のシステムタイミングを示している。 図２１Ｂは、実施形態６における２番目のフレーム期間のシステムタイミングを示している。 図２１Ｃは、実施形態６における３番目のフレーム期間のシステムタイミングを示している。 図２１Ｄは、実施形態６における４番目のフレーム期間のシステムタイミングを示している。 図２１Ｅは、実施形態６における５番目のフレーム期間のシステムタイミングを示している。 図２２Ａは、図２１Ａに示す時刻ａから時刻ｂにおける動作をより詳細に示す図である。 図２２Ｂは、図２２Ａにおける点線枠内を拡大して示す図である。 図２３は、実施形態７におけるＣＣＤ型のイメージセンサの画素の構成を示す図である。 図２４は、実施形態７における動作を示すタイミング図である。

（本開示の基礎となった知見）
本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。

本発明者らの検討によれば、前述した先行技術には、以下の課題があることがわかった。

特許文献１に記載されている方法では、検出した光に含まれる成分の殆どは、生体の表面で反射された光の成分であり、生体内部（例えば脳）を経由した光の成分は微量である。そのため、脳を経由した光の成分による信号量に対して、表面で反射された光の成分に起因するショットノイズが無視できないほど大きくなる。すなわち、信号雑音比（ＳＮ比）が低くなるという課題がある。一方、特許文献２に開示された方法では、対象物の空間情報について、１次元の情報しか取得できない。また、パルス幅が数１００フェムト秒〜数ピコ秒の超短パルスの光源およびストリークカメラが使用されるため、非常に高価であるという課題がある。

本発明者らは、前述の先行技術とは異なる原理に基づく撮像装置を検討した。図１は、そのような撮像装置の概略的な構成を示す模式図である。本発明者らは、図１に示すよう
な撮像装置１０１（「時間分解撮像システム」とも称する。）を用いて、対象物１０２（この例では人体頭部の内部の脳血流）を非接触で計測することを試みた。この撮像装置１０１は、近赤外領域のパルス光を発する第１の光源１０３と、第１の光源１０３から出射され、対象物１０２から戻ってきたパルス光を検出するイメージセンサ１１３と、第１の光源１０３およびイメージセンサ１１３を制御する制御回路１１４とを備えている。

第１の光源１０３は、例えばレーザーパルス光源であり、近赤外領域の波長の短パルス光を、制御回路１１４によって決定された高速のパターンで繰り返し出射する。第１の光源１０３から出射される光の波長は、検出対象が生体である場合、例えば略６５０ｎｍ以上略９５０ｎｍ以下に設定され得る。この波長範囲は、赤色から近赤外線の波長範囲に含まれ、生体内での吸収率が低く、生体内の情報を取得する用途に適している。なお、本明細書では、可視光のみならず赤外線についても「光」の用語を使用し、赤外線を「赤外光」と称することがある。

イメージセンサ１１３は、例えばピコ秒からナノ秒の時間スケールで信号の蓄積および排出の制御が可能な高い時間分解能を有している。制御回路１１４は、第１の光源１０３の発光タイミングと、イメージセンサ１１３の各画素の露光タイミングとを制御する。

光を対象物１０２（例えば人の額）に照射すると、対象物１０２の最表面で反射された強い光Ｉ１（以下、「表面反射光」または「表面反射成分」と称することがある。）がイメージセンサ１１３にまず到達する。続いて、対象物１０２の内部で散乱されて戻ってきた弱い光Ｉ２（以下、「内部散乱光」または「内部散乱成分」と称することがある。）が、光Ｉ１に遅れてイメージセンサ１１３に到達する。脳血流の情報は内部散乱成分Ｉ２に反映されるため、表面反射成分Ｉ１は不要である。そこで、本発明者らは、時間分解法を利用して対象物１０２の内部で散乱された光Ｉ２のみを検出することを試みた。

以下、図２から図４を参照しながら、対象物１０２からの表面反射成分Ｉ１と内部散乱成分Ｉ２とを分離して検出する方法の例（検討例）を説明する。

図２は、イメージセンサ１１３における１つの画素４０１の構成を簡易的に示す図である。イメージセンサ１１３は、撮像面に２次元的に配列された複数の画素と、各画素の信号電荷の蓄積および排出のタイミングを制御する高速タイミング制御回路４１４とを有している。高速タイミング制御回路４１４は、制御回路１１４からの指令に基づいて動作する。

イメージセンサ１１３の各画素４０１は、光電変換素子であるフォトダイオード４０３と、信号電荷を蓄積する蓄積部である浮遊拡散層（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ：ＦＤ）４０４と、信号電荷を排出する排出部であるドレイン４０２とを含む。

１回のパルス光の発光に起因して各画素４０１に入射した光は、フォトダイオード４０３によって信号電荷である信号エレクトロンに変換される。変換された信号エレクトロンは、高速タイミング制御回路４１４から入力される制御信号に従って、ドレイン４０２に排出されるか、信号電荷を蓄積する浮遊拡散層４０４に振り分けられる。高速タイミング制御回路４１４によるこの制御によって電子シャッタが実現される。

図３は、第１の光源１０３から光が出射するタイミングと、対象物１０２からの光がイメージセンサ１１３に入射するタイミングと、電子シャッタのタイミングとの関係を示す図である。図３において、信号Ａは、第１の光源１０３から出射されるパルス光の波形を示している。信号Ｄは、パルス光のうち、対象物１０２の表面で反射されて戻ってくる表面反射成分Ｉ１の波形を示している。信号Ｅは、パルス光のうち、対象物１０２の内部で
散乱されて戻ってくる内部散乱成分Ｉ２の波形を示している。信号Ｆは、表面反射成分Ｉ１と内部散乱成分Ｉ２とを合わせた波形を示している。信号Ｂは、電子シャッタのＯＰＥＮ、ＣＬＯＳＥのタイミングを示している。横軸は時間を表し、縦軸は、信号Ａ、Ｄ、Ｅ、Ｆにおいては光の強度を、信号Ｂにおいては電子シャッタのＯＰＥＮまたはＣＬＯＳＥの状態を表している。ここで、「ＣＬＯＳＥ」とは、ドレイン４０２に信号電荷が排出される状態を意味する。「ＯＰＥＮ」とは、信号電荷が排出されない状態を意味する。高速タイミング制御回路４１４は、例えば電圧の調整によって浮遊拡散層４０４およびドレイン４０２における信号電荷のポテンシャルエネルギー（以下、単に「ポテンシャル」と称する。）を変化させることにより、浮遊拡散層４０４への信号電荷の蓄積およびドレイン４０２への信号電荷の排出を制御できる。

第１の光源１０３が対象物１０２にパルス光を照射すると、前述のように、表面反射成分Ｉ１および内部散乱成分Ｉ２が発生する。内部散乱成分Ｉ２は、対象物１０２の内部を通過した光であるため、表面反射成分Ｉ１に比べて光路長が長い。したがって、内部散乱成分Ｉ２は、表面反射成分Ｉ１よりも遅れてイメージセンサ１１３に到達する。高速タイミング制御回路４１４は、イメージセンサ１１３に表面反射成分Ｉ１が入射している間は電子シャッタをＣＬＯＳＥにする。例えば、高速タイミング制御回路４１４は、ドレイン４０２に印可する電圧を高くしてドレイン４０２における信号電荷（電子）のポテンシャルを下げ、ドレイン４０２に信号電荷が排出されるようにする。イメージセンサ１１３への表面反射成分Ｉ１の入射が終了すると（図３における時刻ｆ）、高速タイミング制御回路４１４は、電子シャッタをＯＰＥＮにする。例えば、高速タイミング制御回路４１４は、ドレイン４０２に印可する電圧を低くしてドレイン４０２における信号電荷のポテンシャルを上げ、浮遊拡散層４０４に信号電荷が蓄積されるようにする。その後、所定時間（例えば、発光パルス幅相当の時間）が経過するまで、ＯＰＥＮの状態を維持する。この間、浮遊拡散層ＦＤ４０４に、内部散乱成分Ｉ２に起因する信号電荷が蓄積される。その後、高速タイミング制御回路４１４は、電子シャッタを再びＣＬＯＳＥにする。制御回路１１４は、電子シャッタがＣＬＯＳＥになってから所定時間が経過した後、再びパルス発光を開始する。以後、上記動作が複数回（例えば数百回から数万回程度）繰り返される。その間に浮遊拡散層４０４に蓄積された信号電荷に基づいて１つのフレームの画像が生成される。

本デバイスでは、電子シャッタがＣＬＯＳＥ（即ち、ドレイン排出がアクティブ）であるとき、表面反射成分Ｉ１に起因する信号電荷がドレイン４０２に排出される。一方、電子シャッタがＯＰＥＮ（即ち、ドレイン排出が非アクティブ）であるとき、内部散乱成分Ｉ２に起因する信号電荷がＦＤ４０４に蓄積される。このような動作が実現されるように、各画素のフォトダイオード４０３、ＦＤ４０４、およびドレイン４０２における信号電荷のポテンシャルが設計されている。しかし、本発明者らの検討によれば、ドレイン排出がアクティブであっても、実際には全ての信号電荷が排出されるわけではなく、ごく一部（例えば１万分の１程度）の電荷は、ＦＤ４０４に漏れ込んでしまう。この漏れ込みが、脳血流のような微弱な生体信号を検出する際には、大きなノイズになり、検出精度の低下を招くことが判明した。

以下、この課題を、図４Ａから図４Ｄを参照しながらより詳細に説明する。

図４Ａは、イメージセンサ１１３の構成例を模式的に示す図である。ここでは一例として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）の構造を有するイメージセンサ１１３を考える。このイメージセンサ１１３は、複数の画素４０１が撮像面に２次元的に配列された画素アレイと、画素駆動回路６０１と、水平ＣＣＤ６０２と、出力回路６０３とを備える。

図４Ｂは、画素アレイのうち、隣接する４つの画素を模式的に示す図である。１つの画素４０１は、フォトダイオード４０３を含む。垂直方向（図における縦方向）に並んだ複数のフォトダイオード４０３に隣接して、垂直ＣＣＤ６０４が配置されている。垂直ＣＣＤ６０４は、信号電荷の蓄積および転送を行う要素であり、図２におけるＦＤ４０４に相当する。

図４Ｃは、図４Ｂにおける４Ｃ−４Ｃ線断面を模式的に示す図である。図４Ｃに示すように、各垂直ＣＣＤ６０４の上部（正面側）には、電極６０６と、電極６０６を覆う遮光部材６０５が設けられている。電極６０６と垂直ＣＣＤ６０４との間には、図示されていない酸化膜が存在する。画素の背面側（図４Ｃにおける下側）には、ドレイン４０２が配置されている。ドレイン４０２は、例えば、Ｎ型半導体基板である。垂直ＣＣＤ６０４には電圧Ｖｖが印加される。ドレイン４０２には、電圧Ｖｓｕｂが印加される。垂直ＣＣＤ６０４への信号電荷の蓄積、および信号電荷の排出は、電圧Ｖｖと、電圧Ｖｓｕｂとによって制御される。高速タイミング制御回路４１４は、電圧ＶｖおよびＶｓｕｂを調整することにより、信号の蓄積および排出のタイミングを制御する。ドレイン４０２の上には、例えば、ｐ型のウェル領域６０９が配置されている。図４Ｃに示すように、ウェル領域６０９内に、垂直ＣＣＤ６０４およびフォトダイオード４０３が配置されている。垂直ＣＣＤ６０４は、例えば、ｎ型の半導体領域である、フォトダイオード４０３は、例えば、ｎ型の半導体領域と、その上に配置されたｐ型の半導体領域とにより構成される。

図４Ｄは、図４Ｃにおける４Ｄ−４Ｄ線に沿った信号電荷である電子のポテンシャルを模式的に示す図である。電圧Ｖｖがある値に設定されている状態において、電圧Ｖｓｕｂを所定値よりも低いＬＯＷ状態にすると、ドレイン４０２における電子のポテンシャルが、垂直ＣＣＤ６０４におけるポテンシャルよりも高くなる。この状態では、信号電荷はドレイン４０２に排出されず、垂直ＣＣＤ６０４に蓄積される。この状態は、電子シャッタがＯＰＥＮ（ドレインが非アクティブ）の状態に相当する。一方、Ｖｓｕｂを上記所定値よりも高いＨＩＧＨ状態にすると、ドレイン４０２における電子のポテンシャルが、垂直ＣＣＤ６０４におけるポテンシャルよりも低くなる。このため、信号電荷はドレイン４０２に排出される。この状態は、電子シャッタがＣＬＯＳＥの状態であるドレインがアクティブの状態に相当する。この状態では、大部分の信号電荷がドレイン４０２に排出され、垂直ＣＣＤ６０４には信号電荷が殆ど蓄積されない。しかし、ごく一部の信号電荷（例えば全体の数万分の１程度）は、ドレイン４０２に排出されず、垂直ＣＣＤ６０４に蓄積されてしまう。これは、信号電荷のポテンシャルのピークが、フォトダイオード４０３の領域のうち、垂直ＣＣＤ６０４に近い端部にあるからである。このため、フォトダイオード４０３の端部に入射した一部の光（主に斜め光）に起因して生じた信号電荷は、ドレイン４０２に排出されず、垂直ＣＣＤ６０４に蓄積され得る。また、垂直ＣＣＤ６０４に斜め光が直接入射する場合もあり、この場合も不要な信号電荷が蓄積される。以上の問題は、ＣＣＤの構造を有するイメージセンサに限らず、ＣＭＯＳなどの他の構造を有するイメージセンサでも同様に発生し得る。

電子シャッタがＯＰＥＮのときに光電変換されて蓄積部であるＦＤ４０４または垂直ＣＣＤ６０４に蓄積される信号電荷は内部散乱成分Ｉ２に起因する信号電荷であり、その量は、表面反射成分Ｉ１に起因して発生する信号電荷の量の、例えば１万分の１程度である。このため、蓄積部には、表面反射光の漏れ込みによる信号電荷が、内部散乱光による信号電荷と比較して無視できないほどの比率で混在することになる。このような状態では、内部散乱光の光量およびその時間変化を正しく検出することができない。

以上の問題は、従来の撮像装置においては認識されていなかった。従来の撮像装置を用いて一般の対象物を撮影する場合には、電子シャッタがＯＰＥＮの状態で対象物から入射する光の量が、電子シャッタがＯＦＦの状態で蓄積部に漏れ込む光の量と比べて圧倒的に
多い。このため、光の漏れ込みは問題にはならない。しかし、人の頭部の奥にある脳血流の情報のような微弱な生体情報を検出するような場合には、蓄積部に漏れ込む表面反射成分が、内部散乱成分に対して無視できないため、上記の問題が生じる。

本発明者らは、以上の課題を見出し、新規なイメージセンサの構成を検討した。本発明者らは、イメージセンサの各画素に少なくとも２つの信号蓄積部を設け、そのうちの一方を用いて信号蓄積部に漏れ込む表面反射光による成分を検出することにより、他方の信号蓄積部で検出された信号から不要な成分を除去できることに想到した。以上の考察に基づいて、本発明者らは、以下の項目に記載の撮像装置を完成するに至った。

［項目１］
本開示の項目１に係る撮像装置は、
対象物の画像を撮像するための撮像装置であって、
前記対象物に照射される少なくとも１つのパルス光を出射する第１の光源、
複数の画素を含み、前記複数の画素の各々が、
入射した光を信号電荷に変換する光電変換素子と、
前記信号電荷を蓄積する第１の蓄積部と、
前記信号電荷を蓄積する第２の蓄積部と、
前記信号電荷を排出する排出部と、を含む、イメージセンサ、並びに
前記第１の光源および前記イメージセンサを制御する制御回路
を備え、
前記制御回路は、１つのフレームの前記画像を撮像する期間であるフレーム期間において、
前記第１の光源に前記少なくとも１つのパルス光を出射させ、
前記少なくとも１つのパルス光のうち、前記対象物の表面で反射された表面反射成分が前記イメージセンサに入射している期間を含む第１期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出される状態にすることにより、前記信号電荷のうち、前記排出部に排出されなかった部分を前記第１の蓄積部および前記第２の蓄積部に蓄積させ、
前記少なくとも１つのパルス光のうち、前記対象物の内部で散乱された内部散乱成分が前記イメージセンサに入射している第２期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第１の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第１の蓄積部に前記信号電荷を蓄積させ、
前記第１期間および前記第２期間の後、前記イメージセンサに、前記第１の蓄積部に蓄積された前記信号電荷に基づく第１の信号と、前記第２の蓄積部に蓄積された前記信号電荷に基づく第２の信号とを生成させる。

［項目２］
項目１に記載の撮像装置において、
前記イメージセンサに電気的に接続された信号処理回路をさらに備え、
前記信号処理回路は、前記複数の画素の各々について、前記第１の信号および第２の信号を用いた演算を行うことにより、前記画像を示す信号を生成してもよい。

［項目３］
項目２に記載の撮像装置において、
前記信号処理回路は、前記複数の画素の各々について、前記第１の信号から前記第２の信号を減算することにより、前記画像を示す信号を生成してもよい。

［項目４］
項目１に記載の撮像装置において、
前記制御回路は、
前記フレーム期間とは異なる他のフレーム期間において、
前記第１の光源に前記少なくとも１つのパルス光を出射させ、
前記少なくとも１つのパルス光のうち、前記表面反射成分が前記イメージセンサに入射している期間を含む第３期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出される状態にすることにより、前記信号電荷のうち、前記排出部に排出されなかった部分を前記第１の蓄積部および第２の蓄積部に蓄積させ、
前記第３期間の後、前記イメージセンサに、前記第１の蓄積部に蓄積された前記信号電荷に基づく第３の信号と、前記第２の蓄積部に蓄積された前記信号電荷に基づく第４の信号とを生成させてもよい。

［項目５］
項目４に記載の撮像装置は、
前記イメージセンサに電気的に接続された信号処理回路をさらに備え、
前記信号処理回路は、前記複数の画素の各々について、前記第１の信号、第２の信号、第３の信号および第４の信号を用いた演算を行うことにより、前記画像を示す信号を生成してもよい。

［項目６］
項目５に記載の撮像装置において、
前記第１の信号をＳ１、前記第２の信号をＳ２、前記第３の信号をＳ３、前記第４の信号をＳ４とするとき、
前記信号処理回路は、Ｓ＝Ｓ１−Ｓ２×Ｓ３／Ｓ４の演算によって得られる信号Ｓを、前記画像を示す信号として生成してもよい。

［項目７］
項目１に記載の撮像装置において、
前記制御回路は、
前記フレーム期間とは異なる他のフレーム期間において、
前記第１の光源に前記少なくとも１つのパルス光を出射させ、
前記少なくとも１つのパルス光のうち、前記表面反射成分が前記イメージセンサに入射している期間を含む第３期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出される状態にすることにより、前記信号電荷のうち、前記排出部に排出されなかった部分を前記第１の蓄積部および前記第２の蓄積部に蓄積させ、
前記少なくとも１つのパルス光のうち、前記内部散乱成分が前記イメージセンサに入射している第４期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第２の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第２の蓄積部に前記信号電荷を蓄積させ、
前記第３期間および前記第４期間の後、前記イメージセンサに、前記第１の蓄積部に蓄積された前記信号電荷に基づく第３の信号と、前記第２の蓄積部に蓄積された前記信号電荷に基づく第４の信号とを生成させてもよい。

［項目８］
項目７に記載の撮像装置において、
前記イメージセンサに電気的に接続された信号処理回路をさらに備え、
前記信号処理回路は、前記複数の画素の各々について、前記第３の信号に係数を乗算し
た信号を、前記第４の信号から減算することにより、前記他のフレーム期間における前記画像を示す信号を生成してもよい。

［項目９］
項目８に記載の撮像装置において、
前記信号処理回路は、前記複数の画素の各々について、前記画像を示す信号に基づいて、前記対象物の動きを検出し、
前記複数の画素のうち、前記対象物の動きがないと検出された画素について、前記第１から第４の信号の少なくとも一部を用いて、前記係数を変更してもよい。

［項目１０］
項目１に記載の撮像装置において、
前記制御回路は、前記フレーム期間において、
前記少なくとも１つのパルス光が前記イメージセンサに入射していない期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第２の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第２の蓄積部に前記信号電荷をさらに蓄積させてもよい。

［項目１１］
項目１に記載の撮像装置において、
前記少なくとも１つのパルス光は、第１のパルス光、および前記第１のパルス光の後に前記第１の光源から出射される第２のパルス光を含み、
前記制御回路は、
前記第１のパルス光の前記イメージセンサへの入射が終了した後、前記第２のパルス光の前記イメージセンサへの入射が開始する前に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第２の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第２の蓄積部に前記信号電荷をさらに蓄積させてもよい。

［項目１２］
項目１に記載の撮像装置において、
前記制御回路は、前記フレーム期間において、
前記第１および前記第２の蓄積部への前記少なくとも１つのパルス光に起因する信号電荷の蓄積が完了した後、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第２の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第２の蓄積部に前記信号電荷をさらに蓄積させてもよい。

［項目１３］
項目１から１２のいずれかに記載の撮像装置は、
前記第１の光源からの前記少なくとも１つのパルス光とは異なる波長を有する第４のパルス光を出射させる第２の光源をさらに備え、
前記イメージセンサは、前記信号電荷を蓄積する第３の蓄積部をさらに含み、
前記制御回路は、前記フレーム期間において、
前記第１期間および前記第２期間の後に、
前記第２の光源に前記第４のパルス光を出射させ、
前記第４のパルス光のうち、前記表面反射成分が前記イメージセンサに入射している期間を含む第５期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出される状態にすることにより、前記信号電荷のうち、前記排出部に排出されなかった部分を前記第１の蓄積部
、前記第２の蓄積部および第３の蓄積部に蓄積させ、
前記第４のパルス光のうち、前記内部散乱成分が前記イメージセンサに入射している第６期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第３の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第３の蓄積部に前記信号電荷を蓄積させ、
前記第５期間および前記第６期間の後、前記イメージセンサに、前記第１の蓄積部に蓄積された前記信号電荷に基づく前記第１の信号と、前記第２の蓄積部に蓄積された前記信号電荷に基づく前記第２の信号と、前記第３の蓄積部に蓄積された前記信号電荷に基づく前記第３の信号とを生成させてもよい。

本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。 ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。

さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウエアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。

以下、本開示の実施形態を、図面を参照しながら詳細に説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示している。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。本明細書において説明される種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。以下の説明において、実質的に同じまたは類似する構成要素は共通の参照符号で示し、説明を省略することがある。

（実施形態１）
本実施形態の撮像装置は、対象物として、生体等の光散乱体を対象としている。より具体的には、本実施形態の撮像装置は、観測すべき被検者の脳内の酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの濃度分布と、その時間変化とを検出する。これにより、当該濃度分布を示す２次元画像（静止画像または動画像）を生成することができる。当該画像の情報を利用することにより、例えば、被検者の脳活動（例えば、集中度または感情等）を推定することができる。本実施形態の撮像装置は、上記のような生体情報を非接触で検出
することができるため、検出に伴う煩わしさを解消することができる。さらに、対象物の表面で反射された強い表面反射光に起因する信号電荷の一部が蓄積部に漏れ込むことによって生じる不要な信号成分を高い精度で除去することができる。これにより、従来技術と比較して、生体情報の検出精度を大きく向上させることができる。以下、このような高精度の検出を可能とする本実施形態の撮像装置の構成および動作を説明する。

［１．構成］
図５は、本実施形態における撮像装置１０１の構成を模式的に示す図である。図５には、撮像装置１０１だけでなく、検出対象である対象物１０２（人体頭部）も示されている。本実施形態の撮像装置１０１は、概略的には、図１に示す検討例における撮像装置１０１と同じ構成を有する。ただし、本実施形態では、光源の数が２個であり、イメージセンサ１１３が３個の蓄積部を有している点で、前述の検討例とは異なっている。

撮像装置１０１は、第１の光源１０３と、第２の光源１０４と、イメージセンサ１１３と、ダブルバンドパスフィルタ１１２と、光学系１１１と、制御回路１１４と、信号処理回路１１５とを備える。第１の光源１０３と、第２の光源１０４とは、撮像装置１０１の正面方向（対象物１０２が位置する方向）に向けてパルス光を出射する。本実施形態では、第１の光源１０３は、中心波長が７５０ｎｍの狭帯域のパルス光を出射するレーザ光源である。第２の光源１０４は、中心波長が８５０ｎｍの狭帯域のパルス光を出射するレーザ光源である。イメージセンサ１１３は、光学系１１１の結像面に配置され、対象物１０２からの反射光を検出する。光学系１１１は、対象物１０２とイメージセンサ１１３との間に配置され、１つまたは複数のレンズを含み得る。光学系１１１は、対象物１０２からの光を集光してイメージセンサ１１３の撮像面に結像する。ダブルバンドパスフィルタ１１２は、光学系１１１とイメージセンサ１１３との間に配置され、第１の光源１０３および第２の光源１０４からの光の波長に相当する２つの狭帯域の波長の光のみを主に透過させる。制御回路１１４は、第１の光源１０３、第２の光源１０４およびイメージセンサ１１３に接続され、これらの動作を制御する。より具体的には、制御回路１１４は、第１の光源１０３および第２の光源１０４の発光タイミングと、イメージセンサ１１３の各画素の信号蓄積および信号排出のタイミングとを同期して制御する。これにより、生体内部の脳血流の情報を高い精度で検出することができる。信号処理回路１１５は、イメージセンサ１１３に接続され、イメージセンサ１１３から出力された電気信号である画素ごとの明暗の情報に基づいて、画像データ（例えば２次元の動画像のデータ）を生成して出力する。生成された画像データは、例えば不図示のディスプレイに送られ、脳血流の状態を示す画像がディスプレイに表示され得る。なお、信号処理回路１１５は、撮像装置１０１の外部の装置に設けられていてもよい。例えば、撮像装置１０１に有線または無線で接続される外部のコンピュータが信号処理回路１１５を備えていてもよい。そのような態様では、撮像装置１０１が計算負荷の高い演算を行う必要がないため、撮像装置１０１を安価に構成し得る。なお、撮像装置１０１は、図５に示されていない他の要素を含み得る。例えば、撮像装置１０１は、第１の光源１０３および第２の光源１０４からの光の進行方向を変化させるミラーなどの光学系、または無線通信を行う通信回路などを備えていてもよい。

図５に示す各構成要素は、同一の筐体内に配置されている必要はない。例えば、撮像装置１０１は、スマートフォンまたはタブレットコンピュータのような情報端末と、当該情報端末に接続される他の装置との組み合わせによって実現され得る。そのようなアタッチメントは、第１の光源１０３および第２の光源１０４、イメージセンサ１１３、ダブルバンドパスフィルタ１１２、および光学系１１１を備え得る。情報端末に特定のソフトウェアをインストールすることにより、情報端末のプロセッサ（ＣＰＵおよびＧＰＵなど）を、制御回路１１４および信号処理回路１１５として機能させることができる。

以下、各構成要素をより詳細に説明する。

［１−１．第１の光源１０３および第２の光源１０４］
本実施形態における第１の光源１０３は、中心波長が７５０ｎｍの狭帯域のパルス光を出射するレーザーパルス光源である。第２の光源１０４は、中心波長が８５０ｎｍの狭帯域のパルス光を出射するレーザーパルス光源である。第１の光源１０３および第２の光源１０４の各々は、後述するように、制御回路１１４によって決定された所定のパターンでパルス光を繰り返し出射する。第１の光源１０３および第２の光源１０４が出射するパルス光は、例えば、立ち下り時間である立ち下りを開始してから完全に立ち下るまでの時間がゼロに近い矩形波状の光であり得る。第１の光源１０３および第２の光源１０４が発生させるパルス光の立ち上り時間である立ち上りを開始してから完全に立ち上るまでの時間は任意である。第１の光源１０３および第２の光源１０４は、パルス光の立ち下り部分が時間軸に対して垂直に近い（即ち、時間応答特性が急進な）レーザーダイオード（ＬＤ）などの光源であり得る。第１の光源１０３および第２の光源１０４には、例えば半導体レーザ、固体レーザ、ファイバレーザなどの、パルス光を発する任意の種類の光源が用いられ得る。

本実施形態の撮像装置１０１では、対象物１０２が人体であるため、網膜への影響が考慮された第１の光源１０３および第２の光源１０４が用いられ得る。例えば、レーザ光源を使用する場合、各国で策定されているレーザ安全基準のクラス１を満足する光源が用いられ得る。クラス１が満足されている場合、被爆放出限界（ＡＥＬ）が１ｍＷを下回るほどの低照度の光が対象物１０２に照射される。第１の光源１０３および第２の光源１０４自体がクラス１を満たしていなくても、他の光学素子との組み合わせによってクラス１が満たされていてもよい。例えば、拡散板またはＮＤフィルタなどの素子が第１の光源１０３および第２の光源１０４と対象物１０２との間に配置され、光が拡散または減衰されることによってレーザ安全基準のクラス１が満たされてもよい。

第１の光源１０３および第２の光源１０４がそれぞれ発する光の波長は、７５０ｎｍおよび８５０ｎｍに限定されない。例えば６５０ｎｍ以上９５０ｎｍ以下の波長範囲に含まれる任意の波長の光が用いられ得る。上記の波長範囲は、「生体の窓」と呼ばれており、生体内の水分およびヘモグロビンに比較的吸収されにくいという性質を有する。生体を検出対象にする場合、上記の波長範囲の光を使用することにより、検出感度を高くすることができる。本実施形態のように、対象物１０２の脳血流中の酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの濃度を検出する場合、使用される光は、８０５ｎｍよりも長い波長の近赤外光と、および８０５ｎｍよりも短い波長の赤色光または近赤外光とであり得る。酸素化ヘモグロビンは、脱酸素化ヘモグロビンと比較して、８０５ｎｍよりも長い波長の光を相対的によく吸収する。逆に、脱酸素化ヘモグロビンは、酸素化ヘモグロビンと比較して、８０５ｎｍよりも短い波長の光を相対的によく吸収する。したがって、８０５ｎｍよりも長い波長の光と、８０５ｎｍよりも短い波長の光とを用いることにより、血流中の酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの各々の濃度変化を精度よく検出することができる。このように、検出対象に対する吸収率が異なる複数の波長を選択することで、検出対象の特性を分析することができる。他の生体情報（例えば、心拍、血流量、血圧など）を検出する場合には、複数の波長の光を使用する必要はない。図１に示す構成のように、１つの第１の光源１０３を用いて、本実施形態と同様の制御を行ってもよい。後述する他の実施形態についても同様に、光源の数は１つでもよい。

なお、本開示において、対象物１０２は生体に限定されない。例えば、ガス、薬品、食品などの他の種類の光散乱体を対象物１０２にすることも可能である。第１の光源１０３および第２の光源１０４が発する光の波長域は、近赤外線の波長域である約７００ｎｍ以上約２５００ｎｍ以下に限定されず、例えば可視光の波長域である約４００ｎｍ以上約７００ｎｍ以下、紫外線の波長域である約１０ｎｍ以上約４００ｎｍ以下であってもよい。
用途によっては、中赤外線、遠赤外線、またはテラヘルツ波もしくはミリ波等の電波域の電磁波を使用することもできる。

図１を参照して説明したように、第１の光源１０３および第２の光源１０４から対象物１０２に到達した光は、対象物１０２の表面で反射する成分である表面反射成分Ｉ１と、対象物１０２の内部で１回反射もしくは散乱、または多重散乱する成分である内部散乱成分Ｉ２とに分かれる。表面反射成分Ｉ１は、直接反射成分、拡散反射成分、および散乱反射成分の３つを含む。直接反射成分は、入射角と等しい反射角で反射される成分である。拡散反射成分は、表面の凹凸形状に起因して拡散して反射される成分である。散乱反射成分は、表面近傍の内部組織によって散乱して反射される成分である。対象物１０２が人の肌である場合、散乱反射成分は、表皮内部で散乱して反射される成分である。本開示では、表面反射成分Ｉ１は、これら３つの成分を含むものとする。また、内部散乱成分Ｉ２は、表面近傍の内部組織によって散乱して反射する成分を含まないものとする。表面反射成分Ｉ１および内部散乱成分Ｉ２は、反射または散乱によって進行方向が変化し、その一部が光学系１１１およびダブルバンドパスフィルタ１１２を透過してイメージセンサ１１３に到達する。

［１−２．光学系１１１およびダブルバンドパスフィルタ１１２］
本実施形態における光学系１１１は、テレセントリックな光学系を実現するカメラレンズである。テレセントリックな光学系１１１を用いることにより、各画素に斜めに入射する光を少なくすることができるため、後述するように、信号処理を簡単にすることができる。

ダブルバンドパスフィルタ１１２は、７５０ｎｍおよび８５０ｎｍの二波長の光を主に透過させるフィルタである。図６は、ダブルバンドパスフィルタ１１２の分光透過率の例を示すグラフである。図示されるように、ダブルバンドパスフィルタ１１２は、第１の光源１０３および第２の光源１０４からそれぞれ出射される７５０ｎｍおよび８５０ｎｍを中心波長とする狭帯域の光を透過させ、それ以外の波長の光を遮光する。このようなダブルバンドパスフィルタ１１２を配置することにより、外乱光（例えば背景光）がイメージセンサ１１３に入射することを抑制できる。

［１−３．イメージセンサ１１３］
イメージセンサ１１３は、第１の光源１０３および第２の光源１０４から出射され対象物１０２で反射された光を受光する。イメージセンサ１１３は、撮像面上に２次元に配列された複数の画素を有し、対象物１０２の内部の２次元情報を取得する。イメージセンサ１１３は、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサであり得る。

イメージセンサ１１３は、電子シャッタを有する。電子シャッタは、受光した光を有効な電気信号に変換して蓄積する１回の信号蓄積の期間（「露光期間」と称する。）の長さ（「シャッタ幅」と称する。）と、１回の露光期間が終了してから次の露光期間が開始するまでの時間とを制御する回路である。本明細書において、電子シャッタが露光している状態を「ＯＰＥＮ」（開いた状態）と表現し、電子シャッタが露光を停止している状態を「ＣＬＯＳＥ」（閉じた状態）と表現する。イメージセンサ１１３は、電子シャッタによって１回の露光期間が終了してから次の露光期間が開始するまでの時間をサブナノ秒（例えば、３０ｐｓ〜１ｎｓ）の時間スケールで調整できる。本実施形態では、対象物までの距離の測定を目的とする従来のＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラと異なり、シャッタ幅をパルス幅よりも大きくする必要はない。従来のＴＯＦカメラは、対象物の明るさを補正するために、光源から出射して対象物で反射されて戻ってきたパルス光の全てを検出する。したがって、従来のＴＯＦカメラでは、シャッタ幅が光のパルス幅よりも大きい必要があった。これに対し、本実施形態の撮像装置１０１は、対象物からの光量を
補正する必要が無いため、シャッタ幅がパルス幅よりも大きい必要はない。本実施形態では、シャッタ幅は、例えば、１〜３０ｎｓ程度であり得る。本実施形態の撮像装置１０１によれば、シャッタ幅を従来よりも短縮できるため、検出信号に含まれる暗電流を低減することができる。

対象物１０２が例えば人の額であり、脳血流などの情報を検出する用途では、対象物１０２の内部での光の減衰率は非常に大きく、例えば、１００万分の１程度に減衰し得る。このため、内部散乱光Ｉ２を検出するには、１パルスの照射だけでは光量が不足する場合がある。この場合、第１の光源１０３および第２の光源１０４がパルス光を複数回発光し、それに応じてイメージセンサ１１３も電子シャッタによって複数回露光するようにしてもよい。そのような動作によれば、検出信号が積算されることにより、感度を向上させることができる。

図７は、イメージセンサ１１３の１つの画素４０１の概略的な構成を示す図である。なお、図７は、１つの画素４０１の構成を模式的に示しており、現実の構造を必ずしも反映していない。画素４０１は、光電変換を行う光電変換素子であるフォトダイオード４０３と、信号電荷を蓄積する蓄積部である浮遊拡散層４０４、４０５、４０６と、信号電荷を排出する排出部であるドレイン４０２とを含む。各浮遊拡散層４０４、４０５、４０６およびドレイン４０２の機能は、図２を参照しながら説明した機能と同様である。

イメージセンサ１１３は、制御回路１１４からの指令に基づいて各画素４０１における信号電荷の蓄積および排出を制御する高速タイミング制御回路４１４を備えている。高速タイミング制御回路４１４は、プロセッサとメモリとを有する回路（例えば、マイクロコントローラユニット）であり得る。高速タイミング制御回路４１４は、メモリに格納された制御プログラムに従い、外部の制御回路１１４からの指示に応じて浮遊拡散層４０４、４０５、４０６への信号電荷の蓄積、およびドレイン４０２への信号電荷の排出を制御する。イメージセンサ１１３は、複数の浮遊拡散層４０４、４０５、４０６を有することにより、高い時間分解能で撮像することができる。

本実施形態では、イメージセンサ１１３の正面側にテレセントリックな光学系１１１が配置されているため、フォトダイオード４０３を中心に等方的に光が漏れ込むと考えられる。このため、浮遊拡散層４０４、４０５、４０６は、フォトダイオード４０３に対して等方的または等距離に配置され得る。

１回のパルス光の発光に起因して各画素４０１に入射した光は、フォトダイオード４０３によって信号電荷である信号エレクトロンに変換される。変換された信号エレクトロンは、高速タイミング制御回路４１４から入力される制御信号に従って、ドレイン４０２に排出されるか、３つの浮遊拡散層４０４、４０５、４０６のいずれかに振り分けられる。

図８は、イメージセンサ１１３の構成の一例を模式的に示す図である。図８において、破線の枠で囲まれた領域が１つの画素４０１に相当する。画素４０１は、３つの浮遊拡散層４０４、４０５、４０６を含む。３つの浮遊拡散層４０４、４０５、４０６に蓄積される信号は、あたかも一般的なＣＭＯＳイメージセンサの３画素の信号のように取り扱われ、イメージセンサ１１３から出力される。なお、図８には、各浮遊拡散層に信号電荷の蓄積が完了してから、浮遊拡散層内の信号電荷をイメージセンサ１１３から出力する動作（「低速読み出し動作」と称する。）に関係する要素のみが示されている。ドレイン４０２、フォトダイオード４０３、および高速タイミング制御回路４１４は、低速読み出し動作には直接関係しないので、図８からは省略されている。

各画素４０１は、３つの信号検出回路を含む。各信号検出回路は、ソースフォロワトラ
ンジスタ５０９と、行選択トランジスタ５０８と、リセットトランジスタ５１０とを含む。この例では、リセットトランジスタ５１０が、図７に示すドレイン４０２に相当する。リセットトランジスタ５１０のゲートに入力されるパルス信号により、信号電荷の排出が制御される。各トランジスタは、例えば半導体基板に形成された電界効果トランジスタであるが、これに限定されない。図示されるように、ソースフォロワトランジスタ５０９の入力端子および出力端子の一方（典型的にはソース）と、行選択トランジスタ５０８の入力端子および出力端子のうちの一方（典型的にはドレイン）とが接続されている。ソースフォロワトランジスタ５０９の制御端子であるゲートは、図８には示されていないフォトダイオード４０３に電気的に接続されている。フォトダイオード４０３によって生成された信号電荷である正孔または電子は、フォトダイオード４０３とソースフォロワトランジスタ５０９との間の蓄積部である浮遊拡散層４０４、４０５、４０６に蓄積される。

浮遊拡散層４０４、４０５、４０６に蓄積された信号電荷は、行選択回路５０２によって行選択トランジスタ５０８のゲートがＯＮにされることにより、読み出される。この際、浮遊拡散層４０４、４０５、４０６の信号の電位に応じて、ソースフォロワ電源５０５からソースフォロワトランジスタ５０９およびソースフォロワ負荷５０６へ流入する電流が増幅される。垂直信号線５０４から読み出されるこの電流によるアナログ信号は、列毎に接続されたアナログ−デジタル（ＡＤ）変換回路５０７によってデジタル信号データに変換される。このデジタル信号データは、列選択回路５０３によって列ごとに読み出され、イメージセンサ１１３から出力される。行選択回路５０２および列選択回路５０３は、１つの行の読出しを行った後、次の行の読み出しを行い、以下同様に、全ての行の浮遊拡散層の信号電荷の情報を読み出す。高速タイミング制御回路４１４は、全ての信号電荷を読み出した後、リセットトランジスタ５１０のゲートをオンにすることで、全ての浮遊拡散層をリセットする。これにより、１つのフレームの撮像が完了する。以下同様に、フレームの高速撮像を繰り返すことにより、イメージセンサ１１３による一連のフレームの撮像が完結する。

なお、本実施形態では、ＣＭＯＳ型のイメージセンサ１１３の例を説明したが、イメージセンサ１１３はＣＣＤ型であっても、単一光子計数型素子であっても、増幅型イメージセンサであるＥＭＣＣＤ、ＩＣＣＤであっても構わない。

［１−４．制御回路１１４および信号処理回路１１５］
制御回路１１４は、例えば、マイクロプロセッサおよびメモリの組み合わせ、またはプロセッサおよびメモリを内蔵するマイクロコントローラ等の集積回路であり得る。制御回路１１４は、例えばプロセッサがメモリに記録された制御プログラムを実行することにより、第１の光源１０３および第２の光源１０４への点灯指示、イメージセンサ１１３への撮像指示、および信号処理回路１１５への演算指示等を行う。制御回路１１４からの指示に基づいて、イメージセンサ１１３における高速タイミング制御回路４１４は、各画素における信号電荷の蓄積および排出を制御する。

信号処理回路１１５は、イメージセンサ１１３から出力された画像信号を処理する回路である。信号処理回路１１５は、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス（ＰＬＤ）、または中央演算処理装置（ＣＰＵ）もしくは画像処理用演算プロセッサ（ＧＰＵ）とコンピュータプログラムとの組み合わせによって実現され得る。なお、制御回路１１４および信号処理回路１１５は、統合された１つの回路によって実現されていてもよい。

本実施形態における信号処理回路１１５は、イメージセンサ１１３から出力された信号に基づき、脳内の酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの濃度分布と、その時間変化とを示す動画像データを生成する。信号処理回路１１５は、そのような動画像デー
タに限らず、他の情報を生成してもよい。例えば、脳における血流量、血圧、血中酸素飽和度、または心拍数などの生体情報を生成してもよい。

脳血流量または血流内成分（例えばヘモグロビン）の変化と、人間の神経活動との間には密接な関係があることが知られている。例えば、人間の感情の変化に応じて神経細胞の活動が変化することにより、脳血流量または血液内の成分が変化する。したがって、脳血流量または血液内成分の変化などの生体情報を計測できれば、被検者の心理状態を推定することができる。被検者の心理状態とは、例えば、気分（例えば、快、不快）、感情（例えば、安心、不安、悲しみ、憤りなど）、健康状態（例えば、元気、倦怠）、温度感覚（例えば、暑い、寒い、蒸し暑い）などを意味する。また、これに派生して、脳活動の程度を表す指標、例えば熟練度、習熟度、および集中度なども心理状態に含まれる。信号処理回路１１５は、脳血流量などの変化に基づいて、被検者の集中度などの心理状態を推定し、推定結果を示す信号を出力してもよい。

［２．動作］
次に、本実施形態の撮像装置１０１の動作を説明する。

図１を参照して説明したとおり、対象物１０２である頭部に照射された７５０ｎｍまたは８５０ｎｍの波長の光の大部分のエネルギーは、対象物１０２の表面で反射される。しかし、ごく一部の成分は対象物１０２の深部まで散乱しながら到達し、さらに散乱を継続して、極少量のエネルギー成分が内部散乱成分として、再び頭部の額表面に到達する。その光の一部は、光学系１１１およびダブルバンドパスフィルタ１１２を透過して、イメージセンサ１１３に到達する。

イメージセンサ１１３に到達する内部散乱光のエネルギーは、イメージセンサ１１３に到達する表面反射光のエネルギーの約１万分の１程度に減衰し得る。この減衰した光の成分に脳活動の情報が含まれるため、エネルギーの高いノイズである表面反射成分の影響を如何に除去するかが重要な問題となる。

そこで、本実施形態における制御回路１１４は、図３を参照して説明した例と同様、イメージセンサ１１３の各画素において、パルス光の表面反射成分が入射している間は電子シャッタをＣＬＯＳＥにし、表面反射成分の後端が入射した後、内部散乱成分が入射している間に電子シャッタをＯＰＥＮに切り替える。そして、発光パルス幅相当の期間、シャッタＯＰＥＮの状態を維持し、再びシャッタをＣＬＯＳＥにする。その後、次のパルス発光を行い、同じ動作を行う。以上の動作を繰り返すことで、表面反射光に起因する成分を効率良く除去して、脳活動の情報を含む内部散乱光の成分のみを検出することができる。

なお、発光を開始してから電子シャッタをＣＬＯＳＥからＯＰＥＮに切り替えるまでの時間は、検出開始前に予め決定され得る。例えば、検出開始前に、第１の光源１０３または第２の光源１０４による予備的な発光を行い、その光をイメージセンサ１１３で検出することにより、発光を開始してから表面反射成分の後端がイメージセンサ１１３に到達するまでの時間を測定できる。当該時間を、発光を開始してから電子シャッタをＯＰＥＮにするまでの時間に設定すればよい。

対象物１０２が人の額であり、脳血流などの情報を検出する際には、内部での光の減衰率が非常に大きいため、内部散乱光のみを検出するには、１パルスの照射だけでは光量が不足し得る。このため、本実施形態では、パルス光を複数回発光し、それに応じてイメージセンサ１１３の電子シャッタによって複数回露光する。これにより、検出信号が積算されるため、感度を向上させることができる。しかし、用途によっては、複数回の発光および露光を行わなくてもよい場合もあり得る。その場合には、各光源について、１フレーム
期間あたり１回の発光および露光が行われる。

前述のように、電子シャッタがＣＬＯＳＥの場合であっても、全ての信号電荷が排出されるわけではない。強い表面反射光に起因する信号電荷の一部は、各浮遊拡散層に漏れ込んでしまう。そこで、本実施形態では、この漏れ込む信号電荷の量を検出するために、常に非アクティブに設定される浮遊拡散層４０６が配置されている。本実施形態において、浮遊拡散層４０４、４０５は本開示における第１の蓄積部に相当し、浮遊拡散層４０６は本開示における第２の蓄積部に相当する。

図９は、本実施形態における撮像装置１０１の動作の例を示すタイミング図である。図９において、信号Ａ１、Ａ２はそれぞれ第１の光源１０３、第２の光源１０４から出射されるパルス光の波形を示し、信号Ｂは電子シャッタのＯＰＥＮ、ＣＬＯＳＥのタイミングを示し、信号Ｃ１、Ｃ２、Ｃ３はそれぞれ浮遊拡散層４０４、４０５、４０６のＯＮ（すなわち浮遊拡散層に電荷が蓄積される状態）、ＯＦＦ（すなわち浮遊拡散層に電荷が蓄積されない状態）のタイミングを示す。

図９は、１つのフレームの画像信号を取得する期間（「フレーム期間」と称する。）の動作を例示している。１つのフレーム期間は、７５０ｎｍの波長の光を出射する第１の光源１０３を用いて撮像する期間と、８５０ｎｍの波長の光を出射する第２の光源１０４を用いて撮像する期間とに分けられる。制御回路１１４は、まず、第１の光源１０３を所定の周期で複数回発光させ、その発光に同期して浮遊拡散層４０４に信号電荷を蓄積させる。次に、制御回路１１４は、第２の光源１０４を所定の周期で複数回発光させ、その発光に同期して浮遊拡散層４０５に信号電荷を蓄積させる。浮遊拡散層４０４に蓄積された信号電荷は、７５０ｎｍの波長の光に基づく画像の生成に用いられる。浮遊拡散層４０５に蓄積された信号電荷は、８５０ｎｍの波長の光に基づく画像の生成に用いられる。以下、この動作をより詳細に説明する。

制御回路１１４は、まず、７５０ｎｍの波長の光を出射する第１の光源１０３にパルス光を複数回出射させる。例えば、制御回路１１４は、第１の光源１０３に、約１０ｎｓのパルス幅のパルス光を、約１０ＭＨｚの周波数で、１００μｓｅｃ程度の期間にわたって１０００回程度繰り返し発光させる。第１の光源１０３の発光が繰り返されている間、浮遊拡散層４０４はアクティブの状態に、浮遊拡散層４０５、４０６は、非アクティブの状態にされる。この状態において、第１の光源１０３の発光に同期して電子シャッタのＯＰＥＮおよびＣＬＯＳＥの状態が切り替えられる。より具体的には、イメージセンサ１１３における高速タイミング制御回路４１４は、図１を参照して説明したように、対象物１０２からのパルス光の内部散乱成分がフォトダイオード４０３に入射する期間だけ、ドレイン４０２のポテンシャルを相対的に高くして電子シャッタをＯＰＥＮにする。当該期間以外においては、高速タイミング制御回路４１４は、ドレイン４０２のポテンシャルを相対的に低くして電子シャッタをＣＬＯＳＥにする。このような制御により、対象物１０２からの内部散乱光に起因してフォトダイオード４０３で発生した信号電荷は、浮遊拡散層４０４に繰り返し蓄積される。

制御回路１１４は、浮遊拡散層４０４への信号電荷の蓄積が完了すると、浮遊拡散層４０４を非アクティブにし、代わりに、浮遊拡散層４０５をアクティブにする。浮遊拡散層４０６は、非アクティブのままである。この状態で、制御回路１１４は、８５０ｎｍの波長の光を出射する第２の光源１０４のパルス発光を開始する。第２の光源１０４のパルス発光も、第１の光源１０３のパルス発光と同じ周波数、パルス幅で、同じ回数だけ行われ得る。以後、第２の光源１０４の発光に同期して電子シャッタのＯＰＥＮおよびＣＬＯＳＥの状態が切り替えられる。高速タイミング制御回路４１４は、対象物１０２からのパルス光の内部散乱成分がフォトダイオード４０３に入射する期間だけ、ドレイン４０２のポ
テンシャルを相対的に高くして電子シャッタをＯＰＥＮにする。当該期間以外においては、高速タイミング制御回路４１４は、ドレイン４０２のポテンシャルを相対的に低くして電子シャッタをＣＬＯＳＥにする。このような制御により、対象物１０２からの内部散乱光に起因してフォトダイオード４０３で発生した信号電荷が、浮遊拡散層４０５に繰り返し蓄積される。

以上の動作が完了すると、制御回路１１４は、イメージセンサ１１３に、浮遊拡散層４０４、４０５、４０６にそれぞれ蓄積された信号電荷に基づく電気信号を生成させる。イメージセンサ１１３は、生成した電気信号を、信号処理回路１１５に送る。信号処理回路１１５は、浮遊拡散層４０４に蓄積された信号電荷に基づく信号から、浮遊拡散層４０６に蓄積された信号電荷に基づく信号を減算することにより、第１の光源１０３からの光の波長に対応する画素信号を生成する。同様に、浮遊拡散層４０５に蓄積された信号電荷に基づく信号から、浮遊拡散層４０６に蓄積された信号電荷に基づく信号を減算することにより、第２の光源１０４からの光の波長に対応する画素信号を生成する。このような演算を画素ごとに実行することにより、７５０ｎｍおよび８５０ｎｍの各波長に対応する画像の各画素の信号が得られる。以上の処理により、信号処理回路１１５は、波長７５０ｎｍ、８５０ｎｍのそれぞれについて、画像のデータを生成する。

［３．効果等］
以上のように、本実施形態における撮像装置は、対象物に照射されるパルス光を発する第１の光源１０３および第２の光源１０４と、イメージセンサ１１３と、制御回路１１４と、信号処理回路１１５とを備える。イメージセンサ１１３は、複数の画素を有し、各画素が、光電変換素子と、光電変換素子で生じた信号電荷を蓄積する３つの蓄積部とを有する。第１の光源１０３は、第１波長域（例えば７５０ｎｍを中心とする波長域）のパルス光を出射する。第２の光源１０４は、第２波長域（例えば８５０ｎｍを中心とする波長域）のパルス光を出射する。制御回路１１４は、第１の光源１０３にパルス光を出射させるタイミングと、３つの蓄積部に信号電荷を蓄積させるタイミングと、信号電荷を排出するタイミングとを制御する。制御回路１１４は、以下の動作を実行する。

（１）１つのフレーム期間において、第１の光源１０３および第２の光源１０４の各々に、少なくとも１つのパルス光を出射させる。
（２）第１の光源１０３および第２の光源１０４の各々から出射されたパルス光のうち、対象物１０２の表面で反射された表面反射成分Ｉ１がイメージセンサ１１３に入射している期間を少なくとも含む期間に、ドレイン４０２に信号電荷が排出される状態にして、フォトダイオード４０３で生じた信号電荷のうち、排出されずに残った信号電荷を浮遊拡散層４０６に蓄積させる。
（３）第１の光源１０３から出射された中心波長７５０ｎｍのパルス光のうち、表面反射成分Ｉ１の後端がイメージセンサ１１３に入射した後、対象物の内部で散乱されて戻ってきた内部散乱成分Ｉ２がイメージセンサ１１３に入射している期間に、ドレイン４０２に信号電荷が排出されず、かつ浮遊拡散層４０４に信号電荷が蓄積される状態にして、浮遊拡散層４０４に信号電荷を蓄積させる。
（４）第２の光源１０４から出射された中心波長８５０ｎｍのパルス光のうち、表面反射成分Ｉ１の後端がイメージセンサ１１３に入射した後、対象物の内部で散乱されて戻ってきた内部散乱成分Ｉ２がイメージセンサ１１３に入射している期間に、ドレイン４０２に信号電荷が排出されない状態にして、浮遊拡散層４０４に信号電荷を蓄積させる。
（５）浮遊拡散層４０４、４０５、４０６への信号電荷の蓄積が完了した後、イメージセンサ１１３に、浮遊拡散層４０４に蓄積された信号電荷に基づく信号Ｓ１と、浮遊拡散層４０５に蓄積された信号電荷に基づく信号Ｓ２と、浮遊拡散層４０６に蓄積された信号電荷に基づく信号Ｓ３とを生成させる。

信号処理回路１１５は、画素ごとに信号Ｓ１から信号Ｓ３を減算することにより、中心波長７５０ｎｍの光による画像の各画素の信号を生成する。同様に、画素ごとに信号Ｓ２から信号Ｓ３を減算することにより、波長８５０ｎｍの光による画像の各画素の信号を生成する。

以上の構成および動作により、浮遊拡散層４０４、４０５のそれぞれの信号に混入するノイズ成分を、浮遊拡散層４０６によって検出し、除去することができる。これにより、生体の内部で散乱された光に基づく信号を高い精度で求めることができる。

本実施形態では、２つの第１の光源１０３および第２の光源１０４を用いているが、１つの光源のみを用いてもよい。１つの光源のみを用いる場合は、図９に示す動作のうち、いずれか一方の光源を用いて露光または信号蓄積する動作のみを行えばよい。この点については、後述する他の実施形態においても同様である。

（実施形態２）
次に、本開示の実施形態２における撮像装置１０１を説明する。本実施形態は、光学系１１１が非テレセントリックな光学系である点、および、検出前に、いずれの浮遊拡散層もアクティブにしない状態での撮像をキャリブレーションとして行う点で、実施形態１と異なっている。以下、実施形態１と異なる点を中心に説明する。

図１０は、本実施形態の撮像装置１０１におけるイメージセンサ１１３および光学系１１１を模式的に示す図である。本実施形態における光学系１１１は、イメージセンサ１１３の周辺部において主光線が斜めに入射する（すなわち主光線角が０度よりも大きい）レンズ系である。実施形態１では、カメラレンズに比較的高価なテレセントリック光学系が用いられているが、一般的には、安価なレンズ系である非テレセントリックな光学系を用いることが多い。非テレセントリックな光学系１１１を用いた場合、イメージセンサ１１３の撮像面の中央部と周辺部とで主光線角が異なる。このため、浮遊拡散層毎に、生体表面で反射された光に起因して生じる漏れ込み成分の量に偏りが生じる。

本実施形態では、１番目のフレーム期間に、いずれの浮遊拡散層への転送も非アクティブ（ＯＦＦ）な状態で取得されるキャリブレーションフレームが設けられる。２番目のフレーム期間以降は、実施形態１と同様、特定の浮遊拡散層への転送がアクティブ（ＯＮ）にされた状態で取得される。キャリブレーションフレームを設けることにより、各浮遊拡散層に漏れ込む光の成分の分布の情報を取得することができる。この分布の情報を利用することで、各浮遊拡散層に漏れ込む信号電荷の量に偏りがある場合であっても、取得した信号から、漏れ込み成分を精度よく除去することができる。

図１１Ａは、本実施形態における１番目のフレーム期間の信号を取得する動作を示すタイミング図である。図１１Ｂは、本実施形態における２番目のフレーム期間の信号を取得する動作を示すタイミング図である。

１番目のフレーム期間において、図７に示す制御回路１１４は、まず、７５０ｎｍの波長の光を出射する第１の光源１０３にパルス光を複数回出射させる。例えば、制御回路１１４は、第１の光源１０３に、約１０ｎｓのパルス幅のパルス光を、約１０ＭＨｚの周波数で、１００μｓｅｃ程度の期間にわたって１０００回程度繰り返し発光させる。第１の光源１０３の発光が繰り返されている間、浮遊拡散層４０４、４０５、４０６は、常に非アクティブの状態にされ、電子シャッタは常にＣＬＯＳＥの状態にされる。その後、制御回路１１４は、８５０ｎｍの波長の光を出射する第２の光源１０４についても同様の動作を行う。第２の光源１０４の発光が繰り返されている間も、浮遊拡散層４０４、４０５、４０６は、常に非アクティブの状態にされ、電子シャッタは常にＣＬＯＳＥの状態にされ
る。この動作により、浮遊拡散層４０４、４０５、４０６の各々には、生体内で散乱された光による信号電荷は蓄積されず、生体の表面で反射された光に起因して漏れ込むノイズ成分のみが蓄積される。

２番目のフレーム期間以降については、図１１Ｂに示すように、実施形態１における動作（図９）と同じ動作が行われる。すなわち、制御回路１１４は、第１の光源１０３を周期的に発光させながら浮遊拡散層４０４に信号電荷を蓄積させる動作と、第２の光源１０４を周期的に発光させながら浮遊拡散層４０５に信号電荷を蓄積させる動作とを交互に繰り返す。浮遊拡散層４０６は、常に非アクティブである。これにより、浮遊拡散層４０４には、第１の光源１０３が発する中心波長７５０ｎｍのパルス光の内部散乱成分による信号電荷が蓄積される。浮遊拡散層４０５には、第２の光源１０４が発する中心波長８５０ｎｍのパルス光の内部散乱成分による信号電荷が蓄積される。浮遊拡散層４０６には、第１の光源１０３および第２の光源１０４が発する光の表面反射成分による信号電荷のうち、ドレイン４０２に排出されなかった信号電荷である漏れ込み成分が蓄積される。

本実施形態では、光学系１１１が安価な非テレセントリック光学系であるため、浮遊拡散層４０４に蓄積される信号電荷に含まれる漏れ込み成分の量と、浮遊拡散層４０５に蓄積される信号電荷に含まれる漏れ込み成分の量とが異なる。さらに、両者の比率は、画素によって異なる。そこで、本実施形態では、信号処理回路１１５が、１番目のフレーム期間に得られる浮遊拡散層４０４、４０５、４０６の信号を用いて、２番目のフレーム期間以降に得られる浮遊拡散層４０４、４０５の信号を補正する。

以下、図１２を参照して、本実施形態における生体で散乱された光の成分の算出方法を説明する。

図１２は、本実施形態におけるフレーム期間と、浮遊拡散層４０４、４０５、４０６の信号量とを模式的に示す図である。図１２には、連続する４つのフレーム期間が例示されている。

１番目のフレーム期間では、全ての浮遊拡散層４０４、４０５、４０６がＯＦＦの状態であるため、浮遊拡散層４０４、４０５、４０６の各々に、７５０ｎｍの光信号および８５０ｎｍの光信号の漏れ込み成分が蓄積される。１番目のフレーム期間の撮像において、浮遊拡散層４０４、４０５、４０６に蓄積される信号量を、それぞれ、Ｃ_1＿FD1、Ｃ_1＿FD2、Ｃ_1＿FD3と表す。また、ｎ番目のフレーム期間（ｎは２以上の整数）の撮像において、浮遊拡散層４０４、４０５、４０６に蓄積される信号量を、それぞれ、ａ_n、ｂ_n、Ｃ_n＿FD3と表す。ａ_nには、波長７５０ｎｍの内部散乱光による信号量と、７５０ｎｍの光信号および８５０ｎｍの光信号の漏れ込み成分による信号量とが含まれる。ｂ_nには、波長８５０ｎｍの内部散乱光による信号量と、７５０ｎｍの光信号および８５０ｎｍの光信号の漏れ込み成分による信号量とが含まれる。Ｃ_n＿FD3には、７５０ｎｍの光信号および８５０ｎｍの光信号の漏れ込み成分による信号量が含まれる。

本実施形態における信号処理回路１１５は、以下の演算を行うことにより、浮遊拡散層４０４、４０５の信号成分から、漏れ込み成分を除去する。

２番目のフレーム期間における波長７５０ｎｍの信号成分および波長８５０ｎｍの信号成分は、浮遊拡散層４０４の信号量ａ₂と、浮遊拡散層４０５の信号量ｂ₂と、浮遊拡散層４０６の信号量Ｃ_2＿FD3と、１番目のフレーム期間に検出された浮遊拡散層４０４、４０５、４０６の各々の信号量Ｃ_1＿FD1、Ｃ_1＿FD2、Ｃ_1＿FD3とを用いて、以下の演算によって得られる。
波長７５０ｎｍの信号成分 ＝ ａ₂ − Ｃ_2＿FD3 × Ｃ_1＿FD1／Ｃ_1＿FD3
波長８５０ｎｍの信号成分 ＝ ｂ₂ − Ｃ_2＿FD3 × Ｃ_{１＿ＦＤ２}／Ｃ_1＿FD3

３番目のフレーム期間以降のｎ番目のフレーム期間についても同様に、波長７５０ｎｍの信号成分および波長８５０ｎｍの信号成分は、以下の演算によって得られる。
波長７５０ｎｍの信号成分 ＝ ａ_n − Ｃ_n＿FD3 × Ｃ_1＿FD1／Ｃ_1＿FD3
波長８５０ｎｍの信号成分 ＝ ｂ_n − Ｃ_n＿FD3 × Ｃ_1＿FD2／Ｃ_1＿FD3

本実施形態では、１番目のフレーム期間において全ての浮遊拡散層４０４、４０５、４０６をＯＦＦの状態にしているが、任意のフレーム期間で全ての浮遊拡散層４０４、４０５、４０６をＯＦＦにしてもよい。例えば、イメージセンサ１１３の熱蓄積などの影響で漏れ込み成分の量が変動することを考慮し、特定のフレーム期間の周期で全ての浮遊拡散層４０４、４０５、４０６をＯＦＦにして漏れ込み成分を検出してもよい。

以上のように、本実施形態では、制御回路１１４は、通常のフレーム期間とは異なる他のフレーム期間（例えば最初のフレーム期間）において、パルス光の表面反射成分がイメージセンサに入射している期間を少なくとも含む期間に、ドレイン４０２に信号電荷が排出される状態にして、光電変換素子で生じた信号電荷のうち、排出されずに残った信号電荷を浮遊拡散層４０４、４０５、４０６に蓄積させる。そして、浮遊拡散層４０４、４０５、４０６への信号電荷の蓄積が完了した後、イメージセンサ１１３に、浮遊拡散層４０４、４０５、４０６各々に蓄積された信号電荷に基づく信号を生成させる。ここで、通常のフレーム期間（図１１Ｂ）における浮遊拡散層４０４、４０５、４０６の信号をそれぞれＳ１、Ｓ１’、Ｓ２とし、キャリブレーションフレーム（図１１Ａ）における浮遊拡散層４０４、４０５、４０６の信号をそれぞれＳ３、Ｓ３’、Ｓ４とする。信号処理回路１１５は、Ｓ＝Ｓ１−Ｓ２×Ｓ３／Ｓ４の演算によって得られる信号Ｓを、中心波長７５０ｎｍのフレームにおける画素信号として生成する。同様に、信号処理回路１１５は、Ｓ’＝Ｓ１’−Ｓ２×Ｓ３’／Ｓ４の演算によって得られる信号Ｓ’を、中心波長８５０ｎｍのフレームにおける画素信号として生成する。

このような動作により、浮遊拡散層４０４、４０５、４０６各々への漏れ込み成分の分布に偏りが生じる場合であっても、浮遊拡散層４０４、４０５、４０６各々に蓄積される信号成分から漏れ込み成分を正しく除去することができる。本実施形態によれば、比較的安価な非テレセントリックな光学系１１１を使用することができる。また、浮遊拡散層４０４、４０５、４０６がフォトダイオードから等方的に配置されている必要もない。このため、撮像装置１０１の設計の自由度を高くすることができる。

（実施形態３）
次に、本開示の実施形態３における撮像装置１０１を説明する。本実施形態の撮像装置１０１は、内部散乱成分を検出する２つの浮遊拡散層と、漏れ込み成分を検出する浮遊拡散層との組み合わせを、フレーム期間ごとに変更する点で、実施形態２と異なっている。本実施形態によれば、キャリブレーションフレームを用いることなく、漏れ込み成分が除去された生体信号を生成することができる。以下、実施形態２と異なる点を中心に説明する。

本実施形態における撮像装置１０１は、実施形態１、２と同様、図５に示す構成を有する。本実施形態でも、非テレセントリックな光学系１１１が用いられる。本実施形態では、信号処理回路１１５が、対象物１０２の動きを検出し、対象物１０２が動いていないタイミングで、信号の補正に用いる係数を随時更新する機能を有する。信号処理回路１１５は、イメージセンサ１１３から出力された画素ごとの輝度情報の時間変化に基づいて、画像中の各点における動きを検出することができる。

図１３Ａから図１３Ｃは、本実施形態における制御方法を示すタイミング図である。図１３Ａは、１番目のフレーム期間のシステムタイミングを示している。図１３Ｂは、２番目のフレーム期間のシステムタイミングを示している。図１３Ｃは、３番目のフレーム期間のシステムタイミングを示している。４番目のフレーム期間以降は、図１３Ａ〜図１３Ｃに示す動作が順に繰り返される。

図１３Ａに示す１番目のフレーム期間の動作は、実施形態１における動作（図９）および実施形態２における通常のフレーム期間における信号を取得する際の動作（図１１Ｂ）と同じである。すなわち、制御回路１１４は、第１の光源１０３を周期的に発光させながら浮遊拡散層４０４に信号電荷を蓄積させる動作と、第２の光源１０４を周期的に発光させながら浮遊拡散層４０５に信号電荷を蓄積させる動作とを順に行う。浮遊拡散層４０６は、常に非アクティブである。これにより、浮遊拡散層４０４には、第１の光源１０３が発する中心波長７５０ｎｍのパルス光の内部散乱成分による信号電荷が蓄積される。浮遊拡散層４０５には、第２の光源１０４が発する中心波長８５０ｎｍのパルス光の内部散乱成分による信号電荷が蓄積される。浮遊拡散層４０６には、第１の光源１０３および第２の光源１０４が発する光の表面反射成分による信号電荷のうち、ドレイン４０２に排出されなかった信号電荷である漏れ込み成分が蓄積される。

図１３Ｂに示す２番目のフレーム期間の動作は、１番目のフレーム期間における浮遊拡散層４０４、４０５、４０６の役割を入れ替えた動作に相当する。第１の光源１０３、第２の光源１０４および電子シャッタの動作は１番目のフレーム期間と同じである。２番目のフレーム期間においては、第１の光源１０３が発光する期間は、浮遊拡散層４０６がアクティブにされ、浮遊拡散層４０４、４０５は非アクティブにされる。一方、第２の光源１０４が発光する期間は、浮遊拡散層４０４がアクティブにされ、浮遊拡散層４０５、４０６は非アクティブにされる。これにより、浮遊拡散層４０６には、第１の光源１０３が発する中心波長７５０ｎｍのパルス光の内部散乱成分による信号電荷が蓄積される。浮遊拡散層４０４には、第２の光源１０４が発する中心波長８５０ｎｍのパルス光の内部散乱成分による信号電荷が蓄積される。浮遊拡散層４０５には、第１の光源１０３および第２の光源１０４が発する光の表面反射成分による信号電荷のうち、ドレイン４０２に排出されなかった信号電荷である漏れ込み成分が蓄積される。

図１３Ｃに示す３番目のフレーム期間の動作は、２番目のフレーム期間における浮遊拡散層４０４、４０５、４０６の役割をさらに入れ替えた動作に相当する。第１の光源１０３、第２の光源１０４および電子シャッタの動作は１フレーム目および２フレーム目と同じである。３フレーム目においては、第１の光源１０３が発光する期間は、浮遊拡散層４０５がアクティブにされ、浮遊拡散層４０４、４０６は非アクティブにされる。一方、第２の光源１０４が発光する期間は、浮遊拡散層４０６がアクティブにされ、浮遊拡散層４０４、４０５は非アクティブにされる。これにより、浮遊拡散層４０５には、第１の光源１０３が発する中心波長７５０ｎｍのパルス光の内部散乱成分による信号電荷が蓄積される。浮遊拡散層４０６には、第２の光源１０４が発する中心波長８５０ｎｍのパルス光の内部散乱成分による信号電荷が蓄積される。浮遊拡散層４０４には、第１の光源１０３および第２の光源１０４が発する光の表面反射成分による信号電荷のうち、ドレイン４０２に排出されなかった信号電荷である漏れ込み成分が蓄積される。

４番目のフレーム期間以降は、図１３Ａから図１３Ｃに示す動作が順に繰り返される。このように、本実施形態では、７５０ｎｍの内部散乱光による信号電荷を蓄積する浮遊拡散層と、８５０ｎｍの内部散乱光による信号電荷を蓄積する浮遊拡散層と、信号電荷の漏れ込み成分を蓄積する浮遊拡散層とが、フレーム期間ごとにローテーションされる。このような動作により、実施形態２において設けられていたキャリブレーションフレームを設けることなく、信号から不要な成分を除去することができる。

以下、図１４および図１５を参照しながら、本実施形態における信号処理を説明する。

図１４は、本実施形態における信号処理回路１１５の構成を模式的に示すブロック図である。信号処理回路１１５は、図示されるように、イメージセンサ１１３からの信号を読み出す処理を実行する信号読み出し回路７００と、対象物１０２の動きを検出する処理を実行する動き検出回路７０２と、信号を補正する処理を実行する補正回路７０４と、補正後の信号に基づいて画像のデータを生成する処理を実行する画像処理回路７０６とを含む。これらの各処理は、例えば信号処理回路１１５におけるプロセッサがメモリに格納されたプログラムを実行することによって実行され得る。信号処理回路１１５は、イメージセンサ１１３から出力された各フレーム期間の信号を記録するフレームメモリである第１メモリ７０８（と、補正処理に用いられる係数を記録する第２メモリ７１０とを含む。第１メモリ７０８と第２メモリ７１０とは、同一のメモリであってもよいし、異なるメモリであってもよい。

図１５は、本実施形態における信号処理の具体例を説明するための図である。図１５は、ｎ番目（ｎは２以上の整数）のフレーム期間からｎ＋７番目のフレーム期間における１つの画素における浮遊拡散層４０４、４０５、４０６の信号量と、対象物１０２の動きの有無と、補正後の浮遊拡散層４０４、４０５、４０６の信号量とを例示している。

図１５において、浮遊拡散層４０４、４０５、４０６をそれぞれＦＤ１、ＦＤ２、ＦＤ３で表している。図１５において、７５０ｎｍの波長の内部散乱光の成分に漏れ込み成分が重畳された信号量はａで表され、８５０ｎｍの波長の内部散乱光の成分に漏れ込み成分が重畳された信号量はｂで表され、漏れ込み成分を示す信号量はｃで表されている。下付きの添え字は、フレーム期間の番号に対応する。ただし、ｎ番目のフレーム期間の番号を「１」、ｎ＋１番目のフレーム期間の番号を「２」といった具合に、フレーム期間の順番からｎを引いて１を加えた数をそのフレーム期間の番号としている。図１５に示されているように、例えば、信号読み出し処理では、ｎ番目のフレーム期間において、浮遊拡散層４０４の信号量をａ₁とし、浮遊拡散層４０５の信号量をｂ₁とし、浮遊拡散層４０６の信号量をｃ₁としている。ｎ＋１番目のフレーム期間においては、浮遊拡散層４０４の信号量をｂ₂とし、浮遊拡散層４０５の信号量をｃ₂とし、浮遊拡散層４０６の信号量をａ₂としている。ｎ＋２番目のフレーム期間においては、浮遊拡散層４０４の信号量をｃ₃とし、浮遊拡散層４０５の信号量をａ₃とし、浮遊拡散層４０６の信号量をｂ₃としている。以降のフレーム期間についても同様に、各信号量を図１５に示す記号で表す。図１５における「フレームメモリ読出し」とは、フレームメモリに記録された、直前のフレーム期間における同一画素の浮遊拡散層４０４、４０５、４０６の信号量を読み出す処理を意味する。

本実施形態では、記号ａおよびｂで表される信号量から、記号ｃで表される信号量に補正係数を掛けた量を減算することによって、補正後の信号が得られる。ここで、係数α、βを以下のように定義する。
α ＝ ｃ_＿FD2／ｃ_＿FD1
β ＝ ｃ_＿FD3／ｃ_＿FD1

ｃ_＿FD1、ｃ_＿FD2、ｃ_＿FD3は、それぞれ、浮遊拡散層４０４、４０５、４０６を用いて既に検出された漏れ込み成分の信号量を表す。ただし、αの決定に用いられるｃ_＿FD1およびｃ_＿FD2は、対象物１０２に動きがない２つのフレーム期間に得られた値である。同様に、βの決定に用いられるｃ_＿FD1およびｃ_＿FD3は、対象物１０２に動きがない他の２つのフレーム期間に得られた値である。

図１５に示す例では、ｎ番目のフレーム期間の検出の前に、係数αとしてα₁という値が、係数βとしてβ₁という値が、既に決定されている。これらの係数α₁、β₁を用いて、内部散乱成分を示す信号量が補正される。

例えば、ｎ番目のフレーム期間においては、波長７５０ｎｍの信号成分、波長８５０ｎｍの信号成分、および漏れ込み成分は、以下の式で表される。
波長７５０ｎｍの信号成分＝ａ₁−ｃ₁×ｃ_＿FD1／ｃ_＿FD3＝ａ₁−ｃ₁／β₁
波長８５０ｎｍの信号成分＝ｂ₁−ｃ₁×ｃ_＿FD2／ｃ_＿FD3＝ｂ₁−ｃ₁／β₁×α₁
漏れ込み成分 ＝ ｃ₁

α₁、β₁は、ｎ番目のフレーム期間の検出以前に決定され、第２メモリに書き込まれている。α₁は、対象物１０２に動きがない連続する２つのフレーム期間において、浮遊拡散層４０５によって検出された漏れ込み成分と、浮遊拡散層４０４によって検出された漏れ込み成分との比である。β₁は、対象物１０２に動きがない連続する２つのフレーム期間において、浮遊拡散層４０６によって検出された漏れ込み成分と、浮遊拡散層４０４によって検出された漏れ込み成分との比である。信号処理回路１１５は、イメージセンサ１１３から信号ａ₁、ｂ₁、ｃ₁を取得し、第２メモリから係数α₁、β₁の値を取得し、上式の演算を行うことにより、浮遊拡散層４０４および浮遊拡散層４０５の信号を補正する。

ｎ＋１番目のフレーム期間においては、波長７５０ｎｍの信号成分、波長８５０ｎｍの信号成分、および漏れ込み成分は、以下の式で表される。
波長７５０ｎｍの信号成分＝ａ₂−ｃ₂×ｃ_＿FD3／ｃ_＿FD2＝ａ₂−ｃ₂×β₁／α₁
波長８５０ｎｍの信号成分＝ｂ₂−ｃ₂×ｃ_＿FD1／ｃ_＿FD2＝ｂ₂−ｃ₂／α₁
漏れ込み成分＝ｃ₂

信号処理回路１１５は、イメージセンサ１１３から信号ａ₂、ｂ₂、ｃ₂を取得し、第２メモリから係数α₁、β₁の値を取得し、上式の演算を行うことにより、浮遊拡散層４０６および浮遊拡散層４０４の信号を補正する。

ｎ＋２番目のフレーム期間においては、波長７５０ｎｍの信号成分、波長８５０ｎｍの信号成分、および漏れ込み成分は、以下の式で表される。
波長７５０ｎｍの信号成分＝ａ₃−ｃ₃×ｃ_＿FD2／ｃ_＿FD1＝ａ₃−ｃ₃×α₁
波長８５０ｎｍの信号成分＝ｂ₃−ｃ₃×ｃ_＿FD3／ｃ_＿FD1＝ｂ₃−ｃ₃×β₁
漏れ込み成分 ＝ ｃ₃

信号処理回路１１５は、イメージセンサ１１３から信号ａ₃、ｂ₃、ｃ₃を取得し、第２メモリから係数α₁、β₁の値を取得し、上式の演算を行うことにより、浮遊拡散層４０５および浮遊拡散層４０６の信号を補正する。

以下、信号処理回路１１５は、ｎ＋３〜ｎ＋５番目のフレーム期間において、それぞれ、ｎ〜ｎ＋２番目のフレーム期間と同様の計算式を用いて信号を補正する。以後、同様に、３種類の計算式をフレーム期間毎に順番に適用して信号を補正する。このように、本実施形態では、浮遊拡散層４０４、浮遊拡散層４０５、および浮遊拡散層４０６の駆動方法がローテーションすることにより、各波長の信号成分を求める演算もローテーションする。

以上のように、上記の演算を行うことにより、信号を補正することができる。しかし、フレーム期間間で対象物１０２が動いてしまうと、表面反射光の入射の仕方が変化するため、漏れ込み成分の分布が変化し得る。その場合、それまでの係数α１、β１を適用した場合には正しい信号が得られない。そこで、本実施形態では、信号処理回路１１５は、対
象物１０２の動きを検出し、動きが検出された場合、次に静止したタイミングで、係数を更新する。対象物１０２の動きの検出は、例えば画素ごとまたは近接する画素群ごとに行われ得る。動き検出の方法は、特定の方法に限られず、任意の方法で行ってよい。例えば、信号処理回路１１５は、個々の画素における輝度値の時間あたりの変化量と所定の閾値とを比較することによって対象物１０２のその画素における動きを検出してもよい。あるいは、着目する画素を中心とする画素群における対象物１０２の動きベクトルを計算し、当該動きベクトルの大きさが所定の閾値よりも大きい場合に、対象物１０２が動いていると判断してもよい。

図１５に示す例では、例えばｎ番目のフレーム期間で信号が生成される際、各画素における３つの浮遊拡散層の信号ａ₁、ｂ₁、ｃ₁が、信号処理回路１１５に入力され、フレームメモリである第１メモリに記録される。信号処理回路１１５は、フレームメモリに既に記録されている１フレーム期間前の信号ａ₀、ｂ₀、ｃ₀を読み出す。信号処理回路１１５は、ｎ番目のフレーム期間の信号ａ₁、ｂ₁、ｃ₁と、１フレーム期間前の信号ａ₀、ｂ₀、ｃ₀とを比較し、連続する２つのフレーム期間の間での対象物１０２の動きの有無を判断する。信号処理回路１１５は、以降のフレーム期間についても、同様の動作を行い、フレーム期間毎に、対象物１０２の動きの有無を判断する。

図１５に示す例では、ｎ＋２番目のフレーム期間までは対象物１０２の動きが検出されているが、ｎ＋３番目のフレーム期間において、対象物１０２がｎ＋２番目のフレーム期間から動いておらず、静止していることが検出されている。同様に、ｎ＋７番目のフレーム期間において、対象物１０２がｎ＋６番目のフレーム期間から動いていないことが検出されている。このため、信号処理回路１１５は、ｎ＋３番目のフレーム期間を生成するときに、α２＝Ｃ２／Ｃ３の計算を行い、それまでの係数α１をα２に更新して第２メモリに記録する。同様に、ｎ＋７番目のフレーム期間での信号を生成する際に、β２＝Ｃ７／Ｃ６の計算を行い、それまでの係数β₁をβ₂に更新して第２メモリに記録する。信号処理回路１１５は、係数を更新すると、その後は更新した係数を用いて、波長７５０ｎｍおよび８５０ｎｍのそれぞれの信号成分を算出する。

以上の説明では、２番目のフレーム期間以降の処理を想定して説明したが、１番目のフレーム期間についても同様の処理を適用できる。１番目のフレーム期間で用いる係数αおよびβは、例えば工場出荷時に検査した漏れ込み成分の比率から決定され得る。そのような係数の初期値は予め信号処理回路１１５の第２メモリに記録される。

本実施形態では第１の光源１０３および第２の光源１０４が用いられるが、いずれか一方の光源のみを用いて同様の動作を行ってもよい。その場合、浮遊拡散層の数は２つ以上であればよく、連続する２つのフレーム期間で２つの浮遊拡散層の役割を交互に入れ替えればよい。例えば、本実施形態の構成から第２の光源１０４および浮遊拡散層４０５を除外した構成を考える。そのような構成では、制御回路１１４は、連続する第１および第２のフレーム期間について、例えば以下の動作を行う。

＜第１のフレーム期間＞
（１）第１の光源１０３に少なくとも１つのパルス光を出射させ、第１の光源１０３から出射されたパルス光のうち、表面反射成分がイメージセンサ１１３に入射している期間を含む期間に、信号電荷が排出される状態にして、光電変換素子で生じた信号電荷のうち、ドレイン４０２に排出されずに残った信号電荷を浮遊拡散層４０６に蓄積させる。
（２）第１の光源１０３から出射されたパルス光のうち、表面反射成分の後端がイメージセンサ１１３に入射した後、内部散乱成分がイメージセンサ１１３に入射している期間に、ドレイン４０２に信号電荷が排出されず、かつ浮遊拡散層４０４に信号電荷が蓄積される状態にして、浮遊拡散層４０４に信号電荷を蓄積させる。
（３）浮遊拡散層４０４、４０６への信号電荷の蓄積が完了した後、イメージセンサ１１３に、浮遊拡散層４０４に蓄積された信号電荷に基づく第１の信号と、浮遊拡散層４０６に蓄積された信号電荷に基づく第２の信号とを生成させる。

＜第２のフレーム期間＞
（４）第１の光源１０３に少なくとも１つのパルス光を出射させ、第１の光源１０３から出射されたパルス光のうち、表面反射成分がイメージセンサ１１３に入射している期間を含む期間に、信号電荷が排出される状態にして、光電変換素子で生じた信号電荷のうち、ドレイン４０２に排出されずに残った信号電荷を浮遊拡散層４０４に蓄積させる。
（５）第１の光源１０３から出射されたパルス光のうち、表面反射成分の後端がイメージセンサ１１３に入射した後、内部散乱成分がイメージセンサ１１３に入射している期間に、ドレイン４０２に信号電荷が排出されず、かつかつ浮遊拡散層４０６に信号電荷が蓄積される状態にして、浮遊拡散層４０６に信号電荷を蓄積させる。
（６）浮遊拡散層４０４および浮遊拡散層４０６への信号電荷の蓄積が完了した後、イメージセンサ１１３に、浮遊拡散層４０４に蓄積された信号電荷に基づく第３の信号と、浮遊拡散層４０６に蓄積された信号電荷に基づく第４の信号とを生成させる。

信号処理回路１１５は、画素ごとに、第３の信号に予め計算された係数（前述のβに相当）を乗算した信号を、第４の信号から減算することにより、第２のフレーム期間におけるフレームの各画素の信号値を算出することができる。

第２のフレーム期間の次の第３のフレーム期間においては、再び第１のフレーム期間と同様の動作が行われる。ただし、第３のフレーム期間においては、信号処理回路１１５は、画素ごとに、第２の信号に予め計算された係数（１／βに相当）を乗算した信号を、第１の信号から減算することにより、各画素の信号値を算出する。また、信号処理回路１１５は、フレームのデータに基づいて、対象物１０２の動きを画素ごとに検出し、対象物１０２の動きがないことを検出したとき、第１から第４の信号の少なくとも一部を用いて、係数を更新してもよい。これにより、対象物１０２に動きがある場合でも高精度の検出が可能になる。

以上の処理により、本実施形態では、フレーム期間ごとに、各画素における対象物１０２からの光の内部散乱成分を高い精度で検出することができる。各浮遊拡散層への漏れ込み成分の分布に偏りが生じる場合であっても、各浮遊拡散層に蓄積される信号成分から漏れ込み成分を正しく除去することができる。本実施形態によれば、比較的安価な非テレセントリックな光学系１１１を使用することができ、複数の浮遊拡散層がフォトダイオードから等方的に配置されている必要がない。このため、撮像装置１０１の設計自由度を高くすることができる。また、実施形態２のようにキャリブレーションフレームを設ける必要がないため、フレームレートをより高くすることができる。

（実施形態４）
次に、実施形態４の撮像装置１０１を説明する。本実施形態は、光の漏れ込み成分に加えて背景光成分を同時に検出できる点で実施形態３と異なっている。内部散乱成分を検出する２つの浮遊拡散層と、漏れ込み成分を検出する浮遊拡散層との組み合わせを、フレーム期間ごとに変更する点は、実施形態３と同じである。漏れ込み成分に加えて背景光成分を検出することにより、信号から漏れ込み成分と背景光成分とを精度良く除去することが可能である。以下、実施形態３と異なる点を中心に説明する。

撮像装置１０１を使用する際に、第１の光源１０３および第２の光源１０４から出射されるパルス光以外に、照明および自然光などの環境に起因する背景光が存在することが一般的である。そのような背景光には、第１の光源１０３および第２の光源１０４から出射
されるパルス光の波長と同じ波長の成分が含まれる場合がある。その場合、ダブルバンドパスフィルタ１１２をイメージセンサ１１３の撮像面に対向して配置していたとしても、イメージセンサ１１３に背景光が入射し、ノイズを発生させるおそれがある。そこで、本実施形態では、各フレーム期間において、漏れ込み成分に加えて背景光成分を検出する期間が設けられる。

図１６Ａから図１６Ｃは、本実施形態における動作を示すタイミング図である。図１６Ａは、１番目のフレーム期間の動作を示すタイミング図である。図１６Ｂは、２番目のフレーム期間の動作を示すタイミング図である。図１６Ｃは、３番目のフレーム期間の動作を示すタイミング図である。４番目のフレーム期間以降は、図１６Ａ〜図１６Ｃに示す動作が順に繰り返される。

本実施形態では、実施形態３と比較して、各フレーム期間の信号を取得する際、７５０ｎｍのレーザーパルス光による信号電荷の蓄積期間と、８５０ｎｍのレーザーパルス光による信号電荷の蓄積期間とが終了した後、背景光成分を取得するための期間が追加される。当該期間では、第１の光源１０３および第２の光源１０４を非発光の状態にして、浮遊拡散層４０４、４０５、４０６のうち１つのみをアクティブにし、他の期間と同様に電子シャッタの開閉が行われる。

１番目のフレーム期間においては、７５０ｎｍの発光期間および８５０ｎｍの発光期間が終了した後、第１の光源１０３および第２の光源１０４を非発光の状態にして、浮遊拡散層４０６のみをアクティブにし、浮遊拡散層４０４または浮遊拡散層４０５がアクティブの期間における電子シャッタの制御時間と同じ時間で、同じ回数だけ電子シャッタをＯＰＥＮにする。これにより、浮遊拡散層４０６には、浮遊拡散層４０４または浮遊拡散層４０５に蓄積された背景光成分と同程度の量の背景光成分が蓄積される。第１の光源１０３および第２の光源１０４が発光している期間の動作は、実施形態３における図１３Ａの動作と同じである。

２番目のフレーム期間においては、７５０ｎｍの発光期間および８５０ｎｍの発光期間が終了した後、第１の光源１０３および第２の光源１０４を非発光の状態にして、浮遊拡散層４０５のみをアクティブにし、浮遊拡散層４０４または浮遊拡散層４０６がアクティブの期間における電子シャッタの制御時間と同じ時間で、同じ回数だけ電子シャッタをＯＰＥＮにする。これにより、浮遊拡散層４０５には、浮遊拡散層４０４または浮遊拡散層４０６に蓄積された背景光成分と同程度の量の背景光成分が蓄積される。第１の光源１０３および第２の光源１０４が発光している期間の動作は、実施形態３における図１３Ｂの動作と同じである。

３番目のフレーム期間においては、７５０ｎｍの発光期間および８５０ｎｍの発光期間が終了した後、第１の光源１０３および第２の光源１０４を非発光の状態にして、浮遊拡散層４０４のみをアクティブにし、浮遊拡散層４０５または浮遊拡散層４０６がアクティブの期間における電子シャッタの制御時間と同じ時間で、同じ回数だけ電子シャッタをＯＰＥＮにする。これにより、浮遊拡散層４０４には、浮遊拡散層４０５または浮遊拡散層４０６に蓄積された背景光成分と同程度の量の背景光成分が蓄積される。第１の光源１０３および第２の光源１０４が発光している期間の動作は、実施形態３における図１３Ｃの動作と同じである。

各浮遊拡散層に含まれる信号量から、７５０ｎｍの信号量および８５０ｎｍの信号量を算出する方法は、実施形態３における方法と同じであるため、説明を省略する。

なお、背景光成分を取得する期間は、第１の光源１０３および第２の光源１０４の発光
期間が終了した後である必要はない。第１の光源１０３および第２の光源１０４の発光期間の前、または第１の光源１０３の発光期間と第２の光源１０４の発光期間との間に行ってもよい。

以上のように、本実施形態における制御回路１１４は、各フレーム期間において、表面反射光の漏れ込み成分を検出する蓄積部に、パルス光の表面反射成分に主に起因する信号電荷を蓄積させ、かつ、いずれのパルス光もイメージセンサ１１３に入射していない期間（例えばパルス発光が終了した後）に、信号電荷が排出されない状態にして、当該蓄積部に信号電荷をさらに蓄積させる。

以上の処理により、検出した信号から、表面反射光の漏れ込み成分だけでなく、背景光成分を除去することができる。このため、各画素における内部散乱成分をさらに高い精度で検出することができる。本実施形態においても、各浮遊拡散層への漏れ込み成分の分布に偏りが生じる場合であっても、各ＦＤに蓄積される信号成分から漏れ込み成分を正しく除去することができる。本実施形態によれば、比較的安価な非テレセントリックな光学系１１１を使用することができ、複数の浮遊拡散層がフォトダイオードから等方的に配置されている必要がない。このため、撮像装置１０１の設計自由度を高くすることができる。また、実施形態２のようにキャリブレーションフレームを設ける必要がないため、フレームレートをより高くすることができる。

なお、本実施形態では、実施形態３と同様、内部散乱成分を検出する浮遊拡散層と、漏れ込み成分を検出する浮遊拡散層との組み合わせを、フレーム期間ごとにローテーションさせているが、実施形態２と同様に、いずれの浮遊拡散層もアクティブにしないキャリブレーションフレーム期間を設けてもよい。その場合、実施形態２における信号処理と同様の処理を適用して生体信号を取得できる。

（実施形態５）
次に、実施形態５の撮像装置１０１を説明する。本実施形態は、表面反射光の漏れ込み成分に加えて背景光成分を同時に検出する点で実施形態４と共通するが、背景光成分を検出するタイミングが実施形態４とは異なる。内部散乱成分を検出する２つの浮遊拡散層と、漏れ込み成分を検出する浮遊拡散層との組み合わせを、フレーム期間ごとに変更する点は、実施形態３と同じである。漏れ込み成分に加えて背景光成分を検出することにより、検出した信号から漏れ込み成分と背景光成分とを精度良く除去することが可能である。以下、実施形態４と異なる点を中心に説明する。

図１７Ａから図１７Ｃは、本実施形態における動作を示すタイミング図である。図１７Ａは、１番目のフレーム期間の動作を示すタイミング図である。図１７Ｂは、２番目のフレーム期間の動作を示すタイミング図である。図１７Ｃは、３番目のフレーム期間の動作を示すタイミング図である。４番目のフレーム期間以降は、図１７Ａ〜図１７Ｃに示す動作が順に繰り返される。

図１７Ａ〜図１７Ｃからわかるように、本実施形態では、実施形態４において各フレーム期間の最後に行われていた背景光成分を蓄積するための動作が、連続する２つのパルス発光の中間のタイミングで行われる。浮遊拡散層制御の高速化により、背景光成分および漏れ込み成分を、内部散乱成分と同様、発光パルスとほぼ同じタイミングで取得することができる。実施形態４と比べて背景光成分を取得するまでの時間が短縮されるため、フレームレートを向上させることができる。

以上のように、本実施形態では、第１の光源１０３および第２の光源１０４の各々が、連続する２つのパルス光（第１および第２のパルス光）を発生させる間に、背景光成分の
信号電荷の蓄積が行われる。制御回路１１４は、第１のパルス光のイメージセンサ１１３への入射が終了した後、第２のパルス光のイメージセンサへ１１３の入射が開始する前に、信号電荷が排出されない状態にして、漏れ込み成分を検出する蓄積部に信号電荷をさらに蓄積させる。信号処理回路１１５は、実施形態３、４と同様の処理を行い、内部散乱成分に起因する信号から漏れ込み成分および背景光成分を除去する。

以上の動作により、実施形態４と同様の効果を得ることができる。さらに、実施形態４よりもフレームレートを高くすることができる。

（実施形態６）
次に実施形態６の撮像装置１０１を説明する。本実施形態では、１回の発光について異なる２位相の電子シャッタ期間が設けられ、それぞれ異なる浮遊拡散層に信号電荷が蓄積される。これにより、対象物１０２の浅部の頭皮血流の情報と、深部の脳血流の情報とを高い精度で分離して検出することができる。

図１８は、本実施形態の撮像装置１０１の構成を示す図である。本実施形態では、イメージセンサ１１３の各画素の構成および信号処理回路１１５の動作が、実施形態５とは異なっている。以下、実施形態５と異なる点を中心に説明する。

本実施形態における信号処理回路１１５は、対象物１０２の浅部の情報と、深部の情報とを分離する処理を行う第１回路８０２と、イメージのデータを生成する処理を行う第２回路８０４と、動き検出処理とを実行する動き検出回路８０６と、メモリ８０８とを含む。これらのうち、対象物１０２の浅部の情報と、深部の情報とを分離する処理以外は、実施形態５における処理と同様である。

図１９は、本実施形態におけるイメージセンサ１１３の画素構成を模式的に示す図である。本実施形態におけるイメージセンサ１１３の各画素は、５個の浮遊拡散層４０４、４０５、４０６、４０７、４０８を有している。生体の浅部と深部の情報を波長ごとに独立して取得するために、第１の光源１０３および第２の光源１０４のそれぞれに対応して２個ずつ浮遊拡散層が設けられている。なお、本実施形態では、実施形態３について説明した制御が行われるため、浮遊拡散層４０４、４０５、４０６、４０７、４０８は、フォトダイオード４０３から等方的に配置されている必要はない。

図２０は、イメージセンサ１１３の構成の一例を模式的に示す図である。図２０において、一点鎖線の枠で囲まれた領域が１つの画素４０１に相当する。画素４０１は、５つの浮遊拡散層４０４、４０５、４０６、４０７、４０８を含む。５つの浮遊拡散層４０４、４０５、４０６、４０７、４０８に蓄積される信号は、あたかも一般的なＣＭＯＳイメージセンサの５画素の信号のように取り扱われ、イメージセンサ１１３から出力される。なお、図２０には、各浮遊拡散層４０４、４０５、４０６、４０７、４０８に信号電荷の蓄積が完了してから、浮遊拡散層４０４、４０５、４０６、４０７、４０８内の信号電荷をイメージセンサ１１３から出力する動作（「低速読み出し動作」と称する。）に関係する要素のみが示されている。ドレイン４０２、フォトダイオード４０３、および高速タイミング制御回路４１４は、低速読み出し動作には直接関係しないので、図２０からは省略されている。

図２１Ａから図２１Ｅは、本実施形態における制御方法を示すタイミング図である。図２１Ａから図２１Ｅにおいて、信号Ａ１、Ａ２はそれぞれ第１の光源１０３、第２の光源１０４から出射されるパルス光の波形を示し、信号Ｂは電子シャッタのＯＰＥＮ、ＣＬＯＳＥのタイミングを示し、信号Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５はそれぞれ浮遊拡散層４０４、４０５、４０６、４０７，４０８のＯＮ（すなわち浮遊拡散層に電荷が蓄積される状
態）、ＯＦＦ（すなわち浮遊拡散層に電荷が蓄積されない状態）のタイミングを示す。図２１Ａは、１番目のフレーム期間のシステムタイミングを示している。図２１Ｂは、２番目のフレーム期間のシステムタイミングを示している。図２１Ｃは、３番目のフレーム期間のシステムタイミングを示している。図２１Ｄは、４番目のフレーム期間のシステムタイミングを示している。図２１Ｅは、５番目のフレーム期間のシステムタイミングを示している。６番目のフレーム期間以降は、図２１Ａ〜図２１Ｅに示す動作が順に繰り返される。図２１Ａ〜図２１Ｅからわかるように、本実施形態では、フレーム期間ごとに、浮遊拡散層４０４、４０５、４０６、４０７、４０８の各々の役割が順番に変更されている。

図２１Ａに示す１番目のフレーム期間においては、中心波長７５０ｎｍのパルス光の内部散乱成分は浮遊拡散層４０４、４０５によって検出される。中心波長８５０ｎｍのパルス光の内部散乱成分は浮遊拡散層４０６、４０７によって検出される。表面反射光の漏れ込み成分および背景光成分は、浮遊拡散層４０８によって検出される。

図２１Ｂに示す２番目のフレーム期間においては、中心波長７５０ｎｍのパルス光の内部散乱成分は浮遊拡散層４０５、４０６によって検出される。中心波長８５０ｎｍのパルス光の内部散乱成分は浮遊拡散層４０７、４０８によって検出される。表面反射光の漏れ込み成分および背景光成分は、浮遊拡散層４０４によって検出される。

図２１Ｃに示す３番目のフレーム期間においては、中心波長７５０ｎｍのパルス光の内部散乱成分は浮遊拡散層４０６、４０７によって検出される。中心波長８５０ｎｍのパルス光の内部散乱成分は浮遊拡散層４０４、４０８によって検出される。表面反射光の漏れ込み成分および背景光成分は、浮遊拡散層４０５によって検出される。

図２１Ｄに示す４番目のフレーム期間においては、中心波長７５０ｎｍのパルス光の内部散乱成分は浮遊拡散層４０７、４０８によって検出される。中心波長８５０ｎｍのパルス光の内部散乱成分は浮遊拡散層４０４、４０５によって検出される。表面反射光の漏れ込み成分および背景光成分は、浮遊拡散層４０６によって検出される。

図２１Ｅに示す５番目のフレーム期間においては、中心波長７５０ｎｍのパルス光の内部散乱成分は浮遊拡散層４０４、４０８によって検出される。中心波長８５０ｎｍのパルス光の内部散乱成分は浮遊拡散層４０５、４０６によって検出される。表面反射光の漏れ込み成分および背景光成分は、浮遊拡散層４０７によって検出される。

各フレーム期間における具体的な動作は、光源の発光に同期して制御される浮遊拡散層の数が２個に増えた点を除いて、実施形態５の動作と同様である。

図２２Ａは、図２１Ａに示す時刻ａから時刻ｂにおける動作をより詳細に示す図である。図２２Ｂは、図２２Ａにおける点線枠内を拡大して示す図である。

図２２Ａおよび図２２Ｂにおいて、信号Ａは、第１の光源１０３から出射されるパルス光の波形を示している。信号Ｄは、パルス光のうち、対象物１０２の表面で反射されて戻ってくる表面反射成分Ｉ１の波形を示している。信号Ｅは、パルス光のうち、対象物１０２の内部で散乱されて戻ってくる内部散乱成分Ｉ２の波形を示している。信号Ｆは、表面反射成分Ｉ１と内部散乱成分Ｉ２とを合わせた波形を示している。信号Ｂは、電子シャッタのＯＰＥＮ、ＣＬＯＳＥのタイミングを示している。信号Ｃ１、Ｃ２はそれぞれ浮遊拡散層４０４、４０５のＯＮ（すなわち浮遊拡散層に電荷が蓄積される状態）、ＯＦＦ（すなわち浮遊拡散層に電荷が蓄積されない状態）のタイミングを示す。

これらの図からわかるように、本実施形態では、パルス光の表面反射成分が消失するタ
イミングである時刻ｆで電子シャッタがＣＬＯＳＥからＯＰＥＮに切り替えられる。発光パルス幅相当の期間、ＯＰＥＮの期間が維持され、時刻ｊで再びＣＬＯＳＥに切り替えられる。この際、浮遊拡散層４０４は、シャッタＯＰＥＮ時には既にアクティブであり、シャッタがＯＰＥＮになっている最中の時刻ｉで非アクティブにされる。浮遊拡散層４０４が非アクティブになると同時に、浮遊拡散層４０５がアクティブにされる。シャッタがＣＬＯＳＥになるタイミングまで、浮遊拡散層４０５はアクティブの状態を継続し、その後、非アクティブにされる。第１の光源１０３は繰り返しパルス発光するので、電子シャッタ、浮遊拡散層４０４、および浮遊拡散層４０５も、発光に同期して制御される。

図２２Ａに示す期間において、浮遊拡散層４０６、４０７、４０８は非アクティブになっている。よって、電子シャッタがＯＰＥＮである期間の前半である時刻ｆから時刻ｉまでの信号電荷は浮遊拡散層４０４に蓄積され、後半である時刻ｉから時刻ｊまでの信号電荷は浮遊拡散層４０５に蓄積される。このため、浮遊拡散層４０４の信号電荷は、対象物１０２の深部である脳からの光による成分よりも、対象物１０２の浅部である頭皮からの光による成分を非常に多く含む。一方、浮遊拡散層４０５の信号電荷は、対象物１０２の浅部である頭皮からの光による成分よりは少ないものの、対象物１０２の深部である脳からの光による成分の割合が比較的多い。

電子シャッタのＯＰＥＮの期間の前半と後半に分割して浮遊拡散層４０４、４０５に信号電荷をそれぞれ蓄積させることにより、浅部の成分と深部の成分との比率が、浮遊拡散層４０４と浮遊拡散層４０５とでは異なるようにすることができる。

以上の動作は、中心波長８５０ｎｍのパルス光を発する第２の光源１０４が駆動される期間においても、使用される浮遊拡散層のペアが異なる点を除き、同じである。１番目のフレーム期間の第２の光源１０４が駆動される期間においては、浮遊拡散層４０４、４０５、４０８は非アクティブになっている。よって、電子シャッタがＯＰＥＮである期間の前半の信号電荷は浮遊拡散層４０６に蓄積され、後半の信号電荷は浮遊拡散層４０７に蓄積される。このため、浮遊拡散層４０６の信号電荷は、対象物１０２の深部である脳からの光による成分よりも、対象物１０２の浅部である頭皮からの光による成分を非常に多く含む。一方、浮遊拡散層４０７の信号電荷は、対象物１０２の浅部である頭皮からの光による成分よりは少ないものの、対象物１０２の深部である脳からの光による成分の割合が比較的多い。

図２１Ａに示すように、１番目のフレーム期間において、浮遊拡散層４０８は、７５０ｎｍの光と８５０ｎｍの光がイメージセンサ１１３から消光している期間にＯＮにされる。この間、浮遊拡散層４０４、４０５、４０６、４０７はＯＦＦにされているため、フォトダイオードで光電変換されて発生した信号電荷は浮遊拡散層４０８に蓄積される。即ち、背景光成分が浮遊拡散層４０８からの信号に含まれる。なお、浮遊拡散層４０８の露光時間および露光回数は、浮遊拡散層４０４、４０５、４０６、４０７のそれぞれの露光時間および露光回数と等しい。

図２１Ｂから図２１Ｄに示す他のフレーム期間の動作は、アクティブにされる３つの浮遊拡散層の組み合わせが異なる点を除き、１番目のフレーム期間の動作と同じであるため、説明を省略する。また、各浮遊拡散層から得られる信号に基づいて、７５０ｎｍの光の内部散乱成分の信号量および８５０ｎｍの光の内部散乱成分の信号量を算出する方法は、実施形態３における方法（例えば図１５）と同様の考え方で実行できるため、説明を省略する。

以上のように、本実施形態では、実施形態５の効果に加えて、光源ごとに、生体の深部の成分の割合が相対的に多い信号と、少ない信号とを得ることができる。このため、信号
処理回路１１５は、両者の信号に基づいて、頭皮血流の状態を示す信号と、脳血流の状態とを示す信号を生成することができる。

なお、本実施形態では、実施形態３と同様、内部散乱成分を検出する浮遊拡散層と、漏れ込み成分を検出する浮遊拡散層との組み合わせを、フレーム期間ごとにローテーションさせているが、実施形態２と同様に、いずれの浮遊拡散層もアクティブにしないキャリブレーションフレームを設けてもよい。その場合、実施形態２における信号処理と同様の処理を適用して生体信号を取得できる。

（実施形態７）
次に実施形態７の撮像装置１０１を説明する。本実施形態は、イメージセンサ１１３がＣＣＤ型である場合について、具体的に説明する。本実施形態では、特定の浮遊拡散層のポテンシャルを他の浮遊拡散層よりも相対的に低くすることでフォトダイオードから信号電荷を読み出す。本実施形態は、特定の浮遊拡散層以外の他の浮遊拡散層への光漏れ成分の漏れ込みが少ない場合において適用される。

図２３にＣＣＤ型のイメージセンサ１１３の画素９０１の概要を示す。画素９０１は、ＣＣＤ型のイメージセンサ１１３へ入射した光が電荷信号に変換するフォトダイオード９０３と、電子シャッタ９０２と、浮遊拡散層９０４、浮遊拡散層９０５を備えている。尚、各浮遊拡散層には、電荷を垂直転送するためのゲート電極（図示しない）が複数含まれているものとする。

電子シャッタ９０２は、フォトダイオード９０３に対して基板側（紙面に対して垂直な方向）に配置されている。また、フォトダイオード９０３に蓄積された信号は、電子シャッタ９０２によって基板側に流れるとする。もしくは、浮遊拡散層内の信号電荷をイメージセンサ１１３から出力する場合には、ポテンシャルが低くなる浮遊拡散層（図中では浮遊拡散層９０４）に流れるとする。尚、本実施形態に係る撮像装置１０１の全体構成は図５と同じであるが、簡単のため、第２の光源１０４は用いずに、第１の光源１０３のみを用いて１つの波長の光を利用した場合を説明する。

図２４は本実施形態の動作を示すタイミング図である。信号Ａ１は第１の光源１０３から出射されるパルス光の波形を示し、信号Ｂは電子シャッタ９０２のＯＰＥＮ／ＣＬＯＳＥのタイミングを示し、信号Ｃ１、Ｃ２はそれぞれ浮遊拡散層９０４、９０５のＯＮ／ＯＦＦのタイミングを示す。

浮遊拡散層９０４は、生体に照射したパルス光のうち、生体中を散乱した成分を検出する。この時、浮遊拡散層９０４のポテンシャルは浮遊拡散層９０５よりも相対的に低く設定されている。そのため、光漏れ成分の殆どは浮遊拡散層９０４へ漏れ込み、浮遊拡散層９０５へ漏れ込む光漏れ成分は無視可能なほど少ない。

次に、図２４の矢印で示す時刻に、浮遊拡散層９０４に蓄積された信号電荷を図示しない他の浮遊拡散層へ垂直転送するとともに、浮遊拡散層９０５に蓄積されている信号電荷を浮遊拡散層９０４へ垂直転送する。すなわち、各浮遊拡散層に蓄積されている信号電荷を一つずつずらしていく。これによって、あたかも浮遊拡散層９０５の物理的な位置が浮遊拡散層９０４の位置へ移動したようにみえるため、浮遊拡散層９０４を仮想的に浮遊拡散層９０５として扱う。このとき、浮遊拡散層９０４は、光漏れ成分を検出するため、読み出し転送の状態（ポテンシャルを他の浮遊拡散層よりも低くした状態）にしたままにして、電子シャッタはＣＬＯＳＥの状態を維持する。これにより、浮遊拡散層９０４には光漏れ成分のみが検出されるが、浮遊拡散層９０４は仮想的に浮遊拡散層９０５として扱われるため、撮像装置１０１としては光漏れ成分のみを検出したのは浮遊拡散層９０５であ
ると認識する。

このとき、実施形態４と同じように、パルス光がイメージセンサ上に到達して十分な時間が経過した後に電子シャッタをＯＰＥＮにすることで背景光も同時に取得することができる。

このような駆動とすることで、一つの浮遊拡散層は生体を散乱した成分と光漏れ成分とを検出し、他の浮遊拡散層は光漏れ成分と背景光成分とを検出する。異なる浮遊拡散層で検出されたこれらの成分を減算処理することで、生体を散乱した成分を精度良く求めることができる。

本開示の技術は、例えば、脳血流などの生体情報の検出に有用である。例えば、人体の頭皮血流および頭部内部の脳血流を非接触で分離して検出する用途に利用できる。生体センシング以外にも、例えば、材料分析、食品分析、および車載センシングシステム等に応用できる。

１０１ 撮像装置
１０２ 対象物
１０３ 第１の光源
１０４ 第２の光源
１１１ 光学系
１１２ ダブルバンドパスフィルタ
１１３ イメージセンサ
１１４ 制御回路
１１５ 信号処理回路
４０１ 画素
４０２ ドレイン
４０３ フォトダイオード
４０４、４０５、４０６、４０７、４０８ 浮遊拡散層 ４１４ 高速タイミング制御回路
５０２ 行選択回路
５０３ 列選択回路
５０４ 垂直信号線
５０５ ソースフォロワ電源
５０６ ソースフォロワ負荷
５０７ ＡＤ変換器
５０８ 行選択トランジスタ
５０９ ソースフォロワトランジスタ
５１０ リセットトランジスタ
６０１ 画素駆動回路
６０２ 水平ＣＣＤ
６０３ 出力回路
６０４ 垂直ＣＣＤ
６０５ 遮光部材
６０６ 電極
６０９ウェル領域
７００ 信号読み出し回路
７０２、８０６ 動き検出回路
７０４ 補正回路
７０６ 画像処理回路
７０８ 第１メモリ
７１０ 第２メモリ
８０２ 第１回路
８０４ 第２回路
８０８ メモリ

Claims (13)

1. 対象物の画像を撮像するための撮像装置であって、
   前記対象物に照射される少なくとも１つのパルス光を出射する第１の光源、
   複数の画素を含み、前記複数の画素の各々が、
   入射した光を信号電荷に変換する光電変換素子と、
   前記信号電荷を蓄積する第１の蓄積部と、
   前記信号電荷を蓄積する第２の蓄積部と、
   前記信号電荷を排出する排出部と、を含む、イメージセンサ、並びに
   前記第１の光源および前記イメージセンサを制御する制御回路
   を備え、
   前記制御回路は、１つのフレームの前記画像を撮像する期間であるフレーム期間において、
   前記第１の光源に前記少なくとも１つのパルス光を出射させ、
   前記少なくとも１つのパルス光のうち、前記対象物の表面で反射された表面反射成分が前記イメージセンサに入射している期間を含む第１期間に、
   前記イメージセンサの状態を、前記排出部に前記信号電荷が排出される状態にすることにより、前記信号電荷のうち、前記排出部に排出されなかった部分を前記第１の蓄積部および前記第２の蓄積部に蓄積させ、
   前記少なくとも１つのパルス光のうち、前記対象物の内部で散乱された内部散乱成分が前記イメージセンサに入射している第２期間に、
   前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第１の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第１の蓄積部に前記信号電荷を蓄積させ、
   前記第１期間および前記第２期間の後、前記イメージセンサに、前記第１の蓄積部に蓄積された前記信号電荷に基づく第１の信号と、前記第２の蓄積部に蓄積された前記信号電荷に基づく第２の信号とを生成させる、
   撮像装置。
2. 前記イメージセンサに電気的に接続された信号処理回路をさらに備え、
   前記信号処理回路は、前記複数の画素の各々について、前記第１の信号および前記第２の信号を用いた演算を行うことにより、前記画像を示す信号を生成する、
   請求項１に記載の撮像装置。
3. 前記信号処理回路は、前記複数の画素の各々について、前記第１の信号から前記第２の信号を減算することにより、前記画像を示す信号を生成する、
   請求項２に記載の撮像装置。
4. 前記制御回路は、
   前記フレーム期間とは異なる他のフレーム期間において、
   前記第１の光源に前記少なくとも１つのパルス光を出射させ、
   前記少なくとも１つのパルス光のうち、前記表面反射成分が前記イメージセンサに入射している期間を含む第３期間に、
   前記イメージセンサの状態を、前記排出部に前記信号電荷が排出される状態にすることにより、前記信号電荷のうち、前記排出部に排出されなかった部分を前記第１の蓄積部および第２の蓄積部に蓄積させ、
   前記第３期間の後、前記イメージセンサに、前記第１の蓄積部に蓄積された前記信号電荷に基づく第３の信号と、前記第２の蓄積部に蓄積された前記信号電荷に基づく第４の信号とを生成させる、
   請求項１に記載の撮像装置。
5. 前記イメージセンサに電気的に接続された信号処理回路をさらに備え、
   前記信号処理回路は、前記複数の画素の各々について、前記第１の信号、前記第２の信号、前記第３の信号および前記第４の信号を用いた演算を行うことにより、前記画像を示す信号を生成する、
   請求項４に記載の撮像装置。
6. 前記第１の信号をＳ１、前記第２の信号をＳ２、前記第３の信号をＳ３、前記第４の信号をＳ４とするとき、
   前記信号処理回路は、Ｓ＝Ｓ１−Ｓ２×Ｓ３／Ｓ４の演算によって得られる信号Ｓを、前記画像を示す信号として生成する、
   請求項５に記載の撮像装置。
7. 前記制御回路は、
   前記フレーム期間とは異なる他のフレーム期間において、
   前記第１の光源に前記少なくとも１つのパルス光を出射させ、
   前記少なくとも１つのパルス光のうち、前記表面反射成分が前記イメージセンサに入射している期間を含む第３期間に、
   前記イメージセンサの状態を、前記排出部に前記信号電荷が排出される状態にすることにより、前記信号電荷のうち、前記排出部に排出されなかった部分を前記第１の蓄積部および前記第２の蓄積部に蓄積させ、
   前記少なくとも１つのパルス光のうち、前記内部散乱成分が前記イメージセンサに入射している第４期間に、
   前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第２の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第２の蓄積部に前記信号電荷を蓄積させ、
   前記第３期間および前記第４期間の後、前記イメージセンサに、前記第１の蓄積部に蓄積された前記信号電荷に基づく第３の信号と、前記第２の蓄積部に蓄積された前記信号電荷に基づく第４の信号とを生成させる、
   請求項１に記載の撮像装置。
8. 前記イメージセンサに電気的に接続された信号処理回路をさらに備え、
   前記信号処理回路は、前記複数の画素の各々について、前記第３の信号に係数を乗算した信号を、前記第４の信号から減算することにより、前記他のフレーム期間における前記画像を示す信号を生成する、
   請求項７に記載の撮像装置。
9. 前記信号処理回路は、前記複数の画素の各々について、前記画像を示す信号に基づいて、前記対象物の動きを検出し、
   前記複数の画素のうち、前記対象物の動きがないと検出された画素について、前記第１から第４の信号の少なくとも一部を用いて、前記係数を変更する、
   請求項８に記載の撮像装置。
10. 前記制御回路は、前記フレーム期間において、
    前記少なくとも１つのパルス光が前記イメージセンサに入射していない期間に、
    前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第２の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第２の蓄積部に前記信号電荷をさらに蓄積させる、
    請求項１に記載の撮像装置。
11. 前記少なくとも１つのパルス光は、第１のパルス光、および前記第１のパルス光の後に前記第１の光源から出射される第２のパルス光を含み、
    前記制御回路は、
    前記第１のパルス光の前記イメージセンサへの入射が終了した後、前記第２のパルス光の前記イメージセンサへの入射が開始する前に、
    前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第２の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第２の蓄積部に前記信号電荷をさらに蓄積させる、
    請求項１に記載の撮像装置。
12. 前記制御回路は、前記フレーム期間において、
    前記第１および前記第２の蓄積部への前記少なくとも１つのパルス光に起因する信号電荷の蓄積が完了した後、
    前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第２の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第２の蓄積部に前記信号電荷をさらに蓄積させる、
    請求項１に記載の撮像装置。
13. 前記第１の光源からの前記少なくとも１つのパルス光とは異なる波長を有する第４のパルス光を出射させる第２の光源をさらに備え、
    前記イメージセンサは、前記信号電荷を蓄積する第３の蓄積部をさらに含み、
    前記制御回路は、前記フレーム期間において、
    前記第１期間および前記第２期間の後に、
    前記第２の光源に前記第４のパルス光を出射させ、
    前記第４のパルス光のうち、前記表面反射成分が前記イメージセンサに入射している期間を含む第５期間に、
    前記イメージセンサの状態を、前記排出部に前記信号電荷が排出される状態にすることにより、前記信号電荷のうち、前記排出部に排出されなかった部分を前記第１の蓄積部、前記第２の蓄積部および前記第３の蓄積部に蓄積させ、
    前記第４のパルス光のうち、前記内部散乱成分が前記イメージセンサに入射している第６期間に、
    前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第３の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第３の蓄積部に前記信号電荷を蓄積させ、
    前記第５期間および前記第６期間の後、前記イメージセンサに、前記第１の蓄積部に蓄積された前記信号電荷に基づく前記第１の信号と、前記第２の蓄積部に蓄積された前記信号電荷に基づく前記第２の信号と、前記第３の蓄積部に蓄積された前記信号電荷に基づく前記第３の信号とを生成させる、
    請求項１から１２のいずれかに記載の撮像装置。

Images