JP2017009584A - 撮像装置 - Google Patents

Abstract

【課題】対象物の内部情報を、対象物に接触しない状態で、かつ、対象物表面からの反射成分によるノイズを抑制した状態で測定できる撮像装置を提供する。
【解決手段】撮像装置Ｄ１は、生体に照射するパルス光を発光する光源Ｌｓと、フォトダイオード、並びに前記フォトダイオードからの信号電荷を蓄積する複数の電荷蓄積部を含む少なくとも１つの画素を含むイメージセンサＳと、光源及びイメージセンサを制御する制御回路Ｓｙと、を備え、複数の電荷蓄積部は、パルス光のうち生体の内部で散乱された成分に対応する信号電荷を蓄積する。
【選択図】図１Ａ

Description

本開示は、撮像装置に関する。

生体計測および材料分析の分野では、対象物に光を照射し対象物内部を透過した光の情報から対象物の内部情報を取得する方法が用いられる。この方法において、対象物表面からの反射成分がノイズとなり問題となることがある。これら表面反射成分によるノイズを取り除き所望の内部情報のみを取得する方法として、例えば生体計測の分野では、特許文献１に開示された方法がある。特許文献１は、光源と光検出器を一定の間隔で離した状態で測定部位に密着させて測定する方法を開示している。

特開平１１―１６４８２６号公報 特開平４―１８９３４９号公報

しかし、特許文献１に記載の方法では、光検出器を測定部位に密着させるため、被験者の心理的あるいは身体的な負担が大きいという課題があった。

本開示は、対象物の内部情報を、対象物に接触しない状態で、かつ、対象物表面からの反射成分によるノイズを抑制した状態で測定し得る技術を提供する。また、本開示は従来の方法に比べて安価な方法で対象物を測定し得る技術を提供する。

本開示の一態様に係る撮像装置は、生体に照射するパルス光を発光する光源と、フォトダイオード、並びに前記フォトダイオードからの信号電荷を蓄積する複数の電荷蓄積部を含む少なくとも１つの画素を含むイメージセンサと、前記光源及び前記イメージセンサを制御する制御回路と、を備え、前記複数の電荷蓄積部は、前記パルス光のうち前記生体の内部で散乱された成分に対応する前記信号電荷を蓄積する。

本開示によれば、対象物の内部情報を、対象物に接触しない状態で、かつ、対象物の表面からの反射成分によるノイズを抑制した状態で測定できる。また、本開示は安価な方法で対象物を測定できる。

図１Ａは、実施の形態１の撮像装置Ｄ１及び撮像装置Ｄ１が測定対象Ｏを撮影する様子を示す模式図である。 図１Ｂは、センサ検出光量の時間特性のパルス幅依存性を示す図である。 図１Ｃは、センサ検出光量のパルス幅依存性を示す図である。 図１Ｄは、イメージセンサの１つの画素の概略的な構成例を示す図である。 図１Ｅは、イメージセンサの構成の一例を示す図である。 図１Ｆは、１フレーム内での、第１のパルス光の発光と第２のパルス光の発光とを示す図である。 図１Ｇは、制御回路による動作の概略を示すフローチャートである。 図２は、光源から矩形パルス光が発せられて測定対象から反射してイメージセンサに到達した光による光信号を表す図である。 図３Ａは、実施の形態２におけるイメージセンサ上での光信号、及びシャッタタイミングと検出される光信号との関係を示す図である。 図３Ｂは、実施の形態２における、光源が発光するパルス光、イメージセンサ上での光信号、およびシャッタタイミングとの関係を示す図である。 図４Ａは、実施の形態２における撮像装置の動作を示すフローチャートである。 図４Ｂは、図４Ａと異なる形態における撮像装置の動作を示すフローチャートである。 図５は、実施の形態３の撮像装置及び撮像装置が測定対象を撮影する様子を示す模式図である。 図６Ａは、実施の形態４において本開示の撮像装置を用いた脳活動変化の測定例を示す図である。 図６Ｂは、実施の形態４において本開示の撮像装置を用いた脳活動変化の別の測定例を示す図である。 図７Ａは、光の照射領域を示す図である。 図７Ｂは、検出領域における２次元脳活動分布を示す図である。 図８Ａは、実施の形態５において本開示の撮像装置を用いて測定対象内部の材料分析、構造分析を行う例を示す図である。 図８Ｂは、実施の形態５において本開示の撮像装置を用いて測定対象内部の材料分析、構造分析を行う他の例を示す図である。 図９Ａは、実施の形態５において本開示の撮像装置を用いて、測定対象からの光のうち、表面反射成分から内部散乱成分を分離することにより、測定対象内部の材料分析、構造分析を行う例を示す図である。 図９Ｂは、実施の形態５において本開示の撮像装置を用いて、内部散乱成分の多波長情報を取得することにより、測定対象内部の材料分析、構造分析を行う例を示す図である。 図１０は、実施の形態６の内部散乱成分の時間分解の構成を示す図である。 図１１は、実施の形態７において表面から比較的離れた場所に到達した内部散乱成分Ｉ２を検出する構成を示す図である。 図１２は、実施例１の測定結果を示す図である。 図１３は、実施例１の脳活動変化の測定結果を示す図である。

本開示の実施の形態を説明する前に、以下に、対象物の内部情報を非接触で測定する従来技術として、特許文献２に記載の方法を検討した結果を説明する。

特許文献２では、対象物の内部の深さ方向において異なる場所にある情報が、時間分解法により区別して測定される。光源から出射され対象物内部を透過した光は、より深い位置に到達した光ほど光検出器に到達するまでの時間が遅くなる。この時間差を利用して深さ方向の情報が区別される。特許文献２では、深さ方向の空間分解能を２〜３ｍｍで測定するために、パルス幅が数１００フェムト〜数ピコ秒程度の超短パルス光が対象物に照射される。また、同程度（２〜３ｍｍを光速で割った値程度）の時間分解能を有するストリークカメラが光を検出する。ストリークカメラは、受光部（光電変換部）に届いた光を電子に変換し、その電子を進行方向に対し垂直に高速で挿引する。すると受光部に到着した光子の時間に応じて空間的な変位が生じる。この変位を２次元の蛍光面で検出することで時間情報を空間情報に変換して取得することができる。

本願発明者らの検討によれば、特許文献２に記載された方法は、２次元の蛍光面を用いて測定するが、そのうちの１次元は時間情報に利用される。すなわち、対象物の空間情報については、残り１次元の情報しか取得できない。また、パルス幅が数１００フェムト〜数ピコ秒オーダの超短パルス光源またはストリークカメラを使用しているため非常に高価であるという課題があった。

そこで、本開示の第一の態様に係る撮像装置は、生体に照射するパルス光を発光する光源と、フォトダイオード、並びに前記フォトダイオードからの信号電荷を蓄積する複数の電荷蓄積部を含む少なくとも１つの画素を含むイメージセンサと、前記光源及び前記イメージセンサを制御する制御回路と、を備え、前記複数の電荷蓄積部は、前記パルス光のうち前記生体の内部で散乱された成分に対応する前記信号電荷を蓄積する。

本開示の第二の態様に係る撮像装置は、第一の態様にかかる撮像装置において、前記パルス光のうち前記生体の前記内部で散乱された前記成分に対応する前記信号電荷を演算することにより、前記生体の生体情報を取得する演算回路をさらに備える。

前記生体情報は、脳血流に関する情報であってもよい。

本開示の第三の態様に係る撮像装置は、第一または第二の態様にかかる撮像装置において、前記イメージセンサは、前記複数の電荷蓄積部での前記信号電荷の前記蓄積の実施と停止とを切り替える電子シャッタをさらに含み、前記制御回路は、前記パルス光の一部が前記生体の表面から反射して前記イメージセンサに到達する期間に、前記電子シャッタにより前記複数の電荷蓄積部での前記信号電荷の前記蓄積を停止させ、前記パルス光の他の一部が前記生体の前記内部で散乱して前記イメージセンサに到達する期間に、前記電子シャッタにより前記複数の電荷蓄積部での前記信号電荷の前記蓄積を実施させる。

本開示の第四の態様に係る撮像装置は、第一から第三の態様のいずれかに係る撮像装置において、前記少なくとも１つの画素は、複数の画素を備え、前記複数の画素は、２次元に配置されている。

本開示の第五の態様に係る撮像装置は、第三の態様に係る撮像装置において、前記制御回路は、前記パルス光の後端が前記生体の前記表面から反射して前記イメージセンサに到達する時刻、または前記時刻よりも後の時刻において、前記電子シャッタにより前記複数の電荷蓄積部での前記信号電荷の前記蓄積を開始させる。

本開示の第六の態様に係る撮像装置は、第一または第二の態様に係る撮像装置において、前記制御回路は、前記光源が前記パルス光の発光を開始した後、時間差を空けて、前記複数の電荷蓄積部での前記信号電荷の蓄積を開始させ、前記複数の電荷蓄積部で蓄積された前記信号電荷の強度に基づいて、前記時間差を決定する。

本開示の第七の態様に係る撮像装置は、第一または第二の態様に係る撮像装置において、前記制御回路は、前記光源が前記パルス光の発光を開始した後、時間差を空けて、前記複数の電荷蓄積部での前記信号電荷の蓄積を開始させ、前記イメージセンサから前記生体までの距離を算出し、算出された前記距離に基づいて前記時間差を決定する。

本開示の第八の態様に係る撮像装置は、第一から第七の態様のいずれかに係る撮像装置において、前記光源は、第１のパルス光、および前記第１のパルス光と波長帯域の異なる第２のパルス光を発光する。

本開示の第九の態様に係る撮像装置は、第一から第八の態様のいずれかに係る撮像装置において、前記イメージセンサは、多波長の画像を取得するように構成されている。

本開示の第十の態様に係る撮像装置は、第一または第二の態様に係る撮像装置において、前記制御回路は、前記パルス光の後端が前記生体の表面から反射して前記イメージセンサに到達する時刻、または前記時刻よりも後の時刻である複数の時刻において、前記複数の電荷蓄積部での前記信号電荷の蓄積を行い、前記複数の時刻において蓄積された前記信号電荷の強度変化に基づいて、前記パルス光のうち前記生体の前記内部で散乱された前記成分の光路長分布を取得する。

本開示の第十一の態様に係る撮像装置は、第一から第十の態様のいずれかに係る撮像装置において、前記生体の動きを補正する補正回路をさらに備える。

本開示の第十二の態様に係る撮像装置は、第十一の態様に係る撮像装置において、前記補正回路は、前記生体の周期振動を検出することにより前記生体の動きを補正する。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

以下、実施の形態について、図面を参照しながら具体的に説明する。

（実施の形態１）
［１．撮像装置］
まず、第１の実施形態に係る撮像装置Ｄ１の構成について、図１Ａから図２を用いて説明する。

図１Ａは、本実施形態に係る撮像装置Ｄ１を示す模式図である。撮像装置Ｄ１は、光源Ｌｓと、イメージセンサＳと、制御回路Ｓｙとを備える。

［１−１．光源Ｌｓ］
光源Ｌｓは、測定対象Ｏに光を照射する。光源Ｌｓから照射されて測定対象Ｏに到達した光は、測定対象Ｏの表面で反射する成分（表面反射成分Ｉ１）と、測定対象Ｏの内部で１回反射もしくは散乱、または多重散乱する成分（内部散乱成分Ｉ２）になる。表面反射成分Ｉ１は、直接反射成分、拡散反射成分、及び散乱反射成分の３つを含む。直接反射成分は、入射角と反射角が等しい反射成分である。拡散反射成分は、表面の凹凸形状により拡散して反射する成分である。散乱反射成分は、表面近傍の内部組織によって散乱して反射する成分である。測定対象Ｏを人の肌とした場合、散乱反射成分は、表皮内部で散乱して反射する成分である。以降、本開示では、測定対象Ｏの表面で反射する成分（表面反射成分Ｉ１）はこれら３つの成分を含むものとして説明する。また、内部散乱成分Ｉ２は、表面近傍の内部組織によって散乱して反射する成分を含まないものとして説明する。表面反射成分Ｉ１、内部散乱成分Ｉ２は反射または散乱により進行方向が変化し、その一部がイメージセンサＳに到達する。光源Ｌｓは、パルス光を所定の時間間隔あるいはタイミングで複数回発生させる。光源Ｌｓが発生させるパルス光は、立ち下り時間がゼロに近くてもよく、例えば矩形波である。光源Ｌｓが発生させるパルス光は、立ち上り時間は任意である。後述する本開示の撮像装置を用いた測定では、パルス光の時間軸における立下り部分を使用し、立ち上り部分を使用しないためである。光源Ｌｓは、例えば、パルス光の立ち下り部分が時間軸に対して直角に近い（時間応答特性が急進な）ＬＤなどのレーザである。

測定対象Ｏが生体の場合、光源Ｌｓの波長は、例えば略６５０ｎｍ以上略９５０ｎｍ以下に設定され得る。この波長範囲は、赤色〜近赤外線の波長範囲に含まれる。本明細書では、可視光のみならず赤外線についても「光」の用語を使用する。

本開示の撮像装置Ｄ１は、非接触で測定対象Ｏを測定するため、測定対象Ｏが人である場合、網膜への影響を考慮する。このため、各国それぞれが保有するレーザ安全基準のクラス１を満足してもよい。この場合、被爆放出限界ＡＥＬが１ｍＷを下回るほどの低照度の光が測定対象Ｏに照射される。ただし、光源Ｌｓ自体はクラス１を満たしていなくてもよい。例えば、拡散板またはＮＤフィルタなどが光源Ｌｓの前に設置されて光が拡散あるいは減衰されることによりレーザ安全基準のクラス１が満たされれば良い。

特許文献２等に記載の従来のストリークカメラは、生体内部の深さ方向において異なる場所にある情報（例えば、吸収係数または散乱係数）を区別して検出するために使用されていた。したがって、所望の空間分解能で測定するために、パルス幅がフェムト秒またはピコ秒の極超短パルス光が用いられていた。一方、本開示の撮像装置Ｄ１は、表面反射成分Ｉ１から内部散乱成分Ｉ２を区別して検出するために使用される。したがって、光源Ｌｓが発光するパルス光は、極超短パルス光である必要は無く、パルス幅は任意である。脳血流を計測するために額に光をあてる場合、内部散乱成分Ｉ２の光量は、表面反射成分Ｉ１のそれと比較し、数１０００〜数万分の１と非常に小さくなる。さらに、レーザ安全基準を考慮すると、照射できる光の光量が小さく、内部散乱成分Ｉ２の検出は非常に難しくなる。したがって、光源Ｌｓが、比較的パルス幅の大きいパルス光を発生させることによって、検出光量を増やしＳＮ比を向上させることができる。

光源Ｌｓは、例えば、パルス幅３ｎｓ以上のパルス光を発光する。一般に脳などの生体内で散乱された光の時間的な広がりは、４ｎｓ程度である。したがって、図１Ｂに示すように、光源Ｌｓのパルス光の幅を広げるに連れて、測定対象Ｏからの戻ったパルス光の後端部に現れる内部散乱成分Ｉ２の光量が増加する。図１Ｃは、入力パルス光の幅を横軸に、センサ検出光量を縦軸に表した図である。イメージセンサＳは、電子シャッタを有する。パルス光の後端直後は内部散乱成分Ｉ２に対する表面反射成分Ｉ１の比率が高いため、後端より１ｎｓ後に、電子シャッタを開いた。図１Ｃより、光源Ｌｓが発光するパルス光のパルス幅を３ｎｓ以上にすると、センサ検出光量を最大化することができる。

光源Ｌｓは、パルス幅５ｎｓ以上、さらに１０ｎｓ以上のパルス光を発光してもよい。一方、パルス幅が大きすぎても使用しない光が増えて無駄となるため、光源Ｌｓは、例えば、パルス幅５０ｎｓ以下のパルス光を発生させる。あるいは、光源Ｌｓは、パルス幅３０ｎｓ以下、さらに２０ｎｓ以下のパルス光を発光してもよい。

なお、光源Ｌｓの照射パターンとしては、照射領域内において、均一な強度分布であってもよいし、ドット状の強度分布、ドーナツ状の強度分布であっても良い。

［１−２．イメージセンサＳ］
イメージセンサＳは、光源Ｌｓから出射され測定対象Ｏから反射した光を受光する。イメージセンサＳは、２次元に配置された複数の画素（受光素子）を有し、測定対象Ｏの２次元情報を一度に取得する。イメージセンサＳは、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサである。

イメージセンサＳは、電子シャッタを有する。電子シャッタは、受光した光を有効な電気信号に変換して蓄積する１回の信号蓄積の期間、すなわち露光期間（「撮影期間」とも称する。）の長さ（「シャッタ幅」と称する。）と、１回の露光期間が終了し次の露光期間が開始するまでの時間（「シャッタタイミング」と称する。）とを制御する回路である。以降、電子シャッタが露光（撮影）している状態を「ＯＰＥＮ（開いた状態）」、電子シャッタが露光（撮影）を停止している状態を「ＣＬＯＳＥ（閉じた状態）」として説明する場合がある。イメージセンサＳは、電子シャッタによってシャッタタイミングをサブナノ秒、例えば、３０ｐｓ〜１ｎｓで調整できる。距離測定を目的としている従来のＴＯＦカメラは、被写体の明るさを補正するため、光源Ｌｓが発光したパルス光が被写体から反射されて戻った光の全てを検出する。したがって、従来のＴＯＦカメラでは、シャッタ幅が光のパルス幅よりも大きい必要があった。これに対し、本実施形態の撮像装置Ｄ１は、被写体の光量を補正する必要が無いため、シャッタ幅はパルス幅よりも大きい必要は無く、例えば、１〜３０ｎｓ程度である。本実施形態の撮像装置Ｄ１によれば、シャッタ幅を縮小できるため、検出信号に含まれる暗電流を低減することができる。

測定対象Ｏが人の額であり脳血流などの情報を検出する場合、内部での光の減衰率が非常に大きい（１００万分の１程度）。このため、内部散乱光Ｉ２を検出するには、１パルスの照射だけでは光量が不足する場合がある。この場合、光源Ｌｓがパルス光を複数回発光し、それに応じてイメージセンサＳも電子シャッタによって複数回露光することで検出信号を積算して感度を向上させる。

以下、イメージセンサＳの構成例を説明する。

イメージセンサＳは、撮像面上に２次元的に配列された複数の光検出セル（本明細書において、「画素」とも呼ぶ。）を有する。各画素は、受光素子（例えばフォトダイオード）を有する。

図１Ｄは、イメージセンサＳの１つの画素２０１の概略的な構成例を示す図である。なお、図１Ｄは、１つの画素２０１の構成を模式的に示しており、実際の構造を必ずしも反映していない。画素２０１は、光電変換を行うフォトダイオード２０３と、信号電荷を蓄積する電荷蓄積部である第１から第４の浮遊拡散層（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ：ＦＤ）２０４、２０５、２０６、２０７と、信号電荷を排出する信号電荷排出部であるドレイン２０２とを含む。

１回のパルス光の出射に起因して各画素に入射したフォトンは、フォトダイオード２０３によって信号電荷である信号エレクトロンに変換される。変換された信号エレクトロンは、制御回路Ｓｙから入力される制御信号に従って、ドレイン２０２に排出されるか、第１から第４の浮遊拡散層２０４、２０５、２０６、２０７のいずれかに振り分けられる。

光源Ｌｓからのパルス光の出射と、第１の浮遊拡散層（ＦＤ１）２０４、第２の浮遊拡散層（ＦＤ２）２０５、第３の浮遊拡散層（ＦＤ３）２０６、および第４の浮遊拡散層（ＦＤ４）２０７への信号電荷の蓄積と、ドレイン２０２への信号電荷の排出が、この順序で繰り返し行われる。この繰り返し動作は高速であり、例えば動画像の１フレームの時間（例えば約１／３０秒）内に数万回から数億回繰り返され得る。画素２０１は、最終的に、第１から第４の浮遊拡散層２０４、２０５、２０６、２０７に蓄積された信号電荷に基づく４つの画像信号を生成して出力する。

制御回路Ｓｙは、第１のパルス光の発光を開始した後、時間差を空けて、第１の浮遊拡散層（ＦＤ１）２０４にフォトダイオード２０３からの信号電荷を蓄積させ、第２のパルス光の発光を開始した後、前記時間差を空けて、第２の浮遊拡散層（ＦＤ２）２０５にフォトダイオード２０３からの信号電荷を蓄積させる。これにより、第１の浮遊拡散層（ＦＤ１）２０４と、第２の浮遊拡散層（ＦＤ２）２０５とにおいて、それぞれ第１のパルス光の後端部の位相と、第２のパルス光の後端部の位相とを、同じ位置に合わせて、信号電荷の蓄積を開始できる。したがって、このとき、測定対象Ｏの距離を、例えば、±５０ｃｍごと変化させると、第１の浮遊拡散層（ＦＤ１）２０４と第２の浮遊拡散層（ＦＤ２）２０５とで、蓄積された信号電荷量はともに増加、あるいはともに減少する。また、外乱光及び環境光の光量を推定するために、光源Ｌｓを消灯した状態にて第３の浮遊拡散層（ＦＤ３）２０６に信号電荷を蓄積しても良い。第１の浮遊拡散層（ＦＤ１）２０４あるいは第２の浮遊拡散層（ＦＤ２）２０５の信号電荷量から第３の浮遊拡散層（ＦＤ３）２０６の信号電荷量を差し引くことで、外乱光及び環境光成分を除去した信号を得ることが可能となる。また、第４の浮遊拡散層（ＦＤ４）２０７に第３のパルス光を蓄積しても良い。

第１のパルス光と第２のパルス光とは、異なる波長の光としても良い。測定対象Ｏに対する吸収率が異なる２波長を選択することで、測定対象Ｏの特性を分析することができる。例えば、第１のパルス光として８０５ｎｍよりも長い波長の光を、第２のパルス光として８０５ｎｍよりも短い波長の光を用いることで、測定対象の血流の酸素化ヘモグロビン濃度と脱酸素化ヘモグロビン濃度の変化量を検出することが可能となる。

なお、本実施形態では、浮遊拡散層数を４としているが、目的に応じて２以上の複数の数に設計して良い。

図１Ｅは、イメージセンサＳの構成の一例を示す図である。図１Ｅにおいて、二点鎖線の枠で囲まれた領域が１つの画素２０１に相当する。図１Ｅでは２行２列に配列された４画素のみを示しているが、実際にはさらに多数の画素が配置される。画素２０１は、４つの浮遊拡散層である第１から第４の浮遊拡散層２０４、２０５、２０６、２０７を含む。４つの浮遊拡散層に蓄積される信号は、あたかも一般的なＣＭＯＳイメージセンサの４画素の信号のように取り扱われ、イメージセンサＳから出力される。

各画素２０１は、４つの信号検出回路を有する。各信号検出回路は、ソースフォロワトランジスタ（増幅トランジスタ）３０９と、ＦＤ信号読み出しトランジスタ（行選択トランジスタ）３０８と、リセットトランジスタ３１０とを含む。この例では、リセットトランジスタ３１０が図１Ｄに示すドレイン２０２に対応し、リセットトランジスタ３１０のゲートに入力されるパルスが前述のドレイン排出パルスに対応する。各トランジスタは、例えば半導体基板に形成された電界効果トランジスタであるが、これに限定されない。図示されるように、ソースフォロワトランジスタ３０９の入力端子および出力端子の一方（典型的にはソース）と、ＦＤ信号読み出しトランジスタ３０８の入力端子および出力端子のうちの一方（典型的にはドレイン）とが接続されている。ソースフォロワトランジスタ３０９の制御端子（ゲート）は、フォトダイオード２０３に接続されている。フォトダイオード２０３によって生成された信号電荷（正孔または電子）は、フォトダイオード２０３とソースフォロワトランジスタ３０９との間の電荷蓄積部である浮遊拡散層に蓄積される。

図１Ｅには示されていないが、第１から第４の浮遊拡散層２０４、２０５、２０６、２０７はフォトダイオード２０３に接続され、フォトダイオード２０３と浮遊拡散層との間には、スイッチが設けられ得る。このスイッチは、制御回路Ｓｙからの信号蓄積パルスに応じて、フォトダイオード２０３と第１から第４の浮遊拡散層２０４、２０５、２０６、２０７の各々との間の導通状態を切り替える。これにより、第１から第４の浮遊拡散層２０４、２０５、２０６、２０７の各々への信号電荷の蓄積の開始と停止とが制御される。本実施形態における電子シャッタは、このような露光制御のための機構を有する。

第１から第４の浮遊拡散層２０４、２０５、２０６、２０７に蓄積された信号電荷は、行選択回路３０２によって行選択トランジスタ３０８のゲートがＯＮにされることにより、読み出される。この際、第１から第４の浮遊拡散層２０４、２０５、２０６、２０７の信号電位に応じて、ソースフォロワ電源３０５からソースフォロワトランジスタ３０９およびソースフォロワ負荷３０６へ流入する電流が増幅される。垂直信号線３０４から読み出されるこの電流によるアナログ信号は、列毎に接続されたアナログ−デジタル（ＡＤ）変換回路３０７によってデジタル信号データに変換される。このデジタル信号データは、列選択回路３０３によって列ごとに読み出され、イメージセンサＳから出力される。行選択回路３０２および列選択回路３０３は、１つの行の読出しを行った後、次の行の読み出しを行い、以下同様に、全ての行の浮遊拡散層の信号電荷の情報を読み出す。制御回路Ｓｙは、全ての信号電荷を読み出した後、リセットトランジスタ３１０のゲートをオンにすることで、全ての浮遊拡散層をリセットする。これにより、１つのフレームの撮像が完了する。以下同様に、フレームの高速撮像を繰り返すことにより、イメージセンサＳによる一連のフレームの撮像が完結する。

本実施の形態では、ＣＭＯＳ型のイメージセンサＳの例を説明したが、撮像素子はＣＣＤ型であっても、単一光子計数型素子であっても、増幅型イメージセンサ（ＥＭＣＣＤ、ＩＣＣＤ）であっても構わない。

本実施の形態では、図１Ｆに示すように、１フレーム内で、第１のパルス光の発光と第２のパルス光の発光とを交互に複数回切り替えてもよい。このようにすると、２種類の検出画像の取得タイミングの時間差を低減でき、動きがある測定対象Ｏであっても、ほぼ同時に第１および第２のパルス光での撮影が可能である。

［１−３．制御回路Ｓｙ］
制御回路Ｓｙは、光源Ｌｓのパルス光発光タイミングと、イメージセンサＳのシャッタタイミングとの時間差を調整する。これ以降、当該時間差を「位相」または「位相遅れ」と称することがある。光源Ｌｓの「発光タイミング」とは、光源Ｌｓが発光するパルス光が立ち上りを開始する時間である。制御回路Ｓｙは、発光タイミングを変化させて位相を調整しても良いし、シャッタタイミングを変化させて位相を調整しても良い。

制御回路Ｓｙは、イメージセンサＳの受光素子で検出された信号からオフセット成分を取り除くように構成されてもよい。オフセット成分は、太陽光、蛍光灯などの環境光、外乱光による信号成分である。光源Ｌｓが発光しない状態、つまり光源Ｌｓの駆動をＯＦＦにした状態で、イメージセンサＳが信号を検出することで環境光、外乱光によるオフセット成分が見積もられる。

制御回路Ｓｙは、例えば中央演算処理装置（ＣＰＵ）またはマイクロコンピュータ（マイコン）等のプロセッサと、メモリとを有する集積回路であり得る。制御回路Ｓｙは、例えばメモリに記録されたプログラムを実行することにより、発光タイミングとシャッタタイミングとの調整、オフセット成分の見積り、およびオフセット成分の除去等を行う。なお、制御回路Ｓｙが画像処理等の演算処理を行う演算回路を備えていてもよい。そのような演算回路は、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス（ＰＬＤ）、または中央演算処理装置（ＣＰＵ）もしくは画像処理用演算プロセッサ（ＧＰＵ）とコンピュータプログラムとの組み合わせによって実現され得る。なお、制御回路Ｓｙおよび演算回路は、統合された１つの回路であってもよいし、分離された個別の回路であってもよい。

図１Ｇは、制御回路Ｓｙによる動作の概略を示すフローチャートである。詳細は後述するが、制御回路Ｓｙは、概略的には図１Ｇに示す動作を実行する。制御回路Ｓｙは、まず、光源Ｌｓに所定時間だけパルス光を発光させる（ステップＳ１０１）。このとき、イメージセンサＳの電子シャッタは露光を停止した状態にある。制御回路Ｓｙは、パルス光の一部が測定対象Ｏの表面から反射してイメージセンサＳに到達する期間が完了するまで、電子シャッタに露光を停止させる。次に、制御回路Ｓｙは、当該パルス光の他の一部が測定対象Ｏの内部で散乱してイメージセンサＳに到達するタイミングで、電子シャッタに露光を開始させる（ステップＳ１０３）。所定時間経過後、制御回路Ｓｙは、電子シャッタに露光を停止させる（ステップＳ１０３）。続いて、制御回路Ｓｙは、上記の信号蓄積を実行した回数が所定の回数に達したか否かを判定する（ステップＳ１０４）。この判定がＮｏの場合、Ｙｅｓと判定するまで、ステップＳ１０１〜Ｓ１０３を繰り返す。ステップＳ１０４においてＹｅｓと判定すると、制御回路Ｓｙは、各浮遊拡散層に蓄積された信号電荷に基づく画像を示す信号をイメージセンサＳに生成させて出力させる（ステップＳ１０５）。

以上の動作により、測定対象の内部で散乱された光の成分を高い感度で検出することができる。なお、複数回の発光および露光は必須ではなく、必要に応じて行われる。

［１−４．その他］
撮像装置Ｄ１は、測定対象Ｏの２次元像をイメージセンサＳの受光面上に形成する結像光学系を備えてもよい。結像光学系の光軸は、イメージセンサＳの受光面に対して略直交する。結像光学系は、ズームレンズを含んでいてもよい。ズームレンズの位置が変化すると測定対象Ｏの２次元像の拡大率が変更し、イメージセンサＳ上の２次元像の解像度が変化する。したがって、測定対象Ｏまでの距離が遠くても測定したい領域を拡大して詳細に観察することが可能となる。

また、撮像装置Ｄ１は、測定対象ＯとイメージセンサＳの間に光源Ｌｓから発する波長の帯域またはその近傍の光のみを通過させる帯域通過フィルタを備えてもよい。これにより、環境光などの外乱成分の影響を低減することができる。帯域通過フィルタは、多層膜フィルタまたは吸収フィルタによって構成される。光源Ｌｓの温度およびフィルタへの斜入射に伴う帯域シフトを考慮して、帯域通過フィルタの帯域幅は２０〜１００ｎｍ程度の幅を持たせてもよい。

また、撮像装置Ｄ１は、光源Ｌｓと測定対象Ｏとの間、及びイメージセンサＳと測定対象Ｏとの間にそれぞれ偏光板を備えてもよい。この場合、光源Ｌｓ側に配置される偏光板とイメージセンサ側に配置される偏光板の偏光方向は直交ニコルの関係である。これにより、測定対象Ｏの表面反射成分Ｉ１のうち正反射成分（入射角と反射角が同じ成分）がイメージセンサＳに到達することを防ぐことができる。つまり、表面反射成分Ｉ１がイメージセンサＳに到達する光量を低減させることができる。

［２．動作］
本開示の撮像装置Ｄ１は、表面反射成分Ｉ１から内部散乱成分Ｉ２を区別して検出する。測定対象Ｏを人の額とした場合、検出したい内部散乱成分Ｉ２による信号強度は非常に小さくなる。前述のように、レーザ安全基準を満たす非常に小さな光量の光が照射されることに加えて、頭皮、脳髄液、頭蓋骨、灰白質、白質および血流による光の散乱および吸収が大きいためである。さらに、脳活動時の血流量または血流内成分の変化による信号強度の変化は、さらに数十分の１の大きさに相当し非常に小さくなる。したがって、検出したい信号成分の数千〜数万倍である表面反射成分Ｉ１をできるだけ混入させずに撮影する。

以下、本実施の形態における撮像装置Ｄ１の動作を説明する。

図１Ａに示すように、光源Ｌｓが測定対象Ｏにパルス光を照射すると、表面反射成分Ｉ１および内部散乱成分Ｉ２が発生する。表面反射成分Ｉ１及び内部散乱成分Ｉ２はその一部がイメージセンサＳに到達する。内部散乱成分Ｉ２は、光源Ｌｓから発せられてイメージセンサＳに到達するまでに測定対象Ｏの内部を通過するため光路長が表面反射成分Ｉ１に比べて長くなる。したがって、内部散乱成分Ｉ２は、イメージセンサＳに到達する時間が表面反射成分Ｉ１に対して遅れる。図２は、光源Ｌｓから矩形パルス光が発せられて測定対象Ｏから反射した光がイメージセンサＳに到達する光信号を表す図である。横軸は（ａ）〜（ｄ）においていずれも時間（ｔ）を表し、縦軸は（ａ）〜（ｃ）においては強度、（ｄ）においては電子シャッタのＯＰＥＮまたはＣＬＯＳＥの状態を表す。（ａ）は、表面反射成分Ｉ１を示す。（ｂ）は、内部散乱成分Ｉ２を示す。（ｃ）は表面反射成分Ｉ１（ａ）と内部散乱成分Ｉ２（ｂ）の合算成分を示す。（ａ）に示すように、表面反射成分Ｉ１は矩形を維持する。一方、（ｂ）に示すように、内部散乱成分Ｉ２はさまざまな光路長を経た光の合算であるため、パルス光の後端で尾を引いたような（表面反射成分Ｉ１よりも立ち下り時間が長くなる）特性を示す。（ｃ）の光信号から内部散乱成分Ｉ２を抽出するためには、（ｄ）に示すとおり、表面反射成分Ｉ１の後端以降（表面反射成分Ｉ１が立ち下がった時またはその後）に電子シャッタが露光を開始すれば良い。このシャッタタイミングは、制御回路Ｓｙによって調整される。上述したとおり、本開示の撮像装置Ｄ１は表面反射成分Ｉ１から内部散乱光Ｉ２を区別して検出できれば良いため、発光パルス幅およびシャッタ幅は任意である。したがって、従来のストリークカメラを使用した方法と異なり簡便な構成で実現できコストを大幅に低下させることができる。

なお、測定対象が平面でない場合、イメージセンサの各画素間で光の到達時間が異なる。この場合は、測定対象Ｏの着目領域に該当する画素に合わせて（ｄ）に示すシャッタタイミングを決定すれば良い。また、既知の方法によって測定対象Ｏの表面の奥行き情報を予め検出し、この情報をもとにシャッタタイミングを画素ごとに変化させても良い。奥行き情報とは、結像光学系の光軸方向をｚとしたときのｚ方向における位置情報である。これにより、測定対象Ｏの表面の湾曲に応じてそれぞれの位置で内部散乱成分Ｉ２を抽出するための最適なシャッタタイミングを形成できる。

図２における（ａ）では、表面反射成分Ｉ１の後端が垂直に立ち下がっている。言い換えると、表面反射成分Ｉ１が立下りを開始してから終了するまでの時間がゼロである。しかし、現実的には光源Ｌｓが照射するパルス光自体が完全な垂直で無かったり、測定対象Ｏの表面に微細な凹凸があったりして、表面反射成分Ｉ１の後端が垂直に立ち下がらないことがある。また、測定対象Ｏは一般に不透明な物体である場合が多いことから、表面反射成分Ｉ１は内部散乱成分Ｉ２よりも非常に光量が大きくなる。したがって、表面反射成分Ｉ１の後端が垂直な立下り位置からわずかにはみ出した場合であっても、内部散乱成分Ｉ２が埋もれてしまい問題となる。また、電子シャッタの読み出し期間中の電子移動に伴う時間遅れにより、図２における（ｄ）に示すような理想的なバイナリな読み出しが実現できないことがある。したがって、制御回路Ｓｙは電子シャッタのシャッタタイミングを表面反射成分Ｉ１の立ち下り直後よりやや遅らせても良い。例えば、０．５ｎｓ〜５ｎｓ程度遅らせても良い。また、測定対象Ｏの所望の深さよりも深い部分の情報のみを取得するために、制御回路Ｓｙは電子シャッタのシャッタタイミングをさらに遅らせても良い。尚、電子シャッタのシャッタタイミングを調整する代わりに、制御回路Ｓｙは光源Ｌｓの発光タイミングを調整しても良い。制御回路Ｓｙは、電子シャッタのシャッタタイミングと光源Ｌｓの発光タイミングとの時間差を調整すればよい。なお、非接触で脳活動時の血流量または血流内成分の変化を計測する場合は、あまりにもシャッタタイミングを遅らせすぎると、もともと小さい内部散乱成分Ｉ２がさらに減少してしまうため、表面反射成分Ｉ１の後端近傍にシャッタタイミングを留めておいてもよい。

光源Ｌｓがパルス光を複数回発光し、各パルス光に対して同じ位相のシャッタタイミングで複数回露光することで、内部散乱成分Ｉ２の検出光量を増幅しても良い。

なお、測定対象ＯとイメージセンサＳの間に帯域通過フィルタを配置することに替えて、またはそれに加えて、制御回路Ｓｙが、光源Ｌｓを発光させない状態で同じ露光時間で撮影することによってオフセット成分を見積もってもよい。見積もったオフセット成分は、イメージセンサＳの受光素子で検出された信号から差分除去される。これによってイメージセンサＳ上で発生する暗電流成分を除去することができる。

以上のように、本開示の撮像装置は、制御回路Ｓｙが、光源Ｌｓにパルス光を発光させ、パルス光の一部が測定対象の表面から反射してイメージセンサＳに到達する期間に電子シャッタに露光を停止させる。一方、パルス光の他の一部が測定対象の内部で散乱してイメージセンサＳに到達する期間に電子シャッタに露光させる。これにより、測定対象Ｏの内部情報を表面からの反射成分によるノイズを抑制した状態で取得することができる。また、電子シャッタが露光を開始する時刻は、パルス光の後端が測定対象の表面から反射してイメージセンサＳに到達する時刻、または当該時刻よりも後の時刻であればよい。これにより、測定対象の内部情報を表面からの反射成分によるノイズがほとんど無い状態で取得することができる。

（実施の形態２）
本実施の形態２は、制御回路Ｓｙが、シャッタタイミングの位相を決定する点において、実施の形態１と異なっている。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

光源Ｌｓを出射した光が測定対象Ｏから反射してイメージセンサＳ上に戻るまでの時間はその光の移動距離に依存する。したがって、撮像装置Ｄ１から測定対象Ｏまでの距離に応じてシャッタタイミングの位相を調整する。図３Ａは、シャッタタイミングを調整する例を示す図である。図３Ａにおける（ａ）は、イメージセンサＳに到達する光信号の時間応答波形を示す。図３Ａにおける（ａ）に示す光信号は、表面反射成分Ｉ１と内部散乱成分Ｉ２の双方を含む信号である。図３Ａにおける（ｂ）は、図３Ａにおける（ａ）に示す光信号が立ち下りを開始した時刻を基準として十分遅れた位相でシャッタを開くシャッタタイミング（ｔ＝ｔ１）を示す図である。ただし、光源のパルス光を周期的に複数回発光させる場合、図３Ａにおける（ａ）に示す光信号が立ち下った後、次に立ち上がるまでの間で位相ｔを設定する。このとき、測定対象からの光信号はまったく検出されないか、後端に残ったわずかな光信号Ｉのみが検出される。この光信号Ｉは、比較的光路長が長い、つまり、測定対象Ｏの深い箇所の情報を相対的に多く含む信号である。図３Ａにおける（ｃ）は、図３Ａにおける（ｂ）からさらにΔｔだけ早めたシャッタタイミングを示す（ｔ＝ｔ２）。すると、シャッタタイミングを早めた分だけ検出される光信号Ｉの光量も増加する。図３Ａにおける（ｄ）および（ｅ）は、図３Ａにおける（ｃ）よりもさらに位相を早めるように調整したシャッタタイミングを示す。（ｔ＝ｔ３、ｔ＝ｔ４、ｔ３＞ｔ４）このようにして、徐々にシャッタタイミングを早めていき、イメージセンサＳが検出する光信号Ｉが急激に増加し始めたところが表面反射光Ｉ１の後端部に相当する箇所である。したがって、この急激に増加し始める直前にシャッタタイミングが設定されれば、主に内部散乱光Ｉ２からなる信号を検出することができる。シャッタタイミングを早める量Δｔは、内部散乱成分Ｉ２の後端の広がり（立下り時間）よりも小さい値である。Δｔは、例えば、３０ｐｓ〜１ｎｓである。図３Ｂは、光源による発光パルス、イメージセンサＳに到達する光信号、及びシャッタタイミングの関係をタイムライン上で示している。光源Ｌｓは周期的にパルス光を発光している。図３Ｂでは、シャッタが閉じた後に次のパルス光を発光しているが、シャッタが開いている期間と発光期間は重複してもよい。例えば、光源Ｌｓが発光する連続した２つのパルス光の間の消灯期間は、シャッタ幅の４倍以下であってもよく、２倍以下であってもよく、１．５倍以下であっても良い。消灯期間とは光源Ｌｓが発光するパルス光の立ち下りが終了してから次に立ち上りを開始するまでの時間を指す。また、当該消灯期間は、光源Ｌｓによるパルス光のパルス幅の４倍以下であってもよく、２倍以下であってもよく、１．５倍以下であっても良い。これにより、イメージセンサＳの単位時間あたりの露光量を増加させることができるので、同一フレームレートで感度を向上させることができる。この消灯期間は、従来のＴＯＦカメラでは距離測定時に誤検出が発生する可能性があるため採用されない短さである。

また、最適なシャッタタイミングの位相を探索する方法としては、図３Ａに示した位相を徐々に変化させる方法以外に、二分法、ニュートン法などの反復法または数値計算手法を用いても良い。これらの方法により、撮影回数を減らすことができ、探索時間を短縮することが可能となる。

また、複眼・双眼カメラを用いた三角測量、またはＴＯＦ方式を用いた飛翔時間の測定により測定対象部Ｏまでの距離を直接的に測定してシャッタタイミングの位相を決定しても良い。測定した距離に基づいて、光源がパルス光を発光してから表面反射成分Ｉ１の後端がイメージセンサＳに到達するまでの時間を推定できる。制御回路Ｓｙは、推定した時間が経過したとき、またはそれ以降にシャッタが開くように設定すればよい。なお、この場合、制御回路Ｓｙは、撮像装置Ｄ１から測定対象Ｏまでの距離または距離に依存する値を算出する演算回路を含む。

図４Ａは、本実施の形態における撮像装置Ｄ１の動作を示すフローチャートである。撮像装置Ｄ１の動作は制御回路Ｓｙが例えばメモリに記録されたプログラムを実行することにより各構成要素を制御することによって実現される。

まず、制御回路Ｓｙはシャッタタイミングの位相を制御して複数回の撮影を行う（ステップＳ１０１）。複数回の撮影は、それぞれが互いに異なる位相のシャッタタイミングで実施される。つまり、制御回路Ｓｙは、光源のパルス光の発光タイミングとイメージセンサＳのシャッタタイミングとの時間差を互いに異ならせた複数回の撮影を行う。

次に、制御回路Ｓｙは、ステップＳ１０１における複数回の撮影によって得られた検出信号の強度推移から、例えば、強度の変化率が所定の閾値を超えたか否かを判定する。当該閾値を超えたと判定できた場合に、これ以降のシャッタタイミングから適切なシャッタタイミングの位相を決定する（ステップＳ１０２）。適切な位相は、例えば、当該閾値を超えた瞬間のタイミングでもよいし、その瞬間から所定時間遅らせたタイミングでもよい。

次に、制御回路Ｓｙは、ステップ１０２で決定した位相によるシャッタタイミングで測定対象Ｏを撮影する（ステップＳ１０３）。つまり、光源のパルス光の発光タイミングとシャッタタイミングとを決定された時間差で同期させて測定対象Ｏを撮影する。これにより、撮像装置Ｄ１は、ほとんどが内部散乱光Ｉ２からなる光信号を検出することができる。なお、ステップ１０１で使用する光源のパルス幅およびシャッタ幅は、ステップ１０３で使用するものと同じでも異なっていても良い。

図４Ｂは、図４Ａとは異なる形態における撮像装置Ｄ１の動作を示すフローチャートである。

まず、制御回路Ｓｙは、撮像装置Ｄ１から制御回路Ｓｙまでの距離を測定する（ステップＳ２０１）。具体的には、従来のＴＯＦ方式を用いた飛翔時間の測定、または撮像装置Ｄ１が別途備え得る複眼カメラを用いて距離を測定する。

次に、制御回路Ｓｙは、ステップＳ２０１で測定した距離に基づいてシャッタタイミングの位相を決定する（ステップＳ２０２）。

次に制御回路Ｓｙは、ステップ２０２で決定した位相によるシャッタタイミングで測定対象Ｏを撮影する（ステップＳ２０３）。つまり、光源のパルス光の発光タイミングとシャッタタイミングとを、決定された時間差で同期させて測定対象Ｏを撮影する。これにより、撮像装置Ｄ１は、ほとんどが内部散乱光Ｉ２からなる光信号を検出することができる。

なお、ステップ１０１またはステップ２０１は、例えば、ユーザによって使用を指示する入力があった場合に実行されてもよいし、撮影領域内において測定対象Ｏ、例えば頭部が検出された場合に実行されてもよい。

以上のように、制御回路Ｓｙは、光源Ｌｓがパルス光の発光を開始するタイミングと電子シャッタが露光を開始するタイミングとの時間差を決定する。具体的には、一例では、制御回路Ｓｙは、光源Ｌｓがパルス光の発光を開始するタイミングと電子シャッタが露光を開始するタイミングとの時間差を異ならせて複数回撮影する。そして、制御回路Ｓｙは複数回の撮影によってイメージセンサＳが生成した電気信号の強度に基づいて１つの時間差を決定する。別の例では、制御回路Ｓｙは、イメージセンサＳから測定対象までの距離を算出し、算出した距離に基づいて当該時間差を決定する。これにより、測定対象表面からの反射成分のほとんどが露光に使用されないシャッタタイミングを実現できる。

（実施の形態３）
本実施の形態３は、撮像装置Ｄ２が光源Ｌｓを複数個備える点で実施の形態１と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図５は、本実施の形態３における撮像装置Ｄ２の模式図である。撮像装置Ｄ２は、光源Ｌｓ１と光源Ｌｓ２とを備える。また、撮像装置Ｄ２は演算回路Ｐｒを備える。

光源Ｌｓ１と光源Ｌｓ２は異なる波長帯域の光を発光する。一般に、測定対象Ｏは波長に応じて吸収特性および散乱特性が異なるため、内部散乱成分Ｉ２による光信号の波長依存性を検出することで測定対象Ｏのより詳細な成分分析が可能となる。例えば、測定対象Ｏを生体組織とした場合には、波長８００ｎｍ以上では酸素化ヘモグロビン（ＨｂＯ₂）による吸光度が脱酸化ヘモグロビン（Ｈｂ）による吸光度に比べ大きい。一方、波長８００ｎｍ以下では、その逆の特性を示す。したがって、例えば、光源Ｌｓ１が７５０ｎｍ近辺の波長の光を発光し、光源Ｌｓ２が８５０ｎｍ近辺の波長の光を発光するとする。この場合、光源Ｌｓ１からの光による内部散乱成分Ｉ２と光源Ｌｓ２からの光による内部散乱成分Ｉ２の各光強度を測定すれば連立方程式を解くことによりＨｂＯ₂とＨｂの血中濃度初期値からの変化量を求めることができる。

演算回路Ｐｒは、光源Ｌｓ１からの光による内部散乱成分Ｉ２と光源Ｌｓ２からの光による内部散乱成分Ｉ２の各光強度を用いて連立方程式を解くことにより、例えばＨｂＯ₂とＨｂの血中濃度初期値からの変化量を算出する。算出した変化量に基づき脳活動が推定される。

演算回路Ｐｒは、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス（ＰＬＤ）、または中央演算処理装置（ＣＰＵ）もしくは画像処理用演算プロセッサ（ＧＰＵ）とコンピュータプログラムとの組み合わせによって実現され得る。なお、演算回路Ｐｒと制御回路Ｓｙは、統合された１つの回路によって実現されてもよい。

撮像装置Ｄ２は、イメージセンサＳと測定対象Ｏとの間に光源Ｌｓ１及び光源Ｌｓ２がそれぞれ発光する波長の光を通す帯域通過フィルタを備えてもよい。

制御回路Ｓｙは、光源Ｌｓ１の発光タイミングとイメージセンサＳのシャッタタイミングとの時間差、及び光源Ｌｓ２の発光タイミングとイメージセンサＳのシャッタタイミングとの時間差をそれぞれ実施の形態２に記載の方法によって決定する。制御回路Ｓｙは、光源Ｌｓ１及び／または光源Ｌｓ２の発光タイミングを調整しても良いし、イメージセンサＳのシャッタタイミングを調整しても良い。

光源Ｌｓ１と光源Ｌｓ２のそれぞれから発せられた光が測定対象Ｏを経由し、イメージセンサＳに到達した光の光路長は一致していてもよい。したがって、イメージセンサＳと光源Ｌｓ１との間の距離とイメージセンサＳと光源Ｌｓ２との間の距離は一致させてもよい。例えば、イメージセンサＳを中心に、光源Ｌｓ１と光源Ｌｓ２は回転対称となる位置に配置してもよい。

撮像装置Ｄ２は、２つのイメージセンサＳを備えてもよい。この場合、光源Ｌｓ１が発光する波長の光を選択的に透過させる帯域通過フィルタが一方のイメージセンサＳの前に配置されてもよい。また、光源Ｌｓ２が発光する波長の光を選択的に透過させる帯域通過フィルタが他方のイメージセンサＳの前に配置されてもよい。これにより、光源Ｌｓ１と光源Ｌｓ２を同じ時間帯に発光させることができるので、２つのイメージセンサＳを用いて同時に撮影することができる。撮像装置Ｄ２が、１つのイメージセンサＳを備える形態の場合、光源Ｌｓ１を用いた撮影と光源Ｌｓ２を用いた撮影を異なる時間帯で実施することで２波長の画像を取得できる。

なお、より複雑な分光特性を示す測定対象Ｏであれば、さらに波長数を増やすことで、より正確な材料分析ができる。波長数を増やした撮影方法は、波長に応じて光源の数を増やす方法のほか、既知の方法で実現できる。

（実施の形態４）
本実施の形態４は、実施の形態１〜３の撮像装置を用いて人の頭部を撮影した測定例を示す。ここでは、本実施形態において実施の形態１〜３と同様の内容についての詳細な説明は省略する。

図６Ａは、実施の形態３に示した（２つの光源を備える）撮像装置を用いて脳活動の変化を測定した例を示す。図６Ａは、内部散乱成分Ｉ２を検出する検出領域Ｍと、検出領域Ｍにおいて測定した（ｉ）血中ＨｂＯ₂濃度の初期値からの変化量、（ｉｉ）血中Ｈｂ濃度の初期値からの変化量、及び（ｉｉｉ）血中ＨｂＯ₂濃度の変化量と血中Ｎｂ濃度の変化量とを合算した値の経時変化とを示した図である。平常状態、集中状態、リラックス状態など測定対象Ｏの脳活動状態が時間的に変化すると、その変化が（ｉ）〜（ｉｉｉ）に示す経時変化に現れる。（ｉ）〜（ｉｉｉ）の測定時間内では、検出領域Ｍはできるだけ同じ位置を維持してもよい。なぜなら、場所ごとに脳活動の違いおよび吸収・散乱係数の違いがあるためである。脳活動の経時変化を見る場合は、血中ＨｂＯ₂濃度、または血中Ｈｂ濃度の絶対量あるいは真値がわからなくても、吸光度（あるいは、特定波長の光が吸収されずにイメージセンサＳに到達する光量）の時間的な変化から、測定対象Ｏの感情状態を推定することが可能となる。また、脳活動の経時変化の検出には必ずしも２つの波長帯域を使用する必要は無く、１つの波長帯域を使用してもよい。すなわち、実施の形態１に示すような１つの光源Ｌｓのみを備える撮像装置を用いてもよい。この場合、光源Ｌｓは、８１０〜８８０ｎｍ内のいずれかの波長の光を発光するように構成されるとよい。なぜなら、脳活動変化時の吸光度の変化はＨｂよりもＨｂＯ₂のほうが大きいことが多く、ＨｂＯ₂の光吸収率が大きい波長範囲で測定するだけでも脳活動変化の傾向を読み取ることが可能であるためである。

図６Ｂは、検出領域Ｍ内の複数点を同時に測定する例である。光源Ｌｓの照射パターンとしては、例えば、検出領域Ｍ内において、均一な強度分布、ドット状の強度分布、ドーナツ状の強度分布であっても良い。均一な強度分布の光を照射する場合、測定対象Ｏ上の照射位置の調整が不要あるいは簡便にできる。また、広範囲から測定対象Ｏに光が入射するためイメージセンサＳで検出される信号を増強することができる。さらに、照射領域内であれば任意の空間位置において測定ができる。ドット状の強度分布、ドーナツ状の強度分布のような部分的な照射であれば、検出領域Ｍをその照射領域から外すだけで表面反射成分Ｉ１の影響を低減できる。この場合、例えば、イメージセンサＳが撮影画像内の各画素において照射領域か非照射領域かを判定し、非照射領域と判定された画素を含む領域を検出領域として内部散乱光Ｉ２を検出する測定を行ってもよい。照射領域／非照射領域の判定は、各画素における輝度値が所定の閾値よりも大きいか小さいかに基づいて実行してもよい。表面反射成分Ｉ１と内部散乱成分Ｉ２の強度差が大きいため、検出領域Ｍ内に照射領域がわずかでも残存していると内部散乱成分Ｉ２が測定できなくなるため、本手法の併用が有効となる。

図７Ａは、光源Ｌｓの照射領域Ｉａを示し、図７Ｂは、検出領域Ｍにおける脳活動の２次元分布を示す。非接触で脳血流を測定する場合、測定対象ＯとイメージセンサＳ間との距離の２乗に応じて検出光量が減衰し問題となる。そこで、イメージセンサＳで検出される各画素の信号を周辺画素で積算し増強しても良い。このようにすることでＳＮを維持したまま光源Ｌｓによる発光パルス数を低減できるため、フレームレートを向上させることができる。脳血流測定では、平常状態から脳活動が生じた際の血流の差分を測定することで、脳活動の変化を読み取る。本願では２次元に配置された画素を備えるイメージセンサＳを使用するため、図７Ｂに示すように脳活動の２次元分布を取得することができる。したがって、平常状態を事前取得せずとも相対的な強度分布から脳活動が活発な部位を検出することができる。

図７Ｂにおける（ｂ）は、測定中に測定対象Ｏが呼吸等により動くことにより、イメージセンサＳの検出領域Ｍが変化した状態を示す。一般に、脳活動分布は微小時間内で急激に変化しないため、検出された２次元分布のフレーム間でのパターンマッチング等により、検出領域Ｍのずれを補正することができる。あるいは、呼吸のような周期的な動きであれば、その周波数成分のみを抽出し補正または除去しても良い。

（実施の形態５）
本実施の形態５は、実施の形態１〜３の撮像装置を使用した測定例を示す。ここでは、本実施形態において実施の形態１〜３と同様の内容についての詳細な説明は省略する。

実施の形態５は、測定対象Ｏの内部構造を診断する。測定対象Ｏの内部構造を診断するために、表面反射成分Ｉ１の影響を抑制する。本実施の形態５は、測定対象Ｏの内部構造を診断するために実施の形態１〜３の撮像装置を利用する。図８Ａ及び図８Ｂに示すように、ひび８０２または空洞８０４などといった材料内部に劣化または構造変化があると、屈折率の変化または界面反射により内部散乱成分Ｉ２の光路長に変化が生じる。内部散乱成分Ｉ２の光路長が変化すると、内部散乱成分Ｉ２がイメージセンサＳに到達する時刻および光のコヒーレンスの状態が変化する。本実施の形態５は、この変化を検出することで材料内部の劣化または加工状態の検査をする。

図９Ａは、実施の形態１〜３の撮像装置を用いて果物内部の情報を取得する例である。従来であれば、果物の皮の影響を排除するため皮を剥いて測定する必要があった。実施の形態１〜３の撮像装置を用いて測定することによって非破壊で皮の情報を省いた内部検査が可能である。図９Ｂは、さらに、イメージセンサＳが多波長取得部Ｓｐを含む。多波長取得部Ｓｐは、多波長の画像を取得するカメラであり、例えば、画素ごとに異なった波長を通過するフィルタが配置されたカメラ、または液晶チューナブルフィルタもしくは音響光学素子を備えるカメラを使用できる。多波長とは、例えば４〜１００波長である。また、重畳された多波長の情報を符合化したものを統計演算で復元し、多波長の波長ごとの画像（多波長情報）を生成する圧縮センシングカメラを使用しても良い。多波長情報を取得することで、測定対象Ｏの糖度、成熟度および劣化状態等を測定することが可能となる。

（実施の形態６）
本実施の形態６は、測定対象Ｏの内部散乱成分Ｉ２を光路長ごとに分解する点において実施の形態１〜３と異なる。ここでは、本実施形態において実施の形態１〜３と同様の内容についての詳細な説明は省略する。

図１０における（ａ）は、イメージセンサＳに到達する光信号の時間応答波形である。光源Ｌｓのパルス幅がある程度小さい場合は、図１０における（ａ）は光路長分布と考えることもできる。すなわち、光路長が長い光ほどイメージセンサＳに到達する時刻は遅くなるため、比較的大きいｔ（遅い時刻）において検出される。つまり、時間応答波形は光路長分布に応じた広がりをもつことになる。

図１０における（ｂ）〜（ｅ）はそれぞれ位相ｔ＝ｔ１、ｔ２、ｔ３、ｔ４（ｔ１＞ｔ２＞ｔ３＞ｔ４）によるシャッタタイミングを示す。位相とは、光源のパルス光の発光タイミングとイメージセンサＳのシャッタタイミングとの時間差である。図１０における（ｆ）は、横軸を図１０における（ｂ）〜（ｅ）における各シャッタタイミングの位相とし、縦軸を各シャッタタイミングにおける注目画素の検出信号Ｉとした図である。検出信号Ｉは、最も遅い時刻であるｔ＝ｔ１において光路長が比較的長い光を含み、早い時刻であるｔ＝ｔ４に向かうにつれて光路長がより短い光を含む。したがって、図１０における（ｆ）のグラフをさらに微分あるいは各位相差間で検出信号の差分を取ることで図１０における（ａ）に示す光信号の後端部に相当する光路長分布を取得することが可能となる。光路長分布は、測定対象Ｏ内部の奥行き情報と関連しているため、測定対象Ｏの深さ情報の推定につながる。

なお、位相の変更は、シャッタタイミングを変化させて実現してもよいし、光源Ｌｓの発光タイミングを変化させて実現してもよい。

光源Ｌｓのパルス幅が大きい場合、光源Ｌｓのパルス光は、短いパルス幅のパルス光が連なっていると見ることができる。したがって、図１０における（ａ）に示す光信号は、各短パルス光による検出信号の畳み込みである。そのため、図１０における（ｆ）の微分をさらに微分（つまり２階微分）することで所望の光路長分布を取得することができる。

以上のように、制御回路は、パルス光の後端が測定対象の表面から反射してイメージセンサＳに到達する時刻、または当該時刻よりも後の時刻において、さらに時間分解した信号を検出する。具体的には、位相を異ならせて複数回撮影する。この撮影によって得られる信号の強度変化に基づいて、内部散乱成分Ｉ２の光路長分布を取得できる。

（実施の形態７）
本実施の形態７は、実施の形態１〜３の撮像装置を用いて測定対象Ｏの表面部から離れた内部散乱成分Ｉ２を検出する例を示す。実施の形態１〜３と同様の内容についての詳細な説明は省略する。

図１１は、測定対象Ｏ内部で散乱する成分のうち、表面から離れた内部散乱成分Ｉ２を比較的多く検出する撮像装置の説明図である。イメージセンサＳのシャッタタイミングを表面反射成分Ｉ１の後端部よりも遅く調整することで測定対象Ｏの表面から離れた内部散乱成分Ｉ２を取得することができる。また、表面反射成分Ｉ１が含まれないシャッタタイミングであれば、シャッタ幅は発光パルス幅に対し、十分大きくしても良い。例えば、シャッタ幅は、発光パルス幅に対し、５倍、１０倍、または１００倍でもよい。

（実施例１）
測定対象Ｏを人の額として撮影した例を示す。図１２は、横軸が、各シャッタタイミングにおける発光タイミングに対する時間差、すなわち位相遅れを示し、縦軸が各シャッタタイミングで撮影して得られるイメージセンサＳからの光信号Ｉ強度を示す。シャッタタイミングは２００ｐｓ間隔で変化させて撮影した。光信号Ｉが検出される検出領域Ｍは５０×５０ピクセルである。光源Ｌｓが発光する光の波長は８５０ｎｍを用いた。額と光源Ｌｓ・イメージセンサＳとの距離は１０ｃｍとした。また、額を一部覆うように近赤外光を透過させない紙を貼付け、額を測定すると同時に紙も測定した。図１２は、額からの戻り光及び紙からの戻り光をそれぞれ示している。図１２における縦軸の値は、額部、紙部を飽和させない程度でパルス光全体を撮影したときの画素値を別途取得しそれらで正規化した値を示している。図１２において、位相遅れ１ｎｓ近傍で急激に強度が低下している箇所がパルス光の後端部分に相当する。図１２に示すとおり、パルス光後端以降において、額からの戻り光のほうが紙からの戻り光よりも大きい。つまり、額からの戻り光は、パルス光後端以降の遅い時刻において内部散乱成分Ｉ２を含んでいることがわかる。これにより、非接触で人の脳内の情報のみを検出できていることがわかる。

図１３は、位相遅れを４ｎｓの位置で固定したシャッタタイミングで額を撮影した結果を示す。撮影している間、被験者が３０秒ごとにリラックス状態と集中状態（計算時）とを交互に繰り返すようにした。測定は３０秒おきに行い、測定結果は最大値、最小値で規格化した。図１３では、リラックス状態と比較し、計算時の検出光強度が小さい。これは、使用した８５０ｎｍの波長の光はＨｂＯ₂による吸収がＨｂよりも大きく、被験者の計算時に増大したＨｂＯ₂による光吸収に起因すると考えられる。

本開示における撮像装置は、非接触で測定対象Ｏの内部情報を取得するカメラや測定機器に有用である。生体・医療センシング、材料分析、食品分析、および車載センシングシステム等に応用できる。

Ｄ１、Ｄ２ 撮像装置
Ｏ 測定対象
Ｉ１ 表面反射成分
Ｉ２ 内部散乱成分
Ｌｓ、Ｌｓ１、Ｌｓ２ 光源
Ｓ イメージセンサ
Ｓｙ 制御回路
Ｐｒ 演算回路
Ｉ 光信号
Ｍ 検出領域
Ｉａ 照射領域
Ｓｐ 多波長取得部

Claims (12)

1. 生体に照射するパルス光を発光する光源と、
   フォトダイオード、並びに前記フォトダイオードからの信号電荷を蓄積する複数の電荷蓄積部を含む少なくとも１つの画素を含むイメージセンサと、
   前記光源及び前記イメージセンサを制御する制御回路と、を備え、
   前記複数の電荷蓄積部は、前記パルス光のうち前記生体の内部で散乱された成分に対応する前記信号電荷を蓄積する、
   撮像装置。
2. 前記パルス光のうち前記生体の前記内部で散乱された前記成分に対応する前記信号電荷を演算することにより、前記生体の生体情報を取得する演算回路をさらに備える、
   請求項１に記載の撮像装置。
3. 前記イメージセンサは、前記複数の電荷蓄積部での前記信号電荷の前記蓄積の実施と停止とを切り替える電子シャッタをさらに含み、
   前記制御回路は、
   前記パルス光の一部が前記生体の表面から反射して前記イメージセンサに到達する期間に、前記電子シャッタにより前記複数の電荷蓄積部での前記信号電荷の前記蓄積を停止させ、
   前記パルス光の他の一部が前記生体の前記内部で散乱されて前記イメージセンサに到達する期間に、前記電子シャッタにより前記複数の電荷蓄積部での前記信号電荷の前記蓄積を実施させる、
   請求項１または２に記載の撮像装置。
4. 前記少なくとも１つの画素は、複数の画素を備え、
   前記複数の画素は、２次元に配置されている、
   請求項１から３のいずれかに記載の撮像装置。
5. 前記制御回路は、
   前記パルス光の後端が前記生体の前記表面から反射して前記イメージセンサに到達する時刻、または前記時刻よりも後の時刻において、前記電子シャッタにより前記複数の電荷蓄積部での前記信号電荷の前記蓄積を開始させる、
   請求項３に記載の撮像装置。
6. 前記制御回路は、
   前記光源が前記パルス光の発光を開始した後、時間差を空けて、前記複数の電荷蓄積部での前記信号電荷の蓄積を開始させ、
   前記複数の電荷蓄積部で蓄積された前記信号電荷の強度に基づいて、前記時間差を決定する、請求項１または２に記載の撮像装置。
7. 前記制御回路は、
   前記光源が前記パルス光の発光を開始した後、時間差を空けて、前記複数の電荷蓄積部での前記信号電荷の蓄積を開始させ、
   前記イメージセンサから前記生体までの距離を算出し、
   算出された前記距離に基づいて前記時間差を決定する、
   請求項１または２に記載の撮像装置。
8. 前記光源は、第１のパルス光、および前記第１のパルス光と波長帯域の異なる第２のパルス光を発光する、
   請求項１から７のいずれかに記載の撮像装置。
9. 前記イメージセンサは、多波長の画像を取得するように構成されている、
   請求項１から８のいずれかに記載の撮像装置。
10. 前記制御回路は、
    前記パルス光の後端が前記生体の表面から反射して前記イメージセンサに到達する時刻、または前記時刻よりも後の時刻である複数の時刻において、前記複数の電荷蓄積部での前記信号電荷の蓄積を行い、
    前記複数の時刻において蓄積された前記信号電荷の強度変化に基づいて、前記パルス光のうち前記生体の前記内部で散乱された前記成分の光路長分布を取得する、
    請求項１または２に記載の撮像装置。
11. 前記生体の動きを補正する補正回路をさらに備える、
    請求項１から１０のいずれかに記載の撮像装置。
12. 前記補正回路は、前記生体の周期振動を検出することにより前記生体の動きを補正する、
    請求項１１に記載の撮像装置。

Images