JP2021045600A - 生体情報検出装置 - Google Patents

Abstract

【課題】被験者の生体を拘束することなく、高い精度で生体情報を検出する。【解決手段】生体情報検出装置は、生体３を含む対象物に投影する配列点像光源である光源１と、撮像システムであるカメラ２とを備える。光源１は、複数の点像を生体３に投影するように配置される。カメラ２は、イメージセンサを有し、生体表面４を撮像し、画像信号を生成して出力する。配列点像光源からの光の波長は、６５０ｎｍ以上９５０ｎｍ以下である。【選択図】図１Ａ

Description

本開示は、生体情報検出装置に関する。特に、非接触で心拍等の生体情報を検出する生体情報検出装置、生体情報検出方法、および心理的変化検出方法に関する。

人間の健康状態を判断するための基礎的なパラメータとして、心拍、血流量、血圧、血中酸素飽和度などが広く用いられている。血液に関するこれらの生体情報は、通常、接触型の測定器によって測定される。接触型の測定器は、被験者の生体を拘束するため、特に長時間にわたって連続して測定する場合に被験者の不快感を招いていた。

人間の健康状態を判断するための基礎的な生体情報を簡単に測定する様々な試みがなされている。例えば、特許文献１は、カメラで撮影した顔などの画像情報から非接触で心拍数を検出する方法を開示している。特許文献２は、白色光源とレーザー光源とを用いて、生体表面の後方で散乱したレーザー光のレーザドップラー効果を利用して血中酸素飽和度を測定する方法を開示している。特許文献３は、通常のカラーカメラを用いて周辺光の影響を除外して血中酸素飽和度を測定する方法を開示している。

一方、人の心理的変化を推定する方法も数多く提案されている。例えば、特許文献４および特許文献５は、人がストレス（緊張）を感じたり集中したりすることによって発生する鼻の周辺部分の温度の低下をサーモグラフィによって検知する方法を開示している。

特開２００５−２１８５０７号公報 特表２００３−５１７３４２号公報 特表２０１４−５２７８６３号公報 特開平６−５４８３６号公報 特開２００８−２３７２４４号公報 特開２００２−２０００５０号公報

黒田他、「情動変動に伴う顔色と顔面皮膚温の分析とその顔色合成」、ヒューマンインタフェース学会研究報告集 １（１）、１５−２０、１９９９

上記従来の技術では、取得される生体情報の精度もしくは安定性、または生体情報の取得の簡便性に課題があった。

本開示は、被験者の生体を拘束することなく、高い精度で生体情報を検出することができる生体情報検出装置を提供する。

本開示の一態様に係る生体情報検出装置は、第１の光による少なくとも１つの第１のドットを生体に投影する第１の光源と、第２の光による少なくとも１つの第２のドットを前記生体に投影する第２の光源と、前記第１の光を検出する複数の第１の光検出セル、および前記第２の光を検出する複数の第２の光検出セルを含み、前記少なくとも１つの第１の
ドットが投影された前記生体の第１の画像を示す第１の画像信号、および前記少なくとも１つの第２のドットが投影された前記生体の第２の画像を示す第２の画像信号を生成して出力する撮像システムと、前記撮像システムから出力された前記第１の画像信号および前記第２の画像信号を用いて、前記生体に関する情報を生成して出力する演算回路と、を備え、前記第１の光の波長および前記第２の光の波長は、いずれも６５０ｎｍ以上９５０ｎｍ以下であり、前記第２の光の前記波長は、前記第１の光の前記波長よりも５０ｎｍ以上長い。

上記の包括的または具体的な態様は、素子、装置、システム、方法、またはこれらの任意の組み合わせで実現されてもよい。

本開示の一態様によれば、被験者の生体を拘束することなく、安定して生体の心拍・血流量・血中酸素飽和度等の生体情報を検出することが可能になる。さらに、本開示の他の態様によれば、生体情報検出装置から得られた生体情報から被験者の体調・感情等の状態を判定することができる。

本開示のある実施形態における生体情報の取得の基本的な考え方を説明するための図 カメラによって取得される生体表面の画像の特性を説明するための図 生体の主要な成分であるヘモグロビン、メラニン、水の可視光〜近赤外光での吸光係数と散乱係数を示す図 実施形態１の生体情報検出装置の構成を示す図 実施形態１におけるカメラの構成および出力される画像の例を示す図 実施形態１におけるコンピュータ２０の構成を示すブロック図 実施形態１の生体検知方法を実施した例を示す第１の図 実施形態１の生体検知方法を実施した例を示す第２の図 実施形態１におけるコントラストの計算方法を示す図 実施形態２における構成および生成される生体情報（心拍数）の例を示す図 実施形態２における画像処理の流れを示すフローチャート 実施形態３における生体情報検出装置の構成を示す図 実施形態３における２台のカメラを用いた生体情報センシングの概要を示す図 実施形態３における２つのバンドパスフィルタの透過特性を示す図 実施形態３の方法で測定した脈波の例を示す図 実施形態３の方法および従来の方法で血中酸素飽和度を測定した結果を示す図 実施形態４におけるステレオカメラ方式の生体情報検出装置の構成を示す図 実施形態５におけるステレオレンズ方式の生体情報検出装置の構成を示す図 実施形態５の生体情報検出装置を用いてストレスセンシングを行った結果を示す図 実施形態５における画像中の鼻部と頬部とを示す図 実施形態５の生体情報検出装置を用いて得られた血流量および血中酸素飽和度の変化を示す図 実施形態６における生体情報検出装置の構成を模式的に示す断面図 実施形態６における画像中の鼻部と額部とを示す図 実施形態６における笑いの感情を誘起した場合の総血流量（酸化ヘモグロビンおよび脱酸素化ヘモグロビン）の時間変化と、酸化ヘモグロビンの血流量の割合（酸素飽和度）の時間変化とを示す図 実施形態７における生体情報検出装置の構成を模式的に示す図 実施形態７における複数のカラーフィルタを示す図 実施形態７において生成される画像の例を示す図 実施形態８における生体情報検出装置の構成を示す図 実施形態８における複数のカラーフィルタを示す図 実施形態８において生成される画像の例を示す図 Ｒ、Ｇ、Ｂ、ＩＲの４種類のカラーフィルタを有するマルチスペクトルセンサーの構成例を示す図

（本開示の基礎となった知見）
本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。

前述のように、人間の健康状態を判断するための基礎的な生体情報を測定する様々な試みがなされている。例えば、特許文献１は、カメラで撮影した顔などの画像の情報から非接触で心拍数を検出する方法を提案している。特許文献１の方法は、取得したカラー画像の空間周波数成分を分析することによって心拍数を求める。しかし、この方法では、室内の照明光等の外乱光の影響によって精度が低下するため、安定な検出ができない。

血中酸素飽和度の測定にはパルスオキシメータが一般に用いられる。パルスオキシメータは、指を挟みこむようにして赤色〜近赤外の波長域に含まれる２つの波長の光を指に照射し、その透過率を測定する。これにより、血液中の酸化ヘモグロビンの濃度と還元ヘモグロビンの濃度との比を求めることができる。パルスオキシメータは、簡便な構成で血中酸素飽和度を測定できる。しかし、接触型の装置であるため、拘束感があるという課題がある。

非接触型の血中酸素飽和度測定装置の一例が特許文献２に開示されている。この装置は、白色光源とレーザー光源とを用いて、生体表面の後方で散乱したレーザー光によるレーザドップラー効果を利用して血中酸素飽和度を測定する。しかし、この方法では装置の構成が複雑になり、得られる信号も微弱であるという問題点がある。

特許文献３は、通常のカラーカメラを用いて周辺光の影響を除外して血中酸素飽和度を測定する方法を提案している。この方法でも皮膚の表面での反射光の影響が大きいため、高い精度で安定して血中酸素飽和度を測定することは困難である。

このように、従来の非接触式の血中酸素飽和度の測定方法は、精度および安定性に課題がある。現時点で実用に供されている非接触式の血中酸素飽和度測定装置は存在しない。

一方、人間の心理的変化を、サーモグラフィを用いて推定する方法が数多く提案されている（例えば、特許文献４および特許文献５）。これらの方法は、鼻部の体温度の低下をサーモグラフィによって検知する。人間の鼻部には動静脈吻合血管が多く、自律神経系の影響を受けて血液循環が阻害され易い。ストレスおよび緊張等の心理的変化によって自律神経の影響を受けて鼻部の血流が低下し、それに伴って鼻部の温度低下が生じる。特許文献４、５に開示された装置は、その温度変化をサーモグラフィによって検知することにより、被験者の心理的変化を推定する。

サーモグラフィを用いる方法は、温度の低下までに時間を要するため応答性が低く、さ
らに、環境温度の影響を受けるなどの欠点がある。顔の表面の血流を正確に測定できれば、より応答性が高く環境温度の影響を受けない心理変化の推定方法を確立できると考えられる。しかしながら、現状では非接触で高精度に皮膚下の血流量を測定する方法が確立していない。よって、上記のような課題があり、かつ装置も高価なサーモグラフィを用いた方法が主流となっている。

本発明者は、上記の課題に着目し、上記課題を解決するための構成を検討した。その結果、ドットパターンを生体表面に投影する光源を用いて画像を取得し、その画像における直接反射光による成分と生体内部での拡散光による成分とを信号処理によって分離することによって上記課題を解決することができることを見出した。本開示の一態様に係る生体情報検出装置は、光によるドットパターンを生体を含む対象物に投影する少なくとも１つの光源と、複数の光検出セルを有し、前記ドットパターンが投影された前記対象物の画像を示す画像信号を生成して出力する撮像システムと、前記撮像システムに接続され、前記撮像システムから出力された前記画像信号を処理する演算回路とを備える。前記演算回路は、前記画像信号を用いて、前記生体に関する情報を生成して出力する。このような構成により、生体情報を高い精度で取得することができる。

（原理）
以下、生体情報の高精度な取得を可能とする生体情報検出装置の原理を説明する。

図１Ａは、本開示の例示的な実施形態における生体情報検出装置の概略的な構成を示す図である。この装置は、離散的に配列された複数の点像（本明細書において、「配列点像」または「ドットパターン」と称することがある。）を、生体を含む対象物に投影する配列点像光源である光源１と、撮像システムであるカメラ２とを備える。光源１は、複数の点像を生体３に投影するように配置される。カメラ２は、イメージセンサを有し、生体表面４を撮像し、画像信号を生成して出力する。

図１Ｂは、カメラ２によって取得される生体表面の画像の特性を説明するための図である。光源１から出射された光Ｌ０は生体表面４で反射される。生体表面４で反射された表面反射光Ｌ１は、光源１による配列点像のイメージを保っている。これに対し、生体３の内部に侵入し生体内部で散乱されて生体表面４から出ていく体内散乱光Ｌ２は、生体内での強い散乱によって光源１の配列点像のイメージを失っている。光源１を用いることにより、表面反射光Ｌ１と体内散乱光Ｌ２とを空間的に容易に分離できる。

図１Ａに示す生体３は人間の皮膚であり、表皮３３、真皮３４、および皮下組織３５を含む。表皮３３には血管がないが、真皮３４には毛細血管３１および細動静脈３２が存在する。表皮３３には血管がないため、表面反射光Ｌ１は血液に関する情報を含まない。表皮３３は光を強く吸収するメラニン色素を含むため、表皮３３からの表面反射光Ｌ１は血液の情報を取得する上ではノイズとなる。よって、表面反射光Ｌ１は、血液情報の取得に役立たないだけでなく、正確な血液情報の取得を妨げる。高い精度で生体情報を検知するためには、表面反射光の影響を抑制し、体内散乱光の情報を効率よく取得することが極めて重要である。

本開示の実施形態は、上記の課題を解決するために、配列点像光源と撮像システムとを用いて、直接反射光と体内散乱光とを空間的に分離するという新規な構成を有する。これにより、生体内の情報を非接触で高い精度で測定することが可能である。

従来、このような生体表面の直接反射光を分離するために、例えば特許文献６に開示されているような偏光照明を用いた方法が用いられてきた。偏光照明を用いた方法では、撮影対象から反射された照明光の偏光方向と直交する偏光透過軸をもつ偏光子が用いられる
。そのような偏光子を通してカメラで撮像することにより、表面反射光の影響を抑制することができる。しかしながら、肌のような凹凸を有する表面からの反射に関しては、表面反射光の偏光度が位置によって異なり、十分に直接反射光を分離できないという課題があった。本開示の方法によれば、直接反射光と散乱光とを空間的に分離できるため、表面反射光の影響をより効果的に抑制することができる。

本開示の実施形態における生体情報検出装置では、配列点像光源からの光の波長も重要である。配列点像光源の波長は、例えば略６５０ｎｍ以上略９５０ｎｍ以下に設定され得る。この波長範囲は、赤色〜近赤外線の波長範囲に含まれる。本明細書では、可視光のみならず赤外線についても「光」の用語を使用する。上記の波長範囲は、「生体の窓」と呼ばれ、体内での吸収率が低いことで知られている。

図２は、酸化ヘモグロビン、還元ヘモグロビン、メラニン、および水のそれぞれの光の吸収係数、ならびに体内での光の散乱係数の波長依存性を示す図である。６５０ｎｍ以下の可視光領域では血液（即ちヘモグロビン）による吸収が大きく、９５０ｎｍよりも長い波長域では水による吸収が大きい。よって、これらの波長域の光は生体内の情報の取得には適していない。一方、略６５０ｎｍ以上略９５０ｎｍ以下の波長範囲内では、ヘモグロビンおよび水の吸収係数が比較的低く、散乱係数は比較的大きい。よって、この波長範囲内の光は、体内に侵入した後、強い散乱を受けて体表面に戻ってくる。このため、効率的に体内の情報を取得することができる。

本開示の実施形態における生体情報検出装置は、主にこの「生体の窓」に該当する波長域の光を利用する。これにより、生体表面で直接反射された光と体内で散乱して戻ってきた光とを高い精度で分離して検出できるため、体内の情報を効率的に取得することができる。

本開示は、例えば以下の項目に記載の態様を含む。

［項目１］
第１の光による少なくとも１つの第１のドットを生体に投影する第１の光源と、
第２の光による少なくとも１つの第２のドット第２のドットパターンを前記生体に投影する第２の光源と、
前記第１の光を検出する複数の第１の光検出セル、および前記第２の光を検出する複数の第２の光検出セルを含み、前記少なくとも１つの第１のドットが投影された前記生体の第１の画像を示す第１の画像信号、および前記少なくとも１つの第２のドットが投影された前記生体の第２の画像を示す第２の画像信号を生成して出力する撮像システムと、
前記撮像システムから出力された前記第１の画像信号および前記第２の画像信号を用いて、前記生体に関する情報を生成して出力する演算回路と、
を備え、
前記第１の光の波長および前記第２の光の波長は、いずれも６５０ｎｍ以上９５０ｎｍ以下であり、
前記第２の光の前記波長は、前記第１の光の前記波長よりも５０ｎｍ以上長い、生体情報検出装置。

項目１に記載の生体情報検出装置において、少なくとも１つの第１のドットは、第１の光による複数の第１のドットを備えていてもよい。

項目１に記載の生体情報検出装置において、少なくとも１つの第２のドットは、第２の光による複数の第２のドットを備えていてもよい。

項目１に記載の生体情報検出装置において、少なくとも１つの第１のドットは、第１の光による複数の第１のドットを備えており、複数の第１のドットは、線状に配置されていてもよい。

項目１に記載の生体情報検出装置において、少なくとも１つの第２のドットは、第２の光による複数の第２のドットを備えており、複数の第２のドットは、線状に配置されていてもよい。

項目１に記載の生体情報検出装置において、少なくとも１つの第１のドットは、第１の光による複数の第１のドットを備えており、複数の第１のドットは、アレイ状に配置されていてもよい。

項目１に記載の生体情報検出装置において、少なくとも１つの第２のドットは、第２の光による複数の第２のドットを備えており、複数の第２のドットは、アレイ状に配置されていてもよい。

［項目２］
前記撮像システムは、
前記複数の第１の光検出セルが配置された第１の領域と、前記複数の第２の光検出セルが配置された第２の領域とに分割された撮像面を有する撮像素子と、
前記第１の領域に前記第１の画像を形成する第１の光学系と、
前記第２の領域に前記第２の画像を形成する第２の光学系と、
をさらに含む、項目１に記載の生体情報検出装置。

［項目３］
前記撮像システムは、
前記第１の領域に入射する前記第１の光の経路上に配置され、前記第１の光を透過させる第１のバンドパスフィルタと、
前記第２の領域に入射する前記第２の光の経路上に配置され、前記第２の光を透過させる第２のバンドパスフィルタと、
をさらに含む、項目２に記載の生体情報検出装置。

［項目４］
前記複数の第１の光検出セルおよび前記複数の第２の光検出セルが配置された撮像面と、前記複数の第１の光検出セルに対向し前記第１の光を透過させる複数の第１のバンドパスフィルタと、前記複数の第２の光検出セルに対向し前記第２の光を透過させる複数の第２のバンドパスフィルタとを有する撮像素子と、
前記撮像面に前記第１の画像および前記第２の画像を形成する光学系と、
をさらに含む、項目１に記載の生体情報検出装置。

［項目５］
前記撮像システムは、
前記複数の第１の光検出セル、前記複数の第２の光検出セル、および複数の第３の光検出セルが配置された撮像面と、前記複数の第１の光検出セルに対向し前記第１の光を透過させる複数の第１のバンドパスフィルタと、前記複数の第２の光検出セルに対向し前記第２の光を透過させる複数の第２のバンドパスフィルタと、前記複数の第３の光検出セルに対向し可視光を透過させる複数の第３のバンドパスフィルタとを有する撮像素子と、
前記撮像面に前記第１の画像および前記第２の画像を形成する光学系と、
を有し、
前記複数の第３のバンドパスフィルタは、互いに透過波長域の異なる複数の色フィルタ
を含み、
前記撮像素子は、前記複数の第３の光検出セルを用いてカラー画像信号を生成して出力する、項目１に記載の生体情報検出装置。

［項目６］
前記演算回路は、前記第１の画像信号および前記第２の画像信号を用いて、前記生体の血中酸素飽和度を示す情報を生成して出力する、項目１から５のいずれかに記載の生体情報検出装置。

［項目７］
前記演算回路は、前記第１の画像信号および前記第２の画像信号に基づいて、前記生体の血流量および血中酸素飽和度を計算し、前記血流量および前記血中酸素飽和度に基づいて、前記生体の体調、感情、および集中度からなる群から選択される少なくとも１つを示す情報を生成して出力する、項目１から５のいずれかに記載の生体情報検出装置。

［項目８］
前記第１の画像および前記第２の画像に前記生体の額部および鼻部からなる群から選択される少なくとも１つが含まれるとき、
前記演算回路は、前記第１の画像信号および前記第２の画像信号に基づいて、前記額部および前記鼻部からなる群から選択される前前記少なくとも１つにおける血流量および血中酸素飽和度を計算し、前記血流量の時間変化および前記血中酸素飽和度の時間変化に基づいて、前記生体の体調、感情、および集中度からなる群から選択される少なくとも１つを示す情報を生成して出力する、項目１から５のいずれかに記載の生体情報検出装置。

［項目９］
前記第１の画像および前記第２の画像に前記生体の額部および鼻部が含まれるとき、
前記演算回路は、前記第１の画像信号および前記第２の画像信号に基づいて、前記額部および前記鼻部それぞれの血流量および血中酸素飽和度を計算し、前記額部における前記血流量の時間変化および前記血中酸素飽和度の時間変化と、前記鼻部における前記血流量の時間変化および前記血中酸素飽和度の時間変化との比較に基づいて、前記生体の体調、感情、および集中度からなる群から選択される少なくとも１つを示す情報を生成して出力する、項目１から５のいずれかに記載の生体情報検出装置。

［項目１０］
前記第１の光源および前記第２の光源は、レーザー光源である、項目１から９のいずれかに記載の生体情報検出装置。

項目１０に記載の生体情報検出装置において、レーザー光源は、ランダムなドットパターンを投影してもよい。

［項目１１］
前記撮像システムは、
前記複数の第１の光検出セルおよび前記複数の第２の光検出セルが配置された撮像面を有する撮像素子と、
前記撮像面に前記第１の画像および前記第２の画像を形成する光学系と、
前記光学系の焦点を調整する調整機構と、
をさらに含み、
前記調整機構は前記焦点を調整することにより、前記第１の画像および前記第２の画像のコントラストを最大にする、項目１に記載の生体情報検出装置。

［項目１２］
前記演算回路は、前記第１の画像信号および前記第２の画像信号を用いた顔認識処理を行い、前記第１の画像および前記第２の画像に前記生体の額、鼻、口、眉毛、および毛髪からなる群から選択される少なくとも１つが含まれている場合に、前記生体に関する情報を生成して出力する、項目１から１１のいずれかに記載の生体情報検出装置。

［項目１３］
前記生体に関する情報が、メラニン色素の濃度、しみの有無、およびあざの有無からなる群から選択される少なくとも１つである、項目１から５のいずれかに記載の生体情報検出装置。

［項目１４］
光によるドットパターンを生体を含む対象物に投影する少なくとも１つの光源と、
複数の光検出セルを有し、前記ドットパターンが投影された前記対象物の画像を示す画像信号を生成して出力する撮像システムと、
前記撮像システムに接続され、前記撮像システムから出力された前記画像信号を用いて、前記生体に関する情報を生成して出力する演算回路と、
を備える、生体情報検出装置。

［項目１５］
前記光は、６５０ｎｍ以上９５０ｎｍ以下の波長の光を含む、項目１４に記載の生体情報検出装置。

［項目１６］
前記生体に関する前記情報は、前記画像中の前記生体の位置、前記生体の心拍数、前記生体の血流量、および前記生体の血中酸素飽和度の少なくとも１つの情報を含む、項目１４または１５に記載の生体情報検出装置。

［項目１７］
前記撮像システムは、
前記光源が発する前記光の波長域の少なくとも一部を含む波長域の光を透過させるバンドパスフィルタと、
前記複数の光検出セルが配列された撮像面を有し、前記バンドパスフィルタを透過した光が前記撮像面に入射するように配置された撮像素子と、
を有する、項目１４から１６のいずれかに記載の生体情報検出装置。

［項目１８］
前記演算回路は、前記画像に含まれる特定の画素、および前記特定の画素の周辺に配置された複数の画素における画素値の標準偏差と平均値との比に基づいて、前記特定の画素に対応する位置に生体が存在するか否かを判定し、前記生体の存否を示す情報を出力する、項目１４から１７のいずれかに記載の生体情報検出装置。

［項目１９］
前記演算回路は、前記画像信号の少なくとも一部にローパスフィルタリング処理を施して得られる信号の時間変化に基づいて、前記生体の心拍数、血圧、および血流量の少なくとも１つの情報を生成して出力する、項目１４から１８のいずれかに記載の生体情報検出装置。

以下、本開示の実施形態をより詳細に説明する。以下の実施形態は主に人の顔面を生体表面として、非接触で生体情報を測定する生体情報検出装置に関する。ただし、本開示の
技術は人間の顔面に限らず、顔面以外の部位または人間以外の動物の皮膚部にも適用可能である。

（実施形態１）
第１の実施形態として、本開示の技術を生体検知に応用したシステムを説明する。生体検知は、例えば災害現場で瓦礫等に埋まった被災者を探知する目的で開発が進んでいる。災害後７２時間以内に被災者を発見することが被災者の生存率を決定づける。このため、簡単で安定した生体検知システムが必要とされている。生体検知技術は、セキュリティ分野および交通分野でも利用される。セキュリティ分野では侵入者を発見するために、交通分野では歩行者を検知するために、生体検知技術は重要な役割を果たす。様々な構造物または物体が含まれる画像の中から生体（特に人間）を選択的に検知可能なシステムの必要性も高まっている。

図３Ａは、本実施形態の生体検知システムの概略的な構成を示す図である。本実施形態の生体検知システムは、図３Ａに示すように、生体３から離れた位置に配置された近赤外の波長域の光線を射出する光源１と、照射された生体表面４の画像を記録可能な撮像システム（即ち、撮像装置またはカメラ）２と、撮像された画像から生体表面での直接反射光の成分と体内での散乱光の成分とを分離して測定し、直接反射光の強度と散乱光の強度とから生体情報を算出して出力するコンピュータ２０とを備えている。

光源１は、ドットパターンを生体表面４に投影するように設計されている。ドットパターンは、典型的には２次元に配列された微小な輝点の集合である。用途によっては１次元に配列されたドットパターンを用いてもよい。本実施形態では、例えば米国Ｏｓｅｌａ社のランダムドットパターンレーザープロジェクターＲＰＰ０１７ＥＳを光源１として使用できる。このレーザー光源は８３０ｎｍの近赤外レーザー光を発する光源であり、４５°×４５°の視野角内に５７４４６点のレーザードットパターンを投影する。

図３Ｂは、撮像システムの構成および生成される画像の一例を示す図である。カメラ２は、レンズ５とカメラ筐体６とを有する。レンズ５は複数のレンズの集合体であり得る。カメラ筐体６の内部にはイメージセンサ７と光源１の波長である８３０ｎｍ±１０ｎｍの波長の光のみを透過するバンドパスフィルタ８とが搭載されている。

人を被写体とする場合、図３Ｂの中央の図に示すように、イメージセンサ７は、位置ごとの赤外線反射率に応じた輝度をもつ複数の点像を含む画像を取得する。この画像からコンピュータ２０内の演算回路は、図３Ｂの右側の図のように、画像信号処理によって生体のみを検知することができる。既に述べたように、生体は赤色〜近赤外線の波長に対して「生体の窓」と呼ばれる特異な光学特性を持つ。人体の肌はこの波長範囲では吸収係数が小さく、散乱係数が大きいため、生体表面４である皮膚の表面を透過した光は体内で多重散乱を繰り返して拡散して広範囲にわたって生体表面４から射出される。上記波長範囲では、直接反射光に対して散乱光の割合が高いことが生体の特徴である。これに対し、生体以外の物体では、散乱光よりも表面反射光の割合の方が高い。よって、直接光と散乱光との割合に基づいて生体を検知することが可能である。

図３Ｃは、コンピュータ２０の構成を示すブロック図である。コンピュータ２０は、カメラ２に電気的に接続された入力インタフェース（ＩＦ）２１と、上記の信号処理を行う演算回路２２と、各種のデータを記録するメモリ２４と、装置全体の動作を制御する制御回路２５と、データを出力する出力インタフェース（ＩＦ）２３と、処理結果を表示するディスプレイ２６とを備えている。演算回路２２は、例えばデジタルシグナルプロセッサ（ＤＳＰ）等の画像処理回路であり得る。制御回路２５は、例えば中央演算処理装置（ＣＰＵ）またはマイクロコンピュータ（マイコン）等の集積回路であり得る。制御回路２５
は、例えばメモリ２４に記録された制御プログラムを実行することにより、光源１への点灯指示、カメラ２への撮像指示、および演算回路２２への演算指示等の制御を行う。制御回路２５と演算回路２２は、統合された１つの回路によって実現されていてもよい。この例ではコンピュータ２０がディスプレイ２６を備えているが、ディスプレイ２６は有線または無線で電気的に接続された外部の装置であってもよい。コンピュータ２０は、不図示の通信回路によって遠隔地のカメラ２から画像情報を取得してもよい。

以下、実際のデータを用いて行った生体検知方法の一例を説明する。

図４Ａは、可視光を検出する通常のカメラによって取得された画像の一例を示している。中央部に人の顔Ｆが見えている。図４Ｂの左側の図は、本実施形態のカメラ２によって取得された８３０ｎｍの波長の光源１で照明された図４Ａと同一のシーンを示している。この画像では手前に配置されている箱Ｂによる強い反射により、顔Ｆを認識することが困難である。そこで、人体を検知するために、演算回路２２は、近赤外の画像から直接反射光と散乱光のコントラストを計算する。

図５は、コントラストの計算に用いる画素領域の一例を示す図である。画像データは２次元の強度データとしてメモリ２４に記録されている。横（ｘ）方向にｉ番目、縦（ｙ）方向にｊ番目の画素のデータをＰｉｊとする。この（ｉ，ｊ）画素のコントラストＣｉｊを以下のように定義する。
Ｃｉｊ ＝ Ｓｉｊ ／ Ａｉｊ

ここで、ＳｉｊおよびＡｉｊは、それぞれ、（ｉ，ｊ）画素を中心とする７×７画素の領域内の画素データの標準偏差値および平均値であり、図５に示す式で表される。直接反射光に対する散乱光の比率が高まるほど標準偏差値Ｓｉｊが小さくなるため、Ｃｉｊの値は小さくなる。この処理を全画素について繰り返した上で、演算回路２２は、Ｃｉｊの値が所定の範囲内である画素のみを抽出する。一例として、０．２ ＜ Ｃｉｊ ＜ ０．４７となる領域の一部を表示したのが、図４Ｂの右側の図である。この図では、Ｃｉｊの値が上記の範囲内にある画素を白く表示し、それ以外の画素を黒く表示している。生体（即ち顔Ｆ）の部分が正しく抽出されていることがわかる。

このように、本実施形態における演算回路２２は、画像に含まれる特定の画素、およびその画素の周辺に配置された複数の画素における画素値の標準偏差と平均値との比であるコントラストＣｉｊを計算する。その値に基づいて、上記特定の画素に対応する位置に生体が存在するか否かを判定し、その存否を示す情報を出力することができる。

本実施形態によれば、生体の特異な光学特性を利用して、多くの物体の中に隠れた生体を効率的に検出することが可能である。ここでは画像のコントラスト（即ち直接反射光と散乱光とのコントラスト）を求めるために７×７画素の領域内の平均値と標準偏差値を求めたが、これは一例である。コントラストの演算に用いられる画素領域のサイズ（即ち画素数）は、光源１によって形成される複数の点像の密度とカメラ２の解像度に応じて適切に設定される必要がある。計算結果のばらつきを抑えるために、演算対象の画素領域内に複数（例えば３個以上）の点像が含まれていてもよい。演算対象の領域の画素数を増加させることによってコントラストの計算値の精度は向上するが、得られる生体のイメージの解像度は低下する。このため、演算対象の領域の画素数は、システムの構成と使用目的とに応じて適切に設定する必要がある。同様に、コントラストの所定の範囲も、０．２ ＜
Ｃｉｊ ＜ ０．４７に限らず、システムの構成と使用目的とに応じて適切に設定される。

本実施形態のように、撮影した画像からリアルタイムで生体を検知できるシステムは、
多様な用途に適用できる。以下に代表的な適用例について述べる。

（１）災害時の被災者の発見
地震、津波、土石流などの自然災害の発生時に、瓦礫に埋もれた被災者を早期に発見することは、人命救助の観点から特に重要である。３日を越えると生存率が大幅に低下するといわれる「７２時間の壁」があり、混乱した状況下で速やかに被災者を発見することが必要とされている。本実施形態のシステムを用いることにより、瓦礫が散乱するような状況の中でも撮像してリアルタイムで瓦礫に隠れた被災者を検知することが可能になる。システムが小型であるため、例えばドローンに搭載することもできる。これにより、２次災害の危険がありアクセスが困難な災害現場であっても、遠隔地からリモートコントロールで画像を取得し生存者を探査することが可能である。

（２）監視用途
監視カメラが広く普及し、市民生活の安全および安心に貢献している。監視カメラの台数が増えるほど、その監視カメラの映像を誰がどのように確認するかが重要になる。現状では、人が画像を常時確認することは困難であるため、画像を蓄積しておき、問題（事件）が発生した後でその画像を確認することで状況を把握するような使われ方が多い。リアルタイムの画像から問題発生の瞬間を捉え、即時に問題に対応できるような利用方法であってもよい。本開示の技術を用いることで、監視カメラの画面に人が入ってきたときにそれを認識して、担当者に警告を発してその画像をリアルタイムに確認させるようなシステムを構築できる。担当者は必ずしも監視カメラのモニタ前に待機する必要は無く、人を検知した場合に担当者のもつ携帯端末に警告が現れ、画像が表示されるようなシステムを構築することが可能である。通常人の立ち入らないような、倉庫もしくは建物の裏口または立ち入りが制限されているような場所の監視にはこのようなシステムが適している。また、ビル等の、多数のカメラを集中的に監視しているような場所では、人を検知したカメラ映像をハイライト表示することで、異常の見逃し防止、異常の早期発見および対策に役立てることができる。

監視用途においては従来の監視画像を人間が判断する方式から、画像認識技術の進展によりコンピュータによる物体認識を行う方式の開発が進められている。このような用途では、画像をホストコンピュータに送りホストコンピュータ側で認識を行う方式が一般的である。しかし、画像データをコンピュータに送る必要があり、通信量の増大・通信速度の低下、ホストコンピュータの負荷増大といった問題が発生していた。監視カメラで一次的な画像の認識と判定が可能であれば、通信・記録・演算の負荷を大幅に軽減できる。ただし、この認識に十分な信頼性がないと事象の見逃しにつながるという課題があった。本実施形態の人検知方式では、高い信頼性で人間を検知できるため、人を検知した場合に人を含む部分画像のみを選択的にホストコンピュータに送ることが可能になる。その結果、監視システムの効率的な運用が可能になる。

また、画像認識技術の進化により、画像によって個人を高精度に特定することが可能になってきている。画像からの個人特定についても現状では、画像をホストコンピュータに送りホストコンピュータ側で認識を行う方式が一般的であるが、前述のように通信・記録・演算の負荷が課題になっている。演算時に、顔認識のために顔部を抽出する作業に大きな負荷がかかっている。本実施形態の検知方式を用いれば、画像内から容易に顔部分を抽出できる。このため、顔部分のみをホストコンピュータに送り個人特定を行うことが可能になり、個人特定の負荷を大幅に低減できる。さらに、限定された人数であれば特徴をあらかじめ監視カメラ側に登録しておくことでホストコンピュータを介さずに、即時にカメラ側で個人の特定が可能になる。

（３）車
本実施形態のシステムを自動車に搭載することで、路上の歩行者を常に認識し、より安全な運転を実現することができる。人が物陰に隠れていて、視認性の悪い場合でも人を検知してドライバーに警告することが可能である。自動運転においては、ブレーキで停止ができず、左右どちらに方向転換しても事故が避けられないような局面でどちらに避けるかという問題が発生することが想定される。そのような場合、本システムで人体を検知し人を避ける方向に進路を変更することが有効になる。このような用途の場合、高い精度で高速に人体を検知することが求められるため、本実施形態のシステムは特に適している。

（４）人体検知スイッチ
人体を検知して電源のオンおよびオフを切り替えるというような用途は幅広く存在する。例えば、室内の人間を検知してエアコンまたは電灯等の機器のスイッチを制御したり、自動ドアを高い精度で制御したり、横断歩道で歩行者を検知して歩行者信号を制御したり、自動販売機の照明の照度を変更したりするなどの用途が存在する。本実施形態は、それらの用途に適用可能である。本実施形態のシステムを用いて、物およびペットには反応せず人だけに感応する高機能なスイッチを実現することができる。このような用途では、本システムにおける光源、カメラ（撮像システム）、および信号処理装置（演算回路）を一体化した小型の人体検知センサーユニットを構成してもよい。

（５）生体認証
指紋認証、虹彩認証、および静脈認証などの生体認証が個人認証の方法として広く用いられている。利用が拡大するにつれ、生体認証の成りすましの事例およびリスクが増加している。画像を用いた認証においては、これまでコピー等の画像複製技術が用いられてきた。近年、虹彩認証および３Ｄプリンターの利用の拡大とともに、さらに高精度な複製を用いた成りすましのリスクが拡大している。このようなリスクの対策として、２段階の認証システムが有効である。例えば、本実施形態の生体検知システムで対象が生体であることを確認したうえで、通常の生体認証を行うという方式が有効である。本システムの生体検知システムを用いて生体であることの確認を行うことで、生体認証の信頼性を高めることが可能になる。

（実施形態２）
第２の実施形態として、本開示の技術を生体情報センシングに応用したシステムを説明する。ヘルスケア意識の高まりにより、定常的な生体情報センシングの重要性が増している。非接触で常時生体情報が測定可能なシステムは、病院だけでなく日常生活における健康管理にも重要である。

本実施形態のシステムは、非接触で心拍数および心拍変動をモニタリングすることができる。本システムの物理構成は、図１に示す実施形態１における構成と同じである。実施形態１と異なる点は、演算回路２２による信号処理の方法である。以下、図６Ａおよび図６Ｂを参照しながら、本実施形態における信号処理を説明する。

図６Ａは、本実施形態における信号処理の概要を示す図である。図６Ｂは、この信号処理の流れを示すフローチャートである。演算回路２２は、イメージセンサ７によって取得された動画像から、公知の顔認識処理を行い、顔の特定部位（例えば額の部分）の領域を抽出する（ステップＳ１０１）。図６Ａの右端の図は、抽出された領域の各画素の値（画素値）の一例を示している。演算回路２２は、その領域内の画素値のデータ（即ち画像信号）の少なくとも一部に２次元のローパスフィルタリング処理を行い直接反射光成分（即ち高周波成分）を除去する（ステップＳ１０２）。その上で、測定領域内の画素値（即ち反射光強度）の平均値を計算する（ステップＳ１０３）。この反射光強度の平均値は、図６Ａの下の図に示すように、時間的に変動する。心臓から拍出された動脈血が脈波と呼ばれる波動を持って血管内を移動するため、近赤外線の吸収量が脈動に連動して変化する。
この変動の周期から心拍数を求めることができる。さらに、脈動の振幅から血圧または血流量を推定することができる（ステップＳ１０４）。このように、演算回路２２は、画像信号の少なくとも一部にローパスフィルタリング処理を施して得られる信号の時間変化に基づいて、生体の心拍数、血圧、および血流量の少なくとも１つの情報を生成することができる。

心拍数の時間的なゆらぎから心理的ストレスが推定できることが知られている。自律神経が正常に機能している場合、心拍の間隔は揺らぐが、ストレスにより心拍の間隔の揺らぎが減少することが知られている。本実施形態における演算回路２２は、この心拍の間隔の揺らぎの変化に基づいて心理的ストレスの有無または程度を検出することもできる。ストレスセンシングを生活の中で定常的に行うためには、本実施形態のような非拘束で非接触な心拍センシング技術は重要である。

通常の可視カメラまたは近赤外カメラを用いて、心拍を非接触でモニタする方法については数多くの方法が提案されている。これらの従来の方法では、表面反射光の成分と散乱光の成分との分離が不十分なため、非接触では外乱光の影響を受けやすく、安定で高精度な測定は困難であった。本実施形態のように表面反射光成分と散乱光成分とを空間的に分離することにより、安定で高精度な心拍測定が可能になった。

本実施形態のシステムを用いることで、拘束されることなく、就寝時を含め、常時心拍数または血圧をモニタすることが可能になった。これにより、例えば病院で患者の状態を常時モニタリングし、異常発生時に医療スタッフに警告を発するようなシステムを構築できる。一般家庭においても、例えば無呼吸症候群を罹患した患者の夜間の心拍数のモニタリングが可能である。さらに、日常生活においても、上述のように簡便にストレスセンシングを行うことができるため、より充実した日常生活をおくることが可能になる。

（実施形態３）
第３の実施形態として、非接触で血中酸素飽和度を測定するシステムを説明する。血液の大きな役割は、酸素を肺から受け取って組織へと運び、組織からは二酸化炭素を受け取ってこれを肺に循環させることである。血液１００ｍｌの中には約１５ｇのヘモグロビンが存在している。酸素と結合したヘモグロビンを酸化ヘモグロビン（ＨｂＯ₂）と呼び、
酸素と結合していないヘモグロビンを還元ヘモグロビン（Ｈｂ）と呼ぶ。図２に示したように、酸化ヘモグロビンおよび還元ヘモグロビンの光吸収特性は異なる。酸化ヘモグロビンは約８３０ｎｍを超える波長の赤外線を比較的よく吸収し、還元ヘモグロビンは赤色光（例えば６６０ｎｍの波長）を比較的強く吸収する。８３０ｎｍの波長の近赤外線については、両者の吸収率に差異はない。そこで、本実施形態では、６６０ｎｍおよび８３０ｎｍの２つの波長における透過光を測定する。これらの赤外光と赤色光の透過光の比率から２種類のヘモグロビンの比率（酸素飽和度）を求めることができる。酸素飽和度とは、血液中のヘモグロビンのうちどれだけが酸素と結びついているかを示す値である。酸素飽和度は、下記の数式で定義される。
酸素飽和度＝Ｃ（ＨｂＯ₂）／［Ｃ（ＨｂＯ₂）＋Ｃ（Ｈｂ）］×１００（％）
ここで、Ｃ（Ｈｂ）は還元ヘモグロビンの濃度を、Ｃ（ＨｂＯ₂）は酸化ヘモグロビンの
濃度を表している。

生体内には、血液以外にも赤〜近赤外の波長の光を吸収する成分が含まれているが、光の吸収率が時間的に変動するのは、主に動脈血中のヘモグロビンに起因する。よって、吸収率の変動に基づいて、高い精度で血中酸素飽和度を測定することができる。心臓から拍出された動脈血は脈波となって血管内を移動する。一方、静脈血は脈波を持たない。生体に照射した光は、動静脈および血液以外の組織など生体の各層で吸収を受けて生体を透過するが、動脈以外の組織は時間的に厚さが変動しない。このため、生体内からの散乱光は
、脈動による動脈血層の厚さの変化に応じて時間的な強度変化を示す。この変化は動脈血層の厚さの変化を反映しており、静脈血および組織の影響を含まない。よって、散乱光の変動成分だけに着目することで動脈血の情報を得ることができる。時間に応じて変化する成分の周期を測定することにより、脈拍も求めることができる。

図７は、本実施形態のシステムの構成を示す図である。本システムは、生体３から離れた位置に配置された近赤外の波長の光線（例えば波長８３０ｎｍ）および赤色の波長の光線（例えば波長６６０ｎｍ）をそれぞれ射出する２つの配列点像光源である光源１０１，１０２と、照射された生体表面を記録可能な２つの撮像システムであるカメラ２０１，２０２と、取得された画像から生体表面での直接反射光強度と体内での散乱光の強度とを分離して測定し、直接反射光の強度と散乱光の強度とから生体情報を算出するコンピュータ２０とを備えている。ここでは、血中酸素飽和度を測定するために、波長の異なる２個の配列点像光源である光源１０１，１０２と、それぞれの光源に対応したカメラ２０１，２０２を装備している。

図８は、撮像システムの構成を示す図である。撮像システムであるカメラ２０１、２０２の各々は、レンズ５とカメラ筐体６とを有する。カメラ２０１のカメラ筐体６には、イメージセンサ７と、近赤外光（波長８３０ｎｍ）を選択的に透過させるバンドパスフィルタ８０１とが搭載されている。カメラ２０２のカメラ筐体６には、イメージセンサ７と、赤色の光（波長６６０ｎｍ）を選択的に透過させるバンドパスフィルタ８０２とが搭載されている。

光源１０１には、例えば米国Ｏｓｅｌａ社のランダムドットパターンレーザープロジェクターＲＰＰ０１７ＥＳを使用できる。このレーザー光源は、８３０ｎｍの近赤外レーザー光源であり、４５×４５°の視野角内に５７４４６点のレーザードットパターンを投影する。光源１０２には、例えば米国Ｏｓｅｌａ社のランダムドットパターンレーザープロジェクターＲＰＰ０１６ＥＳを使用できる。このレーザー光源は、６６０ｎｍの赤色レーザー光源であり、３５×３５°の視野角内に２３８８０点のレーザードットパターンを投影する。

コンピュータ２０は、２台のカメラ２０１、２０２が連動して同時に撮像するようにこれらのカメラおよび光源１０１、１０２を制御する。これにより、例えば図８の右側に示すようにカメラ２０１、２０２から２つの波長の異なる光の画像が生成される。

図９は、バンドパスフィルタ８０１、８０２の透過率特性を示す図である。バンドパスフィルタ８０１は、透過中心波長が８３０ｎｍでバンド幅が１０ｎｍの透過特性を有する。バンドパスフィルタ８０２は、透過中心波長が６６０ｎｍでバンド幅が１０ｎｍの特性を有する。バンドパスフィルタ８０１、８０２の透過中心波長は、光源１０１、１０２の波長の中心値とそれぞれ一致している。このため、撮像システムであるカメラ２０１では８３０ｎｍの波長の光による画像が取得され、撮像システムであるカメラ２０２では６６０ｎｍの波長の光による画像が取得される。

コンピュータ２０内の演算回路２２は、実施形態２と同様に、まず動画像から公知の顔認識処理を行い、顔面の特定の部分（例えば額の部分）を抽出する。その領域内の画素のデータに２次元のローパスフィルタリング処理を行い、直接反射光成分を除去する。その上で、測定領域内の画素値の平均値を計算する。以上の処理を、８３０ｎｍ，６６０ｎｍのそれぞれのカメラについて実行する。このようにして計算された平均値は生体からの拡散反射光の強度を示す。

図１０は、得られた拡散反射光強度の時間変化の一例を示す図である。近赤外光（波長
８３０ｎｍ）、赤色光（波長６６０ｎｍ）の双方について、反射光強度は時間的に変動している。ここで、光源１０１、１０２からの光の生体表面での強度をそれぞれＩｉ（８３０）、Ｉｉ（６６０）とし、生体からの拡散反射光の変動成分の時間平均値をそれぞれΔＩ（８３０）、ΔＩ（６６０）とする。血中酸素飽和度ＳｐＯ２は、以下の式で計算される。
SpO2 = a+b*(log(ΔI(660)/Ii(660))/ (log(ΔI(830)/Ii(830)))
上式のａ，ｂは、既存のパルスオキシメータの測定値との関係から決定することができる。

測定装置の精度を確認するために、本システムを用いて額ではなく指先の酸素飽和度を測定した。血圧測定に用いられるベルト（カフ）を用いて上腕部を一定圧力（２００ｍｍＨｇ）で加圧して、血流を止めて指先で酸素飽和度を測定した。

人差し指に市販の指を挟みこむ方式のパルスオキシメータを装着し、本システムで中指の酸素飽和度を非接触で測定した。最初の測定で上述のａ，ｂを決定し、２回目以降の測定で血中酸素飽和度ＳｐＯ２を測定した。

図１１は、パルスオキシメータを用いた場合の測定値と本実施形態における測定値の比較結果を示している。両者の結果が概ね一致していることから、精度よく測定できていることがわかる。本実施形態の方式では、血中酸素飽和度だけでなく、図１０に示す脈波から脈拍数も同時に測定することができる。

脈波の揺らぎまたは周波数特性からストレスおよび疲れが測定できることが知られている。本実施形態のシステムを用いることで、脈波から非接触に被験者のストレス等の心理状態および体調を推定することが可能である。

（実施形態４）
第４の実施形態として、１台のカメラを用いて血中酸素飽和度を測定する方式について説明する。第３の実施形態では２台のカメラを用いてそれぞれのカメラで異なる光源波長の信号を取得していた。この方式は既存のカメラを流用できるというメリットがあるが、２台のカメラを連動して撮像する必要があるためシステム構成が複雑になる。取得されるデータも２台分の独立した動画データとなるため、時間を合わせたデータ処理が複雑になるという課題もある。これを避けるために、本実施形態では、一台のカメラで同時に２波長分の画像のデータを取得可能なカメラを実現した。

図１２は、本実施形態の生体情報検出装置の構成を示す図である。この装置は、２つの撮像光学系２０１，２０２を有する２眼ステレオカメラの構造を備える。そこで、本明細書では、このような方式を「ステレオカメラ方式」と称する。生体情報検出装置（「カメラ」とも称する。）は、第１のレーザー点像光源である光源１０１（波長８３０ｎｍ）と第２のレーザー点像光源である光源１０２（７６０ｎｍ）とを有している。光源１０１、１０２で照明された生体からの反射光は、それぞれ、バンドパスフィルタ８０１，８０２を通過し、進行方向がミラー９０１，９０２で９０度折り曲げられ、レンズ５０１，５０２によって、イメージセンサ７０１，７０２の撮像面に結像する。バンドパスフィルタ８０１，８０２は、それぞれ、２つの光源の波長に対応する８３０±１５ｎｍ、７６０±１５ｎｍの波長の光のみを透過させる狭帯域バンドパスフィルタである。

シャッターボタン１１が押されると、２つの光源１０１、１０２が点灯し、同時にイメージセンサ７０１，７０２が生体の画像を取得する。取得された画像は画像処理プロセッサ（図３Ｃにおける演算回路２２に相当）によってステレオ画像のフォーマットに変換され、画像信号処理が行われた上で記憶装置（図３Ｃにおけるメモリ２４に相当）に蓄積さ
れる。その後の処理は、実施形態２または３と同様である。

本実施形態によれば、撮像系を一台のステレオカメラの構成とすることで、システム全体がコンパクトになり、後段の画像信号処理から酸素飽和度計算までの信号処理系の構成をシンプルにできる。これにより、操作の簡便性と高速性を両立できる。

２つの光源の波長として、例えば近赤外領域の７６０ｎｍおよび８３０ｎｍが用いられ得る。酸化ヘモグロビンと還元ヘモグロビンとの吸収差は、実施形態２および３で用いた６６０ｎｍの方が７６０ｎｍよりも大きいため、酸素飽和度をより高精度に測定可能である。しかし、６６０ｎｍの波長は可視領域であるため、この波長を用いると被験者に負担を与える可能性がある。さらに、蛍光灯およびＬＥＤ照明には６６０ｎｍの波長の成分が含まれているため、環境光の影響を受けやすいという問題がある。本実施形態では、このことを考慮して７６０ｎｍの波長を選択した。還元ヘモグロビンの局所的な吸収ピークが７６０ｎｍにあるため、短波長側の光源を近赤外領域に設定する場合、７６０−７８０ｎｍの波長を用いることが有効である。使用される波長は、上記のものに限定されず、用途と使用環境に応じて適切に選択すればよい。

（実施形態５）
第５の実施形態として、１台のカメラを用いて血中酸素飽和度を測定する他の方式を説明する。第４の実施形態では１台のカメラが２つの光学系と２つのイメージセンサとを含むステレオカメラ方式の構成であった。本実施形態では、複数のレンズを用いて画像を分割することで、２波長に対応する異なる２つの画像を１つのイメージセンサで取得するシステムを採用した。本実施形態の方式を、「ステレオレンズ方式」と称する。ステレオレンズ方式のシステムについて、図１３を参照しながら説明する。

図１３は、本実施形態の生体情報検出装置の一部を模式的に示す断面図である。本実施形態におけるイメージセンサ７の撮像面は、第１の光検出セル群が配置された第１の領域７ａと、第２の光検出セル群が配置された第２の領域７ｂとを含む。図１３では省略されているが、生体情報検出装置は、８３０ｎｍおよび７６０ｎｍの２波長の光によるドットパターンを投影する２つの光源を、例えばカメラ筐体６内に備えている。図１３に示すように、光学系であるレンズ５は、内部に２組のレンズ５０１、５０２を有する。光学系であるレンズ５０１,５０２は、イメージセンサ７の撮像面の異なる領域７ａ,７ｂにそれぞれ結像するように設計されている。レンズ５０１,５０２の前方には、２つの光源の波長
に対応する８３０ｎｍおよび７６０ｎｍの光をそれぞれ透過させる２つの狭帯域バンドパスフィルタ８０１，８０２がそれぞれ配置されている。すなわち、バンドパスフィルタ８０１は、第１の領域７ａに入射する光の経路上に配置され、バンドパスフィルタ８０２は、第２の領域７ｂに入射する光の経路上に配置されている。

このような構成により、１つのイメージセンサ７を用いて同時刻の２波長の光による２つの画像を取得できる。演算回路２２は、実施形態２〜４と同様の方法で、この２つの画像から血中酸素飽和度を計算する。本実施形態によれば、１つの画像信号に、異なる２つの波長に対応する同時刻の２つの画像の情報が含まれるため、演算処理が容易になる。

このステレオレンズ方式のシステムを用いて、ストレスセンシングを行った結果について以下に説明する。既に述べたように、ストレス（緊張）または集中による鼻部の温度低下をサーモグラフィによって検知する方法が提案されている。心理的変化により鼻部の血流が低下し、それに伴って鼻部の温度低下が起こる。これをサーモグラフィにより検知する方法は一般に行われている。顔面の温度の変化は血流の変化によって生じる。血流の変化を高い精度で測定できれば、血流の変化の結果として起こる表面温度の変化を測定するよりも高い精度で応答性良くストレスセンシングが可能になる。

図１４Ａは、本実施形態の生体情報検出装置を用いてストレスセンシングを行った結果を示す図である。ストレスとして、右手を冷水（氷水）に入れる冷水負荷を行った。比較のために、図１４Ｂに点線で囲んだ鼻部と頬部の温度変化をサーモグラフィを用いて測定した。図１４Ａは、この測定結果を示している。鼻部の温度は冷水負荷開始後、３分ほどかけて徐々に低下し、約１．２℃低下して安定した。負荷終了後、やはり３分ほどかけて温度は元に戻っていることが分かる。一方、頬部の温度は冷水負荷の影響をほとんど受けず、安定していることが分かる。

図１４Ｃは、ステレオレンズ方式を採用した本実施形態の生体情報検出装置を用いて得られた血流量および血中酸素飽和度の変化を示す図である。顔部における血流量と酸素飽和度（ＳｐＯ２）のデータから、図１４Ｂに点線で示す鼻部と頬部の領域のデータを抽出した。実線は血流量の時間変化を示し、点線は酸素飽和度（ΔＳｐＯ２）の時間変化を示している。図１４Ｃに示すように、鼻部の血流量は冷温刺激直後から低下傾向を示しており、時間応答性が高いことを示している。一方、頬部の血流量はほとんど変化していない。酸素飽和度については、鼻部では血流量の低下とともに酸素飽和度の低下も観測されたが、頬部ではほとんど変化がなかった。

本結果から分かるように、顔の異なる部位で、血流量および酸素飽和度を測定することによって多くのデータが得られる。これらのデータに基づいて、高い精度で情動（即ち感情）、体調、または集中度の検知が可能である。自律神経系の影響による血流量の変化は顔の部位により異なるため、カメラを用いて特定の部位の血流量の変化を測定することは特に重要である。その際、血流量の変化の少ない部位を同時に測定してリファレンスとすることで測定の精度を高めることができる。

（実施形態６）
第６の実施形態として、１台のカメラを用いて血中酸素飽和度を測定する他の方式を説明する。

図１５は、本実施形態における生体情報検出装置の構成を模式的に示す断面図である。この装置は、通常のレンズ５に取り付け可能なステレオアダプター１０を備えている。ステレオアダプター１０は、４枚のミラー１５１、１５２、１５３、１５４と、２つのバンドパスフィルタ８０１、８０２とを備えるアタッチメントである。ステレオアダプター１０を用いることにより、２つの波長に対応する２つの画像をイメージセンサ７の撮像面の異なる２つの領域にそれぞれ形成することができる。この方式を、「ステレオアダプター方式」と称する。

ステレオアダプター方式では、２組の対向するミラーを用いて、２つの波長に対応する異なる２つの画像を１つのイメージセンサ７で取得することができる。図１５では省略されているが、実際には８３０ｎｍおよび７６０ｎｍの２波長の光をそれぞれ発する２つの光源がカメラ筐体６に内蔵されている。ステレオアダプター１０はカメラのレンズ５の先端に装着される。２組のミラー（ミラー１５１，１５２の対と、ミラー１５３，１５４の対）は、光路を２回曲げてレンズ５に導入する。レンズ５とミラー１５１、１５２、１５３、１５４との間には光源の波長に対応する８３０ｎｍおよび７６０ｎｍの波長の光を透過させる狭帯域バンドパスフィルタ８０１，８０２が搭載されている。

この生体情報検出装置は、１つのイメージセンサ７で同時刻の２波長の画像を取得できる。基本的な考え方は、実施形態５と同様である。ステレオレンズ方式は、レンズを小型にできるため、システム全体を小型化できるというメリットがある。一方、ステレオアダプター方式では、システム全体は大型化するが、高性能なカメラレンズを使用することが
でき解像度を向上できること、並びに、倍率の異なるレンズおよびズームレンズを使用することができるという利点がある。システムの自由度をあげることができる点がステレオアダプター方式の利点である。

本実施形態の生体情報検出装置（即ちカメラ）を用いて人間の情動を検知するための検討を行った。実施形態５で説明したように、血流量に基づいて人間のストレス等の感情または情動を安定して検出することが可能である。人間の感情または情動の変化により、自律神経が活性化して皮膚表面の血流量が変化する。この血流量の変化によって顔色が変化する。この顔色の微妙な変化から対象人物の情動および体調を検知することを、人間は普通に行っている。名医と呼ばれる医師が患者の顔を見ただけで体調および病因を診断できるのは、患者の微妙な顔色の変化から身体の変化を見分けることができるためであると考えられている。また、感覚の鋭い人が、相手の感情を読み取る際にも微妙な表情の変化とともに、微妙な顔色の変化が重要な役割を果たしていると言われている。さらに、近年進歩の著しいゲーム、アニメーション、およびコンピュータグラフィックスの分野では、自然な印象およびリアリティを場面に与えるために、人物の顔色を微妙に変化させることについての研究が広く行われている。これらの例から分かるように、顔色は人の情動および体調を表しており、顔色を計測することで感情を読み取ろうとする検討が進められている（例えば、非特許文献１）。しかしながら、顔色から直接的に情動を計測する試みは、安定した測定が難しく実用には適さない。これは、顔色の変化に個人差があり、顔色の変化が微妙で外乱光およびカメラの影響を強く受けることから、安定した測定が困難であるためである。顔色の変化を測色以外の方法で、より安定にかつ高精度に測定する方法が求められている。

人の顔色は主として、皮膚表面（真皮）に含まれるメラニン色素の量と、血液中のヘモグロビン（酸化ヘモグロビンおよび脱酸素化（還元）ヘモグロビン）の濃度で決まることが知られている。メラニン色素は短時間では変動しないため（経年変化、日焼け等によっては変化する）、情動の変化は血流量を測定することによって安定に測定できる。本実施形態は、情動の変化を検知するために、顔色を計測するのではなく、顔色を変化させている酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの血流量を直接測定する。実施形態５において説明したように、顔面の血流量の変化は部位によって異なる。これは、顔面の部位によって、自律神経系の影響の受け易さが異なるからである。例えば、鼻部には動静脈吻合血管が多く自律神経系の影響を受けやすいのに対し、前額部は皮膚血管収縮神経の影響を受けにくいといった特徴がある。本実施形態における演算回路２２は、異なる複数の部位の血流量を演算によって求め、それらを比較することにより、高い精度で情動の変化を検知することが可能である。

以下、情動の変化に伴う血流量の変化の計測について説明する。図１５に示すステレオアダプター方式のカメラを血流量の測定に用いた。被験者はカメラの正面に座り、顔面をカメラによって撮像した。安定した状態から、被験者は恐怖、笑い、驚き、嫌悪感等を与えるようなビデオを視聴し、被験者の顔のカラー画像を取得した。ビデオのシーンとカラー画像における表情の変化から情動の変動を読み取り、そのときの血流量の変化を測定した。血流量は、図１６Ａに点線で示すように、鼻部および額部について測定した。

図１６Ｂは、笑いの感情を誘起した場合の総血流量（酸化ヘモグロビンおよび脱酸素化ヘモグロビン）の時間変化と、酸化ヘモグロビンの血流量の割合（酸素飽和度）の時間変化とを示す図である。笑いの情動変化により、血液総血流量とともに血中酸素飽和度の値も大きく変化していることがわかる。同様の検討を他の情動についても行った。悲しみ、驚き、憂鬱、恐れ、嫌悪、怒り、集中、幸福といった他の情動を誘起した場合の総血流量および血中酸素飽和度の変化量を上記と同様に計算によって求めた。１２人の被験者について、同じ測定を行った。個人差はあるが、ほぼ全員の被験者で総血流量および血中酸素
飽和度の変化は同様の傾向を示した。この結果から、情動の変化を血流量および酸素飽和度の少なくとも一方により検知することが可能であることが示された。

図１６Ｂに示すように顔の部位によって酸素飽和度と血流量の関係は異なる。このため、顔の複数の部位の血流量と酸素飽和度とを求めることにより、より高精度に情動のセンシングを行うことができる。本実施形態について行った情動センシングの試験では、額と頬と鼻の３点の測定を行った。情動変化による酸素飽和度および血流量の変化は、額と頬と鼻とで異なっていた。このため、それぞれの部位の酸素飽和度および血流量の変化量の関係を示すテーブルをあらかじめ作成しておき、酸素飽和度と血流量の実測値と相関を計算することにより、高精度に情動の変化を検知することが可能である。

（実施形態７）
第７の実施形態として、光学系で画像分割することなく１台のカメラを用いて血中酸素飽和度を測定する方式について説明する。実施形態２〜６では、２つの波長に対応する２つの光源からの光を分割してセンシングし、酸素飽和度等の生体情報を演算によって求める方法を説明した。本実施形態の生体情報検出装置は、画像の分割を行わず、イメージセンサによって異なる波長の２つの画像信号を取得する。

図１７Ａは、本実施形態における生体情報検出装置の構成を模式的に示す図である。この装置は、２波長に対応する２つの画像を光学系ではなくイメージセンサ７０３で分離する。図１７Ａでは点像光源は省略されているが、実際には８３０ｎｍと７６０ｎｍの２波長の光をそれぞれ発する２つの光源がカメラ筐体６内に内蔵されている。カメラのレンズ５の前面には、７３０ｎｍ以上８５０ｎｍ以下の波長の光を透過させるバンドパスフィルタ８が配置されている。バンドパスフィルタ８は、可視光および長波長の赤外線をカットする。バンドパスフィルタ８を透過した光はレンズ５でイメージセンサ７０３の撮像面上に結像する。ここで用いられているイメージセンサ７０３は、通常のイメージセンサとは異なり、近赤外線を透過させる２種類のバンドパスフィルタ（以下、カラーフィルタとも称する。）を有している。

図１７Ｂは、イメージセンサ７０３の撮像面上に配列された複数の光検出セルに対向する複数のカラーフィルタを示す図である。イメージセンサ７０３は、６８０−８００ｎｍの光を選択的に透過させる複数のカラーフィルタＩＲ１（第１のバンドパスフィルタ群とも称する。）と、８００ｎｍ以上の波長の光を選択的に透過させる複数のカラーフィルタＩＲ２（第２のバンドパスフィルタ群とも称する。）とを有している。カラーフィルタＩＲ１、ＩＲ２は、市松状に配列されている。図１７Ｂの下の図は、フィルタＩＲ１、ＩＲ２の透過率の波長依存性の一例を示す図である。イメージセンサ７０３は、２つの光源の波長である７６０ｎｍおよび８３０ｎｍの光による２つの画像を、複数の光検出セル（画素とも称する。）によって検出する。

演算回路２２（図３Ｃ）は、イメージセンサ７０３から７６０ｎｍの波長に対応する複数の光検出セルのデータと、８３０ｎｍの波長に対応する複数の光検出セルのデータとを個別に読み出す。図１７Ｃに示すように、それぞれのデータにおける不足する画素のデータを補間して７６０ｎｍの波長の画像と８３０ｎｍの波長の画像とを生成する。この２枚の画像は完全に重なっているため、分割した２枚の画像から血流量と酸素飽和度を計算するのに比べて演算は簡単になる。この方法の課題は、それぞれの光源に対応したバンドパスフィルタを用いるのに比べてフィルタの遮蔽能力が低いために、光源間の混色が起こる懸念がある点である。

（実施形態８）
第８の実施形態として、画像を分割せずに２波長の光源に対応する２つの画像だけでな
く、カラー画像も併せて取得可能な生体情報検出装置を説明する。

図１８Ａは、本実施形態における生体情報検出装置の構成を示す図である。図１８Ａでも点像光源は省略されているが、８３０ｎｍと７６０ｎｍの２波長の光をそれぞれ発する２つの光源がカメラ筐体６に内蔵されている。本実施形態ではカラー画像を取得するためにレンズ５の前面にバンドパスフィルタは設けられていない。可視光およびレーザー光源の照明光は、レンズ５によってイメージセンサ７０４の撮像面上に結像する。ここで用いられているイメージセンサ７０４は、通常のイメージセンサとは異なり、カラー画像を取得するための光検出セルと、近赤外画像を取得するための２種類の光検出セルとを含む。

図１８Ｂは、イメージセンサ７０４の撮像面に配列された複数のバンドパスフィルタ（またはカラーフィルタ）を示す図である。図１８Ｂの下の図は、各フィルタに対向する画素の相対感度の波長依存性を示している。図１８Ｂに示されるように、青色、緑色、赤色の光をそれぞれ透過する３種類のカラーフィルタ（Ｒ，Ｇ，Ｂフィルタ）と、６５０ｎｍ以上の光を透過させるフィルタＩＲ−１と、８００ｎｍ以上の光を透過させるカラーフィルタＩＲ−２とが撮像面上に配列されている。フィルタＩＲ−１の群を第１のバンドパスフィルタ群と称し、フィルタＩＲ−２の群を第２のバンドパスフィルタ群と称し、Ｒ，Ｇ，Ｂフィルタの群を第３のバンドパスフィルタ群と称する。斜め方向に隣接して２つの緑フィルタが配置され、その対角側に赤および青のフィルタが配置される配列は通常のイメージセンサのベイヤー配列と同じである。ベイヤー配列の４つのフィルタの基本単位の横に、２つのフィルタＩＲ−１，ＩＲ−２が配置されている点が従来のイメージセンサと異なる。

実施形態７のフィルタＩＲ１と、本実施形態のフィルタＩＲ−１とでは、透過波長域が異なっている。実施形態７におけるフィルタＩＲ１は、６５０−８００ｎｍの波長域の光を透過させる比較的狭帯域のフィルタであったのに対し、本実施形態では、６５０ｎｍ以上の波長域の光を透過させるフィルタを用いた。これはイメージセンサ７０３の製造工程を簡素化するためである。ただしこれに限られず、実施形態７に示すカラーフィルタを用いることも可能である。本実施形態のフィルタＩＲ−１は７６０ｎｍおよび８３０ｎｍの両方に感度を持つ。このため、演算回路２２は、フィルタＩＲ−１に対向する光検出セルの信号からフィルタＩＲ−２に対向する光検出セルの信号を引いて７６０ｎｍに相当する信号を計算した上で血中酸素飽和度を求める。これにより、図１８Ｃに示すように、イメージセンサ７０４から、赤・青・緑の画像（カラー画像）と、７６０ｎｍ、８３０ｎｍの各波長の画像とが求められる。

この方式では、第７の実施形態に比べてもさらに混色が発生し易い。しかし、簡単な１台のカメラを用いたシステムでカラー画像と血流量および血中酸素飽和度を同時に得ることができる。

ここでは、赤外域の２波長および可視域の３波長（赤、青、緑）の５波長に対応するマルチスペクトルセンサーを用いた生体情報センシングカメラの構成例について述べた。実施形態１で説明した人体検知方式のカメラであれば、赤外域１波長および可視域３波長（赤、青、緑）の４波長の計測でカラー撮像と人体検知が可能となる。このような用途には、例えば図１８Ｄに示した、４波長に対応した４種類のカラーフィルタを有するマルチスペクトルセンサーを利用できる。カラーフィルタはイメージセンサで通常用いられるベイヤー配列の二つの緑画素のうち一つの画素に近赤外（ＩＲ）画素を割り付けている。ここでは８５０ｎｍの近赤外照明を点灯するシステムに対応するカメラを想定し、近赤外フィルタとしては、８５０ｎｍを選択的に透過するようなフィルタを選択した。このようなカメラを用いることにより、一台のカメラシステムで通常のカラーカメラと生体検知カメラを兼用することが可能となる。監視カメラが一台で済み、人体を検知した部分のカラー画
像を切り出すことも２台のカメラを用いるよりも容易になる。ここでは８５０ｎｍに対応したカラーフィルタを用いたが、用いる近赤外光源に応じて近赤外フィルタを変更することが可能である。

（他の実施形態）
以上、本開示の実施形態を例示したが、本開示は上記の実施形態に限定されず、多様な変形が可能である。上述した各実施形態について説明した処理は、他の実施形態においても適用できる場合がある。以下、他の実施形態の例を説明する。

以上の実施形態では、配列点像光源にレーザー光源を用いているが、他の種類の光源を用いてもよい。例えば、より安価なＬＥＤ光源を用いることも可能である。ただし、レーザー光源に比べてＬＥＤ光源は直進性が低く広がりやすい。このため、専用の集光光学系を用いるか、撮像対象物とカメラとの距離を制約するなどの注意を使用の際に払う必要がある。配列点像光源の数についても、１個または２個に限らず、３個以上の光源を用いてもよい。

生体情報検出装置は、光学系の焦点を調整する調整機構を備えていてもよい。そのような調整機構は、例えば不図示のモータおよび図３Ｃに示す制御回路２５によって実現され得る。そのような調整機構は、光源によって対象物に投影されるドットパターンの像のコントラストを最大にするように光学系の焦点を調整する。これにより、実施形態１において説明したコントラストの計算の精度が向上する。

演算回路２２は、撮像素子から出力された画像信号を用いた顔認識処理を行い、画像に生体の額、鼻、口、眉毛、および毛髪の少なくとも１つが含まれている場合にのみ、生体に関する情報を生成して出力してもよい。生体の額、鼻、口、眉毛、および毛髪のいずれもが画像に含まれていない場合には、エラー表示を行うようなシステムを実現してもよい。

演算回路２２は、画像信号に基づいて、メラニン色素の濃度、しみの有無、あざの有無の少なくとも１つを含む表皮内の情報を生成してもよい。前述のように、表皮は光を強く吸収するメラニン色素を含む。しみおよびあざは、メラニン色素の増加によって生じる。したがって、生体の表面からの光の強度分布に基づいてメラニン色素の濃度、しみ、あざを検出することができる。

本開示では、２台のカメラを用いるダブルカメラ方式（図７）、二組の光学系と二組のイメージセンサが一台のカメラに搭載されたステレオカメラ方式（図１２）、二組のレンズと一つのイメージセンサを用いるステレオレンズ方式（図１３）、レンズアダプタを用いて一つのレンズと一つのイメージセンサを用いるステレオアダプター方式（図１５）、イメージセンサを用いて画像を分割する方式（図１７Ａ、図１８Ａ）を説明した。既に述べたようにそれぞれの方式には利点と欠点があるため、用途に応じて最適な方式を選択することができる。

以上説明したように、本開示の実施形態によれば、被験者を拘束せず、かつセンサ等の検出装置を被験者に接触させることなく、心拍数および血流量だけでなく血中酸素飽和度も測定することができる。被験者の異なる部位の血流量および酸素飽和度の測定値から、被験者の情動または体調を推定することもできる。

本開示の生体情報検出装置は、被験者の心拍数、血流量、血圧、血中酸素飽和度、情動、および体調等の生体情報を検出する用途に有用である。

１、１０１、１０２ 光源
２、２０１、２０２ カメラ
３ 生体
４ 生体表面
５、５０１、５０２ レンズ
６ カメラ筐体
７、７０１、７０２、７０３、７０４ イメージセンサ
８、８０１、８０２ バンドパスフィルタ
９０１、９０２、１５１、１５２、１５３、１５４ ミラー
１１ シャッターボタン
２０ コンピュ−タ
２１ 入力インタフェース
２２ 演算回路
２３ 出力インタフェース
２４ メモリ
２５ 制御回路
３１ 毛細血管
３２ 細動静脈
３３ 表皮
３４ 真皮
３５ 皮下組織
Ｌ０ 光
Ｌ１ 表面反射光
Ｌ２ 体内散乱光

Claims (1)

1. 第１の光による少なくとも１つの第１のドットを生体に投影する第１の光源と、
   第２の光による少なくとも１つの第２のドットを前記生体に投影する第２の光源と、
   前記第１の光を検出する複数の第１の光検出セル、および前記第２の光を検出する複数の第２の光検出セルを含み、前記少なくとも１つの第１のドットが投影された前記生体の第１の画像を示す第１の画像信号、および前記少なくとも１つの第２のドットが投影された前記生体の第２の画像を示す第２の画像信号を生成して出力する撮像システムと、
   前記撮像システムから出力された前記第１の画像信号および前記第２の画像信号を用いて、前記生体に関する情報を生成して出力する演算回路と、
   を備え、
   前記第１の光の波長および前記第２の光の波長は、いずれも６５０ｎｍ以上９５０ｎｍ以下であり、
   前記第２の光の前記波長は、前記第１の光の前記波長よりも５０ｎｍ以上長い、生体情報検出装置。

Images