JP2023165459A - 生体情報測定装置、生体情報測定方法及び生体情報測定プログラム - Google Patents

Abstract

【課題】ユーザの負担を抑えて生体情報の測定を行うことが可能な生体情報測定装置、生体情報測定方法及び生体情報測定プログラムを提供すること。【解決手段】本技術に係る生体情報測定装置は、反射スペクトル生成部と、分析処理部とを具備する。上記反射スペクトル生成部は、表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する。上記分析処理部は、上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する。【選択図】図１

Description

本技術は、光によりユーザの生体情報を測定する生体情報測定装置、生体情報測定方法及び生体情報測定プログラムに関する。

脈拍数や動脈血酸素飽和度、体表面温度といった生体情報の測定は生体センシングと呼ばれる。生体センシングはユーザの負担が少ないものが好適であり、特に家庭内で長期的に生体情報を測定する場合等には負担の程度による影響が大きい。この点、光を用いる生体センシングはユーザの負担が少ないものの、外光による影響を受けやすいため、その対策を行う必要がある。

例えば、特許文献１には、ヘッドマウントディスプレイに搭載され、表示パネルを所定規則で発光させ、ユーザの皮膚や眼球による反射光を撮像し、画像情報を登録情報と照合することによりユーザの個人識別を行う装置が開示されている。ヘッドマウントディスプレイを利用することで外光を遮蔽でき、高精度に個人識別を行うことが可能とされている。

特開２０２１－１８７２９号公報

しかしながら、特許文献１に記載のような手法は、表示パネルを所定規則で発光させる必要がある。所定規則の発光には、表示パネルを特定の一色で発光させ、その色を順次切り替えたり、表示パネルの区画毎に異なる色で発光させたりすることが含まれている。この光はユーザから見ると特に意味を有しないものであり、ユーザは識別処理が完了するまで待機する必要があるため、依然としてユーザの負担が存在する。

以上のような事情に鑑み、ユーザの負担を抑えて生体情報の測定を行うことが可能な生体情報測定装置、生体情報測定方法及び生体情報測定プログラムを提供することにある。

上記目的を達成するため、本技術の一形態に係る生体情報測定装置は、反射スペクトル生成部と、分析処理部とを具備する。
上記反射スペクトル生成部は、表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する。
上記分析処理部は、上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する。

上記反射スペクトル生成部は、上記反射光の撮像により生成されたデータである反射光受光データから上記反射スペクトルを生成してもよい。

上記生体情報測定装置は、上記表示映像の映像データと、上記生体情報測定装置のデバイス特性に基づいて上記照射スペクトルを算出する照射スペクトル算出部をさらに具備し、
上記スペクトル取得部は、上記照射スペクトル算出部から上記照射スペクトルを取得してもよい。

上記生体情報測定装置は、上記照射光が撮像されて生成されたデータである照射光受光データから上記照射スペクトルを生成する照射スペクトル生成部をさらに具備し、上記スペクトル取得部は、上記照射スペクトル算出部から上記照射スペクトルを取得してもよい。

上記生体情報測定装置は、上記表示映像を表示する表示部と、上記反射光を撮像し、反射光受光データを生成する反射光撮像部とをさらに具備してもよい。

上記生体情報測定装置は、上記照射光を撮像し、照射光受光データを生成する照射光撮像部をさらに具備してもよい。

上記生体情報測定装置は、上記ユーザの頭部に装着され、上記表示部が上記ユーザの眼前に配置されるヘッドマウントディスプレイであってもよい。

上記反射光撮像部は、上記測定範囲に対向して配置されていてもよい。

上記生体情報測定装置は、上記照射光を撮像し、照射光受光データを生成する照射光撮像部をさらに具備し、上記照射光撮像部は、上記表示部に対向して配置されていてもよい。

上記表示部及び上記反射光撮像部は上記ユーザから離間して配置され、上記生体情報測定装置は、上記反射光撮像部が撮像した画像に基づいて上記測定範囲を認識する測定範囲認識部をさらに具備してもよい。

上記分析処理部は、上記照射スペクトル及び上記反射スペクトルと生体情報が、生体情報の種類毎にモデル化された生体情報算出モデルを利用して上記ユーザの生体情報を特定してもよい。

上記生体情報算出モデルは機械学習により生成された予測モデルであってもよい。

上記生体情報は、脈拍数、動脈血酸素飽和度、肌水分量、体表面温度、呼吸数又は血圧であってもよい。

上記生体情報は、静脈パターン又は虹彩パタ－ンであり、上記分析処理部は、上記生体情報を用いて生体認証を行ってもよい。

上記目的を達成するため、本技術の一形態に係る生体情報測定プログラムは、反射スペクトル生成部と、分析処理部として情報処理装置を動作させる。
上記反射スペクトル生成部は、表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する。
上記分析処理部は、上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する。

上記目的を達成するため、本技術の一形態に係る生体情報測定方法は、表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する。
上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する。

本技術の第１の実施形態に係る生体情報検出装置の模式図である。 測定範囲の模式図である。 上記生体情報検出装置の機能的構成を示すブロック図である。 上記生体情報検出装置の照射スペクトル算出部が算出する照射スペクトルの例である。 上記生体情報検出装置の反射スペクトル生成部が生成する反射スペクトルの例である。 上記生体情報検出装置の動作を示すフローチャートである。 上記生体情報検出装置のズレへの対応を示す模式図である。 上記生体情報検出装置のズレへの対応を示す模式図である。 上記生体情報検出装置の他の構成を示す模式図である。 上記生体情報検出装置の機能的構成を示すブロック図である。 本技術の第２の実施形態に係る生体情報検出装置の模式図である。 上記生体情報検出装置の機能的構成を示すブロック図である。 上記生体情報検出装置の動作を示すフローチャートである。 本技術の第1の実施形態及び第２の実施形態に係る生体情報検出装置のハードウェア構成を示すブロック図である。

（第１の実施形態）
本技術の第１の実施形態に係る生体情報検出装置について説明する。

[生体情報検出装置の構成]
図１は本実施形態に係る生体情報測定装置１００の模式図である。同図に示すように生体情報測定装置１００はユーザＵの頭部Ｈに装着されるヘッドマウントディスプレイであり、筐体１１１、表示部１１２及び反射光撮像部１１３を備える。

筐体１１１は頭部Ｈに装着され、表示部１１２及び反射光撮像部１１３を支持する。筐体１１１には、表示部１１２と反射光撮像部１１３を隔てる仕切り１１１ａが設けられている。筐体１１１の具体的構成は特に限定されず、表示部１１２と反射光撮像部１１３の頭部Ｈに対する位置を保持できるものであればよいが、外光の遮蔽性に優れるものが好適である。

表示部１１２はユーザＵの眼前に配置され、映像を表示する。以下、表示部１１２に表示される映像を「表示映像」とし、表示映像を形成する光を「照射光」とする。図１においてこの照射光を照射光Ｌ１として示す。照射光Ｌ１は、ユーザＵの顔表面に入射する光であり、表示部１１２から出射された出射光と、この出射光が筐体１１１の内部で反射された光を含む。図２に示すように、ユーザＵは目に入射する照射光Ｌ１によって表示映像を視認することができる。また、照射光Ｌ１の一部はユーザＵの顔表面で反射され反射光となる。図１においてこの反射光を反射光Ｌ２として示す。

表示部１１２には出射光の光量が一定より大きいものが利用でき、例えば液晶ディスプレイが利用できる。表示部１１２は１つが設けられてもよく、左目用と右目用に２つが設けられてもよい。なお、ヘッドマウントディスプレイには、スマートフォン等の他の表示装置を装着可能なものもあるが、そのような他の表示装置を表示部１１２として利用することも可能である。また、表示部１１２とユーザＵの目の間にはレンズ等の光学素子が配置されてもよい。

反射光撮像部１１３は、反射光Ｌ２を撮像し、反射光Ｌ２の受光データである反射光受光データを生成する。反射光撮像部１１３は、ユーザＵの顔表面のうち、「測定範囲」を撮像する。測定範囲はユーザＵの顔表面のうち特定の範囲である。図１においてこの測定範囲を測定範囲Ｓとして示す。図２は測定範囲Ｓの例を示す模式図である。同図において目の間に相当する範囲Ｓ１、こめかみに相当する範囲Ｓ２及び目の下に相当する範囲Ｓ３を示す。測定範囲Ｓはこれらの範囲のうちいずれか１つ又は複数とすることができる。また、測定範囲ＳはユーザＵの顔表面のうち、範囲Ｓ１～Ｓ３以外の範囲であってもよい。反射光撮像部１１３は、測定範囲Ｓに対向し、測定範囲Ｓで反射される反射光Ｌ２を撮像する。なお、反射光撮像部１１３とユーザＵの顔表面の間にはレンズ等の光学素子が配置されてもよい。

反射光撮像部１１３は一般的な撮像素子であってもよく、ＭＳＣ（マルチスペクトラムカメラ）を構成する撮像素子であってもよい。一般的なカメラは、赤色、緑色又は青色のカラーフィルタが設けられた受光素子により、赤色、緑色、青色の３チャンネルで撮像を行う。これに対しＭＳＣは９チャンネル等、より多くのチャンネルで撮像を行うことができるカメラである。

図３は生体情報測定装置１００の機能的構成を示すブロック図である。同図に示すように生体情報測定装置１００は映像取得部１２１、表示制御部１２２、照射スペクトル算出部１２３、反射スペクトル生成部１２４及び分析処理部１２５を備える。これらの機能的構成はソフトウェアとハードウェアの協働により実現される。これらの機能的構成は筐体１１１内に搭載されていてもよく、筐体１１１の外部装置に搭載されていてもよい。

映像取得部１２１は、映像データＶを取得し、表示部１１２で表示される表示映像を構成する映像データＶ（ｔ）を生成する。映像取得部１２１は、生体情報測定装置１００が備えるストレージや外部機器、ネットワーク等から映像データＶを取得することができる。映像データＶの内容は特に限定されず、映画やゲーム映像といった動画であってもよく、静止画であってもよい。映像データＶ（ｔ）は以下のように表される。

Ｖ（ｔ）＝［Ｖ_ｒ（ｔ）；Ｖ_ｇ（ｔ）；Ｖ_ｂ（ｔ）］ （式１）

（式１）においてＶ_ｒ（ｔ）は表示映像のうち赤色成分の強度、Ｖ_ｇ（ｔ）は表示映像のうち緑色成分の強度、Ｖ_ｂ（ｔ）は表示映像のうち青色成分の強度である。映像取得部１２１は、生成した映像データＶ（ｔ）を表示制御部１２２及び照射スペクトル算出部１２３に供給する。

表示制御部１２２は、表示部１１２（図１参照）を制御し、映像取得部１２１から供給された映像データＶ（ｔ）を表示部１１２に表示させる。これにより、表示映像を形成する照射光Ｌ１がユーザの顔表面に照射される。

照射スペクトル算出部１２３は、映像データＶ（ｔ）と生体情報測定装置１００のデバイス特性Ｆに基づいて照射スペクトルを算出する。照射スペクトルは照射光Ｌ１の波長スペクトルであり、図４は照射スペクトルの例である。

デバイス特性Ｆは表示部１１２から出射された出射光とユーザの顔表面に入射する照射光Ｌ１の関係を表す特性である。表示部１１２から出射された出射光は、表示部１１２の表示特性や光学素子の特性、筐体１１１の内周面における反射、測定範囲Ｓの位置等による影響を受けるが、デバイス特性Ｆはこれらの影響を含む。デバイス特性Ｆは事前の測定によって求めることができる。具体的には測定範囲Ｓに特性が既知の撮像素子を配置し、表示部１１２から入射する光を受光させることによりデバイス特性Ｆを求めることができる。デバイス特性Ｆは以下のように表される。

Ｆ＝［ｆ_ｒ１，ｆ_ｒ２…ｆ_ｒＮ；
ｆ_ｇ１，ｆ_ｇ２…ｆ_ｇＮ；
ｆ_ｂ１，ｆ_ｂ２…ｆ_ｂＮ］ （式２）

（式２）においてＮはスペクトルの分割数（ｂｉｎ数）であり、例えば５１２である。これは照射スペクトルの波長帯域を５１２区画に分割して計算することを意味する。測定範囲Ｓにデバイス特性Ｆの測定用撮像素子が配置されたときの、赤色カラーフィルタが設けられた受光素子を赤色受光素子、緑色カラーフィルタが設けられた受光素子を緑色受光素子、青色カラーフィルタが設けられた受光素子を青色受光素子とする。（式２）においてｆ_ｒ１は赤色受光素子で受光される光の第１区画での強度変化率を示し、ｆ_ｒ２は赤色受光素子で受光される光の第２区画での強度変化率、ｆ_ｒNは赤色受光素子で受光される光の第Ｎ区画での強度変化率を示す。緑色受光素子（ｆ_ｇ）、青色受光素子（ｆ_ｂ）も同様である。

デバイス特性Ｆは反射光撮像部１１３のチャンネル数に合わせたものとする。（式２）では、反射光撮像部１１３が赤色、緑色、青色の３チャンネルである場合の表示特性を示す。反射光撮像部１１３がＭＳＣである場合、デバイス特性ＦはＭＳＣのチャンネル数に合わせたものとする。

照射スペクトル算出部１２３は、映像データＶ（ｔ）とデバイス特性Ｆを積算することにより、照射スペクトルを算出することができる。以下、照射スペクトル算出部１２３が算出する照射スペクトルを照射スペクトルＲ（ｔ）とする。照射スペクトルＲ（ｔ）は以下のように表される。

Ｒ（ｔ）＝Ｖ（ｔ）Ｆ＝［ｒ_１（ｔ）、ｒ_２（ｔ）、…ｒ_Ｎ（ｔ）］ （式３）

（式３）においてｒ_１は第１区画の強度、ｒ_２は第２区画の強度、ｒ_Nは第Ｎ区画の強度を示す。このように照射スペクトル算出部１２３は、表示部１１２から出射された出射光に対して表示部１１２の表示特性や筐体１１１の反射特性を反映させ、照射光Ｌ１の波長スペクトル、即ち照射スペクトルを算出する。なお、照射スペクトル算出部１２３は映像データＶ（ｔ）の複数画素分を平均し、低解像度化することで計算量を低減させることも可能である。照射スペクトル算出部１２３は算出した照射スペクトルＲ（ｔ）を分析処理部１２５に供給する。

反射スペクトル生成部１２４は、反射光撮像部１１３から反射光受光データを取得し、反射光受光データから反射スペクトルＡ（ｔ）を生成する。反射スペクトルＡ（ｔ）は、反射光Ｌ２の波長スペクトルであり、以下のように表される。

Ａ（ｔ）＝［ａ_１（ｔ）、ａ_２（ｔ）、…ａ_Ｍ（ｔ）］ （式４）

（式４）においてａ_ｉは反射光撮像部１１３のチャンネルiの受光素子が出力する光量を示す。また、Ｍは反射光撮像部１１３のチャンネル数を示す。反射スペクトル生成部１２４は、反射光撮像部１１３の全受光素子の光量を平均してスカラーとしてもよいし、各受光素子の光量を個別に処理してもよい。また、複数の受光素子の光量を平均して処理してもよい。処理対象の受光素子数が多いと、後述する生体情報算出モデルが複雑化する。反射スペクトル生成部１２４は、生成した反射スペクトルＡ（ｔ）を分析処理部１２５に供給する。

分析処理部１２５は、照射スペクトルＲ（ｔ）と反射スペクトルＡ（ｔ）に基づいてユーザの生体情報を算出する。図５は、照射スペクトルＲ（ｔ）と反射スペクトルＡ（ｔ）の例を示すグラフである。同図に示すように、照射スペクトルＲ（ｔ）と反射スペクトルＡ（ｔ）には差分が生じる。この差分の特徴、即ち差分が生じている波長帯域や強度変化量は測定範囲Ｓにおける生体情報を反映している。したがって、分析処理部１２５は、照射スペクトルＲ（ｔ）と反射スペクトルＡ（ｔ）に基づいてユーザの生体情報を算出することができる。

具体的には分析処理部１２５は、波長スペクトル差分データベース１２６から生体情報算出モデルＮを取得することができる。生体情報算出モデルＮは、照射スペクトルＲ（ｔ）及び反射スペクトルＡ（ｔ）と生体情報が、生体情報の種類毎にモデル化されたものである。分析処理部１２５は、以下の（式５）に示すように、照射スペクトルＲ（ｔ）と反射スペクトルＡ（ｔ）を生体情報算出モデルＮに適用し、生体情報（ｉｎｄｅｘ）を算出することができる。

Ｎ（Ｒ（ｔ）、Ａ（ｔ））＝ｉｎｄｅｘ （式５）

生体情報算出モデルＮを利用して算出可能な生体情報は、脈拍数、ＳｐＯ２（動脈血酸素飽和度）、肌水分量、体表面温度、呼吸数、血圧、静脈パターン及び虹彩パタ－ン等であり、生体情報毎に生体情報算出モデルＮを準備する。分析処理部１２５は、算出しようとする生体情報の種類に応じて生体情報算出モデルＮを選択し、生体情報の算出に利用することができる。

生体情報算出モデルＮは、照射スペクトルＲ（ｔ）と反射スペクトルＡ（ｔ）を入力、ウェアラブルデバイス等を用いて測定された生体情報を教師とする機械学習手法により生成された予測モデルとすることができる。また、生体情報算出モデルＮは機械学習により生成されたものに限られない。以下、分析処理部１２５が生体情報算出モデルＮを利用して算出する生体情報の具体例を示す。

分析処理部１２５は、Ｒ（ｔ）、Ａ（ｔ）に対して緑波長帯域のフィルタ、ＦＦＴ（fast Fourier transform）、１Ｈｚ以上２．５Ｈｚ以下のＢＰＦ（Band Pass Filter）及びピーク検出を実行し、ピーク値を脈拍数とすることができる。また、分析処理部１２５は、Ｒ（ｔ）、Ａ（ｔ）に対して赤又は近赤外波長帯域のフィルタ結果のそれぞれの比に基づいてＳｐＯ_２を算出することができる。

また、分析処理部１２５はＲ（ｔ）、Ａ（ｔ）の遠赤外波長帯域の強度と気温センサの値に基づき、体表面温度を算出することができる。体温に近い温度は遠赤外波長の一部が関連するためである。また、分析処理部１２５は、Ｒ（ｔ）、Ａ（ｔ）に対して近赤外波長帯域のフィルタ結果のそれぞれの比に基づいて肌水分量を算出することができる。動脈と違い静脈は近赤外波長帯域を吸収するため、緑波長帯域を活用する脈拍数と異なる波長帯域を利用する。

また、分析処理部１２５はＲ（ｔ）、Ａ（ｔ）に対しての緑波長帯域のフィルタ、１Ｈｚ以上２．５Ｈｚ以下のＢＰＦ及び包絡線検出によって呼吸数を算出することができる。また、分析処理部１２５は、緑波長帯域のフィルタ、１Ｈｚ以上２．５Ｈｚ以下のＢＰＦ及びピーク検出を顔表面の異なる複数の測定範囲Ｓで実行し、ピークの伝搬速度に基づき血圧を算出することができる。心臓から送られる血液の波は脈波として観測できるため、脈波を同じ経路の二か所で計測し、脈波が伝搬する速度を求めると、相対的な血圧が推定できる(Pulse Transit Time方式のカフレス血圧推定)。

また、分析処理部１２５はＲ（ｔ）、Ａ（ｔ）に対しての緑波長帯域のフィルタによって得られる２次元情報に基づいて顔の静脈パターンを認識し、ユーザの生体認証を行うことができる。また、分析処理部１２５は、Ｒ（ｔ）、Ａ（ｔ）に対しての赤外波長帯域のフィルタによって得られる２次元情報に基づいて眼の虹彩パターンを認識し、ユーザの生体認証を行うことができる。

分析処理部１２５が算出する生体情報は上記のものに限られず、照射スペクトルＲ（ｔ）と反射スペクトルＡ（ｔ）に基づいて算出可能な生体情報であればよい。

[生体情報検出装置の動作]
生体情報測定装置１００の動作について説明する。図６は生体情報測定装置１００の動作を示すフローチャートである。

生体情報測定装置１００の動作が開始されると、分析処理部１２５が波長スペクトル差分データベース１２６から算出しようとする生体情報の生体情報算出モデルＮを取得する（Ｓｔ１０１）。続いて、映像取得部１２１が映像データＶを取得（Ｓｔ１０２）し、表示制御部１２２が表示部１１２に映像データＶ（ｔ）を供給して表示部１１２に表示映像を表示させる（Ｓｔ１０３）。

続いて、照射スペクトル算出部１２３が映像データＶ（ｔ）とデバイス特性Ｆに基づいて照射スペクトルＲ（ｔ）を算出する（Ｓｔ１０４）。続いて、反射スペクトル生成部１２４が反射光撮像部１１３から反射光受光データを取得し、反射光受光データから反射スペクトルＡ（ｔ）を生成する（Ｓｔ１０５）。

続いて、分析処理部１２５が照射スペクトルＲ（ｔ）及び反射スペクトルＡ（ｔ）を生体情報算出モデルＮに適用し、Ｎ（Ｒ（ｔ）、Ａ（ｔ））から生体情報を算出する（Ｓｔ１０６）。続いて、分析処理部１２５は時刻ｔを時刻ｔ＋１とし（Ｓｔ１０７）、再度、生体情報算出モデルＮの取得（Ｓｔ１０１）から繰り返し実行する。なお、時刻ｔは映像データＶ（ｔ）フレームであり、時刻ｔ＋１は1フレーム分を加算することを意味する。

生体情報測定装置１００は以上のようにして生体情報を測定する。なお、反射スペクトルＡ（ｔ）を生成するステップ（Ｓｔ１０５）では反射光受光データを保存しておき、後でサーバーなど計算能力が高い処理装置で映像データＶ（ｔ）、デバイス特性Fと共にＮ（Ｒ（ｔ）、Ａ（ｔ））を計算することも可能である。

[生体情報検出装置による効果]
生体情報測定装置１００では上述のように、ユーザの顔表面に照射される光とユーザの顔表面で反射された光の差異に基づいて生体情報を測定することができる。ユーザの顔表面に照射される光は表示部１１２に表示される表示映像を構成する光であり、表示映像の内容は特に制限されない。したがって、ユーザが映画やゲーム映像といった任意の映像を視聴している間に生体情報の測定が可能であり、生体情報の測定にかかるユーザの負担が少ない。このため、生体情報測定装置１００は家庭内で毎日、あるいは長時間にわたるような生体情報の測定にも適している。

［ヘッドマウントディスプレイのズレに対する対応］
生体情報測定装置１００を構成するヘッドマウントディスプレイがユーザＵの頭部Ｈに対してズレを生じた場合、生体情報測定装置１００は以下のように対応することができる。図７及び図８は反射光撮像部１１３による撮像画像の例である。

分析処理部１２５は、赤外線による接近センサ等を利用して顔の接近を検出し、このときの時刻を初期時刻ｔ_０とする。反射スペクトル生成部１２４は、反射光撮像部１１３において受光された全受素子の光量Ａ_ａｌｌ（ｔ_０）に対して中央の複数の受光素子の光量を平均したものをＡ（ｔ_０）として生体情報の算出に用いる。この際、分析処理部１２５は、全受素子の光量Ａ_ａｌｌ（ｔ_０）を記憶しておく。

時間が経過し、次のフレームｔ_１となったらＡ_ａｌｌ（ｔ_１）とＡ_ａｌｌ（ｔ_０）の相互関係を算出し、撮像画像全体のシフト量（ｘ、ｙ）を算出する。分析処理部１２５は、Ａ_ａｌｌ（ｔ）からＡ（ｔ）を抽出する際、撮像画像の中央から算出したシフト量（ｘ、ｙ）を差し引いた位置を新たな中央として更新する。図７及び図８の例では、時刻ｔ_０における撮像画像の中央を図７に示す点Ｐ_０とすると、時刻ｔ_１における撮像画像の中央を図８に示す点Ｐ_１とする。以降、分析処理部１２５は時間の経過と共に撮像画像の中央を更新し、ヘッドマウントディスプレイのズレに対応する。

［生体情報測定装置の他の構成について］
上記説明において生体情報測定装置１００はヘッドマウントディスプレイであるものとしたが、それ以外の構成とすることも可能である。図９は、他の構成を有する生体情報測定装置１００の模式図である。同図に示すように、表示部１１２及び反射光撮像部１１３はユーザＵから離間して配置されている。表示部１１２は、ヘッドマウントディスプレイではない表示装置であり、例えばテレビジョン装置や映画館のスクリーンである。反射光撮像部１１３は、ユーザＵに対向して配置され、ユーザＵを撮像する撮像素子である。

図１０はこの生体情報測定装置１００の機能的構成を示すブロック図である。同図に示すように生体情報測定装置１００はさらに測定範囲認識部１２７を備えるものとすることができる。測定範囲認識部１２７は、反射光撮像部１１３によって撮像された画像に対して顔認識処理や顔パーツ認識処理を行い、測定範囲Ｓを認識する。さらに、測定範囲認識部１２７は、反射スペクトル生成部１２４が生成した反射スペクトルＡ（ｔ）のうち、測定範囲Ｓの反射スペクトルＡ´（ｔ）を抽出し、分析処理部１２５に供給する。分析処理部１２５は、照射スペクトルＲ（ｔ）及び反射スペクトルＡ´（ｔ）を生体情報算出モデルＮに適用し、Ｎ（Ｒ（ｔ）、Ａ´（ｔ））から生体情報を算出することができる。

測定範囲認識部１２７は、反射光撮像部１１３の視野内に複数のユーザＵが存在する場合、複数のユーザＵに対してそれぞれ測定範囲Ｓを認識することができ、この場合、生体情報測定装置１００は複数のユーザＵの生体情報を同時に測定することが可能となる。測定範囲ＳもユーザＵの顔表面に限られず、耳たぶや手のようにユーザＵの体表面のうち撮像可能な範囲であればよい。

なお、ユーザＵの視聴環境が映画館のように暗く、外光がない場合はよいが、通常の室内のように外光が存在する場合、外光の影響を排除する必要がある。具体的には測定範囲認識部１２７は反射光撮像部１１３に対するユーザＵの距離を算出し、ユーザＵの位置での照明条件を特定する。分析処理部１２５はこの照明条件と、生体情報算出モデルＮの構築時の照明条件の類否を判定する。分析処理部１２５は両照明条件が類似していれば反射スペクトルＡ´（ｔ）を利用して生体情報を算出し、両正面条件が相違していれば差異に応じて反射スペクトルＡ´（ｔ）を補正し、生体情報の算出に利用することができる。

（第２の実施形態）
本技術の第２の実施形態に係る生体情報検出装置について説明する。

[生体情報検出装置の構成]
図１１は本実施形態に係る生体情報測定装置１５０の模式図である。同図に示すように生体情報測定装置１５０はユーザＵの頭部Ｈに装着されるヘッドマウントディスプレイであり、筐体１１１、表示部１１２、反射光撮像部１１３及び照射光撮像部１５１を備える。なお、このうち、照射光撮像部１５１以外の構成は第１の実施形態に係る生体情報測定装置１００と同様であるので説明を省略する。

照射光撮像部１５１は照射光Ｌ１を撮像し、照射光Ｌ１の受光データである照射光受光データを生成する。照射光撮像部１５１は図１１に示すようにユーザＵの顔表面の近傍に配置され、表示部１１２に対向する。上述のように表示部１１２から出射された出射光は、表示部１１２の表示特性等による影響を受け、照射光Ｌ１としてユーザＵの顔表面に照射される。照射光撮像部１５１はこの照射光Ｌ１を撮像し、照射光受光データを生成する。

図１２は本実施形態に係る生体情報測定装置１５０の機能的構成を示すブロック図である。同図に示すように生体情報測定装置１５０は映像取得部１６１、表示制御部１６２、照射スペクトル生成部１６３、反射スペクトル生成部１６４及び分析処理部１６５を備える。これらの機能的構成はソフトウェアとハードウェアの協働により実現される。これらの機能的構成は筐体１１１内に搭載されていてもよく、筐体１１１の外部装置に搭載されていてもよい。

映像取得部１６１は第１の実施形態と同様に、映像データＶを取得し、表示部１１２で表示される表示映像を構成する映像データＶ（ｔ）を生成する。表示制御部１６２は、表示部１１２（図１１参照）を制御し、映像取得部１６１から供給された映像データＶ（ｔ）を表示部１１２に表示させる。これにより、表示映像を形成する照射光Ｌ１がユーザの顔表面に照射される。

照射スペクトル生成部１６３は、照射光撮像部１５１から照射光受光データを取得し、照射光受光データから照射スペクトルＢ（ｔ）を生成する。照射スペクトルＢ（ｔ）は、照射光Ｌ１の波長スペクトルであり、以下のように表される。

Ｂ（ｔ）＝［ｂ_１（ｔ）、ｂ_２（ｔ）、…ｂ_Q（ｔ）］ （式６）

（式６）においてｂ_ｉは照射光撮像部１５１のチャンネルiの受光素子が出力する光量を示す。また、Ｑは照射光撮像部１５１のチャンネル数を示す。照射スペクトル生成部１６３は、照射光撮像部１５１の全受光素子の光量を平均してスカラーとしてもよいし、各受光素子の光量を個別に処理してもよい。また、複数の受光素子の光量を平均して処理してもよい。第１の実施形態では照射スペクトル算出部１２３が照射スペクトルＲ（ｔ）を算出したが、本実施形態では照射スペクトルＲ（ｔ）を算出する代わりに照射光受光データから生成された照射スペクトルＢ（ｔ）を利用する。照射スペクトル生成部１６３は、生成した照射スペクトルＢ（ｔ）を分析処理部１６５に供給する。

反射スペクトル生成部１６４は、反射光撮像部１１３から反射光受光データを取得し、反射光受光データから反射スペクトルＡ（ｔ）を生成する。反射スペクトルＡ（ｔ）は第１の実施形態と同様に反射光Ｌ２の波長スペクトルである。反射スペクトル生成部１６４は、生成した反射スペクトルＡ（ｔ）を分析処理部１６５に供給する。

分析処理部１６５は、照射スペクトルＢ（ｔ）と反射スペクトルＡ（ｔ）に基づいてユーザの生体情報を算出する。第１の実施形態と同様に、照射スペクトルＢ（ｔ）と反射スペクトルＡ（ｔ）には差分（図５参照）が生じる。この差分の特徴、即ち差分が生じている波長帯域や強度変化量は測定範囲Ｓにおける生体情報を反映している。したがって、分析処理部１６５は、照射スペクトルＢ（ｔ）と反射スペクトルＡ（ｔ）に基づいてユーザの生体情報を算出することができる。

具体的には分析処理部１６５は、波長スペクトル差分データベース１６６から生体情報算出モデルＮを取得することができる。生体情報算出モデルＮは、照射スペクトルＢ（ｔ）及び反射スペクトルＡ（ｔ）と生体情報が、生体情報の種類毎にモデル化されたものであり、分析処理部１６５は、以下の（式７）に示すように、照射スペクトルＢ（ｔ）と反射スペクトルＡ（ｔ）を生体情報算出モデルＮに適用し、生体情報（ｉｎｄｅｘ）を算出することができる。

Ｎ（Ｂ（ｔ）、Ａ（ｔ））＝ｉｎｄｅｘ （式７）

生体情報算出モデルＮを利用して算出可能な生体情報は、第１の実施形態と同様に脈拍数、ＳｐＯ２（動脈血酸素飽和度）、肌水分量、体表面温度、呼吸数、血圧、静脈パターン及び虹彩パタ－ン等であり、分析処理部１６５は、算出しようとする生体情報の種類に応じて生体情報算出モデルＮを選択し、生体情報の算出に利用することができる。

生体情報算出モデルＮは、照射スペクトルＢ（ｔ）と反射スペクトルＡ（ｔ）を入力、ウェアラブルデバイス等を用いて測定された生体情報を教師とする機械学習手法により生成された予測モデルとすることができる。また、生体情報算出モデルＮは機械学習により生成されたものに限られない。分析処理部１６５が生体情報算出モデルＮを利用して算出する生体情報の具体例は第１の実施形態と同様であり、第１の実施形態の説明において照射スペクトルＲ（ｔ）を照射スペクトルＢ（ｔ）に置き換えればよい。分析処理部１６５は測定された静脈パターン又は虹彩パタ－ンに基づいて生体認証を行うことも可能である。

[生体情報検出装置の動作]
生体情報測定装置１５０の動作について説明する。図１３は生体情報測定装置１５０の動作を示すフローチャートである。

生体情報測定装置１５０の動作が開始されると、分析処理部１６５が波長スペクトル差分データベース１６６から算出しようとする生体情報の生体情報算出モデルＮを取得する（Ｓｔ１５１）。続いて、映像取得部１６１が映像データＶを取得（Ｓｔ１５２）し、表示制御部１６２が表示部１１２に映像データＶ（ｔ）を供給して表示部１１２に表示映像を表示させる（Ｓｔ１５３）。

続いて、照射スペクトル生成部１６３が照射光撮像部１５１から照射光受光データを取得し、照射光受光データから照射スペクトルＢ（ｔ）を生成する（Ｓｔ１５４）。また、反射スペクトル生成部１６４が反射光撮像部１１３から反射光受光データを取得し、反射光受光データから反射スペクトルＡ（ｔ）を生成する（Ｓｔ１５４）。

続いて、分析処理部１６５が照射スペクトルＢ（ｔ）及び反射スペクトルＡ（ｔ）を生体情報算出モデルＮに適用し、Ｎ（Ｂ（ｔ）、Ａ（ｔ））から生体情報を算出する（Ｓｔ１５５）。続いて、分析処理部１６５は時刻ｔを時刻ｔ＋１とし（Ｓｔ１５６）、再度、生体情報算出モデルＮの取得（Ｓｔ１５１）から繰り返し実行する。なお、時刻ｔは映像データＶ（ｔ）フレームであり、時刻ｔ＋１は1フレーム分を加算することを意味する。

生体情報測定装置１５０は以上のようにして生体情報を測定する。なお、照射スペクトルＢ（ｔ）及び反射スペクトルＡ（ｔ）を生成するステップ（Ｓｔ１５４）では照射光撮像データ及び反射光撮像データを保存しておき、後でサーバーなど計算能力が高い処理装置で映像データＶ（ｔ）と共にＮ（Ｂ（ｔ）、Ａ（ｔ））を計算することも可能である。

［生体情報測定装置の効果］
生体情報測定装置１５０では第１の実施形態に係る生体情報測定装置１００と同様に、ユーザの顔表面に照射される光とユーザの顔表面で反射された光の差異に基づいて生体情報を測定することができるため、生体情報の測定にかかるユーザの負担が少ない。生体情報測定装置１５０は生体情報測定装置１００と比較して、照射光撮像部１５１を設ける必要がある一方、デバイス特性Ｆの事前の測定や照射スペクトルＲ（ｔ）の算出処理が不要である。

［その他］
生体情報測定装置１５０では、第１の実施形態と同様の手法で、生体情報測定装置１５０を構成するヘッドマウントディスプレイのズレに対応することが可能である（図７及び図８参照）。さらに、生体情報測定装置１５０は第１の実施形態と同様にヘッドマウントディスプレイ以外の装置とすることも可能である（図９、図１０参照）。

（生体情報測定装置のハードウェア構成）
第１の実施形態に係る生体情報測定装置１００及び第２の実施形態に係る生体情報測定装置１５０の機能的構成を実現することが可能なハードウェア構成について説明する。図１４はこのハードウェア構成を示す模式図である。

同図に示すように、生体情報測定装置１００及び生体情報測定装置１５０は、ＣＰＵ(Central Processing Unit)１００１及びＧＰＵ（Graphics Processing Unit）１００２を内蔵している。ＣＰＵ１００１及びＧＰＵ１００２にはバス１００５を介して、入出力インターフェース１００６が接続されている。バス１００５には、ＲＯＭ(Read Only Memory)１００３およびＲＡＭ(Random Access Memory)１００４が接続されている。

入出力インターフェース１００６には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００７、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００８、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００９、ＬＡＮ（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１０１０が接続されている。また、磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリなどのリムーバブル記憶媒体１０１２に対してデータを読み書きするドライブ１０１１が接続されている。

ＣＰＵ１００１は、ＲＯＭ１００３に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１２ら読み出されて記憶部１００９にインストールされ、記憶部１００９からＲＡＭ１００４にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１００４にはまた、ＣＰＵ１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。ＧＰＵ１００２はＣＰＵ１００１による制御を受けて、画像描画に必要な計算処理を実行する。

以上のように構成される生体情報測定装置１００及び生体情報測定装置１５０では、ＣＰＵ１００１が、例えば、記憶部１００９に記憶されているプログラムを、入出力インターフェース１００６及びバス１００５を介して、ＲＡＭ１００４にロードして実行することにより、上述した一連の処理が行われる。

生体情報測定装置１００及び生体情報測定装置１５０が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１２に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

生体情報測定装置１００及び生体情報測定装置１５０では、プログラムは、リムーバブル記憶媒体１０１２をドライブ１０１１に装着することにより、入出力インターフェース１００６を介して、記憶部１００９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０１０で受信し、記憶部１００９にインストールすることができる。その他、プログラムは、ＲＯＭ１００３や記憶部１００９に、あらかじめインストールしておくことができる。

なお、生体情報測定装置１００及び生体情報測定装置１５０が実行するプログラムは、本開示で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。また、生体情報測定装置１００及び生体情報測定装置１５０のハードウェア構成はすべてが一つの装置に搭載されていなくてもよく、複数の装置によって生体情報測定装置１００及び生体情報測定装置１５０が構成されていてもよい。また生体情報測定装置１００及び生体情報測定装置１５０のハードウェア構成の一部又はネットワークを介して接続されている複数の装置に搭載されていてもよい。

（本開示について）
本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、本開示中に記載されていない効果が発揮される可能性もある。また、本開示中に記載された特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。

なお、本技術は以下のような構成もとることができる。

（１）
表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する反射スペクトル生成部と、
上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する分析処理部と
を具備する生体情報測定装置。
（２）
上記（１）に記載の生体情報測定装置であって、
上記反射スペクトル生成部は、上記反射光の撮像により生成されたデータである反射光受光データから上記反射スペクトルを生成する
生体情報測定装置。
（３）
上記（１）又は（２）に記載の生体情報測定装置であって、
上記表示映像の映像データと、上記生体情報測定装置のデバイス特性に基づいて上記照射スペクトルを算出する照射スペクトル算出部をさらに具備し、
上記スペクトル取得部は、上記照射スペクトル算出部から上記照射スペクトルを取得する
生体情報測定装置。
（４）
上記（１）又は（２）に記載の生体情報測定装置であって、
上記照射光が撮像されて生成されたデータである照射光受光データから上記照射スペクトルを生成する照射スペクトル生成部をさらに具備し、
上記スペクトル取得部は、上記照射スペクトル算出部から上記照射スペクトルを取得する
生体情報測定装置。
（５）
上記（１）に記載の生体情報測定装置であって、
上記表示映像を表示する表示部と、
上記反射光を撮像し、反射光受光データを生成する反射光撮像部と
をさらに具備する生体情報測定装置。
（６）
上記（５）に記載の生体情報測定装置であって、
上記照射光を撮像し、照射光受光データを生成する照射光撮像部
をさらに具備する生体情報測定装置。
（７）
上記（５）に記載の生体情報測定装置であって、
上記ユーザの頭部に装着され、上記表示部が上記ユーザの眼前に配置されるヘッドマウントディスプレイである
生体情報測定装置。
（８）
上記（７）に記載の生体情報測定装置であって、
上記反射光撮像部は、上記測定範囲に対向して配置されている
生体情報測定装置。
（９）
上記（８）に記載の生体情報測定装置であって、
上記照射光を撮像し、照射光受光データを生成する照射光撮像部をさらに具備し、
上記照射光撮像部は、上記表示部に対向して配置されている
生体情報測定装置。
（１０）
上記（５）に記載の生体情報測定装置であって、
上記表示部及び上記反射光撮像部は上記ユーザから離間して配置され、
上記反射光撮像部が撮像した画像に基づいて上記測定範囲を認識する測定範囲認識部をさらに具備する
生体情報測定装置。
（１１）
上記（１）から（１０）のうちいずれか１つに記載の生体情報測定装置であって、
上記分析処理部は、上記照射スペクトル及び上記反射スペクトルと生体情報が、生体情報の種類毎にモデル化された生体情報算出モデルを利用して上記ユーザの生体情報を特定する
生体情報測定装置。
（１２）
上記（１１）に記載の生体情報測定装置であって、
上記生体情報算出モデルは機械学習により生成された予測モデルである
生体情報測定装置。
（１３）
上記（１）から（１２）のうちいずれか１つに記載の生体情報測定装置であって、
上記生体情報は、脈拍数、動脈血酸素飽和度、肌水分量、体表面温度、呼吸数又は血圧である
生体情報測定装置。
（１４）
上記（１）から（１２）のうちいずれか１つに記載の生体情報測定装置であって、
上記生体情報は、静脈パターン又は虹彩パタ－ンであり、
上記分析処理部は、上記生体情報を用いて生体認証を行う
生体情報測定装置。
（１５）
表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する反射スペクトル生成部と、
上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する分析処理部
として情報処理装置を動作させる生体情報測定プログラム。
（１６）
表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成し、
上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する
生体情報測定方法。

１００、１５０…生体情報測定装置
１１１…筐体
１１２…表示部
１１３…反射光撮像部
１２１、１６１…映像取得部
１２２、１６２…表示制御部
１２３…照射スペクトル算出部
１２４、１６４…反射スペクトル生成部
１２５、１６５…分析処理部
１２６、１６６…波長スペクトル差分データベース
１２７…測定範囲認識部
１５１…照射光撮像部
１６３…照射スペクトル生成部

Claims (16)

1. 表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が前記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する反射スペクトル生成部と、
   前記照射光の波長スペクトルである照射スペクトルと前記反射スペクトルに基づいて前記ユーザの生体情報を算出する分析処理部と
   を具備する生体情報測定装置。
2. 請求項１に記載の生体情報測定装置であって、
   前記反射スペクトル生成部は、前記反射光の撮像により生成されたデータである反射光受光データから前記反射スペクトルを生成する
   生体情報測定装置。
3. 請求項１に記載の生体情報測定装置であって、
   前記表示映像の映像データと、前記生体情報測定装置のデバイス特性に基づいて前記照射スペクトルを算出する照射スペクトル算出部をさらに具備し、
   前記スペクトル取得部は、前記照射スペクトル算出部から前記照射スペクトルを取得する
   生体情報測定装置。
4. 請求項１に記載の生体情報測定装置であって、
   前記照射光が撮像されて生成されたデータである照射光受光データから前記照射スペクトルを生成する照射スペクトル生成部をさらに具備し、
   前記スペクトル取得部は、前記照射スペクトル算出部から前記照射スペクトルを取得する
   生体情報測定装置。
5. 請求項１に記載の生体情報測定装置であって、
   前記表示映像を表示する表示部と、
   前記反射光を撮像し、反射光受光データを生成する反射光撮像部と
   をさらに具備する生体情報測定装置。
6. 請求項５に記載の生体情報測定装置であって、
   前記照射光を撮像し、照射光受光データを生成する照射光撮像部
   をさらに具備する生体情報測定装置。
7. 請求項５に記載の生体情報測定装置であって、
   前記ユーザの頭部に装着され、前記表示部が前記ユーザの眼前に配置されるヘッドマウントディスプレイである
   生体情報測定装置。
8. 請求項７に記載の生体情報測定装置であって、
   前記反射光撮像部は、前記測定範囲に対向して配置されている
   生体情報測定装置。
9. 請求項８に記載の生体情報測定装置であって、
   前記照射光を撮像し、照射光受光データを生成する照射光撮像部をさらに具備し、
   前記照射光撮像部は、前記表示部に対向して配置されている
   生体情報測定装置。
10. 請求項５に記載の生体情報測定装置であって、
    前記表示部及び前記反射光撮像部は前記ユーザから離間して配置され、
    前記反射光撮像部が撮像した画像に基づいて前記測定範囲を認識する測定範囲認識部をさらに具備する
    生体情報測定装置。
11. 請求項１に記載の生体情報測定装置であって、
    前記分析処理部は、前記照射スペクトル及び前記反射スペクトルと生体情報が、生体情報の種類毎にモデル化された生体情報算出モデルを利用して前記ユーザの生体情報を特定する
    生体情報測定装置。
12. 請求項１１に記載の生体情報測定装置であって、
    前記生体情報算出モデルは機械学習により生成された予測モデルである
    生体情報測定装置。
13. 請求項１に記載の生体情報測定装置であって、
    前記生体情報は、脈拍数、動脈血酸素飽和度、肌水分量、体表面温度、呼吸数又は血圧である
    生体情報測定装置。
14. 請求項１に記載の生体情報測定装置であって、
    前記生体情報は、静脈パターン又は虹彩パタ－ンであり、
    前記分析処理部は、前記生体情報を用いて生体認証を行う
    生体情報測定装置。
15. 表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が前記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する反射スペクトル生成部と、
    前記照射光の波長スペクトルである照射スペクトルと前記反射スペクトルに基づいて前記ユーザの生体情報を算出する分析処理部
    として情報処理装置を動作させる生体情報測定プログラム。
16. 表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が前記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成し、
    前記照射光の波長スペクトルである照射スペクトルと前記反射スペクトルに基づいて前記ユーザの生体情報を算出する
    生体情報測定方法。

Images