JP2022048301A - システム、方法およびプログラム - Google Patents

Abstract

【課題】被測定者に負荷を与えることなく、ストレスなどの被測定者の心身状態を高精度に推定する技術を提供する。【解決手段】心身状態推定装置は、時系列の複数の顔画像のうち顔の部位を含む第１領域に対し、該第１領域の複数の輝度値を用いた第１の推定方法で推定された第１期間の第１脈拍数と、第１の推定方法とは異なる第２の推定方法で推定された第１期間の第２脈拍数と、の類似度を示す第１類似度を算出する算出部と、算出された第１類似度に応じて、第１脈拍数、第２脈拍数および第１期間の複数の顔画像の少なくとも何れかを用いて被測定者の心身状態を推定する推定部と、を備える。【選択図】 図６

Description

本開示は、心身状態推定装置、心身状態推定方法およびプログラムに関する。

人のストレス度を評価する方法が例えば特許文献１に開示されている。人のストレス度は、特許文献１に記載の通り、安静状態にして、ストレス度を評価可能な情報（例えば、脈拍数（心拍数）等）を測定することによって得られる。

しかしながら、安静状態を保つことはユーザに負荷を与えてしまうことになる。特許文献２は、ユーザが安静状態を保てない場合であっても、ユーザに装着した疲労検出装置から安定的にユーザの疲労を検出することが開示されている。

また、特許文献３および４には、ユーザが意識しなくとも、ユーザの脈波波形を計測する方法が開示されている。

特許第３０５４７０８号公報 国際公開第２０１６／０８８８１９号 国際公開第２０１７／０８５８９４号 国際公開第２０１７／０８５８９６号

特許文献２に記載の技術では、ユーザに装置を装着させる必要がある。よって、このような装置を装着することにより、ユーザ（被測定者）に煩わしさを与えてしまう。

また、特許文献３および４の技術では、不整脈か否かを判定するための脈波波形は、被測定者の複数部位から得られている。したがって、１つの撮像装置で複数部位が撮像されなかった場合、複数部位が撮像されなかった被測定者に対して、不整脈か否かを判定できなくなる場合がある。不整脈か否かを精度よく判定させるためには、複数部位が撮像されるように、被測定者に求める必要があるため、該被測定者に負荷を与えてしまう可能性がある。

本開示は、上記課題に鑑みてなされたものであり、その目的は、被測定者に負荷を与えることなく、ストレスなどの被測定者の心身状態を高精度に推定する技術を提供することにある。

本開示の一態様に係る心身状態推定装置は、時系列の複数の顔画像のうち顔の部位を含む第１領域に対し、該第１領域の複数の輝度値を用いた第１の推定方法で推定された第１期間の第１脈拍数と、前記第１の推定方法とは異なる第２の推定方法で推定された前記第１期間の第２脈拍数と、の類似度を示す第１類似度を算出する算出手段と、算出された前記第１類似度に応じて、前記第１脈拍数、前記第２脈拍数および前記第１期間の複数の顔画像の少なくとも何れかを用いて被測定者の心身状態を推定する推定手段と、を備える。

また、本開示の一態様に係る心身状態推定方法は、時系列の複数の顔画像のうち顔の部位を含む第１領域に対し、該第１領域の複数の輝度値を用いた第１の推定方法で推定された第１期間の第１脈拍数と、前記第１の推定方法とは異なる第２の推定方法で推定された前記第１期間の第２脈拍数と、の類似度を示す第１類似度を算出し、算出された前記第１類似度に応じて、前記第１脈拍数、前記第２脈拍数および前記第１期間の複数の顔画像の少なくとも何れかを用いて被測定者の心身状態を推定する。

なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。

本開示によれば、被測定者に負荷を与えることなく、ストレスなどの被測定者の心身状態を高精度に推定することができる。

第１の本実施の形態に係る心身状態推定装置の構成の一例を示すブロック図である。 取得部が取得する脈拍推定結果の一例を示す図である。 類似度の算出結果の一例を示す図である。 記憶部に格納された、被測定者の心身状態の推定結果の一例を示す図である。 第１の実施の形態に係る心身状態推定装置の動作の流れの一例を示すフローチャートである。 第２の実施の形態に係る心身状態推定装置の構成の一例を示すブロック図である。 第２の実施の形態に係る心身状態推定装置の動作の流れの一例を示すフローチャートである。 各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。

＜第１の実施の形態＞
本開示の第１の実施の形態について図面を参照して説明する。図１は、本実施の形態に係る心身状態推定装置１００の構成の一例を示すブロック図である。図１に示す通り、心身状態推定装置１００は、取得部１１０と、算出部１２０と、推定部１３０と、出力部１４０と、記憶部１５０とを備える。

取得部１１０は、脈拍推定結果を取得する。脈拍推定結果とは、複数の時系列の顔画像（時系列顔画像）から推定された脈拍（心拍）を示す情報である。本実施形態では、脈拍推定結果は、推定された脈拍数（心拍数）であるとして説明を行うが、脈波波形であってもよい。

顔画像は、勤務中や運転中など日常生活中の被測定者が映る画像である。顔画像は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を搭載する撮像装置で撮像されることによって得られる。撮像装置は、例えば、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）等の複数の受光素子が搭載される。

この撮像装置が、時間的に連続した顔画像を撮像することにより、複数の時系列顔画像が得られる。時系列顔画像は、静止画像であっても動画であってもよい。撮像装置は、デジタルカメラやＷｅｂカメラであってもよいし、カメラを搭載する携帯端末であってもよい。

ここで、撮像装置によって撮像された、複数の時系列顔画像から脈拍数を推定する方法の一例について説明する。なお、脈拍数の推定は、心身状態推定装置１００が行ってもよいし、心身状態推定装置１００とは異なる装置が行ってもよい。以下では、心身状態推定装置１００内部または外部に設けられた脈拍推定装置が脈拍数を推定するとして説明を行う。

脈拍推定装置は、複数の時系列の顔画像から、人の顔の位置や大きさを検出して、顔を含む顔領域を抽出する。顔検出には、対象となる顔の位置と大きさを検出する任意の顔検出技術を用いる。脈拍推定装置は、抽出した顔領域の画像から、特徴点を検出する。検出する特徴点は、例えば、目、鼻、口、顔の輪郭などである。なお、特徴点の検出は、任意の特徴点検出アルゴリズムが用いられる。そして、脈拍推定装置は、検出された特徴点を囲む領域を関心領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）として決定する。ここで、決定される関心領域は、１つであってもよいし複数であってもよい。

その後、脈拍推定装置は決定した関心領域毎に、該関心領域の画像の各画素におけるＲ、Ｇ、Ｂの輝度値（輝度の階調値）を用いて、該関心領域における脈拍数を推定する。脈拍推定装置は、１つの関心領域（第１領域）に対し、少なくとも２以上の推定方法で脈拍数を推定する。

脈拍推定装置は、例えば、１つの関心領域に対して、該関心領域内の複数の輝度値を用いる方法（第１の推定方法）で第１期間の脈拍数を推定し、同じ関心領域に対して、第１の推定方法とは異なる第２の推定方法で第１期間の脈拍数を推定してもよい。

脈拍推定装置は、第１の推定方法として、例えば、複数の輝度値のうち、緑色の成分の輝度値を他の成分の輝度値よりも強調することによって算出される脈拍数を、推定された脈拍数として出力してもよい。血液中に含まれるヘモグロビンは、緑色の光を吸収する特性がある。そのため、複数の色の成分のうち、緑色の成分に血流から生じる変化が最も現れている可能性が高い。よって、複数の色の成分の輝度値のうち、緑色の成分の輝度値を他の成分の輝度値よりも強調することによって得られた脈拍数が、推定精度が高くなるという発明者らの知見に基づき、取得部１１０は、推定された脈拍数を第１脈拍数として取得する。これにより、取得部１１０は、精度が高い脈拍数を取得することができる。

第１期間は、脈拍推定装置が第１脈拍数を推定する際に用いる複数の時系列顔画像の撮像期間である。脈拍推定装置は、第１脈拍数と同じ期間（第１期間）の同じ関心領域の画像を用いて、第２の推定方法で脈拍数（第２脈拍数）を推定する。なお、第２の推定方法は、第１の推定方法とは異なる方法であればよく、複数の色の輝度値を用いて脈拍を推定する方法であってもよいし、例えば、緑色の成分の輝度値のみを用いて脈拍を推定する方法であってもよい。

図２は、取得部１１０が取得する脈拍推定結果の一例を示す図である。図２では、脈拍推定結果をグラフで表現している。図２において、横軸は、時間を示し、縦軸は脈拍数（ｂｐｍ：ｂｅａｔｓ ｐｅｒ ｍｉｎｕｔｅ）を示す。図２は、ある１つの関心領域に対する第１脈拍数と第２脈拍数とを示す。図２において、第１脈拍数は、ｂ１０からｂ１６までの符号が付された丸で表現され、第２脈拍数は、ｂ２０からｂ２６までの符号が付されたひし形で表現されている。ここで、例えば、時間ｔ１における第１脈拍数ｂ１１は、顔画像が撮像された時間Ｔがｔ０＜Ｔ＜＝ｔ１を満たす複数の顔画像を用いて推定された脈拍数を示す。図２に示す、第１脈拍数および第２脈拍数は、等間隔の時間で推定されているが、任意の間隔で推定されてもよい。

上述した第１期間は、予め定められた長さであってもよいし、可変であってもよい。また、第１期間に対して脈拍数は、１つ以上あればよい。つまり、図２において、第１期間は、例えば、第１脈拍数ｂ１１を推定する際に用いた顔画像が撮像された期間であるｔ０＜Ｔ＜＝ｔ１であってもよいし、第１脈拍数ｂ１１、ｂ１２、ｂ１３を推定する際に用いた顔画像が撮像された期間であるｔ０＜Ｔ＜＝ｔ３であってもよい。

このように、取得部１１０は、任意の期間毎に推定された、関心領域毎の第１脈拍数および第２脈拍数を、関心領域を示す情報と共に、脈拍推定結果として取得する。そして、取得部１１０は、取得した脈拍推定結果を、算出部１２０に供給する。

算出部１２０は、第１脈拍数と、第２脈拍数との類似度（第１類似度）を算出する。算出部１２０は、取得部１１０から供給された脈拍推定結果に基づいて、関心領域毎に、任意の期間の第１脈拍数と第２脈拍数との類似度を算出する。

算出部１２０は、例えば、第１期間がｔ０＜Ｔ＜＝ｔ１の場合、図２に示す第１脈拍数ｂ１１と第２脈拍数ｂ２１との類似度を算出する。算出部１２０が算出する類似度は、任意の方法を用いて脈拍数同士の近さを表すものであってもよい。

また、算出部１２０は、例えば、第１期間がｔ０＜Ｔ＜＝ｔ３の場合、図２に示す第１脈拍数ｂ１１と第２脈拍数ｂ２１との近さ、第１脈拍数ｂ１２と第２脈拍数ｂ２２との近さ、および、第１脈拍数ｂ１３と第２脈拍数ｂ２３との近さを夫々算出し、算出した複数の近さの統計量（例えば、平均値）を類似度として算出してもよい。また、算出部１２０は、第１脈拍数ｂ１１～ｂ１３によって表現されるグラフと、第２脈拍数ｂ２１～ｂ２３によって表現されるグラフとの間の距離を、類似度として算出してもよい。

また、取得部１１０が、脈拍推定結果として、脈波波形を取得した場合、算出部１２０は、該脈波波形の間の類似度を算出してもよい。波形間の類似度の算出方法は特に限定されず、形状全体の類似の度合いを類似度としてもよいし、Ｐ波、Ｒ波、Ｔ波およびＵ波の夫々の形状の類似の度合いの統計値を類似度としてもよい。なお、算出部１２０が脈波波形から類似度を算出する方法はこれに限定されない。

なお、ある期間およびある関心領域に対して推定された脈拍数が３以上の場合（つまり、第１脈拍数および第２脈拍数とは異なる第３脈拍数が脈拍推定結果に含まれる場合）、算出部１２０は、全ての類似度を算出してもよいし、組み合わせた脈拍数同士の類似度を算出してもよい。なお、脈拍数の組合せは、作成可能な全組合せであってもよいし、任意の数の組合せであってもよい。

算出部１２０は、算出した類似度を、類似度の算出対象の第１脈拍数および第２脈拍数、第１脈拍数および第２脈拍数の推定の対象となる顔画像の撮像期間を示す情報および関心領域を示す情報に関連付けて、推定部１３０に供給する。図３は、算出部１２０が推定部１３０に供給する、類似度の算出結果の一例を示す図である。類似度の算出結果３１は、図３に示す通り、関心領域を示す情報である関心領域３２、第１脈拍数および第２脈拍数の推定の対象となる顔画像の撮像期間を示す期間３３、期間３３に対して推定された第１脈拍数３４、期間３３に対して推定された第２脈拍数３５、および第１脈拍数３４と第２脈拍数３５との類似度を示す類似度３６を含む。なお、類似度の算出結果３１は、これに限定されるものではない。

推定部１３０は、第１脈拍数３４と第２脈拍数３５との類似度３６に応じて、（ａ）第１脈拍数３４、（ｂ）第２脈拍数３５および（ｃ）時系列の複数の顔画像のうち、期間３３の顔画像、の少なくとも何れかを用いて被測定者の心身状態を推定する。

推定部１３０は、例えば、類似度３６が所定の閾値以上の場合、（ａ）第１脈拍数３４、（ｂ）第２脈拍数３５および（ｃ）類似度３６に関連付けられた期間３３の顔画像の少なくとも何れかを用いて心身状態を推定する。この場合、推定部１３０は、類似度３６が所定の閾値より低い場合、推定された第１脈拍数および第２脈拍数の少なくとも何れかにノイズが多く含まれていると判定し、この期間の心身状態を推定しなくてもよい。これにより、ノイズが少ない期間の脈拍数を用いて心身状態を推定することができるため、推定結果の精度を高めることができる。

ここで、推定部１３０が行う心身状態の推定について説明する。正常の場合、心拍数と脈拍数は対応している。したがって、推定された脈拍数から、心拍が推定できる。よって、推定部１３０は、推定された心拍数から、Ｒ波間の間隔であるＲＲ間隔（ＲＲＩ：ＲＲ Ｉｎｔｅｒｖａｌ）を算出する。なお、算出されたＲＲＩが時間的に等間隔ではない場合、３次スプライン補間等の処理を行ってもよい。

そして、推定部１３０は、算出されたＲＲＩを用いて、例えば、（Ａ）時間領域を対象にした推定、および、（Ｂ）周波数領域を対象にした推定を行うことにより、被測定者の心身状態を推定する。

推定部１３０は、例えば、（Ａ）時間領域を対象にした推定として、ＲＲＩから、例えば、以下の（１）～（６）等を算出し、算出した結果に基づいて、心身状態を推定してもよい。

（１）心電図ＲＲ間隔変動係数（ＣＶＲＲ：Ｃｏｅｆｆｉｃｉｅｎｔ ｏｆ Ｖａｒｉａｔｉｏｎ ｏｆ ＲＲ ｉｎｔｅｒｖａｌｓ）
（２）ＲＲＩ中央値
（３）ＲＲＩ移動平均
（４）ＲＲＩ変化率
（５）ＲＲＩの時間変動量
（６）ローレンツプロット
例えば、（３）ＲＲＩ移動平均は、窓を３０秒程度として算出したものである。また、（４）ＲＲＩ変化率は、ストレス状態、リラックス状態それぞれのＲＲＩ平均値、中央値、標準偏差、分散等を予め求めておき、リラックス状態とストレス状態との間の差を変化率として算出したものである。また、（５）ＲＲＩの時間変動量は、例えば、窓を１分間として、ＲＲＩの分散および標準偏差を算出することにより求められる。

例えば、（１）ＣＶＲＲは、ストレスが高い状態では、低い値になる傾向がある。同様に（２）～（５）の値も、ストレスが高い状態では、低い値になる傾向がある。また、ストレスが高い状態では、（６）ローレンツプロットによって得られる面積が小さくなるという傾向がある。このように、推定部１３０は、（１）～（６）の夫々の特性に応じて、被測定者の心身状態を推定する。

なお、推定部１３０は、（Ａ）時間領域を対象にした推定として、心拍数の時間変動量を算出し、算出した値に基づいて、心身状態を推定してよい。例えば、ストレスが高い状態では、心拍数の時間変動量が高くなると言う傾向に基づいて、推定部１３０は、心拍数の時間変動量から心身状態を推定してもよい。

また、推定部１３０は、ＲＲＩをフーリエ変換することにより、周波数領域に変換する。そして、推定部１３０は、例えば、（Ｂ）周波数領域を対象にした推定として、周波数領域に変換したＲＲＩから、心拍変動低周波帯域成分（ＬＦ：Ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｃｏｍｐｏｎｅｎｔ）と、心拍変動高周波帯域成分（ＨＦ：Ｈｉｇｈ ｆｒｅｑｕｅｎｃｙ ｃｏｍｐｏｎｅｎｔ）とを抽出し、ＬＦおよびＨＦに基づいて、被測定者の心身状態を推定してもよい。

一般にＬＦは０．０４～０．１５Ｈｚ，ＨＦは０．１５～０．４Ｈｚの範囲のスペクトルの積算値で求められる。ＨＦが相対的に大きくなると副交感神経が優位であることを示しており、ＨＦが相対的に小さくなると、交感神経が優位にあることを示す。よって、推定部１３０は、ＨＦを用いて、リラックス状態やストレス状態を推定することにより、被測定者の心身状態を推定してもよい。また、推定部１３０は、ＬＦ／ＨＦを算出し、算出した値に基づいて、心身状態を推定してもよい。また、推定部１３０は、ＨＦ比（ＨＦＲ：ＨＦ Ｒａｔｉｏ）を以下の式（１）を用いて算出し、算出したＨＦＲに基づいて、心身状態を推定してもよい。

ＨＦＲ＝ＨＦ／（ＬＦ＋ＨＦ）・・・（１）
このＨＦＲは、ストレスが高い状態では、低い値になり、リラックス状態では高い値になる傾向がある。

なお、推定部１３０が心拍数（第１脈拍数および／または第２脈拍数）やＲＲＩを用いて、被測定者の心身状態を推定する方法は、これに限定されない。推定部１３０は任意の方法を採用して心身状態を推定してもよい。

なお、推定部１３０は、例えば、類似度３６を用いて、心身状態を推定してもよい。例えば、ある期間における類似度３６は、該期間における第１脈拍数および第２脈拍数の信頼度が高いと言える。よって、推定部１３０は、期間毎に上述した推定方法で心身状態の推定を行い、推定された心身状態を数値化する。その後、推定部１３０は、数値化した心身状態に類似度３６を掛け合わせることによって得られた値を、後述する記憶部１５０等に蓄積する。推定部１３０は、蓄積した結果を用いて、更に蓄積した期間の心身状態を推定することにより、類似度３６が所定の閾値より高いデータのみを使用した推定に比べ、高い精度の心身状態を推定することができる。なお、推定部１３０は、類似度３６が所定の閾値よりも小さい期間に対して推定された心身状態を、該期間の前後の推定結果に応じて補完してもよい。

また、推定部１３０は、例えば、類似度３６に応じて、心身状態の推定の方法を変更してもよい。例えば、類似度３６が所定の閾値よりも小さい場合、推定部１３０は、（Ａ）時間領域を対象にした推定を行い、類似度３６が所定の閾値以上の場合、（Ｂ）周波数領域を対象にした推定を行ってもよい。

ＬＦ／ＨＦ等は、心拍を高精度に測定可能な心電図から算出することが一般的である。顔画像から得られる第１脈拍数および第２脈拍数の類似度３６が高い場合、上述した通り、推定された第１脈拍数および第２脈拍数の信頼度が高いことを示す。よって、推定部１３０は、信頼度が高いデータを用いることによって、精度よく、被測定者の心身状態を推定することができる。

また、脈拍数の平均値などは、類似度３６が小さい（信頼度が低い）場合であっても、所定の範囲内の数値が算出される。よって、類似度３６が所定の閾値よりも小さい場合であっても、（Ａ）時間領域を対象にした推定を行うことにより、推定部１３０は、多くの期間で被測定者の心身状態を推定することができる。

なお、推定部１３０が、心身状態を推定する際に用いる第１脈拍数、第２脈拍数または顔画像は、類似度の算出に用いた関心領域とは異なる領域であってもよい。例えば、類似度３６が、額の関心領域に対して推定された第１脈拍数および第２脈拍数の類似度３である場合、推定部１３０は、額以外の関心領域や顔画像全体に対する第１脈拍数、第２脈拍数または顔画像自体を用いて、被測定者の心身状態を推定してもよい。

また、推定部１３０が、心身状態を推定する際に用いる、第１脈拍数、第２脈拍数は、複数の関心領域に関連する脈拍数であってもよい。例えば、類似度３６が所定の閾値より高い関心領域が「額」、「右頬」および「左頬」である場合、推定部１３０は、各関心領域に関連する第１脈拍数および第２脈拍数の少なくとも１つを用いて、心身状態を推定してもよい。

推定部１３０は、被測定者の心身状態の推定結果を、出力部１４０に供給する。

出力部１４０は、推定部１３０から供給された、推定結果を出力する。出力部１４０は、例えば、記憶部１５０等の記憶装置に推定結果を格納してもよいし、表示装置やプリンタ等に出力してもよい。

記憶部１５０は、被測定者の心身状態の推定結果を格納する。記憶部１５０は、心身状態推定装置１００とは異なる記憶装置で実現されてもよい。図４は、記憶部１５０に格納された、被測定者の心身状態の推定結果の一例を示す図である。図４に示す通り、推定結果４１は、心身状態が推定に用いられた、顔画像の撮像期間を示す期間４２と、推定された心身状態を示す心身状態４３とを含む。なお、推定結果４１は、例えば、関心領域を示す情報など、その他の情報を含んでもよい。

このように記憶部１５０に蓄積された推定結果４１を、例えば、所定の期間、蓄積することにより、被測定者の心身状態の変化の分析に用いるデータを収集することができる。これにより、記憶部１５０に蓄積された推定結果４１は、被測定者の心身状態を週単位、月単位等で観測する場合に有効に利用されうる。

次に、本実施の形態に係る心身状態推定装置１００の動作の流れについて、図５を参照して説明する。図５は、本実施の形態に係る心身状態推定装置１００の動作の流れの一例を示すフローチャートである。

図５に示す通り、取得部１１０が、第１脈拍数と第２脈拍数とを少なくとも含む脈拍推定結果を取得する（ステップＳ５１）。第１脈拍数は、時系列の複数の顔画像のうち顔の部位を含む関心領域（第１領域）毎に、該関心領域の複数の輝度値を用いた第１の推定方法で推定された脈拍数である。また、第２脈拍数は、第１脈拍数が推定された各関心領域に対して、第１の推定方法とは異なる第２の推定方法で推定された脈拍数である。第１脈拍数と第２脈拍数とは同じ期間（第１期間）に対して推定された脈拍数である。

次に、算出部１２０が、同じ期間（第１期間）に対する、推定された脈拍数の間（第１脈拍数および第２脈拍数の間）の類似度を示す第１類似度を、関心領域毎に算出する（ステップＳ５２）。

そして、推定部１３０が、第１類似度に応じて、第１脈拍数、第２脈拍数および第１期間の複数の顔画像の少なくとも何れかを用いて、被測定者の心身状態を推定する（ステップＳ５３）。

その後、出力部１４０が推定結果を、例えば、記憶部１５０に出力する（ステップＳ５４）。

以上により、心身状態推定装置１００は、処理を終了する。

このように、心身状態推定装置１００が顔画像から推定された脈拍数を用いて、被測定者の心身状態を推定するため、被測定者に脈拍数を測定するための装置等を装着させるなどの負荷を与えることなく、該被測定者の心身状態を推定することができる。

また、心身状態推定装置１００は、関心領域（第１領域）に対して推定された複数の脈拍数の類似度に応じて、被測定者の心身状態を推定するため、１つの撮像装置で複数部位が撮像されなかった場合であっても被測定者の心身状態を推定することができる。これにより、被測定者に複数部位が映るように求めなくとも、本実施の形態に係る心身状態推定装置１００は、被測定者の心身状態を推定することができる。

また、心身状態推定装置１００は複数の脈拍数の類似度に応じて、被測定者の心身状態を推定するため、例えば、ノイズが含まれないと想定される脈拍数を用いて心身状態を推定することができる。これにより、心身状態推定装置１００は、高精度に被測定者の心身状態を推定することができる。

また、複数の関心領域を含む顔画像を撮像する場合、被測定者の顔の向きによっては、複数の撮像装置が必要となる場合がある。しかしながら、本実施の形態に係る心身状態推定装置１００によれば、関心領域（第１領域）に対して推定された複数の脈拍数の類似度を用いて心身状態を推定するため、撮像装置は１つであってもよい。これにより、心身状態推定装置１００は、心身状態を推定するために設置する撮像装置の数を減らすことができ、設置に掛かるコストを削減することができる。

なお、推定部１３０は、第１領域に含まれる部位に応じて、心身状態を推定してもよい。第１領域は上述した通り、関心領域である。関心領域は、例えば、口、右頬、左頬、額などの、部位を含む。顔の各部位は、皮膚の厚さに応じて、画素値の変化に差がある。画素値の変化が起こりやすい部位は、脈拍を高精度に推定できる部位であると言い換えることができる。よって、関心領域（第１領域）が複数の場合、推定部１３０は、例えば、脈拍を高精度に推定できる部位を含む関心領域に関連付けられた第１脈拍数、第２脈拍数および該関心領域の画像の少なくとも何れかを用いて、心身状態を推定してもよい。

また、推定部１３０は、部位に応じて、異なる推定方法を用いて、心身状態を推定してもよい。例えば、推定部１３０は、第１領域が、額など脈拍を高精度に推定できる部位を含む場合、周波数領域を対象にして心身状態の推定を行い、第１領域が脈拍を高精度に推定できる部位以外の部位を含む場合、時間領域を対象にして心身状態の推定を行ってもよい。

このように、推定部１３０が第１領域に含まれる顔の部位に応じた推定を行うことにより、心身状態推定装置１００は、より高精度に被測定者の心身状態を推定することができる。

また、推定部１３０は、第１期間とは異なる第２期間に対して算出された類似度を示す第２類似度と、第１類似度との差が所定範囲である場合、第１期間および第２期間の第１脈拍数、第２脈拍数および複数の顔画像の少なくとも何れかを用いて被測定者の心身状態を推定してもよい。

例えば、第１期間が図３に示すｔ０＜Ｔ＜＝ｔ３の場合、第２期間は、例えば、ｔ３＜Ｔ＜＝ｔ６である。このように第２期間は第１期間に時間的に隣り合う（連続する）期間であることが好ましい。なお、第２期間の長さは、第１期間と同じであってもよいし異なってもよい。

推定部１３０は、同じ関心領域に対する、第１期間に対する類似度と、第２期間の類似度とを、比較する。関心領域３２が「額」である場合、推定部１３０は、「額」の第１期間に対する類似度３６である「０．８４」と、第２期間に対する類似度３６である「０．９１」とを比較する。そして、推定部１３０は、第１期間に対する類似度と第２期間に対する類似度との差が所定範囲である場合、第１脈拍数ｂ１１～１６、第２脈拍数ｂ２１～ｂ２６およびｔ０＜Ｔ＜＝ｔ６に撮像された顔画像の少なくとも何れかを用いて、心身状態を推定してもよい。

このように、心身状態推定装置１００は、心身状態の推定に用いる脈拍数および／または顔画像の時間窓を類似度間の差に応じて変更する。これにより、例えば、被測定者が安静状態である場合等、脈拍数の推定が高精度に行われている可能性が高い場合において、心身状態推定装置１００は、短い期間のデータではなく長い期間のデータを用いて被測定者の心身状態を推定する。また、脈拍数の推定が、推定方法によってばらつきが出てしまう場合、被測定者が安静状態ではない可能性が高い。このような場合、心身状態推定装置１００は、短い期間のデータを用いて被測定者の心身状態を推定する。このように、心身状態の推定の期間を類似度の差に応じて変更することができるため、心身状態推定装置１００は、より高精度に被測定者の心身状態を推定することができる。

また、算出部１２０は、第１期間において、第１領域とは異なる第２領域に対して推定された脈拍数と、第１領域に対して推定された第１脈拍数または第２脈拍数との類似度を示す第３類似度を算出してもよい。例えば、第１領域が「額」の関心領域３２の場合、図３の関心領域３２のうち、第２領域は、「右頬」または「左頬」の関心領域３２となる。ここで、第２領域を「右頬」の関心領域３２であるとし、第１期間がｔ０＜Ｔ＜＝ｔ３の場合、算出部１２０は、「額」の関心領域３２から推定された第１脈拍数ｂ１１～ｂ１３または第２脈拍数ｂ２１～ｂ２３と、「右頬」の関心領域３２から推定された第１脈拍数ｃ１１～ｃ１３または第２脈拍数ｃ２１～ｃ２３と、の類似度である第３類似度を算出してもよい。

そして、推定部１３０は、第１類似度に加えて、第３類似度に応じて、被測定者の心身状態を推定してもよい。例えば、推定部１３０は、第３類似度が所定の閾値より高い場合に、被測定者の心身状態を推定してもよい。推定された脈拍数間の類似度が高い場合、脈拍数にノイズなどが含まれていない可能性が高い。つまり、推定された脈拍数の信頼度が高いと言える。よって、心身状態推定装置１００は、複数の領域（第１領域および第２領域）間の第３類似度を用いて心身状態を推定することにより、第１類似度のみを用いる場合に比べ、信頼度が高い脈拍数を用いて心身状態を推定することができ、該心身状態の推定精度を高めることができる。

また、算出部１２０は、第１期間の複数の顔画像の夫々に含まれる第１領域内の特徴点の移動量または被測定者の顔の向きの変化量に基づいて、第１類似度を算出してもよい。この特徴点の移動量および顔向きの変化量は、算出部１２０が算出してもよいし、他の装置で算出されたものを取得部１１０が取得してもよい。

脈拍数間の類似度が高い場合であっても特徴点の移動量または顔の向きの変化量が大きい場合、推定された脈拍数にはノイズが含まれる場合がある。よって、算出部１２０は、脈拍数間の類似度に、例えば、特徴点の移動量や顔の向きの変化量に応じた値を掛け合わせることにより、第１類似度を算出してもよい。これにより、算出部１２０は、推定された脈拍数の信頼性を評価した値を第１類似度として出力することができる。したがって、例えば、推定部１３０は、高い第１類似度を有する第１脈拍数、第２脈拍数または顔画像を用いて心身状態を推定することができるため、心身状態の推定精度を高めることができる。

また、推定部１３０は、第１期間の複数の顔画像の夫々に含まれる第１領域内の特徴点の移動量または被測定者の顔の向きの変化量に基づいて、心身状態を推定してもよい。これにより、推定部１３０は、例えば、脈拍数の変化は少ないが特徴点の移動量が多い等、被測定者の様々な状態の変化を考慮に入れて心身状態を推定することができる。

また、算出部１２０は、ある関心領域のある第１期間における脈拍数と、第２期間における脈拍数との変化量（差分）を第４類似度として算出してもよい。また、第４類似度は、第１期間における周波数領域での脈拍数に対応する周波数と第２期間における周波数領域での脈拍数に対応する周波数との変化量であってもよい。そして、推定部１３０は、第４類似度が、例えば、所定の閾値より大きいか否かに応じて、心身状態を推定してもよい。なお、所定の閾値は、例えば、１秒間では１２ｂｐｍ以上の脈拍数の変化は起こりにくいという生理学的な性質から、１２ｂｐｍと定められてもよい。第４類似度が所定の閾値より大きい場合、第１期間における脈拍数または第２期間における脈拍数の少なくとも何れかにノイズが含まれている可能性がある。よって、推定部１３０は、例えば、所定の閾値より小さい第４類似度に関連する脈拍数や顔画像を用いて、心身状態を推定することにより、心身状態推定装置１００は、心身状態の推定精度を高めることができる。

＜第２の実施の形態＞
本開示の第２の実施の形態について、図６および図７を参照して説明する。図６は、本実施の形態に係る心身状態推定装置１０の構成の一例を示すブロック図である。図６に示す通り、心身状態推定装置１０は、算出部１２と、推定部１３とを備える。

算出部１２は、時系列の複数の顔画像のうち顔の部位を含む第１領域に対し、該第１領域の複数の輝度値を用いた第１の推定方法で推定された第１期間の第１脈拍数と、前記第１の推定方法とは異なる第２の推定方法で推定された前記第１期間の第２脈拍数と、の類似度を示す第１類似度を算出する。上述した算出部１２０は、算出部１２の一例である。

第１領域は顔の部位（例えば、目、鼻、口等）を含む領域であればよい。また、第１の推定方法および第２の推定方法は、上述した第１の実施の形態と同様である。また、算出部１２による類似度の算出方法は、算出部１２０と同様に特に限定されない。

推定部１３は、算出部１２によって算出された第１類似度に応じて、第１脈拍数、第２脈拍数および第１期間の複数の顔画像の少なくとも何れかを用いて被測定者の心身状態を推定する。上述した推定部１３０は、推定部１３の一例である。被測定者の心身状態の推定方法は、上述した通り任意の方法を用いてもよく、特に限定されない。

図７は、本実施の形態に係る心身状態推定装置１０の動作の流れの一例を示すフローチャートである。図７に示す通り、算出部１２が、第１脈拍数と第２脈拍数との類似度を示す第１類似度を算出する（ステップＳ７１）。そして、推定部１３が、第１類似度に応じて、第１脈拍数、第２脈拍数および第１期間の複数の顔画像の少なくとも何れかを用いて被測定者の心身状態を推定する（ステップＳ７２）。以上で心身状態推定装置１０は、処理を終了する。

以上のように、心身状態推定装置１０が顔画像から推定された脈拍数を用いて、被測定者の心身状態を推定するため、被測定者に脈拍数を測定するための装置等を装着させるなどの負荷を与えることなく、該被測定者の心身状態を推定することができる。

また、心身状態推定装置１０は、ある領域（第１領域）に対して推定された複数の脈拍数の類似度に応じて、被測定者の心身状態を推定するため、１つの撮像装置で複数部位が撮像されなかった場合であっても被測定者の心身状態を推定することができる。これにより、被測定者に複数部位が映るように求めなくとも、本実施の形態に係る心身状態推定装置１０は、被測定者の心身状態を推定することができる。

また、心身状態推定装置１０は複数の脈拍数の類似度に応じて、被測定者の心身状態を推定するため、例えば、ノイズが含まれないと想定される脈拍数を用いて心身状態を推定することができる。これにより、心身状態推定装置１０は、高精度に被測定者の心身状態を推定することができる。

（ハードウェア構成について）
本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図８に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図８は、各装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。

各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。

また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。

各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。

１０ 心身状態推定装置
１２ 算出部
１３ 推定部
１００ 心身状態推定装置
１１０ 取得部
１２０ 算出部
１３０ 推定部
１４０ 出力部
１５０ 記憶部

Claims (9)

1. 時系列の複数の顔画像のうち顔の部位を含む第１領域に対し、該第１領域の複数の輝度値を用いた第１の推定方法で推定された第１期間の第１脈拍数と、前記第１の推定方法とは異なる第２の推定方法で推定された前記第１期間の第２脈拍数と、の類似度を示す第１類似度を算出する算出手段と、
   算出された前記第１類似度に応じて、前記第１脈拍数、前記第２脈拍数および前記第１期間の複数の顔画像の少なくとも何れかを用いて被測定者の心身状態を推定する推定手段と、
   を備える心身状態推定装置。
2. 前記推定手段は、第２期間に対して算出された前記類似度を示す第２類似度と、前記第１類似度との差が所定範囲である場合、前記第１期間および第２期間における前記第１脈拍数、前記第２脈拍数および前記複数の顔画像の少なくとも何れかを用いて前記心身状態を推定する、
   請求項１に記載の心身状態推定装置。
3. 前記第１脈拍数は、複数の輝度値のうち、緑色の成分の輝度値を他の成分の輝度値よりも強調することによって算出される、
   請求項１または２に記載の心身状態推定装置。
4. 前記算出手段は、前記第１期間において、前記第１領域とは異なる第２領域に対して前記第１の推定方法または第２の推定方法を用いて推定された脈拍数と、前記第１領域に対して推定された前記第１脈拍数または前記第２脈拍数との類似度を示す第３類似度を算出し、
   前記推定手段は、前記第３類似度に応じて、前記心身状態を推定する、
   請求項１から３の何れか１項に記載の心身状態推定装置。
5. 前記推定手段は、前記第１領域に含まれる前記部位に応じて、前記心身状態を推定する、
   請求項１から４の何れか１項に記載の心身状態推定装置。
6. 前記算出手段は、前記第１期間の複数の顔画像の夫々に含まれる前記第１領域内の特徴点の移動量または前記被測定者の顔の向きの変化量に基づいて、前記第１類似度を算出する、
   請求項１から５の何れか１項に記載の心身状態推定装置。
7. 前記推定手段は、前記第１期間の複数の顔画像の夫々に含まれる前記第１領域内の特徴点の移動量または前記被測定者の顔の向きの変化量に基づいて、前記心身状態を推定する、
   請求項１から６の何れか１項に記載の心身状態推定装置。
8. 時系列の複数の顔画像のうち顔の部位を含む第１領域に対し、該第１領域の複数の輝度値を用いた第１の推定方法で推定された第１期間の第１脈拍数と、前記第１の推定方法とは異なる第２の推定方法で推定された前記第１期間の第２脈拍数と、の類似度を示す第１類似度を算出し、
   算出された前記第１類似度に応じて、前記第１脈拍数、前記第２脈拍数および前記第１期間の複数の顔画像の少なくとも何れかを用いて被測定者の心身状態を推定する、
   心身状態推定方法。
9. 時系列の複数の顔画像のうち顔の部位を含む第１領域に対し、該第１領域の複数の輝度値を用いた第１の推定方法で推定された第１期間の第１脈拍数と、前記第１の推定方法とは異なる第２の推定方法で推定された前記第１期間の第２脈拍数と、の類似度を示す第１類似度を算出する処理と、
   算出された前記第１類似度に応じて、前記第１脈拍数、前記第２脈拍数および前記第１期間の複数の顔画像の少なくとも何れかを用いて被測定者の心身状態を推定する処理と、
   をコンピュータに実行させるプログラム。

Images