JP2020121022A - 生体情報モニタリング方法および生体情報モニタリングシステム - Google Patents

Abstract

【課題】非接触で検出される被験者のバイタル情報の有効性の有無を適切に判別し、被験者のストレスの信頼性を的確に担保する。【解決手段】生体情報モニタリング方法は、被験者を画角内に捉えるカメラの撮像画像に基づいて、被験者の生体情報を非接触で抽出するステップと、生体情報に基づいて生体情報に対応するストレス指数を算出するステップと、所定期間内に抽出された生体情報に基づいて、算出されたストレス指数の有効性の有無を判定するステップと、ストレス指数が有効であるとの判定結果に従って、算出されたストレス指数を出力するステップと、を有する。【選択図】図２

Description

本開示は、生体情報モニタリング方法および生体情報モニタリングシステムに関する。

特許文献１には、疲労ストレスを診断するに際して、年齢ごとの基準値をマスタデータとして保有し、被験者の心電脈波を測定して得た測定データと基準値とを比較して複数の分類に分けられた判定結果を出力する疲労ストレス健診システムが開示されている。また、この疲労ストレス健診システムは、自律神経機能年齢を算出でき、被験者の自律神経の強さだけでなく自律神経のバランスも判定する。

特開２０１５−５４００２号公報

しかし、特許文献１では、心電脈波のデータは被験者が心電脈波計測器を身体に直に接触させた状態で測定されるため、被験者に相応の負担を強いることになる。一方で、非接触で被験者の心拍等のバイタル情報（いわゆる生体情報）を検出し、その検出されたバイタル情報を用いて被験者のストレスを定量的に導出する技術が知られている。ところが、バイタル情報と同様に周期性がありかつ一定幅内に収束される振幅を有するノイズ信号が存在する環境下でバイタル情報が検出される際、被験者が実際には存在していないにも拘わらずそのようなノイズ信号が存在するがために被験者のバイタル情報と誤って検出されることがあった。このため、被験者のストレスが誤って導出されることがあり、バイタル情報の検出精度を向上させる観点でより一層の改善が望まれている。

本開示は、上述した従来の状況に鑑みて案出され、非接触で検出される被験者のバイタル情報と同様な特性を有するノイズ信号が存在する環境下であっても、非接触で検出される被験者のバイタル情報の有効性の有無を適切に判別し、被験者のストレスの信頼性を的確に担保する生体情報モニタリング方法および生体情報モニタリングシステムを提供することを目的とする。

本開示は、被験者を画角内に捉えるカメラの撮像画像に基づいて、前記被験者の生体情報を非接触で抽出するステップと、抽出された前記生体情報に基づいて、前記生体情報に対応するストレス指数を算出するステップと、所定期間内に抽出された前記生体情報に基づいて、算出された前記ストレス指数の有効性の有無を判定するステップと、前記ストレス指数が有効であるとの判定結果に従って、算出された前記ストレス指数を出力するステップと、を有する、生体情報モニタリング方法を提供する。

また、本開示は、被験者を画角内に捉えるカメラと、前記カメラにより撮像された撮像画像に基づいて、前記被験者の生体情報を非接触で抽出する生体情報抽出部と、抽出された前記生体情報に基づいて、前記生体情報に対応するストレス指数を算出するストレス算出部と、所定期間内に抽出された前記生体情報に基づいて、算出された前記ストレス指数の有効性の有無を判定する有効性判定部と、前記ストレス指数が有効であるとの判定結果に従って、算出された前記ストレス指数を出力する出力部と、を備える、生体情報モニタリングシステムを提供する。

本開示によれば、非接触で検出される被験者のバイタル情報と同様な特性を有するノイズ信号が存在する環境下であっても、非接触で検出される被験者のバイタル情報の有効性の有無を適切に判別でき、被験者のストレスの信頼性を的確に担保できる。

実施の形態に係る生体情報モニタリングシステムの概要例を示す図 生体情報モニタリングシステムのハードウェア構成例を示すブロック図 ストレス推定手順の一例を示すフローチャート ストレス有効性判定手順の一例を示すフローチャート ストレス指数が記録されたログファイルの記録内容例を示すテーブル 信頼度比率の時間変化例を示すグラフ 複数の被験者のそれぞれの１日あたりのストレス指数を一覧表示するストレス指数一覧画面の一例を示す図 選択された被験者のストレス指数の１日あたりの時間変化を表すストレス指数遷移画面の一例を示す図 選択された被験者のストレス指数の１か月内の日単位の変化を表すストレス指数遷移画面の一例を示す図 アラート送信先のメールアドレス、ストレス指数の上限値および下限値を設定する設定画面の一例を示す図

以下、適宜図面を参照しながら、本開示に係る生体情報モニタリング方法および生体情報モニタリングシステムの構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

図１は、実施の形態に係る生体情報モニタリングシステム５の概要例を示す図である。生体情報モニタリングシステム５は、人体（例えば被験者ｈｍ）と接触せずに非接触で得られるカメラ２の撮像画像から人体の脈拍を推定し、その脈拍の変動を基にして人体のストレス指数を算出する。脈拍は、脈拍数あるいは脈波として捉えられる。生体情報モニタリングシステム５は、例えばオフィス１００に設置されるとして説明するが、設置箇所はオフィス１００に限定されなくてよい。オフィス１００には、被験者ｈｍが着座するイス１３０と、デスク１５０とが用意されている。例えばデスク１５０の上には、生体情報モニタリングシステム５を構成するカメラ２、脈拍推定装置３およびモニタ８が置かれる。なお、モニタ８は、脈拍推定装置３が備えるディスプレイ等の表示部２８により代用されても構わない。

被験者ｈｍは、例えばデスク１５０に載置されたカメラ２と向かい合うように、イス１３０に腰掛けた状態でストレスの検定を受ける。カメラ２は、被験者ｈｍの顔等を撮像して撮像画像を得る。脈拍推定装置３は、カメラ２で得られた撮像画像を基に、被験者ｈｍの脈拍を推定する。脈拍推定装置３は、ネットワークＮＷを介してクラウドサーバ４０と接続され、推定した脈拍の推定値および算出したストレス指数をともに含むストレス情報をクラウドサーバ４０に送信する。モニタ８は、クラウドサーバ４０で統計処理されたストレス情報の結果を表示する。

図２は、生体情報モニタリングシステム５のハードウェア構成例を示すブロック図である。生体情報モニタリングシステム５は、カメラ２と、脈拍推定装置３と、モニタ８と、クラウドサーバ４０と、を含む構成である。脈拍推定装置３は、ネットワークＮＷを介してクラウドサーバ４０と通信可能に接続され、例えばパーソナルコンピュータ（ＰＣ：Personal Computer）、タブレット端末、あるいはスマートフォン等の通信機器を用いて構成される。なお、脈拍推定装置３は、ネットワークＮＷを介することなく、通信ケーブルで直接にクラウドサーバ４０と通信可能に接続されてもよい。

カメラ２は、被写体である被験者ｈｍを撮像するための撮像部１１を含む。ここでは、撮像部１１が被験者ｈｍの体の一部、特に日常的に露出している顔を撮像する場合を示す。なお、撮像部１１は、被験者ｈｍの顔に限らず、例えば首、手のひら、腕、足等を撮像してもよい。撮像部１１は、ＣＣＤ（Charged-coupled device）あるいはＣＭＯＳ（Complementary metal-oxide-semiconductor）等の固体撮像素子（イメージセンサ）を有し、被写体からの光を結像し、結像した光学像を電気信号に変換して映像信号を出力する。撮像部１１から出力される映像信号は、脈拍推定装置３に入力される。なお、カメラ２の台数は、１台に限らず、複数台であってもよい。

脈拍推定装置３は、画像入力部２１と、領域抽出部２２と、脈波検出部２３と、脈拍推定部２４と、脈波記憶部２５と、脈波検定部２６と、出力判定部２７と、表示部２８と、ストレス推定部２９と、ストレス有効性判定部３０と、通信部３１とを含む構成である。

画像入力部２１と、領域抽出部２２と、脈波検出部２３と、脈拍推定部２４と、脈波記憶部２５と、脈波検定部２６と、出力判定部２７と、ストレス推定部２９と、ストレス有効性判定部３０とは、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）あるいはＦＰＧＡ（Field Programmable Gate Array）等のプロセッサが、脈拍推定装置３に内蔵されるメモリ（図示略）に予め格納された動作用のプログラムを読み込んで機能的に実現される。

また、メモリ（図示略）は、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）を用いて構成され、脈拍推定装置３の動作の実行に必要なプログラム、更には、動作中に生成されたデータあるいは情報を一時的に保存する。ＲＡＭは、例えばプロセッサ（上述参照）の動作時に使用されるワークメモリである。ＲＯＭは、例えばプロセッサ（上述参照）を制御するためのプログラムを予め記憶する。

画像入力部２１は、カメラ２の撮像部１１によって撮像される、被験者ｈｍの顔を含む時間的に連続した撮像画像（フレーム画像）のデータを、カメラ２からの映像信号として入力する。画像入力部２１は、例えば近距離無線通信、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）等の入力インターフェース回路で構成されてよい。また、カメラ２がＷｅｂカメラである場合、画像入力部２１は、Ｗｅｂカメラが接続されたＬＡＮ（Local Area Network）との間の通信インターフェース回路等で構成されてよい。

領域抽出部２２は、入力された撮像画像に含まれる被験者ｈｍの顔の肌色領域（ここでは、顔領域と称する）を抽出する。なお、領域抽出部２２によって抽出される肌色領域は、人体において肌が露出した領域であり、その領域の撮像画像データから脈拍を推定可能な領域である。

脈波検出部２３は、領域抽出部２２により抽出された被験者ｈｍの顔の肌色領域から得られる情報に基づき被験者ｈｍの脈波信号を検出する。

生体情報抽出部の一例としての脈拍推定部２４は、脈波検出部２３により検出された脈波信号に基づき被験者ｈｍの脈拍を推定する。

脈波記憶部２５は、例えば上述したメモリ（図示略）を用いて構成され、脈波検出部２３によって検出された脈波信号を記憶する。

脈波検定部２６は、脈波記憶部２５に記憶された脈波信号を検定する。

出力判定部２７は、脈波検定部２６での検定結果に基づき脈拍推定部２４での推定結果（脈拍）の出力の有無を判定する。

表示部２８は、公知のディスプレイを用いて構成され、脈拍推定部２４での推定結果（脈拍）を含む各種情報を、被験者ｈｍを含む脈拍推定装置３のユーザに表示する。

ストレス算出部の一例としてのストレス推定部２９は、脈拍推定部２４で推定された脈拍と、脈波検定部２６で検定された脈波信号の信頼度とを取得し、脈拍と脈波信号の信頼度とを基に、ストレス指数を算出する。

ストレス有効性判定部３０は、ストレス推定部２９により算出されたストレス指数を基に、ストレス指数の信頼度比率（後述参照）を計算する。有効性判定部の一例としてのストレス有効性判定部３０は、この信頼度比率を基に、ストレス有効性を判定するとともに、被験者ｈｍの在席／空席（言い換えると、存在／不在）を判定する。

通信部３１は、ネットワークＮＷに接続されたクラウドサーバ４０、および脈拍推定装置３に接続されたモニタ８との間で通信を行う。通信部３１は、ネットワークＮＷに接続可能なネットワークインターフェース、およびモニタ８に接続可能な近距離無線通信インターフェース等を有する。出力部の一例としての通信部３１は、脈拍、ストレス指数等を含むストレス情報をクラウドサーバ４０に送信する。通信部３１は、クラウドサーバ４０からモニタ８に表示される各種画面のデータを受信する。

モニタ８は、各種画面を表示可能なデバイスであり、液晶表示デバイス、有機ＥＬ（Electroluminescence）デバイス、あるいはその他の表示デバイスであってよい。

クラウドサーバ４０は、脈拍推定装置３から得られたストレス情報を基に、ストレス指数に関する各種の統計処理を行う。クラウドサーバ４０は、プロセッサ４１と、メモリ４２と、ストレージ４３と、通信部４４とを含む構成である。

プロセッサ４１は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）等のうちいずれかを用いて構成される。プロセッサ４１は、クラウドサーバ４０の動作を司るコントローラとして機能し、クラウドサーバ４０の各部の動作を全体的に統括するための制御処理、クラウドサーバ４０の各部との間のデータの入出力処理、データの演算（計算）処理およびデータの記憶処理を行う。プロセッサ４１は、メモリ４２に記憶されたプログラムに従って動作する。プロセッサ４１は、動作時にメモリ４２を使用し、プロセッサ４１により生成されたデータをメモリ４２に格納する。プロセッサ４１は、例えばメモリ４２に記憶された動作用のプログラムを実行することにより、アラート判定部４１２およびレポート作成部４１１の機能を実現する。

アラート判定部４１２は、脈拍推定装置３から得られた被験者ｈｍのストレス情報を基に、被験者ｈｍごとのアラート判定を行う。アラート判定は、例えば被験者ｈｍのストレス指数が既定の上限値あるいは被験者ｈｍごとに設定された上限値を超える場合に、所定の注意喚起（アラート）を行う（例えば、ストレス指数が上限値を超えた旨のメッセージをメール等で連絡する）ための判定である。

レポート作成部４１１は、脈拍推定装置３から得られた被験者ｈｍのストレス情報を基に、モニタ８に表示されるレポートとしての役割を有する各種の画面を作成する。なお、レポート作成部４１１は、レポートとしての各種の画面を作成する際に、アラート判定部４１２の判定結果を含めて作成しても構わない。

メモリ４２は、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）を用いて構成され、クラウドサーバ４０の動作の実行に必要なプログラム、更には、動作中に生成されたデータあるいは情報を一時的に保存する。ＲＡＭは、例えばプロセッサ４１の動作時に使用されるワークメモリである。ＲＯＭは、例えばプロセッサ４１を制御するためのプログラムを予め記憶する。

ストレージ４３は、例えばＨＤＤ（Hard Disk Drive）あるいはＳＳＤ（Solid State Drive）を用いて構成され、プロセッサ４１により作成された各種の画面と、プロセッサ４１により実行された各種の統計結果のデータとをそれぞれ保存する。

通信部４４は、ネットワークＮＷを介して脈拍推定装置３と通信可能に接続される。通信部４４は、脈拍推定装置３からストレス情報を受信する。通信部４４は、各種の表示画面の画面データを脈拍推定装置３に送信する。通信部４４は、ネットワークＮＷに接続可能なネットワークインターフェースを有する。

ネットワークＮＷは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、モバイルネットワーク、電力線通信ネットワーク、インターネット等の広域通信ネットワークでよい。

なお、ここでは、カメラ２と脈拍推定装置３は、別体の装置として構成されたが、同一の筐体に収容される単一の装置として構成されてもよい。カメラ２と脈拍推定装置３が単一の装置として構成される場合、例えば、カメラ２は脈拍推定装置３のディスプレイの上側中央に設置される。

次に、実施の形態１に係る脈拍推定装置３の各部をより詳細に説明する。

領域抽出部２２は、各撮像画像（フレーム画像）に対し、顔の特徴量を認識する公知の顔検出処理を実行し、検出された顔の領域を被験者ｈｍの肌色領域として抽出し、追尾する。顔領域を肌色領域として抽出することで、領域抽出部２２は、肌色領域を容易に抽出できる。なお、肌領域を抽出する方法は、上記方法に限らず、撮像画像から予め設定された肌色成分を有する画素を抽出し、その画素が抽出された領域を肌色領域としてもよい。肌色成分は、例えば、ＲＧＢ（Red Green Blue）の各画素値に基づく予め設定された比率を有し、個人差によって異なる値となる。この場合、顔以外の肌が露出した部分（例えば、手や腕など）についても、肌色領域として抽出可能である。また、図１では、被験者ｈｍが１人である場合を示しているが、撮像画像に複数の人物が含まれる場合、領域抽出部２２は、複数の人物を被験者として複数の顔領域を抽出してもよい。

脈波検出部２３は、時間的に連続する撮像画像において抽出された肌色領域を構成する各画素に関し、例えばＲＧＢの各成分の画素値（０〜２５５階調）を算出し、その代表値（ここでは、各画素の平均値）の時系列データを脈波信号として生成する。この場合、脈波検出部２３は、脈動による変動が特に大きい緑成分（Ｇ）のみの画素値に基づき時系列データを生成してもよいし、また、各画素の成分をＹ、Ｃｂ、Ｃｒとし、環境の明るさ変動の影響の少ない色差成分（Ｃｂ、Ｃｒ）から時系列データを生成してもよい。

生成された画素値（平均値）の時系列データは、例えば、血液中のヘモグロビン濃度の変化に基づく微少な変動（例えば、画素値の１階調未満の変動）を伴う。このため、脈波検出部２３は、その画素値に基づく時系列データに対し、フィルタ処理（例えば、所定の通過帯域が設定されたバンドパスフィルタによる処理等）を行い、高周波ノイズ成分や低周波の揺れ成分を除去した脈波を検出（抽出）する。

脈拍推定部２４は、脈波検出部２３で検出された脈波信号における互いに隣り合うピーク間の間隔、すなわち脈波の一拍分の周期の間隔（脈波間隔）を算出し、その脈波間隔に基づき脈拍数を推定する。脈波間隔は、心臓の拍動に起因するため、心電計における心拍間隔（ＲＲＩ）に相当すると見なすことができる。したがって、脈波間隔に基づき脈拍数を推定することが可能である。

例えば、脈拍推定部２４は、被験者ｈｍの顔画像の画像データの複数フレーム内における肌色部分の画素値の少なくとも１周期分の信号を基に、１周期に相当する時間（脈波間隔、ＰＷＩ：Pulse Wave Interval）を抽出し、この抽出したＰＷＩを基に、数式（１）にしたがって、被験者ｈｍの脈拍数（Pulse Rate）を算定してもよい。

なお、ここでは、被験者が１人である場合を想定したが、カメラ２で撮像される画像に複数の被験者が含まれる場合、個々の被験者が含まれる画像範囲を切り出し、各画像データを基に、各被験者の脈拍数を推定してもよい。また、脈拍推定部２４による脈拍の推定は、時系列的にリアルタイムで行ってもよいし、Ｍフレーム毎に行ってもよい。Ｍフレームは、例えば２〜３秒に相当するフレーム数である。本実施の形態では、脈拍の推定は、時系列的にリアルタイムで行われる。脈拍の推定をＭフレーム毎に行う場合、脈拍推定部２４は、脈波記憶部２５に記憶されたＭフレーム分の脈波信号を用いて、脈拍の推定を行ってよい。

脈波記憶部２５には、脈波検出部２３で検出された脈波信号が記憶される。具体的には、所定フレーム毎（すなわち所定期間毎）の脈波信号が記憶される。本実施の形態では、少なくともＭフレーム分の脈波信号が記憶される。

脈波検定部２６は、脈波記憶部２５に記憶されたＭフレーム分の脈波信号を検定する。具体的には、脈波信号の波形の特徴を抽出し、抽出された波形の特徴が予め定められた基準範囲に収まるか否かを判断する。なお、脈波信号を検定するタイミングは、Ｍフレーム毎のタイミングであってもよいし、脈拍推定部２４で脈拍が推定されたタイミングであってもよい。本実施の形態では、脈波信号の検定は、Ｍフレーム毎に行われる。脈波検定部２６は、脈波信号の波形の特徴に基づき、その波形の特徴が基準範囲に収まるか否かを判断する。基準範囲は、脈波信号の波形の振幅および間隔で規定される。

ここで、脈波検定部２６による検定には、様々な手法を用いることができる。以下、脈波検定部２６による検定手法の一例について説明する。

（ａ）波形の間隔Ｌの揺らぎの度合いに基づく検定
脈波検定部２６は、波形の上側部分での左右方向に互いに隣り合うピーク間の間隔、および波形の下側部分での左右方向に互いに隣り合うピーク間の間隔に基づき、統計学的手法を用いて、波形の間隔の揺らぎの度合いを評価値として算出する。具体的に、脈波検定部２６は、これらの間隔についての平均偏差、分散、標準偏差などの統計値を算出し、その統計値を間隔の揺らぎの評価値（波長評価値）とする。この波長評価値が波形の特徴となる。脈波検定部２６は、算出された波長評価値を予め定められた評価閾値と比較し、波形の特徴である波長評価値が予め定められた基準範囲に収まるか否かを判断する。評価閾値は、実験やシミュレーションなどにより事前に求めておく。

（ｂ）波形の振幅Ａの揺らぎの度合いに基づく検定
脈波検定部２６は、波形の上下方向に互いに隣り合うピークとボトム間の振幅に基づき、統計学的手法を用いて、波形の振幅の揺らぎの度合いを評価値として算出する。具体的に、脈波検定部２６は、上記波形の間隔の場合と同様、振幅についての平均偏差、分散、標準偏差などの統計値を算出し、その統計値を振幅の揺らぎの評価値（振幅評価値）とする。この振幅評価値が波形の特徴となる。脈波検定部２６は、算出された振幅評価値を予め定められた評価閾値と比較し、波形の特徴である振幅評価値が予め定められた基準範囲に収まるか否かを判断する。評価閾値は、実験やシミュレーションなどにより事前に求めておく。

（ｃ）波形の間隔の揺らぎの度合いと波形の振幅の揺らぎの度合いとに基づく検定
波形の特徴として、波形の間隔の波長評価値と、波形の振幅の振幅評価値との両方を用いることもできる。具体的に、脈波検定部２６は、波長評価値と振幅評価値とを合成して算出した評価値（合成評価値）を波形の特徴として用いる。合成評価値は、式（２）を用いて算出される。ｗ１、ｗ２は重み係数である。

脈波検定部２６は、上記波形の間隔や振幅の場合と同様、算出された合成評価値を予め定められた評価閾値と比較し、波形の特徴である合成評価値が予め定められた基準範囲に収まるか否かを判断する。評価閾値は、実験やシミュレーションなどにより事前に求めておく。

脈拍推定装置３は、上記（ａ），（ｂ），（ｃ）のいずれかの検定によって得られる波長評価値、振幅評価値または合成評価値を、以後、脈波信号の信頼度として用いる。

ストレス推定部２９およびストレス有効性判定部３０の詳細については、生体情報モニタリングシステム５の動作において説明する。

次に、実施の形態１に係る生体情報モニタリングシステム５の動作を示す。

図３は、ストレス推定手順の一例を示すフローチャートである。図３に示すストレス推定手順の各処理は、例えば脈拍推定装置３のストレス推定部２９により実行される。

図３において、ストレス推定部２９は、脈拍推定部２４で推定された脈拍、および脈波検定部２６で検定された脈波信号の信頼度をそれぞれ取得する（Ｓ１）。ストレス推定部２９は、取得した脈波信号の信頼度が所定の閾値Ｔｈ０を超えるか否かを判別する（Ｓ２）。閾値Ｔｈ０は、例えば高周波ノイズ成分や低周波の揺れ成分によることなく、脈波信号であると判定するための値である。脈波信号の信頼度が閾値Ｔｈ０を超えない場合（Ｓ２、ＮＯ）、ストレス推定部２９の処理はステップＳ１に戻る。

一方、脈波信号の信頼度が閾値Ｔｈ０を超える場合（Ｓ２、ＹＥＳ）、ストレス推定部２９は、ストレス指数を算出する（Ｓ３）。ストレス指数は、脈波間隔、つまり心臓の拍動に起因する心拍間隔（ＲＲＩ）を基に、心拍変動の時系列データとして得られる。心拍変動に基づくストレス指数として、例えば交感神経と副交感神経の全体のバランスを表すＬＦ／ＨＦが挙げられる。ＬＦ（低周波）は、心拍変動の時系列データの０．００４〜０．１５Ｈｚの低周波を表し、メイヤー波と呼ばれる約１０秒周期の血圧変化を信号源とする変動波である。ＨＦ（高周波）は、０．１５〜０．４Ｈｚの高周波数を表し、３秒から４秒程度の周期を持つ呼吸を信号源とする変動波である。ストレス指数であるＬＦ／ＨＦが高い場合、被験者ｈｍは、交感神経が優位の状態にあり、リラックスしている状態よりも相対的にストレスが高い状態にあたる。一方、ストレス指数であるＬＦ／ＨＦが低い場合、被験者ｈｍは、副交感神経が優位の状態にあり、ストレスが高い状態よりも相対的にリラックスしている状態にあたる。なお、本実施の形態において、ストレス指数はＬＦ／ＨＦに限定されずの他の指数を用いても良い。

図４は、ストレス有効性判定手順の一例を示すフローチャートである。図４に示すストレス有効性判定手順の各処理は、例えば脈拍推定装置３のストレス有効性判定部３０により実行される。

図４において、ストレス有効性判定部３０は、図３に示す処理の結果得られたストレス指数を取得する（Ｓ１１）。ストレス有効性判定部３０は、所定期間（例えば５分）に亘って取得されたストレス指数を基に、信頼度比率を計算する（Ｓ１２）。信頼度比率は、所定期間（例えば５分）において得られた脈波信号の信頼度が閾値Ｔｈ０以上となる脈拍数（つまり生体情報の数）と同一の所定期間（例えば５分）内に抽出された脈拍数の総数との比率である。

ストレス有効性判定部３０は、信頼度比率が閾値Ｔｈ１未満であるか否かを判別する（Ｓ１３）。閾値Ｔｈ１は、ストレス指数の有効性の有無を判定するための値である。ここで、閾値Ｔｈ１は、あらかじめ決められた固定値に設定されてよい。また、閾値Ｔｈ１は、被験者ごとに異なる値に設定されてもよい。この場合、権限を有する管理者が被験者ごとに閾値Ｔｈ１を設定してもよいし、被験者が自身の閾値Ｔｈ１を設定してもよい。また、閾値Ｔｈ１は、測定環境に合わせて適応的に設定されてもよい。例えば、ノイズの多い環境下では、閾値Ｔｈ１は、大きな値に設定されてよい。ノイズ量は、周波数領域における心拍数が含まれる帯域（例えば、０．５〜２Ｈｚ）のピーク値とそれ以外の帯域の平均値との比率で表される。具体的に、ストレス有効性判定部３０は、カメラ２の画角内の環境のノイズを測定し、測定されたノイズに応じて、閾値Ｔｈ１を既定値より高くあるいは低く変更して設定してもよい。

信頼度比率が閾値Ｔｈ１未満である場合（Ｓ１３、ＹＥＳ）、ストレス有効性判定部３０は、ストレス指数を値０に初期化する（Ｓ１４）。一方、信頼度比率が閾値Ｔｈ１以上である場合（Ｓ１３、ＮＯ）、ストレス有効性判定部３０は、ストレス指数によるストレス有効性の判定結果として、ストレス指数が有効であると判定する（Ｓ１５）。通信部３１は、ステップＳ１４またはステップＳ１５で得られたストレス指数を含むストレス情報をクラウドサーバ４０に送信する（Ｓ１６）。この後、ストレス有効性判定部３０は図４に示す処理を終了する。

また、ステップＳ１４では、ストレス有効性判定部３０は、計算した信頼度比率が閾値Ｔｈ２未満である場合、被験者が不在（空席）であると判定し、信頼度比率を強制的に値０にしてもよい。閾値Ｔｈ２は、被験者の在席／空席を判定するための値である。閾値Ｔｈ２は、０（％）より大きく１００（％）未満の任意の値に設定されてよく、例えば１０％に設定される。通常、閾値Ｔｈ２は、ストレス有効性を判定するための閾値Ｔｈ１より小さな値に設定される。なお、信頼度比率が値０でない場合、ストレス有効性判定部３０は、被験者が在席であると判定する。したがって、ストレス有効性判定部３０は、被験者の不在期間に、信頼度比率が閾値Ｔｈ２未満の非０値になることで、被験者が在席状態であると誤判定することを防止できる。

なお、上述の説明において、信頼度比率と閾値Ｔｈ１との比較によって算出したストレス指数の有効性について判定する点を記載したが、脈波信号の信頼度が閾値Ｔｈ０以上となる脈拍数（つまり生体情報の数）が所定の閾値を超えるか否かでストレス指数の有効性について判定してもよい。

図５は、ストレス指数が記録されたログファイルｆｇ１の記録内容例を示すテーブルである。脈拍推定装置３のプロセッサ（上述参照）は、ストレス推定部２９によってストレス指数が推定されると、ログファイルｆｇ１を生成して脈拍推定装置３に内蔵されるメモリ（図示略）に追加して保存する。ログファイルｆｇ１には、被験者ごとのユーザＩＤ、検定日時、ＬＦ／ＨＦ、信頼性、および付加情報を含むレコードが時系列に記録されている。例えば、１行目のレコードは、ユーザＩＤ：００１１，検定日時：２０１９／１／２５，ＬＦ／ＨＦ：３，信頼性：２，付加情報：ＰＣ−２０１８０を含む。ユーザＩＤは、例えば被験者ｈｍの社員ＩＤである。検定日時は、被験者ｈｍのストレス指数が算出された日時（言い換えると、被験者ｈｍの脈拍が検定された日時）である。ＬＨ／ＨＦは、ストレス指数を示すパラメータの一例である。信頼性は、ストレス指数（例えばＬＨ／ＨＦ）を算出するための元になる脈波信号の信頼度であり、脈拍推定装置３の脈波検定部２６により算出された波長評価値、振幅評価値または合成評価値のいずれかに相当する脈波信号の信頼度である。付加情報は、例えば使用された脈拍推定装置３の機種番号である。なお、ログファイルｆｇ１は、通信部３１がクラウドサーバ４０にストレス情報を送信し、クラウドサーバ４０がストレージ４３に記憶することで管理されてもよい。

図６は、信頼度比率の時間変化例を示すグラフである。図６に示すグラフの縦軸は、ストレス有効性判定部３０によって計算される信頼度比率（％）を表す。図６に示すグラフの横軸は、時間を表す。また、図６には、グラフの時間軸に対応し、被験者のデスク１５０の前にいる在席の状態あるいはデスク１５０の前にいない空席の状態を表すバーインジケータｓｃ１が対応付けて示されている。例えばオフィスのコアタイムに対応する時間帯１０：３０〜１７：３０において、信頼度比率の折れ線グラフｇｈ１が示される。時間帯１２：３０〜１２：５０では、信頼度比率の折れ線グラフｇｈ１は値０であり、被験者が不在であることが示される。同様に、時間帯１３：２０〜１４：２５、時間帯１５：００〜１５：１５においても、信頼度比率の折れ線グラフｇｈ１は値０であり、被験者が不在であることが示される。ここでは、在席／空席を判定するための閾値Ｔｈ２は、例えば１０％に設定されている。また、時間帯１１：３０〜１６：００において、被験者が在席している場合、信頼度比率の折れ線グラフｇｈ１は、およそ６０〜９０％の範囲で高い値を示している。

なお、折れ線グラフｇｈ１は１７：００以降に一時的に閾値Ｔｈ２を下回る時間帯が存在するが、閾値Ｔｈ２を下回った時間が短期間なので（すなわち、所定の閾値以下なので）、ここでは、バーインジケータｓｃ１を不在と表示していない。

図７は、複数の被験者のそれぞれの１日あたりのストレス指数を一覧表示するストレス指数一覧画面ＧＭ１の一例を示す図である。ストレス指数一覧画面ＧＭ１は、レポート作成部４１１によって作成され、モニタ８に表示されてもよいし、あるいは脈拍推定装置３の表示部２８に表示されてもよい。ストレス指数一覧画面ＧＭ１には、例えば企業内の組織の部署単位に、ユーザ名（つまり社員名）と、在席の有無を示すステータスと、現在のストレス指数と、１日の就業時間帯でのストレス指数のヒートマップとが対応付けて表示される。例えば、ユーザ名：ｂさん、ステータス：在席、現在のストレス指数：２０、ストレス指数のヒートマップ：７：００〜現時点（１６：３０）までのストレス指数のヒートマップが示される。また、カーソルＫｓで指示された位置におけるストレス指数（図７では、例えば「８０」）が表示される。

なお、図７のストレス指数は、ストレス推定部２９により算出されたＬＦ／ＨＦの値（例えば取り得る値０〜５）に基づいて、レポート作成部４１１により、被験者が直感的に理解し易い値０〜１００に換算された値である。例えば、ＬＦ／ＨＦの値が高ければ高い程、換算後の値も高くなるように算出される。例えば、ＬＦ／ＨＦの値が最大値５である場合にはストレス指数は１００となり、ＬＦ／ＨＦの値が最小値０である場合にはストレス指数は０となる。なお、上述した換算は、ストレス推定部２９によって行われてもよい。

また、ユーザ名：ａさんは、ステータス：通信断となっており、例えば脈拍推定装置３の電源が入っていないと考えらえる。つまり、ユーザ名：ａさんはこの日（つまり、２０１８年２月２０日）は休日あるいは外出等でオフィスに不在と考えられる。

図８は、選択された被験者のストレス指数の１日あたりの時間変化を表すストレス指数遷移画面ＧＭ２の一例を示す図である。ストレス指数遷移画面ＧＭ２は、レポート作成部４１１によって作成され、モニタ８に表示されてもよいし、あるいは脈拍推定装置３の表示部２８に表示されてもよい。ストレス指数遷移画面ＧＭ２には、被験者（例えば○○課のユーザ名：ｊさん）の１日あたりのストレス指数の時間変化を示す折れ線グラフｇｈ２が表示される。グラフの縦軸はストレス指数（上述した値０〜１００に換算された値）を表し、横軸は時間を表す。ストレス指数の折れ線グラフｇｈ２では、例えば１日の就業時間帯９：００〜２０：００の範囲でストレス指数が上限値ＵＬ１および下限値ＤＬ１の間にほぼ収まっていることが示される。したがって、この被験者（ユーザ名：ｊさん）は、ストレスをあまり感じていないと推定される。これら上限値ＵＬ１および下限値ＤＬ１は、被験者に拘わらず一律固定値であってもよいし、例えば組織的な業務の違い等に考慮して組織ごとあるいは個人ごとに異なる値であってもよい。

また、ストレス指数遷移画面ＧＭ２には、被験者を選択するための部署およびユーザ名がそれぞれプルダウンメニューｍ１，ｍ２で選択可能である。また、ストレス指数を検定した日付がプルダウンメニューｍ３で選択可能である。

図９は、選択された被験者のストレス指数の１か月内の日単位の変化を表すストレス指数遷移画面ＧＭ３の一例を示す図である。ストレス指数遷移画面ＧＭ３は、レポート作成部４１１によって作成され、モニタ８に表示されてもよいし、あるいは脈拍推定装置３の表示部２８に表示されてもよい。ストレス指数遷移画面ＧＭ３には、一定期間（例えば１か月）における被験者（例えば○○課のユーザ名：ｊさん）のストレス指数（上述した値０〜１００に換算された値）の平均値を示す折れ線グラフｇｈ３、ストレス指数（上述した値０〜１００に換算された値）が下限値ＤＬ１を超える時間を示す棒グラフｇｈ４、およびストレス指数（上述した値０〜１００に換算された値）が上限値ＵＬ１を超える時間を示す棒グラフｇｈ５が表示される。グラフの左側の縦軸はストレス指数（上述した値０〜１００に換算された値）を表し、右側の縦軸はストレス指数（上述した値０〜１００に換算された値）が閾値（上限値ＵＬ１または下限値ＤＬ１）を超える時間を表す。グラフの横軸は日付を表す。

また、ストレス指数遷移画面ＧＭ３には、ストレス指数遷移画面ＧＭ２と同様、被験者を選択するための部署およびユーザ名がそれぞれプルダウンメニューｍ１，ｍ２で選択可能である。また、ストレス指数を検定した月がプルダウンメニューｍ３で選択可能である。

図１０は、アラート送信先のメールアドレス、ストレス指数の上限値および下限値を設定する設定画面ＧＭ４の一例を示す図である。設定画面ＧＭ４は、レポート作成部４１１によって作成され、モニタ８に表示されてもよいし、あるいは脈拍推定装置３の表示部２８に表示されてもよい。設定画面ＧＭ４には、ユーザ（言い換えると、被験者）ごとに、ユーザＩＤ，所属，表示名，アラート閾値の下限値および上限値を設定するテーブルＴｂ１、およびアラート送信先のメールアドレスが表示される。ここで、アラートとは、例えばストレス指数（例えば上述した値０〜１００に換算された値）が上限値を超えた旨を指摘するためのメッセージである。例えば、テーブルＴｂ１には、ユーザ名：ｕｓｅｒ１，所属：〇〇課，表示名：ａさん，アラート閾値（下限値）：１５，アラート閾値（上限値）：８５が登録される。また、アラート送信先のメールアドレス：ＯＯＯ＠jp.△△△.comが設定され、例えばそれぞれの組織における管理職以上の要職に相当する人物のメールアドレスが設定される。

以上により、実施の形態１に係る生体情報モニタリングシステム５あるいは生体情報モニタリング方法では、脈拍推定部２４は、被験者を画角内に捉えるカメラ２の撮像画像に基づいて、被験者ｈｍの脈拍を推定する（つまり、生体情報を非接触で抽出する）。ストレス推定部２９は、脈拍推定部２４で推定された脈拍を基に、ストレス指数を算出する。ストレス有効性判定部３０は、所定期間（例えば５分）内に推定された脈拍に基づいて、算出されたストレス指数の有効性の有無を判定する。通信部３１は、ストレス指数が有効であるとの判定結果に従って、算出されたストレス指数を含むストレス情報をクラウドサーバ４０に送信する（つまり、出力する）。

これにより、非接触で検出される被験者のバイタル情報と同様な特性を有するノイズ信号が存在する環境下であっても、生体情報モニタリングシステム５あるいは生体情報モニタリング方法によれば、非接触で検出される被験者のバイタル情報の有効性の有無を適切に判別できる。したがって、生体情報モニタリングシステム５あるいは生体情報モニタリング方法によれば、被験者のストレスの信頼性を的確に担保することができる。

また、生体情報モニタリング方法では、脈波検定部２６は、脈波信号の信頼度（第１パラメータの一例）を算出する。ストレス推定部２９は、このストレス指数の算出において、算出された脈波信号の信頼度が閾値Ｔｈ０（所定の第１閾値の一例）以上である場合に、ストレス指数を算出する。これにより、生体情報モニタリングシステム５あるいは生体情報モニタリング方法によれば、脈波信号の信頼度が高い場合に、脈拍を推定することができ、算出されるストレス指数の精度を高めることができる。

また、生体情報モニタリング方法では、ストレス有効性判定部３０は、ストレス指数の有効性の判定において、脈波信号の信頼度が閾値Ｔｈ０以上となる脈拍数（生体情報の数の一例）と所定期間内に抽出された脈拍数との比率を示す信頼度比率（第２パラメータの一例）とを算出する。ストレス有効性判定部３０は、信頼度比率が閾値Ｔｈ１（所定の第２閾値の一例）以上である場合に、算出されたストレス指数が有効であると判定する。これにより、生体情報モニタリングシステム５あるいは生体情報モニタリング方法によれば、バイタル情報と同様な特性を有するノイズ信号が存在する環境下でも、ストレス指数を正確に算出できる。したがって、生体情報モニタリングシステム５あるいは生体情報モニタリング方法によれば、被験者が不在であるにもかかわらず、存在するとして、ストレス指数が算出されることを抑制できる。

また、生体情報モニタリング方法では、閾値Ｔｈ１は、被験者ごとに異なる値である。これにより、生体情報モニタリングシステム５あるいは生体情報モニタリング方法によれば、被験者の適性に合わせて、より正確なストレス指数を算出できる。

また、生体情報モニタリング方法では、ストレス有効性判定部３０は、カメラ２の画角内の環境のノイズを測定し、測定されたノイズに応じて、閾値Ｔｈ１を既定値より高くあるいは低く変更して設定する。これにより、ストレス有効性判定部３０は、測定環境に合わせて閾値Ｔｈ１を適応的に設定できる。

また、生体情報モニタリング方法では、クラウドサーバ４０のレポート作成部４１１は、出力された一定期間分のストレス指数に基づいて所定の統計処理が施された結果を含む画面（例えばストレス指数遷移画面ＧＭ３）を生成する。モニタ８は、生成された画面を表示する。これにより、被験者等のユーザは、視覚的にストレスの有無を確認でき、ストレス指数の多寡に応じて対応することができる。

また、生体情報モニタリング方法では、ストレス有効性判定部３０は、ストレス指数の有効性の判定において、信頼度比率が閾値Ｔｈ２（所定の第３閾値の一例）未満である場合、信頼度比率を強制的に値０にし、被験者が不在であると判定する。これにより、生体情報モニタリングシステム５は、被験者が空席であるにもかかわらず、在席していると誤判定することを抑制できる。

また、生体情報モニタリング方法では、クラウドサーバ４０のレポート作成部４１１は、被験者ごとのストレス指数を含むストレス指数一覧画面ＧＭ１を生成する。これにより、被験者等のユーザは、多くの被験者のストレスの度合いを一覧で視覚的に把握できる。

また、生体情報モニタリング方法では、クラウドサーバ４０のレポート作成部４１１は、ストレス指数の時間変化の特性を含むストレス指数遷移画面ＧＭ２を生成する。これにより、被験者等のユーザは、ストレス指数の変動を時間の経過とともに確認できる。

また、生体情報モニタリング方法では、クラウドサーバ４０のレポート作成部４１１は、ストレス指数の上限値、およびストレス指数が上限値を超える場合に通知される被験者の通知先であるメールアドレスを含む設定画面ＧＭ４を生成する。これにより、生体情報モニタリングシステム５は、ストレス指数が上限を超える頻度が高い場合、被験者等のユーザに注意喚起を行うことができる。

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

例えば、上記実施の形態において、脈拍推定装置３に含まれる、脈拍推定部２４、脈波記憶部２５、脈波検定部２６、出力判定部２７、表示部２８、ストレス推定部２９、ストレス有効性判定部３０および通信部３１は、脈拍推定装置３から省かれて、クラウドサーバ４０に含まれてもよい。この場合、クラウドサーバ４０は、上記各部（つまり、脈拍推定部２４、脈波記憶部２５、脈波検定部２６、出力判定部２７、表示部２８、ストレス推定部２９、ストレス有効性判定部３０および通信部３１）の動作を実行する。

上記実施の形態では、ストレス有効性を判定するための閾値Ｔｈ１と、被験者の在席／空席を判定するための閾値Ｔｈ２とは、異なる値であったが、同じ値であってもよい。

本開示は、非接触で検出される被験者のバイタル情報と同様な特性を有するノイズ信号が存在する環境下であっても、非接触で検出される被験者のバイタル情報の有効性の有無を適切に判別し、被験者のストレスの信頼性を的確に担保する生体情報モニタリング方法および生体情報モニタリングシステムとして有用である。

２ カメラ
３ 脈拍推定装置
５ 生体情報モニタリングシステム
１１ 撮像部
２１ 画像入力部
２２ 領域抽出部
２３ 脈波検出部
２４ 脈拍推定部
２５ 脈波記憶部
２６ 脈波検定部
２７ 出力判定部
２８ 表示部
２９ ストレス推定部
３０ ストレス有効性判定部
３１ 通信部
４０ クラウドサーバ
４１ プロセッサ
４１１ レポート作成部
４１２ アラート判定部
４２ メモリ
４３ ストレージ

Claims (11)

1. 被験者を画角内に捉えるカメラの撮像画像に基づいて、前記被験者の生体情報を非接触で抽出するステップと、
   抽出された前記生体情報に基づいて、前記生体情報に対応するストレス指数を算出するステップと、
   所定期間内に抽出された前記生体情報に基づいて、算出された前記ストレス指数の有効性の有無を判定するステップと、
   前記ストレス指数が有効であるとの判定結果に従って、算出された前記ストレス指数を出力するステップと、を有する、
   生体情報モニタリング方法。
2. 非接触で抽出された前記被験者の生体情報の信頼度を示す第１パラメータを算出するステップ、を更に有し、
   前記ストレス指数の算出において、
   算出された前記第１パラメータが所定の第１閾値以上である場合に、前記生体情報に対応するストレス指数を算出する、
   請求項１に記載の生体情報モニタリング方法。
3. 前記有効性の有無の判定において、
   前記第１パラメータが前記第１閾値以上となる前記生体情報の数と前記所定期間内に抽出された前記生体情報の数との比率を示す第２パラメータを算出し、
   前記第２パラメータが所定の第２閾値以上である場合に、算出された前記ストレス指数が有効であると判定する、
   請求項２に記載の生体情報モニタリング方法。
4. 前記第２閾値は、前記被験者ごとに異なる値である、
   請求項３に記載の生体情報モニタリング方法。
5. 前記カメラの画角内の環境のノイズを測定するステップと、
   測定された前記ノイズに応じて、前記第２閾値を既定値より高くあるいは低く変更して設定するステップと、を更に有する、
   請求項３に記載の生体情報モニタリング方法。
6. 出力された一定期間分の前記ストレス指数に基づいて所定の統計処理が施された結果を含む画面を生成するステップと、
   生成された前記画面を表示するステップと、を更に有する、
   請求項１に記載の生体情報モニタリング方法。
7. 前記有効性の有無の判定において、
   前記第２パラメータが所定の第３閾値未満である場合、前記被験者が不在であると判定する、
   請求項３に記載の生体情報モニタリング方法。
8. 前記画面は、前記被験者ごとの前記ストレス指数を含む、
   請求項６に記載の生体情報モニタリング方法。
9. 前記画面は、前記ストレス指数の時間変化の特性を含む、
   請求項６に記載の生体情報モニタリング方法。
10. 前記画面の生成において、
    前記ストレス指数の上限値と、前記ストレス指数が前記上限値を超える場合に前記ストレス指数が前記上限値を超えた旨のメッセージが通知される前記被験者の連絡先とを設定するための設定画面を生成する、
    請求項６に記載の生体情報モニタリング方法。
11. 被験者を画角内に捉えるカメラと、
    前記カメラにより撮像された撮像画像に基づいて、前記被験者の生体情報を非接触で抽出する生体情報抽出部と、
    抽出された前記生体情報に基づいて、前記生体情報に対応するストレス指数を算出するストレス算出部と、
    所定期間内に抽出された前記生体情報に基づいて、算出された前記ストレス指数の有効性の有無を判定する有効性判定部と、
    前記ストレス指数が有効であるとの判定結果に従って、算出された前記ストレス指数を出力する出力部と、を備える、
    生体情報モニタリングシステム。

Images