JP2021132726A - 生体情報処理装置、および、生体情報処理方法 - Google Patents

Abstract

【課題】ユーザが動く速度を抑制して、高精度にユーザの生体情報を得る。【解決手段】生体情報処理装置は、所定の表示形式である所定情報を表示部に表示させるための指示信号を生成する表示指示部と、前記表示指示部が前記指示信号を生成すると、センサ部によって取得されたユーザの生体の状態変化を示すセンサ情報に基づいて前記ユーザの生体情報を測定する生体情報測定部と、前記生体情報測定部が前記生体情報を測定している期間における、前記センサ部と前記ユーザとの相対速度を演算する相対速度演算部と、前記相対速度演算部が演算した前記相対速度が、所定の範囲内であるか否かを判定する判定部と、を備える。【選択図】図２

Description

本開示の一態様は、生体情報処理装置、および、生体情報処理方法に関する。

特許文献１には、被験者をカメラで撮影したカメラ画像から、当該被験者の脈拍数を計測する計測装置が開示されている。

特開２０１７‐９３７６０号公報

特許文献１の計測装置によると、被験者が顔などを速く動かしてしまうなど、被験者が、当該被験者を撮影しているカメラに対して、相対速度が速くなるように移動してしまう場合がある。この場合、被験者をカメラで撮影して得られたカメラ画像から計測される脈拍数の精度が低くなってしまう。本開示の一態様は、ユーザが動く速度を抑制することで、高精度にユーザの生体情報を得ることを目的とする。

本開示の一態様に係る生体情報処理装置は、所定の表示形式である所定情報を表示部に表示させるための指示信号を生成する表示指示部と、前記表示指示部が前記指示信号を生成すると、センサ部によって取得されたユーザの生体の状態変化を示すセンサ情報に基づいて前記ユーザの生体情報を測定する生体情報測定部と、前記生体情報測定部が前記生体情報を測定している期間における、前記センサ部と前記ユーザとの相対速度を演算する相対速度演算部と、前記相対速度演算部が演算した前記相対速度が、所定の範囲内であるか否かを判定する判定部と、を備える。

本開示の一態様に係る生体情報処理方法は、所定の表示形式である所定情報を表示部に表示させるための指示信号を生成するステップと、前記指示信号が生成されると、センサ部によって取得されたユーザの生体の状態変化を示すセンサ情報に基づいて前記ユーザの生体情報を測定するステップと、前記生体情報を測定している期間における、前記センサ部と前記ユーザとの相対速度を演算するステップと、前記相対速度が、所定の範囲内であるか否かを判定するステップとを含む。

実施形態１に係る携帯端末の正面図である。 実施形態１に係る生体情報処理システムの機能ブロック図である。 実施形態１に係る携帯端末の表示指示部が表示部に表示させる、健康管理アプリケーションの表示画像を表す図である。 実施形態１の撮影部が撮影した動画における、ユーザが動く直前の動画の一例を表す図である。 実施形態１の撮影部が撮影した動画における、ユーザが動いた後の動画の一例を表す図である。 実施形態１の撮影部が撮影した動画に基づいて生体情報測定部が測定した脈波の波形の一例を示す図である。 実施形態１の変動量監視部が監視する生体情報の変動の様子を表す図である。 実施形態１に係る携帯端末の制御部の動作の一例を表すフローチャートである。 実施形態２に係る携帯端末を含む生体情報処理システムの機能ブロック図である。 実施形態２に係る携帯端末の制御部の動作の一例を表すフローチャートである。

以下、本開示の実施形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。

〔実施形態１〕

図１は、実施形態１に係る携帯端末１の正面図である。すなわち、図１では、携帯端末１を平面視した様子を表している。携帯端末１は、人の生体情報を非接触で測定する生体情報処理装置の一例である。

生体情報とは、人の体表から測定可能な生体に関する各種情報であり、例えば、脈波、血圧値、脈拍数、ストレスレベル、心拍数、および、血管の健康状態を示す情報などを挙げることができる。携帯端末１は、例えば、ユーザ（人）の体表が映った動画などの体表の状態変化を示す情報（センサ情報）に基づき、生体情報として、血圧値、脈拍数、および、心拍数の少なくとも１つを含む情報を得る。

体表の状態変化を示す情報の一例は、体表が映った動画である。体表が映った動画は、フレーム毎にユーザの血液の流れに基づく体表の色の変化が、体表の状態変化として示されている。なお、以下では、体表の状態変化を示す情報（センサ情報）を、一例として主に体表が映った動画であるものとして説明するが、体表の状態変化を示す情報（センサ情報）は、例えば、ドップラーセンサなどにより得られるユーザの心拍に基づく体動を示す情報などであってもよく、体表が映った動画に限定されない。

本実施形態では、例えば、携帯端末１は、ユーザから、特定のアプリケーション（ソフトウェア）を起動させる旨の指示を受けると、当該特定のアプリケーションを起動させることで、後述する、所定の表示形式である所定情報を含む動画および静止画等の画像を表示する。また、例えば、携帯端末１は、当該特定のアプリケーションを起動させると、併せて、ユーザの生体情報の測定を開始する。

特定のアプリケーションとは、例えば、ユーザが興味を持つ内容の情報を含むアプリケーションである。ユーザが興味を持つ内容の情報とは、例えば、ユーザの日々の生体情報の変化を管理するための情報、および、日々のニュースに関する情報などを挙げることができる。

このように、携帯端末１は、ユーザの生体情報を測定する際に、所定の表示形式である所定情報を含む動画および静止画等の画像を表示することで、携帯端末１とユーザとの相対速度を抑える。これにより、ユーザの生体情報の測定精度を向上させることができる。なお、詳細な説明は後述する。

携帯端末１は、本実施形態では、スマートフォンであるものとして説明する。携帯端末１は、人が携帯して持ち運ぶことが可能な程度の大きさおよび重量を有している。携帯端末１は、例えば、片手で把持できる程度の大きさである。なお、携帯端末１は、スマートフォンに限らず、例えば、タブレット、ノートパソコンなどであってもよい。

携帯端末１は、例えば、筐体２と、表示部３と、入力部４と、撮影部（センサ部）５と、スピーカ（音出力部）６と、マイク７と、を備えている。本実施形態では、表示部３、入力部４、撮影部５、スピーカ６、および、マイク７は、例えば、同一の筐体２に設けられている。

表示部３は、動画および静止画等の画像を表示するためのディスプレイである。表示部３は、動画および静止画等の画像を表示するための領域である表示領域を有する。表示部３は、液晶ディスプレイ、有機ＥＬ（electro-luminescence）ディスプレイ等、動画および静止画等の画像を表示可能なディスプレイであればよい。

入力部４は、ユーザからの指示である入力を受け付け、当該受け付けた入力に基づく入力信号を生成する入力デバイスである。入力部４は、例えば、透明なタッチセンサであり、表示部３の表示領域と重なるように設けられている。すなわち、例えば、表示部３と入力部４とが一体となり、タッチパネルを構成している。そして、例えば、ユーザの指またはペン等の接触を検出し、検出した位置に応じた入力信号を生成する。なお、入力部４は、タッチセンサに限定されず、例えば、ユーザにより押下されることでユーザからの入力を受け付ける機械的なスイッチなどであってもよい。

撮影部５は、ユーザの生体の状態変化を示す情報（センサ情報）を非接触で取得するセンサ部の一例である。撮影部５は、動画および静止画等の画像を撮影するためのカメラ（撮影デバイス）である。撮影部５は、所定のフレームレート（例えば、１０〜３００ｆｐｓ（frame per second））で動画を撮影することによりセンサ情報を得る。例えば、撮影部５は、ユーザの生体情報を測定するためにユーザの体表の動画を撮影する。また、例えば、撮影部５は、携帯端末１とユーザとの相対速度を測定するためにも、ユーザの体表の動画を撮影する。

なお、本開示に係るセンサ部は、動画を撮影する撮影部５に限定されず、例えば、マイクロ波レーダーまたはミリ波レーダーなどのドップラーセンサなど、ユーザの生体の状態変化を示す情報（センサ情報）を非接触で取得できる各種センサであってもよい。例えば、ドップラーセンサを用いても、例えばユーザの心拍に基づくユーザの体動の変化を示すセンサ情報など、ユーザの生体の状態変化を示すセンサ情報を取得することができる。

また、本開示に係るセンサ部は、撮影部５およびドップラーセンサなど、複数のセンサを組み合わせた構成であってもよく、当該複数のセンサを組み合わせた構成によって、センサ情報を得てもよい。

本開示に係るセンサ部は、ユーザの生体情報を測定するためにセンサ情報を得る。また、例えば、本開示に係るセンサ部は、携帯端末１とユーザとの相対速度を測定するためにも、センサ情報を得る。

スピーカ６は、音信号に基づいて音を発生させる音出力デバイスである。マイク７は、例えば、ユーザの声等の携帯端末１の外部の音を入力として受け付けて音信号へ変換する音入力デバイスである。

図２は、実施形態１に係る携帯端末１を含む生体情報処理システム１００の機能ブロック図である。図２に示すように、生体情報処理システム１００は、例えば、携帯端末１と、サーバ２００とを備えている。例えば、携帯端末１は、有線または無線により、サーバ２００と通信可能に構成されている。本実施形態では、携帯端末１は、インターネット３００を介して、サーバ２００と無線により通信可能に構成されている。携帯端末１は、筐体２（図１参照）内に、さらに、コンピュータである制御部１０と、記憶部３０と、通信部４０とを備えている。

サーバ２００は、通信部２１０と、制御部２２０と、記憶部２３０とを備えている。サーバ２００における通信部２１０と、携帯端末１における通信部４０とは、例えば、インターネット３００を介して通信可能に構成されている。制御部２２０は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサにより構成され、サーバ２００の各種機能を統括的に制御する。記憶部２３０は、例えば、ハードディスク、ＳＳＤ（Solid State Drive）または半導体メモリ等により実現することができる。

制御部１０は、表示指示部１１、相対速度演算部１２、生体情報測定部１３、計時部１４、判定部１５、および、変動量監視部１６を含む。制御部１０は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサにより構成され、携帯端末１の各種機能を統括的に制御する。

記憶部３０は、任意の情報を記憶可能な記憶媒体である。記憶部３０は、例えば、ハードディスク、ＳＳＤ（Solid State Drive）または半導体メモリ等により実現することができる。記憶部３０は、携帯端末１の一部として、携帯端末１の内部に固定された記憶媒体であってもよいし、シムカードのような携帯端末１から取り外しが可能な記憶媒体であってもよい。記憶部３０には、予めインストールされた、または、携帯端末１と通信可能なサーバ（例えばサーバ２００）からインストールされた生体情報処理プログラムが記憶されている。生体情報処理プログラムは、コンピュータである制御部１０を、表示指示部１１、相対速度演算部１２、生体情報測定部１３、判定部１５、計時部１４、および、変動量監視部１６として機能させる。

また、例えば、記憶部３０には、予めインストールされた、または、携帯端末１と通信可能なサーバ（例えばサーバ２００）からインストールされた、所定の表示形式である所定情報を含む動画および静止画等の画像を情報として含む特定のアプリケーションを起動するための特定のプログラムが記憶されている。そして、例えば、制御部１０は、ユーザからの指示として、入力部４から、特定のアプリケーションを起動する旨の入力信号を受けると、記憶部３０を参照し、特定のプログラムを実行すると共に、生体情報処理プログラムを実行する。

なお、本実施形態では、制御部１０は、携帯端末１内に設けられている。しかし、制御部１０は、携帯端末１に内に設けられておらず、携帯端末１と有線または無線により通信可能に接続されたサーバ（例えば、サーバ２００）に設けられていてもよい。

表示指示部１１は、ユーザからの指示として、入力部４から入力信号を取得すると、入力信号に基づいて、表示部３に、動画および静止画等の各種の画像を表示させる。例えば、表示指示部１１は、入力部４からの入力信号に基づき、所定の表示形式である所定情報を表示部３に表示させるための指示信号を生成する。そして、表示指示部１１は、生成した指示信号を表示部３に出力する。これにより、表示指示部１１は、表示部３に、所定の表示形式である所定情報を含む画像を表示させる。

この所定の表示形式とは、小さいサイズの文字を含めたり、文字数を多くしたりなど、表示部３に表示された画像を、ユーザがある程度じっとして見ないと認識しにくい形式である（図３を用いて後述する）。このように、表示指示部１１は、所定の表示形式である所定情報を含む画像を表示部３に表示させることで、ユーザと携帯端末１との相対速度を抑えることができる。

また、表示指示部１１は、所定の表示形式である所定情報を表示部３に表示させるための指示信号を生成すると、撮影部５に、動画の撮影を開始させるための撮影指示信号（すなわち、センサ情報の取得を開始させるためのセンサ情報取得指示信号）を出力する。これにより、撮影部５は、予め設定された所定のフレームレートにて、ユーザの体表を含む動画の撮影を開始する（センサ情報の取得を開始する）。そして、撮影部５は、撮影した動画を、動画信号として、相対速度演算部１２および生体情報測定部１３へ出力していく。

相対速度演算部１２は、表示指示部１１が、所定の表示形式である所定情報を表示部３に表示させるための指示信号を生成すると、撮影部５から取得した動画（センサ情報）に基づいて、撮影部５とユーザとの相対速度を演算する。例えば、相対速度演算部１２は、撮影部５から取得した動画を画像処理することで、撮影部５とユーザとの相対速度を演算する。具体的には、例えば、相対速度演算部１２は、撮影部５から取得した動画に含まれるユーザの顔の特徴点（例えば、目、鼻、または、口など）を特定し、当該特定した特徴点が、動画におけるフレーム毎に移動する方向と移動量とを演算することで、撮影部５とユーザとの相対速度を演算する（図４および図５を用いて後述する）。

そして、相対速度演算部１２は、演算した、撮影部５とユーザとの相対速度を示す情報を判定部１５へ出力する。

生体情報測定部１３は、表示指示部１１が、所定の表示形式である所定情報を表示部３に表示させるための指示信号を生成すると、撮影部５から取得した動画（センサ情報）に基づいて、ユーザの生体情報を測定する。例えば、生体情報測定部１３は、撮影部５から取得した動画を画像処理することで、ユーザの生体情報を測定する。具体的には、例えば、生体情報測定部１３は、撮影部５から取得した動画に含まれるユーザの顔の一部領域（例えば、額、頬、または、顎などの一部領域）を特定し、特定した一部領域の、動画におけるフレーム毎の状態変化に基づき脈波を測定する（図４〜図６を用いて後述する）。

そして、生体情報測定部１３は、測定した脈波から、例えば、血圧値、脈拍数、ストレスレベル、心拍数、および、血管の健康状態を示す情報等を測定することで生体情報を得る。そして、生体情報測定部１３は、ユーザの生体情報を示す情報を判定部１５へ出力する。

ここで、生体情報測定部１３は、上述のように、ユーザの生体情報を、例えば、撮影部５から取得した動画を画像処理することで測定する。このため、ユーザを撮影している撮影部５に対し、ユーザが、例えば顔を早く動かした場合、撮影部５により撮影されたユーザの顔の画像がブレるなどにより、撮影部５により撮影された動画に基づいて測定されるユーザの生体情報の精度が低くなってしまう場合がある。

そこで、生体情報測定部１３は、相対速度演算部１２が、例えば、撮影部５から取得した動画に基づいて撮影部５とユーザとの相対速度を演算した期間における、ユーザの生体情報を測定する。換言すると、相対速度演算部１２は、生体情報測定部１３が、例えば、撮影部５から取得した動画に基づいてユーザの生体情報を演算した期間における、ユーザと撮影部５との相対速度を演算する。

これにより、相対速度演算部１２が演算した相対速度に基づいて、生体情報測定部１３が測定した生体情報の精度が高いか低いかを判定することができる。すなわち、撮影部５から取得した動画に基づいて相対速度演算部１２が演算した相対速度が比較的遅い場合は、同じ時刻の動画（換言すると同じ時刻のフレーム）に基づいて生体情報測定部１３が測定した生体情報の精度は比較的高いと判断できる。また、撮影部５から取得した動画に基づいて相対速度演算部１２が演算した相対速度が比較的速い場合は、同じ時刻の動画（換言すると同じ時刻のフレーム）に基づいて生体情報測定部１３が測定した生体情報の精度は比較的低いと判断できる。

なお、相対速度演算部１２が相対速度を演算するタイミングは、撮影部５からの動画信号の入力の時間間隔毎に演算しても良いし、複数回の動画信号の入力の時間間隔毎に演算してもよいし、生体情報測定部１３が生体情報を測定する期間を通じて１回のみ演算するだけであってもよい。

また、相対速度演算部１２が相対速度の演算を開始するタイミングと、生体情報測定部１３が生体情報の測定を開始するタイミングとは、どちらが先でもよい。

また、本開示に係るセンサ部が、動画を撮影する撮影部５ではなく、ドップラーセンサなどのユーザの生体の状態変化を示すセンサ情報を非接触で取得できる各種センサの場合、当該センサ情報に基づいて、相対速度演算部１２は相対速度を演算し、生体情報測定部１３は生体情報を測定する。

また、本開示に係るセンサ部が、撮影部５およびドップラーセンサなど、複数のセンサの組み合わせにより構成されている場合、当該複数のセンサの組み合わせにより得られるセンサ情報に基づいて、相対速度演算部１２は相対速度を演算してもよいし、生体情報測定部１３は生体情報を測定してもよい。

計時部１４は、現在の時刻を示す時刻情報を生成し、逐次、判定部１５へ出力する。判定部１５は、計時部１４から、現在の時刻を示す時刻情報を、逐次、取得する。

また、判定部１５は、相対速度演算部１２が演算した相対速度が、所定の範囲以下であるか否かを判定する。そして、相対速度演算部１２が演算した相対速度が、所定の範囲以下であれば、そのときの生体情報の測定精度が高いと判断できるため、判定部１５は、生体情報測定部１３が生体情報を測定した時刻を示す時刻情報として、生体情報測定部１３から生体情報を取得したときの時刻情報を、生体情報測定部１３から取得した生体情報に対応付ける。そして、判定部１５は、時刻情報を対応付けた生体情報を、通信部４０を介して、サーバ２００の記憶部２３０に記憶させる。また、判定部１５は、時刻情報を対応付けた生体情報を変動量監視部１６へ出力する。

また、相対速度演算部１２が演算した相対速度が、所定の範囲を越えていれば、そのときの生体情報の測定精度は低いと判断できるため、例えば、判定部１５は、生体情報測定部１３から取得した生体情報を、サーバ２００の記憶部２３０に記憶させずに削除する。

なお、判定部１５は、時刻情報を対応付けた生体情報を、サーバ２００の記憶部２３０ではなく、携帯端末１の記憶部３０に出力することで、記憶部３０に記憶させてもよい。

変動量監視部１６は、判定部１５によって時刻情報が対応付けられた生体情報を、通信部４０を介してサーバ２００の記憶部２３０から取得し、取得した生体情報の変動量が所定の範囲であるか否かを監視する。例えば、変動量監視部１６は、時刻情報が順次、対応付けられた生体情報の時刻毎の変動量が、所定の範囲を越えると、例えば、報知処理を行う。

すなわち、変動量監視部１６は、表示指示部１１に、ユーザに報知するための報知情報を出力する。これにより、表示指示部１１は、生体情報の変動量が所定の範囲を越えたことを示す画像を、表示部３に表示させる。これにより、生体情報の変動量が所定の範囲を越えたことを、視覚的にユーザに報知することができる。または、変動量監視部１６は、音情報を含む報知情報を生成し、スピーカ６を介して音として、生体情報の変動量が所定の範囲を越えたことをユーザに報知してもよい。

例えば、変動量監視部１６は、同じ日の内の生体情報の時刻毎の変動量を監視したり、別の日の同時刻帯の生体情報の変動量を監視したりしてもよい。生体情報の変動量が小さければユーザの健康状態に変化がないとみなすことができる一方、変動量が所定の範囲を越えるほど、大きい場合は、ユーザの健康状態に何かしら変化があると考えられる。そのように、変動量が所定の範囲を越える場合、変動量監視部１６が報知処理を行うことで、ユーザに対し、原因の調査を開始させることができる。

なお、変動量監視部１６は、時刻情報が対応付けられた生体情報を、サーバ２００の記憶部２３０から取得するのではなく、逐次、判定部１５から取得してもよいし、または、記憶部３０から取得してもよい。

図３を用いて、表示指示部１１が表示部３に表示させる、特定のアプリケーションの表示画像の一例について説明する。図３は、携帯端末１の表示指示部１１が表示部３に表示させる、健康管理アプリケーションの表示画像を表す図である。健康管理アプリケーションは、制御部１０の表示指示部１１が表示部３に表示させる、所定の表示形式である所定情報を含む特定のアプリケーションの一例である。

図３に示すように、生体情報管理アプリケーションの表示画像６０には、例えば、所定の表示形式である所定情報として、ユーザがある程度、表示画像６０をじっとして見ないと認識しにくい形式により表示された複数の欄６１が設けられている。各欄６１には、ユーザが健康管理アプリケーションを、日々、起動させる動機づけとなるように、例えば、日々のニュース、健康に関する情報など、ユーザが興味を持つ内容が表現されている。

ここで、スマートフォンおよびＰＣ（personal computer）のブラウザにおいて、読みやすいフォントサイズとして、１６ｐｘ（１２ｐｔ）のフォントサイズが用いられている。また、当該ブラウザにおいて、最小のフォントサイズとして１ｐｘ（０．７５ｐｔ）が用いられている。

そこで、表示画像６０に表示された各欄６１は、所定の表示形式である所定情報として、フォントサイズが、１ｐｘ以上１６ｐｘ以下の文字が表示されていることが好ましい。換言すると、表示画像６０に表示された各欄６１は、所定の表示形式である所定情報として、フォントサイズが、０．７５ｐｔ以上１２ｐｔ以下の文字が表示されていることが好ましい。

これにより、ユーザは、各欄６１に含まれる文字を読むには、表示画像６０をじっとして見ないと認識しにくいため、ユーザと撮影部５との相対速度を抑えることができる。

また、表示画像６０に表示された各欄６１に複数行の文字列が画像として表示されている場合、所定の表示形式である所定情報として、複数行の文字同士の行間が１ｅｍ以上１．５ｅｍ以下の画像であることが好ましい。これにより、複数行の文字同士の間隔が比較的狭いため、ユーザは、各欄６１に含まれる各行の文字を読むには、表示画像６０をじっとして見ないと認識しにくい。このため、ユーザと撮影部５との相対速度を抑えることができる。

図４および図５を用いて、相対速度演算部１２が、ユーザと撮影部５との相対速度を演算する様子の一例について説明する。図４は、撮影部５が撮影した動画における、ユーザが動く直前の動画の一例を表す図である。図５は、撮影部５が撮影した動画における、ユーザが動いた後の動画の一例を表す図である。

図４に示すように、相対速度演算部１２は、撮影部５から取得した動画６３に映っているユーザの顔Ｕのうち、予め設定された特徴点を特定し、当該特定した特徴点を含む動画６３内の領域Ｒ１を規定する。図４では、一例して、相対速度演算部１２は、動画６３に含まれるユーザの顔Ｕのうち、予め設定された特徴点として鼻を特定し、当該特定した鼻を含む動画６３内の領域Ｒ１を規定する。

そして、図５に示すように、動画６３内において、ユーザの顔Ｕが移動すると、規定した領域Ｒ１も、矢印Ｘ１に示すように、ユーザの顔Ｕの移動に追従して移動する。

ここで、撮影部５は、動画６３を、予め設定された所定のフレームレート（１０〜３００ｆｐｓ）で撮影する。そこで、相対速度演算部１２は、撮影部５が動画６３を撮影する所定のフレームレートと、フレーム間での領域Ｒ１の移動方向および移動量とに基づいて、領域Ｒ１の動画６３内での移動速度、すなわち、撮影部５とユーザとの相対速度を演算する。なお、ユーザの顔Ｕの移動速度が速すぎて領域Ｒ１が追従できない場合は、相対速度演算部１２は、相対速度が所定の範囲を越えると判定する。

撮影部５は、相対速度演算部１２が相対速度の演算に用いる動画６３の撮影を、表示部３が、表示領域に、所定の表示形式である所定情報を含む画像（例えば、図３に示す表示画像６０）を表示しているときに行う。

表示指示部１１は、表示部３に、所定の表示形式である所定情報を含む表示画像６０（図３参照）と共に、撮影部５が撮影した動画６３（図４および図５参照）も表示させてもよい。

または、表示指示部１１は、表示部３に、所定の表示形式である所定情報を含む表示画像６０と動画６３とのうち、表示画像６０だけを表示領域に表示させ、動画６３は、表示領域に表示させないようにしてもよい。

図４〜図６を用いて、生体情報測定部１３が、ユーザの生体情報を測定する様子の一例について説明する。

図４および図５に示すように、生体情報測定部１３は、撮影部５から取得した動画６３に映っているユーザの顔Ｕのうち、一部の領域Ｒ２を特定する。図４および図５に示す例では、生体情報測定部１３は、動画６３に映っているユーザの顔Ｕのうち、額を領域Ｒ２として特定する。

そして、生体情報測定部１３は、撮影部５が撮影した動画６３のフレーム毎の領域Ｒ２の状態変化（例えば、フレーム毎の体表の色の変化）に基づいて、脈波を測定する。

図６は、撮影部５が撮影した動画６３に基づいて生体情報測定部１３が測定した脈波の波形の一例を示す図である。生体情報測定部１３は、図６に示す脈波を測定すると、さらに、図６に示す脈波から、例えば、血圧値、脈拍数、ストレスレベル、心拍数、および、血管の健康状態を示す情報等を測定することで生体情報を得る。

図７を用いて、変動量監視部１６が監視する生体情報の変動の様子について説明する。図７は、変動量監視部１６が監視する生体情報の変動の様子を表す図である。変動量監視部１６は、例えば、通信部４０を介して、サーバ２００の記憶部２３０から、時刻情報が対応付けられた生体情報の変動量が所定の範囲内であるか否かを監視する。

なお、変動量監視部１６は、サーバ２００の記憶部２３０から、時刻情報が対応付けられた生体情報（例えば血圧）の日毎または時刻毎の変動の様子を表す情報を表示指示部１１に出力することで、表示指示部１１が、日毎または時刻毎の生体情報（例えば血圧）の変化のグラフを示す画像を、表示部３に表示させてもよい。また、この場合、表示指示部１１は、日毎または時刻毎の生体情報（例えば血圧）の変化のグラフを示す画像を、表示画像６０（図３参照）の一部の領域として、所定の表示形式である所定情報（例えば、図３に示す各欄６１の文字）共に、表示部３に表示させてもよい。

図８は、実施形態１に係る携帯端末１の制御部１０の動作の一例を表すフローチャートである。図８に示すように、携帯端末１は、ステップＳ１１において、ユーザの操作に基づく入力部４からの入力信号に基づき、所定の表示形式である所定情報を表示部３に表示させる。次いで、ステップＳ１２において、相対速度演算部１２は、撮影部５から取得した動画に基づいて、撮影部５とユーザとの相対速度を演算する。そして、ステップＳ１３において、生体情報測定部１３は、撮影部５から取得した動画に基づいて、ユーザの生体情報を測定する。

そして、ステップＳ１４において、判定部１５は、相対速度演算部１２が演算した相対速度が、所定の範囲内であるか否かを判定する。

ステップＳ１４において、判定部１５は、相対速度演算部１２が演算した相対速度が、所定の範囲以下であると判定すると（ステップＳ１４のＹＥＳの場合）、生体情報測定部１３が測定した生体情報と、生体情報測定部１３が生体情報を測定したときの時刻情報とを、順次、対応付けていく。そして、判定部１５は、例えば、時刻情報を対応付けた生体情報を、通信部４０を介して、順次、サーバ２００の記憶部２３０に記憶させていく（ステップＳ１５）。

ステップＳ１４において、判定部１５は、相対速度演算部１２が演算した相対速度が、所定の範囲を越えると判定すると（ステップＳ１４のＮＯの場合）、ステップＳ１２の処理へ戻る。

次いで、ステップＳ１６において、変動量監視部１６は、通信部４０を介して、サーバ２００の記憶部２３０に記憶された、時刻情報が、順次、対応付けられた生体情報の変動量が所定の範囲以下であるか否かを監視する。ステップＳ１６において、変動量監視部１６は、時刻情報が、順次、対応付けられた、生体情報の変動量が所定の範囲以下であると判定すると（ステップＳ１６のＹＥＳの場合）、次のステップＳ１８の処理に進む。また、ステップＳ１６において、変動量監視部１６は、時刻情報が、順次、対応付けられた、生体情報の変動量が所定の範囲を越えると判定すると（ステップＳ１６のＮＯの場合）、報知処理を行い（ステップＳ１７）、次のステップＳ１８の処理に進む。

ステップＳ１８において、制御部１０は、入力部４から、生体情報の測定を終了する旨の指示信号を取得すると（ステップＳ１８のＹＥＳの場合）、生体情報の測定を終了する。また、ステップＳ１８において、制御部１０は、入力部４から、生体情報の測定を終了する旨の指示信号を取得しない場合（ステップＳ１８のＮＯの場合）、ステップＳ１２の処理へ戻る。

このように、携帯端末１における制御部１０は、表示指示部１１と、生体情報測定部１３と、相対速度演算部１２と、判定部１５とを備えている。表示指示部１１は、所定の表示形式である所定情報を表示部３に表示させるための指示信号を生成し、表示部３に出力する。これにより、表示部３は、所定の表示形式である所定情報を、表示領域に表示する。これにより、ユーザに対し、表示領域に表示された所定の表示形式である所定情報をある程度じっくりと視認させることができる。これにより、ユーザは、あまり顔などを動かさなくなり、ユーザと表示部３との相対速度を遅くさせることができる。

そして、生体情報測定部１３は、表示指示部１１が指示信号を生成すると、ユーザの生体情報を測定する。また、相対速度演算部１２は、生体情報測定部１３が生体情報を測定している期間における、表示部３とユーザとの相対速度を演算する。そして、判定部１５は、相対速度演算部１２が演算した相対速度が、所定の範囲内であるか否かを判定する。これにより、携帯端末１における制御部１０は、相対速度が所定の範囲内のときの生体情報を得ることができる。すなわち、携帯端末１における制御部１０は、高精度に測定されたユーザの生体情報を得ることができる。

表示部３に表示される所定の表示形式である所定情報は、例えば、ユーザの日々の生体情報の変化を管理するための情報、および、日々のニュースに関する情報など、ユーザが興味を持つ内容の情報を含むことが好ましい。これにより、表示部３に表示された、ユーザが興味を持つ内容の情報をユーザが視認している間に、携帯端末１は、ユーザの生体情報を測定することができる。これにより、ユーザに対する生体情報の測定への負担を少なくすることができるため、ユーザに対し、生体情報の測定を容易に数多く取得させることができる。この結果、携帯端末１は、ユーザの健康状態を、より、正確に把握することができる。

なお、本実施形態に係る携帯端末１では、所定の表示形式である所定情報を表示する表示部３と、ユーザを撮影する撮影部５とは、同じ筐体２に設けられることで同一の装置（携帯端末１）として構成されているが、表示部３と、撮影部５とは、有線または無線により通信可能に接続された、別々の装置（互いに分離された装置）として構成されていてもよい。

〔実施形態２〕

本開示の実施形態２について、以下に説明する。なお、説明の便宜上、実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

図９は、実施形態２に係る携帯端末１を含む生体情報処理システム１００の機能ブロック図である。図９に示すように、実施形態２においては、制御部１０は価値情報生成部１７を備え、サーバ２００の記憶部２３０にはユーザ特定情報２３１、ポイント情報２３４および健康管理情報２３３が記憶されている。その他の生体情報処理システム１００の機能ブロックは、実施形態１に係る生体情報処理システム１００（図２参照）と同様である。なお、ユーザ特定情報２３１、ポイント情報２３４および健康管理情報２３３は、サーバ２００の記憶部２３０ではなく、携帯端末１の記憶部３０に記憶されていてもよい。

本実施形態では、変動量監視部１６は、サーバ２００の記憶部２３０などから取得した生体情報の変動量が所定の範囲を越えたときに報知処理をする換わりに、変動量が所定の範囲以下であるか、変動量が所定の範囲を越えるかを示す情報を価値情報生成部１７へ出力する。

価値情報生成部１７は、変動量監視部１６が監視する生体情報の変動量に応じた情報である価値情報２３２を生成する。

ユーザ特定情報２３１は、ユーザを特定するために、ユーザ毎に割り当てられる識別情報である。

価値情報２３２は、健康管理情報２３３とポイント情報２３４とのうち少なくとも一方を含む情報である。

健康管理情報２３３は、例えば、生体情報（例えば、脈波、血圧値、脈拍数、ストレスレベル、心拍数、および、血管の健康状態を示す情報など）に応じた、視覚情報、および／または、音情報である。具体的には例えば、健康管理情報２３３は、画像として出力される、および／または、音として出力される、生体情報に応じたニュースやアドバイスなどである。

健康管理情報２３３が視覚情報の場合、変動量監視部１６は、生成した健康管理情報２３３を表示指示部１１に出力することで、表示指示部１１を介して表示部３に画像として表示させる。また、健康管理情報２３３が音情報の場合、価値情報生成部１７は、生成した価値情報をスピーカ６に出力することで、スピーカ６に音として出力させる。

これにより、携帯端末１は、ユーザに対し、ユーザ自身の健康状態に関する有益な情報を提示することができる。

健康管理情報２３３が視覚情報の場合、価値情報生成部１７は、健康管理情報２３３を、健康管理アプリケーションなどの特定のアプリケーションの表示画像の一部に、所定の表示形式である所定情報として表示させてもよい。これにより、表示部３とユーザとの相対速度を遅くすることができ、この結果、生体情報測定部１３は、高精度に、生体情報を測定することができる。

ポイント情報２３４は、ユーザ特定情報２３１に対応付けられたポイントを示す視覚情報である。

価値情報生成部１７は、変動量監視部１６が、生体情報の変動量が所定の範囲以下であるか、生体情報の変動量が所定の範囲を越えるかを判断した結果に基づいて、ポイント情報２３４が示すポイントを変更する。例えば、変動量監視部１６が、生体情報の変動量が所定の範囲以下であると判定すると、価値情報生成部１７は、記憶部２３０に記憶されているポイント情報２３４のポイントを増加させて更新する。また、例えば、変動量監視部１６が、生体情報の変動量が所定の範囲を越えると判定すると、価値情報生成部１７は、記憶部２３０に記憶されているポイント情報２３４のポイントを変更しないか、または、ポイントを減少させて、更新する。

価値情報生成部１７は、記憶部２３０に、ポイント情報２３４に基づくポイントを、健康管理アプリケーションなどの特定のアプリケーションの表示画像の一部に表示させる。価値情報生成部１７は、ポイント情報２３４に基づくポイントを、特定のアプリケーションの表示画像の一部に、所定の表示形式である所定情報として表示させてもよい。

そして、例えば、ユーザは、ポイント情報２３４が示すポイントに応じて、さまざまな景品などの特典を得ることができる。これにより、ユーザに、生体情報を測定するためのメリットを感じさせ、生体情報を測定する機会を増やすことができる。この結果、携帯端末１は、ユーザの健康状態をより正確に把握することができる。

図１０は、実施形態２に係る携帯端末１の制御部１０の動作の一例を表すフローチャートである。ステップＳ１１〜Ｓ１６の処理までは、図８を用いて説明した実施形態１に係る携帯端末１の制御部１０の動作と同じである。

図１０に示すように、制御部１０は、ステップＳ１１〜ステップＳ１６の処理を行う。

ステップＳ１６において、変動量監視部１６は、サーバ２００の記憶部２３０に記憶された、時刻情報が、順次、対応付けられた生体情報の変動量が所定の範囲以下であると判定すると（ステップＳ１６のＹＥＳの場合）、ステップＳ２１において、価値情報生成部１７は、記憶部２３０を参照し、価値情報２３２を生成して更新する。例えば、ステップＳ２１においては、価値情報生成部１７は、記憶部２３０を参照し、ユーザが興味を持つ内容の健康管理情報２３３を生成して更新する。また、例えば、ステップＳ２１においては、価値情報生成部１７は、記憶部２３０を参照し、ポイント情報２３４が示すポイントを増加させたポイント情報２３４を生成して更新する。

また、ステップＳ１６において、変動量監視部１６は、サーバ２００の記憶部２３０に記憶された、時刻情報が、順次、対応付けられた生体情報の変動量が所定の範囲を越えると判定すると（ステップＳ１６のＮＯの場合）、ステップＳ２２において、価値情報生成部１７は、記憶部２３０を参照し、価値情報２３２を生成して更新する。例えば、ステップＳ２２においては、価値情報生成部１７は、記憶部２３０を参照し、生体情報（例えば、脈波、血圧値、脈拍数、ストレスレベル、心拍数、および、血管の健康状態を示す情報など）の内容に応じた、健康を維持するための内容の健康管理情報２３３を生成して更新する。また、例えば、ステップＳ２２においては、価値情報生成部１７は、記憶部２３０を参照し、ポイント情報２３４が示すポイントを維持または減少させたポイント情報２３４を生成して更新する。

次いで、ステップＳ２２において、価値情報生成部１７は、ステップＳ２１またはステップＳ２２において生成した価値情報２３２の内容を、表示部３、および／または、スピーカ６に出力させる。この後、ステップＳ１８の処理へ進む。

このように、本実施形態に係る携帯端末１によると、生体情報の変動量が所定の範囲以下であるか否かに応じて、ユーザに、有益な価値情報２３２の内容を提示することができる。これにより、ユーザに対し、生体情報を測定するためのメリットを感じさせて、生体情報を測定する機会を増やすことができる。この結果、携帯端末１は、ユーザの健康状態をより正確に把握することができる。

〔変形例〕

本開示における携帯端末１または生体情報処理方法の主体は、コンピュータとして制御部１０を備えている。このコンピュータが生体情報処理プログラムを実行することによって、本開示における携帯端末１または生体情報処理方法の主体の機能が実現される。コンピュータは、生体情報処理プログラムにしたがって動作するプロセッサを主なハードウェア構成として備える。プロセッサは、生体情報処理プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、またはＬＳＩ(Large Scale Integration)を含む１つまたは複数の電子回路で構成される。複数の電子回路は、１つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは１つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。生体情報処理プログラムは、コンピュータが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記憶媒体に記録される。生体情報処理プログラムは、記憶媒体に予め格納されていてもよいし、インターネット等を含む電気通信回線を介して記憶媒体に供給されてもよい。

本発明は、上記実施の形態に限定されるものではなく、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。

１ 携帯端末（生体情報処理装置）、２ 筐体、３ 表示部、４ 入力部、５ 撮影部（センサ部）、６ スピーカ（音出力部）、７ マイク、１０ 制御部、１１ 表示指示部、１２ 相対速度演算部、１３ 生体情報測定部、１４ 計時部、１５ 判定部、１６ 変動量監視部、１７ 価値情報生成部、３０ 記憶部、４０ 通信部、１００ 生体情報処理システム、２００ サーバ、２１０ 通信部、２２０ 制御部、２３０ 記憶部、２３１ ユーザ特定情報、２３２ 価値情報、２３３ 健康管理情報、２３４ ポイント情報

Claims (14)

1. 所定の表示形式である所定情報を表示部に表示させるための指示信号を生成する表示指示部と、
   前記表示指示部が前記指示信号を生成すると、センサ部によって取得されたユーザの生体の状態変化を示すセンサ情報に基づいて前記ユーザの生体情報を測定する生体情報測定部と、
   前記生体情報測定部が前記生体情報を測定している期間における、前記センサ部と前記ユーザとの相対速度を演算する相対速度演算部と、
   前記相対速度演算部が演算した前記相対速度が、所定の範囲内であるか否かを判定する判定部と、を備える生体情報処理装置。
2. 時刻情報を生成する計時部を備え、
   前記判定部は、前記相対速度が前記所定の範囲内のときの、前記生体情報と、前記生体情報を測定したときの前記時刻情報とを、順次、対応付けていく、請求項１に記載の生体情報処理装置。
3. 前記時刻情報が対応付けられた前記生体情報の変動量が所定の範囲であるか否かを監視する変動量監視部を備えている、請求項２に記載の生体情報処理装置。
4. 前記センサ部を備え、
   前記センサ部は、前記ユーザの動画を撮影することで前記センサ情報を取得する、請求項１から３の何れか１項に記載の生体情報処理装置。
5. 前記相対速度演算部は、前記動画に基づいて、前記相対速度を演算する、請求項４に記載の生体情報処理装置。
6. 前記生体情報は、血圧値、脈拍数、および、心拍数のうち、少なくとも１つを示す情報を含む、請求項１から５の何れか１項に記載の生体情報処理装置。
7. 前記所定情報は、フォントサイズが、１ｐｘ以上１６ｐｘ以下、または、０．７５ｐｔ以上１２ｐｔ以下の文字を含む画像である、請求項１から６の何れか１項に記載の生体情報処理装置。
8. 前記所定情報は、複数行の文字同士の行間が１ｅｍ以上１．５ｅｍ以下の画像である、請求項１から７の何れか１項に記載の生体情報処理装置。
9. 前記変動量監視部が監視する前記変動量に応じた情報である価値情報を生成する価値情報生成部を備えている、請求項３に記載の生体情報処理装置。
10. 前記表示部を備え、
    前記価値情報は、前記生体情報の内容に応じた視覚情報を含み、
    前記価値情報生成部は、前記視覚情報に基づく画像を前記表示部に表示させる、請求項９に記載の生体情報処理装置。
11. 音を出力する音出力部を備え、
    前記価値情報は、前記生体情報の内容に応じた音情報を含み、
    前記価値情報生成部は、前記音情報に基づく音を前記音出力部に出力させる、請求項９または１０に記載の生体情報処理装置。
12. 前記価値情報は、前記ユーザを特定するユーザ特定情報に対応付けられたポイントを示すポイント情報を含み、
    前記価値情報生成部は、前記生体情報の変動量が前記所定の範囲以下であれば、前記ポイントを増加させ、前記生体情報の変動量が前記所定の範囲を越えると、前記ポイントを減少または変化させない、請求項９から１１の何れか１項に記載の生体情報処理装置。
13. 所定の表示形式である所定情報を表示部に表示させるための指示信号を生成するステップと、
    前記指示信号が生成されると、センサ部によって取得されたユーザの生体の状態変化を示すセンサ情報に基づいて前記ユーザの生体情報を測定するステップと、
    前記生体情報を測定している期間における、前記センサ部と前記ユーザとの相対速度を演算するステップと、
    前記相対速度が、所定の範囲内であるか否かを判定するステップとを含む、生体情報処理方法。
14. 前記相対速度が前記所定の範囲内のときの、前記生体情報と、前記生体情報を測定したときの時刻情報とを順次、対応付けるステップと、
    前記時刻情報と対応付けられた前記生体情報の変動量が所定の範囲であるか否かを監視するステップと、
    前記変動量に応じた情報である価値情報を生成するステップとを含む、請求項１３に記載の生体情報処理方法。

Images