JP2014158600A - 集中状態推定システム、推定装置、筆記具、推定方法及びプログラム - Google Patents

集中状態推定システム、推定装置、筆記具、推定方法及びプログラム Download PDF

Info

Publication number
JP2014158600A
JP2014158600A JP2013030847A JP2013030847A JP2014158600A JP 2014158600 A JP2014158600 A JP 2014158600A JP 2013030847 A JP2013030847 A JP 2013030847A JP 2013030847 A JP2013030847 A JP 2013030847A JP 2014158600 A JP2014158600 A JP 2014158600A
Authority
JP
Japan
Prior art keywords
biological information
information
user
concentration state
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013030847A
Other languages
English (en)
Inventor
Arinobu Niijima
有信 新島
Akio Shinohara
章夫 篠原
Toru Sadakata
徹 定方
Minoru Kobayashi
稔 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2013030847A priority Critical patent/JP2014158600A/ja
Publication of JP2014158600A publication Critical patent/JP2014158600A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】ユーザの集中状態を簡単かつ精度良く推定できるようにする。
【解決手段】ペン型デバイスPDに複数のセンサを設けてその測定データをパーソナル・コンピュータPCへ無線送信する。パーソナル・コンピュータPCは、ペン型デバイスPDから送信された各測定データの値を予め設定したしきい値範囲と比較して測定データ値がしきい値の範囲内であるか範囲外であるかを判定すると共に、上記測定データ値をそれぞれ人の集中状態を定義する「緊張」、「覚醒」及び「没入」からなる3つの要素に対応付け、上記各測定データ値としきい値範囲との比較結果に応じて当該各測定データ値が対応付けられた上記3つの要素の値を増減する。そして、上記「緊張」、「覚醒」及び「没入」からなる3つの要素値を三次元空間上にマッピングしたベクトルを生成し、このベクトルの値をもとに集中状態を推定する。
【選択図】図7

Description

この発明は、生体情報をもとに人の集中状態を推定するための集中状態推定システムと、このシステムで使用される推定装置、筆記具、推定方法及びプログラムに関する。
一般的に、ユーザの集中状態を推定する方法としては、自律神経の状態による生体情報変化、例えば脳波や皮膚電位、脈波、鼻部温度を用いて集中力を推定する方法が用いられている。生体情報の取得方法としては、ユーザにセンサを装着して生体情報を測定する方法と、カメラ等を用いて非接触で測定する方法がある。
しかし、生体情報はユーザの集中状態の変化の他に物理的な動作や外からの刺激によっても変化する。このため、一つの生体情報だけから集中力を正確に推定することは困難である。そこで、ユーザの生体情報に加えて周囲の環境情報を取得し、これらの生体情報と環境情報を組み合わせて分析することでユーザの心理状態を推定する技術が提案されている(例えば特許文献1を参照)。
特開2006−326184号公報
ところが、特許文献1に記載された技術は、単に生体情報と環境情報との直接的な組み合わせに対応して心理状態を定義したテーブルを用意し、このテーブルをもとに心理状態の推定結果を出力するものとなっている。また、複数の生体情報の組み合わせの仕方については、例えば体温の高低と発汗の有無を組み合わせただけのものに止まっている。このため、ユーザの体調の善し悪しを判定することはできても、集中の度合いを精度良く推定することまではできない。
この発明は上記事情に着目してなされたもので、その目的とするところは、ユーザの集中状態を簡単かつ精度良く推定できるようにした集中状態推定システムと、このシステムで使用される推定装置、筆記具、推定方法及びプログラムを提供することにある。
上記目的を達成するためにこの発明の第1の観点は、ユーザに接触する状態で設置され、当該ユーザの生理的状態及び動きの状態を表す複数の生体情報を測定して送信する測定装置との間で、無線回線を介して通信が可能な集中状態推定装置において、上記測定装置から複数の生体情報を取得し、この取得された複数の生体情報をそれぞれ予め設定したしきい値と比較する。また、上記取得された複数の生体情報をそれぞれ人の集中状態を定義する「緊張」、「覚醒」及び「没入」からなる3つの要素のうち少なくとも一つの要素に対応付け、上記各生体情報としきい値との比較結果に応じて、当該各生体情報が対応付けられた上記要素の値を変更する。そして、この変更された3つの要素の値を三次元空間上にマッピングしたベクトル情報を生成し、この生成したベクトル情報を上記ユーザの集中状態の推定結果を表す情報として出力するようにしたものである。
また、この発明の第2の観点は、上記要素値の変更に際し、上記複数の生体情報の少なくとも一つを上記3つの要素のうちの2つ以上の要素に対応付け、上記各生体情報としきい値との比較結果に応じて、当該各生体情報が対応付けられた2つ以上の要素の値をそれぞれ変更するようにしたものである。
さらに、この発明の第3の観点は、筆記具に、ユーザの皮膚温度を測定する温度センサ、皮膚の電位を測定する電位センサ及び脈波センサのうちの少なくとも1つと、上記ユーザによる筆記動作を測定する加速度センサ及び筆圧を測定する圧力センサのうちの少なくとも1つを測定部として設け、これらの測定部により測定された生体情報を無線送信部から無線回線を介して集中状態の推定装置へ送信し、当該推定装置に集中状態の推定処理を行わせるようにしたものである。
この発明の第1の観点によれば、測定部により測定される複数の生体情報がそれぞれ人の集中状態を定義する「緊張」、「覚醒」及び「没入」からなる3つの要素のうち少なくとも一つの要素に対応付けられ、これら3つの要素の値が上記測定された複数の生体情報としきい値との比較結果に応じて変更されたのち三次元空間上にマッピングされてベクトル情報となり、このベクトル情報がユーザの集中状態の推定結果として出力される。すなわち、測定された複数の生体情報が、「緊張」、「覚醒」及び「没入」からなる3つの要素により表されるベクトル情報に変換され、このベクトル情報がユーザの集中状態の推定結果として出力される。このため、ユーザの集中の状態を簡単かつ精度良くに推定することが可能となる。
この発明の第2の観点によれば、複数の生体情報の少なくとも一つが集中状態を定義する3つの要素のうちの2つ以上の要素に対応付けられ、これらの3つの要素値による表されるベクトル情報がユーザの集中状態の推定結果となる。このため、ある生体情報が3つの要素のうちの2つ以上の要素に影響を与える場合には、当該生体情報の値が上記2つ以上の要素の値にもれなく反映される。したがって、生体情報を上記3つの要素のいずれか1つのみに対応付ける場合に比べ、生体情報の値をより的確に精度良くベクトル情報に変換することができる。
この発明の第3の観点によれば、筆記具により、ユーザの皮膚温度、皮膚の電位及び脈波のうちの少なくとも1つと、ユーザによる筆記動作を表す加速度データと筆圧の圧力を表す圧力データのうちの少なくとも1つが測定され、その測定データが推定装置に送信されて集中状態の推定処理が行われる。したがって、温度センサや脈波センサ等のセンサ類をユーザに直接取着することなく、筆記時におけるユーザの生体情報及び筆記動作を表す情報を測定することが可能となる。
すなわちこの発明の各観点によれば、ユーザの集中状態を簡単かつ精度良く推定できるようにした集中状態推定システムと、このシステムで使用される推定装置、筆記具、推定方法及びプログラムを提供することができる。
この発明の原理説明に使用する集中状態推定システムの機能ブロック図。 図1に示した集中状態推定システムの集中状態推定ユニットによる処理内容を示す図。 図1に示した集中状態推定システムの集中状態推定ユニットによる生体情報の比較及び要素値の計算処理の手順と処理内容を示すフローチャート。 推定された集中状態ベクトルの表示例を示す図。 この発明の一実施形態に係る集中状態推定システムの全体構成を示す図。 図5に示した集中状態推定システムのペン型デバイスの構成を示すブロック図。 図5に示した集中状態推定システムの推定装置の構成を示すブロック図。 図7に示した推定装置による処理手順と処理内容を示すフローチャート。 図5に示した集中状態推定システムの推定装置におけるセンサデータ平滑処理を説明するための図。 集中力の変化による指先皮膚温度の変化の一例を示す図。 図5に示した集中状態推定システムの推定装置で用いられる集中状態推定テーブルの一例を示す図。
[原理]
先ず、この発明の原理を説明する。
人の集中の状態は、「緊張」、「覚醒」及び「没入」の3要素により表すことが可能である。「緊張」とは精神的ストレスや落ち着きに関わる指標であり、精神的ストレスが高いほどまたは焦りの度合いが強いほど緊張の値は高くなる。「覚醒」とは眠気に関わる指標であり、眠さの度合いが小さいほど覚醒の値は高くなる。「没入」とは物事への熱中度に関わる指標であり、熱中している度合いが強いほど没入の値は高くなる。
このような点に着目し、この発明では以下のような手段を講じている。図1はこの発明の原理説明に使用する集中状態推定システムの機能ブロック図であり、1は生体情報測定装置、2は集中状態推定装置を示している。また、図2はこのうちの集中状態推定装置2における処理の流れを示している。
生体情報測定装置1には、上記「緊張」、「覚醒」及び「没入」の3要素に対応する生体情報を測定するための複数の測定部11,12,13を設ける。そして、これらの測定部11,12,13によりそれぞれ測定された生体情報を、クロック発生部14により生成されるクロックにより相互に同期させたのち、無線送信部15から集中状態推定装置2へ送信する。
集中状態推定装置2では、上記生体情報測定装置1から送られた複数の生体情報を無線受信部21で受信したのち生体情報記憶部22に記憶する。そして、この記憶された各生体情報をそれぞれ予め設定したしきい値と比較してこのしきい値の範囲内か否かを判定する。この比較判定処理は、例えば図3のステップS1〜S4に示すように、生体情報ごとに順次行われる。
また、集中状態算出部24において、上記各生体情報を上記「緊張」、「覚醒」及び「没入」の3要素に対応付け、上記各生体情報の判定結果に応じてそれぞれ対応する要素の値を生体情報ごとのルールに従い増減する。例えば、温度センサによって指先皮膚温度を測定した場合を考える。皮膚温度が低い場合は「緊張」が低く「覚醒」が高い状態を示す。したがって、皮膚温度がしきい値範囲を超えて低下した場合には、「緊張」の値を減少させ「覚醒」の値を増加させる。同様に、測定部ごとにしきい値範囲との比較結果に応じて要素値を変更する。
続いて、上記増減処理後の3要素の値を足し合わせてベクトルを生成する。例えば、集中状態をf、緊張をx、覚醒をy、没入をzとしたとき、3要素x,y,zを図4に示すように三次元空間上にマッピングすることによりベクトルf=(x,y,z)を生成する。図4ではベクトルf=(−1,1,1)の場合を例示している。そして、この生成されたベクトルf=(x,y,z)をもとに、図3のステップS5において集中状態を推定する。
以上のようにこの発明によれば、生体情報を「緊張」、「覚醒」及び「没入」の3要素に対応付け、上記各生体情報の判定結果に応じてそれぞれ対応する要素の値を可変したのち、これら3要素を合成してベクトル情報を生成し、このベクトルをもとに集中状態を推定するようにしたので、生体情報をもとに人の集中状態を簡単かつ精度良く推定することが可能となる。
[一実施形態]
(構成)
次に、この発明の一実施形態を説明する。図5はこの発明の一実施形態に係る集中状態推定システムの全体構成を示す図である。
このシステムは、測定装置をペン型デバイスPDにより構成している。そして、このペン型デバイスPDにより測定された筆記者の複数種の生体情報を、無線ネットワークNWを介して推定装置としてのパーソナル・コンピュータPCへ送信し、このパーソナル・コンピュータPCにおいて筆記者の集中状態を推定するための処理を行うように構成している。
ペン型デバイスPDのグリップ部には、ユーザの生体情報を測定するための測定部として、皮膚温度センサ101、脈波センサ102及び皮膚電位センサ103を設置している。また、ペン先に近い位置には加速度センサ104を配置し、ペンの内部には圧力センサ105を設けている。さらに、筆記者の指が接触しないペン尻部には周囲温度を測定するための周囲温度センサ106を配置し、またペン内には無線モジュール110を設けている。なお、筆記者の指が上記皮膚温度センサ101、脈波センサ102及び皮膚電位センサ103に密着しやすくするために、グリップ部には窪みを形成するとよい。
図6は、上記ペン型デバイスPDの機能構成を示すブロック図である。
皮膚温度センサ101及び周囲温度センサ106はそれぞれ筆記ユーザの指先の皮膚温度、及びその周囲の気温を測定し、その測定値を時系列の電気信号として出力する。脈波センサ102は、例えば発光素子からユーザの指先に近赤外光を照射し、血中のヘモグロビン量に応じて散乱する光量を受光素子で受光することにより、散乱光の変化量を電流値あるいは電圧値の変化量に変換した時系列の電気信号を出力する。なお、脈波センサは、圧電素子を用いて指先の血流量の変化を圧力変化として検出して時系列の電気信号を出力するものであってもよい。
皮膚電位センサ103は、筆記ユーザの指先の皮膚電位水準(SPL)及び皮膚電位反応(SPR)を測定し、その測定値を時系列の電気信号として出力する。加速度センサ104は、筆記ユーザの筆記時の指先の動きを三次元的に測定してその測定値を時系列の電気信号として出力する。圧力センサ105は、筆記ユーザの筆記時の筆圧を測定してその測定値を時系列の電気信号として出力する。
制御部120は、A/D(Analog to Digital)変換部、CPU(Central Processing Unit)及びメモリを備える。そして、上記各センサ101〜106から出力された測定信号をそれぞれA/D変換してメモリに一旦蓄積し、一定時間分の測定データが蓄積されるごとに、CPUの制御の下で当該測定データを読み出して符号化し、さらに多重化したのち、無線モジュール110からパーソナル・コンピュータPCに向け送信する処理を行う。
一方、推定装置としてのパーソナル・コンピュータPCは以下のように構成される。図7はその機能構成を示すブロック図である。すなわち、パーソナル・コンピュータPCは、制御ユニット200と、無線ユニット210と、記憶ユニット220を備える。
無線ユニット210は、上記ペン型デバイスPDから送信された測定データを無線ネットワークNWを介して受信する。なお、無線ネットワークNWとしては、例えば無線LAN(Local Area Network)やBT(Bluetooth)(登録商標)等の微小電力無線データ伝送規格を採用した近距離無線ネットワークが用いられる。
記憶ユニット220は、HDD(Hard Disc Drive)やSSD(Solid State Drive)等の随時書込及び読出動作が可能な不揮発性記憶装置を使用したもので、この発明の一実施形態を実施する上で必要な記憶領域として、センサデータ記憶部221と、しきい値データ記憶部222と、集中状態推定テーブル223と、推定情報記憶部224を備えている。
センサデータ記憶部221は、上記ペン型デバイスPDから受信した各センサ101〜106の測定データ、つまり皮膚温度、脈波、皮膚電位、筆加速度、筆圧及び周辺温度の各測定データを蓄積するために使用される。しきい値データ記憶部222には、上記各センサ101〜106の測定データの値を判定するために用いるしきい値が記憶されている。集中状態推定テーブル223には、「緊張」、「覚醒」及び「没入」の3要素からなるベクトルの値に対応付けて、集中状態の推定結果を表す情報が記憶されている。推定情報記憶部224は、上記集中状態推定テーブル223をもとに推定された集中状態の推定結果を表す情報を記憶するために使用される。
制御ユニット200は例えばCPU(Central Processing Unit)を備え、この発明の一実施形態を実施する上で必要な制御機能として、センサデータ取得制御部201と、センサデータ比較部202と、要素値変更部203と、集中状態ベクトル算出部204と、集中状態推定処理部205と、推定情報記憶制御部206と、推定情報出力制御部207を有している。なお、これらの制御機能は何れも、図示しないプログラムメモリに格納されたプログラムを上記CPUに実行させることにより実現される。
センサデータ取得制御部201は、ペン型デバイスPDから測定データ群が送信されるごとに、当該測定データ群を無線ユニット210を介して受信し、この受信した測定データ群を個々に分離復号したのち、センサIDと関連付けて上記センサデータ記憶部221に記憶させる処理を行う。
センサデータ比較部202は、上記センサデータ記憶部221からセンサ別にその測定データ、つまり皮膚温度、脈波、皮膚電位、筆加速度及び筆圧の各測定データを読み出す。これらの測定データの値をそれぞれ上記しきい値データ記憶部222に記憶されている対応するしきい値と比較し、測定データ値がしきい値の範囲内であるか範囲外であるかを判定する処理を行う。
要素値変更部203は、上記センサデータ記憶部221から読み出した各測定データ値をそれぞれ人の集中状態を定義する「緊張」、「覚醒」及び「没入」からなる3つの要素に対応付け、上記各測定データ値としきい値との比較判定結果に応じて、当該各測定データ値が対応付けられた上記3つの要素の値を増減する処理を行う。
集中状態ベクトル算出部204は、上記要素値変更部203により増減処理された「緊張」、「覚醒」及び「没入」からなる3つの要素値を三次元空間上にマッピングしたベクトル情報を生成する処理を行う。
集中状態推定処理部205は、上記集中状態推定テーブル223から、上記集中状態ベクトル算出部204により生成されたベクトルの値に対応する集中状態の推定結果を表す情報を読み出す処理を行う。
推定情報記憶制御部206は、上記集中状態推定処理部205により集中状態推定テーブル223から読み出された集中状態の推定結果を表す情報を、推定対象ユーザの識別情報と関連付けて推定情報記憶部224に格納する処理を実行する。
推定情報出力制御部207は、例えば推定対象ユーザ自身或いは当該ユーザの管理者が使用する端末、さらには上記ユーザに対するレコメンドサービス等を行うサービス事業者のサーバから推定結果の取得要求を受信した場合に、上記推定情報記憶部224から該当する推定結果を表す情報を読み出す。そして、この読み出された推定結果を表す情報を、無線ユニット210から要求元の端末へ送信する処理を行う。また、推定情報出力制御部207は、当該パーソナル・コンピュータPCにおいて推定結果を表す情報の表示、印刷又は他の記憶媒体への転送要求が入力された場合にも、上記推定情報記憶部224から該当する推定結果を表す情報を読み出して出力する。
(動作)
次に、以上のように構成された集中状態推定システムの動作を説明する。
(1)ペン型デバイスPDにおける測定動作
ペン型デバイスPDを用いてユーザが筆記を開始すると、皮膚温度センサ101、周囲温度センサ、脈波センサ102及び皮膚電位センサ103により、それぞれ筆記中のユーザの指先の皮膚温度、周囲温度、脈波及び皮膚電位が時系列で測定され、その測定信号がそれぞれディジタル化されて測定データとして制御部120に保存される。
また、それと同時に加速度センサ104及び圧力センサ105によりそれぞれ筆記時の指先の動きと筆圧が時系列で測定され、その測定信号がディジタル化されて測定データとして制御部120内のメモリに保存される。なお、上記各測定データは、制御部120内のクロック発生器により発生されるクロックにより相互に同期が取られたのち保存される。
そして、上記保存された各測定データは、一定時間分ずつ読み出されて符号化され、さらに多重化されたのち無線モジュール110からパーソナル・コンピュータPCに向け送信される。
(2)パーソナル・コンピュータPCにおける集中状態推定動作
図8はパーソナル・コンピュータPCにおける推定動作の流れを示す図である。
(2−1)測定データの取得
上記ペン型デバイスPDから送信データが送られると、当該送信データは無線ユニット210により受信されたのち制御ユニット200に取り込まれる。制御ユニット200は、センサデータ取得制御部201の制御の下、ステップS101〜S105において指先の皮膚温度、脈波、皮膚電位、筆加速度及び筆圧の各測定データに分離し、センサIDと関連付けてセンタデータ記憶部221に記憶させる。
このとき、各センサ101〜106はノイズの影響を受けやすいため、上記各測定データを平滑化処理してノイズを除去したのち、センタデータ記憶部221に記憶させる。例えば、皮膚温度の場合、時間tにおける測定データをx(t) 、記憶する測定データをf(t) とすると、f(t) =f(t-1) ×0.9 +x(t) ×0.1 とする。このよう平滑処理を施すことでノイズを除去することができる。図9は、平滑処理前の生の測定データと平滑処理後の測定データを比較して示したものである。
また、皮膚温度は、筆記ユーザの指先の温度だけでなく周囲温度(気温)の影響も受ける。このため、センサデータ取得制御部201は、ステップS101において上記皮膚温度の測定データを、周囲温度センサ106により測定された周囲温度の測定データに基づいてキャリブレーション処理し、この処理後の皮膚温度の測定データをセンタデータ記憶部221に記憶させる。
(2−2)各測定データの比較判定
上記皮膚温度、脈波、皮膚電位、筆加速度及び筆圧の各測定データと人の集中状態(集中力)との間には、以下のような関係がある。
すなわち、皮膚温度は自律神経の状態による血管の拡大縮小によって変化する。皮膚温度が低い場合には「緊張」の度合いが低く「覚醒」の度合いが高い状態を表し、皮膚温度が高い場合には「緊張」の度合いが高く「覚醒」の度合いが低い状態を表す。集中状態によって皮膚温度が変化する様子を図10に示す。図10は同一難易度の計算問題を5分間解いたときの左手人差し指の指先温度の平均値の例を示している。同図に示すように、2回の計算タスクを行った場合、1回目より2回目の方が緊張しなかったと回答した被験者の指先温度は下がっており、1回目より2回目の方が緊張したと回答した被験者の指先温度は上がっている。
脈波のLow-Frequency/High-Frequency(LF/HF)は、交感神経と副交感神経の活動の度合いを示す。LF/HFが大きいと「緊張」の度合いが高く、小さいと「緊張」の度合いが低い状態を示す。また、脈波から脈拍を算出することで「覚醒」の度合いを推定することができる。脈拍数が小さい場合は「覚醒」の度合いが低い状態を表し、大きい場合は「覚醒」の度合いが高い状態を表す。
皮膚電位からは、皮膚電位水準(SPL)及び皮膚電位反応(SPR)と呼ばれるパラメータを取得でき、このうちSPLは陰性に高いほど「覚醒」の度合いが高いことを示し、SPRが頻発すると「緊張」の度合いが高い状態であることを示す。
筆加速度の大きさからは「没入」の度合いを推定できる。すなわち、筆加速度が高いほど「没入」の度合いが高い状態にあると推定できる。筆圧からも「没入」の度合いを推定することができる。すなわち、筆圧が高いと「没入」の度合いが高いと推定することができる。
以上のような関係に基づいて、皮膚温度、脈波、皮膚電位、筆加速度及び筆圧のそれぞれについてしきい値範囲を予め設定し、これらのしきい値範囲を示すデータをしきい値データ記憶部222に記憶しておく。そして、センサデータ比較部202の制御の下で、上記センタデータ記憶部221から皮膚温度、脈波、皮膚電位、筆加速度及び筆圧の各測定データを所定時間おきに読み出し、ステップS111〜S115においてそれぞれ上記読み出された皮膚温度、脈波、皮膚電位、筆加速度及び筆圧の各測定データを、しきい値データ記憶部222に記憶されている対応するしきい値範囲と比較する。この比較処理により、上記皮膚温度、脈波、皮膚電位、筆加速度及び筆圧の各測定値が、「緊張」、「覚醒」及び「没入」の度合いの高い状態を表しているのか、或いは低い状態を表しているのかを判定することが可能となる。
(2−3)「緊張」、「覚醒」及び「没入」の要素値の変更
制御ユニット200は、次に要素値変更部203の制御の下、ステップS121〜S125において、上記センサデータ比較部202の比較結果に応じて、「緊張」、「覚醒」及び「没入」の要素値を加算又は減算する。
例えば、いま基準状態におけるユーザの指先温度を28−32℃と設定し、ユーザがペン型デバイスPDを用いて筆記作業をしている時に指先温度が26℃(<28℃)に低下したとする。この場合、ユーザが基準状態よりも緊張しておらず覚醒していると推定できるため、「緊張」の度合いを表すxの値を減少させ、「覚醒」の度合いを表すyの値を増加させる。また、同時に脈波から得られる脈拍数がしきい値範囲より多く、さらに皮膚電位のパラメータの1つであるSPLがしきい値範囲より陰性方向に高かったとすると、覚醒の度合いが高いと推定できるので、「覚醒」の度合いを表すyの値をさらに増加させる。さらに、筆加速度又は筆圧の測定値がしきい値範囲を超えて増加した場合には、筆記作業に没入していると推定できるため、「没入」の度合いを表すzの値を増加させる。
(2−4)集中状態ベクトルの生成
制御ユニット200は、続いて集中状態ベクトル算出部204の制御の下、ステップS130において、上記要素値変更部203により加減算処理された3つの要素値x,y,zを三次元空間上にマッピングすることで集中状態ベクトルを生成する。
例えば、いま「緊張」の度合いを表すxの値がx=−1、「覚醒」の度合いを表すyの値がy=3、「没入」の度合いを表すzの値がz=1だったとすると、集中情報ベクトルfはf=(−1,3,1)となる。すなわち、集中状態が3要素のベクトルとして数値化されて表される。
(2−5)集中状態の推定及び保存
上記集中状態ベクトル算出部204により集中状態ベクトルが生成されるごとに、制御ユニット200は集中状態推定処理部205の制御の下で、ステップS140により集中状態推定テーブル223を参照して集中力を推定する。例えば、集中状態推定テーブル223には、「緊張」、「覚醒」及び「没入」の各要素値の全ての組み合わせに対応付けて集中状態の様子を表す情報が記憶されている。
図11は集中状態推定テーブルの一例を示す図である。なお、図11では「緊張」、「覚醒」及び「没入」の各要素値を“+”、“−”のみにより表した場合を例示したが、数値により表してもよい。集中状態推定処理部205は、集中状態推定テーブル223から、上記集中状態ベクトル算出部204により生成された集中状態ベクトルに対応する集中状態の様子を表す情報を読み出す。
そして、制御ユニット200は、最後に推定情報記憶制御部206の制御の下で、上記集中状態推定テーブル223から読み出された集中状態の様子を表す情報を、測定時刻を表す情報を付与し、かつユーザの識別情報(ユーザID)と関連付けて、集中状態の推定結果を表す情報として推定情報記憶部224に記憶させる。
(3)集中状態推定結果の出力
例えば、いまユーザ自身或いは当該ユーザの管理者が使用する端末、さらには上記ユーザに対するレコメンドサービス等を行うサービス事業者のサーバから推定結果の取得要求を受信したとする。この場合、制御ユニット200は、推定情報出力制御部207の制御の下、上記推定情報記憶部224から該当する推定結果を表す情報を読み出す。そして、この読み出された推定結果を表す情報を、無線ユニット210から要求元の端末へ送信する。
また、パーソナル・コンピュータPCにおいて、所望ユーザの集中状態推定情報の表示、印刷又は他の記憶媒体への転送要求が入力されたとする。この場合制御ユニット200は、推定情報出力制御部207の制御の下、上記推定情報記憶部224から該当する推定結果を表す情報を読み出し、図示しない表示部に表示するか、プリンタから印刷出力させるか、外部記憶媒体に転送し記憶させる。
(効果)
以上詳述したようにこの実施形態では、ペン型デバイスPDに、皮膚温度センサ101、脈波センサ102、皮膚電位センサ103、加速度センサ104及び圧力センサ105を設け、これらのセンサにより測定された生体情報を、パーソナル・コンピュータPCへ無線ネットワークNWを介して送信する。これに対しパーソナル・コンピュータPCでは、上記ペン型デバイスPDから送信された各測定データを受信し、この受信された測定データの値を予め設定したしきい値範囲と比較して測定データ値がしきい値の範囲内であるか範囲外であるかを判定する。そして、上記測定データ値をそれぞれ人の集中状態を定義する「緊張」、「覚醒」及び「没入」からなる3つの要素に対応付け、上記各測定データ値としきい値との比較判定結果に応じて当該各測定データ値が対応付けられた上記3つの要素の値を増減する。そして、上記増減された「緊張」、「覚醒」及び「没入」からなる3つの要素値を三次元空間上にマッピングしたベクトル情報を生成し、このベクトルの値に対応する集中状態の推定結果を表す情報を集中状態推定テーブル223から読み出すようにしている。
したがって、測定された複数の生体情報が、「緊張」、「覚醒」及び「没入」からなる3つの要素により表されるベクトル情報に変換され、このベクトル情報がユーザの集中状態の推定結果として出力される。このため、ユーザの集中の状態を簡単かつ精度良くに推定することが可能となる。
また、図8に示すように指先の皮膚温度、脈波、皮膚電位の各測定値をいずれも「緊張」および「覚醒」の2つの要素に対応付け、各測定値の判定結果に応じて「緊張」および「覚醒」の2つの要素値を可変するようにしている。したがって、皮膚温度、脈波、皮膚電位の各測定値が上記2つ要素値にもれなく反映される。したがって、生体情報を3つの要素のいずれか1つのみに対応付ける場合に比べ、生体情報の値をより精度良くベクトル情報に変換することが可能となる。
さらに、ペン型デバイスPDに各種センサ101〜106を設けて、筆記時のユーザの生体情報を測定するようにしているので、温度センサや脈波センサ等のセンサ類をユーザに直接取着することなく、つまりユーザに測定のための特別な負担を強いることなくユーザの生体情報を測定することが可能となる。
[他の実施形態]
前記実施形態では、各種センサをペン型デバイスPDに、推定処理に必要な各種機能をパーソナル・コンピュータPCにそれぞれ設けた場合を例にとって説明したが、各種センサと推定処理に必要な各種機能を全てペン型デバイスPDに設けるようにしてもよい。また、ペン型デバイスの代わりに、スマートホンや携帯電話機、電子書籍端末、ゲーム機、カメラ、携帯型テレビ等を適用することができる。さらに、推定装置はパーソナル・コンピュータ以外にクラウドシステムのサーバ装置などに設けるようにしてもよい。
その他、測定装置及び推測装置の種類やその構成、生体情報の測定処理や集中状態推定処理の手順や処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
1…生体情報測定ユニット、2…集中状態推定ユニット、11…「緊張」測定部、12…「覚醒」測定部、13…「没入」測定部、14…クロック発生部、15…無線送信部、21…無線受信部、22…生体情報記憶部、23…生体情報比較部、24…集中状態算出部、25…集中状態記憶部、PD…ペン型デバイス、NW…無線ネットワーク、PC…パーソナル・コンピュータ、101…皮膚温度センサ、102…脈波センサ、103…皮膚電位センサ、104…筆加速度センサ、105…筆圧力センサ、106…周囲温度センサ、110…無線モジュール、120…制御部、200…制御ユニット、201…センサデータ取得制御部、202…センサデータ比較部、203…要素値変更部、204…集中状態ベクトル算出部、205…集中状態推定処理部、206…推定情報記憶制御部、207…推定情報出力制御部、210…無線ユニット、220…記憶ユニット、221…センサデータ記憶部、222…しきい値データ記憶部、223…集中状態推定テーブル、224…推定情報記憶部。

Claims (8)

  1. 複数の測定部により測定されたユーザの生理的状態及び動きの状態を表す複数の生体情報を、前記複数の測定部から取得する手段と、
    前記取得された複数の生体情報をそれぞれ予め設定したしきい値と比較する比較手段と、
    前記取得された複数の生体情報をそれぞれ人の集中状態を定義する緊張、覚醒及び没入からなる3つの要素のうち少なくとも一つの要素に対応付け、前記比較手段による前記各生体情報としきい値との比較結果に応じて、当該各生体情報が対応付けられた要素の値を変更する変更手段と、
    前記変更された3つの要素値を三次元空間上にマッピングしたベクトル情報を生成し、この生成されたベクトル情報を前記ユーザの集中状態の推定結果を表す情報として出力する手段と
    を具備することを特徴とする集中状態推定装置。
  2. 前記変更手段は、前記複数の生体情報の少なくとも一つを前記3つの要素のうちの2つ以上の要素に対応付け、前記比較手段による前記各生体情報としきい値との比較結果に応じて、当該各生体情報が対応付けられた2つ以上の要素の値をそれぞれ増減することを特徴とする請求項1記載の集中状態推定装置。
  3. ユーザに接触する状態で配置される測定装置と、この測定装置との間で無線回線を介して通信が可能な推定装置とを具備し、
    前記測定装置は、
    前記ユーザの生理的状態及び動きの状態を表す複数の生体情報を測定する複数種の測定部と、
    前記複数の測定部により測定された複数の生体情報を、前記無線回線を介して前記推定装置へ送信する無線送信部と
    を備え、
    前記推定装置は、
    前記測定装置から前記無線回線瀬を介して伝送された複数の生体情報を受信する手段と、
    前記受信された複数の生体情報をそれぞれ予め設定したしきい値と比較する比較手段と、
    前記受信された複数の生体情報をそれぞれ人の集中状態を定義する緊張、覚醒及び没入からなる3つの要素のうち少なくとも一つの要素に対応付け、前記比較手段による前記各生体情報としきい値との比較結果に応じて、当該各生体情報が対応付けられた要素の値を変更する変更手段と、
    前記変更された3つの要素値を三次元空間上にマッピングしたベクトル情報を生成し、この生成されたベクトル情報を前記ユーザの集中状態の推定結果を表す情報として出力する手段と
    を備えることを特徴とする集中状態推定システム。
  4. 前記推定装置の変更手段は、前記複数の生体情報の少なくとも一つを前記3つの要素のうちの2つ以上の要素に対応付け、前記比較手段による前記各生体情報としきい値との比較結果に応じて、当該各生体情報が対応付けられた2つ以上の要素の値をそれぞれ変更することを特徴とする請求項3記載の集中状態推定システム。
  5. ユーザの生理的状態及び動きの状態を表す複数の生体情報を受信して当該受信された複数の生体情報をそれぞれ予め設定したしきい値と比較する比較手段と、前記受信された複数の生体情報をそれぞれ人の集中状態を定義する緊張、覚醒及び没入からなる3つの要素のうち少なくとも一つの要素に対応付け、前記比較手段による前記各生体情報としきい値との比較結果に応じて、当該各生体情報が対応付けられた要素の値を変更する変更手段と、前記変更された3つの要素値を三次元空間上にマッピングしたベクトル情報を生成して、この生成されたベクトル情報を前記ユーザの集中状態の推定結果を表す情報として出力する手段を備える集中状態推定装置との間で、無線回線を介して通信が可能な筆記具であって、
    前記ユーザの皮膚温度を測定する温度センサ、皮膚の電位を測定する電位センサ及び脈波センサのうちの少なくとも1つと、前記ユーザによる筆記動作を測定する加速度センサ及び筆圧を測定する圧力センサのうちの少なくとも1つを、前記複数の生体情報を測定するための測定部として備え、
    かつ前記複数の測定部により測定された生体情報を、前記無線回線を介して前記集中状態推定装置へ送信する無線送信部を備えることを特徴とする筆記具。
  6. ユーザの整理情報をもとに当該ユーザの集中状態を推定する集中状態推定装置において行われる集中状態推定方法であって、
    前記集中状態推定装置が、複数の測定部により測定されたユーザの生理的状態及び動きの状態を表す複数の生体情報を、前記複数の測定部から取得する過程と、
    前記集中状態推定装置が、前記取得された複数の生体情報をそれぞれ予め設定したしきい値と比較する過程と、
    前記集中状態推定装置が、前記取得された複数の生体情報をそれぞれ人の集中状態を定義する緊張、覚醒及び没入からなる3つの要素のうち少なくとも一つの要素に対応付け、前記各生体情報としきい値との比較結果に応じて、当該各生体情報が対応付けられた要素の値を変更する過程と、
    前記集中状態推定装置が、前記変更された3つの要素値を三次元空間上にマッピングしたベクトル情報を生成し、この生成されたベクトル情報を前記ユーザの集中状態の推定結果を表す情報として出力する過程と
    を具備することを特徴とする集中状態推定方法。
  7. ユーザに接触する状態で配置される測定装置と、この測定装置との間で無線回線を介して通信が可能な推定装置とを具備するシステムにおいて行われる集中状態推定方法であって、
    前記測定装置が、前記ユーザの生理的状態及び動きの状態を表す複数の生体情報を複数種の測定部により測定する過程と、
    前記測定装置が、前記複数の測定部により測定された複数の生体情報を、前記無線回線を介して前記推定装置へ送信する過程と、
    前記推定装置が、前記測定装置から前記無線回線瀬を介して伝送された複数の生体情報を受信する過程と、
    前記推定装置が、前記受信された複数の生体情報をそれぞれ予め設定したしきい値と比較する過程と、
    前記推定装置が、前記受信された複数の生体情報をそれぞれ人の集中状態を定義する緊張、覚醒及び没入からなる3つの要素のうち少なくとも一つの要素に対応付け、前記各生体情報としきい値との比較結果に応じて、当該各生体情報が対応付けられた要素の値を変更する過程と、
    前記推定装置が、前記変更された3つの要素値を三次元空間上にマッピングしたベクトル情報を生成し、この生成されたベクトル情報を前記ユーザの集中状態の推定結果を表す情報として出力する過程と
    を具備することを特徴とする集中状態推定方法。
  8. 請求項1又は2記載の集中状態推定装置が具備する各手段に相当する処理を、前記集中状態推定装置が備えるコンピュータに実行させるプログラム。
JP2013030847A 2013-02-20 2013-02-20 集中状態推定システム、推定装置、筆記具、推定方法及びプログラム Pending JP2014158600A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013030847A JP2014158600A (ja) 2013-02-20 2013-02-20 集中状態推定システム、推定装置、筆記具、推定方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013030847A JP2014158600A (ja) 2013-02-20 2013-02-20 集中状態推定システム、推定装置、筆記具、推定方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2014158600A true JP2014158600A (ja) 2014-09-04

Family

ID=51610850

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013030847A Pending JP2014158600A (ja) 2013-02-20 2013-02-20 集中状態推定システム、推定装置、筆記具、推定方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2014158600A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016116811A (ja) * 2014-12-24 2016-06-30 学校法人 東洋大学 運動能力評価装置、運動能力評価システム及び運動能力評価方法
JP2017050803A (ja) * 2015-09-04 2017-03-09 株式会社東芝 電子機器及び方法
JP2017189471A (ja) * 2016-04-14 2017-10-19 パナソニックIpマネジメント株式会社 生体信号計測システム
JP2019136513A (ja) * 2016-09-01 2019-08-22 株式会社ワコム 座標入力処理装置、感情推定装置、感情推定システム及び感情推定用データベースの構築装置
CN113017632A (zh) * 2021-03-17 2021-06-25 陈思 一种智慧校园心理咨询辅助方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016116811A (ja) * 2014-12-24 2016-06-30 学校法人 東洋大学 運動能力評価装置、運動能力評価システム及び運動能力評価方法
JP2017050803A (ja) * 2015-09-04 2017-03-09 株式会社東芝 電子機器及び方法
JP2017189471A (ja) * 2016-04-14 2017-10-19 パナソニックIpマネジメント株式会社 生体信号計測システム
JP2019136513A (ja) * 2016-09-01 2019-08-22 株式会社ワコム 座標入力処理装置、感情推定装置、感情推定システム及び感情推定用データベースの構築装置
JP2021166751A (ja) * 2016-09-01 2021-10-21 株式会社ワコム 感情状態伝送用の信号フォーマット
JP2022048219A (ja) * 2016-09-01 2022-03-25 株式会社ワコム 感情推定装置、感情推定システム及び感情推定用情報格納部の構築装置
JP7108752B2 (ja) 2016-09-01 2022-07-28 株式会社ワコム 感情状態推定要求と返信情報とのやり取り方法
JP7189382B2 (ja) 2016-09-01 2022-12-13 株式会社ワコム 感情推定装置、感情推定システム及び感情推定用情報格納部の構築装置
CN113017632A (zh) * 2021-03-17 2021-06-25 陈思 一种智慧校园心理咨询辅助方法及系统

Similar Documents

Publication Publication Date Title
CN112955973B (zh) 基于深度神经网络来辨别精神行为属性的电子设备
CN104951069B (zh) 用于使用可穿戴传感器平台的生理测量的置信度指示
US10261947B2 (en) Determining a cause of inaccuracy in predicted affective response
US9955902B2 (en) Notifying a user about a cause of emotional imbalance
TWI432994B (zh) 感測回授方法和裝置
US20140085101A1 (en) Devices and methods to facilitate affective feedback using wearable computing devices
US20190246982A1 (en) Method and system for collecting and processing bioelectrical signals
KR20170001490A (ko) 전자 장치 및 생체 센서를 이용한 전자 장치의 기능 제어 방법
US20160113526A1 (en) Generating user information from autonomic nervous system parameters
WO2019031346A1 (ja) 評価依頼プログラム、評価依頼方法、及びコンピュータ装置
JP6026651B2 (ja) 電子機器およびデータ管理方法
JP2014158600A (ja) 集中状態推定システム、推定装置、筆記具、推定方法及びプログラム
RU2649519C2 (ru) Способ непрерывного контроля уровня напряженного состояния человека
Hernandez et al. Wearable motion-based heart rate at rest: A workplace evaluation
JP2019072486A (ja) 電子装置
TWI645834B (zh) 用於機會性測量及處理使用者的情境的裝置、方法及非暫態計算裝置可讀取媒體
JPWO2018042512A1 (ja) 活動量処理装置、活動量処理方法、及び、活動量処理プログラム
JP2014178970A (ja) 感情推定装置及び感情推定方法
CN118251176A (zh) 用于管理用户的压力的方法和电子装置
JP2015114761A (ja) 情報処理システム、電子機器、方法及びプログラム
JP6597900B2 (ja) 生体リズムの検出装置、検出方法、及び、検出プログラム
CN111698939B (zh) 生成与外部对象相关联的心率波动信息的方法及其设备
Bacchini et al. Emopad: An affective gamepad
US20210068668A1 (en) Electronic device and method for obtaining vital sign
Whang The emotional computer adaptive to human emotion