JP2020048610A - 状態評価システム - Google Patents

状態評価システム Download PDF

Info

Publication number
JP2020048610A
JP2020048610A JP2018178068A JP2018178068A JP2020048610A JP 2020048610 A JP2020048610 A JP 2020048610A JP 2018178068 A JP2018178068 A JP 2018178068A JP 2018178068 A JP2018178068 A JP 2018178068A JP 2020048610 A JP2020048610 A JP 2020048610A
Authority
JP
Japan
Prior art keywords
biological information
scene
unit
subject
specific scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018178068A
Other languages
English (en)
Inventor
健太郎 大城
Kentaro Oshiro
健太郎 大城
彰 一星
Akira Ichiboshi
彰 一星
一成 小松崎
Kazunari Komatsuzaki
一成 小松崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2018178068A priority Critical patent/JP2020048610A/ja
Publication of JP2020048610A publication Critical patent/JP2020048610A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】長期的なデータの蓄積を必要とせずに対象者のストレスや心的状態の評価を行うことができる状態評価システムを提供する。【解決手段】特定の場面において複数の対象者から特定の生体情報を取得する生体情報取得部10と、この生体情報取得部10により取得された対象者ごとの生体情報の類似度を判定する類似度判定部40と、この類似度判定部40による生体情報の類似度の判定結果に基づき、特定の場面における生体反応が複数の対象者のうち他の対象者と異なる対象者を検出する評価部50と、を備える。【選択図】図1

Description

本発明は、状態評価システムに関する。
種々のセンサを用いて人の生体情報(生体指標)を取得し解析して、対象者のストレスや心的状態を評価することが行われている。特許文献1には、ストレス負荷状態にて人体の複数の生理量を測定し、測定された複数の生理量に基づき、受けたストレスの度合いに応じて変化すべき複数の指標の値を導出し、各指標とストレスの間の相関性が近似している複数の被験者を1つの群として類別しておき、ストレス計測の対象とする人体が属すべき群を判定してストレス度の推定値を算出することが開示されている。また、特許文献2には、非言語情報を用いて、複数の被験者間のコミュニケーションにおける各被験者の心的状態を解析し、被験者間の関係を評価することが開示されている。
特許第3054708号公報 特許第6249490号公報
しかし、対象者の生体情報の解析に基づいて当該対象者が慢性的にストレスを受けていたり、うつ状態であったりすることを判断するには、対象者に関する長期的なデータの蓄積を要する。
本発明は、単に対象者の生体情報に基づいて評価する構成と比較して、長期的なデータの蓄積を必要とせずに対象者のストレスや心的状態の評価が可能なシステムを提供することを目的とする。
請求項1に係る本発明は、
特定の場面において複数の対象者から特定の生体情報を取得する生体情報取得手段と、
前記生体情報取得手段により取得された前記対象者ごとの前記生体情報の類似度を判定する判定手段と、
前記判定手段による前記生体情報の類似度の判定結果に基づき、前記特定の場面における生体反応が複数の対象者のうち他の対象者と異なる対象者を検出する検出手段と、
を備えることを特徴とする、状態評価システムである。
請求項2に係る本発明は、
前記複数の対象者を前記特定の場面における役割により各対象者を分類する分類手段をさらに備え、
前記判定手段は、前記分類手段の分類による役割ごとに各対象者の前記生体情報の類似度を判定し、
前記検出手段は、前記分類手段の分類による役割ごとに、前記特定の場面における生体反応が他の対象者と異なる対象者を検出することを特徴とする、請求項1に記載の状態評価システムである。
請求項3に係る本発明は、
前記特定の場面における映像および音声の少なくとも一方のデータを取得するデータ取得手段をさらに備え、
前記分類手段は、前記データ取得手段により取得されたデータに基づいて前記複数の対象者を分類することを特徴とする、請求項2に記載の状態評価システムである。
請求項4に係る本発明は、
前記分類手段は、前記データ取得手段により取得されたデータにおいて特定される前記対象者の各々の行動パターンと前記特定の場面との関係に基づき、当該特定の場面における各対象者の役割を推定し、当該各対象者を分類することを特徴とする、請求項3に記載の状態評価システムである。
請求項5に係る本発明は、
前記生体情報取得手段により取得された前記対象者の前記生体情報を保持する保持手段と、
前記保持手段に保持された前記生体情報のうち、前記特定の場面で取得された生体情報を識別する識別手段と、をさらに備え、
前記判定手段は、前記識別手段により識別された前記特定の場面における前記対象者ごとの前記生体情報の類似度を判定することを特徴とする、請求項1に記載の状態評価システムである。
請求項6に係る本発明は、
前記対象者による特定のデータに関連する操作履歴に基づき、当該対象者の状況が前記特定の場面に該当するか否かを特定する場面特定手段をさらに備え、
前記識別手段は、前記場面特定手段により特定された前記特定の場面における前記操作履歴の情報に基づき、当該特定の場面で取得された前記生体情報を識別することを特徴とする、請求項5に記載の状態評価システムである。
請求項1の発明によれば、個々の対象者自身の生体情報に基づいて評価する構成と比較して、長期的なデータの蓄積を必要とせずに対象者のストレスや心的状態の評価を行うことができる。
請求項2の発明によれば、特定の場面における役割を考慮せずに生体情報を判定する構成と比較して、役割の相違によりストレスや心的状態が他の対象者と異なることが想定される対象者を除くことにより精度の高い評価を行うことができる。
請求項3の発明によれば、特定の場面における各対象者の役割を手入力する構成と比較して、各対象者の役割を特定するのに要する手間を削減することができる。
請求項4の発明によれば、単に各対象者に関する映像や音声に基づいて役割を推定する構成と比較して、特定の場面において設定される役割との関係において各対象者の役割を精度よく推定することができる。
請求項5の発明によれば、特定の場面において取得された生体情報のみに基づいて対象者の状態を評価する構成と比較して、生体情報を取得した時間が異なっていても、同様の場面における対象者の状態を評価することができる。
請求項6の発明によれば、単に各対象者に関する映像や音声に基づいて役割を推定する構成と比較して、対象者の具体的な操作に応じて対象となる場面を特定できるため、精度の良い評価を行うことができる。
本実施形態による状態評価システムの全体構成を示す図である。 生体情報の例を示す図である。 状態評価システムの動作を示すフローチャートである。 状態評価システムが適用される対象場面の例を示す図である。 状態評価システムが適用される対象場面の他の例を示す図である。 状態評価システムの他の構成例を示す図である。 状態評価システムを実現するコンピュータのハードウェア構成例を示す図である。
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
<システム構成>
図1は、本実施形態による状態評価システムの全体構成を示す図である。状態評価システム100は、生体情報取得部10と、場面情報取得部20と、対象者分類部30と、類似度判定部40と、評価部50とを備える。
生体情報取得部10は、特定の場面において対象者から特定の生体情報を取得する。生体情報取得部10は、生体情報取得手段の一例である。ここで、「特定の場面」とは、複数の対象者により何らかの活動が行われる場面である。例えば、ミーティング、プレゼンテーション、講演等が挙げられる。また、「特定の場面」は、複数の対象者が共通の場面を享受するものであれば良く、必ずしも複数の対象者が同時にかつ物理的に同じ場所に参集している場合に限定されない。例えば、ネットワークを介して講義や学習を行うオンライン学習(Eラーニング、Web教育等とも言う)において、複数の対象者が同じ講義を受けたり同じ教材を学習する場面を「特定の場面」としても良い。この場合、各対象者は、それぞれ都合の良い時間帯に自身の環境で講義や教材を視聴すれば良い。以下、状態評価システム100の処理対象としての「特定の場面」を「対象場面」と呼ぶ。また、「対象者」とは、対象場面としての活動への参加者である。対象場面では、その場面で行われる活動内容によっては、参加者が複数の役割に分類されることがある。したがって、「対象者」は、適用される対象場面における役割(立場)の違いを考慮して特定される。対象者の分類の詳細は後述する。また、「生体情報」とは、対象者の人体が発する種々の情報であり、生理学的情報や解剖学的情報を含む。例えば、心拍数、血圧、皮膚電気活動(Electro Dermal Activity)情報、呼吸数、血圧、皮膚表面温度などが用いられる。「生体情報」は、各種のセンサや、センサで得られた情報を収集して処理するデータ処理装置から取得される。
場面情報取得部20は、対象場面における対象者の役割を特定するための情報を取得する。場面情報取得部20は、データ取得手段の一例である。対象者の役割を特定するための情報としては、映像データや音声データが用いられる。映像データは、例えば対象場面における活動が行われる場所に設置されたカメラにより取得される。音声データは、例えば対象場面における活動が行われる場所に設置されたマイクロフォンにより取得される。ここでは、映像データおよび音声データの両方を取得する構成としても良いし、いずれか一方を取得する構成としても良い。対象者の役割を特定するための情報として、どのようなデータを取得するかは、対象場面の種類やシステムの仕様等に応じて具体的に設定される。
対象者分類部30は、場面情報取得部20により取得したデータを用い、対象場面における各対象者の役割を分類する。対象者分類部30は、分類手段の一例である。具体的な分類は、対象場面の種類によって特定される。例えば、対象場面がミーティングである場合、対象者は、司会、書記 、参加者等に分類される。また、対象場面がプレゼンテーションである場合、対象者は、プレゼンター、聴衆等に分類される。また、対象場面が講演である場合、対象者は、講演者、聴衆等に分類される。また、対象場面がオンライン学習である場合、対象者は、講師、生徒等に分類される。対象者分類部30は、場面情報取得部20により取得したデータに基づき、対象場面における参加者(対象者)の姿勢や行動パターンから、その対象場面における対象者の役割を推定し、対象者を分類する。
類似度判定部40は、対象者分類部30により分類された対象場面における同じ役割に属す対象者の生体情報を比較し、類似度を判定する。類似度判定部40は、判定手段の一例である。「類似度」は、判定対象である生体情報の種類に応じて、対象者の状態を特徴付ける指標について判断される。具体的な指標としては、例えば、ピーク数、ピーク値、平均値、分散等が用いられる。類似度の判定は、生体情報取得部10により取得された生体情報ごとに行われる。判定対象として用いられる生体情報は、生体情報取得部10により取得される全ての生体情報でも良いし、対象場面の種類等に応じて特定されるいくつかの生体情報でも良い。また、対象場面の種類等によっては、その対象場面における対象者の反応を強く特徴付ける単一の生体情報のみを判定対象として用いても良い。判定対象である生体情報の類似の範囲は、生体情報の種類や対象場面の種類等に応じて個別に設定される。例えば、対象者間で一致度の高い指標については、類似範囲が狭くなり(少し外れると非類似と判定)、対象者間で一致度の低い指標については、類似範囲が広くなる(少々外れても類似と判定)。類似度判定部40は、判定対象である生体情報の種類に応じて選択される既存の統計的な手法を用いて判定される。
評価部50は、類似度判定部40の判定結果に基づき、対象者を評価する。評価部50は、対象場面の種類等に応じて定められた評価基準に応じて、評価結果が特異な対象者を検出する。言い換えれば、対象場面において生体情報から判断される生体反応が他の対象者と異なる対象者を検出する。評価部50は、検出手段の一例である。評価部50は、各生体情報についての類似度の判定結果に対して重みや優先度を設定し、総合的な評価を行う。重みや優先度は、例えば対象場面の種類等に応じて個別に設定される。
評価部50による評価は、対象者分類部30により分類された対象場面における役割ごとに行われる。例えば、プレゼンテーションの場面であれば、プレゼンターと聴衆という役割ごとに評価が行われる。ここで、プレゼンテーションの場面においてプレゼンターは、通常1名のみである。この場合、プレゼンターという役割の対象者には比較対象がいないことになるので特異な対象者の検出を行うことはできない。一方、プレゼンテーションの場面において聴衆は、通常、複数存在するので、聴衆という役割の対象者に対しては、特異な対象者の検出を行うことができる。このように、本実施形態において、評価結果に基づく特異な対象者の検出を行うには、対象場面において同じ役割の参加者が複数存在する必要がある。
図2は、生体情報の例を示す図である。図2には、ある対象場面における5人の参加者A、B、C、D、Eに関して生体情報取得部10により得られた、ある生体情報の例を示す図である。図2において、参加者Aの生体情報は実線で、参加者Bの生体情報は破線で、参加者Cの生体情報は一点鎖線で、参加者Dの生体情報は二点鎖線で、参加者Eの生体情報は点線で、それぞれ示されている。ここで、図2の生体情報が得られた対象場面はプレゼンテーションの場面であり、参加者Aはプレゼンター、参加者B、C、D、Eは聴衆であるものとする。すると、参加者B、C、Eの生体情報は近似したグラフを示し、参加者Aの生体情報および参加者Dの生体情報は、それぞれ、参加者B、C、Eの生体情報とは異なるグラフを示している。ただし、参加者Aは、他の参加者B、C、D、Eと異なる役割であるので、評価対象から外す。この結果、参加者Dの生体情報は、対象場面で同じ役割である参加者B、C、D、Eの生体情報の中で特異であることがわかる。
図2に示した参加者B、C、D、Eのように、特定の場面で特定の役割に該当する複数の参加者の中で、多くの参加者の生体情報が共通する傾向を示し、ごく少数の参加者の生体情報がそれとは異なる傾向を示す場合、その少数の参加者は、他の参加者と比較して過度の緊張や注意力の低下等の特異な反応を示していることがわかる。そして、共通の場面において他の多数の参加者とは異なる反応を示すことから、その少数の参加者は、慢性的にストレスを受けていたり、うつ状態であったりするといった特殊な内的状態である可能性があることが推定される。評価部50は、特定の場面において、生体情報が特異な傾向を示す参加者を検出し、検出された参加者を、そのような特殊な内的状態にあると評価する。
<状態評価システムの動作>
図3は、状態評価システム100の動作を示すフローチャートである。状態評価システム100の生体情報取得部10は、対象場面の種類に応じて生体情報を取得する(S301)。次に、対象者分類部30は、場面情報取得部20により取得された情報に基づき、対象場面の参加者(対象者)を分類し、評価対象者を特定する(S302)。次に、類似度判定部40は、各評価対象者に関して、生体情報取得部10により取得された生体情報の類似度を判定する(S303)。
次に、評価部50は、類似度判定部40による生体情報の類似度の判定結果に基づいて各評価対象者を評価する。評価部50は、各評価対象者のうち、ある評価対象者の生体情報が、他の多数の評価対象者の生体情報に対して非類似である場合に、その評価対象者が特殊な内的状態にあると評価する。したがって、各評価対象者の生体情報のうち、他の多数の評価対象者の生体情報に対して非類似の生体情報がある場合(S304でYES)、評価部50は、該当する(非類似の生体情報に対応する)評価対象者を示す情報を出力し、状態評価システム100の操作者に報知する(S305)。一方、他の多数の評価対象者の生体情報に対して非類似の生体情報がない場合(S304でNO)、評価部50は、該当する評価対象者がいない旨の通知を出力し、状態評価システム100の操作者に報知する(S306)。
<適用例>
図4は、状態評価システム100が適用される対象場面の例を示す図である。図4に示す対象場面は、プレゼンテーションや講演、講義等のように、特定の話者と大勢の聴衆が存在する場面である。このような対象場面では、通常、図4に示すように話者と聴衆とが対面している。したがって、場面情報取得部20としてカメラを用い、対象場面の参加者の画像を解析すれば、顔や体の向き、行動パターン(プレゼンターや講演者は対象場面の多くの時間で発話していると想定される)等から対象場面における各参加者の役割を特定することができる。また、プレゼンターや講演者は、聴衆と比較して発話時間が非常に長く、連続的という特徴がある。質疑応答等で聴衆が発言する場合もあるが、そのようなやり取りは、対象場面の全体の中では短時間に限定される。したがって、場面情報取得部20としてマイクロフォンを用い、収録した音声を解析して発話者を特定することにより、対象場面における各参加者の役割を特定することができる。なお、上述したように、この種の対象場面では、話者が一人だけであることが多い。したがって、聴衆のみを評価部50による評価対象者としても良い。
図5は、状態評価システム100が適用される対象場面の他の例を示す図である。図5に示す対象場面は、ミーティング等のように、参加者の多くが同等であり、相互に意見を交換し合うような場面である。ここで、ミーティングには様々な種類があり、その種類に応じて参加者の役割も様々に想定される。ミーティングの種類は、例えば、報告型ミーティング、分析型ミーティング、オープン・ディスカッション型ミーティング、提案型ミーティング等に分けることができる。報告型ミーティングとは、議題に関連する報告を行うことを目的とするミーティングである。報告型ミーティングの参加者の役割としては、報告を行う報告者役、報告を受ける聴取(被報告者)役がいる。なお、上述したプレゼンテーションや講演等と異なり、報告者役および聴取役の双方から報告内容に関する発言(質疑応答等)が頻繁に行われることが想定される。また、これらの他に、司会役、書記役等の役割が設定される場合もある。分析型ミーティングとは、反省会等のように議題に関して分析的な意見の交換を行うことを目的とするミーティングである。分析型ミーティングでは、例えば全ての参加者が同等に発言権等を有する役割となる。また、進行役等の役割が設定される場合もある。オープン・ディスカッション型ミーティングとは、討議事項の決定等を目的とするミーティングである。オープン・ディスカッション型ミーティングの参加者の役割としては、例えばディスカッションを進行させるための司会役、書記役等の役割が設定される。提案型ミーティングとは、特定の参加者が議題に関する提案を行うことを目的とするミーティングである。提案型ミーティングの参加者の役割としては、提案を行う提案者役、提案を受ける聴取(被提案者)役がいる。なお、上述したプレゼンテーションや講演等と異なり、提案者役および聴取役の双方から提案内容に関する発言(質疑応答等)が頻繁に行われることが想定される。
これらの対象場面において、多くの場合、参加者は、図5に示すようにテーブル等を囲んで相対する。司会者や進行役等が設定される場合、相対する参加者群から離れていることが多いと考えられる。そこで、場面情報取得部20としてカメラを用い、対象場面の参加者の画像を解析し、顔や体の向き、行動パターン等から対象場面における各参加者の役割を特定することができる。また、場面情報取得部20としてマイクロフォンを用い、収録した音声を解析して各参加者の発話量や発話のタイミング等を特定することにより、報告者や提案者と聴取者を特定することができる。なお、この種の対象場面において、司会者や進行役等は、他の参加者とは異なり、ミーティング自体には参加しない場合もある。したがって、これらのミーティングに参加しない特殊な役割の対象者を評価部50による評価対象者から外しても良い。また、ミーティングの参加者の一部が司会者や進行役を兼ねる場合、プレゼンテーションや講演の話者と異なり、対象場面における立場は他の参加者と大きく変わらないと考えられる。そこで、このような場合は司会者や進行役を分けることなく評価部50による評価対象者としても良い。
対象場面として、図4、5を参照して説明したような各参加者が同じ場所に参集する対象場面でなく、オンライン学習等のようにネットワークを介して複数参加者を共通の対象場面に参加させるものが考えられる。この場合、参加者が使用しているアプリケーション・ソフトウェアの状態に基づいて、各参加者が参加する対象場面を特定し得る。また、アプリケーション・ソフトウェアの種類に基づいて、参加者の役割も特定し得る。例えば、対象場面を特定する情報として、オンライン学習において何れの講義を受講中か、何れの動画を再生中か等の情報が、オンライン学習のアプリケーション・ソフトウェアの実行状況に基づいて特定される。また、オンライン学習における特定の講義の受講者、特定の動画の視聴者といった、対象場面における役割が特定される。したがって、特定の講義の開始から特定時間経過時における対象者(受講者、視聴者等)の生体情報を取得することにより、特定の対象場面における同一の役割を有する参加者の生体情報を収集することができる。
また、ネットワークを介して対象場面を提供する場合、複数の参加者が同一の時間帯で対象場面を共有しなくても良い。すなわち、オンライン学習の講座等として特定される対象場面は、各参加者が任意のタイミングで享受すれば良い。そして、受講履歴や対象場面における端末装置(パーソナル・コンピュータ等)の操作履歴に基づいて、対象場面の特定のタイミングにおける参加者の動作を特定することができる。また、オンライン学習の受講時等に生体情報を取得して履歴情報を保持し、受講履歴や操作履歴と対比することにより、対象場面の特定のタイミングにおける参加者の生体情報を特定することができる。したがって、これらの履歴情報を用いることにより、物理的時間の同一性に関わらず、同じ対象場面の同じタイミングにおける複数参加者の生体情報を比較することができる。言い換えれば、相異なる時間軸における参加者どうしの生体情報を比較することができる。
<状態評価システムの他の構成例>
上記の状態評価システム100は、同一の対象場面で同一の役割を担う複数の対象者(参加者)の生体情報を比較し、ある対象者の生体情報が他の多くの対象者の生体情報と異なる(特異な)値や傾向を示すことを検知した場合に、その特異な生体情報が検知された対象者が慢性的なストレスやうつ状態等の特殊な内的状態であると評価した。ここで、慢性的なストレスやうつ状態等の内的状態と生体情報との関係には、個人差によるばらつきがあることが想定される。すなわち、ある対象者にとっては特殊な内的状態を表す程度の変化であっても、他のある対象者にとっては日常的に起こり得る程度の変化である場合がある。そこで、かかる個人差を考慮し、より精度の高い評価を行うために、個々の対象者に関して、種々の対象場面における生体情報を取得して蓄積し、同種の対象場面における生体情報を対比して、特殊な内的状態か否かを判定することを行っても良い。
図6は、状態評価システムの他の構成例を示す図である。図6に示す状態評価システム110において、生体情報取得部10、場面情報取得部20、対象者分類部30、類似度判定部40および評価部50の各々は、図1を参照して説明した状態評価システム100の各構成要素と同様である。図6に示す状態評価システム110は、さらに、生体情報保持部60と、識別部70と、場面特定部80とを備える。
生体情報保持部60は、生体情報取得部10により取得された対象場面における対象者の生体情報を保持する。生体情報は、その生体情報が取得された日時、対象場面の識別情報、対象者の識別情報と対応付けて保持される。生体情報保持部60は、保持手段の一例である。
識別部70は、過去に生体情報取得部10により取得され、生体情報保持部60に保持された生体情報のうち、特定の対象場面で取得された生体情報を識別する。一例として、識別部70は、生体情報取得部10により生体情報が取得された現在の対象場面と同様の場面で取得された生体情報を、生体情報保持部60に保持されている生体情報の中から識別する。識別部70は、識別手段の一例である。
場面特定部80は、対象場面が対象者による特定の操作が行われる場面である場合、対象場面で行われた操作履歴に基づき、対象者の状況が対象場面に該当するか否かを特定する。例えば、ネットワークを介して行われるオンライン学習等の対象場面では、対象者による端末装置の操作により講義や動画の再生が開始されるため、操作履歴に基づいて対象場面を特定することができる。また、各参加者が同じ場所に参集するミーティング等の対象場面においても、資料の提示等のために端末装置の操作等が行われる場合は、操作履歴を取得し、取得した操作履歴を場面特定部80による場面の特定に用いることができる。場面特定部80は、場面特定手段の一例である。場面特定部80による場面の特定が行われる場合、識別部70は、場面特定部80により特定された対象場面における操作履歴の情報に基づき、対象場面で取得された生体情報を識別しても良い。類似度判定部40は、識別部70により識別された同じ対象場面における対象者ごとの生体情報の類似度を判定する。
以上のように、対象者に関して、対象場面で取得した生体情報を対象場面の識別情報と共に保存しておき、同様の現在の対象場面で取得された生体情報と比較することにより、その対象者において同様の対象場面における生体情報の傾向を把握し得る。この対象者個人の生体情報の傾向を考慮して、同じ対象場面における他の対象者の生体情報と比較することにより、個人差を考慮した評価を行うことができる。
また、評価部50による評価の個人差を軽減する手法としては、上記のように同様の対象場面における生体情報の履歴に基づいて生体情報の傾向を把握する手法の他、平静時の生体情報に基づき内的状態を評価するための指標の基準を補正する手法が考えられる。例えば、対象場面の参加者ごとに、発話や端末装置の操作等の緊張を伴う動作をしていないときの生体情報を取得して比較し、この比較結果における各参加者の生体情報の差異を個人差による差異とする。そして、対象場面における生体情報の類似判断および評価において、この平静時の生体情報の差異を考慮して評価を行う。
<ハードウェア構成例>
図7は、状態評価システム100、110を実現するコンピュータのハードウェア構成例を示す図である。図7に示すコンピュータ200は、演算手段であるCPU(Central Processing Unit)201と、記憶手段である主記憶装置(メイン・メモリ)202および外部記憶装置203を備える。CPU201は、外部記憶装置203に格納されたプログラムを主記憶装置202に読み込んで実行する。主記憶装置202としては、例えばRAM(Random Access Memory)が用いられる。外部記憶装置203としては、例えば磁気ディスク装置やSSD(Solid State Drive)等が用いられる。また、コンピュータ200は、表示装置(ディスプレイ)210に表示出力を行うための表示機構204と、コンピュータ200のユーザによる入力操作が行われる入力デバイス205とを備える。入力デバイス205としては、例えばキーボードやマウス等が用いられる。また、コンピュータ200は、ネットワークに接続するためのネットワーク・インターフェイス206を備える。なお、図7に示すコンピュータ200の構成は一例に過ぎず、本実施形態で用いられるコンピュータは図7の構成例に限定されるものではない。例えば、記憶装置としてフラッシュ・メモリ等の不揮発性メモリやROM(Read Only Memory)を備える構成としても良い。
図1に示した状態評価システム100および図6に示した状態評価システム110が図7に示すコンピュータにより実現される場合、生体情報取得部10および場面情報取得部20は、例えば、ネットワーク・インターフェイス206により実現される。対象者分類部30、類似度判定部40および評価部50の各機能は、例えば、CPU201がプログラムを実行することにより実現される。また、図6に示した状態評価システム110が図7に示すコンピュータにより実現される場合、生体情報保持部60は、例えば、主記憶装置202や外部記憶装置203により実現される。さらに、識別部70および場面特定部80は、例えば、CPU201がプログラムを実行することにより実現される。
以上、本発明の実施形態について説明したが、本発明の技術的範囲は上記実施形態には限定されない。例えば、上記の実施形態では、場面情報取得部20により取得された情報に基づいて対象場面における対象者の役割を特定する構成としたが、対象場面の各参加者あるいは一部の参加者が、手入力にて対象場面における自身の役割を入力する構成としても良い。
また、上記の実施形態では、状態評価システム100、110を実現するハードウェア構成の例として、コンピュータ200により実現する例を説明したが、システムを単体のコンピュータにより実現する構成に限定せず、システムの各機能をネットワーク上に設けられた複数のサーバマシンに分散させて実現しても良い(いわゆるクラウド環境等)。その他、本発明の技術思想の範囲から逸脱しない様々な変更や構成の代替は、本発明に含まれる。
10…生体情報取得部、20…場面情報取得部、30…対象者分類部、40…類似度判定部、50…評価部、60…生体情報保持部、70…識別部、80…場面特定部、100、110…状態評価システム

Claims (6)

  1. 特定の場面において複数の対象者から特定の生体情報を取得する生体情報取得手段と、
    前記生体情報取得手段により取得された前記対象者ごとの前記生体情報の類似度を判定する判定手段と、
    前記判定手段による前記生体情報の類似度の判定結果に基づき、前記特定の場面における生体反応が複数の対象者のうち他の対象者と異なる対象者を検出する検出手段と、
    を備えることを特徴とする、状態評価システム。
  2. 前記複数の対象者を前記特定の場面における役割により各対象者を分類する分類手段をさらに備え、
    前記判定手段は、前記分類手段の分類による役割ごとに各対象者の前記生体情報の類似度を判定し、
    前記検出手段は、前記分類手段の分類による役割ごとに、前記特定の場面における生体反応が他の対象者と異なる対象者を検出することを特徴とする、請求項1に記載の状態評価システム。
  3. 前記特定の場面における映像および音声の少なくとも一方のデータを取得するデータ取得手段をさらに備え、
    前記分類手段は、前記データ取得手段により取得されたデータに基づいて前記複数の対象者を分類することを特徴とする、請求項2に記載の状態評価システム。
  4. 前記分類手段は、前記データ取得手段により取得されたデータにおいて特定される前記対象者の各々の行動パターンと前記特定の場面との関係に基づき、当該特定の場面における各対象者の役割を推定し、当該各対象者を分類することを特徴とする、請求項3に記載の状態評価システム。
  5. 前記生体情報取得手段により取得された前記対象者の前記生体情報を保持する保持手段と、
    前記保持手段に保持された前記生体情報のうち、前記特定の場面で取得された生体情報を識別する識別手段と、をさらに備え、
    前記判定手段は、前記識別手段により識別された前記特定の場面における前記対象者ごとの前記生体情報の類似度を判定することを特徴とする、請求項1に記載の状態評価システム。
  6. 前記対象者による特定のデータに関連する操作履歴に基づき、当該対象者の状況が前記特定の場面に該当するか否かを特定する場面特定手段をさらに備え、
    前記識別手段は、前記場面特定手段により特定された前記特定の場面における前記操作履歴の情報に基づき、当該特定の場面で取得された前記生体情報を識別することを特徴とする、請求項5に記載の状態評価システム。
JP2018178068A 2018-09-21 2018-09-21 状態評価システム Pending JP2020048610A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018178068A JP2020048610A (ja) 2018-09-21 2018-09-21 状態評価システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018178068A JP2020048610A (ja) 2018-09-21 2018-09-21 状態評価システム

Publications (1)

Publication Number Publication Date
JP2020048610A true JP2020048610A (ja) 2020-04-02

Family

ID=69994371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018178068A Pending JP2020048610A (ja) 2018-09-21 2018-09-21 状態評価システム

Country Status (1)

Country Link
JP (1) JP2020048610A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022025200A1 (ja) * 2020-07-31 2022-02-03
WO2022230068A1 (ja) * 2021-04-27 2022-11-03 株式会社I’mbesideyou 動画像分析プログラム
WO2023013026A1 (ja) * 2021-08-06 2023-02-09 株式会社I’mbesideyou 動画像分析システム
JP7438588B2 (ja) 2022-02-01 2024-02-27 株式会社I’mbesideyou 動画像分析プログラム
US11935329B2 (en) 2021-03-24 2024-03-19 I'mbesideyou Inc. Video analysis program

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
JP2008306586A (ja) * 2007-06-08 2008-12-18 Tokyo Denki Univ 情況推定方法、情況推定プログラム及びネットワークシステム
JP2009163431A (ja) * 2007-12-28 2009-07-23 Nec Corp コミュニケーション算定装置、会合関数算定装置、会合関数算定方法および会合関数算定用プログラム
JP2013003942A (ja) * 2011-06-20 2013-01-07 Konica Minolta Holdings Inc 交流関係評価装置、交流関係評価システム、交流関係評価プログラムおよび交流関係評価方法
JP2013017722A (ja) * 2011-07-13 2013-01-31 Hitachi Ltd 複数脳賦活観測システム
JP2013030160A (ja) * 2011-06-20 2013-02-07 Canon Electronics Inc 情報分析装置、情報分析方法、情報分析システム、情報記録装置およびプログラム
JP2013239976A (ja) * 2012-05-16 2013-11-28 Ricoh Co Ltd 情報処理装置、投影システム及び情報処理プログラム
JP2017073104A (ja) * 2015-10-09 2017-04-13 富士ゼロックス株式会社 推薦情報を提示する情報処理装置、システム及びプログラム
JP2017127593A (ja) * 2016-01-22 2017-07-27 株式会社リコー 活動量測定システム、活動量測定方法、プログラム
JP2017215715A (ja) * 2016-05-31 2017-12-07 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US20180153458A1 (en) * 2016-12-07 2018-06-07 Microsoft Technology Licensing, Llc Stress feedback for presentations

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
JP2008306586A (ja) * 2007-06-08 2008-12-18 Tokyo Denki Univ 情況推定方法、情況推定プログラム及びネットワークシステム
JP2009163431A (ja) * 2007-12-28 2009-07-23 Nec Corp コミュニケーション算定装置、会合関数算定装置、会合関数算定方法および会合関数算定用プログラム
JP2013003942A (ja) * 2011-06-20 2013-01-07 Konica Minolta Holdings Inc 交流関係評価装置、交流関係評価システム、交流関係評価プログラムおよび交流関係評価方法
JP2013030160A (ja) * 2011-06-20 2013-02-07 Canon Electronics Inc 情報分析装置、情報分析方法、情報分析システム、情報記録装置およびプログラム
JP2013017722A (ja) * 2011-07-13 2013-01-31 Hitachi Ltd 複数脳賦活観測システム
JP2013239976A (ja) * 2012-05-16 2013-11-28 Ricoh Co Ltd 情報処理装置、投影システム及び情報処理プログラム
JP2017073104A (ja) * 2015-10-09 2017-04-13 富士ゼロックス株式会社 推薦情報を提示する情報処理装置、システム及びプログラム
JP2017127593A (ja) * 2016-01-22 2017-07-27 株式会社リコー 活動量測定システム、活動量測定方法、プログラム
JP2017215715A (ja) * 2016-05-31 2017-12-07 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US20180153458A1 (en) * 2016-12-07 2018-06-07 Microsoft Technology Licensing, Llc Stress feedback for presentations

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022025200A1 (ja) * 2020-07-31 2022-02-03
WO2022025200A1 (ja) * 2020-07-31 2022-02-03 株式会社I’mbesideyou 反応解析システムおよび反応解析装置
JP7242114B2 (ja) 2020-07-31 2023-03-20 株式会社I’mbesideyou 反応解析システムおよび反応解析装置
US11935329B2 (en) 2021-03-24 2024-03-19 I'mbesideyou Inc. Video analysis program
WO2022230068A1 (ja) * 2021-04-27 2022-11-03 株式会社I’mbesideyou 動画像分析プログラム
WO2023013026A1 (ja) * 2021-08-06 2023-02-09 株式会社I’mbesideyou 動画像分析システム
JP7438588B2 (ja) 2022-02-01 2024-02-27 株式会社I’mbesideyou 動画像分析プログラム

Similar Documents

Publication Publication Date Title
JP2020048610A (ja) 状態評価システム
Nguyen et al. Hirability in the wild: Analysis of online conversational video resumes
US11127232B2 (en) Multi-camera, multi-sensor panel data extraction system and method
Masip et al. Training to detect what? The biasing effects of training on veracity judgments
Harbison et al. A new measure of child vocal reciprocity in children with autism spectrum disorder
US20230011923A1 (en) System for providing a virtual focus group facility
CN112819665A (zh) 课堂状态的评估方法和相关装置、设备
JP2009267621A (ja) 通信装置
TWI642026B (zh) 心理與行為狀態評量暨診斷方法及系統
Liapis et al. UDSP+ stress detection based on user-reported emotional ratings and wearable skin conductance sensor
WO2022064621A1 (ja) ビデオミーティング評価システム及びビデオミーティング評価サーバ
WO2022168180A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022168185A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
JP7445331B2 (ja) ビデオミーティング評価端末及びビデオミーティング評価方法
US11935329B2 (en) Video analysis program
JP7477909B2 (ja) ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム
JP7388768B2 (ja) 動画像分析プログラム
Barthet et al. Knowing Your Annotator: Rapidly Testing the Reliability of Affect Annotation
WO2022064617A1 (ja) ビデオミーティング評価システム及びビデオミーティング評価サーバ
WO2022064620A1 (ja) ビデオミーティング評価システム及びビデオミーティング評価サーバ
WO2022064619A1 (ja) ビデオミーティング評価システム及びビデオミーティング評価サーバ
WO2022249462A1 (ja) 動画像分析システム
WO2022064618A1 (ja) ビデオミーティング評価システム及びビデオミーティング評価サーバ
WO2023032058A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022168174A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230131