JP2019145067A - 生産性及び業務品質の最適化のために人物の感情集中の状態を検出することを目的とした生理学的検出のシステム並びに方法、コンピュータ実装方法、プログラム、及びコンピュータシステム - Google Patents

生産性及び業務品質の最適化のために人物の感情集中の状態を検出することを目的とした生理学的検出のシステム並びに方法、コンピュータ実装方法、プログラム、及びコンピュータシステム Download PDF

Info

Publication number
JP2019145067A
JP2019145067A JP2018187930A JP2018187930A JP2019145067A JP 2019145067 A JP2019145067 A JP 2019145067A JP 2018187930 A JP2018187930 A JP 2018187930A JP 2018187930 A JP2018187930 A JP 2018187930A JP 2019145067 A JP2019145067 A JP 2019145067A
Authority
JP
Japan
Prior art keywords
person
computer
implemented method
concentration
employee
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018187930A
Other languages
English (en)
Inventor
リー マシュー
Lee Matthew
リー マシュー
英人 織田
Hideto Oda
英人 織田
ジェイン スミート
Jain Sumeet
ジェイン スミート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of JP2019145067A publication Critical patent/JP2019145067A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311Scheduling, planning or task assignment for a person or group
    • G06Q10/063114Status monitoring or status determination for a person or group
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】装着型センサ及び環境センサを使用して収集された生理学的パラメータに基づいて、従業員がどの程度業務作業に集中しているかを推定し、且つ検出するシステムを提供する。【解決手段】システムは、従業員が集中したフローの状態(意識の上で作業に完全に没頭し、精力的に従事しているときの感情状態)にあるかどうかを識別する。また、従業員が不安の状態にあるかどうか(作業の要求度/難易度が高すぎる場合など)、又は退屈の状態にあるかどうかを識別する。集中状態が検出されると、作業の習熟具合や調整を監視して、集中状態を改善し(休憩の推奨、作業の再割当て、目標の明確化)、製造環境で生産ロットに質の低下が生じている可能性の識別や、技能訓練の効果の測定、生産性を改善するための個人用インフォマティクスの生成など、従業員の作業及び業務品質を最適化する。【選択図】図3

Description

開示している実施形態は、概して生産性及び業務品質の最適化のために従業員の感情集中の状態を検出することを目的とした生理学的検出のシステム並びに方法に関する。
従業員は、生産的に作業するために自身の注意力を管理し、集中しなければならない。しかしながら、従業員は様々な要因により、勤務時間中にその集中レベルを変えるのが一般的である。とりわけ多くの場合、従業員は、作業の難易度が自身の技能水準や個人的又は環境的状況とよく一致する場合に最も生産的且つ効率的に作業する。このバランスを取ることで、従業員は集中感覚又は感情の「フロー」感覚、すなわちやりがいがあるけれども困難な(しかしながら達成可能な)作業に意識の上で完全に没頭し、且つ精力的に従事しているときの感情を得ることができる。
これとは対照的に、常に難しすぎる作業をこなすことは不安を生じさせる恐れがあり、この不安は健康状態の悪化、医療費の上昇、業務品質の低下、及び業務や生産性を損なうことにつながる。常に簡単すぎる作業をこなしていると、従業員は職場で退屈を感じ、自身の業務や会社に対する関心を失って、これにより不注意が発生したり、従業員の定着率が低くなったりする恐れがある。これらの条件を特定することは、管理者が適切な作業を適切な従業員に割り当てたり、特定の従業員に追加の技能訓練を提供する根拠を示したり、個々の従業員が集中力を回復できる休憩を取ること(又は他の調整)を促進したり、集中力不足により業務品質が低下する可能性がある時間帯を特定したりすることを可能にする上で有用である。
従業員の感情集中の状態を測定するための現行の方法では、従業員に自己報告するよう求めることが必要となるが、これは不定期であり、混乱を生じ、且つ職場では必ずしも実行可能とはならない可能性がある。従来の技術においては、接触リードを皮膚又は頭皮に装着することが必要となる、心電図検査(EKG)及び脳波検査(EEG)などのやや侵襲的な生理学的センサの使用について更に研究されてきた。従業員の感情集中の状態についてより継続性があり、あまり妨害的でない測定手段を設けることにより、従業員の業務品質と生産性とを改善するための様々な用途に有用なデータが提供されることになる。
K. Ara et al., "Predicting flow state in daily work through continuous sensing of motion rhythm," 2009 Sixth International Conference on Networked Sensing Systems (INSS), Pittsburgh, PA, 2009, pp.1-6. http://ieeexplore.ieee.org/abstract/document/5409930/ S. C. Muller and T. Fritz, "Stuck and Frustrated or in Flow and Happy: Sensing Developers’ Emotions and Progress." 2015 IEEE/ACM 37th IEEE International Conference on Software Engineering, Florence, 2015, pp. 688-699. doi: 10.1109/ICSE.2015.334 URL: http://ieeexplore.ieee.org/stamp/stamp.jsp? tp=&arnumber=7194617&isnumber=7194545 Ane Alberdi, Asier Aztiria, Adrian Basarab, Towards an automatic early stress recognition system for office environments based on multimodal measurements: A review, Journal of Biomedical Informatics, Volume 59, 2016, Pages 49-75, ISSN 1532-0464, http://dx.doi.org/10.1016/j.jbi.2015.11.007 Tahmine Tozman, Elisabeth S. Magdas, Hamish G. MacDougall Regina Vollmeyer, Understanding the psychophysiology of flow: A driving simulator experiment to investigate the relationship between flow and heart rate variability, Computers in Human Behavior, Volume 52,2015, Pages 408-418, ISSN 0747-5632, http://dx.doi.org/10.1016/J.chb.2O15.06.023
本開示の技術は、人物の感情集中の状態を測定するための従来の方法に関連する上記及び他の問題における1又は複数の問題を、実質的に回避する方法並びにシステムを提供することを目的とする。
本明細書に記載している本発明の概念における1つの態様によれば、複数のセンサ及び中央処理装置を組み込んだコンピュータシステムで実行されるコンピュータ実装方法が提供され、前記コンピュータ実装方法は、前記複数のセンサを使用して、人に関する複数の生理学的パラメータを検出することと、前記中央処理装置を使用して、前記人に関して検出された複数の生理学的パラメータを集約することと、前記中央処理装置を使用して、前記人に関して検出された複数の生理学的パラメータから複数の心理学的データのフィーチャ(feature)を抽出することと、前記抽出された複数の心理学的データのフィーチャを、人の集中状態を予測するための予測モデルと併せて使用し、前記人の集中状態を予測することと、を含む。
1又は複数の実施形態では、生成されるモデルは一般化モデルである。
1又は複数の実施形態では、生成されるモデルは個人化モデルである。
1又は複数の実施形態では、前記方法は、人が集中状態を自己報告したものを受領することであって、人の集中状態を予測するために生成されるモデルは、受領した人の自己報告による集中状態にさらに基づいている、ことをさらに含む。
1又は複数の実施形態では、前記方法は、人に関して検出された複数の生理学的パラメータに基づいて、人に確認を促すことをさらに含む。
1又は複数の実施形態では、前記方法は、予測された人の集中状態を使用して、人に行動を推奨することをさらに含む。
1又は複数の実施形態では、前記推奨される行動は休憩である。
1又は複数の実施形態では、前記方法は、休憩の影響を評価することをさらに含む。
1又は複数の実施形態では、前記方法は、予測された人の集中状態を使用して、人への通知を有効又は無効にすることをさらに含む。
1又は複数の実施形態では、前記方法は、予測された人の集中状態を使用して、人の稼働状況を変更することをさらに含む。
1又は複数の実施形態では、前記複数のセンサは装着型センサを備える。
1又は複数の実施形態では、前記複数のセンサは周辺センサを備える。
1又は複数の実施形態では、前記複数のセンサは環境センサを備える。
1又は複数の実施形態では、前記方法は、予測された人の集中状態を使用して、集中状態を維持するための人に対する個人向けプロンプトを提供することをさらに含む。
1又は複数の実施形態では、前記方法は、予測された人の集中状態を使用して、人による業務に関係のないアプリケーションへのアクセスを管理することをさらに含む。
1又は複数の実施形態では、前記方法は、予測された人の集中状態を使用して、目標設定、計画又は考察アプリケーションを構成することをさらに含む。
1又は複数の実施形態では、前記方法は、管理ダッシュボードを使用して、予測された人の集中状態を管理者に報告することをさらに含む。
1又は複数の実施形態では、前記予測された人の集中状態を報告することは、人に関連する生産性に関する情報と連携して実行される。
1又は複数の実施形態では、前記方法は、予測された人の集中状態に基づいて、人に関連する所定の産出量について注意喚起することをさらに含む。
1又は複数の実施形態では、前記方法は、予測された人の集中状態に基づいて、人が受講した訓練を評価することをさらに含む。
1又は複数の実施形態では、前記方法は、予測された人の集中状態に基づいて、人の職場環境を変更することをさらに含む。
本明細書に記載している本発明の概念における別の態様によれば、中央処理装置及び複数のセンサを組み込んだコンピュータシステムにおいて実行されると、前記コンピュータシステムに方法を実行させるプログラムが提供され、前記方法は、前記複数のセンサを使用して、人に関する複数の生理学的パラメータを検出することと、前記中央処理装置を使用して、前記人に関して検出された複数の生理学的パラメータを集約することと、前記中央処理装置を使用して、人に関して検出された複数の生理学的パラメータから複数の心理学的データのフィーチャを抽出することと、前記抽出された複数の心理学的データのフィーチャを、人の集中状態を予測するための予測モデルと併せて使用し、前記人の集中状態を予測することと、を含む。
本明細書に記載している本発明の概念におけるさらに別の態様によれば、中央処理装置、複数のセンサ、及び前記コンピュータシステムに方法を実行させるコンピュータ可読命令一式を記憶するメモリを組み込んだコンピュータシステムが提供され、前記方法は、前記複数のセンサを使用して、人に関する複数の生理学的パラメータを検出することと、前記中央処理装置を使用して、前記人に関して検出された複数の生理学的パラメータを集約することと、前記中央処理装置を使用して、人に関して検出された複数の生理学的パラメータから複数の心理学的データのフィーチャを抽出することと、前記抽出された複数の心理学的データのフィーチャを、人の集中状態を予測するための予測モデルと併せて使用し、前記人の集中状態を予測することと、を含む。
本発明に関連するさらなる態様については、以下の説明に一部を記載し、また一部はその説明から明らかとなり、又は本発明の実施によって理解されてもよい。本発明の態様は、以下の詳細な説明及び添付の特許請求の範囲で特に指摘している要素並びに様々な要素及び態様の組み合わせによって実現且つ達成されてもよい。
上記及び下記の説明は例示的且つ説明的なものに過ぎず、特許請求の範囲に記載の発明又はその適用を何ら限定することを意図するものではないことが理解される。
添付の図面は本明細書に組み込まれ、且つその一部を構成しており、本発明の実施形態を例示し、その説明と共に、本発明の概念の原理を説明し、且つ図示する役割を果たしている。具体的には、以下のとおりである。
図1は、生産性及び業務品質の最適化のために従業員の感情集中の状態を検出することを目的とした生理学的検出のシステムの例示的な実施形態を示した図である。 図2は、生産性及び業務品質の最適化のために従業員の感情集中の状態を検出することを目的とした生理学的検出のシステムの例示的な実施形態に関連して使用可能となる、様々な周辺装置を示した図である。 図3は、生産性及び業務品質の最適化のために従業員の感情集中の状態を検出することを目的とした生理学的検出の方法並びにシステムの実施形態における、フローチャートの例示的な実施形態を示した図である。 図4は、管理ダッシュボードの例示的な実施形態を示した図である。 図5は、管理ダッシュボードの例示的な実施形態を示した図である。 図6は、管理ダッシュボードの例示的な実施形態を示した図である。 図7は、生産性及び業務品質の最適化のために従業員の感情集中の状態を検出することを目的とした生理学的検出のためのコンピュータシステム700における例示的な実施形態を示した図である。
以下の詳細な説明では添付の図面を参照し、ここでは同一の機能要素を同様の番号で示している。前述の添付の図面は、限定としてではなく例示として、本発明の原理と一致する特定の実施形態及び実装形態を示している。これらの実装形態は、当業者が本発明を実施することができるように十分に詳細に記載されており、また他の実装形態を利用してもよく、様々な要素における構造変化及び/又は置換が、本発明の範囲及び趣旨から逸脱することなく行われてもよいことが理解される。したがって、以下の詳細な説明については、限定された意味で解釈すべきではない。さらに、記載している本発明の様々な実施形態は、汎用コンピュータ上で実行されるソフトウェアの形態で、専用ハードウェアの形態で、又はソフトウェアとハードウェアとの組み合わせで実装されてもよい。
本明細書に記載している実施形態の1つの態様によれば、装着型センサ及び環境センサを使用して収集された生理学的パラメータに基づいて、従業員が業務作業にどれほど集中しているかを推定し、且つ検出するソリューションが提供されている。記載している実施形態(個人化の有無にかかわらず)では、従業員が集中したフローの状態にあるか、すなわち、従業員が意識の上で作業に完全に没頭し、且つ精力的に従事しているときの感情状態にあるかどうかを識別することができ、この状態は、通常、従業員の技能レベルと当該作業の難易度とのバランスが取れているときにもたらされる。記載している実施形態では、従業員が不安の状態にあるかどうか(たとえば、作業の要求度/難易度が、当該従業員の技能に対して高すぎる場合など)、又は退屈の状態にあるかどうか(仕事が簡単すぎる場合など)を識別することもできる。
1又は複数の実施形態では、従業員の集中状態がひとたび検出されると、その情報を、作業の習熟具合や調整を監視して、従業員の集中状態を改善したり(たとえば、休憩の推奨、作業の再割当て、及び目標の明確化)、製造環境において生産ロットに質の低下が生じている可能性を識別したり、技能訓練の効果を測定したり、従業員自身の生産性を改善するための個人用インフォマティクスを生成したりするなど、従業員の作業及び業務品質を最適化するための様々な用途に使用することができる。
1又は複数の実施形態では、本発明の方法は、装着型センサ、周辺センサ、及び環境センサを使用して、従業員の様々な生理学的信号を測定することを含み、記載しているシステムでは、そこから従業員の感情集中の状態を推定し、且つ従業員の状態情報を管理者に提供したり、又はこれを、従業員自身の個人的な考察や調整に使用できるようにしている。生理学的データは、従業員が自身の業務作業を遂行するときにリアルタイムで捕捉され、機械学習モデルを使用して、従業員の集中状態に関する予測が立てられ、また結果として得られる状態情報がダッシュボード又は他のエンドユーザアプリケーションに送信されて、従業員又は管理者がこれを表示し、且つ操作する。
図1は、生産性及び業務品質の最適化のために従業員の感情集中の状態を検出することを目的とした生理学的検出のシステムの例示的な実施形態を示した図である。図示している実施形態では、様々な装着型センサ、周辺センサ並びに環境センサ101、102及び103をそれぞれ使用して、従業員の生理学的パラメータが収集されている。様々な実施形態では、従業員の装着型センサ101は、リストバンド装着型センサ、アームバンド装着型センサ、イヤークリップセンサ、胸部ストラップセンサ、センサ付き小型イヤホン、衣類装着型センサ及び/又はリングセンサを含んでいてもよいが、これらに限定されない。周辺センサ102は、シートクッションセンサ、カメラ又はウェブカメラ、赤外線(IR)アイトラッカ(eye tracker)及び/又はマウス若しくはキーボードを含んでいてもよいが、これらに限定されない。最後に、環境センサ103は、占有センサ及び/又は近接センサを含んでいてもよいが、これらに限定されない。なお、上記のセンサタイプは例示的なものに過ぎず、記載している生産性及び業務品質の最適化のために従業員の感情集中の状態を検出することを目的とした生理学的検出のシステムと共に、現存しているか、又は将来開発される他のタイプのセンサを使用してもよい。したがって、記載している本発明は、特定のセンサタイプ又は構成に限定されない。
1又は複数の実施形態では、様々なセンサ101、102及び103は、様々なセンサデータを収集し、且つ収集されたデータをサーバ105に送信するように構成されている。様々な実施形態では、前述のデータ送信を、無線(WIFI又はBluetooth(登録商標)低エネルギー)ゲートウェイ104を使用して実行してもよい。また、他の任意のデータ送信プロトコルを使用してもよい。
1又は複数の実施形態では、サーバ105は、受信したセンサデータを集約して同期するセンサデータプロセッサ106を実行している。またサーバ105は、フィーチャ抽出部107、モデル更新部108、ユーザクエリ管理部109、及び注意状態予測部110を実行している。その動作の過程でサーバ105は、前述のセンサ101、102及び103が供給するセンサデータ111と、ユーザクエリ応答データ112とを使用している。その結果、サーバ105は予測されたユーザ状態113を生成する。
図2は、生産性及び業務品質の最適化のために従業員の感情集中の状態を検出することを目的とした生理学的検出のシステムの例示的な実施形態に関連して使用可能となる、様々な周辺装置を示した図である。具体的には、上記のサーバ105は、以下の周辺装置のうちの1又は複数と通信したり、連動して動作してもよい。具体的には、従業員に情報を供給し、且つ従業員の応答及び/又はコマンドを受信するためのユーザインターフェース装置201が設けられていてもよい。ユーザインターフェース装置201は、パソコン(PC)、スマートフォン、スマートウォッチ、タブレットコンピュータ、スマートスピーカ及び/又は人工知能(AI)アシスタントを含んでいてもよいが、これらに限定されない。
1又は複数の実施形態では、付加的に又は代替的に、パソコン(PC)を使用して実装できる、生産性コーチ202が設けられていてもよい。様々な実施形態では、生産性コーチ202は、従業員の集中状態を維持するための個人向けプロンプトを従業員に提供し、従業員による業務に関係のないアプリケーションへのアクセスを管理し、且つ従業員のための目標設定、計画、及び考察アプリケーションを構成している。
1又は複数の実施形態では、スマートフォン、スマートウォッチ、PC、アンビエントディスプレイ、又はチャットボット若しくはスマートスピーカなどのAIアシスタントに基づいて実装できる、休憩リマインダ203がさらに設けられていてもよい。休憩リマインダ203は、ユーザが休憩を適切に取るようにスケジュールを立てて促し、且つこのような休憩取得の効果を測定するように動作してもよい。
1又は複数の実施形態では、ユーザの注意状態に応じて通知をミュート又はミュート解除し、他の従業員が当該従業員のフローを妨害しないように、当該従業員の稼働状況を変更するように構成される通知マネージャ204がさらに設けられていてもよい。前述の通知マネージャ204を、スマートフォン、スマートウォッチ、PC及び/又は従業員のオフィスのドアに掲げる対応不可サインなどのオフィスディスプレイに基づいて実装してもよい。
図3は、生産性及び業務品質の最適化のために従業員の感情集中の状態を検出することを目的とした生理学的検出の方法並びにシステムの実施形態における、フローチャートの例示的な実施形態を示した図である。まず、装着型センサ301と環境センサ301との組み合わせを使用して、従業員の生理学的信号を検出する。続いて、センサデータ集約部302を使用して、収集されたセンサデータを集約し、且つ同期する。その後、フィーチャ抽出部303を使用して、センサデータから心理学的データのフィーチャを抽出する。抽出された心理学的データのフィーチャは、生理学的フィーチャに基づいて従業員の集中状態306を推定するために使用する、一般化モデル304又は個人化モデル305を訓練するために使用される。1又は複数の実施形態では、前述の集中状態における個人化モデルを、ユーザが業務作業を遂行するときに自身の集中状態を自己報告するように促し、且つ前記ユーザから受領した新たな応答に基づいて、前記モデルを更新することによって構築してもよい。判定された従業員の集中状態308及びそのパターンを、情報ダッシュボードを使用して表示してもよい。最後に、従業員の集中状態情報を使用して従業員の環境を変更するか、又は中断マネージャ309及び休憩アドバイザ310を手段としたユーザプロンプト装置307を使用して、従業員に確認を促す。
当業者には理解されるように、「フロー」の概念はポジティブ心理学の分野から来ている。フローは注意、集中、及び制御の感覚が増す中で、ある活動に完全に没頭し、且つ精力的に従事しているときの主観的感情として定義されている。職場においてフローを経験することは、創造性、モチベーション、及び仕事の満足度の上昇と相関することが証明されている。より具体的には、以下の9つの要素がフローのような状態と関連している。
(1)難易度と技能とのバランス(作業は難しいが、難易度がその人の技能に適合している)、
(2)行動と意識との融合(行動が自動的に感じられ、行動シーケンスを実行するための注意資源をほとんど又は全く必要としない)、
(3)明確な目標、
(4)明白なフィードバック、
(5)高度な集中、
(6)制御の感覚、
(7)自己意識の喪失(自己内省的思考と他者からの評価への恐れがない)、
(8)時間感覚の変化(時間が通常より早く、又は遅く進むように感じ得る)、及び
(9)自己目的的な経験(行動を遂行すると同時にポジティブ感情がもたらされ、これは内発的報酬反応、つまり、作業を遂行すること自体が目標になる感覚の一部であり得る)。
フローを経験するにあたり、最大の前提条件の1つとなるのは、従業員の技能と従業員の業務作業における難易度とのバランスが取れていることである。たとえば、ある特定の組立作業を遂行する訓練を受けているか、又は習熟している工場従業員が、その作業を難しいと感じている(自身の技能を超えるほどに難しい)場合、従業員は作業を遂行するときに、フローの感覚を経験する可能性が高い。対照的に、高度な訓練を受けた従業員が、自身が簡単すぎると感じる作業(従業員がより高度な技能を発揮する必要がない)を遂行するように指示された場合、従業員はフローよりむしろ、退屈を経験する可能性が高い。未習熟の従業員又は新人の従業員に、自身が難しすぎると感じる作業が割り当てられている場合、作業の要求度が自身の技能レベルに対して高すぎる恐れがあるため、従業員は不安とストレスとを経験する可能性が高い。したがって、従業員の技能と作業の難易度とのバランスを取ることは、従業員が業務でフローの感覚を感じるために不可欠である。
当業者には理解されるように、従業員の技能又は従業員が感じる作業の難易度を測定することは、必ずしも容易ではない。しかしながら、我々は従業員が作業を遂行するときに引き起こされる生理学的反応を測定することができ、また、フロー/退屈/不安のような異なる集中状態と相関する生理学的パターンが存在している可能性がある。
(生理学的データ検出、集約、及びフィーチャ抽出。)
本明細書に記載している1又は複数の実施形態では、装着型検出と環境型検出との組み合わせを使用して、従業員の集中状態に関連する生理学的信号を捕捉している。使用される特定のセンサは、業務環境(たとえば、情報労働者のオフィス又は工場労働者の工場フロア)に適していなければならない。センサは邪魔にならず、業務の遂行を妨げず、また、従業員の集中状態が時間の経過とともに変化する可能性があるため、生理学的データを比較的連続的に捕捉するものでなければならない。
本発明の一実施形態では、従業員の心拍数、心拍変動、皮膚電位、皮膚温度、及び手の動きを検出できる、当技術分野で周知のMicrosoft Band 2などの装着型センサを使用することができる。1又は複数の実施形態では、業務作業を遂行している間の手足の動きが大きすぎて、リストバンドのフォームファクタが実現可能でない場合に、耳に装着又は上腕に装着する心拍センサを使用することもできる。他の実施形態では、従業員の筋活動、血中酸素飽和度及び血中グルコースレベルを推定できる別の装着型センサを使用することもできる。
1又は複数の実施形態では、特に従業員が職場でほとんど静止したままの状態である場合、他の非装着型のセンサ(専門ソフトウェア又はアイトラッカを備えるウェブカメラなど)を使用して、従業員の瞳孔の大きさ及び瞳孔運動並びに従業員の呼吸数又は心拍数などの生理学的信号を収集することもでき、この場合、ウェブカメラを従業員の顔に向かって取り付けることができる。
なお、本明細書では、ある特定のセンサを例示のために記載しているが、本明細書に記載している概念に関連して、他の任意の適切な装着型センサ又は非装着型センサを使用することができ、したがって本発明は、本明細書に示した例示的なセンサに限定されない。
1又は複数の実施形態では、異なるセンサソースからのセンサデータがセンサゲートウェイ(たとえば、モバイル機器、コンピュータ、又はサーバ)に送信され、そこでデータが集約され、且つ同期タイムスタンプが割り当てられる。その後、未処理の生理学的データは、たとえば以下の工程の1又は複数を使用して補正される。
1又は複数の実施形態では、あるパーセンテージ(たとえば、20%)だけ異なる連続する間隔の長さがデータから除去され、心拍数のための鼓動間隔の異常値補正が行われるが、これはこうした鼓動がノイズと見なされるからである。付加的に又は代替的に、一方の眼のみ又は両眼とも検出されなかった(センサのエラーのため、又は従業員の頭部が範囲外にあるために)場合の瞳孔のデータは、無効なデータを排除する目的で削除される。
1又は複数の実施形態では、皮膚電位(EDA)のコンダクタンス値のうちで人間の皮膚コンダクタンスとして許容範囲外であるものは、ノイズを除去する目的で削除される。付加的に又は代替的に、皮膚電位パターンのうちで、EDAにおいて実変化又は実スパイクではなく動きアーチファクトを示すものは削除され、失われたデータが補間される。
続いて、以下のフィーチャのうちの1又は複数が、補正されたデータに基づいて計算される。1又は複数の実施形態では、心拍変動フィーチャについては、時間領域(たとえば、RR間隔の平均、前記間隔の標準偏差など)と周波数領域(たとえば、総電力、低周波数、高周波数など)とを分析することによって計算されている。また、1又は複数の実施形態では、長時間のデータ間隔又は基本データセットを通して個人について左右の瞳孔径の正規化を行い、次いで正規化された左右の瞳孔径の平均が決定される。さらに、1又は複数の実施形態では、皮膚電位の平均及び分散は、ある間隔にわたって決定される。
またさらに、1又は複数の実施形態では、ある間隔にわたる皮膚コンダクタンス応答(すなわち、ピーク)の数が計算されている。ピークは、まず信号の一次導関数を計算して、ゼロ交差を探すことによって特定できる。負から正へと交差する導関数信号はピーク事象の開始を示し得、正から負への交差は、元の信号における実ピーク応答レベルを示し得る。従業員の以前の皮膚電位の範囲に基づいてピークの振幅の閾値を設定し、ここではより小さい閾値については、EDAで非常に小さい範囲を示す従業員に使用できる。
(従業員の集中状態の予測)
1又は複数の実施形態では、検出され、且つ補正された生理学的データから得られるフィーチャを、従業員の集中状態を予測するように訓練された機械学習モデルに供給することができる。1又は複数の実施形態では、様々なモデルを使用して、特定の使用事例に応じた様々な分類を出力することができる。
・フロー状態か非フロー状態か
・不安状態か非不安状態か
・退屈状態か非退屈状態か
・待機状態か非待機状態か
・フロー状態か退屈状態か不安状態か
1又は複数の実施形態では、機械学習モデルを一般化して(すなわち、当該従業員のデータを使用しないで訓練している)、標準的な従業員のフロー状態を予測することができる。前記モデルを、特定の従業員のデータを組み込むことにより、特定の従業員用に個人化することもできる。個人化により、より正確な予測が生成されるが、これは個々の従業員の生理機能に固有の側面となって現れているからである。
1又は複数の実施形態では、機械学習モデルの個人化においては、従業員(又は訓練を受けた監視者)が定期的に自身の集中状態について報告することが必要となる。前記システムは、スマートフォン、スマートウォッチ、又は従業員のコンピュータを介して、自身の集中状態について報告するように従業員に対してプロンプトを提示することができる。これらのプロンプトは、ユーザの集中状態(たとえば、退屈、不安、フロー、待機)及び集中度に対応する一組の即答ボタンを有することができる。これらの応答は、応答に時間的に先行するデータの間隔に関連している。個人化モデルは、これらの追加の事例を使用して自身を再訓練し、従業員の生理学的フィーチャと集中状態との関係を更新し、且つその動作を改善することができる。
1又は複数の実施形態では、システムプロンプトは従業員の集中状態を変更してもよい。あまり応答を求めない代替形態の1つは、休憩時間中や、従業員が業務作業を遂行していないときなどの、事後の集中状態の分類付けを促すことである。従業員が有する、以前の作業時間(その日の早い時間帯)における集中状態を想起するメタ認知能力を支援するために、作業中に環境的キューを受け取り、これをプロンプトを提示して示すことができる。キューには従業員のコンピュータ画面のスクリーンショット、従業員のビデオ、又は職場の周囲の音声を含めることができる。
(モデルの訓練及び再訓練の例示的な手順)
1又は複数の実施形態では、以下の例示的な手順を使用して、前述の人物の集中状態を予測するためのモデルを訓練且つ再訓練している。当業者には理解されるように、以下の手順は例示的なものに過ぎず、他の適切な手順が記載している目的のために使用され得るので、これを限定的な意味で解釈するべきではない。
データチャンク(data chunking):新たなデータについては、そのフレームの特性を示すのに必要な最小サンプル数に基づいて、まず適切な長さのウィンドウに対してチャンクが実行される。所与の任意のフィーチャに関する最小サンプル数を含まないウィンドウがあれば、必要に応じて破棄又はアップサンプリングされる。たとえば、心拍変動の周波数領域統計を計算するには、分析のために最小心拍数が必要となる(採用する特定の分析に応じて構成可能でなければならない)。必要な数よりも少ない心拍数がウィンドウに記録された場合、心拍数を最小カウントにアップサンプリング(upsample)するか、又は訓練データからウィンドウを破棄することができる。ウィンドウは、構成可能な期間によって互いに重複することもある。ウィンドウの長さと重複とは、各ユーザと予測における所望の時間粒度とに基づいて調整できるハイパーパラメータである。
フィーチャ計算:フィーチャのベクトルは、そのウィンドウからのセンサデータに基づいて計算されている。フィーチャの例を前項に記載している。このベクトルはまた、ユーザの集中状態でラベル付けされている。
標準化:ベクトルのフィーチャは、そのユーザのために捕捉されたデータ内で標準化され、異なるユーザ間の個人差の背景を明らかにしている。標準化では、ユーザの各フィーチャの範囲を計算し、未処理の非標準フィーチャ値を0(最小)〜1(最大)などの標準範囲にマッピングするか、又は平均の中央値が0にある場合は、1及び−1が平均から1標準偏差を表している。
モデル訓練と予測:ラベル付けされたフィーチャのベクトルは、データ点と決定境界との間の損失関数を最小化する確率的勾配降下法又はニュートン法を用いて、SVM又はロジスティック回帰などの訓練ルーチンに渡されている。フィーチャの時間ウィンドウを入力し、最も高い確率のクラスを返すことによって、当該モデルから予測が行われている。
集約:前記モデルは特定の大きさの時間ウィンドウで訓練されているので、予測はウィンドウの大きさに多少依存している可能性がある。ウィンドウの大きさが大きい場合、小さなウィンドウが大きなウィンドウの予測を表すように、小さなウィンドウの予測を集約する必要がある。簡単な方法としては、単にすべての小さなウィンドウにおける多数派の予測を選択して、大きなウィンドウを分類するという方法がある。大きなウィンドウについては、前記予測が複数の小さなウィンドウにわたってどのように変化するかを分析することによって、より詳細に特徴付けることもできる。たとえば、大きなウィンドウの前半が主に1つのクラス、たとえば「フロー」を有し、その後半が主に別のクラス、たとえば「不安」を有する場合、大きなウィンドウを「欲求不満が増大中」として分類することができる。これらの上位レベルの状態は、現在の状態だけでなく、時間の経過に伴う状態の変化をも検出することに依存するアプリケーションに有用であり得る。
強化:前記システムは、ユーザの特定のパラメータに応じてその動作を個人化することができる。前記システムは、ユーザに自身の注意状態を自己報告するようにプロンプトを送信することができる。前記プロンプトを、携帯電話、職場のコンピュータ、スマートウォッチ、又はスマートスピーカなどのユーザインターフェース装置に送信することができる。前記プロンプトへの応答は、プロンプトに時間的に先行するデータのウィンドウにラベル付けするために使用されている。ラベル付けされたウィンドウは、モデルを再訓練するために、上記の工程に従って使用されている。前記プロンプトのタイミング及びコンテキストは、前記システムによってもカスタマイズできる。たとえば、前記プロンプト送信のスケジュールは、その日のほとんどをカバーするために半定期的且つ断続的とすることができる。前記スケジュールは、ユーザインターフェース装置によって捕捉されたコンテキストイベント(contextual events)によってトリガされてもよい。たとえば、スマートウォッチ又はスマートフォンは、ユーザがしばらくの間着座していたことを検出し、その瞬間にユーザに確認を促すことができる。前記システムは、ユーザによるユーザインターフェース装置の操作に基づいてトリガされてもよい。たとえば、ユーザが職場のコンピュータ又はスマートフォンで特定のアプリケーションを起動した後に、プロンプトをトリガすることができる。前記プロンプトの方式は、コンテキストに応じて変更することもできる。たとえば、ユーザがすでにスマートフォンを使用している場合は、スマートフォンにプロンプトを表示できる。ユーザの応答の速さ(又は応答の不供給)により、その後のプロンプトを同じコンテキストで提示すべきかどうかを判定することもできる。さらに、前記システムは、予測の不確実性を利用して、いつプロンプトを提示するかを決定することもできる。たとえば、現在の状態が、2つの注意状態間の決定境界に非常に近い値を有するインスタンスに一致する場合、プロンプトを提示することができる。追加的にラベル付けされたインスタンスは、注意状態の分類及び検出の改善に役立つ追加情報を供給できる。したがって、注意状態を自己報告するためのプロンプトをトリガするにあたり使用されるルーチンを、1)今後学習する追加のインスタンスを収集し、2)ユーザへの妨害を最小限に抑えるために、前記システムによってカスタマイズし、且つ駆動することができる(またそうすべきである)。
(使用事例1:集中状態を保ちながらの作業中断及び休憩の管理)
1又は複数の実施形態では、従業員の集中状態の予測を使用して、個々の従業員の労働条件を改善し、自身の業務において集中状態を達成又は維持できるようにして、従業員がより生産的になるように導くことができる。
1又は複数の実施形態では、前記システムの中断マネージャモジュールは、従業員の集中状態の予測を使用して、特定の業務に関係のないアプリケーション又はウェブサイトへのアクセスと、電子メール、テキストメッセージ、Slackなどからの通知の受信とを遮断又は有効にすることができる。たとえば、従業員がフロー状態から退屈状態へと移行していることが検出された場合、集中したフローの状態から従業員を引き戻す恐れのある業務に関係のないウェブサイト又は気を散らす通知を遮断することは有益である可能性があり、これがユーザが集中したフローの状態を維持する一助となり得る。従業員が深く集中している状態にあっては、自ら注意散漫を招くようなことをする可能性は低くなると思われ、このため、前記システムは通常の通知の受信とすべてのウェブサイトへの自由なアクセスを許可して、業務目的でこれらを自由に使用できるようにしている。
1又は複数の実施形態では、前記システムの休憩アドバイザモジュールは、従業員自身の集中状態に応じて従業員に休憩を取るべき時間を推奨することができる。たとえば、前記システムが従業員がある時間帯に不安状態にあることを検出した場合、前記システムは、休憩を取ってストレスレベルを低下させるようにユーザに推奨することができる。また、前記モジュールは、従業員が退屈を感じたときに休憩を取るように推奨し、休憩から復帰したときに集中状態に入るように、具体的な作業工程を推奨することもできる。休憩アドバイザは、前記システムによる集中状態の予測を使用して、休憩取得による影響を測定でき、これはつまり、従業員が休憩後、(いかに迅速に)集中したフローの状態に入っていったかどうかを測定することである。
(使用事例2:集中状態を保つための作業割当て及び業務品質の管理)
業務作業中の従業員の集中状態を知ることにより、従業員の技能レベルがその業務作業にどの程度適しているかを管理者が良好に理解できるようになる。たとえば、新しく訓練を受けた従業員は、新たに学習した作業に最初は不安を感じる恐れがあるが、ひとたびより実用的な技能を身に付け、経験を積むと、その従業員は徐々に集中したフローの状態に移行する可能性がある。長期間同じ作業をこなしている従業員は、その作業が簡単すぎるせいで退屈を経験する可能性があり、このせいでより刺激を求めるあまり、その作業に集中できず、ミスの発生につながる恐れがある。したがって、より困難な作業を割り当てることにより、この従業員の能力を最大限に活用することができる。生理学的に得られた集中状態は、従業員が作業をどの程度習得したかを示す指標となり得る。
工場のラインで従業員を担当する管理者の事例について考察されたい。前記ラインにいる従業員が集中力を失うか、又は注意散漫になると(内部的又は外部的な妨害のいずれかのために)その従業員は多くのミスを犯す可能性があり、また業務の品質も低下することになる。前記管理者は、管理ダッシュボードを介して各従業員の集中状態についてほぼリアルタイムの指標を受信することができ、その例示的な実施形態については図4及び図5に示している。図4に示すように、前述のダッシュボード401は、ウェブクライアント又はダッシュボード404を使用してアクセスされるウェブサーバ402に基づいて、実装されている。ウェブサーバは、従業員割当て403と、生産ログ405とを含む従業員データを使用している。最後に、ウェブサーバ402は、実生産ライン406とインターフェースしてもよい。
図5に示す管理ダッシュボード500は、予測された集中状態情報501と、生産ログデータベースデータ502と、従業員割当てログ503とを受信し、この情報を生産管理者に表示している。前記ダッシュボードには、工場ラインにいる各従業員の現在の集中状態と集中状態の履歴とを表示でき(図6を参照)、これは、生産ラインの様々な作業場601〜606にいる従業員の集中状態607〜612を示すダッシュボードの実施例である。従業員の集中レベル評価(611)にカーソルを置くと、その従業員の詳細613が表示される。前記ダッシュボードは、特定の期間(たとえば、毎日、毎週、毎月、毎年)にわたる従業員の集中レベル、生産性、及び作業割当てについて要約したレポートを生成することもできる。このレポートは、管理者がその作業に従業員が適合しているかを評価したり、追加のトレーニングが必要であるかを判断したり、又は従業員自身が職場での自身の生産性を自己評価したりするのに使用することができる。
管理者は、集中力の低下した特定の従業員の事例に対して、当該従業員に休暇を取らせたり、ラインにおける役割を交代させたり、ミスを発見するために、単に行動又は作業の様子をより注意深く監視したりすることによって、取り組むことができる。前記システムは、ラインにおいて異なる役割又は作業601〜606を実行中の従業員の集中状態を追跡することができ、またどの作業に従業員が最も集中しがちであり、当該従業員がフローの状態に入っていくために、追加的にどの技能訓練又は経験を必要としている可能性があるかについて、管理者に推奨することができる。管理者は、予測された従業員の集中状態を使用して、従業員の作業環境を調整した場合(たとえば、新しいツール、新しい手順、新しいチームを導入するなど)の、従業員の作業に注意を向けたり集中したりする能力への影響を測定することもできる。
各従業員には、最終組立体の一部である特定の部品に相当する特定の機能を、ラインにおいて具体的に割り当てられるので、管理者は、ある部品に割り当てられた従業員の集中状態を、その部品が組み立てられたときの潜在的な品質を表す指標として使用することができる。たとえば、特定の部品を担当する一群の従業員の集中状態が、午前中に全員低レベルを示したことがダッシュボードによって判明した場合、その生産ロットにタグを付けて、品質保証検査及び検証の追加実施を指示することができる。生産システムでは、検査すべき製品をラインから無作為に選択するだけでなく(今日の一般的な実施方法のように)、度々製造誤差の潜在的な原因となる低い又は可変レベルの集中状態を、測定において当該従業員が示した時点に該当する製品を選択することができる。
異なる集中状態を誘発するように設定された作業に対して、従業員がどのような生理学的反応を示すかを測定するための基礎研究が行われた。この研究から収集されたデータを使用して、業務作業(オフィスの)を遂行しているときの従業員の集中状態を予測するための機械学習モデルを構築した。
基礎研究の参加者(すべての研究者)は、自身の技能と難易度とのバランスにおいて差がある3つの異なる作業を遂行するように指示され、前記作業は、スプレッドシートを編集すること(退屈な気分につながる「簡単すぎる」状態)と、なじみのないテーマに関する特許文書を読むこと(不安感につながる「難しすぎる」状態)と、自身の業務に関連のある研究論文を読む又は要約すること(フローのような状態に相当する「技能と作業の難易度とのバランスが取れた」状態)と、を含む。各参加者は、これらの作業をそれぞれ20〜25分間、順不同で実行した。各作業の間に、参加者は自然の写真を表示するスライドショーを見ながら3分間休憩した。各作業の後、参加者は作業について、難易度、及びフローの様々な特性の点で評価するアンケートへの回答を完了した。アンケートの回答から、前記作業に関して、研究論文の作業が他の作業と比べて最もフローのような状態をもたらし、特許文書の作業が難しすぎると判断され、スプレッドシートの作業が退屈で、簡単すぎると判断されるという、意図された操作効果があったことが分かった。
前記研究を通じて、手首装着型装置であって、心拍数データ、皮膚電位、皮膚温度、及び加速度データ又はジャイロデータ(当該モデルには含まれていない)を収集するMicrosoftBand2を使用しながら生理学的データを収集した。追加の心拍数データも、耳たぶに留めるセンサを使用して収集した。Tobii社のアイトラッカを使用して、参加者の瞳孔の大きさを追跡した。
未処理のセンサデータから得られたフィーチャに基づいて、様々なタイプの分類器(たとえば、SVM、決定木、ランダムフォレストなど)を使用する機械学習モデルが、様々な集中状態を識別するために開発された。SVMを使用した初期のフィーチャ群及びモデルパラメータ群による予備的な結果では、前記モデルが約72%の精度でフロー状態と非フロー状態とを区別できることを示している。前記モデルは、約80%の精度で不安状態と非不安状態とを区別することができる。休憩(待機)時間帯については、97%近くの精度で作業時間帯と区別することができる。
これらの予備的な結果は、生理学的信号に基づいて、職場設定において集中状態を区別することができるという最初の証拠を提供しているので、有望である。
(例示的なコンピュータプラットフォーム)
図7は、生産性及び業務品質の最適化のために従業員の感情集中の状態を検出することを目的とした生理学的検出のためのコンピュータシステム700における例示的な実施形態を示した図である。1又は複数の実施形態では、コンピュータシステム700を、当業者に周知のデスクトップコンピュータのフォームファクタ内に実装してもよい。別の実施形態では、コンピュータシステム700を、ラップトップ型若しくはノート型パソコン、又はスマートフォン若しくはタブレットコンピュータなどの他の任意のモバイルコンピューティング装置に基づいて実装してもよい。
コンピュータシステム700は、コンピュータシステム700の様々なハードウェアコンポーネントを介して且つその間で情報を送信するためのデータバス704又は他の相互接続機構若しくは通信機構と、情報を処理し、且つ他の計算及び制御タスクを実行するためにデータバス704と電気的に結合される中央処理装置(CPU又は単にプロセッサ)701とを含んでいてもよい。コンピュータシステム700はまた、様々な情報とプロセッサ701によって実行される命令とを記憶するためにデータバス704に結合される、ランダムアクセスメモリ(RAM)又は他の動的記憶装置などのメモリ712を含む。メモリ712はまた、磁気ディスク、光ディスク、ソリッドステートフラッシュメモリ装置、又は他の不揮発性ソリッドステート記憶装置などの永続記憶装置を含んでいてもよい。
1又は複数の実施形態では、メモリ712を、プロセッサ701による命令を実行している間に、テンポラリ変数又は他の中間情報を記憶するために使用してもよい。コンピュータシステム700は、所望により、プロセッサ701のための静的情報及び命令を記憶するためにデータバス704に結合される、読取専用メモリ(ROM又はEPROM)702又は他の静的記憶装置をさらに含んでいてもよく、その例としては、コンピュータシステム700の操作に必要なファームウェア、基本入出力システム(BIOS)、及びコンピュータシステム700の様々な構成パラメータが挙げられる。
1又は複数の実施形態では、コンピュータシステム700は、コンピュータシステム700のユーザに様々な情報を表示するために、データバス704に同様に電気的に結合できる表示装置711を組み込んでいてもよく、その例としては、ユーザの予測された注意状態を表示するためのユーザインターフェースが挙げられる。別の実施形態では、表示装置711はグラフィックコントローラ及び/又はグラフィックプロセッサ(図示せず)に関連付けられていてもよい。表示装置711を、たとえば薄膜トランジスタ(TFT)技術又は有機発光ダイオード(OLED)技術(双方とも当業者には周知である)を用いて製造される液晶ディスプレイ(LCD)として、実装してもよい。様々な実施形態では、表示装置711を、コンピュータシステム700の残りのコンポーネントと同じ汎用エンクロージャ(general enclosure)に組み込んでいてもよい。別の実施形態では、表示装置711を、そのようなエンクロージャの外側であるテーブル又は机の表面上などに配置してもよい。1又は複数の実施形態では、コンピュータシステム700は、マイクロフォンなどの音声キャプチャ装置703をさらに組み込んでいてもよい。
1又は複数の実施形態では、コンピュータシステム700は、データバス704に電気的に接続され、且つ当業者には周知のMPEG−3ファイルなどの様々な音声ファイル、又はMPEG−4ファイルなどの様々な動画ファイルの音声トラックを再生するように構成される音声再生装置725をさらに組み込んでいてもよい。このために、コンピュータシステム700は、放棄プロセッサ又はサウンドプロセッサ若しくは同様の装置(図示せず)を組み込んでいてもよい。
1又は複数の実施形態では、コンピュータシステム700は、マウス又はポインティング装置710などの1又は複数の入力装置を組み込んでいてもよく、前記マウス又はポインティング装置710の例としては、プロセッサ701に方向情報とコマンド選択とを送信し、且つ表示装置711上のカーソル移動を制御するためのマウス、トラックボール、タッチパッド、又はカーソル方向キーが挙げられる。この入力装置は、典型的には第1の軸(たとえば、x)及び第2の軸(たとえば、y)の2つの軸において2つの自由度を有し、これにより、前記装置が平面内の位置を特定することができる。
コンピュータシステム700は、画像及び動画、並びにプロセッサ701へのユーザコマンド(ジェスチャを含む)を含むが、これらに限定されない情報を送信するために、ウェブカメラ726とキーボード706とをさらに組み込んでいてもよく、これらをすべてデータバス704に結合していてもよい。
1又は複数の実施形態では、コンピュータシステム700は、データバス704に結合されるネットワークインターフェース705などの通信インターフェースを、さらに含んでいてもよい。ネットワークインターフェース705を、WIFIインターフェース707、セルラーネットワーク(GSM(登録商標)又はCDMA)アダプタ708及び/又はローカルエリアネットワーク(LAN)アダプタ709のうちの少なくとも1つを使用して、コンピュータシステム700とインターネット724との接続を確立するように構成していてもよい。ネットワークインターフェース705を、コンピュータシステム700とインターネット724との双方向データ通信を可能にするように構成していてもよい。WIFIアダプタ707は、当業者に周知の802.11a、802.11b、802.11g、及び/又は802.11nプロトコル並びにBluetooth(登録商標)プロトコルに準拠して動作してもよい。コンピュータシステム700のLANアダプタ709を、たとえばインターネットサービスプロバイダのハードウェア(図示せず)を使用してインターネット724とインターフェースされている対応するタイプの電話回線に、データ通信接続を提供するための統合サービスデジタルネットワーク(ISDN)カード又はモデムを使用して実装してもよい。別の実施例として、LANアダプタ709は、互換性のあるLAN及びインターネット724へのデータ通信接続を提供するローカルエリアネットワークインターフェースカード(LAN NIC)であってもよい。例示的な実装形態では、WIFIアダプタ707、セルラーネットワーク(GSM(登録商標)又はCDMA)アダプタ708及び/又はLANアダプタ709は、様々なタイプの情報を表すデジタルデータストリームを搬送する電気信号若しくは電磁信号を送受信している。
1又は複数の実施形態では、インターネット724は、通常1又は複数のサブネットワークを介して、他のネットワークリソース(network resource)にデータ通信を提供している。したがって、コンピュータシステム700は、リモートメディアサーバ、ウェブサーバ、他のコンテンツサーバ、及びその他のネットワークデータストレージリソースなど、インターネット724のあらゆる場所に位置する様々なネットワークリソースにアクセスすることができる。1又は複数の実施形態では、コンピュータシステム700は、ネットワークインターフェース705を手段とするインターネット724を含む様々なネットワークを介して、アプリケーションプログラムコードを含むメッセージ、メディア及び他のデータを送受信するように構成されている。インターネットの例では、コンピュータシステム700がネットワーククライアントとして動作するとき、コンピュータシステム700は、自身において実行されるアプリケーションプログラムのためのコード又はデータを要求してもよい。同様に、コンピュータシステム700は、様々なデータ又はコンピュータコードを他のネットワークリソースに送信してもよい。
1又は複数の実施形態では、メモリ712に含まれる1又は複数の命令のうちの1又は複数の列をプロセッサ701が実行することに応答して、本明細書に記載している機能がコンピュータシステム700によって実装されている。このような命令は、別のコンピュータ可読媒体からメモリ712に読み込まれてもよい。メモリ712に含まれる命令列を実行することにより、プロセッサ701は、本明細書に記載の様々な処理工程を実行している。別の実施形態では、本発明の実施形態を実装するために、ソフトウェア命令の代わりに、又はこれと共にハードワイヤード回路を使用してもよい。したがって、本発明において記載されている実施形態は、ハードウェア回路及び/又はソフトウェアのいかなる特定の組み合わせにも限定されない。
本明細書で使用する「コンピュータ可読媒体」という用語は、実行のためにプロセッサ701に命令を提供することに関与する任意の媒体を指す。コンピュータ可読媒体は、本明細書に記載している方法及び/又は技術のいずれかを実装するための命令を搬送できる、機械可読媒体の単なる一例に過ぎない。このような媒体は、不揮発性媒体及び揮発性媒体を含むが、これらに限定されないあらゆる形態を取っていてもよい。
非一時的なコンピュータ可読媒体の共通形式としては、たとえば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、又は他の任意の磁気媒体、CD−ROM、他の任意の光学媒体、パンチカード、穿孔テープ、穴あき形態の他の任意の物理媒体、RAM、PROM、EPROM、フラッシュEPROM、フラッシュドライブ、メモリカード、他の任意のメモリチップ又はカートリッジ、又はコンピュータが読み取ることができる他の任意の媒体を挙げることができる。様々な形態のコンピュータ可読媒体を、実行のために1又は複数の命令のうちの1又は複数の列をプロセッサ1501に搬送することに関与させてもよい。たとえば前記命令は、最初にリモートコンピュータから磁気ディスク上に搬送されてもよい。また、リモートコンピュータは、前記命令をその動的メモリにロードし、インターネット724を介して前記命令を送信することができる。具体的にはコンピュータ命令を、当技術分野で周知の様々なネットワークデータ通信プロトコルを使用して、インターネット724を介して、前述のリモートコンピュータからコンピュータシステム700のメモリ712にダウンロードしてもよい。
1又は複数の実施形態では、コンピュータシステム700のメモリ712は、以下のソフトウェアプログラム、アプリケーション又はモジュールのいずれかを記憶していてもよい。
1.基本システムサービスを実装し、コンピュータシステム700の様々なハードウェアコンポーネントを管理するためのオペレーティングシステム(OS)713。オペレーティングシステム713の例示的な実施形態は当業者には周知であり、現在知られているか、又は今後開発されるモバイルオペレーティングシステムを含んでいてもよい。
2.アプリケーション714は、たとえば、コンピュータシステム700のプロセッサ701によって実行されるソフトウェアアプリケーション一式を含んでいてもよく、前記ソフトウェアアプリケーション一式は、コンピュータシステム700に、表示装置711上でグラフィカルユーザインターフェースを表示したり、生産性及び業務品質の最適化のために従業員の感情集中の状態を検出することを目的とした生理学的検出を実行するなどの、ある所定の機能を実行させている。1又は複数の実施形態では、アプリケーション714は、生産性及び業務品質の最適化のために従業員の感情集中の状態を検出することを目的とした生理学的検出のための、発明性のあるアプリケーション715を含んでいてもよい。
3.データ記憶装置721は、たとえばセンサデータ111、ユーザクエリ応答データ112、及び予測されたユーザ状態113など、注意状態の予測に使用する様々なデータ構造体722を記憶していてもよい。
1又は複数の実施形態では、生産性及び業務品質の最適化のために従業員の感情集中の状態を検出することを目的とした生理学的検出のための発明性のあるアプリケーション715は、センサデータプロセッサ106、フィーチャ抽出部107、モデル更新部108、ユーザクエリ管理部109、及び注意状態予測部110を組み込んでいる。
最後に、本明細書に記載しているプロセス及び技術は、本質的にいずれの特定の装置にも関連しておらず、またコンポーネントの任意の適切な組み合わせによって実装されてもよいことが理解される。さらに、本明細書に記載の開示に従って、様々なタイプの汎用装置を使用してもよい。また、本明細書に記載の方法の工程を実行するための専用装置を作製すると有利であることが判明し得る。本発明を特定の実施例に関連して説明してきたが、これらはあらゆる点で限定的ではなく例示的であるように意図されている。当業者は、ハードウェア、ソフトウェア、及びファームウェアにおける様々な組み合わせが本発明を実施するのに適していることを理解する。たとえば、記載しているソフトウェアをアセンブラ、C/C++、オブジェクティブC、パール、シェル、PHP、ジャバなどの多種多様なプログラミング言語若しくはスクリプト言語、及び現在知られているか、又は今後開発されるプログラミング言語若しくはスクリプト言語において実装してもよい。
さらに当業者には、本明細書の考察及び本明細書に開示した本発明の実施から、本発明の他の実装形態が明らかとなる。記載している実施形態の様々な態様及び/又は構成要素を、生産性及び業務品質の最適化のために従業員の感情集中の状態を検出することを目的とした生理学的検出のシステム並びに方法において単独で、又は任意の組み合わせで使用してもよい。本明細書及び実施例は例示的なものとしてのみ考慮されることが意図され、本発明の真の範囲及び精神は、以下の特許請求の範囲によって示される。

Claims (23)

  1. 複数のセンサ及び中央処理装置を備えるコンピュータシステムで実行されるコンピュータ実装方法であって、前記コンピュータ実装方法は、
    a.前記複数のセンサを使用して、人に関する複数の生理学的パラメータを検出することと、
    b.前記中央処理装置を使用して、前記人に関して検出された複数の生理学的パラメータを集約することと、
    c.前記中央処理装置を使用して、前記人に関して検出された前記複数の生理学的パラメータから複数の心理学的データのフィーチャを抽出することと、
    d.前記抽出された複数の心理学的データのフィーチャを、前記人の集中状態を予測するための予測モデルと併せて使用し、前記人の集中状態を予測することとを含む、
    コンピュータ実装方法。
  2. 前記予測モデルは一般化モデルである、請求項1に記載のコンピュータ実装方法。
  3. 前記予測モデルは個人化モデルである、請求項1に記載のコンピュータ実装方法。
  4. 前記人が集中状態を自己報告したものを受領し、前記受領した自己報告による集中状態に基づいて、前記予測モデルを訓練することをさらに含む、請求項1に記載のコンピュータ実装方法。
  5. 前記人に関して検出された前記複数の生理学的パラメータに基づいて、前記人に確認を促すことをさらに含む、請求項1に記載のコンピュータ実装方法。
  6. 前記予測された人の集中状態を使用して、前記人に行動を推奨することをさらに含む、請求項1に記載のコンピュータ実装方法。
  7. 前記推奨される行動は休憩である、請求項6に記載のコンピュータ実装方法。
  8. 前記休憩の影響を評価することをさらに含む、請求項7に記載のコンピュータ実装方法。
  9. 前記予測された人の集中状態を使用して、前記人への通知を有効又は無効にすることをさらに含む、請求項1に記載のコンピュータ実装方法。
  10. 前記予測された人の集中状態を使用して、前記人の稼働状況を変更することをさらに含む、請求項1に記載のコンピュータ実装方法。
  11. 前記複数のセンサは装着型センサを備える、請求項1に記載のコンピュータ実装方法。
  12. 前記複数のセンサは周辺センサを備える請求項1に記載のコンピュータ実装方法。
  13. 前記複数のセンサは環境センサを備える、請求項1に記載のコンピュータ実装方法。
  14. 前記予測された人の集中状態を使用して、集中状態を維持するための前記人に対する個人向けプロンプトを提供することをさらに含む、請求項1に記載のコンピュータ実装方法。
  15. 前記予測された人の集中状態を使用して、前記人による業務に関係のないアプリケーションへのアクセスを管理することをさらに含む、請求項1に記載のコンピュータ実装方法。
  16. 前記予測された人の集中状態を使用して、目標設定、計画又は考察アプリケーションを構成することをさらに含む、請求項1に記載のコンピュータ実装方法。
  17. 管理ダッシュボードを使用して、前記予測された人の集中状態を管理者に報告することをさらに含む、請求項1に記載のコンピュータ実装方法。
  18. 前記予測された人の集中状態を報告することは、前記人に関連する生産性に関する情報と連携して実行される、請求項17に記載のコンピュータ実装方法。
  19. 前記予測された人の集中状態に基づいて、前記人に関連する所定の産出量について注意喚起することをさらに含む、請求項1に記載のコンピュータ実装方法。
  20. 前記予測された人の集中状態に基づいて、前記人が受講した訓練を評価することをさらに含む、請求項1に記載のコンピュータ実装方法。
  21. 前記予測された人の集中状態に基づいて、前記人の職場環境を変更することをさらに含む、請求項1に記載のコンピュータ実装方法。
  22. 中央処理装置及び複数のセンサを備えるコンピュータシステムにおいて実行されると、前記コンピュータシステムに方法を実行させるプログラムであって、前記方法は、
    a.前記複数のセンサを使用して、人に関する複数の生理学的パラメータを検出することと、
    b.前記中央処理装置を使用して、前記人に関して検出された前記複数の生理学的パラメータを集約することと、
    c.前記中央処理装置を使用して、前記人に関して検出された前記複数の生理学的パラメータから複数の心理学的データのフィーチャを抽出することと、
    d.前記抽出された複数の心理学的データのフィーチャを、前記人の集中状態を予測するための予測モデルと併せて使用し、前記人の集中状態を予測することとを含む、
    プログラム。
  23. 中央処理装置、複数のセンサ、及びコンピュータシステムに方法を実行させるコンピュータ可読命令一式を記憶するメモリを備える前記コンピュータシステムであって、前記方法は、
    a.前記複数のセンサを使用して、人に関する複数の生理学的パラメータを検出することと、
    b.前記中央処理装置を使用して、前記人に関して検出された前記複数の生理学的パラメータを集約することと、
    c.前記中央処理装置を使用して、前記人に関して検出された前記複数の生理学的パラメータから複数の心理学的データのフィーチャを抽出することと、
    d.前記抽出された複数の心理学的データのフィーチャを、前記人の集中状態を予測するための予測モデルと併せて使用し、前記人の集中状態を予測することとを含む、
    コンピュータシステム。
JP2018187930A 2018-02-21 2018-10-03 生産性及び業務品質の最適化のために人物の感情集中の状態を検出することを目的とした生理学的検出のシステム並びに方法、コンピュータ実装方法、プログラム、及びコンピュータシステム Pending JP2019145067A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/901885 2018-02-21
US15/901,885 US11416756B2 (en) 2018-02-21 2018-02-21 Systems and methods for physiological sensing for purposes of detecting persons affective focus state for optimizing productivity and work quality

Publications (1)

Publication Number Publication Date
JP2019145067A true JP2019145067A (ja) 2019-08-29

Family

ID=67617956

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018187930A Pending JP2019145067A (ja) 2018-02-21 2018-10-03 生産性及び業務品質の最適化のために人物の感情集中の状態を検出することを目的とした生理学的検出のシステム並びに方法、コンピュータ実装方法、プログラム、及びコンピュータシステム

Country Status (2)

Country Link
US (1) US11416756B2 (ja)
JP (1) JP2019145067A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021060899A (ja) * 2019-10-09 2021-04-15 株式会社日立製作所 作業者管理装置、及び作業者管理方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11232385B2 (en) 2016-11-22 2022-01-25 International Business Machines Corporation System and method to measure optimal productivity of a person engaged in a task
US11188855B2 (en) * 2018-03-26 2021-11-30 International Business Machines Corporation Machine learning task assignment
US20200279205A1 (en) * 2019-02-28 2020-09-03 Autodesk, Inc. Techniques for tailoring fabrication environments based on user, task, and expertise
US11151519B2 (en) * 2019-05-13 2021-10-19 International Business Machines Corporation Event reminder notification system
JP7245139B2 (ja) * 2019-09-26 2023-03-23 株式会社日立製作所 作業支援装置、作業支援システムおよび作業支援方法
US20210365856A1 (en) * 2020-05-21 2021-11-25 Bank Of America Corporation Machine Learning Platform for Dynamic Resource Management
US20220012666A1 (en) * 2020-07-09 2022-01-13 International Business Machines Corporation System and Method for Optimum Alternative Recommendation for Personal Productivity Efficiency
US11567574B2 (en) 2020-09-22 2023-01-31 Optum Technology, Inc. Guided interaction with a query assistant software using brainwave data
JP2024532825A (ja) * 2021-08-19 2024-09-10 ヨハナ・エルエルシー サードパーティサービスによる実行のためのタスクを推奨するためのシステムおよび方法
DE102022201925A1 (de) 2022-02-24 2023-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Verfahren, System, Vorrichtung sowie Computerprogrammprodukt zur Bestimmung eines Entspanntheitswertes mindestens eines Nutzers in einem Arbeitsumfeld
EP4246394A1 (en) * 2022-03-14 2023-09-20 Koa Health B.V. Sucursal en España Assessing user engagement to improve the efficacy of machine-user interaction
US20240112122A1 (en) * 2022-09-29 2024-04-04 Honeywell International Inc. Methods and systems for idle worker identification and management
US20240144142A1 (en) * 2022-11-01 2024-05-02 Honeywell International Inc. System and method for worker recommendations
CN115547501B (zh) * 2022-11-24 2023-04-07 国能大渡河大数据服务有限公司 一种结合工作特征的员工情绪感知方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006323547A (ja) * 2005-05-17 2006-11-30 Fuji Xerox Co Ltd 情報処理装置、情報処理方法及びプログラム
JP2007026429A (ja) * 2005-06-13 2007-02-01 Matsushita Electric Ind Co Ltd 誘導装置
JP2009301430A (ja) * 2008-06-16 2009-12-24 Ricoh Co Ltd 執務状態管理装置、執務状態管理方法、執務状態管理プログラム、執務状態管理システム
JP2011102683A (ja) * 2009-11-11 2011-05-26 Takenaka Komuten Co Ltd 作業環境制御装置、方法、及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080091515A1 (en) * 2006-10-17 2008-04-17 Patentvc Ltd. Methods for utilizing user emotional state in a business process
US20110307293A1 (en) * 2007-05-11 2011-12-15 Smith J Martin Method For Assessing And Communicating Organizational Human Error Risk And Its Causes
US8812428B2 (en) * 2010-09-20 2014-08-19 Pulsar Informatics, Inc. Systems and methods for assessment of fatigue-related contextual performance using historical incident data
US9380978B2 (en) * 2011-06-29 2016-07-05 Bruce Reiner Method and apparatus for real-time measurement and analysis of occupational stress and fatigue and performance outcome predictions
US9526455B2 (en) * 2011-07-05 2016-12-27 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees
US20130089851A1 (en) * 2011-10-07 2013-04-11 Axeos, LLC Corporate training system and method for improving workplace performance
US9155460B2 (en) * 2012-07-27 2015-10-13 Barcoding, Inc. Activity regulation based on biometric data
US20150046233A1 (en) * 2013-08-06 2015-02-12 Thrive Metrics, Inc. Methods and systems for providing the effectiveness of an entity
US20170200112A1 (en) * 2016-01-13 2017-07-13 International Business Machines Corporation Managing a set of shared tasks using biometric data
US10026330B2 (en) * 2016-03-01 2018-07-17 Accenture Global Solutions Limited Objectively characterizing intervention impacts
US20180032944A1 (en) * 2016-07-26 2018-02-01 Accenture Global Solutions Limited Biometric-based resource allocation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006323547A (ja) * 2005-05-17 2006-11-30 Fuji Xerox Co Ltd 情報処理装置、情報処理方法及びプログラム
JP2007026429A (ja) * 2005-06-13 2007-02-01 Matsushita Electric Ind Co Ltd 誘導装置
JP2009301430A (ja) * 2008-06-16 2009-12-24 Ricoh Co Ltd 執務状態管理装置、執務状態管理方法、執務状態管理プログラム、執務状態管理システム
JP2011102683A (ja) * 2009-11-11 2011-05-26 Takenaka Komuten Co Ltd 作業環境制御装置、方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021060899A (ja) * 2019-10-09 2021-04-15 株式会社日立製作所 作業者管理装置、及び作業者管理方法
JP7286507B2 (ja) 2019-10-09 2023-06-05 株式会社日立製作所 作業者管理装置、及び作業者管理方法

Also Published As

Publication number Publication date
US11416756B2 (en) 2022-08-16
US20190258944A1 (en) 2019-08-22

Similar Documents

Publication Publication Date Title
JP2019145067A (ja) 生産性及び業務品質の最適化のために人物の感情集中の状態を検出することを目的とした生理学的検出のシステム並びに方法、コンピュータ実装方法、プログラム、及びコンピュータシステム
US11929156B2 (en) Method and system for providing automated conversations
US20220392625A1 (en) Method and system for an interface to provide activity recommendations
US20190057615A1 (en) Methods and systems for monitoring and treating individuals with sensory processing conditions
US20180032126A1 (en) Method and system for measuring emotional state
US20080091515A1 (en) Methods for utilizing user emotional state in a business process
US10504379B2 (en) System and method for generating an adaptive embodied conversational agent configured to provide interactive virtual coaching to a subject
KR102276415B1 (ko) 개인 관심상황 발생 예측/인지 장치 및 방법
US11120352B2 (en) Cognitive monitoring
JP2019121360A (ja) 機械学習に基づくコンテキスト認識会話型エージェントのためのシステム及び方法、コンテキスト認識ジャーナリングの方法、システム、プログラム、コンピュータ装置
US11157832B2 (en) Machine learning system for predicting optimal interruptions based on biometric data collected using wearable devices
US20200375544A1 (en) System, method and computer program product for detecting a mobile phone user's risky medical condition
WO2019086856A1 (en) Systems and methods for combining and analysing human states
Lüscher et al. Social support and common dyadic coping in couples' dyadic management of type II diabetes: protocol for an ambulatory assessment application
US11594149B1 (en) Speech fluency evaluation and feedback
JP2023507730A (ja) 平均ユーザ対話データに基づいてアプリケーション・ユーザの心理状態をリモートでモニタするための方法及びシステム
Paredes et al. Sensor-less sensing for affective computing and stress management technology
KR20180008324A (ko) 임상시험에서 전자식 시험대상자 동의 프로세스를 관리하기 위한 방법 및 시스템
Martinez et al. A predictive model for automatic detection of social isolation in older adults
US20230099519A1 (en) Systems and methods for managing stress experienced by users during events
Luxton Behavioral and mental health apps.
Le-Quang et al. Wemotion: A system to detect emotion using wristbands and smartphones
Akbar Stress and Human-Computer Interaction at the Workplace: Unobtrusive Tracking With Wearable Sensors and Computer Logs
US20240008766A1 (en) System, method and computer program product for processing a mobile phone user's condition
US20240071201A1 (en) Systems and methods for context-aware anxiety interventions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221101