JP2019159941A - 推定システム、学習装置、学習方法、推定装置及び推定方法 - Google Patents
推定システム、学習装置、学習方法、推定装置及び推定方法 Download PDFInfo
- Publication number
- JP2019159941A JP2019159941A JP2018047112A JP2018047112A JP2019159941A JP 2019159941 A JP2019159941 A JP 2019159941A JP 2018047112 A JP2018047112 A JP 2018047112A JP 2018047112 A JP2018047112 A JP 2018047112A JP 2019159941 A JP2019159941 A JP 2019159941A
- Authority
- JP
- Japan
- Prior art keywords
- worker
- task
- brain activity
- concentration
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 207
- 230000007177 brain activity Effects 0.000 claims abstract description 368
- 230000002996 emotional effect Effects 0.000 claims abstract description 269
- 230000008451 emotion Effects 0.000 claims description 164
- 230000008569 process Effects 0.000 claims description 120
- 230000037007 arousal Effects 0.000 claims description 54
- 238000004519 manufacturing process Methods 0.000 claims description 35
- 230000008859 change Effects 0.000 claims description 26
- 210000004556 brain Anatomy 0.000 claims description 20
- 230000007613 environmental effect Effects 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 description 35
- 230000004048 modification Effects 0.000 description 34
- 238000012986 modification Methods 0.000 description 34
- 238000003860 storage Methods 0.000 description 34
- 230000010365 information processing Effects 0.000 description 24
- 230000008921 facial expression Effects 0.000 description 16
- 238000005259 measurement Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 230000000638 stimulation Effects 0.000 description 12
- 230000006998 cognitive state Effects 0.000 description 11
- 230000003727 cerebral blood flow Effects 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 230000006872 improvement Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 230000001149 cognitive effect Effects 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000035479 physiological effects, processes and functions Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 206010039897 Sedation Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000001364 causal effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000036280 sedation Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000002582 magnetoencephalography Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000010255 response to auditory stimulus Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003307 slaughter Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Psychology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Human Resources & Organizations (AREA)
- Quality & Reliability (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Hospice & Palliative Care (AREA)
- General Business, Economics & Management (AREA)
- Automation & Control Theory (AREA)
- Game Theory and Decision Science (AREA)
- Manufacturing & Machinery (AREA)
- General Engineering & Computer Science (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Theoretical Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Development Economics (AREA)
- Social Psychology (AREA)
Abstract
Description
まず、図1を用いて、本発明が適用される場面の一例について説明する。図1は、本実施形態に係る推定システム1の適用場面の一例を模式的に例示する。
[ハードウェア構成]
次に、図3を用いて、本実施形態に係る推定システム1のハードウェア構成の一例について説明する。図3は、本実施形態に係る推定システム1のハードウェア構成の一例を模式的に例示する。
次に、図4を用いて、本実施形態に係る推定システム1のソフトウェア構成の一例について説明する。図4は、本実施形態に係る推定システム1のソフトウェア構成の一例を模式的に例示する。
次に、図5を用いて、脳活動量を表現する方法の一例について説明する。図5は、各脳活動データ(121、125)の一例を模式的に例示する。本実施形態では、脳活動量に関する第1生理学的パラメータとして脳波が採用される。これに応じて、図5に示されるとおり、本実施形態では、各脳活動データ(121、125)における各作業者(50、51)の脳活動量は、位相同期指標の値(以下、PLI値とも記載する)により示される。
次に、図6A及び図6Bを用いて、感情状態を表現する方法の一例について説明する。図6Aは、感情状態を表現する手法の一例を説明するための図である。図6Bは、各感情データ(122、126)の一例を模式的に例示する。本実施形態では、各感情データ(122、126)における各作業者(50、51)の感情状態は、アローザル(Arousal)及びヴァレンス(Valence)の2つの指標により示される。
[学習のフェーズ]
次に、図7を用いて、脳活動量及び感情状態と作業に対する集中の程度とを対応付けるための学習のフェーズの情報処理について説明する。図7は、学習のフェーズにおける推定システム1の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は、本発明の「学習方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS101では、制御部11は、所定の第1タスク40の実行を第1作業者50に指示するメッセージを出力する。メッセージの出力先及び出力方法はそれぞれ、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。制御部11は、例えば、出力装置15、第1作業者50の近傍に配置される出力装置(不図示)等を介して当該メッセージを出力してもよい。また、制御部11は、例えば、当該メッセージをディスプレイに表示してもよいし、当該メッセージの音声をスピーカから出力してもよい。
図7に戻り、ステップS102では、制御部11は、第1取得部111として動作し、第1タスク40を第1作業者50が実行している間に、第1作業者50の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す第1脳活動データ121を取得する。本実施形態では、制御部11は、脳波計30により第1作業者50から測定された脳活動量を示す第1脳活動データ121を取得する。
ステップS103では、制御部11は、第2取得部112として動作し、第1作業者50の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、第1タスク40の実行に関連した第1作業者50の感情状態を示す第1感情データ122を取得する。本実施形態では、制御部11は、カメラ31により測定された第1作業者50の感情状態を示す第1感情データ122を取得する。
ステップS104では、制御部11は、第3取得部113として動作し、第1作業者50が第1タスク40を実行した結果に基づいて特定された、当該第1作業者50の第1タスク40に対する集中の程度を示す実行結果データ123を取得する。
ステップS105では、制御部11は、関係特定部114として動作し、ステップS102〜S104により取得した第1脳活動データ121、第1感情データ122、及び実行結果データ123に基づいて、脳活動量及び感情状態と集中の程度との間の対応関係を特定する。
次に、図11を用いて、学習のフェーズで特定した対応関係に基づいて、対象の作業者の作業に対する集中の程度を推定する推定のフェーズの情報処理について説明する。図11は、推定のフェーズにおける推定システム1の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は、本発明の「推定方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS201では、制御部11は、第4取得部115として動作し、所定の第2タスク41を第2作業者51が実行している間に、第2作業者51の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す第2脳活動データ125を取得する。本実施形態では、制御部11は、脳波計35により第2作業者51から測定された脳活動量を示す第2脳活動データ125を取得する。第2脳活動データ125を取得すると、制御部11は、次のステップS202に処理を進める。
ステップS202では、制御部11は、第5取得部116として動作し、第2作業者51の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、第2タスク41の実行に関連した第2作業者51の感情状態を示す第2感情データ126を取得する。本実施形態では、制御部11は、カメラ36により測定された第2作業者51の感情状態を示す第2感情データ126を取得する。第2感情データ126を取得すると、制御部11は、次のステップS203に処理を進める。
ステップS203では、制御部11は、推定部117として動作し、対応関係データ124を取得する。そして、制御部11は、取得した対応関係データ124により示される対応関係に基づいて、第2脳活動データ125及び第2感情データ126により示される第2作業者51の脳活動量及び感情状態から、当該第2作業者51の第2タスク41に対する集中の程度を推定する。
ステップS204では、制御部11は、出力部118として動作し、第2作業者51の第2タスク41に対する集中の程度を推定した結果に関連した出力処理を行う。
以上のとおり、本実施形態に係る推定システム1は、ステップS101〜S106の学習のフェーズにおいて、第1タスク40を実行させた第1作業者50から得られる第1脳活動データ121、第1感情データ122、及び実行結果データ123を利用して、脳活動量及び感情状態と作業に対する集中の程度との対応関係を学習する。そして、本実施形態に係る推定システム1は、ステップS201〜S204の推定のフェーズにおいて、学習のフェーズで得られた対応関係に基づいて、脳活動量及び感情状態の2つの指標から作業者(第2作業者51)の作業(第2タスク41)に対する集中の程度を推定する。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
上記実施形態では、各脳波計(30、35)により、各作業者(50、51)の脳活動量を測定している。また、各作業者(50、51)の脳活動量は、所定周波数の音刺激に対する聴性定常反応におけるPLI値により示されている。しかしながら、脳活動量を測定するための第1センサ及び脳活動量の表現方法はそれぞれ、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。また、脳活動量に関する第1生理学的パラメータは、脳波に限られなくてもよく、実施の形態に応じて適宜選択されてよい。
上記実施形態では、各カメラ(31、36)により各作業者(50、51)の顔の表情を撮影することで、当該各作業者(50、51)の感情状態を測定している。しかしながら、感情状態を測定するための第2センサ及び第2生理学的パラメータは、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
上記実施形態に係るハードウェア構成の一例では、推定システム1は、1つのコンピュータで構成されている(図3)。しかしながら、推定システム1のハードウェア構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、推定システム1から学習又は推定のフェーズに対応する一部の構成を抽出することで、別の形態に係るシステム、装置、方法、プログラム、及びプログラムを記憶した記憶媒体を構築してもよい。
上記実施形態では、脳活動量及び感情状態と集中の程度との対応関係は、各データ121〜123により示される脳活動量、感情状態、及び集中の程度の分布に基づいて特定されている。また、当該対応関係はテーブル形式のデータで表現され、各レコードには、脳活動量及び感情状態それぞれに対して設定された、集中の程度を判定するための閾値が格納されている。しかしながら、脳活動量及び感情状態と集中の程度との対応関係の特定方法及び表現方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。
上記実施形態に係る推定システム1は、上記ステップS203の処理に加えて、その他の方法で、第2作業者51の第2タスク41に対する集中の程度を推定してもよい。例えば、制御部11は、ステップS201により得られる脳活動量及び/又はステップS202により得られる感情状態の変動量を算出し、算出した脳活動量及び/又は感情状態の変動量が所定値以下である持続期間を測定してもよい。更に、制御部11は、測定した持続期間が所定の値以上であるか否かを判定してもよい。そして、制御部11は、測定した持続期間が所定の値以上である場合、第2作業者51の第2タスク41に対する集中の程度が高いと判定し、そうではない場合に、第2作業者51の第2タスク41に対する集中の程度が低いと判定してもよい。
上記実施形態に係る推定システム1は、上記ステップS204において、出力装置6を用いた介入処理として、第2タスク41に集中していないことを第2作業者51に通知することができる。この出力装置6を用いた介入処理は、第2作業者51等の人が認識可能な形態で行われてもよいし、人が認識不能な形態で行われてもよい。
上記実施形態に係る推定システム1は、介入処理として、第2作業者51が第2タスク41に集中していないことを知らせるための注意喚起を実施している。しかしながら、介入処理の内容は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、以下のように、作業者の集中の程度に応じて、装置の動作を制御する介入処理が実施しされてもよい。
図15は、本変形例に係る介入処理の一例として、環境装置6Dの動作を制御する処理を実施する推定システム1Dの適用される場面を模式的に例示する。本変形例に係る推定システム1Dのハードウェア構成及びソフトウェア構成は、上記実施形態に係る推定システム1と同様に構成される。これにより、本変形例に係る推定システム1Dは、上記実施形態に係る推定システム1と同様に上記一連の情報処理を実施する。一方、上記実施形態に係る推定システム1とは異なり、推定システム1Dは、有線又は無線により、環境装置6Dに接続している。
上記実施形態、<4.6>、及び<4.7>では、介入処理は、第2作業者51の集中の程度を維持若しくは改善するため、又は集中の程度の低下に対する注意喚起を行うために、実施されている。すなわち、介入処理は、第2作業者51が第2タスク41を実施するのに直接的又は間接的に介入するために実行されている。しかしながら、介入処理の種類は、このような例に限定されなくてもよい。この他、介入処理は、例えば、第2作業者51の集中の程度が低下したことに起因する安全性又は生産性の低下を補うために実行されてよい。
一例として、介入処理は、第2作業者51が第2タスク41を行う環境に関連する環境装置ではなく、第2タスク41に関連する関連装置に対して実施されてもよい。すなわち、上記ステップS204では、制御部11は、出力部118として動作して、ステップS203の推定の結果により示される第2作業者51の第2タスク41に対する集中の程度に基づいて、当該関連装置の動作の内容を介入処理の内容として決定してもよい。そして、制御部11は、介入処理として、決定した内容の動作を指示するための指令を関連装置に対して出力してもよい。なお、関連装置の種類は、作業者の作業に関連する装置であれば、特に限定されなくてもよい。関連装置は、例えば、生産ラインにおいて第2作業者と協働するように構成された協働装置であってもよいし、車両の運転を制御するように構成された制御装置であってよい。以下、各変形例について説明する。
図16は、本変形例に係る介入処理の一例として、生産ラインにおいて第2作業者51と協働するように構成された協働装置6Eの動作を制御する処理を実施する推定システム1Eの適用される場面を模式的に例示する。本変形例に係る推定システム1Eのハードウェア構成及びソフトウェア構成は、上記実施形態に係る推定システム1と同様に構成される。これにより、本変形例に係る推定システム1Eは、上記実施形態に係る推定システム1と同様に上記一連の情報処理を実施する。一方、上記実施形態に係る推定システム1とは異なり、推定システムEは、無線又は有線により、協働装置6Eに接続している。
図17は、本変形例に係る介入処理の一例として、車両70の運転を制御するように構成された制御装置6Fの動作を決定する処理を実施する推定システム1Fの適用される場面を模式的に例示する。本変形例に係る推定システム1Fのハードウェア構成及びソフトウェア構成は、上記実施形態に係る推定システム1と同様に構成される。これにより、本変形例に係る推定システム1Fは、上記実施形態に係る推定システム1と同様に上記一連の情報処理を実施する。一方、上記実施形態に係る推定システム1とは異なり、推定システムFは、無線又は有線により、制御装置6Fに接続している。
なお、このように他の装置の制御を介入処理として行う各推定システム(1D、1E、1F)は、制御システムと称されてもよい。各推定システム(1D、1E、1F)の出力部118は、動作制御部、動作指示部等と称されてもよい。また、介入処理は、推定のフェーズで実施されるため、各推定システム(1D、1E、1F)を上記推定装置101と置き換えても、同様の介入処理を実施することができる。このように利用する場合、上記推定装置101は、動作制御装置、制御装置等と称されてよい。更に、各推定システム(1D、1E、1F)又は推定装置101と上記環境装置又は上記関連装置とは一体に構成されてもよい。
図9Aに示されるとおり、学習の段階(習熟の程度)に応じて、タスクを実行している際に得られる脳活動量及び感情状態の傾向は異なり得る。そのため、脳活動量及び感情状態と集中の程度との対応関係を示す上記対応関係データ124は、学習の段階ごとに用意されてもよい。すなわち、脳活動量及び感情状態と集中の程度との対応関係は、学習の段階ごとに設定されてもよい。
上記実施形態に係る推定システム1は、ステップS204における出力処理として、介入処理を実施している。しかしながら、出力処理は、この介入処理に限られなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、上記実施形態に係る推定システム1は、ステップS204における出力処理として、出力装置15等を介して、ステップS203の推定結果をそのまま出力してもよい。具体例として、制御部11は、第2作業者51の第2タスク41に対する集中の程度を推定した結果を、ディスプレイに表示してもよいし、スピーカを介して音声で出力してもよい。
また、上記実施形態及び各変形例において、第2取得部112及び第5取得部116は、第2生理学的パラメータによらずに各作業者(50、51)の感情状態を示す各感情データ(122、125)を取得してもよい。例えば、第2取得部112及び第5取得部116は、各作業者(50、51)自身、各作業者(50、51)の監督者等のユーザからの入力を受け付けることで、各作業者(50、51)の感情状態を示す各感情データ(122、125)を取得してもよい。
11…制御部、12…記憶部、13…外部インタフェース、
14…入力装置、15…出力装置、16…ドライブ、
111…第1取得部、112…第2取得部、113…第3取得部、
114…関係特定部、115…第4取得部、116…第5取得部、
117…推定部、118…出力部、
121…第1脳活動データ、122…第1感情データ、
123…実行結果データ、124…対応関係データ、
125…第2脳活動データ、126…第2感情データ、
30・35…脳波計、31・36…カメラ、
40…第1タスク、41…第2タスク、
50…第1作業者、51…第2作業者、
8…プログラム、9…記憶媒体、
6…出力装置、
6D…環境装置、
61…コントローラ、62…照明装置、
6E…協働装置、
63…コントローラ、64…ベルトコンベア、
6F…制御装置、70…車両
Claims (16)
- 学習のフェーズにおいて、所定の第1タスクを第1作業者が実行している間に、前記第1作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す第1脳活動データを取得する第1取得部と、
前記第1作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記第1タスクの実行に関連した前記第1作業者の感情状態を示す第1感情データを取得する第2取得部と、
前記第1作業者が前記第1タスクを実行した結果に基づいて特定された、前記第1作業者の前記第1タスクに対する集中の程度を示す実行結果データを取得する第3取得部と、
前記第1脳活動データ、前記第1感情データ、及び前記実行結果データに基づいて、前記脳活動量及び前記感情状態と前記集中の程度との間の対応関係を特定する関係特定部と、
推定のフェーズにおいて、所定の第2タスクを第2作業者が実行している間に、前記第2作業者の前記第1生理学的パラメータを前記第1センサにより測定することで得られた、脳活動量を示す第2脳活動データを取得する第4取得部と、
前記第2作業者の前記第2生理学的パラメータを前記第2センサにより測定することで得られた、前記第2タスクの実行に関連した前記第2作業者の感情状態を示す第2感情データを取得する第5取得部と、
前記対応関係に基づいて、前記第2脳活動データ及び前記第2感情データにより示される前記第2作業者の前記脳活動量及び前記感情状態から、前記第2作業者の前記第2タスクに対する集中の程度を推定する推定部と、
前記第2作業者の前記第2タスクに対する集中の程度を推定した結果に関連した出力処理を行う出力部と、
を備える、
推定システム。 - 前記出力部は、
前記推定の結果により示される前記第2作業者の前記第2タスクに対する集中の程度に基づいて、前記第2タスクに対する介入処理の内容を決定し、
前記出力処理として、決定した前記内容の介入処理を実行する、
請求項1に記載の推定システム。 - 前記出力部は、
前記推定の結果により示される前記第2作業者の前記第2タスクに対する集中の程度に基づいて、前記第2作業者が前記第2タスクに集中していないと判定される場合に、前記第2作業者が前記第2タスクに集中していないことを知らせるための注意喚起を実施することを前記介入処理の内容として決定し、
前記介入処理として、出力装置を介して前記注意喚起を実施する、
請求項2に記載の推定システム。 - 前記出力部は、
前記推定の結果により示される前記第2作業者の前記第2タスクに対する集中の程度に基づいて、前記第2作業者が前記第2タスクに集中していないと判定される場合に、前記第2作業者が前記第2タスクを行う環境に関連する環境装置の動作を変更することを前記介入処理の内容として決定し、
前記介入処理として、決定した動作の変更を指示するための指令を前記環境装置に対して出力する、
請求項2に記載の推定システム。 - 前記出力部は、
前記推定の結果により示される前記第2作業者の前記第2タスクに対する集中の程度に基づいて、前記第2タスクに関連する関連装置の動作の内容を前記介入処理の内容として決定し、
前記介入処理として、決定した内容の動作を指示するための指令を前記関連装置に対して出力する、
請求項2に記載の推定システム。 - 前記関連装置は、生産ラインにおいて前記第2作業者と協働するように構成された協働装置である、
請求項5に記載の推定システム。 - 前記関連装置は、車両の運転を制御するように構成された制御装置である、
請求項5に記載の推定システム。 - 前記第1脳活動データ及び前記第2脳活動データにおける前記脳活動量は、位相同期指標の値により示される、
請求項1から7のいずれか1項に記載の推定システム。 - 前記第1感情データ及び前記第2感情データにおける前記感情状態は、アローザル及びヴァレンスの2つの指標により示される、
請求項1から8のいずれか1項に記載の推定システム。 - 前記実行結果データにおける前記集中の程度は、前記第1タスクの遂行にかかった時間、前記第1タスクの遂行の速度、及び前記第1タスクの実行のクオリティの少なくともいずれかによって特定される、
請求項1から9のいずれか1項に記載の推定システム。 - 前記対応関係は、前記第1脳活動データにより示される脳活動量、前記第1感情データにより示される感情状態、及び前記実行結果データにより示される集中の程度の分布に基づいて特定される、
請求項1から10のいずれか1項に記載の推定システム。 - 前記分布に基づいて、前記脳活動量及び前記感情状態それぞれに対して、前記集中の程度を判定するための閾値が設定され、
前記推定部は、前記第2作業者の前記脳活動量及び前記感情状態それぞれと前記閾値と比較することで、前記第2作業者の前記第2タスクに対する集中の程度を推定する、
請求項11に記載の推定システム。 - 所定のタスクを作業者が実行している間に、前記作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す脳活動データを取得する第1取得部と、
前記作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得する第2取得部と、
前記作業者が前記タスクを実行した結果に基づいて特定された、前記作業者の前記タスクに対する集中の程度を示す実行結果データを取得する第3取得部と、
前記脳活動データ、前記感情データ、及び前記実行結果データに基づいて、前記脳活動量及び前記感情状態と前記集中の程度との間の対応関係を特定する関係特定部と、
を備える、
学習装置。 - コンピュータが、
所定のタスクを作業者が実行している間に、前記作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す脳活動データを取得するステップと、
前記作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得するステップと、
前記作業者が前記タスクを実行した結果に基づいて特定された、前記作業者の前記タスクに対する集中の程度を示す実行結果データを取得するステップと、
前記脳活動データ、前記感情データ、及び前記実行結果データに基づいて、前記脳活動量及び前記感情状態と前記集中の程度との間の対応関係を特定するステップと、
を実行する、
学習方法。 - 所定のタスクを作業者が実行している間に、前記作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す脳活動データを取得する第1取得部と、
前記作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得する第2取得部と、
前記脳活動量及び前記感情状態と集中の程度との間の対応関係を示す対応関係データを取得し、取得した当該対応関係データにより示される当該対応関係に基づいて、前記脳活動データ及び前記感情データにより示される前記作業者の前記脳活動量及び前記感情状態から、前記作業者の前記タスクに対する集中の程度を推定する推定部と、
前記作業者の前記タスクに対する集中の程度を推定した結果に関連した出力処理を行う出力部と、
を備える、
推定装置。 - コンピュータが、
所定のタスクを作業者が実行している間に、前記作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す脳活動データを取得するステップと、
前記作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得するステップと、
前記脳活動量及び前記感情状態と集中の程度との間の対応関係を示す対応関係データを取得するステップと、
取得した当該対応関係データにより示される当該対応関係に基づいて、前記脳活動データ及び前記感情データにより示される前記作業者の前記脳活動量及び前記感情状態から、前記作業者の前記タスクに対する集中の程度を推定するステップと、
前記作業者の前記タスクに対する集中の程度を推定した結果に関連した出力処理を行うステップと、
を実行する、
推定方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018047112A JP6935774B2 (ja) | 2018-03-14 | 2018-03-14 | 推定システム、学習装置、学習方法、推定装置及び推定方法 |
PCT/JP2019/010182 WO2019176992A1 (ja) | 2018-03-14 | 2019-03-13 | 推定システム、学習装置、学習方法、推定装置及び推定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018047112A JP6935774B2 (ja) | 2018-03-14 | 2018-03-14 | 推定システム、学習装置、学習方法、推定装置及び推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019159941A true JP2019159941A (ja) | 2019-09-19 |
JP6935774B2 JP6935774B2 (ja) | 2021-09-15 |
Family
ID=67906673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018047112A Active JP6935774B2 (ja) | 2018-03-14 | 2018-03-14 | 推定システム、学習装置、学習方法、推定装置及び推定方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6935774B2 (ja) |
WO (1) | WO2019176992A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021060899A (ja) * | 2019-10-09 | 2021-04-15 | 株式会社日立製作所 | 作業者管理装置、及び作業者管理方法 |
WO2023012901A1 (ja) * | 2021-08-03 | 2023-02-09 | 日本電信電話株式会社 | 感覚刺激呈示装置、感覚刺激呈示方法、プログラム |
JP7429440B2 (ja) | 2020-10-09 | 2024-02-08 | 日本メナード化粧品株式会社 | 一過性の複合感情の推定装置、推定システム、推定方法および推定プログラム |
JP7432764B2 (ja) | 2020-03-31 | 2024-02-16 | レイセオン カンパニー | 適応作業指示のための組織的認知応答(ocr)フィードバックのシステムおよび方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007079647A (ja) * | 2005-09-09 | 2007-03-29 | Fuji Xerox Co Ltd | 情報処理システム、情報処理方法およびプログラム |
JP2014230717A (ja) * | 2013-05-30 | 2014-12-11 | トヨタ自動車株式会社 | 集中度推定装置 |
JP2015134157A (ja) * | 2013-12-20 | 2015-07-27 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 光脳機能計測装置 |
JP6264492B1 (ja) * | 2017-03-14 | 2018-01-24 | オムロン株式会社 | 運転者監視装置、運転者監視方法、学習装置及び学習方法 |
-
2018
- 2018-03-14 JP JP2018047112A patent/JP6935774B2/ja active Active
-
2019
- 2019-03-13 WO PCT/JP2019/010182 patent/WO2019176992A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007079647A (ja) * | 2005-09-09 | 2007-03-29 | Fuji Xerox Co Ltd | 情報処理システム、情報処理方法およびプログラム |
JP2014230717A (ja) * | 2013-05-30 | 2014-12-11 | トヨタ自動車株式会社 | 集中度推定装置 |
JP2015134157A (ja) * | 2013-12-20 | 2015-07-27 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 光脳機能計測装置 |
JP6264492B1 (ja) * | 2017-03-14 | 2018-01-24 | オムロン株式会社 | 運転者監視装置、運転者監視方法、学習装置及び学習方法 |
Non-Patent Citations (2)
Title |
---|
後藤 隆太郎: "ウェアラブル脳波計による学習集中度の計測と着座姿勢との相関関係の調査", HUMAN INTERFACE 2016 明日への扉 [DVD−ROM] ヒューマンインタフェースシ, JPN6021019091, 9 September 2016 (2016-09-09), JP, pages 487 - 491, ISSN: 0004513297 * |
池田 悠平: "表情と生体情報を用いた感情の推測方法の検討", マルチメディア,分散,協調とモバイル(DICOMO2016)シンポジウム論文集 情報処理学会シンポジ, vol. 第2016巻,第1号, JPN6021019089, 6 July 2016 (2016-07-06), JP, pages 149 - 161, ISSN: 0004513298 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021060899A (ja) * | 2019-10-09 | 2021-04-15 | 株式会社日立製作所 | 作業者管理装置、及び作業者管理方法 |
JP7286507B2 (ja) | 2019-10-09 | 2023-06-05 | 株式会社日立製作所 | 作業者管理装置、及び作業者管理方法 |
JP7432764B2 (ja) | 2020-03-31 | 2024-02-16 | レイセオン カンパニー | 適応作業指示のための組織的認知応答(ocr)フィードバックのシステムおよび方法 |
JP7429440B2 (ja) | 2020-10-09 | 2024-02-08 | 日本メナード化粧品株式会社 | 一過性の複合感情の推定装置、推定システム、推定方法および推定プログラム |
WO2023012901A1 (ja) * | 2021-08-03 | 2023-02-09 | 日本電信電話株式会社 | 感覚刺激呈示装置、感覚刺激呈示方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2019176992A1 (ja) | 2019-09-19 |
JP6935774B2 (ja) | 2021-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019176992A1 (ja) | 推定システム、学習装置、学習方法、推定装置及び推定方法 | |
Bulagang et al. | A review of recent approaches for emotion classification using electrocardiography and electrodermography signals | |
Croft | Estimating intent for human-robot interaction | |
CN110072454B (zh) | 生产管理设备、方法以及程序 | |
US20190239795A1 (en) | Emotion estimation apparatus, method, and program | |
Kulic et al. | Affective state estimation for human–robot interaction | |
Jerritta et al. | Physiological signals based human emotion recognition: a review | |
Zhai et al. | Stress detection in computer users based on digital signal processing of noninvasive physiological variables | |
Sharma et al. | Objective measures, sensors and computational techniques for stress recognition and classification: A survey | |
TWI478691B (zh) | 睡意偵測方法及其裝置 | |
KR102143343B1 (ko) | 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템 | |
JP2015054240A (ja) | コンテンツ評価システム及びそれを用いたコンテンツ評価方法 | |
Chernorizov et al. | Psychophysiological methods for the diagnostics of human functional states: New approaches and perspectives | |
Sanjaya et al. | Review on the application of physiological and biomechanical measurement methods in driving fatigue detection | |
Mindoro et al. | Drowsy or not? Early drowsiness detection utilizing arduino based on electroencephalogram (eeg) neuro-signal | |
JP2020035331A (ja) | パフォーマンス計測装置、パフォーマンス計測方法及びパフォーマンス計測プログラム | |
Kraft et al. | CareCam: Concept of a new tool for Corporate Health Management | |
Hussain et al. | Classification of cognitive load from task performance & multichannel physiology during affective changes | |
US20210236023A1 (en) | TECHNOLOGY ADAPTED TO ENABLE IMPROVED COLLECTION OF INVOLUNTARY EYELlD MOVEMENT PARAMETERS, INCLUDING COLLECTION OF EYELlD MOVEMENT PARAMETERS TO SUPPORT ANALYSIS OF NEUROLOGICAL FACTORS | |
Giusti et al. | A noninvasive system for evaluating driver vigilance level examining both physiological and mechanical data | |
Wang et al. | Research on mental load state recognition based on combined information sources | |
Ganesh et al. | Real time vigilance detection using frontal EEG | |
Zoghbi et al. | Evaluation of affective state estimations using an on-line reporting device during human-robot interactions | |
Schall | New methods for measuring emotional engagement | |
Dávila-Montero et al. | Exploring the relationship between speech and skin conductance for real-time arousal monitoring |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210625 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210727 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6935774 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |