JP2019154868A - Estimation system, estimation device, and estimation method - Google Patents

Estimation system, estimation device, and estimation method Download PDF

Info

Publication number
JP2019154868A
JP2019154868A JP2018047111A JP2018047111A JP2019154868A JP 2019154868 A JP2019154868 A JP 2019154868A JP 2018047111 A JP2018047111 A JP 2018047111A JP 2018047111 A JP2018047111 A JP 2018047111A JP 2019154868 A JP2019154868 A JP 2019154868A
Authority
JP
Japan
Prior art keywords
worker
task
brain activity
data
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018047111A
Other languages
Japanese (ja)
Other versions
JP6966363B2 (en
Inventor
康代 小竹
Yasuyo KOTAKE
康代 小竹
中嶋 宏
Hiroshi Nakajima
宏 中嶋
洋祐 片岡
Yosuke Kataoka
洋祐 片岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kokorotics
Kokorotics Inc
Omron Corp
Original Assignee
Kokorotics
Kokorotics Inc
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kokorotics, Kokorotics Inc, Omron Corp, Omron Tateisi Electronics Co filed Critical Kokorotics
Priority to JP2018047111A priority Critical patent/JP6966363B2/en
Publication of JP2019154868A publication Critical patent/JP2019154868A/en
Application granted granted Critical
Publication of JP6966363B2 publication Critical patent/JP6966363B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

To provide a technique that makes it possible to more accurately estimate the level of concentration of an operator on work.SOLUTION: An estimation system according to one aspect of the present invention determines, in a learning phase, a correspondence between a brain activity quantity and emotional state and a level of concentration, on the basis of brain activity data indicating a level of brain activity measured while a task is being executed, emotion data indicating an emotional state of the worker input in relation to the execution of the task, and execution result data indicating a level of concentration on the work identified from a result of execution of the task. In an estimation phase, the estimation system estimates, on the basis of the identified correspondence, the level of concentration of the worker on the task from the level of brain activity measured while the task is being executed and the emotional state of the worker input in relation to the execution of the task.SELECTED DRAWING: Figure 3

Description

本発明は、推定システム、推定装置及び推定方法に関する。   The present invention relates to an estimation system, an estimation device, and an estimation method.

作業者のタスクを含む生産ラインのような作業現場において、生産物の生産性に対するパフォーマンス(特に、品質、生産量等)に影響を与える要因には、作業者の状態に起因する要因が含まれている。従来の作業現場では、このような作業者の状態に起因する生産性の程度を高める方法、又は生産性の程度の低下を抑制する(生産性を維持する)方法として、管理者が、作業者の身体的及び精神的な状態を視覚的に観察し、当該作業者の生産性を維持し、向上するように適切な指示を当該作業者に与える方法が採用されていた。   Factors that affect the performance of product productivity (especially quality, production volume, etc.) at work sites such as production lines that include worker tasks include factors resulting from worker conditions. ing. In a conventional work site, an administrator uses an operator as a method for increasing the degree of productivity due to such a worker's condition or suppressing the decrease in the degree of productivity (maintaining productivity). A method of visually observing the physical and mental state of the worker and giving the worker appropriate instructions to maintain and improve the productivity of the worker has been adopted.

しかしながら、そのような方法は、管理者の主観に依拠して作業者の状態を判断するため、見落とし又は誤解に起因して、必ずしも適切な対処が実施されない恐れがある。つまり、従来の方法では、作業者の状態に起因する生産性(パフォーマンス)の程度を客観的にかつ反復可能な方法で測定することは難しく、上記のような生産ラインの生産性/効率を体系的に維持すること又は高めることは困難であった。   However, since such a method relies on the subjectivity of the manager to determine the state of the worker, there is a possibility that appropriate measures are not necessarily implemented due to oversight or misunderstanding. In other words, with the conventional method, it is difficult to measure the degree of productivity (performance) due to the worker's condition in an objective and repeatable manner, and the productivity / efficiency of the above production line is systematized. It has been difficult to maintain or enhance.

特開2016−146173号公報JP 2006-146173 A

作業に対して集中している状態を作業者がより長時間持続することができれば、上記のような生産ラインの生産性/効率を高める又は維持することができる。この作業者が作業に集中しているか否かを推定する一つの手がかりとして、作業を行っている間に作業者の脳活動量を測定することが挙げられる。   If the worker can maintain a more concentrated state for work for a longer time, the productivity / efficiency of the production line as described above can be increased or maintained. One clue for estimating whether or not the worker is concentrating on the work is to measure the amount of brain activity of the worker while working.

例えば、特許文献1では、心拍、呼吸、脳波、脳磁、酸素濃度、血流、表情、体動等の生体情報に基づいて、ユーザがコンテンツに集中しているか否かを判定する刺激提示システムが提案されている。具体的には、特許文献1で提案される刺激提示システムは、集中判定コンテンツを提示した後、次のコンテンツが提示される前に取得された生体情報に含まれる第1脳活動情報と、刺激提示コンテンツが提示されている時に取得された生体情報に含まれる第2脳活動情報とを比較する。そして、刺激提示システムは、第1脳活動情報と第2脳活動情報との差が所定の量以上ある場合に、刺激提示コンテンツにユーザが集中していると判定し、そうではない場合に、ユーザは集中していないと判定する。   For example, in Patent Document 1, a stimulus presentation system that determines whether or not a user is concentrated on content based on biological information such as heart rate, respiration, brain waves, brain magnetism, oxygen concentration, blood flow, facial expression, and body movement Has been proposed. Specifically, the stimulus presentation system proposed in Patent Document 1 includes the first brain activity information included in the biological information acquired after the concentration determination content is presented and before the next content is presented, and the stimulus. The second brain activity information included in the biological information acquired when the presented content is presented is compared. When the difference between the first brain activity information and the second brain activity information is greater than or equal to a predetermined amount, the stimulus presentation system determines that the user is concentrated on the stimulus presentation content, and if not, It is determined that the user is not concentrated.

特許文献1で提案されている方法によれば、測定された脳活動量に基づいて、作業者が作業に集中しているか否かを推定することができる。しかしながら、作業者が作業に集中しているか否かを正確に把握するためには、この脳活動量のみに基づくだけでは不十分である。なぜなら、脳活動量は、作業者の認知に利用している脳のリソースの量を示すに過ぎず、その脳のリソースが作業に割り振られているか否かは不明であるからである。例えば、作業者が、特定の作業に従事しているとする。この場合、その特定の作業に作業者が集中しているときには、その作業者から測定される脳活動量は高くなり得るが、その特定の作業以外の何らかの事象に作業者が集中しているときにも、その作業者から測定される脳活動量は高くなり得る。つまり、脳活動量のみに基づいて作業者の集中状態を判定する方法では、作業者が対象の作業に集中しているのか、それとも、対象の作業以外に集中しているのかを区別することができない。そのため、作業者の脳活動量のみを用いる方法では、作業現場における作業者の状態に起因する生産性の程度を正確に測定することは困難であり、当該作業現場における生産性の更なる向上を図ることは難しいと考えられる。   According to the method proposed in Patent Document 1, it is possible to estimate whether or not the worker is concentrated on work based on the measured brain activity. However, in order to accurately grasp whether or not the worker is concentrating on the work, it is not sufficient only based on this brain activity amount. This is because the amount of brain activity only indicates the amount of brain resources used for the worker's recognition, and it is unknown whether the brain resources are allocated to the work. For example, it is assumed that the worker is engaged in a specific work. In this case, when the worker is concentrated on the specific task, the amount of brain activity measured from the worker can be high, but when the worker is concentrated on some event other than the specific task. Moreover, the amount of brain activity measured by the worker can be high. In other words, in the method of determining the concentration state of the worker based only on the amount of brain activity, it is possible to distinguish whether the worker is concentrated on the target work or on other than the target work. Can not. For this reason, it is difficult to accurately measure the degree of productivity due to the state of the worker at the work site by the method using only the brain activity amount of the worker, and further improvement of the productivity at the work site is possible. It is difficult to plan.

この課題は、上記のような生産ラインの生産性/効率を高める又は維持する場面だけではなく、人間が特定のタスクを実行するあらゆる場面で生じ得る。例えば、ドライバモニタリングシステムでは、ドライバの状態を把握する上で、ドライバが運転に集中しているか否かを特定することは重要である。また、例えば、教育の場面でも、生徒が学習に集中しているか否かを特定することは、教育効果の測定等において有用である。   This challenge can occur not only in the above-described production line productivity / efficiency scene, but in any scene where a human performs a specific task. For example, in a driver monitoring system, it is important to identify whether or not the driver is concentrating on driving when grasping the state of the driver. Also, for example, in the educational scene, it is useful in measuring the educational effect or the like to specify whether or not the student is concentrating on learning.

本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、作業者のタスクに対する集中の程度をより正確に推定可能な技術を提供することである。   In one aspect, the present invention has been made in view of such a situation, and an object of the present invention is to provide a technique capable of more accurately estimating the degree of concentration of an operator on a task.

本発明は、上述した課題を解決するために、以下の構成を採用する。   The present invention employs the following configuration in order to solve the above-described problems.

すなわち、本発明の一側面に係る推定システムは、学習のフェーズにおいて、所定の第1タスクを第1作業者が実行している間に当該第1作業者から測定された脳活動量を示す第1脳活動データを取得する第1取得部と、前記第1タスクの実行に対する感情の入力を受け付けることで、前記第1タスクの実行に関連した前記第1作業者の感情状態を示す第1感情データを取得する第2取得部と、前記第1作業者が前記第1タスクを実行した結果に基づいて特定された、前記第1作業者の前記第1タスクに対する集中の程度を示す実行結果データを取得する第3取得部と、前記第1脳活動データ、前記第1感情データ、及び前記実行結果データに基づいて、前記脳活動量及び前記感情状態と前記集中の程度との間の対応関係を特定する関係特定部と、推定のフェーズにおいて、所定の第2タスクを第2作業者が実行している間に当該第2作業者から測定される脳活動量を示す第2脳活動データを取得する第4取得部と、前記第2タスクの実行に対する感情の入力を受け付けることで、前記第2タスクの実行に関連した前記第2作業者の感情状態を示す第2感情データを取得する第5取得部と、前記対応関係に基づいて、前記第2脳活動データ及び前記第2感情データにより示される前記第2作業者の前記脳活動量及び前記感情状態から、前記第2作業者の前記第2タスクに対する集中の程度を推定する推定部と、前記第2作業者の前記第2タスクに対する集中の程度を推定した結果を出力する出力部と、を備える。   In other words, the estimation system according to one aspect of the present invention is configured to indicate a brain activity amount measured from a first worker while the first worker is executing a predetermined first task in a learning phase. A first acquisition unit that acquires one brain activity data, and a first emotion that indicates an emotional state of the first worker related to the execution of the first task by receiving an input of an emotion for the execution of the first task A second acquisition unit for acquiring data, and execution result data indicating a degree of concentration of the first worker with respect to the first task, which is specified based on a result of the first worker executing the first task And a correspondence relationship between the amount of brain activity and the emotional state and the degree of concentration based on the first acquisition unit, the first brain activity data, the first emotion data, and the execution result data Identify relationship And in the estimation phase, a fourth acquisition unit that acquires second brain activity data indicating a brain activity amount measured from the second worker while the second worker is executing the predetermined second task And a fifth acquisition unit for acquiring second emotion data indicating an emotion state of the second worker related to the execution of the second task by receiving an input of emotion for the execution of the second task; Based on the correspondence, the concentration of the second worker on the second task is determined from the amount of brain activity and the emotional state of the second worker indicated by the second brain activity data and the second emotion data. An estimation unit that estimates the degree; and an output unit that outputs a result of estimating the degree of concentration of the second worker on the second task.

上記構成では、学習のフェーズにおいて、所定の第1タスクを第1作業者に実行させて、第1タスクを実行している間の第1作業者の脳活動量を測定する。また、第1タスクの実行に対する感情の入力を受け付けることで、当該第1タスクの実行に関連する第1作業者の感情状態を特定する。更に、第1作業者が第1タスクを実行した結果に基づいて、当該第1作業者の第1タスクに対する集中の程度を特定する。上記構成に係る推定システムは、これらに基づいて、脳活動量及び感情状態と集中の程度との間の対応関係を特定する。つまり、上記構成に係る推定システムは、作業者がどのような脳活動量及び感情状態にある場合に、当該作業者がタスクに対してどの程度集中しているかを特定する。   In the above configuration, in the learning phase, the first worker is caused to execute the predetermined first task, and the brain activity amount of the first worker while the first task is being executed is measured. Moreover, the emotional state of the 1st worker relevant to execution of the said 1st task is specified by receiving the input of the emotion with respect to execution of the 1st task. Furthermore, the degree of concentration of the first worker with respect to the first task is specified based on the result of the first worker executing the first task. Based on these, the estimation system according to the above configuration specifies a correspondence relationship between the amount of brain activity and emotional state and the degree of concentration. That is, the estimation system according to the above configuration specifies how much the worker is concentrated on the task when the worker is in what kind of brain activity and emotional state.

一方、推定のフェーズでは、上記構成に係る推定システムは、学習のフェーズにより得られた知見(対応関係)を利用して、対象の作業者のタスクに対する集中の程度を推定する。すなわち、推定のフェーズにおいて、所定の第2タスクを第2作業者に実行させて、第2タスクを実行している間の脳活動量を測定する。また、第2タスクの実行に対する感情の入力を受け付けることで、当該第2タスクの実行に関連する第2作業者の感情状態を特定する。上記構成に係る推定システムは、上記対応関係に基づいて、これらにより得られた第2作業者の脳活動量及び感情状態から、当該第2作業者の第2タスクに対する集中の程度を推定する。そして、上記構成に係る推定システムは、第2作業者の第2タスクに対する集中の程度を推定した結果を出力する。   On the other hand, in the estimation phase, the estimation system according to the above configuration uses the knowledge (correspondence) obtained in the learning phase to estimate the degree of concentration of the target worker on the task. That is, in the estimation phase, the second worker is caused to execute a predetermined second task, and the amount of brain activity during the execution of the second task is measured. Moreover, the emotional state of the 2nd worker relevant to execution of the said 2nd task is specified by receiving the input of the emotion with respect to execution of a 2nd task. The estimation system according to the above configuration estimates the degree of concentration of the second worker with respect to the second task from the brain activity amount and emotional state of the second worker obtained based on the correspondence relationship. And the estimation system which concerns on the said structure outputs the result of having estimated the degree of concentration with respect to the 2nd task of a 2nd worker.

したがって、上記構成に係る推定システムは、脳活動量及び感情状態の2つの指標を、作業に対する集中の程度に対応付けることによって、これら2つの指標に基づいて、作業者の作業に対する集中の程度を推定可能にしている。これら2つの指標のうち、脳活動量は、作業者の認知に利用している脳のリソースの量を示すことができる。一方、感情状態は、脳活動量と結びつくことで、その脳のリソースが何に割り振られているかを示し得る。そのため、脳活動量及び感情状態の2つの指標に基づくことで、作業者が作業に対して集中しているか否かをより正確に把握することができる。よって、上記構成によれば、作業者の作業に対する集中の程度をより正確に推定することができる。   Therefore, the estimation system according to the above configuration estimates the degree of concentration of the worker with respect to the work based on these two indices by associating the two indices of the brain activity amount and the emotional state with the degree of concentration with respect to the work. It is possible. Of these two indicators, the amount of brain activity can indicate the amount of brain resources used for worker recognition. On the other hand, the emotional state can be related to the amount of brain activity to indicate what the brain resources are allocated to. Therefore, based on the two indicators of the amount of brain activity and the emotional state, it is possible to more accurately grasp whether or not the worker is concentrated on the work. Therefore, according to the said structure, the degree of concentration with respect to a worker's work can be estimated more correctly.

なお、第1作業者は、学習に利用するデータを取得する対象となる作業者であり、第2作業者は、タスクに対する集中の程度を推定する対象となる作業者である。第1作業者と第2作業者とは、一致していてもよいし、一致していなくてもよい。また、第1タスクは、学習に利用するデータを取得する際に作業者に実行させるタスクであり、第2タスクは、集中の程度を推定する対象となるタスクである。第1タスクと第2タスクとは一致している又は関連しているのが好ましい。ただし、第1タスクと第2タスクとは必ずしも一致していなくてもよいし、関連していなくてもよい。各タスクは、例えば、生産ラインで作業者が行う作業等のような一定の時間に行う作業量が決まっているものであってよい。   The first worker is a worker who acquires data used for learning, and the second worker is a worker who estimates the degree of concentration on the task. The first worker and the second worker may or may not match. The first task is a task that is executed by an operator when acquiring data to be used for learning, and the second task is a task for which the degree of concentration is estimated. The first task and the second task are preferably coincident or related. However, the first task and the second task do not necessarily have to match or do not have to be related. Each task may have a predetermined amount of work to be performed at a certain time such as work performed by an operator on the production line.

上記一側面に係る推定システムにおいて、前記第1脳活動データ及び前記第2脳活動データにおける前記脳活動量は、位相同期指標(Phase locking index)の値により示されてよい。当該構成によれば、客観的かつ反復可能な方法により脳活動量の値を正確に測定可能であるため、作業者の作業に対する集中の程度をより正確に推定することができる。   In the estimation system according to the one aspect, the brain activity amount in the first brain activity data and the second brain activity data may be indicated by a value of a phase locking index. According to this configuration, since the value of the amount of brain activity can be accurately measured by an objective and repeatable method, it is possible to estimate the degree of concentration of the worker with respect to work more accurately.

上記一側面に係る推定システムにおいて、前記第1感情データ及び前記第2感情データにおける前記感情状態は、アローザル(Arousal)及びヴァレンス(Valence)の2つの指標により示されてよい。当該構成によれば、感情状態をより正確に表現可能であるため、作業者の作業に対する集中の程度をより正確に推定することができる。なお、アローザル及びヴァレンスは、ラッセル(Russell)の円環モデルに用いられる2つの指標である。アローザル(又は、Activation)は、覚醒度を表す指標であり、覚醒/鎮静の程度、又は活性/非活性の程度を示す。ヴァレンスは、感情価、すなわち感情の質を表す指標であり、ポジティブ/ネガティブの程度、又は快/不快の程度を示す。   In the estimation system according to the above aspect, the emotional state in the first emotion data and the second emotion data may be indicated by two indicators, Arousal and Valence. According to this configuration, since the emotional state can be expressed more accurately, the degree of concentration of the worker with respect to the work can be estimated more accurately. The arousal and valence are two indices used in the Russell ring model. The arousal (or activation) is an index representing the degree of arousal and indicates the degree of arousal / sedation or the degree of activity / inactivity. Valence is an index representing the emotional value, that is, the quality of emotion, and indicates the degree of positive / negative or the degree of pleasure / discomfort.

なお、上記各形態に係る推定システムの別の形態として、以上の各構成を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、上記各形態に係る推定システムは、1又は複数台の情報処理装置により構成されてもよい。更に、上記各形態に係る推定システムから推定のフェーズに対応する一部の構成を抽出することで、別の形態に係るシステム、装置、方法、プログラム、及びプログラムを記憶した記憶媒体を構築してもよい。   In addition, as another form of the estimation system according to each of the above forms, an information processing method that realizes each of the above-described configurations, a program, a computer that stores such a program, or the like It may be a storage medium that can be read by an apparatus, a machine, or the like. Here, the computer-readable storage medium is a medium that stores information such as programs by electrical, magnetic, optical, mechanical, or chemical action. In addition, the estimation system according to each of the above aspects may be configured by one or a plurality of information processing apparatuses. Further, by extracting a part of the configuration corresponding to the estimation phase from the estimation system according to each of the above forms, a system, an apparatus, a method, a program according to another form, and a storage medium storing the program are constructed. Also good.

また、例えば、本発明の一側面に係る推定装置は、所定のタスクを作業者が実行している間に当該作業者から測定される脳活動量を示す脳活動データを取得する第1取得部と、前記タスクの実行に対する感情の入力を受け付けることで、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得する第2取得部と、前記脳活動量及び前記感情状態と集中の程度との間の対応関係を示す対応関係データを取得し、取得した当該対応関係データにより示される当該対応関係に基づいて、前記脳活動データ及び前記感情データにより示される前記作業者の前記脳活動量及び前記感情状態から、前記作業者の前記タスクに対する集中の程度を推定する推定部と、前記作業者の前記タスクに対する集中の程度を推定した結果を出力する出力部と、を備える。   In addition, for example, the estimation device according to one aspect of the present invention includes a first acquisition unit that acquires brain activity data indicating a brain activity amount measured from a worker while the worker is executing a predetermined task. A second acquisition unit that acquires emotion data indicating an emotional state of the worker related to the execution of the task by accepting an input of emotion to the execution of the task, the amount of brain activity and the emotional state, The correspondence data indicating the correspondence between the degree of concentration is acquired, and the worker's indicated by the brain activity data and the emotion data is based on the correspondence indicated by the acquired correspondence data. From the amount of brain activity and the emotional state, an estimation unit that estimates the degree of concentration of the worker with respect to the task, and a result of estimating the degree of concentration of the worker with respect to the task are output. It includes a radical 19, a.

また、例えば、本発明の一側面に係る推定方法は、コンピュータが、所定のタスクを作業者が実行している間に当該作業者から測定される脳活動量を示す脳活動データを取得するステップと、前記タスクの実行に対する感情の入力を受け付けることで、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得するステップと、
前記脳活動量及び前記感情状態と集中の程度との間の対応関係を示す対応関係データを取得するステップと、取得した前記対応関係データにより示される前記対応関係に基づいて、前記脳活動データ及び前記感情データにより示される前記作業者の前記脳活動量及び前記感情状態から、前記作業者の前記タスクに対する集中の程度を推定するステップと、前記作業者の前記タスクに対する集中の程度を推定した結果を出力するステップと、を実行する、情報処理方法である。
Further, for example, in the estimation method according to one aspect of the present invention, the computer acquires brain activity data indicating a brain activity amount measured from the worker while the worker is performing a predetermined task. And obtaining emotion data indicating an emotional state of the worker related to the execution of the task by receiving an input of emotion for the execution of the task;
Acquiring correspondence data indicating the correspondence between the brain activity amount and the emotional state and the degree of concentration; and based on the correspondence indicated by the acquired correspondence data, the brain activity data and Estimating the degree of concentration of the worker with respect to the task from the amount of brain activity and the emotional state of the worker indicated by the emotion data, and a result of estimating the degree of concentration of the worker with respect to the task Is output, and an information processing method is executed.

本発明によれば、作業者の作業に対する集中の程度をより正確に推定可能な技術を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the technique which can estimate the degree of concentration with respect to a worker's work more correctly can be provided.

図1は、本発明が適用される場面の一例を模式的に例示する。FIG. 1 schematically illustrates an example of a scene to which the present invention is applied. 図2は、実施の形態に係る推定システムのハードウェア構成の一例を模式的に例示する。FIG. 2 schematically illustrates an example of a hardware configuration of the estimation system according to the embodiment. 図3は、実施の形態に係る推定システムのソフトウェア構成の一例を模式的に例示する。FIG. 3 schematically illustrates an example of the software configuration of the estimation system according to the embodiment. 図4は、実施の形態に係る脳活動データの一例を模式的に例示する。FIG. 4 schematically illustrates an example of brain activity data according to the embodiment. 図5Aは、感情状態を表現する手法の一例を説明するための図である。FIG. 5A is a diagram for explaining an example of a technique for expressing an emotional state. 図5Bは、実施の形態に係る感情データの一例を模式的に例示する。FIG. 5B schematically illustrates an example of emotion data according to the embodiment. 図6は、実施の形態に係る推定システムの学習フェーズにおける処理手順の一例を例示する。FIG. 6 illustrates an example of a processing procedure in the learning phase of the estimation system according to the embodiment. 図7は、実施の形態に係る第1タスクの一例を模式的に例示する。FIG. 7 schematically illustrates an example of the first task according to the embodiment. 図8は、感情の入力を受け付ける画面の一例を模式的に例示する。FIG. 8 schematically illustrates an example of a screen that accepts an emotion input. 図9Aは、タスクに対する集中の程度が高い作業者の脳活動データ及び感情データの推移の一例を模式的に例示する。FIG. 9A schematically illustrates an example of the transition of brain activity data and emotion data of a worker who is highly concentrated on a task. 図9Bは、タスクに対する集中の程度が低い作業者の脳活動データ及び感情データの推移の一例を模式的に例示する。FIG. 9B schematically illustrates an example of the transition of brain activity data and emotion data of a worker who has a low degree of concentration on a task. 図10は、実施の形態に係る脳活動量及び感情状態と集中の程度との間の対応関係を示す対応関係データの一例を模式的に例示する。FIG. 10 schematically illustrates an example of correspondence data indicating the correspondence between the amount of brain activity and emotional state and the degree of concentration according to the embodiment. 図11は、実施の形態に係る推定システムの推定フェーズにおける処理手順の一例を例示する。FIG. 11 illustrates an example of a processing procedure in the estimation phase of the estimation system according to the embodiment.

以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。   Hereinafter, an embodiment according to an aspect of the present invention (hereinafter, also referred to as “this embodiment”) will be described with reference to the drawings. However, this embodiment described below is only an illustration of the present invention in all respects. It goes without saying that various improvements and modifications can be made without departing from the scope of the present invention. That is, in implementing the present invention, a specific configuration according to the embodiment may be adopted as appropriate. Although data appearing in this embodiment is described in a natural language, more specifically, it is specified by a pseudo language, a command, a parameter, a machine language, or the like that can be recognized by a computer.

§1 適用例
まず、図1を用いて、本発明が適用される場面の一例について説明する。図1は、本実施形態に係る推定システム1の適用場面の一例を模式的に例示する。
§1 Application Example First, an example of a scene to which the present invention is applied will be described with reference to FIG. FIG. 1 schematically illustrates an example of an application scene of the estimation system 1 according to the present embodiment.

本実施形態に係る推定システム1は、作業者の脳活動量及び感情状態の2つの指標から、当該作業者の作業に対する集中の程度を推定する情報処理装置である。具体的には、推定システム1は、学習のフェーズにおいて、所定の第1タスク40を第1作業者50が実行している間に当該第1作業者50から測定された脳活動量を示す第1脳活動データを取得する。また、推定システム1は、第1タスク40の実行に対する感情の入力を受け付けることで、第1タスク40の実行に関連した第1作業者50の感情状態を示す第1感情データを取得する。更に、推定システム1は、第1作業者50が第1タスク40を実行した結果に基づいて特定された、当該第1作業者50の第1タスク40に対する集中の程度を示す実行結果データを取得する。そして、推定システム1は、第1脳活動データ、第1感情データ、及び実行結果データに基づいて、脳活動量及び感情状態と集中の程度との間の対応関係を特定する。   The estimation system 1 according to the present embodiment is an information processing apparatus that estimates the degree of concentration of a worker with respect to work from two indicators of the amount of brain activity and emotional state of the worker. Specifically, in the learning phase, the estimation system 1 indicates the first brain activity amount measured from the first worker 50 while the first worker 50 is executing the predetermined first task 40. 1 Brain activity data is acquired. Further, the estimation system 1 receives the input of emotion for the execution of the first task 40, thereby acquiring first emotion data indicating the emotion state of the first worker 50 related to the execution of the first task 40. Further, the estimation system 1 acquires execution result data indicating the degree of concentration of the first worker 50 with respect to the first task 40 specified based on the result of the first worker 50 executing the first task 40. To do. Then, the estimation system 1 identifies the correspondence relationship between the amount of brain activity and the emotional state and the degree of concentration based on the first brain activity data, the first emotion data, and the execution result data.

一方、推定システム1は、推定のフェーズにおいて、所定の第2タスク41を第2作業者51が実行している間に当該第2作業者51から測定される脳活動量を示す第2脳活動データを取得する。また、推定システム1は、第2タスク41の実行に対する感情の入力を受け付けることで、当該第2タスク41の実行に関連した第2作業者51の感情状態を示す第2感情データを取得する。次に、推定システム1は、学習のフェーズで特定した対応関係に基づいて、第2脳活動データ及び第2感情データにより示される第2作業者51の脳活動量及び感情状態から、当該第2作業者51の第2タスク41に対する集中の程度を推定する。そして、推定システム1は、第2作業者51の第2タスク41に対する集中の程度を推定した結果を出力する。   On the other hand, in the estimation phase, the estimation system 1 performs the second brain activity indicating the amount of brain activity measured from the second worker 51 while the second worker 51 is executing the predetermined second task 41. Get the data. In addition, the estimation system 1 receives second emotion data indicating the emotional state of the second worker 51 related to the execution of the second task 41 by receiving an input of emotion for the execution of the second task 41. Next, the estimation system 1 calculates the second activity based on the brain activity amount and emotional state of the second worker 51 indicated by the second brain activity data and the second emotion data based on the correspondence specified in the learning phase. The degree of concentration of the worker 51 on the second task 41 is estimated. Then, the estimation system 1 outputs a result of estimating the degree of concentration of the second worker 51 with respect to the second task 41.

以上のとおり、本実施形態に係る推定システム1は、学習のフェーズにおいて、脳活動量及び感情状態の2つの指標を、作業に対する集中の程度に対応付ける。そして、本実施形態に係る推定システム1は、推定のフェーズにおいて、学習のフェーズで特定した対応関係に基づいて、脳活動量及び感情状態の2つの指標から作業者(第2作業者51)の作業(第2タスク41)に対する集中の程度を推定する。これら2つの指標のうち、脳活動量は、作業者の認知に利用している脳のリソースの量を示し得る。一方、感情状態は、脳活動量と結びつくことで、その脳のリソースが何に割り振られているかを示し得る。そのため、脳活動量及び感情状態の2つの指標を利用することで、作業者が作業に対して集中しているか否かをより正確に把握することができる。よって、本実施形態に係る推定システム1によれば、作業者の作業に対する集中の程度をより正確に推定することができる。   As described above, in the learning phase, the estimation system 1 according to the present embodiment associates the two indicators of the brain activity amount and the emotional state with the degree of concentration on work. Then, in the estimation phase, the estimation system 1 according to the present embodiment, based on the correspondence relationship specified in the learning phase, determines the worker (second worker 51) from the two indicators of brain activity and emotional state. The degree of concentration on the work (second task 41) is estimated. Of these two indicators, the amount of brain activity may indicate the amount of brain resources used for worker recognition. On the other hand, the emotional state can be related to the amount of brain activity to indicate what the brain resources are allocated to. Therefore, by using the two indexes of the brain activity amount and the emotional state, it is possible to more accurately grasp whether or not the worker is concentrated on the work. Therefore, according to the estimation system 1 according to the present embodiment, it is possible to more accurately estimate the degree of concentration of the worker with respect to the work.

なお、第1作業者50は、学習に利用するデータを取得する対象となる作業者であり、第2作業者51は、作業に対する集中の程度を推定する対象となる作業者である。第1作業者50と第2作業者51とは、同一人物であってもよいし、同一人物でなくてもよい。また、第1タスク40は、学習に利用するデータを取得する際に作業者に実行させる作業であり、第2タスク41は、集中の程度を推定する対象となる作業である。第1タスク40と第2タスク41とは一致している又は関連しているのが好ましい。ただし、第1タスク40と第2タスク41とは必ずしも一致していなくてもよいし、関連していなくてもよい。各タスク(40、41)は、例えば、生産ラインで作業者が行う作業等のような一定の時間に行う作業量が決まっているものであってよいがこれに限定されない。なお、ここでの作業者はタスクを実行する主体(人間)を意味しており、例えば、本推定システムを教育において利用する場合は、作業者は学習を行う生徒であってよい。   The first worker 50 is a worker who is a target for acquiring data used for learning, and the second worker 51 is a worker who is a target for estimating the degree of concentration with respect to work. The first worker 50 and the second worker 51 may be the same person or not the same person. The first task 40 is an operation that is performed by an operator when acquiring data used for learning, and the second task 41 is an operation that is a target for estimating the degree of concentration. The first task 40 and the second task 41 are preferably coincident or related. However, the 1st task 40 and the 2nd task 41 do not necessarily need to correspond, and do not need to be related. Each task (40, 41) may have a predetermined amount of work to be performed at a certain time such as work performed by an operator on the production line, but is not limited thereto. Note that the worker here means a subject (human) that performs the task. For example, when the estimation system is used in education, the worker may be a student who performs learning.

また、脳活動量の測定方法及び感情の入力方法は、実施の形態に応じて適宜選択されてよい。本実施形態では、第1作業者50の脳活動量の測定には、第1作業者50の頭部に装着された脳波計30が利用され、第1作業者50の感情の入力には、タッチパネル31が利用される。同様に、第2作業者51の脳活動量の測定には、第2作業者51の頭部に装着された脳波計35が利用され、第2作業者51の感情の入力には、タッチパネル36が利用される。   Further, the method for measuring the amount of brain activity and the method for inputting emotion may be appropriately selected according to the embodiment. In the present embodiment, the electroencephalogram 30 attached to the head of the first worker 50 is used to measure the amount of brain activity of the first worker 50, and the emotion input of the first worker 50 is input to A touch panel 31 is used. Similarly, an electroencephalograph 35 attached to the head of the second worker 51 is used to measure the amount of brain activity of the second worker 51, and the touch panel 36 is used to input the emotion of the second worker 51. Is used.

§2 構成例
[ハードウェア構成]
次に、図2を用いて、本実施形態に係る推定システム1のハードウェア構成の一例について説明する。図2は、本実施形態に係る推定システム1のハードウェア構成の一例を模式的に例示する。
§2 Configuration example [Hardware configuration]
Next, an example of the hardware configuration of the estimation system 1 according to the present embodiment will be described with reference to FIG. FIG. 2 schematically illustrates an example of a hardware configuration of the estimation system 1 according to the present embodiment.

図2に示されるとおり、本実施形態に係る推定システム1は、制御部11、記憶部12、外部インタフェース13、入力装置14、出力装置15、及びドライブ16が電気的に接続されたコンピュータである。なお、図2では、外部インタフェースを「外部I/F」と記載している。   As shown in FIG. 2, the estimation system 1 according to the present embodiment is a computer in which a control unit 11, a storage unit 12, an external interface 13, an input device 14, an output device 15, and a drive 16 are electrically connected. . In FIG. 2, the external interface is described as “external I / F”.

制御部11は、ハードウェアプロセッサであるCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。記憶部12は、メモリの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部12は、プログラム8、第1脳活動データ121、第1感情データ122、実行結果データ123、対応関係データ124、第2脳活動データ125、第2感情データ126等の各種情報を記憶する。   The control unit 11 includes a CPU (Central Processing Unit) that is a hardware processor, a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, and is configured to execute information processing based on programs and various data. The The storage unit 12 is an example of a memory, and includes, for example, a hard disk drive or a solid state drive. In the present embodiment, the storage unit 12 includes the program 8, the first brain activity data 121, the first emotion data 122, the execution result data 123, the correspondence data 124, the second brain activity data 125, the second emotion data 126, and the like. Various types of information are stored.

プログラム8は、脳活動量及び感情状態と作業に対する集中の程度との対応関係を特定する学習のフェーズに係る後述の情報処理(図6)、及び特定した対応関係に基づいて、脳活動量及び感情状態から作業に対する集中の程度を推定する推定のフェーズに係る後述の情報処理(図11)を推定システム1に実行させるためのプログラムである。プログラム8は、各情報処理の一連の命令を含む。第1脳活動データ121は、所定の第1タスク40を第1作業者50が実行している間に当該第1作業者50から測定された脳活動量を示す。第1感情データ122は、第1タスク40の実行に関連した第1作業者50の感情状態を示す。実行結果データ123は、第1作業者50が第1タスク40を実行した結果に基づいて特定された、当該第1作業者50の第1タスク40に対する集中の程度を示す。対応関係データ124は、第1脳活動データ121、第1感情データ122、及び実行結果データ123に基づいて特定された、脳活動量及び感情状態と集中の程度との間の対応関係を示す。第2脳活動データ125は、所定の第2タスク41を第2作業者51が実行している間に当該第2作業者51から測定される脳活動量を示す。第2感情データ126は、第2タスク41の実行に関連した第2作業者51の感情状態を示す。詳細は後述する。   The program 8 performs information processing (FIG. 6), which will be described later, related to the learning phase for specifying the correspondence between the brain activity amount and emotional state and the degree of concentration on work, and the brain activity amount and This is a program for causing the estimation system 1 to execute information processing (FIG. 11), which will be described later, relating to an estimation phase for estimating the degree of concentration with respect to work from the emotional state. The program 8 includes a series of instructions for each information processing. The first brain activity data 121 indicates the amount of brain activity measured from the first worker 50 while the first worker 50 is executing the predetermined first task 40. The first emotion data 122 indicates the emotion state of the first worker 50 related to the execution of the first task 40. The execution result data 123 indicates the degree of concentration of the first worker 50 with respect to the first task 40 specified based on the result of the first worker 50 executing the first task 40. Correspondence relationship data 124 indicates a correspondence relationship between the amount of brain activity and emotion state and the degree of concentration specified based on the first brain activity data 121, the first emotion data 122, and the execution result data 123. The second brain activity data 125 indicates the amount of brain activity measured from the second worker 51 while the second worker 51 is executing the predetermined second task 41. The second emotion data 126 indicates the emotion state of the second worker 51 related to the execution of the second task 41. Details will be described later.

外部インタフェース13は、例えば、USB(Universal Serial Bus)ポート、専用ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース13の種類及び数は、接続される外部装置の種類及び数に応じて適宜選択されてよい。本実施形態では、推定システム1は、外部インタフェース13を介して、各脳波計(30、35)及び各タッチパネル(31、36)に接続される。   The external interface 13 is, for example, a USB (Universal Serial Bus) port, a dedicated port, or the like, and is an interface for connecting to an external device. The type and number of external interfaces 13 may be appropriately selected according to the type and number of external devices to be connected. In the present embodiment, the estimation system 1 is connected to each electroencephalograph (30, 35) and each touch panel (31, 36) via the external interface 13.

各脳波計(30、35)は、例えば、各作業者(50、51)の頭部に装着され、当該各作業者(50、51)の脳活動量を測定するために利用される。各脳波計(30、35)の種類は、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。また、第1作業者50の脳活動量の測定に利用される脳波計30と第2作業者51の脳活動量の測定に利用される脳波計35とは、同一であってもよいし、異なる種類のものであってもよい。   Each electroencephalograph (30, 35) is attached to the head of each worker (50, 51), for example, and is used to measure the amount of brain activity of each worker (50, 51). The type of each electroencephalograph (30, 35) is not particularly limited, and may be appropriately selected according to the embodiment. Further, the electroencephalograph 30 used for measuring the brain activity amount of the first worker 50 and the electroencephalograph 35 used for measuring the brain activity amount of the second worker 51 may be the same, Different types may be used.

各タッチパネル(31、36)は、例えば、各作業者(50、51)の近傍に配置され、各タスク(40、41)の実行に対する感情の入力を受け付けるために利用される。各タッチパネル(31、36)の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、各タッチパネル(31、36)は、スマートフォン、タブレット端末等のコンピュータであってもよい。また、第1作業者50の感情の入力に利用されるタッチパネル31と第2作業者51の感情の入力に利用されるタッチパネル36とは、同一であってもよいし、異なる種類のものであってもよい。   Each touch panel (31, 36) is disposed in the vicinity of each worker (50, 51), for example, and is used for receiving an input of emotion for execution of each task (40, 41). The type of each touch panel (31, 36) is not particularly limited, and may be appropriately selected according to the embodiment. For example, each touch panel (31, 36) may be a computer such as a smartphone or a tablet terminal. Further, the touch panel 31 used for inputting the emotion of the first worker 50 and the touch panel 36 used for inputting the emotion of the second worker 51 may be the same or different. May be.

入力装置14は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置15は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。ユーザは、入力装置14及び出力装置15を利用して、推定システム1を操作することができる。   The input device 14 is a device for performing input using, for example, a mouse or a keyboard. The output device 15 is a device for outputting, for example, a display or a speaker. The user can operate the estimation system 1 using the input device 14 and the output device 15.

ドライブ16は、例えば、CDドライブ、DVDドライブ等であり、記憶媒体9に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ16の種類は、記憶媒体9の種類に応じて適宜選択されてよい。上記プログラム8は、この記憶媒体9に記憶されていてもよい。   The drive 16 is, for example, a CD drive, a DVD drive, or the like, and is a drive device for reading a program stored in the storage medium 9. The type of the drive 16 may be appropriately selected according to the type of the storage medium 9. The program 8 may be stored in the storage medium 9.

記憶媒体9は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。推定システム1は、この記憶媒体9から、上記プログラム8を取得してもよい。   The storage medium 9 stores information such as a program by an electrical, magnetic, optical, mechanical, or chemical action so that information such as a program recorded by a computer or other device or machine can be read. It is a medium to do. The estimation system 1 may acquire the program 8 from the storage medium 9.

ここで、図2では、記憶媒体9の一例として、CD、DVD等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体9の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。   Here, in FIG. 2, as an example of the storage medium 9, a disk type storage medium such as a CD or a DVD is illustrated. However, the type of the storage medium 9 is not limited to the disk type and may be other than the disk type. Examples of the storage medium other than the disk type include a semiconductor memory such as a flash memory.

なお、推定システム1の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。また、推定システム1は、汎用のPC(Personal Computer)等であってもよい。   In addition, regarding the specific hardware configuration of the estimation system 1, components can be omitted, replaced, and added as appropriate according to the embodiment. The estimation system 1 may be a general-purpose PC (Personal Computer) or the like.

[ソフトウェア構成]
次に、図3を用いて、本実施形態に係る推定システム1のソフトウェア構成の一例について説明する。図3は、本実施形態に係る推定システム1のソフトウェア構成の一例を模式的に例示する。
Software configuration
Next, an example of the software configuration of the estimation system 1 according to the present embodiment will be described with reference to FIG. FIG. 3 schematically illustrates an example of the software configuration of the estimation system 1 according to the present embodiment.

図3に示されるとおり、本実施形態に係る推定システム1は、制御部11によりプログラムを実行することで、第1取得部111、第2取得部112、第3取得部113、関係特定部114、第4取得部115、第5取得部116、推定部117、及び出力部118を備える。   As illustrated in FIG. 3, the estimation system 1 according to the present embodiment executes a program by the control unit 11, whereby the first acquisition unit 111, the second acquisition unit 112, the third acquisition unit 113, and the relationship specifying unit 114. , A fourth acquisition unit 115, a fifth acquisition unit 116, an estimation unit 117, and an output unit 118.

学習のフェーズにおいて、第1取得部111は、所定の第1タスク40を第1作業者50が実行している間に当該第1作業者50から測定された脳活動量を示す第1脳活動データ121を取得する。第2取得部112は、第1タスク40の実行に対する感情の入力を受け付けることで、当該第1タスク40の実行に関連した第1作業者50の感情状態を示す第1感情データ122を取得する。第3取得部113は、第1作業者50が第1タスク40を実行した結果に基づいて特定された、当該第1作業者50の第1タスク40に対する集中の程度を示す実行結果データ123を取得する。関係特定部114は、第1脳活動データ121、第1感情データ122、及び実行結果データ123に基づいて、脳活動量及び感情状態と集中の程度との間の対応関係を特定し、特定した対応関係を示す対応関係データ124を生成する。   In the learning phase, the first acquisition unit 111 shows the first brain activity indicating the amount of brain activity measured from the first worker 50 while the first worker 50 is executing the predetermined first task 40. Data 121 is acquired. The second acquisition unit 112 acquires the first emotion data 122 indicating the emotional state of the first worker 50 related to the execution of the first task 40 by receiving the input of the emotion for the execution of the first task 40. . The third acquisition unit 113 stores execution result data 123 indicating the degree of concentration of the first worker 50 with respect to the first task 40, which is specified based on the result of the first worker 50 executing the first task 40. get. Based on the first brain activity data 121, the first emotion data 122, and the execution result data 123, the relationship identifying unit 114 identifies and identifies the correspondence between the brain activity amount and emotion state and the degree of concentration. Correspondence relation data 124 indicating the correspondence relation is generated.

一方、推定のフェーズにおいて、第4取得部115は、所定の第2タスク41を第2作業者51が実行している間に当該第2作業者51から測定される脳活動量を示す第2脳活動データ125を取得する。第5取得部116は、第2タスク41の実行に対する感情の入力を受け付けることで、当該第2タスク41の実行に関連した第2作業者51の感情状態を示す第2感情データ126を取得する。推定部117は、対応関係データ124により示される対応関係に基づいて、第2脳活動データ125及び第2感情データ126により示される第2作業者51の脳活動量及び感情状態から、当該第2作業者51の第2タスク41に対する集中の程度を推定する。出力部118は、第2作業者51の第2タスク41に対する集中の程度を推定した結果を出力する。   On the other hand, in the estimation phase, the fourth acquisition unit 115 outputs a second amount of brain activity measured from the second worker 51 while the second worker 51 is executing the predetermined second task 41. Brain activity data 125 is acquired. The fifth acquisition unit 116 acquires the second emotion data 126 indicating the emotional state of the second worker 51 related to the execution of the second task 41 by receiving the input of the emotion for the execution of the second task 41. . Based on the correspondence relationship indicated by the correspondence relationship data 124, the estimation unit 117 calculates the second activity 51 based on the brain activity amount and emotion state of the second worker 51 indicated by the second brain activity data 125 and the second emotion data 126. The degree of concentration of the worker 51 on the second task 41 is estimated. The output unit 118 outputs a result of estimating the degree of concentration of the second worker 51 with respect to the second task 41.

推定システム1の各構成の動作については後述する動作例で詳細に説明する。なお、推定システム1のソフトウェア構成に関して、実施の形態に応じて、省略、置換及び追加が適宜行われてよい。   The operation of each component of the estimation system 1 will be described in detail in an operation example described later. The software configuration of the estimation system 1 may be omitted, replaced, and added as appropriate according to the embodiment.

(脳活動量)
次に、図4を用いて、脳活動量を表現する方法の一例について説明する。図4は、各脳活動データ(121、125)の一例を模式的に例示する。図4に示されるとおり、本実施形態では、各脳活動データ(121、125)における各作業者(50、51)の脳活動量は、位相同期指標の値(以下、PLI値とも記載する)により示される。
(Brain activity)
Next, an example of a method for expressing the amount of brain activity will be described with reference to FIG. FIG. 4 schematically illustrates an example of each brain activity data (121, 125). As shown in FIG. 4, in this embodiment, the brain activity amount of each worker (50, 51) in each brain activity data (121, 125) is the value of a phase synchronization index (hereinafter also referred to as PLI value). Indicated by.

一般的に、安静時(例えば、作業前)とタスクを実行している時(例えば、作業中)とで、所定周波数の音刺激に対する聴性定常反応(auditory steady state response:ASSR)の応答性に違いが生じることが知られている。そのため、聴性定常反応の応答性の違いによれば、脳活動量を客観的に測定することができる。   In general, the response to the auditory steady state response (ASSR) to sound stimuli at a given frequency is at rest (eg, before work) and when a task is being executed (eg, during work). Differences are known to occur. Therefore, according to the difference in the responsiveness of the auditory steady-state reaction, the amount of brain activity can be objectively measured.

そこで、本実施形態では、イヤホン(不図示)等により各作業者(50、51)に所定周波数の音刺激を与え、各脳波計(30、35)により、聴性定常反応における脳波を測定する。そして、測定した脳波に基づいて、位相同期指標の値を算出する。位相同期指標は、脳波測定の計測チャネル間における位相の同期性を示す。なお、PLI値の算出には、公知の方法(例えば、Yusuke Yokota, Yasushi Naruse, "Phase coherence of auditory steady-state response reflects the amount of cognitive workload in a modified N-back task", Neuroscience Research 100(2015)39-45)が用いられてよい。PLI値として表れる部分131は、聴性定常反応に対するリソースの量を示し、安静時とタスク実行時との差分132は、作業(タスク)の認知に対するリソースの量を示し得る。   Therefore, in this embodiment, sound stimulation of a predetermined frequency is given to each worker (50, 51) by an earphone (not shown) or the like, and an electroencephalogram in an auditory steady state reaction is measured by each electroencephalograph (30, 35). Then, the value of the phase synchronization index is calculated based on the measured electroencephalogram. The phase synchronization index indicates phase synchronism between measurement channels of electroencephalogram measurement. The PLI value is calculated by a known method (for example, Yusuke Yokota, Yasushi Naruse, “Phase coherence of auditory steady-state response corresponding the amount of cognitive workload in a modified N-back task”, Neuroscience Research 100 (2015 ) 39-45) may be used. The portion 131 that appears as the PLI value indicates the amount of resources for the auditory steady state response, and the difference 132 between the rest time and the task execution time may indicate the amount of resources for the perception of work (task).

本実施形態では、このようなPLI値により、各作業者(50、51)の各タスク(40、41)に対する脳活動量が表される。ただし、脳活動量を表現する方法は、このようなPLI値を用いた例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。なお、聴性定常反応は、40Hzの音刺激により強く誘発されることが知られている。そのため、本実施形態では、PLI値を得る際には、40Hzの音刺激が利用されてよい。   In this embodiment, the brain activity amount for each task (40, 41) of each worker (50, 51) is represented by such a PLI value. However, the method of expressing the amount of brain activity is not limited to the example using such a PLI value, and may be appropriately selected according to the embodiment. It is known that the auditory steady-state reaction is strongly induced by a sound stimulus of 40 Hz. Therefore, in this embodiment, when obtaining the PLI value, a sound stimulus of 40 Hz may be used.

(感情状態)
次に、図5A及び図5Bを用いて、感情状態を表現する方法の一例について説明する。図5Aは、感情状態を表現する手法の一例を説明するための図である。図5Bは、各感情データ(122、126)の一例を模式的に例示する。本実施形態では、各感情データ(122、126)における各作業者(50、51)の感情状態は、アローザル(Arousal)及びヴァレンス(Valence)の2つの指標により示される。
(Emotional state)
Next, an example of a method for expressing an emotional state will be described with reference to FIGS. 5A and 5B. FIG. 5A is a diagram for explaining an example of a technique for expressing an emotional state. FIG. 5B schematically illustrates an example of each emotion data (122, 126). In the present embodiment, the emotional state of each worker (50, 51) in each emotion data (122, 126) is indicated by two indices, Arousal and Valence.

アローザル及びヴァレンスは、ラッセルの円環モデルに用いられる2つの指標である。アローザル(又は、Activation)は、覚醒度を表す指標であり、覚醒/鎮静の程度、又は活性/非活性の程度を示す。一方、ヴァレンスは、感情価、すなわち感情の質を表す指標であり、ポジティブ/ネガティブの程度、又は快/不快の程度を示す。   Arrosal and Valence are two indicators used in Russell's torus model. The arousal (or activation) is an index representing the degree of arousal and indicates the degree of arousal / sedation or the degree of activity / inactivity. On the other hand, the valence is an index representing the emotion value, that is, the quality of the emotion, and indicates the degree of positive / negative or the degree of pleasure / discomfort.

図5Aの例では、アローザルが縦軸に割り当てられ、ヴァレンスが横軸に割り当てられており、アローザル及びヴァレンスはそれぞれ、−100〜+100までの数値で示される。各数値と感情状態との対応関係の一例として、アローザル及びヴァレンスの値が共に正である第1象限には、「enthusiastic/elated」の感情状態が対応付けられている。アローザルの値が正であり、ヴァレンスの値が負である第2象限には、「stressed」の感情状態が対応付けられている。アローザル及びヴァレンスの値が共に負である第3象限には、「fatigued」の感情が対応付けられている。アローザルの値が負であり、ヴァレンスの値が正である第4象限には、「relaxed」の感情が対応付けられている。   In the example of FIG. 5A, the arousal is assigned to the vertical axis and the valence is assigned to the horizontal axis, and the arousal and valence are each indicated by a numerical value from −100 to +100. As an example of the correspondence between each numerical value and the emotional state, the emotional state of “enthusiastic / elated” is associated with the first quadrant in which both the arousal and valence values are positive. The emotional state “stressed” is associated with the second quadrant in which the arousal value is positive and the valence value is negative. The emotion of “fatigued” is associated with the third quadrant where the values of both arousal and valence are negative. The emotion of “relaxed” is associated with the fourth quadrant where the arousal value is negative and the valence value is positive.

本実施形態では、このようなアローザル及びヴァレンスという2つの指標により、各作業者(50、51)の感情状態が表される。図5Bに例示されるように、各作業者(50、51)の感情状態は、例えば、アローザル及びヴァレンスの変化量、象限の変化等で示すことができる。ただし、感情状態を表現する方法は、このようなラッセルの円環モデルを用いた例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。   In the present embodiment, the emotional state of each worker (50, 51) is represented by the two indices such as the arousal and valence. As illustrated in FIG. 5B, the emotional state of each worker (50, 51) can be indicated by, for example, the amount of change in arousal and valence, the change in quadrant, and the like. However, the method of expressing the emotional state may not be limited to an example using such a Russell's ring model, and may be appropriately selected according to the embodiment.

§3 動作例
[学習のフェーズ]
次に、図6を用いて、脳活動量及び感情状態と作業に対する集中の程度とを対応付けるための学習のフェーズの情報処理について説明する。図6は、学習のフェーズにおける推定システム1の処理手順の一例を例示するフローチャートである。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
§3 Example of operation [Learning phase]
Next, information processing in a learning phase for associating the amount of brain activity and emotional state with the degree of concentration on work will be described with reference to FIG. FIG. 6 is a flowchart illustrating an example of a processing procedure of the estimation system 1 in the learning phase. However, the processing procedure described below is merely an example, and each processing may be changed as much as possible. Further, in the processing procedure described below, steps can be omitted, replaced, and added as appropriate according to the embodiment.

(ステップS101)
ステップS101では、制御部11は、所定の第1タスク40の実行を第1作業者50に指示するメッセージを出力する。メッセージの出力先及び出力方法はそれぞれ、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。制御部11は、例えば、出力装置15、第1作業者50の近傍に配置される出力装置(不図示)等を介して当該メッセージを出力してもよい。また、制御部11は、例えば、当該メッセージをディスプレイに表示してもよいし、当該メッセージの音声をスピーカから出力してもよい。
(Step S101)
In step S <b> 101, the control unit 11 outputs a message for instructing the first worker 50 to execute the predetermined first task 40. The message output destination and output method may not be particularly limited, and may be appropriately selected according to the embodiment. The control part 11 may output the said message via the output device 15 and the output device (not shown) etc. which are arrange | positioned in the vicinity of the 1st worker 50, for example. For example, the control unit 11 may display the message on a display, or output the voice of the message from a speaker.

実行を指示する第1タスク40の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。第1タスク40は、例えば、部品の発注作業等であってよい。   The type of the first task 40 that instructs execution is not particularly limited, and may be appropriately selected according to the embodiment. The first task 40 may be, for example, part ordering work.

図7は、本実施形態に係る第1タスク40の一例を例示する。図7により例示される第1タスク40は、タッチパネル31に表示されたライン401をなぞる作業である。ライン401を含む画像のデータは、記憶部12に保持されていてもよいし、ネットワークを介してNAS(Network Attached Storage)等の外部装置から取得されてもよい。また、ライン401の形状及び寸法は、実施の形態に応じて適宜決定されてよい。   FIG. 7 illustrates an example of the first task 40 according to the present embodiment. The first task 40 exemplified by FIG. 7 is an operation of tracing the line 401 displayed on the touch panel 31. Image data including the line 401 may be stored in the storage unit 12 or may be acquired from an external device such as a NAS (Network Attached Storage) via a network. Further, the shape and size of the line 401 may be determined as appropriate according to the embodiment.

制御部11は、画像データをタッチパネル31に転送することで、ライン401を含む画像をタッチパネル31に表示すると共に、ライン401をなぞるように指示するメッセージを出力装置15を介して出力する。制御部11は、タッチパネル31に対する操作を受け付けて、第1作業者50による第1タスク40の実行を監視する。第1タスク40は、このような単純な作業であってもよい。第1タスク40の実行を指示すると、制御部11は、次のステップS102に処理を進める。   The control unit 11 transfers image data to the touch panel 31 to display an image including the line 401 on the touch panel 31 and outputs a message instructing to trace the line 401 via the output device 15. The control unit 11 receives an operation on the touch panel 31 and monitors the execution of the first task 40 by the first worker 50. The first task 40 may be such a simple operation. When the execution of the first task 40 is instructed, the control unit 11 advances the processing to the next step S102.

(ステップS102)
図6に戻り、ステップS102では、制御部11は、第1取得部111として動作し、第1タスク40を第1作業者50が実行している間に当該第1作業者50から測定された脳活動量を示す第1脳活動データ121を取得する。
(Step S102)
Returning to FIG. 6, in step S <b> 102, the control unit 11 operates as the first acquisition unit 111 and is measured from the first worker 50 while the first worker 50 is executing the first task 40. First brain activity data 121 indicating the amount of brain activity is acquired.

本実施形態では、脳活動量は、聴性定常反応におけるPLI値により示される。そこで、制御部11は、上記第1タスク40を実行中の第1作業者50の脳波を脳波計30により測定し、得られた脳波のデータからPLI値を算出し、算出したPLI値に基づいて、脳活動量を示す第1脳活動データ121を生成する。具体的には、制御部11は、算出したPLI値をそのまま第1脳活動データ121として取得してもよいし、算出したPLI値と所定の基準値(例えば、安静時のPLI値)との差分値を第1脳活動データ121として取得してもよい。また、制御部11は、算出したPLI値に正規化等の所定の演算処理を適用することで得られた値を第1脳活動データ121として取得してもよい。更に、脳波を複数回測定した場合、制御部11は、各測定により得られた脳波のデータから算出したPLI値の平均値、分散等を第1脳活動データ121として取得してもよい。   In this embodiment, the amount of brain activity is indicated by the PLI value in the auditory steady-state response. Therefore, the control unit 11 measures the electroencephalogram of the first worker 50 who is executing the first task 40 with the electroencephalograph 30, calculates the PLI value from the obtained electroencephalogram data, and based on the calculated PLI value. Thus, the first brain activity data 121 indicating the amount of brain activity is generated. Specifically, the control unit 11 may acquire the calculated PLI value as the first brain activity data 121 as it is, or the calculated PLI value and a predetermined reference value (for example, a PLI value at rest). The difference value may be acquired as the first brain activity data 121. Further, the control unit 11 may acquire a value obtained by applying a predetermined calculation process such as normalization to the calculated PLI value as the first brain activity data 121. Furthermore, when the electroencephalogram is measured a plurality of times, the control unit 11 may acquire the average value, variance, and the like of the PLI values calculated from the electroencephalogram data obtained by each measurement as the first brain activity data 121.

これにより、制御部11は、PLI値により脳活動量が表現された第1脳活動データ121を取得することができる。第1脳活動データ121を取得すると、制御部11は、次のステップS103に処理を進める。   Thereby, the control part 11 can acquire the 1st brain activity data 121 in which the brain activity amount was expressed by the PLI value. When the first brain activity data 121 is acquired, the control unit 11 advances the processing to the next step S103.

なお、第1脳活動データ121を取得する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、上記第1脳活動データ121の生成は、推定システム1以外のその他の情報処理装置により行われてもよい。この場合、制御部11は、ネットワーク、記憶媒体等を介して、その他の情報処理装置により生成された第1脳活動データ121を取得してもよい。   Note that the method of acquiring the first brain activity data 121 is not limited to such an example, and may be appropriately selected according to the embodiment. For example, the generation of the first brain activity data 121 may be performed by another information processing apparatus other than the estimation system 1. In this case, the control unit 11 may acquire the first brain activity data 121 generated by another information processing apparatus via a network, a storage medium, or the like.

(ステップS103)
ステップS103では、制御部11は、第2取得部112として動作し、第1タスク40の実行に対する感情の入力を受け付けることで、当該第1タスク40の実行に関連した第1作業者50の感情状態を示す第1感情データ122を取得する。本実施形態では、第1タスク40の実行に対する感情の入力に、タッチパネル31が用いられる。
(Step S103)
In step S <b> 103, the control unit 11 operates as the second acquisition unit 112 and accepts an emotion input for the execution of the first task 40, whereby the emotion of the first worker 50 related to the execution of the first task 40. First emotion data 122 indicating a state is acquired. In the present embodiment, the touch panel 31 is used for inputting emotions for the execution of the first task 40.

図8は、感情の入力を受け付ける際に、本実施形態に係るタッチパネル31に表示される画面の一例を模式的に例示する。本実施形態では、感情状態は、アローザル及びヴァレンスの2つの指標により示される。そこで、制御部11は、アローザル及びヴァレンスの2つの軸を含む画面をタッチパネル31に表示し、第1タスク40の実行に対する感情の入力を受け付ける。この画面のデータは、記憶部12に保持されていてもよいし、ネットワークを介してNAS等の外部装置から取得されてもよい。感情の入力は、第1作業者50本人により行われてもよいし、第1作業者50以外の別の人物により行われてもよい。   FIG. 8 schematically illustrates an example of a screen displayed on the touch panel 31 according to the present embodiment when accepting an emotion input. In the present embodiment, the emotional state is indicated by two indicators, arousal and valence. Therefore, the control unit 11 displays a screen including two axes of the arousal and the valence on the touch panel 31 and accepts an emotion input for the execution of the first task 40. The data of this screen may be held in the storage unit 12, or may be acquired from an external device such as NAS via a network. The input of emotion may be performed by 50 first workers, or may be performed by another person other than the first worker 50.

そして、制御部11は、画面上のタッチされた位置(すなわち、回答結果)に基づいて、アローザル及びヴァレンスそれぞれの値を特定し、特定したアローザル及びヴァレンスそれぞれの値に基づいて、感情状態を示す第1感情データ122を生成する。具体的には、制御部11は、特定したアローザル及びヴァレンスそれぞれの値を第1感情データ122として取得してもよい。また、制御部11は、複数回の感情の入力を受け付け、各入力により得られたアローザル及びヴァレンスそれぞれの値の総和、平均値、分布等を第1感情データ122として取得してもよい。また、制御部11は、第1タスク40の実行前後に関して感情の入力を受け付け、第1タスク40の実行によるアローザル及びヴァレンスそれぞれの変化量として、各入力により得られたアローザル及びヴァレンスそれぞれの値の差分を算出してもよい。制御部11は、この第1タスク40の実行によるアローザル及びヴァレンスそれぞれの変化量を第1感情データ122として取得してもよい。   Then, the control unit 11 identifies the values of the arousal and the valence based on the touched position on the screen (that is, the answer result), and indicates the emotional state based on the identified values of the arousal and the valence. First emotion data 122 is generated. Specifically, the control unit 11 may acquire the specified values of the arousal and valence as the first emotion data 122. Further, the control unit 11 may receive a plurality of emotion inputs, and may acquire the sum, average value, distribution, and the like of the values of the arousal and valence obtained by each input as the first emotion data 122. In addition, the control unit 11 accepts input of emotions before and after the execution of the first task 40, and each of the values of the arousal and the valence obtained by each input is used as a change amount of each of the arousal and valence by the execution of the first task 40. The difference may be calculated. The control unit 11 may acquire the change amounts of the arousal and the valence by the execution of the first task 40 as the first emotion data 122.

これにより、制御部11は、アローザル及びヴァレンスの2つの指標により感情状態が表現された第1感情データ122を取得することができる。第1感情データ122を取得すると、制御部11は、次のステップS104に処理を進める。   Thereby, the control part 11 can acquire the 1st emotion data 122 by which the emotional state was expressed by two indicators, arousal and valence. When the first emotion data 122 is acquired, the control unit 11 advances the processing to the next step S104.

なお、第1感情データ122を取得する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、上記第1感情データ122の生成は、推定システム1以外のその他の情報処理装置により行われてもよい。この場合、制御部11は、ネットワーク、記憶媒体等を介して、その他の情報処理装置により生成された第1感情データ122を取得してもよい。   Note that the method of acquiring the first emotion data 122 may not be limited to such an example, and may be appropriately selected according to the embodiment. For example, the generation of the first emotion data 122 may be performed by another information processing apparatus other than the estimation system 1. In this case, the control unit 11 may acquire the first emotion data 122 generated by another information processing apparatus via a network, a storage medium, or the like.

(ステップS104)
ステップS104では、制御部11は、第3取得部113として動作し、第1作業者50が第1タスク40を実行した結果に基づいて特定された、当該第1作業者50の第1タスク40に対する集中の程度を示す実行結果データ123を取得する。
(Step S104)
In step S <b> 104, the control unit 11 operates as the third acquisition unit 113 and is identified based on the result of the first worker 50 executing the first task 40, and the first task 40 of the first worker 50 is identified. The execution result data 123 indicating the degree of concentration with respect to is acquired.

集中の程度の表現方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。集中の程度は、例えば、集中しているか否かを示す2値により表されてもよい。   The expression method of the degree of concentration is not particularly limited, and may be appropriately selected according to the embodiment. The degree of concentration may be represented by, for example, a binary value indicating whether or not the user is concentrated.

また、集中の程度を特定する方法も、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、第1作業者50自身、又は第1作業者50が第1タスク40を実行している様子を観察した観察者が、第1作業者50の第1タスク40に対する集中の程度を評価してもよい。この場合、制御部11は、入力装置14、タッチパネル31等により、第1作業者50又は観察者からの入力を受け付けることで、第1タスク40に対する集中の程度を特定することができる。   Also, the method for specifying the degree of concentration is not particularly limited, and may be appropriately selected according to the embodiment. For example, the first worker 50 or an observer who observes that the first worker 50 is executing the first task 40 evaluates the degree of concentration of the first worker 50 with respect to the first task 40. May be. In this case, the control unit 11 can specify the degree of concentration with respect to the first task 40 by receiving an input from the first worker 50 or the observer using the input device 14, the touch panel 31, or the like.

制御部11は、例えば、上記いずれかの方法により、第1作業者50の第1タスク40に対する集中の程度を特定し、特定した集中の程度に基づいて、実行結果データ123を生成する。これにより、制御部11は、実行結果データ123を取得することができる。実行結果データ123を取得すると、制御部11は、次のステップS105に処理を進める。   For example, the control unit 11 specifies the degree of concentration of the first worker 50 with respect to the first task 40 by any one of the methods described above, and generates the execution result data 123 based on the specified degree of concentration. Thereby, the control unit 11 can acquire the execution result data 123. When the execution result data 123 is acquired, the control unit 11 advances the processing to the next step S105.

なお、実行結果データ123を取得する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、上記実行結果データ123の生成は、推定システム1以外のその他の情報処理装置により行われてもよい。この場合、制御部11は、ネットワーク、記憶媒体等を介して、その他の情報処理装置により生成された実行結果データ123を取得してもよい。   Note that the method of acquiring the execution result data 123 is not limited to such an example, and may be appropriately selected according to the embodiment. For example, the execution result data 123 may be generated by another information processing apparatus other than the estimation system 1. In this case, the control unit 11 may acquire the execution result data 123 generated by another information processing apparatus via a network, a storage medium, or the like.

(ステップS105及びS106)
ステップS105では、制御部11は、関係特定部114として動作し、ステップS102〜S104により取得した第1脳活動データ121、第1感情データ122、及び実行結果データ123に基づいて、脳活動量及び感情状態と集中の程度との間の対応関係を特定する。
(Steps S105 and S106)
In step S105, the control unit 11 operates as the relationship identifying unit 114, and based on the first brain activity data 121, the first emotion data 122, and the execution result data 123 acquired in steps S102 to S104, Identify correspondence between emotional state and degree of concentration.

次のステップS106では、制御部11は、特定した対応関係を示す対応関係データ124を生成する。そして、制御部11は、生成した対応関係データ124を記憶部12に保存する。これにより、制御部11は、本動作例に係る学習のフェーズの情報処理を終了する。   In the next step S106, the control unit 11 generates correspondence data 124 indicating the identified correspondence. Then, the control unit 11 stores the generated correspondence relationship data 124 in the storage unit 12. Thereby, the control part 11 complete | finishes the information processing of the phase of learning which concerns on this operation example.

なお、脳活動量及び感情状態と集中の程度との対応関係を特定するのに利用する第1脳活動データ121、第1感情データ122、及び実行結果データ123の件数は、実施の形態に応じて適宜決定されてよい。制御部11は、ステップS101〜S104の処理を適宜繰り返すことで、第1脳活動データ121、第1感情データ122、及び実行結果データ123を収集することができる。   The number of cases of the first brain activity data 121, the first emotion data 122, and the execution result data 123 used to specify the correspondence between the amount of brain activity and the emotional state and the degree of concentration depends on the embodiment. May be appropriately determined. The control unit 11 can collect the first brain activity data 121, the first emotion data 122, and the execution result data 123 by appropriately repeating the processes of steps S101 to S104.

また、脳活動量及び感情状態と集中の程度との対応関係を特定する方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。   Further, the method for specifying the correspondence relationship between the amount of brain activity and the emotional state and the degree of concentration is not particularly limited, and may be appropriately determined according to the embodiment.

ここで、図9A及び図9Bを用いて、第1タスク40に対する集中の程度が高いケース及び低いケースそれぞれで、第1タスク40の実行を習得していく過程において、ステップS102及びS103により得られる第1脳活動データ121及び第1感情データ122にみられる傾向の一例を説明する。図9Aは、第1タスク40に対する集中の程度が高い作業者から得られる第1脳活動データ121及び第1感情データ122の推移の一例を模式的に例示する。図9Bは、第1タスク40に対する集中の程度が低い作業者から得られる第1脳活動データ121及び第1感情データ122の推移の一例を模式的に例示する。   Here, using FIG. 9A and FIG. 9B, in the process of learning the execution of the first task 40 in the case where the degree of concentration with respect to the first task 40 is high and the case where it is low, it is obtained by steps S102 and S103. An example of the tendency seen in the 1st brain activity data 121 and the 1st emotion data 122 is demonstrated. FIG. 9A schematically illustrates an example of the transition of the first brain activity data 121 and the first emotion data 122 obtained from an operator having a high degree of concentration on the first task 40. FIG. 9B schematically illustrates an example of the transition of the first brain activity data 121 and the first emotion data 122 obtained from an operator having a low degree of concentration on the first task 40.

第1タスク40の実行に作業者が集中している場合、第1タスク40に慣れていない学習初期の段階T10では、作業者の脳のリソースの多くは、第1タスク40の実行に利用され、また、その変動量は小さいと想定される。そのため、図9Aに示されるとおり、学習初期の段階T10では、得られるPLI値は比較的に小さくなり、PLI値の変動量(例えば、分散)も小さくなり得る。また、第1タスク40の実行に作業者が集中している場合、この学習初期の段階T10では、作業者の感情状態のうち覚醒度は比較的に高くなる一方で、第1タスク40の実行の緊張感から、ネガティブな感情価が高くなると想定される。そのため、感情状態を示す値は、アローザル及びヴァレンスのグラフでは第2象限に表れ得る。   When the operator is concentrated in the execution of the first task 40, most of the resources of the worker's brain are used for the execution of the first task 40 in the early stage T10 of learning which is not familiar with the first task 40. In addition, the amount of variation is assumed to be small. For this reason, as shown in FIG. 9A, in the stage T10 in the early stage of learning, the obtained PLI value becomes relatively small, and the fluctuation amount (for example, variance) of the PLI value can also become small. In addition, when the worker is concentrated in the execution of the first task 40, the awakening degree is relatively high in the emotional state of the worker in the initial stage T10 of the learning, while the execution of the first task 40 is performed. From this tension, it is assumed that negative emotional value will increase. Therefore, the value indicating the emotional state can appear in the second quadrant in the arousal and valence graphs.

続いて、作業者が、第1タスク40の実行に集中しながら、第1タスク40を繰り返し実行することで、当該第1タスク40に慣れ始めてくると、当該作業者の第1タスク40を実行する能力が向上する。これにより、第1タスク40の実行を詳細に認知しなくても、当該第1タスク40を完遂できるようになるため、第1タスク40の実行に利用する脳のリソースの量は減ると想定される。また、第1タスク40に慣れ始めると、第1タスク40の実行の緊張感が薄れてくることから、ポジティブな感情価が高くなると想定される。そのため、第1タスク40の実行に作業者が集中している場合に、第1タスク40に慣れ始めた学習中期の段階T11では、得られるPLI値は比較的に大きくなり、感情状態を示す値は、アローザル及びヴァレンスのグラフで第1象限に表れ得る。   Subsequently, when the worker starts to get used to the first task 40 by repeatedly executing the first task 40 while concentrating on the execution of the first task 40, the first task 40 of the worker is executed. The ability to do is improved. This makes it possible to complete the first task 40 without recognizing the execution of the first task 40 in detail, so that it is assumed that the amount of brain resources used to execute the first task 40 is reduced. The In addition, when the user begins to get used to the first task 40, the tension of execution of the first task 40 is reduced, so that it is assumed that the positive emotional value is increased. Therefore, when the operator is concentrated in the execution of the first task 40, the obtained PLI value becomes relatively large at the middle stage T11 of learning that has begun to get used to the first task 40, and is a value indicating the emotional state. Can appear in the first quadrant in the arousal and valence graphs.

更に、第1タスク40に完全に慣れると、第1タスク40の実行に利用する脳のリソースの量は更に少なくなり、また、第1タスク40の実行に飽きてくることから、ネガティブな感情価が高くなると想定される。そのため、第1タスク40の実行に作業者が集中している場合に、第1タスク40に慣れた学習終期の段階T12では、得られるPLI値は比較的に大きくなり、感情状態を示す値は、アローザル及びヴァレンスのグラフで第2象限に表れ得る。   Furthermore, if you are fully accustomed to the first task 40, the amount of brain resources used to execute the first task 40 will be further reduced, and you will be bored with the execution of the first task 40, so negative emotional values. Is expected to be high. Therefore, when the operator is concentrated on the execution of the first task 40, the obtained PLI value becomes relatively large at the end stage T12 of learning that is used to the first task 40, and the value indicating the emotional state is It can appear in the second quadrant in the graph of arousal and valence.

一方、第1タスク40の実行に作業者が集中していない場合、脳活動量及び感情状態の示す傾向はばらつき得る。この場合、第1タスク40に慣れていない学習初期の段階T20では、作業者の脳のリソースは、第1タスク40の実行の他に、当該第1タスク40以外の何らかの事象にも利用されていると想定される。そのため、図9Bに示されるとおり、学習初期の段階T20では、得られるPLI値は比較的に小さくなり得るが、PLI値の変動量(例えば、分散)は比較的に大きくなり得る。また、第1タスク40の実行に作業者が集中していない場合には、作業者の覚醒度は低くなると想定される。そのため、学習初期の段階T20では、感情状態を示す値は、アローザル及びヴァレンスのグラフでは第3象限に表れ得る。   On the other hand, when the worker is not concentrated on the execution of the first task 40, the tendency of the brain activity amount and the emotional state may vary. In this case, at the initial stage T20 of learning that is not familiar with the first task 40, the operator's brain resources are used not only for the execution of the first task 40 but also for any event other than the first task 40. It is assumed that Therefore, as shown in FIG. 9B, in the stage T20 in the initial stage of learning, the obtained PLI value can be relatively small, but the variation amount (for example, variance) of the PLI value can be relatively large. In addition, when the worker is not concentrated on the execution of the first task 40, it is assumed that the worker's arousal level is low. Therefore, in the stage T20 in the early stage of learning, the value indicating the emotional state can appear in the third quadrant in the arousal and valence graphs.

続いて、作業者が、第1タスク40の実行に集中していない場合には、第1タスク40を繰り返し実行しても、当該第1タスク40を実行する能力の向上は小さいと想定される。そのため、第1タスク40に慣れ始めた学習中期の段階T21でも、第1タスク40の実行に利用する脳のリソースの量はあまり減らないと想定される。よって、この段階T21でも、得られるPLI値は比較的に小さいままとなり得る。また、第1タスク40に慣れ始めたことで、ポジティブな感情価が高くなり得るが、作業者の覚醒度は低いままと想定される。そのため、この段階T21では、感情状態を示す値は、アローザル及びヴァレンスのグラフで第4象限に表れ得る。第1タスク40の実行に作業者が集中していない場合、この学習中期の段階T21以降は、脳活動量及び感情状態の傾向は、一定の方向には収束せず、ばらつくものと想定される。   Subsequently, when the worker is not concentrated on the execution of the first task 40, even if the first task 40 is repeatedly executed, it is assumed that the improvement in the ability to execute the first task 40 is small. . Therefore, it is assumed that the amount of brain resources used for execution of the first task 40 does not decrease much even in the middle stage T21 of learning that has begun to get used to the first task 40. Therefore, even at this stage T21, the obtained PLI value can remain relatively small. Moreover, although the positive emotional value can be increased by starting to get used to the first task 40, it is assumed that the worker's arousal level remains low. Therefore, in this stage T21, the value indicating the emotional state can appear in the fourth quadrant in the arousal and valence graphs. When the worker is not concentrated on the execution of the first task 40, it is assumed that the trend of the brain activity amount and the emotional state does not converge in a certain direction and varies after the stage T21 in the middle stage of learning. .

次に、図10を用いて、図9A及び図9Bに例示される傾向から導出される脳活動量及び感情状態と集中の程度との対応関係の一例について説明する。図10は、図9A及び図9Bに例示される傾向に適合する各データ121〜123が得られた場合に、上記ステップS105及びS106により生成される対応関係データ124の一例を模式的に例示する。   Next, an example of a correspondence relationship between the amount of brain activity and emotional state derived from the tendency illustrated in FIGS. 9A and 9B and the degree of concentration will be described with reference to FIG. FIG. 10 schematically illustrates an example of the correspondence data 124 generated in steps S105 and S106 when the data 121 to 123 matching the tendency illustrated in FIGS. 9A and 9B are obtained. .

図10で例示される対応関係データ124は、テーブル形式で表現されている。各レコード(行データ)は、第1脳活動データ121により示される脳活動量、第1感情データ122により示される感情状態、及び実行結果データ123により示される集中の程度の分布に基づいて特定される、脳活動量及び感情状態と集中の程度との1つの対応関係を示す。具体的には、その分布の状態に基づいて、脳活動量及び感情状態それぞれに対して、集中の程度を判定するための閾値が設定される。各レコードには、これにより設定された脳活動量及び感情状態に対して閾値が格納されている。   The correspondence relationship data 124 illustrated in FIG. 10 is expressed in a table format. Each record (row data) is identified based on the brain activity amount indicated by the first brain activity data 121, the emotional state indicated by the first emotion data 122, and the concentration degree distribution indicated by the execution result data 123. One correspondence relationship between the amount of brain activity and emotional state and the degree of concentration is shown. Specifically, a threshold value for determining the degree of concentration is set for each of the brain activity amount and the emotional state based on the distribution state. Each record stores a threshold value for the amount of brain activity and the emotional state set thereby.

例えば、1つ目のレコードは、PLI値の平均値がTh1未満であり、PLI値の分散がTh2未満であり、かつ感情状態の値がアローザル及びヴァレンスのグラフの第2象限に属する場合に、集中の程度は中であることを示している。この1つ目のレコードは、上記第1タスク40に集中している場合における学習初期の段階T10に対応している。   For example, in the first record, when the average PLI value is less than Th1, the variance of the PLI values is less than Th2, and the emotional state value belongs to the second quadrant of the arousal and valence graphs, It shows that the degree of concentration is medium. This first record corresponds to the initial stage T10 of learning when the first task 40 is concentrated.

また、例えば、2つ目のレコードは、PLI値の平均値がTh3以上であり、PLI値の分散がTh4未満であり、かつ感情状態の値がアローザル及びヴァレンスのグラフの第2象限に属する場合に、集中の程度は高いことを示している。この2つ目のレコードは、上記第1タスク40に集中している場合における学習終期の段階T12に対応している。   Also, for example, in the second record, when the average PLI value is Th3 or more, the variance of the PLI value is less than Th4, and the emotional state value belongs to the second quadrant of the arousal and valence graphs It shows that the degree of concentration is high. This second record corresponds to stage T12 at the end of learning when the first task 40 is concentrated.

また、例えば、3つ目のレコードは、PLI値の平均値がTh5未満であり、PLI値の分散がTh6以上であり、かつ感情状態の値がアローザル及びヴァレンスのグラフの第3象限に属する場合に、集中の程度は低いことを示している。この3つ目のレコードは、上記第1タスク40に集中していない場合における学習初期の段階T20に対応している。   Also, for example, in the third record, when the average PLI value is less than Th5, the variance of the PLI values is greater than or equal to Th6, and the emotional state value belongs to the third quadrant of the arousal and valence graphs This shows that the degree of concentration is low. This third record corresponds to the initial stage T20 when learning is not concentrated on the first task 40.

なお、図10で例示した各レコードの内容は、図9A及び図9Bに例示される傾向から導出される対応関係の一例を示すに過ぎず、脳活動量及び感情状態と集中の程度との対応関係は、これらの例に限定されなくてよく、実施の形態に応じて適宜決定されてよい。   The contents of each record illustrated in FIG. 10 are merely examples of correspondence relationships derived from the trends illustrated in FIGS. 9A and 9B, and the correspondence between the amount of brain activity and emotional state and the degree of concentration. The relationship is not limited to these examples, and may be appropriately determined according to the embodiment.

[推定のフェーズ]
次に、図11を用いて、学習のフェーズで特定した対応関係に基づいて、対象の作業者の作業に対する集中の程度を推定する推定のフェーズの情報処理について説明する。図11は、推定のフェーズにおける推定システム1の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は、本発明の「推定方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
[Estimation Phase]
Next, information processing in the estimation phase for estimating the degree of concentration of the target worker with respect to the work based on the correspondence specified in the learning phase will be described with reference to FIG. FIG. 11 is a flowchart illustrating an example of a processing procedure of the estimation system 1 in the estimation phase. The processing procedure described below is an example of the “estimation method” of the present invention. However, the processing procedure described below is merely an example, and each processing may be changed as much as possible. Further, in the processing procedure described below, steps can be omitted, replaced, and added as appropriate according to the embodiment.

(ステップS201)
ステップS201では、制御部11は、第4取得部115として動作し、所定の第2タスク41を第2作業者51が実行している間に当該第2作業者51から測定される脳活動量を示す第2脳活動データ125を取得する。第2脳活動データ125を取得すると、制御部11は、次のステップS202に処理を進める。
(Step S201)
In step S <b> 201, the control unit 11 operates as the fourth acquisition unit 115, and the amount of brain activity measured from the second worker 51 while the second worker 51 is executing the predetermined second task 41. 2nd brain activity data 125 which shows is acquired. If the 2nd brain activity data 125 is acquired, the control part 11 will advance a process to following step S202.

本ステップS201は、上記ステップS102と同様に実行可能である。すなわち、制御部11は、上記第1脳活動データ121を取得した方法と同様の方法により、第2作業者51の脳活動量を示す第2脳活動データ125を取得することができる。例えば、制御部11は、第2タスク41を実行中の第2作業者51の脳波を脳波計35により測定し、得られた脳波のデータからPLI値を算出することで、第2作業者51の脳活動量を示す第2脳活動データ125を取得することができる。ただし、ステップS201の処理は、ステップS102の処理と一致していなくてもよく、ステップS102とは異なる方法で(例えば、ステップS102で採用しなかった方法で)、第2作業者51の脳活動量を示す第2脳活動データ125を取得してもよい。   This step S201 can be executed in the same manner as step S102. That is, the control unit 11 can acquire the second brain activity data 125 indicating the amount of brain activity of the second worker 51 by the same method as the method of acquiring the first brain activity data 121. For example, the control unit 11 measures the electroencephalogram of the second worker 51 who is executing the second task 41 with the electroencephalograph 35 and calculates the PLI value from the obtained electroencephalogram data, whereby the second worker 51 The second brain activity data 125 indicating the amount of brain activity can be acquired. However, the process of step S201 may not coincide with the process of step S102, and the brain activity of the second worker 51 is different from that of step S102 (for example, by a method not adopted in step S102). You may acquire the 2nd brain activity data 125 which shows quantity.

また、第2タスク41の種類は、第1タスク40と同様に、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。第2タスク41は、例えば、部品の発注作業等であってよい。   Further, the type of the second task 41 is not particularly limited as in the case of the first task 40, and may be appropriately selected according to the embodiment. The second task 41 may be, for example, part ordering work.

なお、制御部11は、第2作業者51が第2タスク41の実行を開始したことをトリガとして、本ステップS201の処理の実行を開始してもよい。   In addition, the control part 11 may start execution of the process of this step S201 by having started the execution of the 2nd task 41 by the 2nd worker 51 as a trigger.

(ステップS202)
ステップS202では、制御部11は、第5取得部116として動作し、第2タスク41の実行に対する感情の入力を受け付けることで、当該第2タスク41の実行に関連した第2作業者51の感情状態を示す第2感情データ126を取得する。第2感情データ126を取得すると、制御部11は、次のステップS203に処理を進める。
(Step S202)
In step S <b> 202, the control unit 11 operates as the fifth acquisition unit 116 and accepts an emotion input for the execution of the second task 41, whereby the emotion of the second worker 51 related to the execution of the second task 41. The second emotion data 126 indicating the state is acquired. When the second emotion data 126 is acquired, the control unit 11 advances the processing to the next step S203.

本ステップS202は、上記ステップS103と同様に実行可能である。すなわち、制御部11は、上記第1感情データ122を取得した方法と同様の方法により、第2作業者51の感情状態を示す第2感情データ126を取得することができる。例えば、制御部11は、図8で例示されるアローザル及びヴァレンスの2つの軸を含む画面をタッチパネル36に表示し、第2タスク41の実行に対する感情の入力を受け付ける。そして、制御部11は、画面上のタッチされた位置(すなわち、回答結果)に基づいて、アローザル及びヴァレンスそれぞれの値を特定することで、第2作業者51の感情状態を示す第2感情データ126を取得することができる。   This step S202 can be executed in the same manner as step S103. That is, the control unit 11 can acquire the second emotion data 126 indicating the emotional state of the second worker 51 by a method similar to the method of acquiring the first emotion data 122. For example, the control unit 11 displays a screen including the two axes of the arousal and valence illustrated in FIG. 8 on the touch panel 36 and receives an emotion input for the execution of the second task 41. And the control part 11 specifies the value of each arousal and valence based on the touched position (namely, answer result) on a screen, and is 2nd emotion data which shows the emotional state of the 2nd worker 51 126 can be obtained.

(ステップS203)
ステップS203では、制御部11は、推定部117として動作し、対応関係データ124を取得する。そして、制御部11は、取得した対応関係データ124により示される対応関係に基づいて、第2脳活動データ125及び第2感情データ126により示される第2作業者51の脳活動量及び感情状態から、当該第2作業者51の第2タスク41に対する集中の程度を推定する。
(Step S203)
In step S <b> 203, the control unit 11 operates as the estimation unit 117 and acquires the correspondence relationship data 124. Then, based on the correspondence relationship indicated by the acquired correspondence relationship data 124, the control unit 11 determines the brain activity amount and emotion state of the second worker 51 indicated by the second brain activity data 125 and the second emotion data 126. The degree of concentration of the second worker 51 on the second task 41 is estimated.

例えば、制御部11は、対応関係データ124により示される対応関係に基づいて、第2脳活動データ125及び第2感情データ126により示される第2作業者51の脳活動量及び感情状態に対応する、第2タスク41に対する集中の程度を導出する。集中の程度を導出は、対応関係データ124のデータ形式に応じて適宜行われてよい。   For example, the control unit 11 corresponds to the brain activity amount and emotional state of the second worker 51 indicated by the second brain activity data 125 and the second emotion data 126 based on the correspondence indicated by the correspondence data 124. The degree of concentration on the second task 41 is derived. Derivation of the degree of concentration may be appropriately performed according to the data format of the correspondence data 124.

本実施形態では、対応関係データ124は、図10で例示されるテーブル形式で表現されている。制御部11は、ステップS201及びS202の処理により得られた第2作業者51の脳活動量及び感情状態と、各レコードの脳活動量及び感情状態それぞれのフィールドの値とを照合する。そして、制御部11は、ステップS201及びS202の処理により得られた第2作業者51の脳活動量及び感情状態に適合するレコードを抽出し、抽出したレコードの集中の程度のフィールドに格納された値を取得する。   In the present embodiment, the correspondence relationship data 124 is expressed in the table format illustrated in FIG. The control unit 11 collates the brain activity amount and emotional state of the second worker 51 obtained by the processes of steps S201 and S202 with the values of the fields of the brain activity amount and emotional state of each record. And the control part 11 extracted the record suitable for the brain activity amount and emotional state of the 2nd worker 51 obtained by the process of step S201 and S202, and was stored in the field of the degree of concentration of the extracted record. Get the value.

これにより、制御部11は、対応関係データ124により示される対応関係に基づいて、第2脳活動データ125及び第2感情データ126により示される第2作業者51の脳活動量及び感情状態に対応する、第2タスク41に対する集中の程度を導出することができる。第2タスク41に対する集中の程度の推定(導出)が完了すると、制御部11は、次のステップS204に処理を進める。   As a result, the control unit 11 responds to the brain activity amount and emotional state of the second worker 51 indicated by the second brain activity data 125 and the second emotion data 126 based on the correspondence indicated by the correspondence data 124. The degree of concentration on the second task 41 can be derived. When the estimation (derivation) of the degree of concentration on the second task 41 is completed, the control unit 11 advances the processing to the next step S204.

(ステップS204)
ステップS204では、制御部11は、出力部118として動作し、出力装置15等を介して、第2作業者51の第2タスク41に対する集中の程度を推定した結果を出力する。制御部11は、ステップS203の処理によって、第2作業者51の第2タスク41に対する集中の程度を推定した結果を、例えば、ディスプレイに表示してもよいし、スピーカを介して音声で出力してもよい。
(Step S204)
In step S204, the control unit 11 operates as the output unit 118, and outputs a result of estimating the degree of concentration of the second worker 51 with respect to the second task 41 via the output device 15 or the like. The control unit 11 may display the result of estimating the degree of concentration of the second worker 51 with respect to the second task 41 by the process of step S203, for example, on a display, or output the result via voice through a speaker. May be.

この推定結果の出力先は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。推定結果の出力は、例えば、第2作業者51自身に向けて行われてもよいし、第2作業者51を監督する監督者等の第2作業者51以外の人物に向けて行われてよい。推定結果の出力が完了すると、制御部11は、本動作例に係る推定のフェーズの情報処理を終了する。   The output destination of the estimation result is not particularly limited, and may be appropriately selected according to the embodiment. The output of the estimation result may be performed, for example, toward the second worker 51 itself or to a person other than the second worker 51 such as a supervisor who supervises the second worker 51. Good. When the output of the estimation result is completed, the control unit 11 ends the information processing of the estimation phase according to this operation example.

[特徴]
以上のとおり、本実施形態に係る推定システム1は、ステップS101〜S106の学習のフェーズにおいて、第1タスク40を実行させた第1作業者50から得られる第1脳活動データ121、第1感情データ122、及び実行結果データ123を利用して、脳活動量及び感情状態と作業に対する集中の程度との対応関係を学習する。そして、本実施形態に係る推定システム1は、ステップS201〜S204の推定のフェーズにおいて、学習のフェーズで得られた対応関係に基づいて、脳活動量及び感情状態の2つの指標から作業者(第2作業者51)の作業(第2タスク41)に対する集中の程度を推定する。
[Characteristic]
As described above, the estimation system 1 according to this embodiment includes the first brain activity data 121 and the first emotion obtained from the first worker 50 who has executed the first task 40 in the learning phase of steps S101 to S106. Using the data 122 and the execution result data 123, a correspondence relationship between the amount of brain activity and emotional state and the degree of concentration on work is learned. Then, the estimation system 1 according to the present embodiment, in the estimation phase of steps S201 to S204, based on the correspondence relationship obtained in the learning phase, the operator (first step) The degree of concentration of the two workers 51) on the work (second task 41) is estimated.

これら2つの指標のうち、脳活動量は、作業者の認知に利用している脳のリソースの量を示し得る。ただし、この脳活動量の指標のみでは、その脳のリソースが作業に割り振られているのか、作業以外の他の対象に割り振られているのかが不明である。そこで、本実施形態では、作業者の作業に対する集中の程度を推定するための指標として、脳活動量の他に、感情状態を更に利用する。この感情状態は、認知の対象に応じて変動し得るため、脳活動量と結びつくことで、その脳のリソースが何に割り振られているかを示し得る。そのため、脳活動量及び感情状態の2つの指標を利用することで、作業者が作業に対して集中しているか否かをより正確に把握することができる。したがって、本実施形態に係る推定システム1によれば、作業者の作業に対する集中の程度をより正確に推定することができる。   Of these two indicators, the amount of brain activity may indicate the amount of brain resources used for worker recognition. However, it is unclear whether the brain resources are allocated to the work or to other objects other than the work only with this brain activity amount index. Therefore, in this embodiment, the emotional state is further used in addition to the brain activity amount as an index for estimating the degree of concentration of the worker with respect to the work. Since this emotional state can vary depending on the subject of cognition, it can indicate what brain resources are allocated by being linked to the amount of brain activity. Therefore, by using the two indexes of the brain activity amount and the emotional state, it is possible to more accurately grasp whether or not the worker is concentrated on the work. Therefore, according to the estimation system 1 according to the present embodiment, it is possible to estimate the degree of concentration of the worker with respect to work more accurately.

§4 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
§4 Modifications Embodiments of the present invention have been described in detail above, but the above description is merely an illustration of the present invention in all respects. It goes without saying that various improvements and modifications can be made without departing from the scope of the present invention. For example, the following changes are possible. In the following, the same reference numerals are used for the same components as in the above embodiment, and the description of the same points as in the above embodiment is omitted as appropriate. The following modifications can be combined as appropriate.

<4.1>
上記実施形態では、各脳波計(30、35)により、各作業者(50、51)の脳活動量を測定している。また、各作業者(50、51)の脳活動量は、所定周波数の音刺激に対する聴性定常反応におけるPLI値により示されている。しかしながら、脳活動量の取得方法及び表現方法はそれぞれ、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
<4.1>
In the above embodiment, the amount of brain activity of each worker (50, 51) is measured by each electroencephalograph (30, 35). In addition, the amount of brain activity of each worker (50, 51) is indicated by the PLI value in the auditory steady-state response to sound stimulation of a predetermined frequency. However, the method of acquiring and expressing the brain activity amount may not be limited to such an example, and may be appropriately selected according to the embodiment.

<4.2>
上記実施形態では、各タッチパネル(31、36)を利用して、各作業者(50、51)の感情状態の入力を受け付けている。また、各作業者(50、51)の感情状態は、アローザル及びヴァレンスの2つの指標により示される。しかしながら、感情状態の入力方法及び表現方法はそれぞれ、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
<4.2>
In the said embodiment, the input of the emotional state of each worker (50, 51) is received using each touch panel (31, 36). In addition, the emotional state of each worker (50, 51) is indicated by two indices, arousal and valence. However, the emotion state input method and the expression method may not be limited to such examples, and may be appropriately selected according to the embodiment.

1…推定システム、
11…制御部、12…記憶部、13…外部インタフェース、
14…入力装置、15…出力装置、16…ドライブ、
111…第1取得部、112…第2取得部、113…第3取得部、
114…関係特定部、115…第4取得部、116…第5取得部、
117…推定部、118…出力部、
121…第1脳活動データ、122…第1感情データ、
123…実行結果データ、124…対応関係データ、
125…第2脳活動データ、126…第2感情データ、
30・35…脳波計、31・36…タッチパネル、
40…第1タスク、41…第2タスク、
50…第1作業者、51…第2作業者、
8…プログラム、9…記憶媒体
1 ... Estimation system,
11 ... Control unit, 12 ... Storage unit, 13 ... External interface,
14 ... input device, 15 ... output device, 16 ... drive,
111 ... 1st acquisition part, 112 ... 2nd acquisition part, 113 ... 3rd acquisition part,
114 ... Relationship identification unit, 115 ... Fourth acquisition unit, 116 ... Fifth acquisition unit,
117 ... estimation unit, 118 ... output unit,
121 ... 1st brain activity data, 122 ... 1st emotion data,
123 ... execution result data, 124 ... correspondence data,
125 ... second brain activity data, 126 ... second emotion data,
30/35 ... EEG, 31/36 ... touch panel,
40 ... first task, 41 ... second task,
50 ... 1st worker, 51 ... 2nd worker,
8 ... Program, 9 ... Storage medium

Claims (5)

学習のフェーズにおいて、所定の第1タスクを第1作業者が実行している間に当該第1作業者から測定された脳活動量を示す第1脳活動データを取得する第1取得部と、
前記第1タスクの実行に対する感情の入力を受け付けることで、前記第1タスクの実行に関連した前記第1作業者の感情状態を示す第1感情データを取得する第2取得部と、
前記第1作業者が前記第1タスクを実行した結果に基づいて特定された、前記第1作業者の前記第1タスクに対する集中の程度を示す実行結果データを取得する第3取得部と、
前記第1脳活動データ、前記第1感情データ、及び前記実行結果データに基づいて、前記脳活動量及び前記感情状態と前記集中の程度との間の対応関係を特定する関係特定部と、
推定のフェーズにおいて、所定の第2タスクを第2作業者が実行している間に当該第2作業者から測定される脳活動量を示す第2脳活動データを取得する第4取得部と、
前記第2タスクの実行に対する感情の入力を受け付けることで、前記第2タスクの実行に関連した前記第2作業者の感情状態を示す第2感情データを取得する第5取得部と、
前記対応関係に基づいて、前記第2脳活動データ及び前記第2感情データにより示される前記第2作業者の前記脳活動量及び前記感情状態から、前記第2作業者の前記第2タスクに対する集中の程度を推定する推定部と、
前記第2作業者の前記第2タスクに対する集中の程度を推定した結果を出力する出力部と、
を備える、
推定システム。
A first acquisition unit that acquires first brain activity data indicating a brain activity amount measured from the first worker while the first worker is executing a predetermined first task in the learning phase;
A second acquisition unit that acquires first emotion data indicating an emotion state of the first worker related to the execution of the first task by receiving an input of an emotion for the execution of the first task;
A third acquisition unit for acquiring execution result data indicating a degree of concentration of the first worker with respect to the first task, which is specified based on a result of the first worker executing the first task;
Based on the first brain activity data, the first emotion data, and the execution result data, a relationship specifying unit that specifies a correspondence relationship between the brain activity amount and the emotional state and the degree of concentration;
A fourth acquisition unit that acquires second brain activity data indicating a brain activity amount measured from the second worker while the second worker is executing the predetermined second task in the estimation phase;
A fifth acquisition unit for acquiring second emotion data indicating an emotion state of the second worker related to the execution of the second task by receiving an input of emotion for the execution of the second task;
Based on the correspondence, the concentration of the second worker with respect to the second task from the amount of brain activity and the emotional state of the second worker indicated by the second brain activity data and the second emotion data. An estimation unit for estimating the degree of
An output unit that outputs a result of estimating a degree of concentration of the second worker on the second task;
Comprising
Estimation system.
前記第1脳活動データ及び前記第2脳活動データにおける前記脳活動量は、位相同期指標の値により示される、
請求項1に記載の推定システム。
The amount of brain activity in the first brain activity data and the second brain activity data is indicated by a value of a phase synchronization index.
The estimation system according to claim 1.
前記第1感情データ及び前記第2感情データにおける前記感情状態は、アローザル及びヴァレンスの2つの指標により示される、
請求項1又は2に記載の推定システム。
The emotional state in the first emotion data and the second emotion data is indicated by two indicators of arousal and valence.
The estimation system according to claim 1 or 2.
所定のタスクを作業者が実行している間に当該作業者から測定される脳活動量を示す脳活動データを取得する第1取得部と、
前記タスクの実行に対する感情の入力を受け付けることで、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得する第2取得部と、
前記脳活動量及び前記感情状態と集中の程度との間の対応関係を示す対応関係データを取得し、取得した当該対応関係データにより示される当該対応関係に基づいて、前記脳活動データ及び前記感情データにより示される前記作業者の前記脳活動量及び前記感情状態から、前記作業者の前記タスクに対する集中の程度を推定する推定部と、
前記作業者の前記タスクに対する集中の程度を推定した結果を出力する出力部と、
を備える、
推定装置。
A first acquisition unit that acquires brain activity data indicating a brain activity amount measured from the worker while the worker is performing a predetermined task;
A second acquisition unit that acquires emotion data indicating an emotional state of the worker related to the execution of the task by receiving an input of an emotion for the execution of the task;
The correspondence data indicating the correspondence between the amount of brain activity and the emotional state and the degree of concentration is acquired, and based on the correspondence indicated by the acquired correspondence data, the brain activity data and the emotion An estimation unit that estimates a degree of concentration of the worker with respect to the task from the brain activity amount and the emotional state of the worker indicated by data;
An output unit that outputs a result of estimating the degree of concentration of the worker on the task;
Comprising
Estimating device.
コンピュータが、
所定のタスクを作業者が実行している間に当該作業者から測定される脳活動量を示す脳活動データを取得するステップと、
前記タスクの実行に対する感情の入力を受け付けることで、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得するステップと、
前記脳活動量及び前記感情状態と集中の程度との間の対応関係を示す対応関係データを取得するステップと、
取得した前記対応関係データにより示される前記対応関係に基づいて、前記脳活動データ及び前記感情データにより示される前記作業者の前記脳活動量及び前記感情状態から、前記作業者の前記タスクに対する集中の程度を推定するステップと、
前記作業者の前記タスクに対する集中の程度を推定した結果を出力するステップと、
を実行する、
推定方法。
Computer
Obtaining brain activity data indicating the amount of brain activity measured from the worker while the worker is performing a predetermined task;
Obtaining emotion data indicating an emotional state of the worker related to the execution of the task by accepting an input of emotion for the execution of the task;
Obtaining correspondence data indicating the correspondence between the brain activity amount and the emotional state and the degree of concentration;
Based on the correspondence relationship indicated by the acquired correspondence relationship data, the concentration of the worker with respect to the task is determined from the brain activity amount and the emotional state of the worker indicated by the brain activity data and the emotion data. Estimating the degree;
Outputting a result of estimating the degree of concentration of the worker on the task;
Run the
Estimation method.
JP2018047111A 2018-03-14 2018-03-14 Estimating system, estimation device and estimation method Active JP6966363B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018047111A JP6966363B2 (en) 2018-03-14 2018-03-14 Estimating system, estimation device and estimation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018047111A JP6966363B2 (en) 2018-03-14 2018-03-14 Estimating system, estimation device and estimation method

Publications (2)

Publication Number Publication Date
JP2019154868A true JP2019154868A (en) 2019-09-19
JP6966363B2 JP6966363B2 (en) 2021-11-17

Family

ID=67996632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018047111A Active JP6966363B2 (en) 2018-03-14 2018-03-14 Estimating system, estimation device and estimation method

Country Status (1)

Country Link
JP (1) JP6966363B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006020836A (en) * 2004-07-08 2006-01-26 Hitachi Ltd Biological optical metering apparatus and optical measurement method
WO2010032491A1 (en) * 2008-09-19 2010-03-25 パナソニック株式会社 Inattentiveness detecting device, inattentiveness detecting method, and computer program
JP2014230717A (en) * 2013-05-30 2014-12-11 トヨタ自動車株式会社 Concentration level estimation device
EP3143933A1 (en) * 2015-09-15 2017-03-22 BrainSigns s.r.l. Method for estimating a mental state, in particular a workload, and related apparatus
JP2017144222A (en) * 2015-10-14 2017-08-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Emotion estimating method, emotion estimating apparatus, and recording medium storing program
JP2017217486A (en) * 2016-06-08 2017-12-14 株式会社脳機能研究所 Concentration degree evaluation device, concentration degree evaluation method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006020836A (en) * 2004-07-08 2006-01-26 Hitachi Ltd Biological optical metering apparatus and optical measurement method
WO2010032491A1 (en) * 2008-09-19 2010-03-25 パナソニック株式会社 Inattentiveness detecting device, inattentiveness detecting method, and computer program
JP2014230717A (en) * 2013-05-30 2014-12-11 トヨタ自動車株式会社 Concentration level estimation device
EP3143933A1 (en) * 2015-09-15 2017-03-22 BrainSigns s.r.l. Method for estimating a mental state, in particular a workload, and related apparatus
JP2017144222A (en) * 2015-10-14 2017-08-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Emotion estimating method, emotion estimating apparatus, and recording medium storing program
JP2017217486A (en) * 2016-06-08 2017-12-14 株式会社脳機能研究所 Concentration degree evaluation device, concentration degree evaluation method, and program

Also Published As

Publication number Publication date
JP6966363B2 (en) 2021-11-17

Similar Documents

Publication Publication Date Title
US10475351B2 (en) Systems, computer medium and methods for management training systems
EP2698112B1 (en) Real-time stress determination of an individual
Ferreira et al. Assessing real-time cognitive load based on psycho-physiological measures for younger and older adults
US10839201B2 (en) Facial expression detection for screening and treatment of affective disorders
EP3562398A2 (en) Emotion estimation apparatus, method, and program
JP2015054240A (en) Content evaluation system and content evaluation method using the same
US10325066B2 (en) System for mental health clinical application
US20160360992A1 (en) Method for quantifying the perceptive faculty of a person
WO2019176992A1 (en) Estimation system, learning device, learning method, estimation device and estimation method
Hubbard et al. Enhancing learning through virtual reality and neurofeedback: A first step
JP7070253B2 (en) Performance measuring device, performance measuring method and performance measuring program
Baig et al. Analyzing novice and expert user’s cognitive load in using a multi-modal interface system
Perakakis et al. Affective evaluation of a mobile multimodal dialogue system using brain signals
US10799139B2 (en) Method and system for EEG signal processing
JP6966363B2 (en) Estimating system, estimation device and estimation method
Kumar et al. Measurement of efficiency of auditory vs visual communication in HMI: A cognitive load approach
Rajendra Desai EEG-based evaluation of cognitive and emotional arousal when coding in different programming languages
JP2019022540A (en) Program, information processor, and stress evaluation method
Everson A Framework for Feedback Control of Stress Using Eeg and Audio
Tarnowski et al. A system for synchronous acquisition of selected physiological signals aimed at emotion recognition
Courtemanche et al. Multiresolution feature extraction during psychophysiological inference: addressing signals Asynchronicity
Gillani et al. Prediction of perceived stress scores using low-channel electroencephalography headband
US20230157600A1 (en) Information processor and information processing program
Mahmoodin et al. Processing of electroencephalogram signals using OpenVibe
WO2023145350A1 (en) Information processing method, information processing system, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211021

R150 Certificate of patent or registration of utility model

Ref document number: 6966363

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150