JP6936198B2 - Output device and output method - Google Patents
Output device and output method Download PDFInfo
- Publication number
- JP6936198B2 JP6936198B2 JP2018172894A JP2018172894A JP6936198B2 JP 6936198 B2 JP6936198 B2 JP 6936198B2 JP 2018172894 A JP2018172894 A JP 2018172894A JP 2018172894 A JP2018172894 A JP 2018172894A JP 6936198 B2 JP6936198 B2 JP 6936198B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- period
- state
- workers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
本発明は、作業者間の共感度に関する情報を出力する出力装置及び出力方法に関する。 The present invention relates to an output device and an output method for outputting information on sympathy between workers.
従来、インタラクションにおける被験者の共感度を推定する装置が知られている。特許文献１には、コールセンターにおけるオペレータと顧客との対話において、顧客の音声を解析することによって推定した顧客の感情の時間変化パターンに基づいて、顧客が共感又は反感したオペレータの発話箇所を推定する技術が記載されている。
Conventionally, a device for estimating the empathy of a subject in an interaction has been known. In
特許文献１のような技術によって推定された感情の時間変化パターンを用いることにより、共同して作業を行う作業者間の共感度を推定することができるようにも思える。ところで、対面して行われる共同作業では、発話のほかに、資料に文字を書き込んだり、資料を示したりする動作を伴うことがある。そのため、特許文献１のような技術では、共同作業の内容によっては、発話が少なくなり、音声に基づく作業者間の共感度を推定する精度が悪くなりかねない。
It seems that it is possible to estimate the empathy between workers who work jointly by using the time-varying pattern of emotions estimated by the technique as in
そこで、本発明はこれらの点に鑑みてなされたものであり、共同作業における作業者間の共感度を推定する精度を向上させることができる出力装置及び出力方法を提供することを目的とする。 Therefore, the present invention has been made in view of these points, and an object of the present invention is to provide an output device and an output method capable of improving the accuracy of estimating the sympathy between workers in collaborative work.
本発明の第１の態様に係る出力装置は、共同して作業を行う２人の作業者それぞれの視線に関する視線データから、一方の前記作業者がいる位置を起点とした前記一方の作業者の視線の向きと、他方の前記作業者がいる位置を起点とした前記他方の作業者の視線の向きとを関連付けて特定する特定部と、前記特定部が特定した結果である複数の視線状態から、前記２人の作業者の視線が合った状態を示す相互視線状態と、前記２人の作業者が共通の物体に視線を向けた状態を示す共同視線状態とを選択する選択部と、前記作業全体の期間に対する、前記相互視線状態の期間と、前記共同視線状態の期間とを合計した合計期間の割合を示す合計視線量を算出する算出部と、前記合計視線量に対応する指標を出力する出力部と、を有する。 The output device according to the first aspect of the present invention is the output device of the one worker starting from the position where the one worker is located, based on the line-of-sight data regarding the line-of-sight of each of the two workers who work jointly. From a specific part that identifies the direction of the line of sight by associating the direction of the line of sight of the other worker with the direction of the line of sight of the other worker starting from the position where the other worker is, and from a plurality of line-of-sight states that are the result of the specific part specifying. A selection unit for selecting a mutual line-of-sight state indicating a state in which the two workers' lines of sight are aligned and a joint line-of-sight state indicating a state in which the two workers are looking at a common object, and the above. A calculation unit that calculates the total visual dose indicating the ratio of the total period of the period of the mutual line-of-sight state and the period of the joint line-of-sight state to the period of the entire work, and an index corresponding to the total visual dose are output. It has an output unit and an output unit.
前記算出部は、前記作業全体の期間に対する前記相互視線状態の期間の割合を示す相互視線量と、前記作業全体の期間に対する前記共同視線状態の期間の割合を示す共同視線量とを算出し、前記作業の内容に応じて定められる重要度に基づいて重み付けした前記相互視線量と、前記作業の内容に応じて定められる重要度に基づいて重み付けした前記共同視線量とを合計した前記合計視線量を算出してもよい。 The calculation unit calculates the mutual visual dose indicating the ratio of the period of the mutual line-of-sight state to the period of the entire work and the joint visual dose indicating the ratio of the period of the joint line-of-sight state to the period of the entire work. The total visual dose, which is the sum of the mutual visual dose weighted based on the importance determined according to the content of the work and the joint visual dose weighted based on the importance determined according to the content of the work. May be calculated.
前記算出部は、前記選択部が選択した前記視線状態ごとに、期間が長くなるほど数値が大きくなるように前記選択部が選択した前記視線状態の期間の長さに重み付けしてもよい。
前記算出部は、前記選択部が選択した前記視線状態ごとに、前記２人の作業者の発話を含む音声データから発話の状況を解析することによって特定された発話の有無に基づいて、解析された前記発話の状況に対応する前記視線状態の期間の長さに重み付けしてもよい。
前記算出部は、前記選択部が選択した前記視線状態ごとに、前記作業の内容に応じて定められる前記物体の重要度に基づいて、前記共同視線状態の期間の長さに重み付けしてもよい。
The calculation unit may weight the length of the period of the line-of-sight state selected by the selection unit so that the numerical value increases as the period becomes longer for each of the line-of-sight states selected by the selection unit.
The calculation unit is analyzed based on the presence or absence of utterances specified by analyzing the utterance situation from the voice data including the utterances of the two workers for each of the line-of-sight states selected by the selection unit. The length of the period of the line-of-sight state corresponding to the situation of the utterance may be weighted.
The calculation unit may weight the length of the period of the joint line-of-sight state based on the importance of the object determined according to the content of the work for each of the line-of-sight states selected by the selection unit. ..
前記算出部は、前記相互視線状態の期間及び前記共同視線状態の期間それぞれの長短を示す第１統計量と、前記相互視線状態の期間及び前記共同視線状態の期間それぞれのばらつきを示す第２統計量とを算出してもよいし、前記出力部は、前記相互視線状態及び前記共同視線状態それぞれに関連付けて前記第１統計量と前記第２統計量とにさらに対応する前記指標を出力してもよい。 The calculation unit has a first statistic showing the length of each of the period of the mutual line-of-sight state and the period of the joint line-of-sight state, and a second statistic showing the variation of each of the period of the mutual line-of-sight state and the period of the joint line-of-sight state. The amount may be calculated, and the output unit outputs the index further corresponding to the first statistic and the second statistic in association with each of the mutual line-of-sight state and the joint line-of-sight state. May be good.
前記出力部は、前記選択部が選択した前記相互視線状態の回数と、前記選択部が選択した前記共同視線状態の回数とにさらに対応する前記指標を出力してもよい。
前記出力部は、前記選択部が選択した前記視線状態において、前記２人の作業者の発話を含む音声データから発話の状況を解析することによって特定された前記２人の作業者それぞれの発話が重複した重複発話の期間が所定の閾値を超える場合に、前記作業の状況を示す情報をさらに出力してもよい。
The output unit may output the index further corresponding to the number of times of the mutual line-of-sight state selected by the selection unit and the number of times of the joint line-of-sight state selected by the selection unit.
In the output unit, in the line-of-sight state selected by the selection unit, the utterances of the two workers identified by analyzing the utterance situation from the voice data including the utterances of the two workers are produced. When the period of duplicated duplicate utterances exceeds a predetermined threshold value, information indicating the status of the work may be further output.
本発明の第２の態様に係る出力方法は、コンピュータが実行する、共同して作業を行う２人の作業者それぞれの視線に関する視線データから、前記２人の作業者それぞれの視線を検出するステップと、一方の前記作業者がいる位置を起点とした、検出した前記一方の作業者の視線の向きと、他方の前記作業者がいる位置を起点とした、検出した前記他方の作業者の視線の向きとを関連付けて特定するステップと、特定した結果である複数の視線状態から、前記２人の作業者の視線が合った状態を示す相互視線状態と、前記２人の作業者が共通の物体に視線を向けた状態を示す共同視線状態とを選択するステップと、前記作業全体の期間に対する、前記相互視線状態の期間と、前記共同視線状態の期間とを合計した合計期間の割合を示す合計視線量を算出するステップと、前記合計視線量に対応する指標を出力するステップと、を有する。 The output method according to the second aspect of the present invention is a step of detecting the line of sight of each of the two workers from the line of sight data regarding the line of sight of each of the two workers who work jointly, which is executed by a computer. The detected direction of the line of sight of the one worker starting from the position where one of the workers is located, and the line of sight of the detected other worker starting from the position where the other worker is located. From the step of associating and specifying the direction of The ratio of the total period of the step of selecting the joint line-of-sight state indicating the state in which the line of sight is directed to the object and the period of the mutual line-of-sight state and the period of the joint line-of-sight state to the period of the entire work is shown. It has a step of calculating the total visual dose and a step of outputting an index corresponding to the total visual dose.
本発明によれば、共同作業における作業者間の共感度を推定する精度を向上させることができるという効果を奏する。 According to the present invention, there is an effect that the accuracy of estimating the sympathy between workers in collaborative work can be improved.
［出力装置１の概要］
図１は、出力装置１の概要を説明するための図である。本願の発明者は、様々な共同作業における作業者間のインタラクションを分析したところ、共感度が高いとみられる状態においては、２人の作業者の視線が合ったり、２人の作業者の視線が共通の物体に向いたりする状態が多いことを見出した。そこで、本実施の形態では、上記の現象を利用して、共同作業中の２人の作業者の視線状態を解析することによって推定した作業者間の共感度に関する情報を提供する。
[Overview of output device 1]
FIG. 1 is a diagram for explaining an outline of the
出力装置１は、共同して作業を行う作業者間の共感度に関する情報を出力する装置であり、例えばコンピュータである。出力装置１には、共同して作業を行う２人の作業者それぞれの視線に関する視線データが予め記憶されている。視線データは、例えば、不図示の視線センサを介して検出した作業者の視線の向きと、作業者がいる空間（部屋）に存在する物体（人を含む）の位置を示す空間情報に基づいて特定される作業者の視線先に含まれる物体とを関連付けたデータである。
The
「視線先に含まれる物体」は、例えば、作業者がいる空間に存在する物体の領域と、作業者の視線先の領域とが重なった領域に含まれる物体である。作業者の視線先の領域の大きさと、作業者がいる空間に存在する物体ごとの領域の大きさとにおいては、予め設定がされている。 The "object included in the line of sight" is, for example, an object included in an area where the area of the object existing in the space where the worker is present and the area of the line of sight of the worker overlap. The size of the area of the line of sight of the worker and the size of the area of each object existing in the space where the worker is located are set in advance.
出力装置１は、例えば、赤外光を用いたプルキニエ検出による手法を用いて話者の視線の向きを検出してもよいし、画像処理による黒眼領域及び白眼領域の検出を用いた手法を用いて作業者の視線の向きを検出してもよい。また、出力装置１は、作業者の頭部の向きに基づいて視線の向きを推定してもよい。この場合、出力装置１は、モーションキャプチャー装置、赤外線センサ、又は加速度センサ等を用いて頭部の動作を検出してもよい。出力装置１は、不図示の通信部を介してリアルタイムに視線データを取得してもよい。
The
まず、出力装置１は、作業者Ｘ及び作業者Ｙそれぞれの視線の向きを関連付けた視線状態を特定する（図１の（１））。出力装置１は、特定した複数の視線状態から、図１に示すような相互視線状態と、図１に示すような共同視線状態とを選択する（図１の（２））。
First, the
出力装置１は、相互視線状態の期間と、共同視線状態の期間とに基づいて、合計視線量を算出する（図１の（３））。具体的には、出力装置１は、共同作業全体の期間に対する、相互視線状態の期間と、共同視線状態の期間とを合計した合計期間の割合を示す合計視線量を算出する。
The
出力装置１は、共同作業において相互視線状態の期間及び共同視線状態の期間が長くなるほど、合計視線量が示す数値が大きくなり、作業者Ｘ及び作業者Ｙの共感度が高いと推定する。そして、出力装置１は、合計視線量に対応する指標を出力する（図１の（４））。
The
このように、出力装置１は、共同作業中の２人の作業者の視線状態に基づいて作業者間の共感度を推定する。発話においては、共同作業の内容によって多かったり少なかったりする場合があるが、視線においては、このような共同作業の内容による影響が少ない。そのため、出力装置１は、共同作業中の２人の作業者の視線状態に基づいて作業者間の共感度を推定することにより、共同作業の内容による作業者間の共感度を推定する精度のばらつきを低減することができる。その結果、出力装置１は、共同作業における作業者間の共感度を推定する精度を向上することができる。
以下、出力装置１の構成について説明する。
In this way, the
Hereinafter, the configuration of the
［出力装置１の構成］
図２は、出力装置１の構成を示す図である。出力装置１は、記憶部１１と、制御部１２とを有する。記憶部１１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体である。記憶部１１は、制御部１２が実行するプログラムを記憶している。また、記憶部１１は、視線データを記憶している。
[Configuration of output device 1]
FIG. 2 is a diagram showing the configuration of the
制御部１２は、例えばＣＰＵ（Central Processing Unit）である。制御部１２は、記憶部１１に記憶されたプログラムを実行することにより、特定部１２１、選択部１２２、算出部１２３、及び出力部１２６として機能する。
The control unit 12 is, for example, a CPU (Central Processing Unit). The control unit 12 functions as a
特定部１２１は、２人の作業者それぞれの視線の向きを関連付けた視線状態を特定する。具体的には、特定部１２１は、視線データから、一方の作業者がいる位置を起点とした一方の作業者の視線の向きと、他方の作業者がいる位置を起点とした他方の作業者の視線の向きとを関連付けた視線状態を特定する。
The
特定部１２１は、例えば、２人の作業者それぞれに対応する視線データから、２人の作業者のうちのいずれかの視線の向きが変化するごとに、一方の作業者の視線先に含まれる物体と、他方の作業者の視線先に含まれる物体とを関連付けて特定する。このように、特定部１２１は、２人の作業者それぞれの視線の向きを関連付けた視線状態を特定する。特定部１２１は、特定した結果である複数の視線状態を選択部１２２に入力する。
The
選択部１２２は、特定部１２１が特定した結果である複数の視線状態から、相互視線状態と共同視線状態とを選択する。相互視線状態は、２人の作業者の視線が合った状態を示す。共同視線状態は、２人の作業者が共通の物体に視線を向けた状態を示す。
The
図３は、共同作業における２人の作業者（作業者Ｘ及び作業者Ｙ）の視線状態を模式的に表した図である。図３に示す視線状態Ｍ１、Ｍ２、Ｍ３は、作業者Ｘ及び作業者Ｙの視線が合った状態である相互視線状態に属する。図３に示す視線状態Ｓ１、Ｓ２、Ｓ３は、作業者Ｘ及び作業者Ｙが共通の物体（資料）に視線を向けた状態である共同視線状態に属する。図３に示すように、特定部１２１が、視線データから、作業者Ｘ及び作業者Ｙのうちのいずれかの視線の向きが変化するごとに、「作業者Ｘの視線」欄に示す作業者Ｘの視線先に含まれる物体（作業者Ｙ又は資料）と、「作業者Ｙの視線」欄に示す作業者Ｙの視線先に含まれる物体（作業者Ｘ又は資料）とを関連付けて特定したとする。
FIG. 3 is a diagram schematically showing the line-of-sight states of two workers (worker X and worker Y) in the joint work. The line-of-sight states M1, M2, and M3 shown in FIG. 3 belong to the mutual line-of-sight states in which the lines of sight of the worker X and the worker Y are aligned. The line-of-sight states S1, S2, and S3 shown in FIG. 3 belong to the joint line-of-sight state in which the worker X and the worker Y are looking at a common object (material). As shown in FIG. 3, each time the
この場合において、選択部１２２は、相互視線状態として、視線状態Ｍ１、Ｍ２、Ｍ３を選択する。また、選択部１２２は、共同視線状態として、視線状態Ｓ１、Ｓ２、Ｓ３を選択する。選択部１２２は、選択した各視線状態の期間と、視線状態の種類（相互視線状態又は共同視線状態）とを関連付けて算出部１２３に入力する。
In this case, the
算出部１２３は、重み付け部１２４と、視線量算出部１２５とを有する。重み付け部１２４は、相互視線量と共同視線量とを算出し、作業の内容に応じて定められる重要度に基づいて相互視線量と共同視線量とを重み付けする。相互視線量は、作業全体の期間に対する相互視線状態の期間の割合を示す。共同視線量は、作業全体の期間に対する共同視線状態の期間の割合を示す。
The
相互視線量及び共同視線量それぞれの重要度は、共同作業の内容に応じて設定される。例えば、共同作業が、ブレインストーミング又はディベート等のように発話を中心とした作業である場合、共同視線状態よりも相互視線状態の方が重視されるため、共同視線量よりも相互視線量の方が重要度が高く設定される。また、例えば、共同作業が、資料等の作成を中心とした作業である場合、相互視線状態よりも共同視線状態の方が重視されるため、相互視線量よりも共同視線量の方が重要度が高く設定される。 The importance of each of the mutual visual dose and the joint visual dose is set according to the content of the collaborative work. For example, when collaborative work is utterance-centered work such as brainstorming or debate, the mutual gaze state is more important than the joint gaze state, so the mutual gaze dose is more important than the joint gaze dose. Is set with high importance. In addition, for example, when collaborative work is a work centered on the creation of materials, etc., the joint gaze state is more important than the mutual gaze state, so the joint gaze dose is more important than the mutual gaze dose. Is set high.
相互視線量及び共同視線量それぞれの重要度は、重要度が示す修正係数を管理する係数管理データベースに予め記憶されている。係数管理データベースは、重要度が示す修正係数を、視線状態の種類ごとに関連付けて記憶している。重要度には、視線状態の種類ごとに異なる修正係数が設定されている。 The importance of each of the mutual visual dose and the joint visual dose is stored in advance in the coefficient management database that manages the correction coefficient indicated by the importance. The coefficient management database stores the correction coefficient indicated by the importance in association with each type of line-of-sight state. For the importance, different correction coefficients are set for each type of line-of-sight state.
図３に示す例において、重み付け部１２４は、まず、相互視線状態である視線状態Ｍ１、Ｍ２、Ｍ３の期間と、共同視線状態である視線状態Ｓ１、Ｓ２、Ｓ３の期間とをそれぞれ合計する。重み付け部１２４は、相互視線状態の合計期間及び共同視線状態の合計期間それぞれを作業全体の期間で正規化することにより、相互視線量と共同視線量とを算出する。そして、重み付け部１２４は、係数管理データベースに記憶されている相互視線状態の重要度が示す修正係数を相互視線量に乗じ、係数管理データベースに記憶されている共同視線状態の重要度が示す修正係数を共同視線量に乗じる。
In the example shown in FIG. 3, the
このようにして、重み付け部１２４は、作業の内容に応じて定められる重要度に基づいて相互視線量と共同視線量とを重み付けする。このようにすることで、重み付け部１２４は、共同作業の内容による作業者間の共感度を推定する精度のばらつきを低減することができる。
In this way, the
ここで、作業者Ｘをｘとし、作業者Ｙをｙとし、選択部１２２が選択した相互視線状態の数をｖとし、選択部１２２が選択した共同視線状態の数をｗとした場合において、ある相互視線状態（１＜ｊ＜ｖ）の期間をｔ（ｍ（ｊ，ｘ，ｙ））とし、ある相互視線状態（１＜ｋ＜ｗ）の期間をｔ（ｓ（ｋ，ｘ，ｙ））としたとする。また、共同作業の期間をｔ（I）としたとする。
Here, when the worker X is x, the worker Y is y, the number of mutual line-of-sight states selected by the
この場合において、重み付け部１２４は、以下の式（１）、（２）を用いて相互視線量Ｍ（ｘ，ｙ）及び共同視線量Ｓ（ｘ，ｙ）を算出することができる。
ところで、本願の発明者は、共同作業における作業者間の共感度と、１つの視線状態（相互視線状態又は共同視線状態）の期間とが相関する関係にあることを見出した。具体的には、作業者間の共感度が高い場合においては、１つの視線状態の期間が長くなる傾向にあることを本願の発明者は見出した。そこで、重み付け部１２４は、選択部１２２が選択した視線状態ごとに、期間が長くなるほど数値が大きくなるように選択部１２２が選択した視線状態の期間の長さに重み付けしてもよい。
By the way, the inventor of the present application has found that there is a correlation between the empathy between workers in collaborative work and the period of one line-of-sight state (mutual line-of-sight state or joint line-of-sight state). Specifically, the inventor of the present application has found that when the sympathy between workers is high, the period of one line-of-sight state tends to be long. Therefore, the
この場合、重み付け部１２４は、選択部１２２が選択した視線状態ごとに、期間が長くなるほど数値が大きくなるように選択部１２２が選択した視線状態の期間の長さに重み付けした後に、相互視線量と共同視線量とを算出する。このように、重み付け部１２４は、共同作業中に変動する作業者間の共感度を考慮することにより、作業者間の共感度を推定する精度を向上させることができる。
In this case, the
また、共同作業における作業者間の共感度と、選択部１２２が選択した視線状態（相互視線状態又は共同視線状態）における発話の有無とが相関する関係にあることを本願の発明者は見出した。具体的には、作業者間の共感度が高い場合においては、選択部１２２が選択した視線状態においてコミュニケーションが取られる傾向にあることを本願の発明者は見出した。そこで、重み付け部１２４は、選択部１２２が選択した視線状態ごとに、２人の作業者の発話を含む音声データから発話の状況を解析することによって特定された発話の有無に基づいて、解析された発話の状況に対応する視線状態の期間の長さに重み付けしてもよい。
Further, the inventor of the present application has found that there is a correlation between the empathy between workers in collaborative work and the presence or absence of utterance in the line-of-sight state (mutual line-of-sight state or joint line-of-sight state) selected by the
具体的には、重み付け部１２４は、１より大きな実数である修正係数を、解析結果が発話ありを示す視線状態の期間の長さに乗じることにより重み付けしてもよい。また、重み付け部１２４は、１より小さな実数である修正係数を、解析結果が発話なしを示す視線状態の期間の長さに乗じることにより重み付けしてもよい。このように、重み付け部１２４は、選択部１２２が選択した視線状態におけるコミュニケーションの有無を考慮することにより、共感度を推定する精度を向上させることができる。
Specifically, the
共同作業においては、作業者がいる空間に存在する物体それぞれの重要度が異なる。例えば、２人の作業者が共同して書き込みを行っている資料は、作業者がいる空間（部屋）の壁にかけられている時計又はカレンダー等よりも重要度が高いことが考えられる。そこで、重み付け部１２４は、選択部１２２が選択した視線状態ごとに、作業の内容に応じて定められる物体（人を除く）の重要度に基づいて、共同視線状態の期間の長さに重み付けしてもよい。
In collaborative work, the importance of each object existing in the space where the worker is located is different. For example, a material written jointly by two workers may be more important than a clock or calendar hung on the wall of the space (room) where the workers are. Therefore, the
物体の重要度は、予め設定されていてもよいし、作業者による物体への指示量、接触量、又は注視量に基づいて算出されてもよいし、２人の作業者との平均距離に基づいて算出されてもよい。このように、重み付け部１２４は、共同作業の内容に応じた物体の役割（重要性）を考慮することにより、共感度を推定する精度を向上させることができる。重み付け部１２４は、重み付けした相互視線量と、重み付けした共同視線量とを視線量算出部１２５に入力する。
The importance of the object may be preset, calculated based on the amount of instruction, contact, or gaze of the object by the worker, or the average distance between the two workers. It may be calculated based on. In this way, the
視線量算出部１２５は、作業全体の期間に対する、相互視線状態の期間と、共同視線状態の期間とを合計した合計期間の割合を示す合計視線量を算出する。具体的には、視線量算出部１２５は、重み付け部１２４が作業の内容に応じて定められる重要度に基づいて重み付けした相互視線量と、重み付け部１２４が作業の内容に応じて定められる重要度に基づいて重み付けした共同視線量とを合計した合計視線量を算出する。視線量算出部１２５は、算出した合計視線量を出力部１２６に入力する。
The visual
ここで、相互視線量をＭ（ｘ，ｙ）とし、共同視線量をＳ（ｘ，ｙ）とし、相互視線状態の重要度が示す修正係数をＱとし、共同視線状態の重要度が示す修正係数をＲとしたとする。この場合において、視線量算出部１２５は、以下の式（３）を用いて合計視線量Ｅ（ｘ，ｙ）を算出することができる。
視線量算出部１２５は、相互視線状態の期間及び共同視線状態の期間それぞれの長短を示す第１統計量と、相互視線状態の期間及び共同視線状態の期間それぞれのばらつきを示す第２統計量とをさらに算出してもよい。第１統計量は、例えば、各視線状態の平均期間又は最頻値等である。第１統計量は、数値が大きいほど、作業者間の共感度が高いことを示す。第２統計量は、例えば、不偏分散又は標本分散等である。第２統計量は、数値が小さいほど、共同作業全体における共感度の変動が小さいことを示す。
The visual
視線量算出部１２５は、例えば、第１統計量として、相互視線状態の平均期間と、共同視線状態の平均期間をさらに算出してもよい。また、視線量算出部１２５は、例えば、第２統計量として、相互視線状態の不偏分散と、共同視線状態の不偏分散とをさらに算出してもよい。
The visual
出力部１２６は、視線量算出部１２５が算出した合計視線量に対応する指標を出力する。指標は、合計視線量に基づいて推定される作業者間の共感度を示す共感情報である。出力装置１には、例えば、複数の段階に分類された共感度の各段階に対応する共感情報が記憶されている。
The
図４は、出力部１２６が出力した出力画面の一例を示す図である。図４に示すグラフは、２段階に分類された共感度における合計視線量の位置を示す。図４に示すように、出力部１２６は、出力画面において、視線量算出部１２５が算出した合計視線量をグラフに描画するとともに、当該合計視線量に対応する共感情報を吹き出しに表示する。出力部１２６は、例えば、作業者が３人以上である場合、２人１組の組み合わせごとに算出された合計視線量を図４に示すグラフに並べて表示してもよい。
FIG. 4 is a diagram showing an example of an output screen output by the
出力部１２６は、視線量算出部１２５が、第１統計量及び第２統計量を算出した場合、相互視線状態及び共同視線状態それぞれに関連付けて第１統計量と第２統計量とにさらに対応する指標を出力してもよい。また、出力部１２６は、選択部１２２が選択した相互視線状態の回数と、選択部１２２が選択した共同視線状態の回数とにさらに対応する指標を出力してもよい。
When the visual
共同作業において２人の作業者に反感が生じている場合にも、相互視線状態が多くなることを本願の発明者は見出した。また、２人の作業者に反感が生じている状況における相互視線状態において、２人の作業者の発話がオーバーラップする傾向にあることを本願の発明者は見出した。そこで、出力部１２６は、選択部１２２が選択した視線状態において、２人の作業者の発話を含む音声データから発話の状況を解析することによって特定された２人の作業者それぞれの発話が重複した重複発話の期間が所定の閾値（例えば４００ミリ秒）を超える場合に、作業の状況を示す情報をさらに出力してもよい。
The inventor of the present application has found that the state of mutual gaze increases even when two workers are disliked in the joint work. In addition, the inventor of the present application has found that the utterances of the two workers tend to overlap in a mutual line-of-sight state in a situation where the two workers have an antipathy. Therefore, the
所定の閾値は、共感を示す相槌及び笑い声を除外するための基準値である。出力部１２６は、例えば、重複発話の期間が所定の閾値を超える相互視線状態の割合が半数以上である場合に、２人の作業者に反感が生じている可能性があることを、合計視線量に対応する指標とともに出力してもよい。
The predetermined threshold value is a reference value for excluding sympathetic aizuchi and laughter. The
［出力装置１の処理の流れ］
続いて、出力装置１の処理の流れについて説明する。図５は、出力装置１の処理の流れを示すフローチャートである。本フローチャートは、例えば、出力装置１を利用する利用者が、記憶部１１に視線データを格納し、作業者間の共感度の推定処理を実行する操作を行ったことを契機として開始する。
[Processing flow of output device 1]
Subsequently, the processing flow of the
特定部１２１は、２人の作業者それぞれの視線の向きを関連付けた視線状態を特定する（Ｓ１）。具体的には、特定部１２１は、視線データから、一方の作業者がいる位置を起点とした一方の作業者の視線の向きと、他方の作業者がいる位置を起点とした他方の作業者の視線の向きとを関連付けた視線状態を特定する。特定部１２１は、特定した複数の視線状態を選択部１２２に入力する。
The
選択部１２２は、特定部１２１が特定した結果である複数の視線状態から、相互視線状態と共同視線状態とを選択する（Ｓ２）。選択部１２２は、選択した各視線状態の期間と、視線状態の種類（相互視線状態又は共同視線状態）とを関連付けて重み付け部１２４に入力する。
The
重み付け部１２４は、相互視線量と共同視線量とを算出し、作業の内容に応じて定められる重要度に基づいて相互視線量と共同視線量とを重み付けする。具体的には、重み付け部１２４は、まず、選択部１２２が選択した複数の相互視線状態の期間と、選択部１２２が選択した複数の共同視線状態の期間とをそれぞれ合計することにより、相互視線状態の合計期間と共同視線状態の合計期間とを算出する（Ｓ３）。
The
重み付け部１２４は、相互視線状態の合計期間と共同視線状態の合計期間とを算出すると、相互視線状態の合計期間及び共同視線状態の合計期間それぞれを作業全体の期間で正規化することにより、相互視線量と共同視線量とを算出する（Ｓ４）。そして、重み付け部１２４は、係数管理データベースに記憶されている相互視線状態の重要度が示す修正係数を相互視線量に乗じ、係数管理データベースに記憶されている共同視線状態の重要度が示す修正係数を共同視線量に乗じることにより、相互視線量と共同視線量とを重み付けする（Ｓ５）。重み付け部１２４は、重み付けした相互視線量と、重み付けした共同視線量とを視線量算出部１２５に入力する。
When the
視線量算出部１２５は、作業全体の期間に対する、相互視線状態の期間と、共同視線状態の期間とを合計した合計期間の割合を示す合計視線量を算出する（Ｓ６）。具体的には、視線量算出部１２５は、重み付け部１２４が作業の内容に応じて定められる重要度に基づいて重み付けした相互視線量と、重み付け部１２４が作業の内容に応じて定められる重要度に基づいて重み付けした共同視線量とを合計した合計視線量を算出する。視線量算出部１２５は、算出した合計視線量を出力部１２６に入力する。そして、出力部１２６は、視線量算出部１２５が算出した合計視線量に対応する指標を出力する（Ｓ７）。
The visual
［本実施の形態における効果］
以上説明したとおり、出力装置１は、視線データから特定された複数の視線状態から相互視線状態と共同視線状態とを選択する。そして、出力装置１は、作業全体の期間に対する、相互視線状態の期間と、共同視線状態の期間とを合計した合計期間の割合を示す合計視線量を算出し、算出した合計視線量に対応する指標を出力する。このように、出力装置１は、共同作業中の２人の作業者の視線状態に基づいて作業者間の共感度を推定することにより、共同作業の内容による作業者間の共感度を推定する精度のばらつきを低減することができる。その結果、出力装置１は、共同作業における作業者間の共感度を推定する精度を向上することができる。出力装置１が出力した指標においては、グループ内のチームワーク評価、及び作業グループ編成のための支援等に用いることができる。
[Effects in this embodiment]
As described above, the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes can be made within the scope of the gist thereof. be. For example, the specific embodiment of the distribution / integration of the device is not limited to the above embodiment, and all or a part thereof may be functionally or physically distributed / integrated in any unit. Can be done. Also included in the embodiments of the present invention are new embodiments resulting from any combination of the plurality of embodiments. The effect of the new embodiment produced by the combination has the effect of the original embodiment together.
１ 出力装置
１１ 記憶部
１２ 制御部
１２１ 特定部
１２２ 選択部
１２３ 算出部
１２４ 重み付け部
１２５ 視線量算出部
１２６ 出力部
1
Claims (9)
前記特定部が特定した結果である複数の視線状態から、前記２人の作業者の視線が合った状態を示す相互視線状態と、前記２人の作業者が共通の物体に視線を向けた状態を示す共同視線状態とを選択する選択部と、
前記作業全体の期間に対する、前記相互視線状態の期間と、前記共同視線状態の期間とを合計した合計期間の割合を示す合計視線量を算出する算出部と、
前記合計視線量に基づいて推定される前記２人の作業者間の共感度を示す指標を出力する出力部と、
を有する出力装置。 From the line-of-sight data regarding the line-of-sight of each of the two workers who work jointly, the direction of the line-of-sight of one worker starting from the position where one of the workers is located and the position where the other worker is located. The specific part specified by associating with the direction of the line of sight of the other worker starting from
From a plurality of line-of-sight states that are the result of the specific unit identifying, a mutual line-of-sight state indicating a state in which the lines of sight of the two workers are aligned, and a state in which the two workers direct their lines of sight to a common object. A selection unit that selects the joint line-of-sight state that indicates
A calculation unit that calculates the total visual dose, which indicates the ratio of the total period of the period of the mutual line-of-sight state and the period of the joint line-of-sight state to the period of the entire work.
An output unit that outputs an index indicating sympathy between the two workers estimated based on the total visual dose, and an output unit.
Output device with.
請求項１に記載の出力装置。 The calculation unit calculates the mutual visual dose indicating the ratio of the period of the mutual line-of-sight state to the period of the entire work and the joint visual dose indicating the ratio of the period of the joint line-of-sight state to the period of the entire work. The total visual dose, which is the sum of the mutual visual dose weighted based on the importance determined according to the content of the work and the joint visual dose weighted based on the importance determined according to the content of the work. To calculate,
The output device according to claim 1.
請求項１又は２に記載の出力装置。 The calculation unit weights the length of the period of the line-of-sight state selected by the selection unit so that the numerical value increases as the period becomes longer for each of the line-of-sight states selected by the selection unit.
The output device according to claim 1 or 2.
請求項１から３のいずれか一項に記載の出力装置。 The calculation unit is analyzed based on the presence or absence of utterances specified by analyzing the utterance situation from the voice data including the utterances of the two workers for each of the line-of-sight states selected by the selection unit. The length of the period of the line-of-sight state corresponding to the situation of the utterance is weighted.
The output device according to any one of claims 1 to 3.
請求項１から４のいずれか一項に記載の出力装置。 The calculation unit weights the length of the period of the joint line-of-sight state based on the importance of the object determined according to the content of the work for each of the line-of-sight states selected by the selection unit.
The output device according to any one of claims 1 to 4.
前記出力部は、前記相互視線状態及び前記共同視線状態それぞれに関連付けて前記第１統計量と前記第２統計量とにさらに基づいて推定される前記２人の作業者間の共感度を示す前記指標を出力する、
請求項１から５のいずれか一項に記載の出力装置。 The calculation unit has a first statistic showing the length of each of the period of the mutual line-of-sight state and the period of the joint line-of-sight state, and a second statistic showing the variation of each of the period of the mutual line-of-sight state and the period of the joint line-of-sight state. Calculate the amount and
The output unit shows the sympathy between the two workers estimated based on the first statistic and the second statistic in association with each of the mutual line-of-sight state and the joint line-of-sight state. Output index,
The output device according to any one of claims 1 to 5.
請求項１から６のいずれか一項に記載の出力装置。 The output unit further determines the sympathy between the two workers estimated based on the number of times the mutual line-of-sight state selected by the selection unit and the number of times the joint line-of-sight state selected by the selection unit. Output the index shown
The output device according to any one of claims 1 to 6.
請求項１から７のいずれか一項に記載の出力装置。 In the output unit, in the line-of-sight state selected by the selection unit, the utterances of the two workers identified by analyzing the utterance situation from the voice data including the utterances of the two workers are produced. When the period of duplicated duplicate utterances exceeds a predetermined threshold value, information indicating the status of the work is further output.
The output device according to any one of claims 1 to 7.
共同して作業を行う２人の作業者それぞれの視線に関する視線データから、前記２人の作業者それぞれの視線を検出するステップと、
一方の前記作業者がいる位置を起点とした、検出した前記一方の作業者の視線の向きと、他方の前記作業者がいる位置を起点とした、検出した前記他方の作業者の視線の向きとを関連付けて特定するステップと、
特定した結果である複数の視線状態から、前記２人の作業者の視線が合った状態を示す相互視線状態と、前記２人の作業者が共通の物体に視線を向けた状態を示す共同視線状態とを選択するステップと、
前記作業全体の期間に対する、前記相互視線状態の期間と、前記共同視線状態の期間とを合計した合計期間の割合を示す合計視線量を算出するステップと、
前記合計視線量に基づいて推定される前記２人の作業者間の共感度を示す指標を出力するステップと、
を有する出力方法。 Computer runs,
A step of detecting the line of sight of each of the two workers from the line of sight data regarding the line of sight of each of the two workers who work jointly, and
The detected direction of the line of sight of the one worker starting from the position where one of the workers is located, and the direction of the line of sight of the detected other worker starting from the position where the other worker is located. And the steps to associate and identify
From a plurality of line-of-sight states as a result of identification, a mutual line-of-sight state indicating a state in which the lines of sight of the two workers are aligned and a joint line-of-sight state showing a state in which the two workers are looking at a common object. Steps to select the state and
A step of calculating a total visual dose indicating the ratio of the total period of the period of the mutual line-of-sight state and the period of the joint line-of-sight state to the period of the entire work.
A step of outputting an index showing the sympathy between the two workers estimated based on the total visual dose, and
Output method with.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018172894A JP6936198B2 (en) | 2018-09-14 | 2018-09-14 | Output device and output method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018172894A JP6936198B2 (en) | 2018-09-14 | 2018-09-14 | Output device and output method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020046767A JP2020046767A (en) | 2020-03-26 |
| JP6936198B2 true JP6936198B2 (en) | 2021-09-15 |
Family
ID=69901333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018172894A Active JP6936198B2 (en) | 2018-09-14 | 2018-09-14 | Output device and output method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6936198B2 (en) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4354313B2 (en) * | 2004-01-21 | 2009-10-28 | 株式会社野村総合研究所 | Inter-user intimacy measurement system and inter-user intimacy measurement program |
| JP2006075348A (en) * | 2004-09-09 | 2006-03-23 | Fuji Xerox Co Ltd | Eye contact analyzing apparatus, eye contact analyzing method and eye contact analyzing program |
| US9606621B2 (en) * | 2006-07-28 | 2017-03-28 | Philips Lighting Holding B.V. | Gaze interaction for information display of gazed items |
| JP2009026190A (en) * | 2007-07-23 | 2009-02-05 | Toshiba Corp | Device and method for determining object of interest |
| JP5477153B2 (en) * | 2010-05-11 | 2014-04-23 | セイコーエプソン株式会社 | Service data recording apparatus, service data recording method and program |
| JP2013197906A (en) * | 2012-03-21 | 2013-09-30 | Hitachi Information & Telecommunication Engineering Ltd | Administrator automatic notification system of call support status |
| JP6099342B2 (en) * | 2012-09-19 | 2017-03-22 | 大学共同利用機関法人情報・システム研究機構 | Interactive information search device using gaze interface |
| JP6560137B2 (en) * | 2016-02-08 | 2019-08-14 | Kddi株式会社 | Concentration estimation device |
-
2018
- 2018-09-14 JP JP2018172894A patent/JP6936198B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020046767A (en) | 2020-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4717934B2 (en) | Relational analysis method, relational analysis program, and relational analysis apparatus | |
| JP6596899B2 (en) | Service data processing apparatus and service data processing method | |
| Lee et al. | New signal detection theory-based framework for eyewitness performance in lineups. | |
| US20180032818A1 (en) | Providing a personalized fitting room experience | |
| JP2018010501A (en) | Interview system | |
| US20240144306A1 (en) | Systems and methods for assessing implicit associations | |
| CN108846724A (en) | Data analysing method and system | |
| JP2018032164A (en) | Interview system | |
| Bernin et al. | Towards more robust automatic facial expression recognition in smart environments | |
| JP7364187B2 (en) | Accounting audit support device, accounting audit support method, and accounting audit support program | |
| JP7214372B2 (en) | Conference productivity visualization system, conference productivity visualization device, visualization method and program | |
| JP6936198B2 (en) | Output device and output method | |
| WO2019146405A1 (en) | Information processing device, information processing system, and program for evaluating tester reaction to product using expression analysis technique | |
| Rhue | Beauty’s in the AI of the beholder: how AI anchors subjective and objective predictions | |
| CA3104919A1 (en) | Automatic emotion response detection | |
| US20220129821A1 (en) | Retail traffic analysis statistics to actionable intelligence | |
| JP2019105972A (en) | Information processing apparatus and program | |
| WO2022024274A1 (en) | Image processing device, image processing method, and recording medium | |
| WO2022168180A1 (en) | Video session evaluation terminal, video session evaluation system, and video session evaluation program | |
| JP7041046B2 (en) | Group estimation device and group estimation method | |
| JP7003883B2 (en) | A system for assessing the degree of similarity in psychological states between audiences | |
| JP6966404B2 (en) | Output device and output method | |
| US10878339B2 (en) | Leveraging machine learning to predict user generated content | |
| Akash et al. | Monitoring and Analysis of Students’ Live Behaviour using Machine Learning | |
| US20220408011A1 (en) | User characteristic-based display presentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200730 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210519 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210623 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210810 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210826 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6936198 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |