JP2020091622A - Group estimation device and group estimation method - Google Patents

Group estimation device and group estimation method Download PDF

Info

Publication number
JP2020091622A
JP2020091622A JP2018227830A JP2018227830A JP2020091622A JP 2020091622 A JP2020091622 A JP 2020091622A JP 2018227830 A JP2018227830 A JP 2018227830A JP 2018227830 A JP2018227830 A JP 2018227830A JP 2020091622 A JP2020091622 A JP 2020091622A
Authority
JP
Japan
Prior art keywords
group
target
target persons
persons
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018227830A
Other languages
Japanese (ja)
Other versions
JP7041046B2 (en
Inventor
一郎 馬田
Ichiro Umada
一郎 馬田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2018227830A priority Critical patent/JP7041046B2/en
Publication of JP2020091622A publication Critical patent/JP2020091622A/en
Application granted granted Critical
Publication of JP7041046B2 publication Critical patent/JP7041046B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

To provide a group estimation device and a group estimation method, capable of estimating a group even in a state in which no person has moved.SOLUTION: A group estimation device 1 comprises: a gazing region identification unit which identifies a gazing region indicating a region at which each of a plurality of object persons who exist in a prescribed area and may belong to a group gazes; a group estimation unit which estimates a group including at least some object persons among the plurality of object persons on the basis of the gazing region of each of the plurality of object persons identified by the gazing region identification unit; and an output unit which outputs the information indicating the group estimated by the group estimation unit.SELECTED DRAWING: Figure 2

Description

本発明は、グループ推定装置及びグループ推定方法に関する。 The present invention relates to a group estimation device and a group estimation method.

従来、複数の人物が属するグループを特定することが行われている。例えば、特許文献１には、活動する集団の重心と個人の位置座標を分析することで、グループとしての活動を検出する技術が開示されている。 Conventionally, it has been performed to specify a group to which a plurality of persons belong. For example, Patent Document 1 discloses a technique for detecting activity as a group by analyzing the center of gravity of an active group and the position coordinates of individuals.

特開２０１３−２３２２４３号公報JP, 2013-232243, A

特許文献１において開示されている従来の技術は主に街中やショッピングモールなどで移動しつつ活動している集団の重心と個人の位置座標を分析することにより、グループとしての活動を検出するものである。したがって、従来の技術では、会議室などの基本的に着座しており、人物が移動していない状態においてグループを推定することができないという問題がある。 The conventional technique disclosed in Patent Document 1 detects the activity as a group mainly by analyzing the center of gravity of a group that is active while moving in a city or a shopping mall and the position coordinates of individuals. is there. Therefore, the conventional technique has a problem that the group cannot be estimated when the person is basically seated in a conference room or the like and the person is not moving.

そこで、本発明はこれらの点に鑑みてなされたものであり、人物が移動していない状態であってもグループを推定することができるグループ推定装置及びグループ推定方法を提供することを目的とする。 Therefore, the present invention has been made in view of these points, and an object thereof is to provide a group estimation device and a group estimation method that can estimate a group even when a person is not moving. ..

本発明の第１の態様に係るグループ推定装置は、所定エリアに存在し、グループに属する可能性がある複数の対象者のそれぞれが所定期間に含まれる各時刻に注視する領域を示す注視領域を特定する注視領域特定部と、前記注視領域特定部が特定した前記複数の対象者のそれぞれの前記注視領域に基づいて、前記複数の対象者のうち、少なくとも一部の対象者を含むグループを推定するグループ推定部と、前記グループ推定部が推定した前記グループを示す情報を出力する出力部と、を備える。 The group estimation device according to the first aspect of the present invention sets a gaze region indicating a region that is present in a predetermined area and is gazed at each time included in a predetermined period by a plurality of target persons who may belong to the group. Based on the gaze area specifying unit to specify and the gaze area of each of the plurality of target persons specified by the gaze area specifying unit, the group including at least a part of the plurality of target persons is estimated. And a group output unit that outputs information indicating the group estimated by the group estimation unit.

前記グループ推定部は、前記注視領域が共通する複数の対象者により構成される前記グループを推定してもよい。
前記グループ推定装置は、前記複数の対象者のそれぞれの位置を示す位置情報を含む対象者情報を取得する対象者情報取得部をさらに備え、前記グループ推定部は、前記複数の対象者のそれぞれに対応する前記対象者情報が示す前記位置と、前記複数の対象者のそれぞれの前記注視領域との関係に基づいて、前記グループを推定してもよい。 The group estimation unit may estimate the group composed of a plurality of target persons having the same gaze area.
The group estimation device further includes a target person information acquisition unit that acquires target person information including position information indicating the position of each of the plurality of target people, the group estimation unit, for each of the plurality of target people The group may be estimated based on the relationship between the position indicated by the corresponding subject information and the gaze area of each of the plurality of subjects.

前記グループ推定部は、前記注視領域を注視した対象者と、前記注視領域に前記位置が含まれる対象者との関連付けを行い、関連付けが行われている複数の対象者により構成される前記グループを推定してもよい。 The group estimation unit associates a target person who gazes at the gaze area with a target person whose position is included in the gaze area, and defines the group configured by a plurality of target persons who are associated with each other. It may be estimated.

前記グループ推定部は、任意の複数の対象者の位置を含む領域を設定し、前記所定期間における当該複数の対象者の注視領域が当該領域に含まれている場合、当該複数の対象者により構成される前記グループを推定してもよい。 The group estimation unit sets an area including the positions of any plurality of target persons, and when the gaze area of the plurality of target persons in the predetermined period is included in the area, the group estimation unit is configured by the plurality of target persons. May be estimated.

前記グループ推定部は、推定したグループに含まれる複数の対象者の位置を含む領域である対象者領域を設定し、当該複数の対象者と異なる対象者のうち、当該対象者領域に前記注視領域が含まれている対象者を、推定したグループに属すると推定してもよい。 The group estimation unit sets a target person region that is a region including the positions of a plurality of target persons included in the estimated group, and among the target persons different from the plurality of target persons, the gaze area in the target person area. It is possible to presume that the target person including is included in the estimated group.

前記グループ推定装置は、前記複数の対象者のそれぞれに対応し、前記所定期間に含まれる各時刻における前記対象者の動作を示す動作情報を複数取得する動作情報取得部と、前記複数の対象者のそれぞれに対応する前記動作情報が示す前記動作に基づいて、関連する動作を行っている複数の対象者を連動者として特定する連動特定部と、をさらに備え、前記グループ推定部は、前記連動者の前記関連する動作の発生頻度にさらに基づいて、前記複数の対象者のうち、一部の対象者を含むグループを推定してもよい。 The group estimation device corresponds to each of the plurality of target persons, a motion information acquisition unit that acquires a plurality of motion information indicating the motion of the target person at each time included in the predetermined period, and the plurality of target persons Further includes an interlocking specifying unit that, based on the motion indicated by the motion information corresponding to each of the motion information, specifies a plurality of target persons performing related motions as interlocking members, and the group estimating unit is configured to perform the interlocking operation. A group including some of the plurality of target persons may be estimated further based on the frequency of occurrence of the related motion of the person.

前記グループ推定装置は、前記複数の対象者のそれぞれに対応し、前記所定期間に含まれる各時刻における前記対象者の発話の内容を示す発話情報を複数取得する発話情報取得部をさらに備え、前記連動特定部は、前記複数の対象者のそれぞれに対応する前記動作情報が示す前記動作と、前記発話情報が示す前記発話とに基づいて、関連する動作及び発話を行っている複数の対象者を前記連動者として特定し、前記グループ推定部は、前記連動者の前記関連する動作及び前記発話の発生頻度にさらに基づいて、前記複数の対象者のうち、一部の対象者を含むグループを推定してもよい。 The group estimation device further includes a utterance information acquisition unit that corresponds to each of the plurality of target persons and acquires a plurality of utterance information indicating the content of the utterance of the target person at each time included in the predetermined period, The interlocking specifying unit identifies a plurality of target persons who are performing related actions and utterances based on the action indicated by the action information corresponding to each of the plurality of subject persons and the utterance indicated by the utterance information. The group estimating unit estimates a group including a part of the target persons among the plurality of target persons based on the related motion of the linking person and the occurrence frequency of the utterance. You may.

前記グループ推定装置は、前記複数の対象者のそれぞれに対応し、前記所定期間に含まれる各時刻における前記対象者の動作を示す動作情報を複数取得する動作情報取得部と、前記複数の対象者のそれぞれに対応する前記動作情報が示す前記動作に基づいて、関連する動作を行っている複数の対象者を連動者として特定する連動特定部と、前記グループ推定部が推定したグループに含まれる複数の前記連動者の連動状況に基づいて当該グループに含まれる複数の対象者の相互作用度を特定する相互作用度特定部と、をさらに備え、前記出力部は、前記グループに含まれる複数の対象者の相互作用度を示す情報を出力してもよい。 The group estimation device corresponds to each of the plurality of target persons, a motion information acquisition unit that acquires a plurality of motion information indicating the motion of the target person at each time included in the predetermined period, and the plurality of target persons Based on the motion indicated by the motion information corresponding to each of the plurality of included in the group estimated by the group estimation unit, which specifies a plurality of target persons performing a related action as interlocking persons. And a degree-of-interaction specifying unit that specifies the degree of interaction of a plurality of target persons included in the group based on the interlocking state of the interlocking person, and the output unit includes a plurality of targets included in the group. Information indicating the degree of interaction between persons may be output.

前記グループ推定装置は、前記複数の対象者のそれぞれに対応し、前記所定期間に含まれる各時刻における前記対象者の動作を示す動作情報を複数取得する動作情報取得部と、前記複数の対象者のそれぞれに対応する前記動作情報が示す前記動作に基づいて、関連する動作を行っている複数の対象者を連動者として特定する連動特定部と、前記グループ推定部が推定した複数のグループのそれぞれに含まれる複数の前記連動者の連動状況に基づいて、前記複数のグループの相互作用度を特定する相互作用度特定部と、をさらに備え、前記出力部は、特定された前記複数のグループの相互作用度を示す情報を出力してもよい。 The group estimation device corresponds to each of the plurality of target persons, a motion information acquisition unit that acquires a plurality of motion information indicating the motion of the target person at each time included in the predetermined period, and the plurality of target persons Based on the action indicated by the action information corresponding to each of the plurality of groups estimated by the group estimation unit, the interlocking identification unit that identifies a plurality of target persons who are performing related actions as interlocking persons. Further includes an interaction degree specifying unit that specifies the degree of interaction of the plurality of groups based on the interlocking status of the plurality of interlocking persons included in the output unit of the plurality of identified groups. Information indicating the degree of interaction may be output.

本発明の第２の態様に係るグループ推定方法は、コンピュータが実行する、所定エリアに存在し、グループに属する可能性がある複数の対象者のそれぞれが所定期間に含まれる各時刻に注視する領域を示す注視領域を特定するステップと、特定された前記複数の対象者のそれぞれの前記注視領域に基づいて、前記複数の対象者のうち、少なくとも一部の対象者を含むグループを推定するステップと、推定された前記グループを示す情報を出力するステップと、を備える。 A group estimation method according to a second aspect of the present invention is an area which is executed by a computer and is watched at each time point included in a predetermined period by a plurality of target persons who are present in a predetermined area and may belong to a group. And a step of estimating a group including at least a part of the target persons among the plurality of target persons based on the respective gaze areas of the plurality of identified target persons, Outputting information indicating the estimated group.

本発明によれば、人物が移動していない状態であってもグループを推定することができるという効果を奏する。 According to the present invention, it is possible to estimate a group even when a person is not moving.

本実施形態に係るグループ推定装置の概要を示す図である。It is a figure which shows the outline|summary of the group estimation apparatus which concerns on this embodiment. 本実施形態に係るグループ推定装置の構成を示す図である。It is a figure which shows the structure of the group estimation apparatus which concerns on this embodiment. 本実施形態に係る共同注視領域の一例を示す図である。It is a figure which shows an example of the joint gaze area|region which concerns on this embodiment. 本実施形態に係るグループ推定部が、対象者の位置と注視領域との関係に基づいてグループを推定する例を説明する図である。It is a figure explaining the example which a group estimation part concerning this embodiment estimates a group based on a relation of a subject's position and a gaze field. 本実施形態に係るグループ推定部が、対象者の位置と注視領域との関係に基づいてグループを推定する他の例（その１）を説明する図である。It is a figure explaining other examples (the 1) which a group estimating part concerning this embodiment presumes a group based on a relation of a candidate's position and a gaze field. 本実施形態に係るグループ推定部が、対象者の位置と注視領域との関係に基づいてグループを推定する他の例（その２）を説明する図である。It is a figure explaining other example (the 2) which a group estimating part concerning this embodiment estimates a group based on a relation of a candidate's position and a gaze field. 本実施形態に係るグループ推定部が推定したグループに対象者を新たに所属させる例を示す図である。It is a figure which shows the example which makes a subject newly belong to the group which the group estimation part which concerns on this embodiment estimated. 本実施形態に係るグループ推定装置の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process of the group estimation apparatus which concerns on this embodiment.

［グループ推定装置１の概要］
図１は、本実施形態に係るグループ推定装置１の概要を示す図である。グループ推定装置１は、所定エリアにおいてグループに属する可能性がある複数の対象者のうち、少なくとも一部の対象者を含むグループを推定するコンピュータである。ここで、所定エリアは、例えば会議室やホール等のフロアである。図１に示す例では、所定エリアには、複数の対象者として、対象者Ｐ１〜Ｐ６が存在している。 [Outline of Group Estimation Device 1]
FIG. 1 is a diagram showing an outline of the group estimation device 1 according to the present embodiment. The group estimation device 1 is a computer that estimates a group including at least some of the target persons among a plurality of target persons who may belong to the group in a predetermined area. Here, the predetermined area is, for example, a floor such as a conference room or a hall. In the example shown in FIG. 1, target persons P1 to P6 exist as a plurality of target persons in a predetermined area.

グループ推定装置１は、所定期間に含まれる各時刻における対象者の位置と、対象者の視線方向とを関連付けた視線情報に基づいて、複数の対象者のそれぞれが注視する領域を示す注視領域を特定する。グループ推定装置１は、例えば図１に示すように、対象者の位置と、対象者の視線方向Ｄ１〜Ｄ６とに基づいて、対象者Ｐ１〜Ｐ６の注視領域として、注視領域Ａ１〜Ａ３を特定する。 The group estimation device 1 determines a gaze area indicating an area gazed by each of a plurality of target persons based on the line-of-sight information in which the position of the target person at each time included in the predetermined period and the line-of-sight direction of the target person are associated with each other. Identify. As shown in FIG. 1, for example, the group estimation device 1 identifies the gaze areas A1 to A3 as the gaze areas of the subject P1 to P6 based on the position of the subject and the direction D1 to D6 of the subject. To do.

グループ推定装置１は、複数の対象者のそれぞれに対して特定した注視領域に基づいて、複数の対象者のうち、少なくとも一部の対象者を含むグループを推定する。例えば、グループ推定装置１は、注視領域が共通する複数の対象者により構成されるグループを推定したり、複数の対象者の位置と、複数の対象者に対して特定された注視領域との関係に基づいてグループを推定したりする。グループ推定装置１は、例えば図１に示すように、対象者Ｐ１〜Ｐ３が属するグループＧ１と、対象者Ｐ４〜Ｐ６が属するグループＧ２とを特定する。このように、グループ推定装置１は、複数の対象者のそれぞれに対して特定した注視領域に基づいてグループを推定するので、人物が移動していない状態であってもグループを推定することができる。 The group estimation device 1 estimates a group including at least some of the target persons among the plurality of target persons based on the gaze area specified for each of the plurality of target persons. For example, the group estimation device 1 estimates a group composed of a plurality of target persons who have a common gaze area, or the relationship between the positions of the plurality of target persons and the gaze areas specified for the plurality of target persons. Estimate the group based on. For example, as shown in FIG. 1, the group estimation device 1 identifies a group G1 to which the target persons P1 to P3 belong and a group G2 to which the target persons P4 to P6 belong. In this way, since the group estimation device 1 estimates the group based on the gaze area specified for each of the plurality of target persons, the group can be estimated even when the person is not moving. ..

［グループ推定装置１の構成］
続いて、グループ推定装置１の構成を説明する。図２は、本実施形態に係るグループ推定装置１の構成を示す図である。図２に示すように、グループ推定装置１は、記憶部１１と、制御部１２とを備える。 [Configuration of group estimation device 1]
Subsequently, the configuration of the group estimation device 1 will be described. FIG. 2 is a diagram showing the configuration of the group estimation device 1 according to the present embodiment. As shown in FIG. 2, the group estimation device 1 includes a storage unit 11 and a control unit 12.

記憶部１１は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を含む記憶媒体である。記憶部１１は、制御部１２が実行するプログラムを記憶している。例えば、記憶部１１は、グループ推定装置１を、対象者情報取得部１２１、注視領域特定部１２２、動作情報取得部１２３、発話情報取得部１２４、連動特定部１２５、グループ推定部１２６、相互作用度特定部１２７、及び出力部１２８として機能させるグループ推定プログラムを記憶している。 The storage unit 11 is a storage medium including a ROM (Read Only Memory) and a RAM (Random Access Memory). The storage unit 11 stores a program executed by the control unit 12. For example, the storage unit 11 configures the group estimation device 1 to include the subject information acquisition unit 121, the gaze area identification unit 122, the motion information acquisition unit 123, the utterance information acquisition unit 124, the interlocking identification unit 125, the group estimation unit 126, and the interaction. A group estimation program that functions as the degree specifying unit 127 and the output unit 128 is stored.

制御部１２は、例えばＣＰＵ（Central Processing Unit）である。制御部１２は、記憶部１１に記憶されたグループ推定プログラムを実行することにより、対象者情報取得部１２１、注視領域特定部１２２、動作情報取得部１２３、発話情報取得部１２４、連動特定部１２５、グループ推定部１２６、相互作用度特定部１２７、及び出力部１２８として機能する。 The control unit 12 is, for example, a CPU (Central Processing Unit). The control unit 12 executes the group estimation program stored in the storage unit 11 to thereby obtain the target person information acquisition unit 121, the gaze area identification unit 122, the motion information acquisition unit 123, the utterance information acquisition unit 124, and the interlocking identification unit 125. , The group estimating unit 126, the interaction degree identifying unit 127, and the output unit 128.

対象者情報取得部１２１は、所定エリアにおいてグループに属する可能性がある複数の対象者のそれぞれに対応し、対象者を識別する対象者識別情報と、所定期間（例えば、５秒間）に含まれる各時刻における対象者の位置を示す位置情報と、対象者の視線方向を示す視線方向情報とを関連付けた対象者情報を複数取得する。対象者情報は、例えば記憶部１１に記憶されており、対象者情報取得部１２１は、記憶部１１に記憶されている対象者情報を取得する。 The target person information acquisition unit 121 corresponds to each of a plurality of target persons who may belong to a group in a predetermined area, and is included in the target person identification information for identifying the target person and a predetermined period (for example, 5 seconds). A plurality of pieces of target person information in which position information indicating the position of the target person at each time and line-of-sight direction information indicating the line-of-sight direction of the target person are associated with each other are acquired. The target person information is stored in, for example, the storage unit 11, and the target person information acquisition unit 121 acquires the target person information stored in the storage unit 11.

注視領域特定部１２２は、複数の対象者のそれぞれが所定期間に含まれる各時刻に注視する領域を示す注視領域を特定する。例えば、注視領域特定部１２２は、対象者情報取得部１２１が取得した対象者情報に含まれる対象者の位置を示す位置情報と、対象者の視線方向を示す視線方向情報とに基づいて、複数の対象者のそれぞれに対応する注視領域を特定する。注視領域特定部１２２は、例えば、対象者の位置から対象者の視線方向の所定範囲内に他の対象者が存在する場合、他の対象者の位置を注視領域と特定する。また、注視領域特定部１２２は、例えば、対象者の位置から対象者の視線方向の所定範囲内に他の対象者が存在しない場合、対象者の位置から対象者の視線方向に所定距離離れた位置を注視領域と特定する。 The gaze area specifying unit 122 specifies a gaze area indicating an area that each of the plurality of subjects gazes at each time included in the predetermined period. For example, the gaze area specifying unit 122 determines, based on the position information indicating the position of the target person included in the target person information acquired by the target person information acquiring unit 121, and the line-of-sight direction information indicating the line-of-sight direction of the target person. The gaze area corresponding to each of the target persons is specified. The gaze area specifying unit 122 specifies the position of the other target person as the gaze area, for example, when another target person exists within a predetermined range in the gaze direction of the target person from the position of the target person. In addition, the gaze area specifying unit 122, for example, when there is no other target person within a predetermined range of the target person's line-of-sight direction from the target person's position, is separated from the target person's position by a predetermined distance in the target line-of-sight direction. The position is specified as the gaze area.

なお、注視領域特定部１２２は、視線を検出する視線検出装置（不図示）が検出した対象者の視線に基づいて注視領域を特定してもよい。また、注視領域特定部１２２は、所定期間において所定エリアを撮像した撮像画像であって、対象者を含む撮像画像を解析することにより、当該対象者の注視領域を特定してもよい。 The gaze area specifying unit 122 may specify the gaze area based on the line of sight of the target person detected by a line-of-sight detection device (not shown) that detects the line of sight. Further, the gaze area specifying unit 122 may specify the gaze area of the target person by analyzing a picked-up image including a target person, which is a picked-up image of a predetermined area in a predetermined period.

動作情報取得部１２３は、複数の対象者のそれぞれに対応し、所定期間に含まれる各時刻における対象者の動作を示す動作情報を複数取得する。動作情報には、対象者識別情報が関連付けられている。例えば、動作情報取得部１２３は、対象者の動作を特定するモーションキャプチャ装置（不図示）が生成した動作情報を取得したり、赤外線センサ（不図示）が検出した人の動きを示す情報に基づいて動作情報を取得したりしてもよい。また、動作情報取得部１２３は、所定期間における所定エリアを撮像した複数の撮像画像について、連続ウェーブレット変換等の画像処理を行い、画像に含まれる画素の変化量を算出することにより、動作情報を取得してもよい。ここで、対象者の動作は、相槌を打つ動作や、頷く動作が含まれている。 The motion information acquisition unit 123 acquires a plurality of motion information corresponding to each of the plurality of target persons and indicating the motion of the target person at each time included in the predetermined period. Target person identification information is associated with the operation information. For example, the motion information acquisition unit 123 acquires motion information generated by a motion capture device (not shown) that specifies the motion of the target person, or based on information indicating the motion of a person detected by an infrared sensor (not shown). The operation information may be acquired by using the above. In addition, the motion information acquisition unit 123 performs motion image processing such as continuous wavelet transform on a plurality of captured images in which a predetermined area is captured in a predetermined period, and calculates the change amount of pixels included in the image to obtain the motion information. You may get it. Here, the motion of the subject includes a motion of hitting a hammer and a nod motion.

発話情報取得部１２４は、複数の対象者のそれぞれに対応し、所定期間に含まれる各時刻における対象者の発話の内容を示す発話情報を複数取得する。発話情報には、対象者識別情報が関連付けられている。 The utterance information acquisition unit 124 corresponds to each of the plurality of target persons and acquires a plurality of utterance information indicating the content of the utterance of the target person at each time included in the predetermined period. Subject identification information is associated with the utterance information.

連動特定部１２５は、動作情報取得部１２３が取得した複数の対象者のそれぞれに対応する動作情報が示す動作に基づいて、関連する動作を行っている複数の対象者を連動者として特定する。また、連動特定部１２５は、動作情報取得部１２３が取得した複数の対象者のそれぞれに対応する動作情報が示す動作と、発話情報取得部１２４が取得した発話情報が示す発話とに基づいて、関連する動作及び発話を行っている複数の対象者を連動者として特定する。 The interlocking specification unit 125 identifies a plurality of target persons who are performing related operations as interlocking persons, based on the operation indicated by the operation information corresponding to each of the plurality of target persons acquired by the operation information acquisition unit 123. In addition, the linkage specifying unit 125, based on the motion indicated by the motion information corresponding to each of the plurality of target persons acquired by the motion information acquisition unit 123 and the utterance indicated by the utterance information acquired by the utterance information acquisition unit 124, A plurality of target persons who perform related actions and utterances are identified as interlocking persons.

例えば、連動特定部１２５は、対象者情報が示す対象者の位置が所定範囲以内の複数の対象者に対応する対象者識別情報を特定する。そして、連動特定部１２５は、特定した対象者識別情報に関連付けられている動作情報が示す動作と、特定した対象者識別情報に関連付けられている発話情報が示す発話とに基づいて、連動して頷く動作や相槌を示す単語を発している複数の対象者を連動者として特定する。 For example, the interlocking specifying unit 125 specifies the target person identification information corresponding to a plurality of target persons whose positions indicated by the target person information are within a predetermined range. Then, the interlocking identification unit 125 interlocks based on the action indicated by the action information associated with the identified target person identification information and the utterance indicated by the utterance information associated with the identified target person identification information. A plurality of target persons who emit a nod action or a word showing a hammer is identified as interlocking persons.

グループ推定部１２６は、注視領域特定部１２２が特定した複数の対象者のそれぞれの注視領域に基づいて、所定エリアに存在する複数の対象者のうち、少なくとも一部の対象者を含むグループを推定する。 The group estimation unit 126 estimates a group including at least a part of the target persons among the plurality of target persons existing in the predetermined area, based on the respective gaze areas of the plurality of target persons specified by the gaze area specifying unit 122. To do.

グループ推定部１２６は、注視領域が共通する複数の対象者より構成されるグループを推定する。図３は、本実施形態に係る共同注視領域の一例を示す図である。図３に示す例では、所定エリア内に存在する複数の対象者Ｐ１〜Ｐ３の注視領域がいずれも注視領域Ａ１であることから、グループ推定部１２６は、注視領域Ａ１を、共同注視領域として特定する。例えば、グループ推定部１２６は、複数の対象者で共通する注視領域を共同注視領域とし、複数の対象者が、当該共同注視領域を注視する時間に基づいて、これらの複数の対象者がグループを形成しているか否かを判定する。図３に示す例では、グループ推定部１２６は、共同注視領域Ａ１を有する複数の対象者Ｐ１〜Ｐ３により構成されるグループが形成されていると推定する。 The group estimation unit 126 estimates a group composed of a plurality of target persons having a common gaze area. FIG. 3 is a diagram showing an example of the joint gaze area according to the present embodiment. In the example illustrated in FIG. 3, since the gaze areas of the plurality of target persons P1 to P3 existing in the predetermined area are all gaze areas A1, the group estimation unit 126 specifies the gaze area A1 as the joint gaze area. To do. For example, the group estimation unit 126 sets a gaze area common to a plurality of target persons as a joint gaze area, and based on time when the plurality of target persons gaze at the joint gaze area, the plurality of target persons form a group. It is determined whether or not it is formed. In the example illustrated in FIG. 3, the group estimation unit 126 estimates that a group including a plurality of target persons P1 to P3 having the joint gaze area A1 is formed.

また、グループ推定部１２６は、複数の対象者のそれぞれに対応する対象者情報が示す対象者の位置と、複数の対象者のそれぞれの注視領域との関係に基づいて、グループを推定する。具体的には、グループ推定部１２６は、注視領域を注視した対象者と、注視領域に位置が含まれる対象者との関連付けを行い、関連付けが行われている複数の対象者により構成されるグループを推定する。 In addition, the group estimation unit 126 estimates a group based on the relationship between the position of the target person indicated by the target person information corresponding to each of the plurality of target persons and the gaze area of each of the plurality of target persons. Specifically, the group estimation unit 126 associates the target person who gazes at the gaze area with the target person whose position is included in the gaze area, and is a group configured by a plurality of target persons who are associated with each other. To estimate.

図４は、本実施形態に係るグループ推定部１２６が、対象者の位置と、注視領域との関係に基づいてグループを推定する例を説明する図である。図４に示す例では、対象者Ｐ４及び対象者Ｐ５の注視領域Ａ２に対象者Ｐ６が位置している。また、対象者Ｐ６の注視領域Ａ３に対象者Ｐ４が位置している。したがって、グループ推定部１２６は、対象者Ｐ４と対象者Ｐ６とを関連付けるとともに、対象者Ｐ５と対象者Ｐ６とを関連付ける。対象者Ｐ４と、対象者Ｐ５とは、対象者Ｐ６を介して関連付けられることから、グループ推定部１２６は、関連付けが行われている複数の対象者Ｐ４〜Ｐ６により構成されるグループが形成されていると推定する。 FIG. 4 is a diagram illustrating an example in which the group estimation unit 126 according to the present embodiment estimates a group based on the relationship between the position of the target person and the gaze area. In the example shown in FIG. 4, the target person P6 is located in the gaze area A2 of the target person P4 and the target person P5. Moreover, the target person P4 is located in the gazing area A3 of the target person P6. Therefore, the group estimation unit 126 associates the target person P4 with the target person P6, and also associates the target person P5 with the target person P6. Since the target person P4 and the target person P5 are associated with each other via the target person P6, the group estimation unit 126 forms a group including a plurality of target persons P4 to P6 with which the target person P4 is associated. Presumed to be

なお、グループ推定部１２６は、一人の対象者に対応する複数の注視領域のそれぞれに他の対象者が位置している場合、当該一人の対象者と、他の対象者とを含むグループが形成されていると推定してもよい。図５は、本実施形態に係るグループ推定部１２６が、対象者の位置と、注視領域との関係に基づいてグループを推定する他の例（その１）を説明する図である。図５に示す例では、対象者Ｐ６の注視領域Ａ３及び注視領域Ａ４のそれぞれに、他の対象者Ｐ４と他の対象者Ｐ５とが位置していることが確認できる。この場合、グループ推定部１２６は、対象者Ｐ４〜Ｐ６により構成されるグループが形成されていると推定する。 In addition, when another target person is located in each of a plurality of gaze areas corresponding to one target person, the group estimation unit 126 forms a group including the one target person and the other target person. It may be presumed to have been performed. FIG. 5 is a diagram illustrating another example (No. 1) in which the group estimation unit 126 according to the present embodiment estimates a group based on the relationship between the position of the target person and the gaze area. In the example shown in FIG. 5, it can be confirmed that the other target person P4 and the other target person P5 are located in each of the gaze area A3 and the gaze area A4 of the target person P6. In this case, the group estimation unit 126 estimates that a group composed of the target persons P4 to P6 is formed.

また、グループ推定部１２６は、所定期間において、任意の複数の対象者の位置により囲まれる領域について、当該複数の対象者の注視領域が所定時間以上含まれている場合、当該複数の対象者により構成されるグループが形成されていると推定してもよい。 Further, the group estimation unit 126 determines, by the plurality of target persons, if the gaze area of the plurality of target persons is included in the area surrounded by the positions of the plurality of target persons for a predetermined period or more in the predetermined period. It may be presumed that a configured group is formed.

図６は、本実施形態に係るグループ推定部１２６が、対象者の位置と、注視領域との関係に基づいてグループを推定する他の例（その２）を説明する図である。図６（ａ）にように対象者Ｐ１〜Ｐ１０が表示されている。この場合において、グループ推定部１２６は、任意の複数の対象者として、図６（ｂ）に示すように、これらの複数の対象者から、対象者Ｐ１、Ｐ２、Ｐ６、Ｐ７、Ｐ９の位置により囲まれる領域ＧＡ１を特定するとともに、対象者Ｐ３、Ｐ４、Ｐ５、Ｐ８、Ｐ１０の位置により囲まれる領域ＧＡ２を特定する。 FIG. 6 is a diagram illustrating another example (No. 2) in which the group estimation unit 126 according to the present embodiment estimates a group based on the relationship between the position of the target person and the gaze area. Target persons P1 to P10 are displayed as shown in FIG. In this case, as shown in FIG. 6B, the group estimation unit 126 determines the positions of the target persons P1, P2, P6, P7, and P9 from the plurality of target persons, as shown in FIG. 6B. The area GA1 to be surrounded is specified, and the area GA2 to be surrounded by the positions of the subjects P3, P4, P5, P8, and P10 is specified.

この場合、対象者Ｐ１、Ｐ２、Ｐ６、Ｐ７、Ｐ９の注視位置は、領域ＧＡ１の内部に存在する。グループ推定部１２６は、例えば、対象者Ｐ１、Ｐ２、Ｐ６、Ｐ７、Ｐ９の注視位置の全てが、所定時間以上、領域ＧＡ１に含まれているとき、複数の対象者Ｐ１、Ｐ２、Ｐ６、Ｐ７、Ｐ９により構成されるグループが形成されていると推定する。また、対象者Ｐ３、Ｐ４、Ｐ５、Ｐ８、Ｐ１０の注視位置は、領域ＧＡ２の内部に存在する。グループ推定部１２６は、例えば、対象者Ｐ３、Ｐ４、Ｐ５、Ｐ８、Ｐ１０の注視位置の全てが、所定時間以上、領域ＧＡ２に含まれているとき、複数の対象者Ｐ３、Ｐ４、Ｐ５、Ｐ８、Ｐ１０により構成されるグループが形成されていると推定する。 In this case, the gaze positions of the subjects P1, P2, P6, P7, and P9 are inside the area GA1. For example, when all the gaze positions of the target persons P1, P2, P6, P7, and P9 are included in the area GA1 for a predetermined time or more, the group estimation unit 126 determines a plurality of target persons P1, P2, P6, and P7. , P9 is assumed to be formed. Further, the gaze positions of the subjects P3, P4, P5, P8, and P10 are present inside the area GA2. For example, when all of the gaze positions of the target persons P3, P4, P5, P8, and P10 are included in the area GA2 for a predetermined time or more, the group estimation unit 126 determines a plurality of target persons P3, P4, P5, P8. , P10 is assumed to be formed.

また、グループ推定部１２６は、自身が推定したグループに含まれる複数の対象者の位置を含む領域である対象者領域を設定し、当該複数の対象者と異なる対象者のうち、当該対象者領域に注視領域が含まれている対象者を、当該推定したグループに属すると推定してもよい。 In addition, the group estimation unit 126 sets a target person area that is an area including the positions of a plurality of target persons included in the group estimated by itself, and selects the target person area among the target persons different from the plurality of target persons. It is also possible to presume that the subject whose gaze area is included in belongs to the estimated group.

図７は、本実施形態に係るグループ推定部１２６が推定したグループに、対象者を新たに所属させる例を示す図である。図７に示す例では、対象者Ｐ１〜Ｐ３により構成されるグループの領域として、対象者Ｐ１〜Ｐ３と、共同注視領域Ａ１とを含むグループ領域ＧＡが示されている。図７に示す例では、対象者Ｐ７の注視領域Ａ５がグループ領域ＧＡに含まれていることから、グループ推定部１２６は、対象者Ｐ７が、対象者Ｐ１〜Ｐ３により構成されるグループに属すると推定する。このようにすることで、グループ推定装置１は、対象者が、他の対象者を直接注視したり、共同注視領域を注視したりしていない場合であっても、当該対象者をグループに所属させることができる。 FIG. 7 is a diagram showing an example in which the subject is newly added to the group estimated by the group estimation unit 126 according to the present embodiment. In the example shown in FIG. 7, a group area GA including the target persons P1 to P3 and the joint gaze area A1 is shown as the area of the group formed by the target persons P1 to P3. In the example shown in FIG. 7, since the gaze area A5 of the target person P7 is included in the group area GA, the group estimating unit 126 determines that the target person P7 belongs to the group configured by the target people P1 to P3. presume. By doing so, the group estimation device 1 allows the target person to belong to the group even when the target person does not directly gaze at another target person or gaze at the joint gaze area. Can be made

なお、グループ推定部１２６は、注視領域特定部１２２が特定した複数の対象者のそれぞれの注視領域に基づいて、所定エリアに存在する複数の対象者のうち、少なくとも一部の対象者を含むグループを推定したが、注視領域のみに基づいてグループを推定すると、グループの推定精度が低下するという問題が発生する。そこで、グループ推定部１２６は、連動特定部１２５が特定した連動者の関連する動作及び発話の発生頻度にさらに基づいて、複数の対象者のうち、一部の対象者を含むグループを推定する。 The group estimation unit 126 includes a group including at least a part of the target persons among the plurality of target persons existing in the predetermined area, based on the respective gaze areas of the plurality of target persons identified by the gaze area identifying unit 122. However, if the group is estimated based on only the gaze area, the estimation accuracy of the group will deteriorate. Therefore, the group estimation unit 126 estimates a group including a part of the target persons among the plurality of target persons, further based on the related motion of the linked person specified by the linkage specifying unit 125 and the occurrence frequency of the utterance.

具体的には、グループ推定部１２６は、複数の対象者が予め定められた時間以上にわたって共同注視領域を注視している場合に、当該共同注視領域を注視している複数の対象者の集合に対し、グループを形成しているか否かの判定に用いる特定用指標値を算出する。そして、グループ推定部１２６は、当該複数の対象者に対し、算出した特定用指標値を付与する。グループ推定部１２６は、例えば、共同注視領域の注視時間が長ければ長いほど特定用指標値が高くなるように特定用指標値を算出する。 Specifically, when the plurality of target persons are gazing at the joint gaze area for a predetermined time or more, the group estimation unit 126 determines a group of a plurality of target persons who gaze at the joint gaze area. On the other hand, a specific index value used for determining whether or not a group is formed is calculated. Then, the group estimation unit 126 gives the calculated index value for identification to the plurality of target persons. For example, the group estimation unit 126 calculates the identification index value such that the longer the gaze time of the joint gaze area, the higher the identification index value.

また、グループ推定部１２６は、注視領域を注視した対象者と、注視領域に位置が含まれる対象者との関連付けを行い、関連付けが行われている複数の対象者の集合に対し、特定用指標値を算出する。そして、グループ推定部１２６は、当該複数の対象者に対し、算出した特定用指標値を付与する。グループ推定部１２６は、例えば、対象者による他の対象者の注視時間が長ければ長いほど特定用指標値が高くなるように指標値を算出する。 In addition, the group estimation unit 126 associates the target person who has gazed at the gaze area with the target person whose position is included in the gaze area, and specifies the index for identification with respect to the set of the plurality of associated target people. Calculate the value. Then, the group estimation unit 126 gives the calculated index value for identification to the plurality of target persons. For example, the group estimation unit 126 calculates the index value such that the longer the gaze time of another target person by the target person, the higher the identification index value.

また、グループ推定部１２６は、任意の複数の対象者の位置により囲まれる領域に対し、当該複数の対象者の注視領域が含まれている時間に基づいて、特定用指標値を算出する。グループ推定部１２６は、当該複数の対象者に対し、算出した特定用指標値を付与する。グループ推定部１２６は、例えば、対象者による、複数の対象者の位置により囲まれる領域の内部の注視時間が長ければ長いほど特定用指標値が高くなるように指標値を算出する。 In addition, the group estimation unit 126 calculates the index value for identification based on the time when the gaze area of the plurality of target persons is included in the area surrounded by the positions of the plurality of target persons. The group estimation unit 126 gives the calculated index value for identification to the plurality of target persons. The group estimation unit 126 calculates the index value such that the identification index value becomes higher as the gaze time inside the area surrounded by the positions of the plurality of target people by the target person becomes longer, for example.

また、グループ推定部１２６は、連動特定部１２５が特定した連動者に対応する複数の対象者の集合に対し、特定用指標値を算出する。そして、グループ推定部１２６は、連動特定部１２５が特定した複数の連動者としての複数の対象者の集合に対し、算出した特定用指標値を付与する。グループ推定部１２６は、複数の連動者において連動して頷く動作が多ければ多いほど、特定用指標値が高くなるように特定用指標値を算出する。グループ推定部１２６は、複数の連動者において頷く動作に連動した発話が多ければ多いほど、特定用指標値が高くなるように特定用指標値を算出する。 Further, the group estimation unit 126 calculates the identification index value for a set of a plurality of target persons corresponding to the interlocking person identified by the interlocking identification unit 125. Then, the group estimation unit 126 assigns the calculated index value for identification to the set of the plurality of target persons as the plurality of interlocking persons identified by the interlocking identification unit 125. The group estimation unit 126 calculates the identification index value such that the more the plurality of interlocking persons interlock with each other to nod, the higher the identification index value becomes. The group estimation unit 126 calculates the identification index value such that the identification index value becomes higher as the number of utterances associated with the nod motion among the plurality of interlocking persons increases.

グループ推定部１２６は、複数の対象者の集合に対して付与された複数の特定用指標値を統合する。例えば、グループ推定部１２６は、共同注視領域を注視している複数の対象者の集合に属する集合である部分集合に対し特定用指標値が付与されている場合、共同注視領域を注視している複数の対象者の集合に付与されている特定用指標値に、部分集合に対応する特定用指標値を加算することにより、特定用指標値を統合する。 The group estimation unit 126 integrates a plurality of identification index values given to a set of a plurality of target persons. For example, the group estimation unit 126 gazes at the joint gaze area when a specific index value is given to a subset that is a set belonging to a set of a plurality of target persons who gaze at the joint gaze area. The specifying index value is integrated by adding the specifying index value corresponding to the subset to the specifying index value given to the set of a plurality of subjects.

同様に、グループ推定部１２６は、関連付けが行われている複数の対象者の集合に属する集合である部分集合に対し特定用指標値が付与されている場合、関連付けが行われている複数の対象者の集合に付与されている特定用指標値に、部分集合に対応する特定用指標値を加算することにより、特定用指標値を統合する。 Similarly, the group estimation unit 126, when a specific index value is given to a subset that is a set belonging to a set of a plurality of target persons who are associated with each other, a plurality of targets that are associated with each other. The specifying index value is integrated by adding the specifying index value corresponding to the subset to the specifying index value given to the set of persons.

そして、グループ推定部１２６は、統合された特定用指標値が所定の閾値を超えている複数の対象者の集合を、当該複数の対象者により形成されるグループと推定する。このようにすることで、グループ推定装置１は、複数の対象者により形成されるグループを精度良く推定することができる。 Then, the group estimation unit 126 estimates a set of a plurality of target persons whose integrated index value for identification exceeds a predetermined threshold as a group formed by the plurality of target persons. By doing so, the group estimation device 1 can accurately estimate a group formed by a plurality of target persons.

相互作用度特定部１２７は、グループ推定部１２６が推定したグループに含まれる複数の連動者の連動状況に基づいて、当該グループに含まれる複数の対象者の相互作用度を特定する。具体的には、相互作用度特定部１２７は、グループ推定部１２６により推定されたグループに含まれる複数の対象者の中から、互いに連動している連動者を特定する。相互作用度特定部１２７は、連動特定部１２５において特定された当該連動者の連動状況に基づいて、推定されたグループに含まれる複数の対象者の相互作用度を算出する。例えば、相互作用度特定部１２７は、連動特定部１２５において特定された当該連動者が連動していればしているほど、相互作用度を高くする。このようにすることで、グループ推定装置１は、推定したグループが活発であるか否かの判定を行うことができる。 The interaction degree identifying unit 127 identifies the interaction degree of the plurality of target persons included in the group based on the interlocking state of the plurality of interlocking persons included in the group estimated by the group estimation unit 126. Specifically, the interaction degree identifying unit 127 identifies the interlocking persons who are interlocked with each other from among the plurality of target persons included in the group estimated by the group estimating unit 126. The interaction degree identifying unit 127 calculates the interaction degree of the plurality of target persons included in the estimated group based on the interlocking situation of the interlocking person identified by the interlocking identifying unit 125. For example, the interaction degree identifying unit 127 increases the interaction degree as the interlocking person identified by the interlocking identifying unit 125 is interlocked. By doing so, the group estimation device 1 can determine whether or not the estimated group is active.

また、相互作用度特定部１２７は、グループ推定部１２６が推定した複数のグループのそれぞれに含まれる複数の連動者の連動状況に基づいて、複数のグループの相互作用度を特定する。具体的には、相互作用度特定部１２７は、グループ推定部１２６により推定された複数のグループに含まれる複数の対象者の中から、グループを超えて互いに連動している連動者を特定する。相互作用度特定部１２７は、連動特定部１２５において特定された当該連動者の連動状況に基づいて、推定された複数のグループ間の相互作用度を算出する。例えば、相互作用度特定部１２７は、連動特定部１２５において特定された当該連動者が連動していればしているほど、複数のグループ間の相互作用度を高くする。このようにすることで、グループ推定装置１は、推定した複数のグループ間において活発に議論が行われているか等の判定を行うことができる。 In addition, the interaction degree identifying unit 127 identifies the interaction degree of the plurality of groups based on the interlocking status of the plurality of interlocking persons included in each of the plurality of groups estimated by the group estimating unit 126. Specifically, the degree-of-interaction specifying unit 127 specifies, from among the plurality of target persons included in the plurality of groups estimated by the group estimation unit 126, the interlocking persons who are interlocked with each other beyond the group. The interaction degree identifying unit 127 calculates the estimated interaction degree between the plurality of groups based on the interlocking situation of the interlocking person identified by the interlocking identifying unit 125. For example, the interaction degree identifying unit 127 increases the interaction degree between a plurality of groups as the interlocking person identified by the interlocking identifying unit 125 is interlocked. By doing so, the group estimation device 1 can determine whether or not there is active discussion among a plurality of estimated groups.

出力部１２８は、グループ推定部１２６が推定したグループを示す情報と、相互作用度特定部１２７が特定した当該グループに含まれる複数の対象者の相互作用度を示す情報とを出力する。例えば、出力部１２８は、グループ推定部１２６が推定したグループを識別するグループ識別情報と、当該グループに属する複数の対象者のそれぞれに対応する対象者識別情報と、相互作用度を示す情報とを関連付けた情報を、推定グループ情報として記憶部１１に出力する。 The output unit 128 outputs the information indicating the group estimated by the group estimation unit 126 and the information indicating the interaction degree of the plurality of target persons included in the group identified by the interaction degree identifying unit 127. For example, the output unit 128 outputs the group identification information for identifying the group estimated by the group estimation unit 126, the target person identification information corresponding to each of the plurality of target persons belonging to the group, and the information indicating the degree of interaction. The associated information is output to the storage unit 11 as estimated group information.

また、出力部１２８は、相互作用度特定部１２７が特定した複数のグループの相互作用度を示す情報を出力する。例えば、出力部１２８は、複数のグループのそれぞれに対応するグループ識別情報と、複数のグループの相互作用度を示す情報とを関連付けた情報を、グループ間相互作用度情報として記憶部１１に出力する。 Further, the output unit 128 outputs information indicating the interaction degrees of the plurality of groups identified by the interaction degree identifying unit 127. For example, the output unit 128 outputs the information in which the group identification information corresponding to each of the plurality of groups and the information indicating the interaction degree of the plurality of groups are associated with each other, as the inter-group interaction degree information, to the storage unit 11. ..

［グループ推定装置１の処理の流れ］
続いて、グループ推定装置１の処理の流れについて説明する。図８は、本実施形態に係るグループ推定装置１の処理の流れを示すフローチャートである。 [Processing flow of group estimation device 1]
Next, the processing flow of the group estimation device 1 will be described. FIG. 8 is a flowchart showing the flow of processing of the group estimation device 1 according to this embodiment.

まず、対象者情報取得部１２１は、対象者情報を取得する（Ｓ１）。
続いて、注視領域特定部１２２は、複数の対象者のそれぞれの注視領域を特定する（Ｓ２）。 First, the target person information acquisition unit 121 acquires target person information (S1).
Subsequently, the gaze area specifying unit 122 specifies the gaze area of each of the plurality of target persons (S2).

続いて、動作情報取得部１２３は、動作情報を取得する（Ｓ３）。
続いて、発話情報取得部１２４は、発話情報を取得する（Ｓ４）。
なお、対象者情報、動作情報及び発話情報は、図８に示す順番に限らず、他の順番に従って取得されてもよい。 Subsequently, the motion information acquisition unit 123 acquires motion information (S3).
Subsequently, the utterance information acquisition unit 124 acquires utterance information (S4).
The subject information, the motion information, and the utterance information may be acquired according to another order, not limited to the order shown in FIG.

続いて、連動特定部１２５は、取得した動作情報及び発話情報に基づいて連動者を特定する（Ｓ５）。
続いて、グループ推定部１２６は、特定された複数の対象者のそれぞれの注視領域、及び特定された連動者に基づいて、複数の対象者のうち、少なくとも一部の対象者を含むグループを推定する（Ｓ６）。 Then, the interlocking|linkage specific|specification part 125 pinpoints an interlocking person based on the acquired motion information and utterance information (S5).
Subsequently, the group estimation unit 126 estimates a group including at least a part of the target persons among the plurality of target persons based on the respective gaze areas of the plurality of identified target persons and the specified interlocking person. Yes (S6).

続いて、相互作用度特定部１２７は、推定されたグループに含まれる複数の連動者の連動状況に基づいて、当該グループに含まれる複数の対象者の相互作用度を特定する（Ｓ７）。
続いて、相互作用度特定部１２７は、グループ推定部１２６が推定した複数のグループのそれぞれに含まれる複数の連動者の連動状況に基づいて、複数のグループの相互作用度を特定する（Ｓ８）。 Subsequently, the interaction degree identifying unit 127 identifies the interaction degrees of the plurality of target persons included in the group based on the interlocking states of the plurality of interlocking persons included in the estimated group (S7).
Subsequently, the interaction degree identifying unit 127 identifies the interaction degrees of the plurality of groups based on the interlocking status of the plurality of interlocking persons included in each of the plurality of groups estimated by the group estimating unit 126 (S8). ..

続いて、出力部１２８は、推定されたグループを識別するグループ識別情報と、当該グループに属する複数の対象者のそれぞれに対応する対象者識別情報と、相互作用度を示す情報とを関連付けた推定グループ情報を出力するとともに、複数のグループのそれぞれに対応するグループ識別情報と、複数のグループの相互作用度を示す情報とを関連付けたグループ間相互作用度情報を出力する（Ｓ９）。 Subsequently, the output unit 128 associates the group identification information for identifying the estimated group, the target person identification information corresponding to each of the plurality of target persons belonging to the group, and the estimation indicating the degree of interaction with each other. The group information is output, and the inter-group interaction degree information in which the group identification information corresponding to each of the plurality of groups and the information indicating the interaction degree of the plurality of groups are associated with each other is output (S9).

［本実施形態における効果］
以上説明したように、本実施形態に係るグループ推定装置１は、所定エリアに存在し、グループに属する可能性がある複数の対象者のそれぞれが注視する領域を示す注視領域を特定し、特定した複数の対象者のそれぞれの注視領域に基づいて、複数の対象者のうち、少なくとも一部の対象者を含むグループを推定する。このようにすることで、グループ推定装置１は、人物が移動していない状態であってもグループを推定することができる。 [Effects of this embodiment]
As described above, the group estimation device 1 according to the present embodiment identifies and specifies the gaze area indicating the area that is in the predetermined area and is gazed by each of a plurality of target persons who may belong to the group. A group including at least a part of the plurality of target persons is estimated based on the gaze areas of the plurality of target persons. By doing so, the group estimation device 1 can estimate the group even when the person is not moving.

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. It will be apparent to those skilled in the art that various modifications and improvements can be added to the above-described embodiment. Further, in particular, the specific embodiment of the dispersion/integration of the devices is not limited to the one illustrated above, and all or some of them may be arbitrarily added according to various additions or functional loads. The units can be functionally or physically distributed and integrated.

１・・・グループ推定装置、１１・・・記憶部、１２・・・制御部、１２１・・・対象者情報取得部、１２２・・注視領域特定部、１２３・・・動作情報取得部、１２４・・・発話情報取得部、１２５・・・連動特定部、１２６・・・グループ推定部、１２７・・・相互作用度特定部、１２８・・・出力部 DESCRIPTION OF SYMBOLS 1... Group estimation device, 11... Storage part, 12... Control part, 121... Target person information acquisition part, 122... Gaze area specific part, 123... Motion information acquisition part, 124・・・Utterance information acquisition unit, 125...Interlocking specifying unit, 126...Group estimating unit, 127...Interaction degree specifying unit, 128...Output unit

Claims (11)

所定エリアに存在し、グループに属する可能性がある複数の対象者のそれぞれが所定期間に含まれる各時刻に注視する領域を示す注視領域を特定する注視領域特定部と、
前記注視領域特定部が特定した前記複数の対象者のそれぞれの前記注視領域に基づいて、前記複数の対象者のうち、少なくとも一部の対象者を含むグループを推定するグループ推定部と、
前記グループ推定部が推定した前記グループを示す情報を出力する出力部と、
を備えるグループ推定装置。 A gaze area specifying unit that specifies a gaze area indicating an area to be gazed at each time, which is present in a predetermined area and each of a plurality of target persons who may belong to a group, is included in a predetermined period,
Based on each gaze area of each of the plurality of target persons specified by the gaze area specifying unit, a group estimation unit that estimates a group including at least a part of the target persons among the plurality of target persons,
An output unit that outputs information indicating the group estimated by the group estimation unit,
A group estimation device comprising. 前記グループ推定部は、前記注視領域が共通する複数の対象者により構成される前記グループを推定する、
請求項１に記載のグループ推定装置。 The group estimation unit estimates the group composed of a plurality of target persons having the same gaze area,
The group estimation device according to claim 1. 前記複数の対象者のそれぞれの位置を示す位置情報を含む対象者情報を取得する対象者情報取得部をさらに備え、
前記グループ推定部は、前記複数の対象者のそれぞれに対応する前記対象者情報が示す前記位置と、前記複数の対象者のそれぞれの前記注視領域との関係に基づいて、前記グループを推定する、
請求項１又は２に記載のグループ推定装置。 Further comprising a target person information acquisition unit for acquiring target person information including position information indicating respective positions of the plurality of target persons,
The group estimation unit estimates the group based on the relationship between the position indicated by the target person information corresponding to each of the plurality of target persons and the gaze area of each of the plurality of target persons,
The group estimation device according to claim 1 or 2. 前記グループ推定部は、前記注視領域を注視した対象者と、前記注視領域に前記位置が含まれる対象者との関連付けを行い、関連付けが行われている複数の対象者により構成される前記グループを推定する、
請求項３に記載のグループ推定装置。 The group estimation unit associates a target person who gazes at the gaze area with a target person whose position is included in the gaze area, and defines the group configured by a plurality of target persons who are associated with each other. presume,
The group estimation device according to claim 3. 前記グループ推定部は、任意の複数の対象者の位置を含む領域を設定し、前記所定期間における当該複数の対象者の注視領域が当該領域に含まれている場合、当該複数の対象者により構成される前記グループを推定する、
請求項３に記載のグループ推定装置。 The group estimation unit sets an area including the positions of any plurality of target persons, and when the gaze area of the plurality of target persons in the predetermined period is included in the area, the group estimation unit is configured by the plurality of target persons. Estimating the group being
The group estimation device according to claim 3. 前記グループ推定部は、推定したグループに含まれる複数の対象者の位置を含む領域である対象者領域を設定し、当該複数の対象者と異なる対象者のうち、当該対象者領域に前記注視領域が含まれている対象者を、推定したグループに属すると推定する、
請求項３から５のいずれか１項に記載のグループ推定装置。 The group estimation unit sets a target person region that is a region including the positions of a plurality of target persons included in the estimated group, and among the target persons different from the plurality of target persons, the gaze area in the target person area. Subjects that are included in the group are estimated to belong to the estimated group,
The group estimation device according to any one of claims 3 to 5. 前記複数の対象者のそれぞれに対応し、前記所定期間に含まれる各時刻における前記対象者の動作を示す動作情報を複数取得する動作情報取得部と、
前記複数の対象者のそれぞれに対応する前記動作情報が示す前記動作に基づいて、関連する動作を行っている複数の対象者を連動者として特定する連動特定部と、
をさらに備え、
前記グループ推定部は、前記連動者の前記関連する動作の発生頻度にさらに基づいて、前記複数の対象者のうち、一部の対象者を含むグループを推定する、
請求項１から６のいずれか１項に記載のグループ推定装置。 A motion information acquisition unit that corresponds to each of the plurality of target persons and acquires a plurality of motion information indicating a motion of the target person at each time included in the predetermined period,
An interlocking specifying unit that, based on the operation indicated by the operation information corresponding to each of the plurality of target persons, specifies a plurality of target persons performing a related operation as interlocking persons;
Further equipped with,
The group estimation unit estimates a group including a part of the target persons among the plurality of target persons, further based on the occurrence frequency of the related motion of the interlocking person,
The group estimation device according to any one of claims 1 to 6. 前記複数の対象者のそれぞれに対応し、前記所定期間に含まれる各時刻における前記対象者の発話の内容を示す発話情報を複数取得する発話情報取得部をさらに備え、
前記連動特定部は、前記複数の対象者のそれぞれに対応する前記動作情報が示す前記動作と、前記発話情報が示す前記発話とに基づいて、関連する動作及び発話を行っている複数の対象者を前記連動者として特定し、
前記グループ推定部は、前記連動者の前記関連する動作及び前記発話の発生頻度にさらに基づいて、前記複数の対象者のうち、一部の対象者を含むグループを推定する、
請求項７に記載のグループ推定装置。 Corresponding to each of the plurality of target persons, further comprising a utterance information acquisition unit for acquiring a plurality of utterance information indicating the content of the utterance of the target person at each time included in the predetermined period,
The interlocking specifying unit, based on the action indicated by the action information corresponding to each of the plurality of target persons and the utterance indicated by the utterance information, a plurality of target persons performing related actions and utterances. Is specified as the interlocking person,
The group estimation unit estimates a group including a part of the target persons among the plurality of target persons, further based on the related motion of the interlocking person and the occurrence frequency of the utterance.
The group estimation device according to claim 7. 前記複数の対象者のそれぞれに対応し、前記所定期間に含まれる各時刻における前記対象者の動作を示す動作情報を複数取得する動作情報取得部と、
前記複数の対象者のそれぞれに対応する前記動作情報が示す前記動作に基づいて、関連する動作を行っている複数の対象者を連動者として特定する連動特定部と、
前記グループ推定部が推定したグループに含まれる複数の前記連動者の連動状況に基づいて当該グループに含まれる複数の対象者の相互作用度を特定する相互作用度特定部と、
をさらに備え、
前記出力部は、前記グループに含まれる複数の対象者の相互作用度を示す情報を出力する、
請求項１から８のいずれか１項に記載のグループ推定装置。 A motion information acquisition unit that corresponds to each of the plurality of target persons and acquires a plurality of motion information indicating a motion of the target person at each time included in the predetermined period,
An interlocking specifying unit that, based on the operation indicated by the operation information corresponding to each of the plurality of target persons, specifies a plurality of target persons performing a related operation as interlocking persons;
An interaction degree identifying unit that identifies an interaction degree of a plurality of target persons included in the group based on the interlocking status of the plurality of interlocking persons included in the group estimated by the group estimating unit,
Further equipped with,
The output unit outputs information indicating a degree of interaction between a plurality of target persons included in the group,
The group estimation device according to any one of claims 1 to 8. 前記複数の対象者のそれぞれに対応し、前記所定期間に含まれる各時刻における前記対象者の動作を示す動作情報を複数取得する動作情報取得部と、
前記複数の対象者のそれぞれに対応する前記動作情報が示す前記動作に基づいて、関連する動作を行っている複数の対象者を連動者として特定する連動特定部と、
前記グループ推定部が推定した複数のグループのそれぞれに含まれる複数の前記連動者の連動状況に基づいて、前記複数のグループの相互作用度を特定する相互作用度特定部と、
をさらに備え、
前記出力部は、特定された前記複数のグループの相互作用度を示す情報を出力する、
請求項１から９のいずれか１項に記載のグループ推定装置。 A motion information acquisition unit that corresponds to each of the plurality of target persons and acquires a plurality of motion information indicating a motion of the target person at each time included in the predetermined period,
An interlocking specifying unit that, based on the operation indicated by the operation information corresponding to each of the plurality of target persons, specifies a plurality of target persons performing a related operation as interlocking persons;
Based on the interlocking situation of the plurality of interlocking persons included in each of the plurality of groups estimated by the group estimation unit, an interaction degree specifying unit that specifies the degree of interaction of the plurality of groups,
Further equipped with,
The output unit outputs information indicating the degree of interaction of the identified groups,
The group estimation device according to any one of claims 1 to 9. コンピュータが実行する、
所定エリアに存在し、グループに属する可能性がある複数の対象者のそれぞれが所定期間に含まれる各時刻に注視する領域を示す注視領域を特定するステップと、
特定された前記複数の対象者のそれぞれの前記注視領域に基づいて、前記複数の対象者のうち、少なくとも一部の対象者を含むグループを推定するステップと、
推定された前記グループを示す情報を出力するステップと、
を備えるグループ推定方法。
Computer running,
A step of specifying a gaze area indicating an area existing in a predetermined area and each of a plurality of target persons who may belong to a group are gazed at each time included in a predetermined period,
Estimating a group including at least a part of the target persons of the plurality of target persons based on the gaze area of each of the plurality of identified target persons, and
Outputting information indicating the estimated group, and
A group estimation method comprising.
JP2018227830A 2018-12-05 2018-12-05 Group estimation device and group estimation method Active JP7041046B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018227830A JP7041046B2 (en) 2018-12-05 2018-12-05 Group estimation device and group estimation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018227830A JP7041046B2 (en) 2018-12-05 2018-12-05 Group estimation device and group estimation method

Publications (2)

Publication Number Publication Date
JP2020091622A true JP2020091622A (en) 2020-06-11
JP7041046B2 JP7041046B2 (en) 2022-03-23

Family

ID=71012856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018227830A Active JP7041046B2 (en) 2018-12-05 2018-12-05 Group estimation device and group estimation method

Country Status (1)

Country Link
JP (1) JP7041046B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022195752A1 (en) 2021-03-17 2022-09-22 日本電気株式会社 Information processing device, information processing method, and recording medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016061996A (en) * 2014-09-19 2016-04-25 ヤフー株式会社 Advertisement distribution device, advertisement distribution method, and advertisement distribution program
JP2016081174A (en) * 2014-10-14 2016-05-16 富士ゼロックス株式会社 Association program and information processing apparatus
JP2016122272A (en) * 2014-12-24 2016-07-07 富士通株式会社 Availability calculation system, availability calculation method and availability calculation program
WO2016158267A1 (en) * 2015-03-27 2016-10-06 ソニー株式会社 Information processing device, information processing method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016061996A (en) * 2014-09-19 2016-04-25 ヤフー株式会社 Advertisement distribution device, advertisement distribution method, and advertisement distribution program
JP2016081174A (en) * 2014-10-14 2016-05-16 富士ゼロックス株式会社 Association program and information processing apparatus
JP2016122272A (en) * 2014-12-24 2016-07-07 富士通株式会社 Availability calculation system, availability calculation method and availability calculation program
WO2016158267A1 (en) * 2015-03-27 2016-10-06 ソニー株式会社 Information processing device, information processing method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022195752A1 (en) 2021-03-17 2022-09-22 日本電気株式会社 Information processing device, information processing method, and recording medium
EP4310766A4 (en) * 2021-03-17 2024-01-24 Nec Corp Information processing device, information processing method, and recording medium

Also Published As

Publication number Publication date
JP7041046B2 (en) 2022-03-23

Similar Documents

Publication Publication Date Title
US10740652B2 (en) Image processing apparatus, image processing system, image processing method, and storage medium
US9875408B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
US8724845B2 (en) Content determination program and content determination device
WO2012066785A1 (en) People counting device, people counting method and people counting program
JP6024658B2 (en) Object detection apparatus, object detection method, and program
JP2019109765A (en) Object tracking program, object tracking device, and object tracking method
JP2014127208A (en) Method and apparatus for detecting object
JP2014048882A (en) Image processor, image processing method and image processing program
US10496874B2 (en) Facial detection device, facial detection system provided with same, and facial detection method
US10235607B2 (en) Control device, control method, and computer program product
JP2018028784A (en) Movable body group detection program, movable body group detection device, and movable body group detection method
JP2018195166A (en) Posture determination program, posture determination device and posture determination method
JP2020027405A (en) Object detection program and object detection device
JP7106296B2 (en) Image processing device, image processing method and program
JP7041046B2 (en) Group estimation device and group estimation method
US11423622B2 (en) Apparatus for generating feature positions in a virtual world, information processing method, and storage medium
JP7214437B2 (en) Information processing device, information processing method and program
JP5448952B2 (en) Same person determination device, same person determination method, and same person determination program
Nguyen et al. Real-time human tracker based on location and motion recognition of user for smart home
KR101289883B1 (en) System and method for generating mask image applied in each threshold in region
JP6451418B2 (en) Gaze target determination device, gaze target determination method, and gaze target determination program
JP2019204374A (en) Object detecting apparatus
US10922864B2 (en) Image processing device, image processing method and program, for object detection in an image
JP2021144359A (en) Learning apparatus, estimation apparatus, learning method, and program
JP6723822B2 (en) Image processing apparatus, image processing method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220310

R150 Certificate of patent or registration of utility model

Ref document number: 7041046

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150