JP2020042709A - System for evaluating similarity of psychological state in audience - Google Patents
System for evaluating similarity of psychological state in audience Download PDFInfo
- Publication number
- JP2020042709A JP2020042709A JP2018171403A JP2018171403A JP2020042709A JP 2020042709 A JP2020042709 A JP 2020042709A JP 2018171403 A JP2018171403 A JP 2018171403A JP 2018171403 A JP2018171403 A JP 2018171403A JP 2020042709 A JP2020042709 A JP 2020042709A
- Authority
- JP
- Japan
- Prior art keywords
- similarity
- listeners
- degree
- sympathy
- listener
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、コミュニケーションに於ける人間の心理状態を分析するためのシステムに係り、より詳細には、講演、演説、会議、映像視聴などの一方向又は単方向のコミュニケーションに於ける聴衆の動作やコミュニケーションに対する共感の度合に基づいて聴衆の心理状態の分析を行うシステムに係る。 The present invention relates to a system for analyzing a human psychological state in communication, and more particularly, to an operation of an audience in one-way or one-way communication such as a lecture, a speech, a conference, and a video viewing. The present invention relates to a system for analyzing a psychological state of an audience based on a degree of empathy for communication.
種々の形態のコミュニケーションに関わる人間の共感或いは反感といった人間の心理状態に関わる情報は、市場に於ける広告宣伝の方針など、マーケティング戦略を考える際に有用である。そこで、コミュニケーションに於ける人間の心理状態を把握するための人間の心理状態の計測又は分析をする技術が種々提案されている。例えば、特許文献１では、複数の対話者の映像から検出された対話者の行動に対して各対話者が共感している否かを（映像を観た）外部観察者がラベル付けしたデータを学習データとして対話者の行動と心理状態（共感している／していない）との相関関係を表すモデルパラメタを学習し、そのモデルパラメタを用いて任意の映像から検出される対話者の行動に基づいて対話者の心理状態を推定する装置が提案されている。また、特許文献２では、複数の観察者が或る映像中の少なくとも一人の人物の共感／反感／どちらでもないといった心理状態を解釈してラベル付けして作成されたデータと複数の観察者のそれぞれの個人特性を表すデータとを学習データとして観察者の各々が人物の心理状態を如何に解釈するかを推定する装置が提案されている。 Information relating to human psychological states such as human empathy or antipathy involved in various forms of communication is useful when considering marketing strategies such as advertising policies in the market. Therefore, various techniques for measuring or analyzing a human psychological state for grasping a human psychological state in communication have been proposed. For example, in Patent Literature 1, data obtained by labeling whether or not each interlocutor sympathizes with the behavior of the interlocutor detected from the video of a plurality of interlocutors by an external observer (watching the video) It learns model parameters representing the correlation between the behavior of the interlocutor and the psychological state (sympathetic / not sympathetic) as learning data, and uses the model parameters to convert the interlocutor's behavior detected from any video. A device for estimating a psychological state of a talker based on the device has been proposed. Further, in Patent Document 2, data created by interpreting and labeling a psychological state in which a plurality of observers are not empathy / antipathy / neither of at least one person in a certain video and a plurality of observers There has been proposed a device for estimating how each observer interprets a person's psychological state by using data representing individual characteristics as learning data.
ところで、講演、演説、会議、映像視聴など、特定の者（話者）が発する情報を聴衆（聴取者の群）が聴取する形式のコミュニケーション（以下、「一方向コミュニケーション」と称する。）に於いて、話者の発した情報により生ずる聴取者の個々の心理状態、即ち、話者の発した情報に共感したか否かといった状態についての情報は、聴取者の個々人の趣味趣向を反映していると考えられるので、商品やサービスの提供、その勧誘、広告、宣伝に於ける方針又は戦略（マーケティング戦略等）を決定する場合に有用である。そのような一方向コミュニケーションに於ける聴衆の心理状態の情報を利用する場合、聴取者個々人の心理状態の情報が個別に参照できるだけでなく、聴取者間に於ける心理状態の類似の度合が参照できると、その心理状態の類似の度合に基づいて聴衆をグループ分けするなどの分析が可能となり、上記の如きマーケティング戦略等の決定に際して有用な情報が得られることが期待される。また、聴取者個々人に於いても、聴取者間に於ける心理状態の類似の度合は、聴衆のうちで誰が自身と似通った趣味趣向を有しているかを把握することが可能になるなど、有用な情報となる（例えば、個々人の紹介サービス等に於いて有用な情報となる。）。かくして、一方向コミュニケーションに於ける聴取者間の心理状態の類似の度合を参照できるシステムがあると有用となろう。その際、心理状態の類似の度合が、客観的に或いは主観的に過ぎないように、そして、把握しやすい態様にて提示され、その信頼性がより高いほどが好ましい。 By the way, in communication (hereinafter, referred to as "one-way communication") in a form in which an audience (a group of listeners) listens to information emitted by a specific person (speaker) such as a lecture, a speech, a conference, and a video viewing. Therefore, the individual psychological state of the listener caused by the information issued by the speaker, that is, the information on the state of whether or not he / she sympathized with the information issued by the speaker reflects the individual taste of the listener. It is useful when deciding a policy or strategy (such as a marketing strategy) in providing or soliciting, advertising, or promoting a product or service. When using the information on the psychological state of the audience in such one-way communication, not only can the information on the psychological state of the individual listeners be individually referenced, but also the degree of similarity of the psychological state among the listeners can be referenced If this is possible, it will be possible to analyze the audience based on the degree of similarity of their psychological states, for example, and to analyze the audience, and it is expected that useful information will be obtained when determining a marketing strategy as described above. Also, in the individual listeners, the degree of similarity of the psychological state among the listeners, it becomes possible to grasp who has a similar hobby and taste in the audience, This is useful information (for example, it is useful information for an individual introduction service, etc.). Thus, it would be useful to have a system that could refer to the degree of similarity of the psychological state between listeners in one-way communication. At this time, it is preferable that the degree of similarity of the mental state is presented only in an objective or subjective manner and in an easy-to-understand manner, and the higher the reliability is, the better.
かくして、本発明の一つの課題は、一方向コミュニケーションに於ける聴取者間の心理状態の類似の度合を提示できるシステムを提供することである。 Thus, one object of the present invention is to provide a system capable of presenting a similar degree of psychological state between listeners in one-way communication.
本発明によれば、上記の課題は、話者の提供する情報を複数の聴取者が聴取する一方向コミュニケーションに於ける前記複数の聴取者間の心理状態の類似度合を評定し提示するシステムであって、
前記複数の聴取者の各々の心理状態に相関を有する前記聴取者の各々の身体動作の大きさを数値で表現した身体動作量を計測する身体動作量計測手段と、
前記聴取者の各々について前記計測された身体動作量から前記心理状態に相関を有する身体動作特徴量を抽出する身体動作特徴量抽出手段と、
前記聴取者間の各々に於ける身体動作特徴量の類似の程度を数値にて表現した身体動作類似度を算出する身体動作類似度算出手段と、
前記複数の聴取者の各々によって判定される前記話者の提供する情報に対する前記複数の聴取者の各々の共感の程度を数値で表現した共感度を取得する共感度取得手段と、
前記聴取者間の各々に於ける前記共感度の類似の程度を数値で表現した共感類似度を算出する共感類似度算出手段と、
前記身体動作類似度と前記共感類似度とに基づいて前記複数の聴取者間の各々に於ける心理状態の類似度合を評定する心理状態類似度合評定手段と
前記複数の聴取者間の各々に於ける前記心理状態の類似度合を表示する表示手段と
を含むシステムによって達成される。
According to the present invention, the above object is to provide a system for evaluating and presenting a degree of similarity of a psychological state among a plurality of listeners in a one-way communication in which a plurality of listeners listen to information provided by a speaker. So,
Body movement amount measurement means for measuring a body movement amount expressed by a numerical value of the size of each body movement of the listener having a correlation with the psychological state of each of the plurality of listeners,
Body movement feature amount extraction means for extracting a body movement feature amount having a correlation with the psychological state from the measured body movement amount for each of the listeners,
Body movement similarity calculating means for calculating a body movement similarity expressed by a numerical value representing the degree of similarity of the body movement feature amount between the listeners,
Sympathy acquisition means for acquiring a sympathy in which the degree of sympathy of each of the plurality of listeners is expressed numerically for information provided by the speaker determined by each of the plurality of listeners,
Empathic similarity calculating means for calculating an empathic similarity expressed in numerical values of the degree of similarity of the sympathy in each of the listeners,
A psychological state similarity assessment means for assessing a psychological similarity between each of the plurality of listeners based on the physical motion similarity and the empathy similarity; Display means for displaying the degree of similarity of the psychological state of the subject.
上記の本発明の構成に於いて、「一方向コミュニケーション」とは、既に述べた如く、講演、演説、会議、映像視聴など、特定の者（「話者」）が発する情報を聴衆、即ち、聴取者（聞き手）の群が聴取する形式のコミュニケーションである。なお、「話者」は、聴取者の視聴覚にて認識できる情報（例えば、音声による話、音楽、画像、映像、動画など）を、形態によらず、提供する者であり、必ずしも聴衆の目前に登場していなくてもよいことは理解されるべきである。本システムに於いて、聴取者の「心理状態」とは、話者の提供する情報に応じて生ずる心理的な状態、より具体的には、話者の提供する情報に対して、共感した状態、反感をもった状態又は無関心の状態（共感も反感もない状態）などを言うものとする。「聴取者間の心理状態の類似度合」とは、聴衆のうちの任意の少なくとも二人の心理状態がどの程度にて類似しているか、即ち、近い状態にあるかの指標であり、後に説明される如く、種々の形式にて表現されることとなる。 In the configuration of the present invention described above, “one-way communication” means, as described above, information given by a specific person (“speaker”), such as a lecture, a speech, a meeting, or a video viewing, to an audience, that is, This is a form of communication in which a group of listeners (listeners) listen. Note that the "speaker" is a person who provides information (for example, speech, music, images, videos, moving images, etc.) that can be recognized by the listener's audio-visual irrespective of form, and is not necessarily in front of the audience. It should be understood that there is no need to appear in the. In this system, the "psychological state" of the listener is a psychological state generated according to the information provided by the speaker, more specifically, a state of sympathy with the information provided by the speaker. , A state with an antipathy or a state of indifference (a state without empathy or antipathy). The “similarity of the psychological state between listeners” is an index of how similar the psychological states of at least any two of the audiences are, that is, the degree of similarity, and will be described later. As described above, it is expressed in various forms.
また、上記の構成に於いて、聴取者の心理状態に相関を有する「身体動作」とは、頷き、首ふりなどの頭部又はその他の身体部位に於ける動きなどであり、身体動作の「大きさ」とは、かかる身体部位の変位量をいう。実施の形態に於いて、「身体動作の大きさを数値で表現した身体動作量」とは、個々の聴取者の頭部の変位加速度、変位量などであってよく、「身体動作量計測手段」とは、例えば、個々の聴取者の頭部に装着され、頭部の変位の加速度を計測する加速度センサ、ビデオカメラにより個々の聴取者の頭部を撮影したビデオ映像に於いてかかる頭部の変位量を計測する画像処理手段などであってよい。「身体動作特徴量」は、聴取者の各々に於いて計測された身体動作量から抽出される心理状態に相関を有する任意の数値量であってよく、例えば、単位時間当たりの頷きの回数、単位時間に於ける頭部の変位加速度の標準偏差などが「身体動作特徴量」として利用可能である。「身体動作類似度」は、上記の如く、聴取者間の各々に於ける身体動作特徴量の類似の程度を数値にて表現した値であり、聴衆のうちの二人の聴取者の全ての組み合わせのそれぞれについて算出されてよい（聴衆に於ける二人の組み合わせの数だけ「身体動作類似度」が算出されてよい。）。身体動作類似度は、具体的には、二人の聴取者の身体動作の類似の程度を表せる値であれば、任意の数値であってよく、具体的には、身体動作特徴量の時系列データから算出されるコサイン類似度、相関係数、相互相関関数値、ハミング距離などであってよい。かかる身体動作類似度は、客観的な身体動作の計測に基づいて算出される指標であり、身体動作類似度にて表される二人の聴取者の身体動作特徴量の類似の程度が高いほど、客観的な方法にて計られた二人の心理状態が類似した状態或いは近い状態にあるということが推定できることとなる。 Further, in the above configuration, “body movement” having a correlation with the psychological state of the listener is nodding, movement of the head or other body part such as pretending to be a head, and the like. "Size" refers to the displacement of such a body part. In the embodiment, the “body movement amount expressing the magnitude of the body movement by a numerical value” may be a displacement acceleration, a displacement amount, or the like of the head of each listener, and may be a “body movement amount measuring unit. ”Means, for example, an acceleration sensor that is attached to the head of each listener and measures the acceleration of displacement of the head, and the head in a video image of the head of each listener captured by a video camera. Image processing means or the like for measuring the amount of displacement. "Body motion feature value" may be any numerical value having a correlation with the psychological state extracted from the body motion value measured in each of the listeners, for example, the number of nods per unit time, The standard deviation of the displacement acceleration of the head in a unit time can be used as the “body movement feature amount”. As described above, the “body movement similarity” is a value expressing the degree of similarity of the body movement feature amount between listeners in a numerical value, and is a value representing all the two listeners in the audience. It may be calculated for each of the combinations (the "body motion similarity" may be calculated for the number of combinations of two persons in the audience.). The physical motion similarity may be any numerical value as long as it can represent the degree of similarity between the physical motions of the two listeners. It may be a cosine similarity calculated from data, a correlation coefficient, a cross-correlation function value, a Hamming distance, or the like. Such a physical motion similarity is an index calculated based on objective measurement of the physical motion, and the higher the degree of similarity of the physical motion feature amounts of the two listeners represented by the physical motion similarity is, the higher the similarity is. In other words, it can be estimated that the mental states of the two persons measured by an objective method are similar or close.
更に、上記の構成に於いて、聴取者の「共感の程度」とは、話者の提供する情報に対して非常に共感した状態から全く共感していない状態（又は反感を覚えた状態）までの間のいずれかの段階であり、「共感度」とは、かかる「共感の程度」を数値化して表したものである。個々の聴取者の「共感の程度」或いは「共感度」は、聴取者自身それぞれが判定し、個々の聴取者によって「共感度取得手段」へ与えられる。具体的には、「共感の程度」は、ＶＡＳ（Visual Analog Scale）法やリッカート尺度法などにより「共感度」として数値化されてよい。「共感度取得手段」は、具体的には、聴取者それぞれが自身の「共感の程度」又は「共感度」を入力できる任意の機器（コンピュータ端末、タブレット端末、スマートフォン、携帯端末など）の入力を収集して、聴取者それぞれの共感度を確定する機器、或いは、聴取者それぞれがアンケート用紙やインターネットに於けるサイト（例えば、ＳＮＳのコメント欄など）等に記載した各人の「共感の程度」又は「共感度」を収集して、聴取者それぞれの共感度を確定する機器などであってよい。聴取者が共感度取得手段へ与える情報は、「共感の程度」を言葉で表現したものであっても（この場合、共感度取得手段に於いて機械的に或いは人的に「共感の程度」を数値化して「共感度」を確定する。）、聴取者それぞれが、自身で、自分の「共感の程度」を数値化した「共感度」であってもよい。また、上記の構成に於いて、「共感類似度」は、上記の如く、聴取者間の各々に於ける共感度の類似の程度を数値にて表現した値であり、聴衆のうちの二人の聴取者の全ての組み合わせのそれぞれについて算出されてよい（聴衆に於ける二人の組み合わせの数だけ「共感類似度」が算出されてよい。）。共感類似度は、具体的には、二人の聴取者の共感度の類似の程度を表せる値であれば、任意の数値であってよく、実施の形態に於いては、共感類似度は、二人の聴取者の共感度の差分の大きさ、或いは、かかる差分の大きさが小さいほど、大きくなる値であってよい。かかる共感類似度は、聴取者の主観的な判定に基づいて算出される指標であり、共感類似度により表される二人の聴取者の共感度の類似の程度が高いほど、主観的な方法にて判定された二人の心理状態が類似した状態或いは近い状態にあるということが推定できることとなる。 Further, in the above-described configuration, the "degree of empathy" of the listener means from a state in which the listener provides information to a state in which the listener is very sympathetic to a state in which the listener does not at all (or a state in which he / she feels antipathy). The “sympathy” is a numerical representation of the “degree of empathy”. The "degree of empathy" or "sympathy" of each listener is determined by the listener himself and given to the "sympathy acquisition means" by the individual listener. Specifically, the “degree of empathy” may be quantified as “sympathy” by a VAS (Visual Analog Scale) method, Likert scale method, or the like. The “sympathy acquisition means” is, specifically, an input of an arbitrary device (computer terminal, tablet terminal, smartphone, mobile terminal, etc.) to which each listener can input his / her own “degree of empathy” or “sympathy”. Or a device to determine the sympathy of each listener, or the "degree of empathy" of each person described in a questionnaire form or on a site on the Internet (for example, SNS comment section, etc.) Or a device that collects "" or "sympathy" to determine the sympathy of each listener. The information given by the listener to the sympathetic acquisition means may be expressed in words as "the degree of empathy" (in this case, the "degree of empathy" is mechanically or humanly used in the sympathetic acquisition means). May be converted into a numerical value to determine “sympathy”.), Each listener may be “sympathy” in which his or her own “degree of empathy” is quantified. Further, in the above configuration, the “sympathetic similarity” is a value expressing the degree of similarity of the sympathy between the listeners as a numerical value, as described above. May be calculated for each of the combinations of the listeners ("Empathy similarity" may be calculated for the number of combinations of the two in the audience.). The empathic similarity may be an arbitrary numerical value as long as it can represent the degree of similarity of the sympathy of two listeners. In the embodiment, the empathic similarity is: The magnitude of the difference in sympathy between the two listeners, or a value that increases as the magnitude of the difference decreases. Such empathy similarity is an index calculated based on the subjective judgment of the listener, and the higher the degree of similarity of the empathy of the two listeners represented by the empathic similarity, the higher the subjective method. It can be estimated that the psychological states of the two persons determined in are similar or close to each other.
そして、上記のシステムに於いて、「心理状態類似度合評定手段」は、上記の如く、聴取者間の各々に於ける身体動作類似度と共感類似度とを参照して、聴取者間の各々に於ける心理状態の類似度合の評定を行う。心理状態の類似度合は、聴取者間の心理状態の類似の程度が把握できれば任意の形式にて表現されてよい。後の実施形態の欄にて説明されている如く、心理状態の類似度合は、例えば、身体動作類似度と共感類似度によって、高、低、潜在的高、潜在的低などの複数の段階に分類されるようになっていてよく、或いは、身体動作類似度と共感類似度に応じて変化する数値によって表現されてもよい。なお、実施の形態に於いて、聴取者間の心理状態の類似度合は、「聴取者間の関係性」と表現される。 Then, in the above system, the “psychological state similarity evaluation means” refers to the physical movement similarity and the empathic similarity between the listeners as described above, and Of the degree of similarity of the psychological state in the above. The degree of mental state similarity may be expressed in any format as long as the degree of similarity in mental state between listeners can be grasped. As described in the section of a later embodiment, the degree of similarity of the psychological state is divided into a plurality of stages such as high, low, potential high, and potential low, for example, by body motion similarity and empathy similarity. They may be classified, or may be represented by numerical values that change according to the body motion similarity and the empathy similarity. In the embodiment, the degree of similarity in the psychological state between listeners is expressed as "relationship between listeners".
上記の本発明のシステムに於いて、心理状態の類似度合の評定結果は、任意の表示手段、例えば、コンピュータ端末、タブレット端末、スマートフォン、携帯端末のディスプレイに表示され、或いは、プリンタによって紙に印刷されるなどして表示される。 In the above system of the present invention, the evaluation result of the degree of similarity of the psychological state is displayed on any display means, for example, a computer terminal, a tablet terminal, a smartphone, a display of a mobile terminal, or printed on paper by a printer. Is displayed.
上記の本発明によるシステムの作動に於いては、一方向コミュニケーションの実施に際して、聴取者の各々の身体動作が検出できるように、聴取者の各々に身体動作検出のためのセンサを装着するか、聴取者の各々の身体動作が観察できるようにビデオカメラが配置される。なお、聴取者は、一つの会場に集合している必要はなく、別々の場所に居てもよい（各聴取者は、別々の時間に別々の場所で話者からの情報の提供を受けてもよい。）。聴衆が聴取する情報は、任意の形式にて提供されてよい。（舞台上からの講演、演説、上演の形式でもよいし、映像や音声による提供、配信による提供であってもよい。）。また、聴取者の各々には、共感の程度又は共感度を共感度取得手段へ入力するための入力手段が配布される。そして、一方向コミュニケーションによる情報の提供中に於いて、聴取者の各々の身体動作の検出と共感の程度又は共感度の収集とが実行され、検出された身体動作と収集された共感の程度又は共感度とから、それぞれ、上記の如く身体動作類似度と共感類似度とが算出され、これらの値に基づき、話者の提供する情報に対する聴取者の心理状態が聴取者同士でどの程度類似しているかが個々の聴取者間について評定されることとなる。なお、共感の程度又は共感度の収集、身体動作類似度と共感類似度の算出、聴取者間の心理状態の類似度合の評定、評定結果の表示は、一方向コミュニケーションが行われている間に実行されてもよく、一方向コミュニケーションの終了後に実行されてもよい。かかる構成によれば、聴衆に於いて、趣味趣向がいずれの聴取者は互いに似通っており、いずれの聴取者は相反しているといったことを推定し把握できるようになり、また、一方向コミュニケーションに於ける聴衆の一人々々に於いても、（聴取者同士で個別に意見交換等のコミュニケーションを行わなくても）自身と趣味趣向の似たタイプの人物が誰であるかを推定し把握することも可能となる。 In the operation of the above-described system according to the present invention, when performing one-way communication, each of the listeners is provided with a sensor for detecting a physical movement so that the physical movement of each of the listeners can be detected. A video camera is arranged so that each physical movement of the listener can be observed. Note that the listeners do not need to be gathered in one venue and may be in different locations (each listener may receive information from speakers at different times and at different locations). May be.). The information that the audience hears may be provided in any format. (It may be in the form of a lecture, speech, or performance from the stage, or may be provided by video or audio, or provided by distribution.) Further, input means for inputting the degree of sympathy or the sympathy to the sympathy acquiring means is distributed to each of the listeners. Then, during the provision of the information by the one-way communication, the detection of the body motion of each of the listeners and the collection of the degree of empathy or the collection of the sympathy are performed, and the detected body movement and the degree of the collected empathy or From the sympathy, the body motion similarity and the empathy similarity are calculated as described above, and based on these values, to what extent the listener's psychological state with respect to the information provided by the speaker is similar between the listeners. Will be assessed for each individual listener. The collection of the degree of empathy or empathy, the calculation of the degree of similarity between body movements and the degree of empathy, the evaluation of the degree of similarity of the psychological state between listeners, and the display of the evaluation result are performed during one-way communication. It may be performed, or may be performed after the end of the one-way communication. According to such a configuration, in the audience, it becomes possible to estimate and grasp that the listeners have similar tastes and tastes, and that the listeners are in conflict with each other. Estimate and understand who is the type of person with similar interests and hobbies (even if the listeners do not individually exchange opinions, etc.) It is also possible.
なお、上記のシステムに於いて、聴取者の身体動作について及び／又は聴取者の自己判定による共感の程度について、複数の手法で身体動作量及び／又は共感の程度を計測し、それぞれの類似度を算出し、聴取者間の心理状態の類似の度合の評定は、３つ以上の類似度を参照して実行されてもよく、そのような場合も本発明の範囲に属することは理解されるべきである。 In the above system, the amount of body movement and / or the degree of empathy are measured by a plurality of methods with respect to the listener's body movement and / or the degree of empathy based on the listener's self-determination, and the degree of similarity is measured. It is understood that the evaluation of the degree of similarity of the psychological state between the listeners may be performed with reference to three or more similarities, and such a case also falls within the scope of the present invention. Should.
かくして、上記の本発明の聴衆間の心理状態の類似の度合を評定するシステム（聴衆間心理状態類似度合評定システム）の構成によれば、既に述べた如く、一方向コミュニケーションに於ける聴取者間の心理状態の類似の度合が聴取者間で直接にコミュニケーションを取らなくても把握しやすい態様にて提示されることとなる。実施の形態に於いては、聴取者間の心理状態の類似の度合は、各聴取者から身体動作及び共感の程度を収集した後、自動的にコンピュータ処理によって評定されることとなるので、簡便に聴取者間の心理状態の類似の度合が把握できることとなる。また、特に、本発明のシステムに於いては、聴取者の身体動作に基づいた身体動作類似度という客観的な計測に基づき決定される値と、聴取者の自己判定による共感の程度に基づいた共感類似度という個々の聴取者により主観的な判定に基づき決定される値との異なる性質の数値に用いて、統合的に聴取者間の心理状態の類似の度合、即ち、聴取者間の関係性を評定するようになっているので、単独の類似度にて心理状態の類似の度合を評定する場合よりも精度良く或いはより精密な評定が為され、また、客観的過ぎず且つ主観的過ぎずに、聴取者間の心理状態の類似の度合が決定できることが期待される。本発明のシステムにより得られる一方向コミュニケーションに於ける聴取者間の心理状態の類似の度合の評定結果は、既に述べた如きマーケティング戦略等の決定、個々人の紹介サービス等に於いて有用な情報となることが期待される。 Thus, according to the configuration of the above-described system of the present invention for evaluating the degree of similarity of the psychological state between audiences (audience psychological state similarity degree evaluation system), as described above, between the listeners in one-way communication. The degree of similarity in the psychological state of the listener is presented in a form that is easy to grasp without directly communicating between the listeners. In the embodiment, the degree of similarity of the psychological state between the listeners is automatically evaluated by computer processing after collecting the degree of physical movement and the degree of empathy from each listener. Then, the degree of similarity of the psychological state between the listeners can be grasped. In particular, in the system of the present invention, a value determined based on an objective measurement of a physical motion similarity based on a listener's physical motion and a degree of empathy based on the listener's self-determination are used. Using the empathy similarity, which is different from the value determined by the individual listeners based on subjective judgments, the degree of similarity of the psychological state between the listeners, that is, the relationship between the listeners Because it is designed to evaluate gender, it is more accurate or more precise than when evaluating the degree of similarity of psychological state with a single degree of similarity, and it is not too objective and too subjective Instead, it is expected that the degree of similarity of the psychological state between listeners can be determined. The evaluation result of the degree of similarity of the psychological state between the listeners in the one-way communication obtained by the system of the present invention is useful information in the determination of the marketing strategy as described above, the individual introduction service, etc. It is expected to become.
本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。 Other objects and advantages of the present invention will become apparent from the following description of preferred embodiments of the present invention.
１…聴衆間関係性評定システム
１０…データ処理装置
１２…ディスプレイ
１４…携帯端末（スマートフォン等）
１６…記憶装置
Ｓ…加速度センサ
Ｔ…共感度入力装置
Ａ１、Ａ２、Ａ３、Ａ４…聴取者
Ｐ…話者
DESCRIPTION OF SYMBOLS 1 ... Audience
16: storage device S: acceleration sensor T: co-sensitivity input device A1, A2, A3, A4: listener P: speaker
以下に添付の図を参照しつつ、本発明を好ましい実施形態について詳細に説明する。図中、同一の符号は、同一の部位を示す。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals indicate the same parts.
システムの構成
図１を参照して、本発明の好ましい実施形態の一つによる聴衆間の心理状態の類似度合を評定する「聴衆間関係性評定システム１」は、一方向コミュニケーション、即ち、話者Ｐが発する情報を聴衆（聴取者の群）Ａ１、Ａ２、…が聴取する形式のコミュニケーションに於いて、話者Ｐが発する情報に対して共感したか否かといった話者Ｐが発する情報に応じて生ずる心理状態についての聴取者間の類似の度合（聴取者間の関係性）を把握するために利用される。
System Configuration Referring to FIG. 1, an "audience relationship evaluation system 1" for evaluating the degree of similarity of a psychological state between audiences according to one of the preferred embodiments of the present invention is a one-way communication, that is, a speaker. In the form of communication in which the audience (groups of listeners) A1, A2,... Listen to the information emitted by P, according to the information emitted by speaker P, such as whether or not they sympathized with the information emitted by speaker P. This is used to grasp the degree of similarity between listeners (the relationship between listeners) regarding the psychological state that occurs.
本実施形態に於いて、一方向コミュニケーションは、具体的には、講演、演説、会議、上映、上演（コンサート、演劇等）、ネット配信など、聴取者の視聴覚にて認識できる情報（例えば、音声による話、音楽、画像、映像、動画など）が話者Ｐより発せられる形式のコミュニケーションであってよい。話者Ｐは、上記の如き情報を提供する者の総称であり、話者Ｐ自身が聴衆Ａ１、Ａ２、…の面前に登場する場合であっても、登場しない場合であってもよい。また、本実施形態に於いて、一方向コミュニケーションは、聴衆Ａ１、Ａ２、…が一つの会場に集合して同時に情報の提供を受ける場合であっても、聴取者Ａ１、Ａ２、…が個別に別々の場所又は別々の時間帯に情報の提供を受ける場合であってもよい。例えば、一方向コミュニケーションは、パソコン端末、タブレット端末、スマートフォン等を用いたネット配信を通じて各聴取者Ａ１、Ａ２、…が情報の提供を受ける形態であってもよい。なお、図示の例では、聴取者は４名であるが、本実施形態に於いて、聴取者数は、複数であれば、何名であってもよい。 In the present embodiment, the one-way communication is, specifically, information (for example, audio) that can be recognized by the listener's audiovisual sense, such as lectures, speeches, conferences, screenings, performances (concerts, theaters, etc.), and Internet distribution. , A music, an image, a video, a moving image, etc.) may be a form of communication that is emitted from the speaker P. The speaker P is a general term for those who provide information as described above, and the speaker P may or may not appear in front of the audiences A1, A2,... Also, in the present embodiment, the one-way communication is performed by the listeners A1, A2,... Individually even when the audiences A1, A2,. Information may be provided at different places or at different time zones. For example, the one-way communication may be a form in which each listener A1, A2,... Receives information provided through a network distribution using a personal computer terminal, a tablet terminal, a smartphone, or the like. In the illustrated example, there are four listeners. However, in the present embodiment, the number of listeners may be any number as long as the number is plural.
システム１の構成に於いて、具体的には、話者Ｐから情報の提供を受ける聴取者Ａ１、Ａ２、…のそれぞれに於ける心理状態に相関を有する身体動作、例えば、話者Ｐの頭部の動作（しぐさ）を数値的に計測する身体動作量計測手段が設けられる。身体動作量計測手段としては、例えば、図示の如く、聴取者Ａ１、Ａ２、…のそれぞれの頭部に装着され頭部動作の加速度を検出する加速度センサＳであってよく、又は、その他の頭部動作を検出できるものであれば、任意の形式のセンサ（ジャイロセンサ、地磁気センサなど）であってよい。或いは、別の態様として、身体動作量計測手段は、聴取者Ａ１、Ａ２、…のそれぞれの頭部をビデオカメラ（図示せず）にて撮影した動画から聴取者Ａ１、Ａ２、…のそれぞれの頭部の変位量を計測する画像処理装置（図示せず）であってもよい。かかる聴取者Ａ１、Ａ２、…のそれぞれの身体動作量計測手段（センサＳ又は画像処理装置）からの出力は、後に説明されるデータ処理装置１０の受容器Ｒｓにてそれぞれ受容されて、データ処理装置に於ける処理に利用されることとなる。身体動作量計測手段から受容器Ｒｓへの身体動作量又は頭部動作量の送信は、任意の形式の有線通信方式又は無線通信方式にて実行されてよい。なお、以下の説明に於いては、「身体動作」が「頭部動作」である場合について説明されるが、その他の身体部位の動作（手足、肩の動作など）の場合も同様に適用可能であり、本発明の範囲に属することは理解されるべきである。
In the configuration of the system 1, specifically, physical actions correlated with the mental state of each of the listeners A1, A2,... Receiving information from the speaker P, for example, the head of the speaker P A body movement amount measuring means for numerically measuring the operation (gesture) of the unit is provided. The body movement amount measuring means may be, for example, an acceleration sensor S that is attached to each head of the listeners A1, A2,. Any type of sensor (a gyro sensor, a geomagnetic sensor, or the like) may be used as long as it can detect the operation of the unit. Alternatively, as another aspect, the body movement amount measuring means may convert each head of the listeners A1, A2,... From a moving image taken by a video camera (not shown) of each of the listeners A1, A2,. An image processing device (not shown) for measuring the displacement of the head may be used. The outputs from the body movement amount measuring means (sensor S or image processing device) of each of the listeners A1, A2,... Are respectively received by a receptor Rs of a
また、システム１の構成に於いて、聴取者Ａ１、Ａ２、…には、一方向コミュニケーションにより提供された情報に対する聴取者それぞれが自身で判定する心理状態、より具体的には、聴取者自身が判定する、提供された情報に対する「共感の程度」を取得するための手段が準備される。「発明の概要」の欄に於いて既に述べられている如く、聴取者の「共感の程度」は、話者の提供する情報に対して非常に共感した状態から全く共感していない状態（又は反感を覚えた状態）までの間の心理状態の段階であり、それを数値化して、共感度が表される。「共感の程度」を取得するための手段としては、具体的には、一つの形態として、図示の如く、聴取者Ａ１、Ａ２、…に、コンピュータ端末、タブレット端末、スマートフォン、携帯端末などの、聴取者自身が「共感の程度」又は「共感度」を入力できる任意の形態の端末機器Ｔが提供され、かかる端末機器Ｔへの入力は後に説明されるデータ処理装置１０の受容器Ｒｔにてそれぞれ受容されて、データ処理装置１０に於ける処理に利用されることとなる。端末機器Ｔから受容器Ｒｔへの共感の程度又は共感度の送信は、任意の形式の有線通信方式又は無線通信方式にて実行されてよい。或いは、「共感の程度」を取得する手段の別の態様として、聴取者に「共感の程度」又は「共感度」を記入する用紙（アンケート用紙）を配布して、一方向コミュニケーションの実施中又は実施後に用紙を回収して、各聴取者の用紙の記入事項を収集して、各聴取者の「共感の程度」又は「共感度」をデータ処理装置１０の受容器Ｒｔに入力するようになっていてもよい。また、更に、各聴取者の「共感の程度」又は「共感度」がインターネットに於けるサイト（例えば、ＳＮＳのコメント欄など）等の書き込みを参照して（機械的に又は人的に）各聴取者の「共感の程度」又は「共感度」を決定し、それらの結果をデータ処理装置１０の受容器Ｒｔに入力するようになっていてもよい。
Also, in the configuration of the system 1, the listeners A1, A2,... Have a psychological state in which each of the listeners determines the information provided by the one-way communication, more specifically, the listeners themselves. Means are provided for determining and determining the “degree of empathy” for the provided information. As already mentioned in the "Summary of the Invention" section, the "degree of empathy" of the listener may be from a state of being very sympathetic to the information provided by the speaker (or It is the stage of the psychological state up to the state of having an antipathy), which is quantified to express the sympathy. As a means for acquiring the “degree of empathy”, specifically, as one form, as shown in the drawing, listeners A1, A2,. An arbitrary form of terminal device T is provided in which the listener himself can input the "degree of empathy" or "sympathy", and the input to the terminal device T is performed by a receiver Rt of the
そして、図１に示されている如く、本実施形態のシステムに於いては、データ処理装置１０が、受容器Ｒｓ、Ｒｔへの入力を用いて、話者Ｐが発する情報に対する心理状態に於ける聴取者間の関係性（聴取者間の類似の度合）の評定を実行する。データ処理装置１０は、具体的には、各聴取者の身体動作量、典型的には、頭部動作量を受容する受容器Ｒｓ、各聴取者の共感の程度又は共感度を受容する受容器Ｒｔ、受容器Ｒｓにて取得した頭部動作量から各聴取者の心理状態に相関を有する頭部動作特徴量（身体動作特徴量）を抽出又は算出する頭部動作特徴量算出部、受容器Ｒｔにて取得した各聴取者の共感の程度から各聴取者の共感度を算出する共感度算出部（受容器Ｒｔにて各聴取者からの共感度が得られる場合には、その値がそのまま確定される。）、各聴取者の頭部動作特徴量から聴取者間の頭部動作類似度を算出する頭部動作類似度算出部、各聴取者の共感度から聴取者間の共感度類似度を算出する共感度類似度算出部、頭部動作類似度と共感度類似度とから聴取者間の心理状態の類似度合、即ち、聴取者間の関係性の評定を行う聴衆間関係性評定部、及び、聴衆間関係性の評定結果を出力する結果出力部を含む。データ処理装置１０は、典型的には、コンピュータ装置であってよく、通常の態様にて、図示していない双方向コモン・バスにより相互に連結されたＣＰＵ、記憶装置、入出力装置（Ｉ／Ｏ）が装備され、装置の各部の作動は、ＣＰＵに於いてプログラムを実行することにより達成されることとなる。なお、装置内各部の作動は、以下の「システムの作動」の説明に於いて説明される。そして、データ処理装置１０の聴衆間関係性の評定結果は、結果出力部から任意の端末機器のディスプレイ１２や携帯端末１４へ送信されて、表示され、或いは、用紙に印刷されてよく、又、評定結果は、任意の記憶装置１６に送信されて記録されてよい。
Then, as shown in FIG. 1, in the system of the present embodiment, the
システムの作動
一方向コミュニケーションに於いて、一般に、聴取者に於いて、提供される情報に対して同調した頷きや相槌などの頭部動作又はその他の同調した身体動作をする傾向が強いほど、提供される情報に対する満足度が高いことが報告されている。しかしながら、人の内面も千差万別であり、強い頷きを示すにも関わらず全く共感していない場合やその逆となる場合も多々ある。一方、聴取者が自身の共感の程度を自己判定して申告する場合、実際には、共感していないのに、共感しているとの申告をしたり、その逆となる場合もある。本システムでは、聴衆間の心理状態の類似度合を把握するに際して、客観的な計測に基づく頭部動作特徴量から聴衆間の心理状態の類似の程度（頭部動作類似度）を算出し、主観的な申告に基づく共感度から聴衆間の心理状態の類似の程度（共感類似度）を算出し、頭部動作類似度と共感類似度とを参照して、統合的に、より精密に、聴衆間の心理状態の類似度合を評定することが試みられる。本実施形態のシステムの処理に於いては、図２（Ａ）に示されている如く、具体的には、（ａ）一方向コミュニケーションに於ける各聴取者の頭部動作の計測値からの心理状態に相関のある頭部動作特徴量の抽出（ステップ１、２）、（ｂ）聴取者間の頭部動作類似度の算出（ステップ３、４）、（ｃ）各聴取者の自己判定による共感の程度を表す共感度の収集（ステップ５）、（ｄ）聴取者間の共感類似度の算出（ステップ６、７）、（ｅ）聴取者間の関係性の評定（ステップ８）、（ｆ）評定結果の提示、表示又は出力（ステップ９）が実行される。以下、図面を参照しながら、各処理作動について説明する。
In one-way communication, in general, the stronger the listener's tendency to perform synchronized head movements or other synchronized body movements, such as a nod or a hammer, with the information provided, the more It is reported that the degree of satisfaction with the information obtained is high. However, there are many cases in which the inside of a person is different, and despite showing a strong nod, there is often no sympathy at all or vice versa. On the other hand, when the listener self-assesses and declares the degree of empathy, the listener may actually declare that he / she does not sympathize but vice versa. In this system, when grasping the degree of similarity of the psychological state between the audiences, the degree of similarity of the mental state between the audiences (head motion similarity) is calculated from head movement feature amounts based on objective measurement, The degree of similarity of the psychological state between the audiences (sympathetic similarity) is calculated from the sympathy based on the common declaration, and the audience is integrated and more precisely integrated with reference to the head movement similarity and the empathic similarity. An attempt is made to evaluate the degree of similarity of the psychological state between them. In the processing of the system according to the present embodiment, as shown in FIG. 2A, specifically, (a) measurement of the head movement of each listener in one-way communication is performed. Extraction of head movement features correlated with mental state (Steps 1 and 2), (b) Calculation of head movement similarity between listeners (Steps 3 and 4), (c) Self-determination of each listener (Step 5), (d) calculation of the degree of empathy between listeners (steps 6 and 7), (e) evaluation of the relationship between listeners (step 8), (F) Presentation, display or output of the evaluation result (step 9) is performed. Hereinafter, each processing operation will be described with reference to the drawings.
（ａ）各聴取者の頭部動作の計測と頭部動作特徴量の抽出（ステップ１、２）
既に述べた如く、各聴取者の頭部動作の計測は、各聴取者の頭部に装着された加速度センサＳによる頭部変位に於ける加速度の計測或いはビデオカメラの映像に於ける各聴取者の頭部の像の変位量の計測により、各聴取者について実行される（ステップ１）。例えば、加速度センサＳにより計測される各聴取者の頭部変位加速度は、図３（Ａ）に例示されている如く、時系列に計測される。なお、その他のセンサを用いた場合、ビデオカメラ映像内の各聴取者の頭部の変位量を計測した場合も計測値の単位は異なるが同様に時系列に計測値が得られる。かくして、各聴取者の頭部動作量の時系列データが得られると、頭部動作特徴量算出部に於いて、聴取者の各々の心理状態に相関を有する頭部動作特徴量が時系列データとして算出される（ステップ２）。頭部動作特徴量としては、具体的には、単位時間当たりの頷きの回数（図３（Ｂ））、単位時間に於ける頭部の変位加速度の標準偏差（図３（Ｃ））などであってよい（単位時間は、例えば、１秒間など、適合により設定されてよい。）。
(A) Measurement of head movements of each listener and extraction of head movement feature amounts (steps 1 and 2)
As described above, the head movement of each listener is measured by measuring the acceleration in the head displacement by the acceleration sensor S mounted on the head of each listener, or by measuring each listener in the video camera image. Is executed for each listener by measuring the amount of displacement of the image of the head (step 1). For example, the head displacement acceleration of each listener measured by the acceleration sensor S is measured in a time series as illustrated in FIG. When other sensors are used, when the displacement of the head of each listener in the video camera image is measured, the measurement values are different but the measurement values are similarly obtained in time series. Thus, when the time series data of the head movement amount of each listener is obtained, the head movement feature amount having a correlation with each of the listener's psychological states is calculated by the head movement feature amount calculation unit. (Step 2). Specifically, the head movement feature amount includes the number of nods per unit time (FIG. 3B), the standard deviation of the head displacement acceleration per unit time (FIG. 3C), and the like. (The unit time may be set by adaptation, such as 1 second, for example).
（ｂ）聴取者間の頭部動作類似度の算出（ステップ３、４）
各聴取者の頭部動作特徴量が算出されると、聴取者間の頭部動作の類似の程度を表す頭部動作類似度が算出される（頭部動作類似度算出部）。頭部動作類似度は、聴衆のうちの、二人の聴衆者の組み合わせの全てについて、二人の聴衆者の頭部動作特徴量を用いて算出される（ステップ４）。既に触れた如く、聴取者に於いて、提供される情報に対して頭部動作又はその他の身体動作が同調しているほど、提供される情報に対する満足感、共感の程度が大きいと推定されるところ、任意の二人の聴取者に於いて、かかる頷きや相槌などの頭部動作又は身体動作のタイミングが類似又は一致しているほど、両者の心理状態は類似しているものと推定される。かくして、頭部動作類似度としては、そのような頭部動作又は身体動作のタイミングの類似の程度を計ることのできる任意の数値が採用されてよい。具体的には、頭部動作類似度は、二人の聴取者の頭部動作特徴量の時系列データのコサイン類似度、相関係数、相互相関関数値、ハミング距離などであってよい。なお、頭部動作類似度は、通常、聴取者間の頭部動作の類似の程度が高いほど、大きな値となるよう算出されるが、これに限定されない。そして、図３（Ｄ）に例示されている如く、聴衆に於ける二人の聴衆者の組み合わせの各々に対して、頭部動作類似度が算出される。図示の例は、二者の頭部加速度の標準偏差値の時系列データのコサイン類似度である（６０秒間に亙る１秒間毎の頭部加速度の標準偏差値を６０次元ベクトルの成分とした。）。
(B) Calculation of head movement similarity between listeners (steps 3 and 4)
When the head movement feature amount of each listener is calculated, a head movement similarity indicating the degree of similarity of the head movement between the listeners is calculated (head movement similarity calculator). The head movement similarity is calculated using the head movement feature amounts of the two listeners for all combinations of the two viewers in the audience (step 4). As already mentioned, it is presumed that the degree of satisfaction and empathy for the provided information increases as the head movement or other body movements are synchronized with the provided information in the listener. However, in any two listeners, it is presumed that the more similar or coincident the timing of the head motion or body motion such as such a nodding or a hammer, the more similar the psychological state of both is . Thus, as the head motion similarity, any numerical value that can measure the degree of similarity in the timing of such head motion or body motion may be adopted. Specifically, the head movement similarity may be a cosine similarity, a correlation coefficient, a cross-correlation function value, a Hamming distance, or the like of the time series data of the head movement characteristic amounts of the two listeners. Note that the head motion similarity is generally calculated such that the higher the degree of similarity of the head motion between listeners, the larger the value, but the present invention is not limited to this. Then, as illustrated in FIG. 3D, the head motion similarity is calculated for each combination of two viewers in the audience. The illustrated example is the cosine similarity of the time-series data of the standard deviation values of the head accelerations of the two persons (the standard deviation value of the head acceleration every second over 60 seconds is a 60-dimensional vector component. ).
（ｃ）各聴取者の自己判定による共感の程度を表す共感度の収集（ステップ５）
上記のステップ１〜４の処理とは別に、各聴取者の共感の程度を表す共感度の収集が実行される。既に述べた如く、各聴取者の自己判定による共感の程度又は共感度は、各聴取者の配布される端末機器Ｔへの入力又は用紙等の記載を通じて収集される。各聴取者の共感の程度は、具体的には、図４（Ａ）に模式的に描かれている如く、話者Ｐの提供した情報に対して共感しない状態から共感した状態まででいずれの段階にあるかを各聴取者が自身で判断して決定して入力するか、文言に記載する。そして、その入力又は記載の共感の程度が、図４（Ｂ）に模式的に描かれている如く、共感度として数値化される。典型的には、共感度は、共感の程度が強いほど高くなるように、共感しない状態を０に設定し、共感した状態を１００に設定するなどして決定されてよい（共感度は、共感するほど低い値に設定されてもよい。）。かかる共感の程度から共感度への数値化は、ＶＡＳ（Visual Analog Scale）法やリッカート尺度法などにより為されてよい。各聴取者が共感の程度を文言で表現したり、図４（Ａ）に例示されている如きスケールバー上の位置にて入力する場合には、共感度算出部にて、共感の程度が機械的に共感度として数値化される。また、各聴取者が共感度を端末機器等へ入力する場合には、共感度算出部は、その数値を確認する処理を実行するか、或いは、共感度算出部が省略されてもよい。
(C) Collection of sympathy indicating the degree of empathy based on the self-judgment of each listener (Step 5)
Apart from the processing of steps 1 to 4, the collection of sympathy indicating the degree of sympathy of each listener is executed. As described above, the degree of sympathy or the sympathy of each listener based on self-determination is collected through the input to the terminal device T distributed by each listener or the description on a sheet or the like. Specifically, as shown schematically in FIG. 4A, the degree of sympathy of each listener is from a state in which the listener P does not sympathize to a state in which the information provided by the speaker P is sympathetic. Each listener determines whether or not it is in the stage by himself / herself, and inputs or writes it in the wording. Then, the degree of empathy in the input or description is quantified as sympathy, as schematically illustrated in FIG. 4B. Typically, the sympathy may be determined by setting the unsympathetic state to 0 and setting the empathic state to 100, such that the higher the degree of empathy, the higher the degree of empathy. May be set to a lower value.) The numerical conversion from the degree of the empathy to the sympathy may be performed by a VAS (Visual Analog Scale) method, a Likert scale method, or the like. When each listener expresses the degree of empathy in words or inputs it at a position on the scale bar as illustrated in FIG. 4A, the degree of empathy is determined by the Is numerically expressed as co-sensitivity. When each listener inputs the co-sensitivity to the terminal device or the like, the co-sensitivity calculation unit may execute a process of confirming the numerical value, or the co-sensitivity calculation unit may be omitted.
（ｄ）聴取者間の共感類似度の算出（ステップ６、７）
各聴取者の共感度が収集されると、聴取者間の共感度の類似の程度を表す共感類似度が算出される（共感類似度算出部）。共感類似度は、聴衆のうちの、二人の聴衆者の組み合わせの全てについて、二人の聴衆者の共感度を用いて算出される（ステップ７）。共感類似度は、通常、聴取者間の共感度の類似の程度が高いほど、大きな値となるよう算出されるが、これに限定されない。例として、例えば、共感類似度は、
共感類似度＝１００−［二人の聴取者の共感度の差分］
にて算出されてよい（この場合、共感度の類似の程度が高いほど、共感類似度が高くなる。）。そして、図４（Ｃ）に例示されている如く、聴衆に於ける二人の聴衆者の組み合わせの各々に対して、共感類似度が算出される。
(D) Calculation of the degree of empathy between listeners (steps 6 and 7)
When the sympathy of each listener is collected, an empathic similarity indicating the degree of similarity of the sympathy between the listeners is calculated (an empathic similarity calculating unit). The empathic similarity is calculated using the sympathy of the two audiences for all combinations of the two audiences in the audience (step 7). The empathic similarity is generally calculated to be larger as the degree of similarity of the sympathy between listeners is higher, but is not limited to this. As an example, for example, the empathic similarity is
Empathy similarity = 100− [difference in empathy between two listeners]
(In this case, the higher the degree of similarity of the sympathy, the higher the degree of empathy similarity.) Then, as illustrated in FIG. 4C, the empathic similarity is calculated for each combination of the two viewers in the audience.
（ｅ）聴取者間の関係性の評定（ステップ８）
聴取者間の頭部動作類似度と共感類似度とが算出されると、それらの値を参照して、聴取者間関係性評定部にて、聴取者間の関係性、即ち、聴取者間の心理状態の類似の度合、の評定が実行される。かかる評定に於いては、頭部動作類似度と共感類似度とのそれぞれが表す心理状態の類似の程度の組み合わせによって、種々の評定が為されてよい。具体的には、例えば、頭部動作類似度と共感類似度が共に、類似の程度が大きいほど、大きな値となるように算出されている場合に、或る聴取者Ａｉ、Ａｊとの関係性の評定をする際には、図２（Ｂ）に例示されている如く、聴取者Ａｉ、Ａｊ間の頭部動作類似度Ｖｓｉｊが閾値Ｔｈｓよりも大きいか否か、及び、聴取者Ａｉ、Ａｊ間の共感類似度Ｖｔｉｊが閾値Ｔｈｔよりも大きいか否かに応じて、聴取者Ａｉ、Ａｊ間の関係性が別々に評定されてよい。図示の例では、下記のように評定される。
（ｉ）Ｖｓｉｊ＞Ｔｈｓ且つＶｔｉｊ＞Ｔｈｔの場合
１：高関係性−客観的及び主観的な判定の両方で心理状態が類似
動作パターンや心情の表明の仕方が共に似ていることを表し、高い関係性を持つ。そのペア間で円滑にコミュニケーションが取れる可能性が高い。
（ii）Ｖｓｉｊ≦Ｔｈｓ且つＶｔｉｊ≦Ｔｈｔの場合
２：低関係性−客観的及び主観的な判定の両方で心理状態が非類似
動作パターンや心情の表明の仕方が共に似ていないため、関係性が低いと推定される。
（iii）Ｖｓｉｊ≦Ｔｈｓ且つＶｔｉｊ＞Ｔｈｔの場合
３：潜在的高関係性−主観的な判定でのみ心理状態が類似
同じような心情の表明の仕方をするが、動作パターンには出ていない状態。そのペア間で円滑にコミュニケーションが取れる可能性がある。
（iv）Ｖｓｉｊ＞Ｔｈｓ且つＶｔｉｊ≦Ｔｈｔの場合
４：潜在的低関係性−主観的な判定でのみ心理状態が非類似
同じような動作パターンをするが、心情の表明の仕方が異なる状態。
上記の評定は、聴衆のうちの二人の聴取者の組み合わせの全てについて実行されてよい。かくして、頭部動作類似度と共感類似度との複数のプロセスを通じて取得された聴取者間の心理状態の類似の程度を参照することにより、より綿密に聴取者間の心理状態の類似度合を評定することが可能となる。
(E) Assessing the relationship between listeners (Step 8)
When the head motion similarity between the listeners and the empathic similarity are calculated, with reference to those values, the inter-listener relationship evaluation unit determines the relationship between the listeners, that is, between the listeners. An evaluation of the degree of similarity of the psychological state is performed. In such an evaluation, various evaluations may be made based on a combination of degrees of similarity of psychological states represented by the head motion similarity and the empathic similarity. Specifically, for example, when both the head motion similarity and the empathy similarity are calculated to be larger as the degree of similarity is larger, the relationship with a certain listener Ai, Aj At the time of rating, as illustrated in FIG. 2B, whether the head movement similarity Vsij between the listeners Ai and Aj is larger than the threshold Ths, and whether the listeners Ai and Aj The relationship between the listeners Ai and Aj may be separately evaluated depending on whether or not the empathic similarity Vtij between them is greater than the threshold Tht. In the illustrated example, the rating is as follows.
(I) In the case of Vsij> Ths and Vtij> Tht 1: High relationship—indicates that the mental state is similar in both the objective state and the subjective judgment in both the similar motion pattern and the manner of expressing emotion, and is high. Have a relationship. There is a high possibility that communication can be taken smoothly between the pair.
(Ii) In the case of Vsij ≦ Ths and Vtij ≦ Tht 2: Low relationship—the psychological state is not similar in both objective and subjective judgments, and the manner of expressing emotions is not similar. Is estimated to be low.
(Iii) In the case of Vsij ≦ Ths and Vtij> Tht 3: Potentially high relationship—Similar mental state is expressed only by subjective judgment, but the same emotional state is expressed, but not in the motion pattern. . There is a possibility that communication can be taken smoothly between the pair.
(Iv) In the case of Vsij> Ths and Vtij ≦ Tht 4: Potentially low relationship—a state in which mental states dissimilar and have similar behavior patterns only by subjective judgment, but states in which emotions are expressed differently.
The above rating may be performed for all combinations of two listeners in the audience. Thus, by referring to the degree of similarity of the psychological state between the listeners obtained through the multiple processes of the head movement similarity and the empathic similarity, the degree of similarity of the psychological state between the listeners is more closely evaluated. It is possible to do.
（ｆ）評定結果の提示、表示又は出力（ステップ９）
かくして、上記の如く、聴衆間の関係性の評定がなされると、その結果が種々の形式にて任意の端末機器のディスプレイ１２、携帯端末１４、紙媒体（図示せず）等に表示され、或いは、記憶装置１６に保存される。結果表示の一つの形式に於いては、図５（Ａ）に例示されている如く、表形式にて、聴衆間の関係性が可視化されてよい。或いは、図５（Ｂ）に模式的に描かれている如く、聴取者間を関係性の種別が把握できる態様にてネットワーク図の形式にて聴衆間の関係性が可視化されてもよい。
(F) Presentation, display or output of the evaluation result (step 9)
Thus, as described above, when the relationship between the audiences is evaluated, the results are displayed in various formats on the
上記の処理に於いて、頭部動作量の計測（ステップ１）は、一方向コミュニケーションの実施中に実行されるが、その他の処理は、一方向コミュニケーションの実施中及び実施後のいずれに於いて実行されてもよく、いずれの場合の本発明の範囲に属することは理解されるべきである。 In the above processing, the measurement of the head movement amount (step 1) is performed during the execution of the one-way communication, but the other processing is performed during and after the execution of the one-way communication. It is to be understood that they may be practiced and fall within the scope of the invention in any case.
図６は、本システムにより、或る一方向コミュニケーションの実施中の聴取者が４人の場合に頭部動作類似度及び共感類似度の算出並びに聴取者間関係性の評定を実施した場合の結果を示している。図中、数値は、それぞれ、聴取者間の頭部動作類似度及び共感類似度を示している。図示の如く、本システムによれば、一方向コミュニケーションに於ける客観的及び主観的な手法の双方による聴取者の心理状態の判定結果に基づき、聴取者間の関係性がより細かく評定できることとなる。 FIG. 6 shows the results of calculation of head movement similarity and empathy similarity and evaluation of the relationship between listeners when the number of listeners performing a certain one-way communication is four by this system. Is shown. In the figure, numerical values indicate the head movement similarity and the empathy similarity between listeners, respectively. As shown in the figure, according to the present system, the relationship between listeners can be more finely evaluated based on the judgment result of the psychological state of the listener by both objective and subjective methods in one-way communication. .
以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。 Although the above description has been made in connection with the embodiments of the present invention, many modifications and changes are easily possible for those skilled in the art, and the present invention is limited to only the above-exemplified embodiments. It will be apparent that the invention is not limited and can be applied to various devices without departing from the concept of the invention.
Claims (1)
前記複数の聴取者の各々の心理状態に相関を有する前記聴取者の各々の身体動作の大きさを数値で表現した身体動作量を計測する身体動作量計測手段と、
前記聴取者の各々について前記計測された身体動作量から前記心理状態に相関を有する身体動作特徴量を抽出する身体動作特徴量抽出手段と、
前記聴取者間の各々に於ける身体動作特徴量の類似の程度を数値にて表現した身体動作類似度を算出する身体動作類似度算出手段と、
前記複数の聴取者の各々によって判定される前記話者の提供する情報に対する前記複数の聴取者の各々の共感の程度を数値で表現した共感度を取得する共感度取得手段と、
前記聴取者間の各々に於ける前記共感度の類似の程度を数値で表現した共感類似度を算出する共感類似度算出手段と、
前記身体動作類似度と前記共感類似度とに基づいて前記複数の聴取者間の各々に於ける心理状態の類似度合を評定する心理状態類似度合評定手段と
前記複数の聴取者間の各々に於ける前記心理状態の類似度合を表示する表示手段と
を含むシステム。 A system for evaluating and presenting a degree of similarity of a psychological state among a plurality of listeners in one-way communication in which a plurality of listeners listen to information provided by a speaker,
Body movement amount measurement means for measuring a body movement amount expressed by a numerical value of the size of each body movement of the listener having a correlation with the psychological state of each of the plurality of listeners,
Body movement feature amount extraction means for extracting a body movement feature amount having a correlation with the psychological state from the measured body movement amount for each of the listeners,
Body movement similarity calculating means for calculating a body movement similarity expressed by a numerical value representing the degree of similarity of the body movement feature amount between the listeners,
Sympathy acquisition means for acquiring a sympathy in which the degree of sympathy of each of the plurality of listeners is expressed numerically for information provided by the speaker determined by each of the plurality of listeners,
Empathic similarity calculating means for calculating an empathic similarity expressed in numerical values of the degree of similarity of the sympathy in each of the listeners,
A psychological state similarity assessment means for assessing a psychological similarity between each of the plurality of listeners based on the physical motion similarity and the empathy similarity; Display means for displaying the degree of similarity of the psychological state in the display.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018171403A JP7003883B2 (en) | 2018-09-13 | 2018-09-13 | A system for assessing the degree of similarity in psychological states between audiences |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018171403A JP7003883B2 (en) | 2018-09-13 | 2018-09-13 | A system for assessing the degree of similarity in psychological states between audiences |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020042709A true JP2020042709A (en) | 2020-03-19 |
| JP7003883B2 JP7003883B2 (en) | 2022-01-21 |
Family
ID=69798431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018171403A Active JP7003883B2 (en) | 2018-09-13 | 2018-09-13 | A system for assessing the degree of similarity in psychological states between audiences |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7003883B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023145350A1 (en) * | 2022-01-25 | 2023-08-03 | パナソニックＩｐマネジメント株式会社 | Information processing method, information processing system, and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007102481A (en) * | 2005-10-04 | 2007-04-19 | Hitachi Ltd | Marketing system |
| JP2009230363A (en) * | 2008-03-21 | 2009-10-08 | Sony Corp | Display unit and display method therefor |
| JP2015152957A (en) * | 2014-02-10 | 2015-08-24 | 大日本印刷株式会社 | Server device, program and information providing method |
-
2018
- 2018-09-13 JP JP2018171403A patent/JP7003883B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007102481A (en) * | 2005-10-04 | 2007-04-19 | Hitachi Ltd | Marketing system |
| JP2009230363A (en) * | 2008-03-21 | 2009-10-08 | Sony Corp | Display unit and display method therefor |
| JP2015152957A (en) * | 2014-02-10 | 2015-08-24 | 大日本印刷株式会社 | Server device, program and information providing method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023145350A1 (en) * | 2022-01-25 | 2023-08-03 | パナソニックＩｐマネジメント株式会社 | Information processing method, information processing system, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7003883B2 (en) | 2022-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10007921B2 (en) | Automatic analysis of rapport | |
| JP7427611B2 (en) | Computer-implemented system and method for determining user attention | |
| KR20180137490A (en) | Personal emotion-based computer-readable cognitive memory and cognitive insights for memory and decision making | |
| US20130102854A1 (en) | Mental state evaluation learning for advertising | |
| US9241664B2 (en) | Using physical sensory input to determine human response to multimedia content displayed on a mobile device | |
| JP6715410B2 (en) | Evaluation method, evaluation device, evaluation program, and evaluation system | |
| JP2009267621A (en) | Communication apparatus | |
| Wataya et al. | Ambient sensing chairs for audience emotion recognition by finding synchrony of body sway | |
| US20220383896A1 (en) | System and method for collecting behavioural data to assist interpersonal interaction | |
| US20130052621A1 (en) | Mental state analysis of voters | |
| JP7003883B2 (en) | A system for assessing the degree of similarity in psychological states between audiences | |
| WO2022168185A1 (en) | Video session evaluation terminal, video session evaluation system, and video session evaluation program | |
| WO2022168180A1 (en) | Video session evaluation terminal, video session evaluation system, and video session evaluation program | |
| WO2022064621A1 (en) | Video meeting evaluation system and video meeting evaluation server | |
| JP7471683B2 (en) | Reaction notification system | |
| WO2022113248A1 (en) | Video meeting evaluation terminal and video meeting evaluation method | |
| JP7465013B2 (en) | Video meeting evaluation terminal, video meeting evaluation system and video meeting evaluation program | |
| WO2022064620A1 (en) | Video meeting evaluation system and video meeting evaluation server | |
| JP7465012B2 (en) | Video meeting evaluation terminal, video meeting evaluation system and video meeting evaluation program | |
| WO2022145039A1 (en) | Video meeting evaluation terminal, video meeting evaluation system and video meeting evaluation program | |
| WO2022145041A1 (en) | Video meeting evaluation terminal, video meeting evaluation system, and video meeting evaluation program | |
| JP6824146B2 (en) | Evaluation device, method and program | |
| WO2022145038A1 (en) | Video meeting evaluation terminal, video meeting evaluation system and video meeting evaluation program | |
| WO2022168174A1 (en) | Video session evaluation terminal, video session evaluation system, and video session evaluation program | |
| WO2022064617A1 (en) | Video meeting evaluation system and video meeting evaluation server |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211213 |