JP2013099373A - Non-verbal information analyzing device, non-verbal information analyzing program and non-verbal information analyzing method - Google Patents
Non-verbal information analyzing device, non-verbal information analyzing program and non-verbal information analyzing method Download PDFInfo
- Publication number
- JP2013099373A JP2013099373A JP2011243573A JP2011243573A JP2013099373A JP 2013099373 A JP2013099373 A JP 2013099373A JP 2011243573 A JP2011243573 A JP 2011243573A JP 2011243573 A JP2011243573 A JP 2011243573A JP 2013099373 A JP2013099373 A JP 2013099373A
- Authority
- JP
- Japan
- Prior art keywords
- person
- unit
- linguistic information
- verbal
- strength
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本件開示は、人物の表情や身振りなどを表す非言語情報を解析する非言語情報解析装置および非言語情報解析プログラム並びに非言語情報解析方法に関する。 The present disclosure relates to a non-linguistic information analyzing apparatus, a non-linguistic information analyzing program, and a non-linguistic information analyzing method for analyzing non-linguistic information representing a facial expression or gesture of a person.
遠隔地に住んでいる家族の様子を見守るサービスとして、例えば、電気ポットなどの家電製品の利用状況などに基づいて、生活リズムに関する情報を収集する技術が提案されている(特許文献1参照)。 As a service for watching the state of a family living in a remote place, for example, a technique for collecting information on life rhythm based on the usage status of home appliances such as an electric kettle has been proposed (see Patent Document 1).
一方、人物を撮影した画像に含まれる特徴点の位置変化などに基づいて、当該人物の表情を判断する技術が提案されている(特許文献2参照)。また、映像コンテンツなどを視聴している人物の瞳孔が拡大あるいは縮小する反応の速度や視線の動きに基づいて、当該人物が興奮している度合いなどを含む情動の大きさを推測する技術なども提案されている(特許文献3参照)。 On the other hand, a technique for determining the facial expression of a person based on a change in the position of a feature point included in an image obtained by photographing the person has been proposed (see Patent Document 2). There is also a technology for estimating the size of emotion including the degree of excitement of the person based on the speed of reaction and the movement of the line of sight that the pupil of the person watching the video content expands or contracts. It has been proposed (see Patent Document 3).
遠隔地の家族の見守りを支援するためには、例えば、見守り対象の人物の表情や身振りなどを表す非言語情報から、当該人物が表に出していない感情を推測する手がかりとなる情報を収集することが望ましい。 In order to support the monitoring of a family at a remote location, for example, from the non-linguistic information indicating the facial expression or gesture of the person being watched, information that is a clue to guess the emotion that the person does not appear on the table is collected It is desirable.
上述した特許文献2などの技法によれば、見守り対象の人物を撮影した画像を解析することにより、当該人物が表に出した表情の種類を判断することは可能である。
According to the technique such as
しかしながら、見守り対象の人物は、画像の撮影の際に、例えば、笑顔など、他の家族を安心させるような種類の表情を装う可能性がある。そして、このような装われた表情と、当該人物の自然な感情から表れた表情とを、特許文献2の技法によって区別することは困難である。
However, there is a possibility that the person to be watched will disguise a kind of facial expression that makes other family members feel at ease, for example, when a picture is taken. And it is difficult to distinguish such a facial expression and a facial expression appearing from the natural emotion of the person by the technique of
一方、特許文献3の技法では、視線検出や瞳孔反応の観測などのために、見守り対象の人物に大掛かりな装置を装着する必要があり、見守り対象の人物の負担が大きくなってしまう。また、この技法は、視聴しているコンテンツに対して対象の人物が抱く関心の大きさを評価可能である反面、人物の穏やかな表情を判断することは困難である。 On the other hand, in the technique of Patent Document 3, it is necessary to attach a large-scale device to a person to be watched for gaze detection or pupil reaction observation, and the burden on the person to be watched increases. In addition, this technique can evaluate the degree of interest of the target person with respect to the content being viewed, but it is difficult to determine the gentle expression of the person.
本件開示は、人物が表出する非言語反応から、当該人物が自然な表情を表している度合いを示す情動度あるいは当該人物の他者に対する反応の大きさを示す同調度を評価することが可能な非言語情報解析方法および非言語情報解析装置を提供することを目的とする。また、本件開示は、情動度および同調度の評価を通じて、当該人物が表出していない感情を推測するための情報を収集可能な非言語情報解析装置および非言語情報解析プログラム並びに非言語情報解析方法を提供することを目的とする。 In this disclosure, it is possible to evaluate the degree of emotion indicating the degree to which the person expresses a natural expression or the degree of synchronization indicating the magnitude of the reaction to the other person from the non-verbal reaction that the person expresses. An object of the present invention is to provide a non-linguistic information analysis method and a non-linguistic information analysis apparatus. The present disclosure also discloses a non-linguistic information analysis apparatus, a non-linguistic information analysis program, and a non-linguistic information analysis method capable of collecting information for inferring emotions that the person does not express through evaluation of emotion level and degree of synchronization The purpose is to provide.
一つの観点による非言語情報解析装置は、人物の表情もしくは身振りを含む非言語反応を観測するセンサ部と、前記センサ部が取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さをそれぞれ示す計測値を含む非言語情報を生成する生成部と、前記生成部で生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する第1評価部とを有する。 A non-linguistic information analysis apparatus according to one aspect includes a sensor unit for observing a non-linguistic reaction including a facial expression or gesture of a person, and at least one non-linguistic reaction expressed by the person from observation data acquired by the sensor unit. A generation unit that generates non-linguistic information including measurement values each indicating the strength of the character, and a non-linguistic reaction strength that represents the emotional expression of the person included in the non-linguistic information generated by the generation unit And a first evaluation unit that evaluates an emotion level indicating a high possibility that the emotional expression is a natural expression of the person's emotion based on characteristics of temporal variation of the measurement value.
別の観点による非言語情報解析装置は、人物の表情もしくは身振りを含む非言語反応を観測するセンサ部と、前記センサ部が取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する生成部と、刺激媒体から前記人物へ刺激を与えたタイミングで、前記生成部に対して非言語情報を生成させる制御を行う生成制御部と、前記生成部で生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する第2評価部とを有する。 A non-linguistic information analysis apparatus according to another aspect includes a sensor unit for observing a non-linguistic reaction including a facial expression or gesture of a person, and at least one non-linguistic reaction expressed by the person from observation data acquired by the sensor unit. A generation unit that generates non-linguistic information including a measurement value indicating the strength of the image, and a generation control unit that controls the generation unit to generate non-linguistic information at a timing when a stimulus is given from the stimulation medium to the person And the magnitude of the fluctuation of the measured value indicating the strength of the at least one non-linguistic reaction included in the non-linguistic information generated by the generating unit, the timing when the fluctuation appears, and the person from the stimulation medium And a second evaluation unit that evaluates a degree of synchronization indicating the level of interest of the person in the stimulation medium based on the relationship with the timing of the stimulation.
また、別の観点による非言語情報解析プログラムは、コンピュータに、人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成させ、生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価させる。 In addition, the non-linguistic information analysis program according to another aspect is provided, wherein at least one non-linguistic reaction expressed by the person is obtained from observation data acquired from a sensor unit that observes a non-linguistic reaction including facial expression or gesture of the person. Non-linguistic information including a measured value indicating the strength of the person, and the temporal variation of the measured value indicating the strength of the non-linguistic reaction that represents the emotional expression of the person included in the generated non-linguistic information. Based on the feature, the emotional degree indicating the high possibility that the emotion expression is a natural expression of the emotion of the person is evaluated.
更に別の観点による非言語情報解析プログラムは、コンピュータが、人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する。 Furthermore, a non-linguistic information analysis program according to another aspect is provided when a computer receives a stimulus from a stimulus medium from observation data acquired from a sensor unit that observes a non-language response including a human facial expression or gesture. Non-linguistic information including a measurement value indicating the strength of at least one non-verbal response is generated, and fluctuations in the measurement value indicating the strength of the at least one non-language response included in the generated non-language information And the degree of synchrony indicating the degree of interest of the person in the stimulation medium is evaluated based on the relationship between the timing at which the fluctuation appears and the timing at which the person receives stimulation from the stimulation medium.
また、別の観点による非言語情報解析方法は、人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する。 Further, the non-linguistic information analysis method according to another aspect is the strength of at least one non-verbal reaction expressed by the person from the observation data acquired from the sensor unit that observes the non-verbal reaction including facial expression or gesture of the person. Non-linguistic information including a measured value indicating the non-verbal information is generated, and the non-verbal information included in the generated non-linguistic information is based on characteristics of temporal variation of the measured value indicating the strength of the non-verbal reaction that represents the expression of the person Then, the emotional degree indicating the high possibility that the emotion expression is a natural expression of the emotion of the person is evaluated.
別の観点による非言語情報解析方法は、人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する。 According to another aspect of the non-linguistic information analysis method, at least one expressed when a person receives a stimulus from a stimulus medium from observation data acquired from a sensor unit that observes a non-verbal reaction including a person's facial expression or gesture. Generating non-linguistic information including a measurement value indicating the strength of one non-language response, and a magnitude of variation in the measurement value indicating the strength of the at least one non-language response included in the generated non-language information; Based on the relationship between the timing at which the variation appears and the timing at which the person receives stimulation from the stimulation medium, the degree of synchronization indicating the interest of the person in the stimulation medium is evaluated.
本件開示の非言語情報解析装置および非言語情報解析プログラム並びに非言語情報解析方法によれば、人物が表出する非言語反応から、当該人物が自然な表情を表している度合いあるいは他者に対する反応の大きさを示す情報を収集することが可能となる。 According to the non-linguistic information analysis device, the non-linguistic information analysis program, and the non-linguistic information analysis method disclosed herein, the degree to which the person expresses a natural expression or the reaction to others from the non-language reaction that the person expresses It is possible to collect information indicating the size of the.
以下、図面に基づいて、本発明の実施形態について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、非言語情報解析装置の一実施形態を示している。図1に例示した非言語情報解析装置10は、センサ部11と、生成部12と、第1評価部13とを含んでいる。
FIG. 1 shows an embodiment of a non-linguistic information analysis apparatus. The non-linguistic
センサ部11は、人物P1の表情もしくは身振りを含む非言語反応を観測する。生成部12は、センサ部11が取得した観測データから、人物P1が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する。第1評価部13は、生成された非言語情報に含まれる、人物P1の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、感情表現が人物P1の感情の自然な表れである可能性の高さを示す情動度を評価する。
The
センサ部11は、人物P1の表情や身振りなどの視覚的な非言語反応の観測に用いるカメラや、音声や接触などの聴覚や触覚によって捉えられる非視覚的な非言語反応を観測する機能を有するセンサデバイスを含んでいてもよい。なお、図1では、センサ部11に含まれるカメラや他のセンサデバイスの図示は省略している。
The
生成部12は、例えば、人物P1をセンサ部11に含まれるカメラによって得られた画像データに対して顔認識処理などの画像処理を適用することにより、人物P1の顔や手を含む各部位の位置および顔に含まれる各特徴点の位置を示す位置情報を取得する。また、これらの位置情報に基づいて、生成部12は、人物P1の表情が笑顔である度合いを示す笑顔度や、手や首の動きの大きさおよび動きの頻度などを示す計測値を得ることができる。これらの計測値は、人物P1が表出した個々の非言語反応の強さを示す計測値である。
For example, the
人物P1は、意識的な感情表現として、顔の表情や身振り、手のジェスチャーや、発話音声の抑揚など、様々な非言語反応を表出する。このような感情表現として表出された非言語反応が、人物P1の情動に由来している場合に、これらの非言語反応の強さは、人物P1の情動の変動を反映する。このため、生成部12によって生成される非言語情報に含まれる各計測値は、急激な増大や揺らぎを伴って、時間的に不規則に変動する場合が多い。
The person P1 expresses various nonverbal reactions such as facial expressions and gestures, hand gestures, and speech speech inflection as conscious emotional expressions. When the non-verbal reaction expressed as such emotional expression is derived from the emotion of the person P1, the strength of these non-language reactions reflects the fluctuation of the emotion of the person P1. For this reason, each measurement value included in the non-linguistic information generated by the
一方、人物P1が笑顔を装った場合などに、この人物P1の画像を解析して得られる笑顔度は、この人物P1が自然に笑顔になった場合に比べて、緩やかに、また、規則的に上昇する場合が多い。 On the other hand, when the person P1 looks like a smile, the smile degree obtained by analyzing the image of the person P1 is more gradual and regular than when the person P1 naturally smiles. Often rises to
図2は、非言語反応の強さを示す計測値の時間変動の例を示している。図2において、横軸は、時間tを示し、縦軸は、計測値の一例である笑顔度sを示す。 FIG. 2 shows an example of the time variation of the measured value indicating the strength of the non-verbal response. In FIG. 2, the horizontal axis represents time t, and the vertical axis represents smile degree s, which is an example of a measured value.
図2において、符号S1(t)で示したグラフは、自然な笑顔を形成している可能性の高い人物を撮影した画像に対して顔認識処理を行って得られた笑顔度の時間変化を示す。また、符号S2(t)で示したグラフは、作為的な笑顔を形成している可能性の高い人物を撮影した画像に対して顔認識処理を行って得られた笑顔度の時間変化を示す。 In FIG. 2, the graph indicated by reference sign S <b> 1 (t) shows the temporal change in the degree of smile obtained by performing face recognition processing on an image obtained by photographing a person who is likely to form a natural smile. Show. Also, the graph indicated by reference sign S2 (t) shows the change over time in the degree of smile obtained by performing face recognition processing on an image obtained by photographing a person who is likely to form an artificial smile. .
図2に例示したグラフS1(t)は、撮影された人物の笑顔度が複雑な曲線を描いて上昇していく様子を示している。このように、自然な笑顔を形成している可能性の高い人物を撮影した画像から得られた笑顔度は、時間とともに急激に上昇したり、一旦緩んだ後にまた上昇したりといった複雑な変化を示す場合が多い。これに対して、作為的な笑顔を形成している可能性の高い人物を撮影した画像から得られた笑顔度は、図2に例示したグラフS2(t)のように、単調に上昇した後、単調に下降する場合が多い。 The graph S1 (t) illustrated in FIG. 2 shows how the smile level of a photographed person rises in a complex curve. In this way, the degree of smile obtained from an image of a person who has a high probability of forming a natural smile rises rapidly with time, and once it relaxes, it rises again and then rises again. Often shown. On the other hand, after the degree of smile obtained from an image obtained by photographing a person who is likely to form an artificial smile increases monotonously as shown in the graph S2 (t) illustrated in FIG. , Often descends monotonously.
このように、人物P1の表情や動作に表れた感情表現を表す少なくとも一つの非言語反応が情動に由来している場合と、人物P1の作為に由来している場合とでは、これらの非言語反応の強さを示す計測値の時間的な変動の特徴が異なっている。 Thus, in the case where at least one non-verbal reaction that represents the emotional expression that appears in the facial expression or action of the person P1 is derived from the emotion and in the case that it originates from the action of the person P1, these non-languages The characteristic of the temporal variation of the measured value indicating the strength of the reaction is different.
したがって、第1評価部13は、例えば、非言語反応の強さを示す計測値が、時間的に不規則に変動する度合いの高さに基づいて、当該非言語反応で表される感情表現が人物P1の自然な感情表現である可能性の高さを評価することができる。第1評価部13は、例えば、笑顔度や手のジェスチャーの大きさや頻度などの計測値の時間的な変動が不規則である度合いに応じて、大きい値となるように情動度を求めることにより、人物P1の自然な感情表現である可能性の高さを反映することができる。
Therefore, the
なお、人物P1が表出した感情表現に複数種類の非言語反応が含まれている場合に、第1評価部13は、例えば、個々の非言語反応についての評価結果の最大値を人物P1の情動度としてもよい。
Note that, when the emotion expression expressed by the person P1 includes a plurality of types of non-language reactions, the
このように、第1評価部13を含む本件開示の非言語情報解析装置10によれば、人物P1が表出した感情表現が、自然な感情表現である可能性の高さを示す情動度を評価することができる。そして、この情動度は、人物P1が情動に応じて豊かな表情を表出できるようなリラックスした状態である可能性の高さを示している。したがって、このようにして情動度を求めることにより、本件開示の非言語情報解析装置10によれば、人物P1によって表出されていない感情を推測する手がかりとなる情報を収集することができる。
Thus, according to the non-linguistic
また、本件開示の非言語情報解析装置は、例えば、人物を撮影した動画像に含まれる非言語情報に基づいて、動画像に捉えられた人物についての情動度を評価することができる。そして、この評価結果は、家庭用ビデオ撮影装置などによって撮影された動画像を含む動画像を編集するための動画編集処理装置などにおいて利用することができる。 In addition, the non-linguistic information analysis device disclosed herein can evaluate the emotion level of a person captured in a moving image based on non-linguistic information included in the moving image obtained by photographing the person, for example. This evaluation result can be used in a moving image editing processing device for editing a moving image including a moving image shot by a home video shooting device or the like.
例えば、本件開示の非言語情報解析装置により、動画像に含まれる複数のシーンごとに、被写体として含まれている人物についての情動度を評価し、得られた評価結果を含むタグ情報を各シーンに対応付けて動画像データに付加してもよい。このようなタグ情報を利用することにより、動画像編集装置において、例えば、被写体の人物の情動度が所定の値以上となっているシーンを切り出すなどの操作を容易に実現することができる。例えば、家庭用ビデオ撮影装置を用いて子どもを撮影した動画像から、被写体となった子どもが豊かな表情を見せているシーンの候補を自動的に抽出することにより、動画像編集処理に含まれるシーンの取捨選択作業を支援することができる。 For example, the non-linguistic information analysis device disclosed herein evaluates the emotion level of a person included as a subject for each of a plurality of scenes included in a moving image, and tag information including the obtained evaluation result is included in each scene. May be added to the moving image data in association with By using such tag information, in the moving image editing apparatus, for example, an operation such as cutting out a scene in which the emotion level of the subject person is equal to or higher than a predetermined value can be easily realized. For example, it is included in the moving image editing process by automatically extracting candidate scenes in which a child who has become a subject shows a rich expression from a moving image obtained by shooting a child using a home video camera. A scene selection operation can be supported.
本件開示の非言語情報解析装置10は、次に示すように、人物P1に刺激が与えられたときに、この刺激に応じて表出した感情表現が自然な感情表現である可能性の高さを評価する用途にも利用することができる。
The non-linguistic
図3は、非言語情報解析装置10の別実施形態を示している。なお、図3に示した構成要素のうち、図1に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
FIG. 3 shows another embodiment of the non-linguistic
図3に例示した刺激媒体2は、人物P1に視覚的な刺激あるいは非視覚的な刺激を与える物体でもよいし、また、人物P1が視聴可能な映像コンテンツなどでもよい。なお、刺激媒体2が映像コンテンツである場合に、非言語情報解析装置10は、この映像コンテンツの再生タイミングを受け取ることができ、この再生タイミングに基づいて、人物P1が刺激を受けたタイミングを正確に特定することができる。したがって、映像コンテンツなどが刺激媒体である場合に、非言語情報解析装置10は、後述するように、センサ部11による観測動作の開始や生成部12による非言語情報の生成動作を、この再生タイミングによって精密に制御することができる。一方、刺激媒体2が、物体などである場合は、例えば、物体が人物P1に提示されたタイミングなどに基づいて、刺激媒体2による刺激が人物P1に作用したタイミングを推定してもよい。また、刺激媒体2は、非言語情報解析装置10に含まれていてもよい。
The
図3に例示した非言語情報解析装置10は、図1に例示した各部に加えて、生成制御部14を含んでいる。この生成制御部14は、人物P1が刺激媒体2からの刺激を受けたタイミングで、生成部12に対して非言語情報を生成させる制御を行う。
The non-linguistic
これにより、生成部12は、刺激媒体2からの刺激によって人物P1に喚起された少なくとも一つの非言語反応の強さをそれぞれ示す計測値を含む非言語情報を生成することができる。
Thereby, the production |
ここで、例えば、刺激媒体2の種類や性質および特徴の変化によって、人物P1が表出する感情表現は様々に変化する可能性がある。そして、様々な刺激媒体2に人物P1が接した際に生成部12が生成した非言語情報に基づいて、第1評価部13は、人物P1が表出した様々な感情表現について情動度をそれぞれ評価することができる。
Here, for example, the emotional expression expressed by the person P1 may change variously depending on the type, nature, and characteristics of the
したがって、図3に例示した非言語情報解析装置10によれば、多様な感情表現についての情動度を評価可能とすることにより、人物P1によって表出されていない感情を推測する手がかりとなる情報を更に多く収集することができる。
Therefore, according to the non-linguistic
なお、映像コンテンツに付加されているタグ情報などを利用することにより、人物P1が映像コンテンツを視聴している際に受ける刺激の内容と、人物P1が表出した感情表現とを明確に対応付けることが可能である。また、刺激媒体2が人物P1に作用した作用タイミングが高い精度で特定できる場合には、感情表現を表す非言語反応の強さを示す計測値が大きく変動するタイミングと作用タイミングとの近さを情動度に反映してもよい。
In addition, by using tag information or the like added to the video content, the content of the stimulus received when the person P1 is viewing the video content and the emotion expression expressed by the person P1 are clearly associated with each other. Is possible. In addition, when the action timing at which the
また、人物P1とコミュニケーションを行う機能を有するコミュニケーションロボットを、刺激媒体2として利用することもできる。
A communication robot having a function of communicating with the person P1 can also be used as the
図4は、非言語情報解析装置10の別実施形態を示している。なお、図4に示した構成要素のうち、図1に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
FIG. 4 shows another embodiment of the non-linguistic
図4に例示したクマ型コミュニケーションロボットR1は、コミュニケーションロボットの一例である。なお、以下の説明では、このクマ型コミュニケーションロボットR1を、クマ型ロボットR1と称する。 The bear-type communication robot R1 illustrated in FIG. 4 is an example of a communication robot. In the following description, this bear type communication robot R1 is referred to as a bear type robot R1.
図4に例示した非言語情報解析装置10のセンサ部11は、このクマ型ロボットR1に搭載されている。また、センサ部11に含まれるカメラ111の光軸は、クマ型ロボットR1の視線方向に概ね一致している。例えば、カメラ111の受光部を、クマ型ロボットの鼻の部分に設けられた開口部に一致させるように、カメラ111を配置することにより、クマ型ロボットR1の視線方向とカメラ111の光軸方向をほぼ一致させることができる。
The
このようにカメラ111を配置することにより、人物P1の視線とクマ型ロボットR1の視線とが一致したアイコンタクト状態において、カメラ111から人物P1のゆがみの少ない画像を取得することが可能となる。
By arranging the
また、図4に例示した生成制御部14は、第1検出部141と期間設定部142とを含んでいる。この第1検出部141は、カメラ111で取得されたに基づいて、クマ型ロボットR1の視線と人物P1の視線とが一致したタイミングを検出する。例えば、第1検出部141は、カメラ111で取得された画像の中央に正面向きの人物が捉えられたときを、人物P1とクマ型ロボットR1との間でアイコンタクトが成立したタイミングとして検出してもよい。
The
また、期間設定部142は、第1検出部121で検出されたタイミングを含む所定の長さの期間を設定し、この期間において、生成部12に対して、人物P1が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる。期間設定部142は、例えば、上述したアイコンタクトのタイミングより1秒前から、アイコンタクトのタイミングから4秒が経過するまでの期間を、生成部12が非言語情報を生成する期間として設定してもよい。このようにして設定された期間は、人物P1とクマ型ロボットR1との間にアイコンタクトが維持されている期間に対応しているので、以下の説明では、この期間をアイコンタクト区間と称する。なお、期間設定部142が設定するアイコンタクト区間の長さおよびこのアイコンタクト区間の始点や終点は、アイコンタクトのタイミングがこのアイコンタクト区間内に含まれるように設定されればよく、上述した例に限定されることはない。
In addition, the
上述したようにして、第1検出部121が検出したタイミングは、人物P1がクマ型ロボットR1を認知したタイミングに相当する可能性が高い。したがって、期間設定部142が、生成部12に、上述したアイコンタクト区間について非言語情報を生成させることにより、人物P1がクマ型ロボットR1との相互作用を契機として表出した可能性の高い非言語反応についての非言語情報を収集することができる。しかも、上述したように、アイコンタクトが成立している状態においてカメラ111によって得られる画像はゆがみが少ないので、顔認識処理などの画像処理によって精度の高い計測値を得ることができる。つまり、図4に例示した生成制御部14によれば、生成部12に、精度の高い計測値を含む非言語情報を生成させることができる。
As described above, the timing detected by the
したがって、このようにして生成された非言語情報に基づいて、第1評価部13が、上述した評価処理を行うことにより、人物P1の情動度について高い精度の評価結果を得ることが可能である。
Therefore, based on the non-linguistic information generated in this way, the
このようにして、本件開示の非言語情報解析装置10によれば、クマ型ロボットR1との相互作用を契機として表出された非言語反応に基づいて、人物P1の感情表現の自然さを示す情動度を得ることができる。このようにして得られた情動度は、人物P1が情動に従って表情を豊かに表現している度合いを示しているので、人物P1が表出していない感情を推測する手がかりとなりうる情報の一つである。
In this way, according to the non-linguistic
なお、クマ型ロボットR1に搭載されるセンサ部11は、カメラ111に加えて、非視覚的非言語反応を観測するためのセンサデバイスを含むことができる。
In addition to the
図5は、非言語情報解析装置10の別実施形態を示している。なお、図5に示した構成要素のうち、図4に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
FIG. 5 shows another embodiment of the non-linguistic
図5に例示したセンサ部11は、カメラ111に加えて、マイク112および接触センサ113を含んでいる。マイク112は、例えば、クマ型ロボットR1の耳の付近に配置されており、人物P1の音声を表す音声データを生成する。接触センサ113は、例えば、クマ型ロボットR1の手足の先端部分や背中および頭などに配置されており、人物P1がこれらの部分に接触した際の圧力の大きさを示す接触データを生成する。
The
また、図5に例示した生成部12は、センサデータ処理部121と、非言語情報蓄積部122と、読出処理部123とを含んでいる。このセンサデータ処理部121は、例えば、画像データ処理部124と、音声データ処理部125と、接触データ処理部126とを有する。
The
画像データ処理部124は、センサ部11のカメラ111から得られる画像データに対して、顔認識処理を含む画像処理を適用することにより、視覚的な非言語反応の強さを示す計測値を生成する。画像データ処理部124は、例えば、人物の顔の向きや首の傾きの角度、頷き動作の大きさおよび頻度などをそれぞれ示す計測値とともに、人物の表情が笑顔である可能性の高さを示す笑顔度を計測値の一つとして生成することが望ましい。また、画像データ処理部124は、顔認識処理で得られた特徴点の動きに基づいて、口の開閉動作の大きさや頻度を示す計測値を取得してもよい。更に、画像データ処理部124は、画像データに含まれる人物P1の手の動きを追跡することにより、人物P1の手の動きによって示されるジェスチャーの大きさや、その動きの速さなどを示す計測値を取得してもよい。また、画像データ処理部124は、顔認識処理で得られた顔の大きさや位置の変化に基づいて、クマ型ロボットR1から見た人物P1の相対位置および相対位置の変化を示す計測値を取得してもよい。
The image
また、音声データ処理部125は、マイク112で得られた音声データに対して音声解析処理を適用することにより、例えば、人物P1の声の抑揚や声の大きさ、発話の頻度などを、非視覚的な非言語反応の強さを示す計測値として生成する。また、音声データ処理部125は、音声解析処理で得られた人物P1の声色に基づいて感情を推定する技術などを利用することによって得られるパラ言語情報を、音声として捉えられる非言語反応の強さを示す計測値の一つとして取得してもよい。
In addition, the voice
接触データ処理部126は、接触センサ113で得られた接触データに基づいて、人物P1がクマ型ロボットR1に触れることで示した非言語反応の強さを示す計測値を生成する。接触データ処理部126は、例えば、人物P1がクマ型ロボットR1の部位ごとに、当該部位に触れた回数や頻度およびそれぞれの接触の強さなどを示す計測値を生成してもよい。
Based on the contact data obtained by the contact sensor 113, the contact
図5に例示した非言語情報蓄積部122は、このようにしてセンサデータ処理部121に含まれる各部によって生成された非言語情報を、例えば、非言語情報の種類ごとに、各計測値の生成に用いた観測データがサンプリングされた時刻に対応して蓄積する。なお、センサデータ処理部121は、画像データ処理部124、音声データ処理部125および接触データ処理部126によって得られる各計測値を非言語情報蓄積部122に蓄積する前に、移動平均などを適用することによって計測値を平滑化してもよい。
The non-linguistic
図6は、非言語情報の例を示している。図6において、符号Tk−1、Tk,Tk+1は、それぞれサンプリング時刻を示す。また、各計測値を、計測値の種類を示す符号とサンプリング時刻を示す添え字との組み合わせで示す。 FIG. 6 shows an example of non-language information. In FIG. 6, symbols Tk−1, Tk, and Tk + 1 indicate sampling times, respectively. Each measurement value is indicated by a combination of a code indicating the type of the measurement value and a subscript indicating the sampling time.
図6(A)は、顔認識によって得られた非言語情報の一例である。図6(A)に例示した非言語情報は、人物P1の顔に含まれる各特徴点の位置を示す特徴点情報F(k)および笑顔度rs(k)を含んでいる。 FIG. 6A is an example of non-linguistic information obtained by face recognition. The non-language information illustrated in FIG. 6A includes feature point information F (k) indicating the position of each feature point included in the face of the person P1 and a smile degree rs (k).
また、図6(B)は、手の動きを追跡する処理で得られた非言語情報の一例である。図6(B)に例示した非言語情報は、人物P1の手の位置を示す重心位置G(k)、手の動きの大きさを示す振幅A(k)および手の動きの速さを反映する周期ν(k)を含んでいる。 FIG. 6B is an example of non-linguistic information obtained by processing for tracking hand movements. The non-linguistic information illustrated in FIG. 6B reflects the gravity center position G (k) indicating the position of the hand of the person P1, the amplitude A (k) indicating the magnitude of the hand movement, and the speed of the hand movement. Period ν (k).
図5に示した生成制御部14は、顔認識処理によって得られた人物P1の顔の位置および向きを示す情報を、画像データ処理部124から受け取ることができる。そして、生成制御部14は、画像データ処理部124から受け取った情報に基づいて、アイコンタクトが成立したタイミングを検出してもよい。また、生成制御部14は、検出したアイコンタクトのタイミングに基づいて、生成部12に非言語情報を生成させるアイコンタクト区間を設定し、この期間の開始時刻および終了時刻を生成部12に通知してもよい。
The
図5に例示した読出処理部123は、生成制御部14から通知されたアイコンタクト区間の開始時刻および終了時刻に基づいて、このアイコンタクト区間に含まれるサンプリング時刻に対応して非言語情報蓄積部122に蓄積された非言語情報を読み出す。
The
このようにして読み出された非言語情報に含まれる各計測値について、第1評価部13が、それぞれ時間変動の特徴を調べる処理を行うことにより、様々な非言語反応の強さの時間変化に基づいて、人物P1の情動度を評価することができる。
For each measurement value included in the non-linguistic information read out in this way, the
また、クマ型ロボットR1のようなコミュニケーションロボットに搭載されているアクション機能を、非言語情報解析装置10が、人物P1が表出する非言語反応にかかる非言語情報を収集するために利用することも可能である。
Further, the action function installed in the communication robot such as the bear-type robot R1 is used by the non-linguistic
図7は、非言語情報解析装置10の別実施形態を示している。なお、図7に示した構成要素のうち、図4に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
FIG. 7 shows another embodiment of the non-linguistic
図7に例示したクマ型ロボットR1は、刺激媒体2の一例であり、センサ部11に加えて、人物P1に様々な刺激を作用させるためのアクション部15を含んでいる。このアクション部15は、例えば、クマ型ロボットR1の首を左右に傾けたり、横に振ったりする動作や、クマ型ロボットR1の手足を動かす動作を実行するためのモータと、発話のためのスピーカなどを含んでもよい。なお、図5においては、モータおよびスピーカの図示は省略した。
The bear-type robot R1 illustrated in FIG. 7 is an example of the
図7に例示した生成制御部14は、アクション部15が何らかのアクションを実行した後の所定の長さの期間において、生成部12に、人物P1が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる。生成制御部14は、例えば、アクションを実行した旨の通知をアクション部15から受けたときから、アクション部15が実行したアクションの種類に対応する適切な遅延時間の経過後に、生成部12に非言語情報を生成させる制御をしてもよい。なお、各アクションの実行タイミングからの遅延時間は、例えば、生成制御部14内部に、各アクション種別に対応して予め記憶させておくことができる。
The
図8は、アクション種別ごとの遅延時間の例を示している。図8に例示した各遅延時間は、アクション部15が対応するアクションの実行を開始した時刻からの遅延時間を示している。
FIG. 8 shows an example of the delay time for each action type. Each delay time illustrated in FIG. 8 indicates a delay time from the time when the
図8に例示したアクション種別「退屈そうな動作」や「あくび」、「くしゃみ」および「驚かせる動作」には、3000ミリ秒〜3500ミリ秒の長めの遅延時間が設定されている。これは、これらのアクション種別に含まれるアクションの実行には、クマ型ロボットR1の首の動きや姿勢の変更を伴うため、首の向きや姿勢などが標準的な状態に戻るまでの時間を考慮した遅延時間を設定しているためである。一方、図8に例示したアクション種別「挨拶」や「注意を引く動作」のように、人物P1の反応がアクションの開始直後に現れる可能性の高いアクションについては、0秒のような短い遅延時間を設定してもよい。また、両者の中間的な遅延時間を設定することもできる。例えば、図8に例示したアクション種別「怒った動作」や「嬉しそうな動作」のように、人物P1の反応が現れるタイミングの予想が難しいものについては、1000ミリ秒から1500ミリ秒の中間的な遅延時間を設定してもよい。なお、図8に例示したアクション種別は、アクション部15を有するクマ型ロボットR1を刺激媒体2として用いる場合に、人物P1に対して刺激として提示するアクションの一例であり、例示した種別以外のアクションを刺激として提示することもできる。また、これらのアクション種別に対応する遅延時間も、図8の例示に限定されることはない。
A longer delay time of 3000 milliseconds to 3500 milliseconds is set for the action types “operation that seems to be bored”, “yawn”, “sneeze”, and “surprising action” illustrated in FIG. This is because the actions included in these action types involve changes in the movement and posture of the bear-type robot R1, so the time until the neck orientation and posture return to the standard state is considered. This is because the set delay time is set. On the other hand, a short delay time such as 0 seconds for an action that is likely to cause a reaction of the person P1 immediately after the start of the action, such as the action type “greeting” or “attracting attention” illustrated in FIG. May be set. Also, an intermediate delay time between the two can be set. For example, in the case where it is difficult to predict the timing at which the reaction of the person P1 appears, such as the action types “angry action” and “joyful action” illustrated in FIG. 8, an intermediate period of 1000 milliseconds to 1500 milliseconds A long delay time may be set. The action type illustrated in FIG. 8 is an example of an action presented as a stimulus to the person P1 when the bear-type robot R1 having the
このような遅延時間に基づいて、生成制御部14が生成部12による非言語情報の生成を制御することにより、クマ型ロボットR1が行ったアクションを契機として人物P1が表出した非言語反応に対応する非言語情報を第1評価部13に入力することができる。
Based on such a delay time, the
つまり、図7に例示した非言語情報解析装置10によれば、クマ型ロボットR1によるアクションが刺激として人物P1に作用したことを契機として人物P1が表出した非言語反応に基づいて、人物P1が表出した感情表現についての情動度を評価することができる。
That is, according to the non-linguistic
クマ型ロボットR1は、愛らしい外見を持っているので、このクマ型ロボットR1が実行する愛嬌のあるアクションは、人物P1によって快い刺激として受け止められる可能性が高い。したがって、このような刺激によって喚起された人物P1の感情表現についての情動度を評価することにより、人物P1に心理的な負担をかけることなく、人物P1によって表出されていない感情の推測に利用可能な情報を得ることができる。 Since the bear-type robot R1 has an adorable appearance, it is highly likely that the action with caress performed by the bear-type robot R1 will be received as a pleasant stimulus by the person P1. Therefore, by evaluating the emotional level of the emotional expression of the person P1 evoked by such a stimulus, it is used for estimating the emotion not expressed by the person P1 without placing a psychological burden on the person P1. Possible information can be obtained.
また、次に述べるように、アクションを契機として人物P1が表出した非言語反応に対応する非言語情報を生成させる制御に、上述したアイコンタクトの成立タイミングの検出を利用することもできる。 Further, as described below, the detection of the eye contact establishment timing described above can also be used for the control to generate non-linguistic information corresponding to the non-linguistic reaction expressed by the person P1 triggered by an action.
図9は、非言語情報解析装置10の別実施形態を示している。なお、図9に示した構成要素のうち、図5に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
FIG. 9 shows another embodiment of the non-linguistic
図9に例示したアクション部15は、スピーカ151と、n個のモータ152−1〜152−nと、アクション制御部153とを含んでいる。スピーカ151は、アクション制御部153から受け取った音声データに基づいて、音声を出力する。また、n個のモータ152−1〜152−nは、アクション制御部153からの指示に応じて、それぞれの配置に応じてクマ型ロボットR1の各部位を動作させる。アクション制御部153は、実行するアクションに応じて、スピーカ151および各モータ152−1〜152−nの動作を制御する。また、アクション制御部153は、アクションを実行する際に、当該アクションを特定する情報を非言語情報解析装置10の生成制御部14に通知する。
The
図9に例示した生成制御部14は、アクション制御部153からアクションを実行した旨が通知されたタイミングから、この通知で示されたアクション種別に対応する遅延時間が経過したときに、センサデータ処理部123に処理の開始を指示する。そして、このセンサデータ処理部121で得られる画像データ処理結果に基づいて、生成制御部14は、アイコンタクトが成立したタイミングを検出する。更に、生成制御部14は、検出したアイコンタクトのタイミングに基づいて、アイコンタクト区間を設定し、読出処理部123に対して、このアイコンタクト区間に対応して非言語情報蓄積部122に蓄積された非言語情報の読み出しを指示すればよい。
The
図9に例示した生成部12および生成制御部14によれば、クマ型ロボットR1のアクションによって喚起された人物P1による非言語反応に対応する非言語情報を生成する期間を、アイコンタクトのタイミングに基づいて設定することができる。
According to the
上述したように、アイコンタクトが成立した状態では、ゆがみの少ない画像に基づいて、人物P1が表出した視覚的な非言語反応の強さを示す計測値を高い精度で取得することができる。また、クマ型ロボットR1のアクションによって人物P1の非言語反応の表出が喚起された場合においても、クマ型ロボットR1と人物P1との間の相互作用が成立したタイミングとしては、アイコンタクトが成立したタイミングがより適切である。 As described above, in a state where the eye contact is established, a measurement value indicating the strength of the visual non-verbal reaction expressed by the person P1 can be acquired with high accuracy based on an image with little distortion. Even when the action of the bear-type robot R1 triggers the expression of the non-verbal response of the person P1, eye contact is established as the timing when the interaction between the bear-type robot R1 and the person P1 is established. The timing is more appropriate.
したがって、図9に例示した生成部12および生成制御部14を有する非言語情報解析装置10によれば、クマ型ロボットR1のアクションによって喚起された人物P1の非言語反応の強さを高い精度で示す非言語情報を第1評価部13に入力することができる。したがって、図9に例示した非言語情報解析装置10によれば、クマ型ロボットR1が実行可能な多彩なアクションによって喚起された人物P1の非言語反応に基づいて、人物P1の情動度を高い精度で評価することができる。
Therefore, according to the non-linguistic
次に、上述した第1評価部13により、人物P1が自然な笑顔を表出する状態である度合いを示す情動度を算出する手法について説明する。
Next, a method for calculating the emotion level indicating the degree of the person P1 in a state of expressing a natural smile by the
図10は、非言語情報解析装置10の別実施形態を示している。なお、図10に示した構成要素のうち、図1に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
FIG. 10 shows another embodiment of the non-linguistic
図10に例示した第1評価部13は、速度算出部131と、積算部132とを含んでいる。速度算出部131は、生成部12によって生成された非言語情報に含まれる、人物P1の表情が笑顔である度合いを示す笑顔度が時間経過に応じて変化する速度を算出する。積算部132は、笑顔度が増大していく過程に対応して、速度算出部131で算出された速度の二乗和を求めることにより、人物P1の笑顔の自然さを示す情動度を求める。
The
図11は、情動度を算出する処理を説明する図である。図11において、横軸は時間tを示し、縦軸は、非言語反応の強さを示す計測値の一つである笑顔度sを示す。また、図11において、符号s(t)で示したグラフは、笑顔度sの時間変化を示す。 FIG. 11 is a diagram illustrating a process for calculating the emotion level. In FIG. 11, the horizontal axis indicates time t, and the vertical axis indicates smile degree s, which is one of the measurement values indicating the strength of non-language response. In addition, in FIG. 11, a graph indicated by a symbol s (t) indicates a change in the smile degree s with time.
また、図11において、符号Tk−1は、k−1番目のサンプリング時刻を示し、符号Tkは、k番目のサンプリング時刻を示す。そして、サンプリング時刻Tkにおける笑顔度S(k)とサンプリング時刻Tk−1における笑顔度S(k−1)との差は、サンプリング時刻Tkにおける笑顔度s(t)の変化速度を示している。 In FIG. 11, the symbol Tk−1 indicates the (k−1) th sampling time, and the symbol Tk indicates the kth sampling time. The difference between the smile level S (k) at the sampling time Tk and the smile level S (k−1) at the sampling time Tk−1 indicates the change rate of the smile level s (t) at the sampling time Tk.
つまり、図10に例示した速度算出部131は、各サンプリング時刻Tkに対応する笑顔度S(k)とその前のサンプリング時刻Tk−1に対応する笑顔度S(k−1)との差分を算出することにより、笑顔度の変化速度を算出することができる。
That is, the
また、図11において、符号τ1および符号τ2で示した期間は、笑顔度s(t)が時間経過に応じて増大している期間を示す。この期間τ1および期間τ2は、図10に例示した速度算出部131で算出された変化速度が正の値である期間に相当する。
In FIG. 11, periods indicated by reference numerals τ <b> 1 and τ <b> 2 indicate periods in which the smile degree s (t) increases with time. The period τ1 and the period τ2 correspond to periods in which the change speed calculated by the
したがって、図10に例示した積算部132は、速度算出部131で算出された変化速度が正の値である期間について、この変化速度の二乗和を算出することにより、人物P1が表出した笑顔の自然さを反映する情動度を算出することができる。
Therefore, the accumulating
図10に例示した速度算出部131および積算部132によって人物P1が表出した笑顔の自然さを反映する情動度CLを求める処理は、式(1)を計算することによって実現してもよい。
The processing for obtaining the emotion CL that reflects the naturalness of the smile expressed by the person P1 by the
なお、笑顔の自然さを反映する情動度CLを求める処理において、各サンプリング時刻Tkに対応する笑顔度S(k)は、例えば、サンプリング間隔の2倍の期間についての移動平均を適用することによって平滑化した値を用いることが望ましい。 In the process of obtaining the emotion CL that reflects the naturalness of smiles, the smile degree S (k) corresponding to each sampling time Tk is obtained by applying a moving average over a period twice the sampling interval, for example. It is desirable to use a smoothed value.
このように、図10に例示した第1評価部13によれば、笑顔度の時間変化の不規則性を情動度の大きさに反映することにより、人物P1が表出した笑顔が自然な表情である可能性の高さを示す情動度を求めることができる。このようにして得られた情動度は、人物P1が笑顔を表出する際に費やした運動エネルギーを反映しているので、人物P1が自然な情動に従って笑顔を表出している場合により高い値となる。なお、本出願人は、複数の人物を撮影した映像に基づいて、発明者の主観による判断と、図10に例示した第1評価部13によって得られた情動度に基づく判断とが一致するか否かを調べる実験を行っている。この実験の結果によれば、発明者の主観による判断で、自然な表情が表出されているとされた人物の映像については、図10に例示した第1評価部13によって、高い値を持つ情動度が高い確率で得られた。また、発明者の主観による判断で、表情が乏しいとされた人物の映像については、図10に例示した第1評価部13によって、低い値を持つ情動度が高い確率で得られた。
As described above, according to the
ここで、笑顔度は、非言語反応のひとつである「微笑する」表情の強さを示す計測値であり、そして、「笑顔」が人物P1の情動を反映している度合いが高ければ、人物P1は快い状態である可能性が高い。したがって、上述したようにして、笑顔度の時間変化に基づいて求めた情動度CLには、人物P1が快い状態である度合いを示す快情動が反映されている。この快情動は、人物P1によって表出されていない感情の一面を示す情報であるので、例えば、人物P1を見守るサービスなどの分野においては、非常に有用な情報である。 Here, the smile level is a measured value indicating the strength of a “smile” facial expression, which is one of the non-verbal reactions, and if the degree of “smile” reflecting the emotion of the person P1 is high, P1 is likely to be in a pleasant state. Therefore, as described above, the emotion level CL obtained based on the temporal change in the smile level reflects a pleasant emotion that indicates the degree to which the person P1 is in a pleasant state. Since this pleasant emotion is information indicating one aspect of emotion that is not expressed by the person P1, for example, it is very useful information in the field of services such as watching the person P1.
つまり、図10に例示した第1評価部13を有する非言語情報解析装置10は、人物P1の快情動を反映する情報度CLを高い精度で評価することができるので、人物P1によって表出されていない感情を推測のための情報を収集する上で非常に有用である。
That is, the non-linguistic
また、次に述べるように、非言語情報を別の観点から評価することにより、人物P1によって表出されていない感情を推測する手がかりとなる別の情報を引き出すことも可能である。 Further, as described below, by evaluating non-linguistic information from another viewpoint, it is also possible to extract other information as a clue to guess an emotion that is not expressed by the person P1.
図12は、非言語情報解析装置10の別実施形態を示している。なお、図12に示した構成要素のうち、図3に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
FIG. 12 shows another embodiment of the non-linguistic
図12に例示した非言語情報解析装置10は、図3に例示した第1評価部13に代えて、第2評価部16を含んでいる。この第2評価部16は、生成部12で生成された非言語情報に含まれる各計測値の変動の大きさと、この変動と刺激媒体2と人物P1との相互作用との関連の強さに基づいて、人物P1の刺激媒体2に対する関心の高さを示す同調度を評価する。第2評価部16は、例えば、各計測値について単位時間当たりの変化量の最大値をそれぞれ検出することにより、当該計測値で示される非言語反応が最も大きく変動したタイミングを特定する。さらに、第2評価部16は、検出した単位時間当たりの変化量の最大値と、当該計測値の平均値とを比較することにより、変化量の最大値の大きさを評価してもよい。そして、第2評価部16は、各非言語反応について特定したタイミングと、人物P1に刺激媒体2が作用したタイミングとの近さと、当該非言語反応について検出した最大の変化量に基づいて、個々の非言語反応と刺激媒体2との同調度を求めてもよい。また、第2評価部16は、各非言語反応について求めた同調度の中の最大値を、人物P1が刺激媒体2に対して示した関心の高さを示す同調度としてもよい。
The non-linguistic
図13は、同調度の評価を説明する図である。図13において、横軸は時間tを示し、縦軸は、それぞれ異なる非言語反応の強さを示す計測値ra,rbを示す。また、図13において、符号ra(t)で示したグラフは、計測値raの時間変化を示し、符号rb(t)で示したグラフは、計測値rbの時間変化を示す。 FIG. 13 is a diagram for explaining the evaluation of the degree of synchronization. In FIG. 13, the horizontal axis represents time t, and the vertical axis represents measured values ra and rb indicating the strengths of different non-language responses. In FIG. 13, the graph indicated by the symbol ra (t) indicates the time change of the measurement value ra, and the graph indicated by the symbol rb (t) indicates the time change of the measurement value rb.
また、図13において、符号Tcは、刺激媒体2が人物P1に作用したタイミングを示す。なお、刺激媒体2が映像コンテンツである場合は、映像コンテンツの再生開始時刻を、人物P1に刺激媒体2が作用した作用タイミングTcとして用いることができる。
Moreover, in FIG. 13, the code | symbol Tc shows the timing when the
また、図12に例示した第2評価部16は、作用タイミングTcとの関連性の強さを、例えば、計測値ra(t),rb(t)の最大変化量を検出したタイミングが、作用タイミングTcを含む所定の長さの期間τsに含まれるか否かかに基づいて判定してもよい。
Further, the
図13に例示した期間τsは、作用タイミングTcと人物P1が刺激媒体2による刺激を受けたタイミングとのズレを考慮して、作用タイミングTcを含むように設定した例である。上述したように、映像コンテンツを刺激媒体2として人物P1に作用させる場合には、再生開始時刻に対応する作用タイミングTcと人物P1が映像コンテンツによる刺激を受けるタイミングとが一致する。したがって、刺激媒体2が映像コンテンツである場合は、上述した期間τsの開始時刻を作用タイミングTcに一致させてもよい。
The period τs illustrated in FIG. 13 is an example in which the action timing Tc is set to include the action timing Tc in consideration of the difference between the action timing Tc and the timing when the person P1 receives the stimulus by the
図13に例示した計測値rb(t)から単位時間当たりの変化量の最大値が検出されるタイミングは、上述した期間τに含まれており、また、検出された変化量の最大値も計測値rb(t)の変化量の平均値に比べて大きい。したがって、第1評価部16がこの計測値rb(t)で強さが示される非言語反応について、刺激媒体2の作用に対して求めた同調度は高い値を示す。
The timing at which the maximum amount of change per unit time is detected from the measured value rb (t) illustrated in FIG. 13 is included in the above-described period τ, and the maximum value of the detected amount of change is also measured. It is larger than the average value of the amount of change of the value rb (t). Therefore, the degree of synchrony obtained by the
これに対して、図13に例示した計測値ra(t)は、なだらかな起伏を繰り返しており、上述した期間τの範囲内に目立ったピークはない。このような計測値ra(t)について、図12に例示した第2評価部16が、上述した期間τに含まれるタイミングにおいて最大の変化量を検出したとしても、その変化量は、計測値ra(t)の変化量の平均値と同程度である。したがって、第1評価部16がこの計測値ra(t)で強さが示される非言語反応について、刺激媒体2の作用に対して求めた同調度は低い値を示す。
On the other hand, the measured value ra (t) illustrated in FIG. 13 repeats gentle undulations, and there is no conspicuous peak within the range of the period τ described above. For such a measured value ra (t), even if the
このようにして、第2評価部16は、個々の非言語反応の強さを示す計測値の変動の大きさと刺激媒体2の作用タイミングとの関係に基づいて、各非言語反応についての同調度を求めることができる。
In this way, the
そして、第2評価部16は、このようにして得られた複数の非言語反応についての同調度の最大値を、人物P1の刺激媒体2に対する同調度とする。これにより、少なくとも一つの非言語反応について得られた高い値を持つ同調度を、人物P1の刺激媒体2に対する同調度に反映することができる。
And the
このように、図12に例示した非言語情報解析装置10によれば、刺激媒体2の作用に応じて人物P1が表出した非言語反応に基づいて、人物P1の刺激媒体2に対する同調度を評価することができる。
As described above, according to the non-linguistic
このようにして評価される同調度は、人物P1の社会的な反応の活発さを示している点で、上述した情動度とは別の観点から人物P1によって表出されていない感情を推測する手がかりとして有用な情報である。したがって、図12に例示した第2評価部16を有する非言語情報解析装置10は、人物P1の社会的な反応の活発さを示す同調度を評価することができるので、人物P1によって表出されていない感情を推測するための情報を収集する上で非常に有用である。
The degree of synchrony evaluated in this way indicates the activeness of the social reaction of the person P1, and therefore, an emotion that is not expressed by the person P1 is estimated from a viewpoint different from the above-mentioned emotional degree. This information is useful as a clue. Accordingly, the non-linguistic
また、人物P1とコミュニケーションを行う機能を有するコミュニケーションロボットを、刺激媒体2として利用することにより、明確な対象に対する社会的な反応の活発さを評価することもできる。
Further, by using a communication robot having a function of communicating with the person P1 as the
図14は、非言語情報解析装置10の別実施形態を示している。なお、図14に示した構成要素のうち、図12に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
FIG. 14 shows another embodiment of the non-language
図14に例示した非言語情報解析装置10は、図4に例示した非言語情報解析装置10と同様に、カメラ111を含むセンサ部11を搭載したクマ型ロボットR1を、刺激媒体2として人物P1に作用させる。
Similarly to the non-linguistic
図14に例示したカメラ111の光軸方向は、クマ型ロボットR1の視線Qの方向とほぼ一致しているので、人物P1の視線とクマ型ロボットR1の視線Qとが一致したときに、カメラ111によって人物P1を正面から捉えた画像データを得ることができる。
The optical axis direction of the
図14に例示した生成制御部14の第1検出部141は、図4を用いて説明したようにして、カメラ111で得られる画像データに基づいて、クマ型ロボットR1と人物P1とのアイコンタクトが成立したタイミングを検出する。そして、期間設定部142は、図4を用いて説明したようにして、アイコンタクトのタイミングを含むアイコンタクト区間において、生成部12に、センサ部11で得られる観測データから非言語情報を生成させる。
The
クマ型ロボットR1は愛らしい外見を持っているので、人物P1とクマ型ロボットR1とがアイコンタクト状態となったときに、人物P1が同調的な非言語反応を表出する可能性は高い。そして、上述した期間設定部142で設定されるアイコンタクト区間において、人物P1が表出する同調的な非言語反応は、クマ型ロボットR1との接触を契機として表出された非言語反応である可能性が高い。
Since the bear-type robot R1 has an adorable appearance, when the person P1 and the bear-type robot R1 are in the eye contact state, the possibility that the person P1 expresses a synchronized non-verbal reaction is high. Then, in the eye contact section set by the
したがって、図14に例示した生成制御部14による制御に従って生成部12が生成した非言語情報について、第2評価部16が、上述したようにして同調度を求めることにより、人物P1のクマ型ロボットR1に対する同調度を高い精度で取得することができる。
Therefore, the
このように、図14に例示した非言語情報解析装置10によれば、社会的な反応を反映した同調度を高い精度で求めることができる。
As described above, according to the non-linguistic
なお、図14に例示したセンサ部11は、図5に例示したセンサ部11と同様に、カメラ111に加えてマイクや接触センサなどの他のセンサデバイスを含んでいる。したがって、図14に例示した第2評価部16は、これらのセンサデバイスによって得られる多様な観測データに基づいて、生成部12によって生成される非言語情報を、同調度の評価に用いることができる。
Note that the
また、クマ型ロボットR1のようなコミュニケーションロボットに搭載されているアクション機能を、非言語情報解析装置10が、人物P1が表出する非言語反応にかかる非言語情報の収集するために利用することも可能である。
In addition, the action function installed in the communication robot such as the bear robot R1 is used by the non-linguistic
図15は、非言語情報解析装置10の別実施形態を示している。なお、図15に示した構成要素のうち、図14に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
FIG. 15 shows another embodiment of the non-linguistic
図15に例示したクマ型ロボットR1は、センサ部11に加えて、アクション部15を含んでいる。また、図15に例示した生成部12は、図9に例示した生成部12と同様に、センサデータ処理部121と、非言語情報蓄積部122と、読出処理部123とを含んでいる。
The bear type robot R1 illustrated in FIG. 15 includes an
上述したアクション部15は、アクションを実行する際に、その旨を生成制御部14に通知する。この通知とセンサデータ処理部121で得られる情報とに基づいて、生成制御部14は、図9を用いて説明したようにして、読出処理部123に対して、非言語情報蓄積部122から読み出す非言語情報の範囲を指定する。
The
このようにして、生成制御部14は、クマ型ロボットR1によって任意のアクションが実行された後に、クマ型ロボットR1と人物P1とのアイコンタクトが成立する前後に人物P1が表出した非言語反応を示す非言語情報を生成部12に生成させることができる。
In this way, the
このようにして生成された非言語情報は、クマ型ロボットR1のアクションを契機として人物P1が表出した同調的な非言語反応に関する情報を多く含んでいる。そして、クマ型ロボットR1は、図8に例示したように、様々な種別のアクションを実行可能であり、また、種別の異なるアクションに応じて、人物P1は異なる種類の非言語反応を返す可能性がある。 The non-linguistic information generated in this way includes a lot of information related to the synchronized non-linguistic reaction expressed by the person P1 triggered by the action of the bear robot R1. The bear-type robot R1 can execute various types of actions as illustrated in FIG. 8, and the person P1 may return different types of non-language responses according to different types of actions. There is.
したがって、図15に例示した第2評価部16は、アクションによって喚起された人物P1の非言語反応に対応して、上述したようにして生成された非言語情報の入力を受けることができる。そして、これらの非言語情報の入力に応じて、図13を用いて説明したような処理を行うことにより、第2評価部16は、例えば、実行されたアクションごとに、人物P1が表出した非言語反応で示される同調度を評価することができる。このようにして得られたアクションの種別ごとの同調度は、様々な場面における人物P1の社会的な反応の活発さを反映している。
Accordingly, the
つまり、図15に例示した非言語情報解析装置10によれば、多様な角度から、人物P1の社会的な反応度を示す同調度を求めることができる。
That is, according to the non-linguistic
また、クマ型ロボットR1のアクションによって人物P1の非言語反応を引き出すことができれば、第2評価部16によって人物P1の同調度を評価する機会を増加させることができる。したがって、個々のアクションの実行に応じて得られた同調度の評価結果の精度が必ずしも高くなくても、多数回の評価を行うことにより、精度の向上を図ることができる。
Further, if the non-verbal reaction of the person P1 can be derived by the action of the bear-type robot R1, the opportunity to evaluate the degree of synchronization of the person P1 by the
次に、上述した第2評価部16により、人物P1がクマ型ロボットR1に対して同調的な反応を示している度合いを示す同調度を算出する手法について説明する。
Next, a method for calculating the degree of synchronization indicating the degree to which the person P1 shows a synchronous response to the bear-type robot R1 by the above-described
図16は、非言語情報解析装置10の別実施形態を示している。なお、図16に示した構成要素のうち、図15に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
FIG. 16 shows another embodiment of the non-linguistic
図16に例示した第2評価部16は、第2検出部161と、集計部162と、補正部163と、推定部164と、割合算出部165と、乗算部166とを含んでいる。
The
図16に例示した第2検出部161は、生成部12によって生成された非言語情報に含まれる同調的な非言語反応の強さを示す計測値の単位時間当たりの最大変化幅をそれぞれ検出することにより、同調的な非言語反応それぞれの同調度を求める。
The
第2検出部161は、例えば、まず、生成部12で得られた非言語情報から、例えば、笑顔度、口の開閉動作の頻度、頷き動作の頻度、ジェスチャの頻度およびクマ型ロボットR1への接触頻度を示す計測値を更に生成する。そして、これらの計測値に基づいて、第2検出部161は、図13を用いて説明したようにして、同調的な種類の非言語反応それぞれの強さを示す計測値の最大の変化幅を、個々の非言語反応の同調度としてそれぞれ検出する。
For example, the
例えば、n種類の同調的な非言語反応に含まれるj番目の非言語反応についての同調度SLjは、この非言語反応の強さをサンプリングして得られたk番目の計測値の移動平均bj(k)を用いて、式(2)のように表すことができる。なお、式(2)において、定数Nは、アイコンタクト区間τの開始から終了までのサンプル数である。また、式(2)に含まれる正規化パラメータpjは、n種類の同調的な非言語反応の強さを同一の尺度で比較するためのパラメータである。この正規化パラメータpjには、例えば、同調的な非言語反応についての計測値bjについて想定される最大値などに基づいて予め決定した値を設定することができる。 For example, the degree of synchronization SLj for the jth nonverbal response included in the n types of synchronized nonverbal responses is the moving average bj of the kth measurement values obtained by sampling the strength of the nonverbal response. Using (k), it can be expressed as equation (2). In Equation (2), the constant N is the number of samples from the start to the end of the eye contact interval τ. Further, the normalization parameter pj included in the equation (2) is a parameter for comparing the strengths of n kinds of tuned non-verbal responses on the same scale. For this normalization parameter pj, for example, a value determined in advance based on the maximum value assumed for the measured value bj for the tuned non-verbal reaction can be set.
図16に例示した集計部162は、生成部12によって生成された非言語情報に基いて、個々の非言語反応の強さを示す計測値の最大値を非言語反応の種類ごとに集計することにより、これらの非言語反応の表出に人物P1が費やした活動量を示す活性度を求める。
The
図17は、活性度の算出処理を説明する図である。図17において、横軸は時間tを示し、縦軸は、各非言語反応の強さを示す計測値rを示す。また、図17において、符号τで示した期間は、図16に示した生成部12によって非言語情報が生成されるアイコンタクト区間を示す。また、図17において、符号r1(t),r2(t),r3(t)で示したグラフは、それぞれ計測値r1,r2,r3の時間変化の例を示す。
FIG. 17 is a diagram illustrating the activity calculation process. In FIG. 17, the horizontal axis indicates time t, and the vertical axis indicates a measured value r indicating the strength of each non-language response. In FIG. 17, a period indicated by a symbol τ indicates an eye contact section in which non-language information is generated by the
図16に例示した集計部162は、まず、アイコンタクト区間τの範囲において、各計測値r1(t),r2(t),r3(t)の最大値a1,a2,a3をそれぞれ検出する。次に、集計部162は、最大値a1,a2,a3に、それぞれの非言語反応についてあらかじめ設定した重みを乗じることにより、個々の非言語反応の活性度を求める。このとき、集計部162は、個々の非言語反応の活性度を、当該非言語反応について予め設定した最大値以下の値となるように抑制してもよい。このようにして得られた個々の非言語反応の活性度を集計することにより、集計部162は、人物P1が活動的である度合いを示す活性度を算出する。集計部162は、個々の非言語反応の活性度を集計することで得られた活性度の値を、予め設定した最大値以下となるように抑制してもよい。
First, the
例えば、m種類の非言語反応に含まれるi番目の非言語反応についての活性度ALiは、この非言語反応の強さをサンプリングして得られた計測値の最大値aiと、この非言語反応について設定した重みwiを用いて、式(3)のように表すことができる。なお、式(3)において、定数MaxALiは、i番目の非言語反応についての活性度ALiについて設定された最大値である。各非言語反応に対応する各定数MaxALiは、複数の非言語反応に対応する活性度を人物P1の活性度に反映するために、例えば、値0.4程度に設定することが望ましい。
ALi=max(wi・ai,MaxALi) ・・・(3)
また、上述したようにして算出した活性度ALiと活性度について予め設定された最大値MaxALを用いて、活性度ALは、式(4)のように表すことができる。なお、最大値MAxALは、例えば、値1に設定してもよい。
For example, the activity ALi for the i-th non-language response included in m types of non-language responses is the maximum value ai of the measured value obtained by sampling the strength of the non-language response and the non-language response. The weight wi set for can be expressed as shown in Equation (3). In Equation (3), the constant MaxALi is the maximum value set for the activity ALi for the i-th nonverbal reaction. Each constant MaxALi corresponding to each non-language response is desirably set to a value of about 0.4, for example, in order to reflect the activity corresponding to a plurality of non-language responses in the activity of the person P1.
ALi = max (wi · ai, MaxALi) (3)
Further, using the activity ALi calculated as described above and the maximum value MaxAL preset for the activity, the activity AL can be expressed as shown in Expression (4). The maximum value MAxAL may be set to a
図16に例示した補正部163は、人物P1と刺激媒体2の一例であるクマ型ロボットR1との距離に基づいて、上述したようにして求めた活性度ALを補正することにより、人物P1がクマ型ロボットR1に向けた活動量を示す同調的な活性度ALsを求める。
The
補正部163は、例えば、集計部162によって得られた活性度ALに、人物P1とクマ型ロボットR1との距離dに応じた係数εを乗じた値を、クマ型ロボットR1に向けられている活動量を示す同調的な活性度ALsとしてもよい。
For example, the
ここで、人物P1とクマ型ロボットR1との距離dが、両者が近接していると判断できる距離Dn以下である場合に、活性度ALで示される活動量が、クマ型ロボットR1に向けられている可能性は高い。逆に、距離dが両者が離れていると判断される距離Dd以上である場合に、活性度ALで示される活動量が、クマ型ロボットR1に向けられている可能性は低い。そこで、距離dが上述した距離Dn以下である場合に、活性度ALで示される活動量がクマ型ロボットR1に向けられている可能性を示す係数enとする。また、距離dが上述した距離Dd以上である場合に、活性度ALで示される活動量がクマ型ロボットR1に向けられている可能性を示す係数edとする。これらの係数en,edを用いると、上述した係数εおよびクマ型ロボットR1に向けられている活動量を示す同調的な活性度ALsは、それぞれ式(5)、式(6)のように表すことができる。なお、上述した距離Dnおよび距離Ddは、クマ型ロボットR1が人物P1に作用する環境などを考慮して決定することができる。例えば、クマ型ロボットR1が室内に配置されている場合には、1メートル程度の値を距離Dnに設定し、2メートル程度の距離を距離Ddに設定することが望ましい。 Here, when the distance d between the person P1 and the bear robot R1 is equal to or less than the distance Dn at which it can be determined that the two are close to each other, the activity amount indicated by the activity AL is directed to the bear robot R1. It is highly possible that On the other hand, when the distance d is equal to or greater than the distance Dd determined to be apart from each other, it is unlikely that the activity amount indicated by the activity AL is directed to the bear robot R1. Therefore, when the distance d is equal to or less than the distance Dn described above, the coefficient en indicating the possibility that the activity amount indicated by the activity level AL is directed to the bear robot R1. In addition, when the distance d is equal to or greater than the distance Dd described above, the coefficient ed indicating the possibility that the activity amount indicated by the activity level AL is directed to the bear robot R1. When these coefficients en and ed are used, the above-described coefficient ε and the synchronous activity ALs indicating the amount of activity directed to the bear-type robot R1 are expressed as Expression (5) and Expression (6), respectively. be able to. Note that the distance Dn and the distance Dd described above can be determined in consideration of the environment in which the bear-type robot R1 acts on the person P1. For example, when the bear robot R1 is placed indoors, it is desirable to set a value of about 1 meter as the distance Dn and a distance of about 2 meters as the distance Dd.
このように、補正部163は、集計部162で得られた活性度ALと式(6)を用いることにより、クマ型ロボットR1に向けられている活動量を示す同調的な活性度ALsを算出してもよい。
As described above, the correcting
図16に例示した推定部164は、上述した同調的な活性度ALsと第2検出部で得られた同調的な非言語反応ごとの同調度SLjとに基づいて、人物P1が刺激媒体2に向けて表出した可能性の高い非言語反応の強さを推定する。なお、図16に例示したクマ型ロボットR1は、刺激媒体2の一例である。
The
推定部164は、例えば、同調的な非言語反応ごとの同調度SLjおよび上述した同調的な活性度ALsの中の最大値を、人物P1が表出した非言語反応のうちクマ型ロボットR1に向けられた非言語反応の強さの推定値SLpとしてもよい。なお、推定部164は、クマ型ロボットR1に向けられた非言語反応の強さの推定値SLpを、この推定値について予め設定した最大値MaxSL以下の値となるように抑制してもよい。
The
このような抑制を適用する場合に、推定部164によって求められるクマ型ロボットR1に向けられた非言語反応の強さの推定値SLpは、式(7)のように表される。
SLp=min(max(max(SL1,・・・,SLn),ALs)),MaxSL) ・・・(7)
図16に例示した割合算出部165は、例えば、アイコンタクト区間τのうち、人物P1がクマ型ロボットR1を見ている期間の割合を求めることにより、人物P1がクマ型ロボットR1に視線を向けていた確率Cpを求める。割合算出部165は、例えば、アイコンタクト区間τに含まれる画像データの枚数Mtに対して、人物P1の顔が正面向きで捉えられている画像データの枚数Mpが占める割合を、人物P1がクマ型ロボットR1に視線を向けていた確率Cpとしてもよい。
When such suppression is applied, the estimated value SLp of the strength of the non-language response directed to the bear-type robot R1 obtained by the
SLp = min (max (max (SL1,..., SLn), ALs)), MaxSL) (7)
For example, the
そして、図16に例示した乗算部166は、割合算出部165で算出された確率Cpを、推定部164で求められた推定値SLpに乗算することにより、人物P1がクマ型ロボットR1に対して示している同調度SLを求める。
Then, the
したがって、この同調度SLは、例えば、上述した式(7)と確率Cpとを用いて、式(8)のように表される。
SL=min(max(max(SL1,・・・,SLn),ALs)),MaxSL)・Cp ・・・(8)
このように、図16に例示した第2評価部16によれば、同調的な非言語反応に限らず、人物P1が表出したあらゆる非言語反応がクマ型ロボットR1に対して向けられた可能性を考慮することにより、人物P1の同調度をより精密に評価することができる。
Therefore, the degree of tuning SL is expressed as in Expression (8) using, for example, Expression (7) and probability Cp described above.
SL = min (max (max (SL1, ..., SLn), ALs)), MaxSL) · Cp (8)
As described above, according to the
なお、本出願人は、複数の人物を撮影した映像に基づいて、発明者の主観による活性度および同調度の評価と、図16に例示した第2評価部16によって得られる活性度および同調度とが一致するか否かを調べる実験を行っている。この実験の結果によれば、発明者の主観による活性度および同調度の評価と、図16に例示した第2評価部16によって得られた活性度および同調度の評価結果との間には、高い相関関係が見られた。
The applicant of the present invention evaluates the degree of activity and synchrony according to the subjectivity of the inventor based on the images obtained by photographing a plurality of persons, and the degree of activity and synchrony obtained by the
また、上述したようにして人物P1が表出した非言語反応に基づいて算出した各種の指標値を、時系列に従って出力することにより、人物P1の様子を遠隔地に居住する家族が見守るサービスを支援することも可能である。 In addition, by outputting various index values calculated based on the non-verbal reaction expressed by the person P1 as described above according to a time series, a service for a family living in a remote place to watch the state of the person P1. It is also possible to assist.
図18は、非言語情報解析装置の別実施形態を示している。なお、図18に示した構成要素のうち、図3又は図12に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。 FIG. 18 shows another embodiment of the non-language information analyzing apparatus. 18 that are the same as those shown in FIG. 3 or FIG. 12 are given the same reference numerals, and descriptions thereof are omitted.
図18に例示した非言語情報解析装置10は、センサ部11、生成部12、第1評価部13、生成制御部14および第2評価部16に加えて、評価情報蓄積部17と、出力部18とを含んでいる。評価情報蓄積部17は、第1評価部13によって得られた情動度を示す情報および第2評価部16によって得られた活性度および同調度を示す情報を、時系列に従って蓄積する。出力部18は、評価情報蓄積部17に蓄積された情報に基づいて、人物P1について得られた情動度と活性度および同調度とを対比させて出力する。この出力部18は、例えば、遠隔地に居住する家族のパーソナルコンピュータなどの情報機器に、人物P1について得られた情動度と活性度および同調度を時系列に従って提示する見守り画面を表示させてもよい。
In addition to the
図19は、見守り画面の一例を示している。図19において、符号Picは、人物P1を撮影して得られた画像の例である。また、符号Barは、図18に例示した第1評価部13および第2評価部16によって最近に得られた情動度、活性度および同調度の大きさを、それぞれ対応する棒グラフの長さで示している。
FIG. 19 shows an example of the watching screen. In FIG. 19, a symbol Pic is an example of an image obtained by photographing the person P1. Further, the symbol Bar indicates the magnitude of emotion, activity, and synchronization obtained recently by the
また、図19に例示した見守り画面は、日付に対応する帯状の領域に設けた時刻ごとの区画を含んでいる。そして、図18に例示した出力部18は、例えば、対応する時間帯において第1評価部13および第2評価部16で得られた情動度、活性度および同調度を集計することにより、図19において符号h1、h2、h3、h4、h5、h6、h7で示した棒グラフを表示させてもよい。
Moreover, the watching screen illustrated in FIG. 19 includes a section for each time provided in a band-shaped area corresponding to the date. Then, the
なお、図19に例示した棒グラフh1〜h7に含まれる各バーは、左から順に、インタラクション頻度、活性度および快適度を示している。出力部18は、例えば、各時間帯において第2評価部16で得られた同調度が所定の閾値以上の状態で刺激媒体2との間の相互作用があった回数を集計することにより、インタラクション頻度を求めてもよい。また、出力部18は、各時間帯に対応して蓄積された活性度および快情動を示す情動度について、あらかじめ設定した統計処理を行うことにより、個々の時間帯の活性度および快適度を求めてもよい。出力部18は、各時間帯に対応して蓄積された活性度のサンプルに対して、上述した統計処理として、最大値を取得する処理や平均値を取得する処理および上位x個の平均を取得する処理を実行することによって、当該時間帯の活性度を算出してもよい。同様に、出力部18は、各時間帯に対応して蓄積された快情動を示す情動度のサンプルに対して、上述した統計処理のいずれかを実行することによって、当該時間帯の快適度を算出してもよい。
Each bar included in the bar graphs h1 to h7 illustrated in FIG. 19 indicates the interaction frequency, the activity level, and the comfort level in order from the left. For example, the
なお、出力部18は、複数の日付に対応する帯状の領域を含む見守り画面を生成することもできる。また、出力部18は、図19に例示した棒グラフh1〜h7の代わりに、インタラクション頻度をバーの長さで示し、活性度および快適度を色調で表現するようにした見守り画面を生成してもよい。出力部18は、例えば、各時間帯に対応して蓄積された活性度の最大値を、インタラクション頻度を示すバーの表示色の明度あるいは彩度の高さで示す見守り画面を生成してもよい。また、出力部18は、例えば、各時間帯に対応して蓄積された快適度の最大値を、インタラクション頻度を示すバーの表示色の色相が基本の色相から隔たっている度合いで示す見守り画面を生成してもよい。
Note that the
上述したように、第1評価部13で得られる情動度および第2評価部16で得られる同調度は、いずれも、人物P1によって表出されていない感情を推測する手がかりとなる情報である。また、同調度を算出する過程において、第2評価部16で求められる活性度もまた、人物P1によって表出されていない感情を推測する手がかりとなる情報である。
As described above, the emotion level obtained by the
したがって、図19に例示したような見守り画面において、上述した複数の指標を対比して提示することにより、明確には表出されにくい見守り対象の人物P1の気分などを推測する手がかりを得ることができる。 Therefore, in the watching screen as illustrated in FIG. 19, by presenting the above-mentioned plurality of indicators in comparison, it is possible to obtain a clue to guess the mood of the watching target person P1 that is difficult to express clearly. it can.
例えば、本件開示の非言語情報解析装置10によって得られた活性度および快適度をラッセルの感情円環モデルなどの感情モデルに当てはめることにより、見守り対象の人物P1によって表出されていない感情を推測することも可能である。
For example, by applying the degree of activity and comfort obtained by the non-linguistic
また、クマ型ロボットR1を刺激媒体2として用いることにより、クマ型ロボットR1に搭載されているアクション機能を、非言語情報解析装置10が、人物P1が表出する非言語反応にかかる非言語情報の収集に利用することも可能である。
Further, by using the bear-type robot R1 as the
図20は、非言語情報解析装置10の別実施形態を示している。なお、図20に示した構成要素のうち、図18に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
FIG. 20 shows another embodiment of the non-language
クマ型ロボットR1を刺激媒体2として利用することによる利点は、以上に述べた非言語情報解析装置10の実施形態の説明において述べたとおりである。なお、本件開示の非言語情報解析装置10を、見守りサービスの支援に適用した場合には、クマ型ロボットR1のように、日常生活に溶け込む外見を持つ刺激媒体2を利用することにより、見守り対象の人物P1の負担を軽減することができる。また、クマ型ロボットR1の持つ愛らしい外見や愛嬌のあるしぐさにより、見守り対象の人物P1の同調性や自然な情動が引き出される可能性も高いので、クマ型ロボットR1を非言語情報解析装置10と組み合わせて利用することは有用である。
The advantages of using the bear type robot R1 as the
本件開示の非言語情報解析装置10は、例えば、パーソナルコンピュータなどのコンピュータ装置を用いて実現することができる。
図21は、非言語情報解析装置のハードウェア構成例を示している。
The non-linguistic
FIG. 21 shows a hardware configuration example of the non-linguistic information analysis apparatus.
図21に例示したコンピュータ装置20は、プロセッサ21と、メモリ22と、ハードディスク装置23と、表示装置24と、入力装置25と、光学ドライブ装置26と、ロボットインタフェース28とを含んでいる。図21に例示したプロセッサ21と、メモリ22と、ハードディスク装置23と、表示装置24と、入力装置25と、光学ドライブ装置26と、ロボットインタフェース28とは、バスを介して互いに接続されている。図21に例示した光学ドライブ装置26は、光ディスクなどのリムーバブルディスク27を装着可能であり、装着したリムーバブルディスク27に記録された情報の読出および記録を行う。また、図21に例示した非言語情報解析装置10は、プロセッサ21と、メモリ22と、ハードディスク装置23と、表示装置24と、ロボットインタフェース28とを含んでいる。
The
図21に例示したコンピュータ装置20は、ロボットインタフェース28を介して、クマ型ロボットR1に接続されている。そして、プロセッサ21は、ロボットインタフェース28を介して、このクマ型ロボットR1に搭載されたセンサ部11およびアクション部15からの情報を受け取ることができる。
The
図21に例示した入力装置25は、例えば、キーボードやマウスなどである。非言語情報解析装置10の操作者は、入力装置25を操作することにより、非言語情報解析装置10に含まれる各部に対して、例えば、人物P1の見守りを開始させる旨の指示などを入力することができる。
The
メモリ22は、コンピュータ装置20のオペレーティングシステムとともに、プロセッサ21が上述した非言語情報解析処理を実行するためのアプリケーションプログラムを格納している。なお、上述した非言語情報解析処理を実行するためのアプリケーションプログラムは、例えば、光ディスクなどのリムーバブルディスク27に記録して頒布することができる。そして、このリムーバブルディスク27を光学ドライブ装置26に装着して読み込み処理を行うことにより、非言語情報解析処理を実行するためのアプリケーションプログラムを、メモリ22およびハードディスク装置23に格納させてもよい。また、インターネットなどのネットワークに接続する通信装置(図示せず)を介して、非言語情報解析処理を実行するためのアプリケーションプログラムをメモリ22およびハードディスク装置23に読み込ませることもできる。
Along with the operating system of the
また、プロセッサ21は、メモリ22に格納されたアプリケーションプログラムを実行することにより、図1に例示した生成部12、第1評価部13の機能を果たしてもよい。また、プロセッサ21は、メモリ22に格納されたアプリケーションプログラムを実行することにより、図3に例示した生成制御部14の機能を果たしてもよい。更に、プロセッサ21は、メモリ22に格納されたアプリケーションプログラムを実行することにより、図12に例示した第2評価部16および図18に例示した出力部18の機能を果たしてもよい。
Further, the
図22は、非言語情報解析処理のフローチャートの一例を示している。図22に示したステップS301〜ステップS311の各処理は、上述した非言語情報解析処理のためのアプリケーションプログラムに含まれる処理の一例である。また、これらのステップS301〜ステップS311の各処理は、図21に例示したプロセッサ21によって実行される。
FIG. 22 shows an example of a flowchart of non-linguistic information analysis processing. Each process of step S301 to step S311 illustrated in FIG. 22 is an example of a process included in the application program for the non-linguistic information analysis process described above. In addition, each processing of step S301 to step S311 is executed by the
プロセッサ21は、ロボットインタフェース28を介して、クマ型ロボットR1に含まれるアクション部15からアクションを実行する旨の通知を受信したときに(ステップS301)、ステップS302以降の非言語反応の生成および解析処理を開始する。
When the
プロセッサ21は、上述した通知で示されたアクション種別に対応する遅延時間が経過するまで待機する(ステップS302)。例えば、プロセッサ21は、各アクション種別に対応して図8に例示した遅延時間の経過を待機すればよい。
The
その後、プロセッサ21は、ロボットインタフェース28を介して、クマ型ロボットR1に含まれるセンサ部11に含まれるカメラなどの各センサデバイスからのセンサデータの受信を開始する(ステップS303)。
Thereafter, the
ついで、プロセッサ21は、受信したセンサデータから非言語反応の強さを示す計測値を生成する処理を実行する(ステップS304)。プロセッサ21は、ステップS304において、例えば、画像データに対する顔認識処理や音声データの解析処理を実行し、人物P1の顔の位置や大きさ、向きを示す計測値を生成する。また、プロセッサ21は、生成した計測値を、例えば、当該計測値に対応するセンサデータの取得時刻などに対応してハードディスク装置23に蓄積する。
Next, the
次に、プロセッサ21は、ステップS304で得られた人物P1の顔の画像内における位置および顔の向きを示す計測値に基づいて、クマ型ロボットR1と人物P1との間のアイコンタクトが成立したか否かを判定する(ステップS305)。
Next, the
例えば、人物P1の顔が画像の一方の端に近いことや、顔の向きが横向きであることが顔認識処理で得られた計測値によって示された場合に、プロセッサ21は、ステップS305の否定判定ルートに従って、ステップS304の処理に戻る。
For example, when the measured value obtained by the face recognition process indicates that the face of the person P1 is close to one end of the image or that the face orientation is landscape, the
一方、人物P1の顔が画像の中央に位置し、かつ、顔の向きが正面であることが顔認識処理で得られた計測値によって示された場合に、プロセッサ21は、ステップS305の肯定判定ルートに従って、ステップS306の処理に進む。
On the other hand, when the measurement value obtained by the face recognition process indicates that the face of the person P1 is located in the center of the image and the face direction is the front, the
ステップS306において、プロセッサ21は、上述したアイコンタクト区間の終了まで、センサデータを受信する処理およびセンサデータから計測値を生成する処理および生成した計測値を蓄積する処理を実行する。プロセッサ21は、例えば、ステップS305の処理でアイコンタクトが成立したと判定した時刻から、予め設定した時間(例えば4秒)が経過するまでに受信したセンサデータから、非言語反応の強さを示す計測値を生成する処理を実行する。そして、プロセッサ21は、この間に生成された計測値を、例えば、当該計測値に対応するセンサデータの取得時刻などに対応してハードディスク装置23に蓄積する。
In step S306, the
アイコンタクト区間の終了後に、プロセッサ21は、ハードディスク装置23にアイコンタクト区間に含まれる時刻に対応して蓄積された計測値を含む非言語情報を抽出する(ステップS307)。
After the end of the eye contact section, the
次いで、プロセッサ21は、ステップS307の処理で抽出された非言語情報に含まれる人物P1の感情表現を表す非言語反応の強さを示す計測値の時間変化の特徴に基づいて、人物P1の情動度を算出する(ステップS308)。なお、人物P1の情動度を算出する手法は、図2および図11を用いて説明したとおりである。
Next, the
また、プロセッサ21は、ステップS307の処理で抽出された少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、当該変動が出現したタイミングに基づいて、人物P1の同調度および活性度を算出する(ステップS309)。なお、人物P1の同調度を算出する手法は、図13を用いて説明したとおりである。また、人物P1の活性度を算出する手法は、図17を用いて説明したとおりである。更に、プロセッサ21は、ステップS309の処理において、図16を用いて説明したように、人物P1の活性度の影響を同調度に加味して算出する手法を用いてもよい。
Further, the
次いで、プロセッサ21は、ステップS308,S309の処理で算出した情動度、活性度および同調度について、所定の統計処理を実行する(ステップS310)。プロセッサ21は、例えば、情動度、活性度および同調度それぞれについて、日付および時間帯ごとに集計し、また、平均値を算出するなどの処理を、所定の統計処理として実行することができる。
Next, the
その後、プロセッサ21は、ステップS310の処理で得られた統計処理結果およびステップS309で算出した情動度、活性度および同調度をハードディスク装置23に保存し(ステップS311)、処理を終了する。
Thereafter, the
上述した処理を、クマ型ロボットR1がアクションを実行するごとに繰り返すことにより、人物P1が様々なタイミングで表出した非言語反応を示す非言語情報について解析を行った結果をハードディスク装置23に蓄積することができる。
By repeating the above-described processing every time the bear-type robot R1 executes an action, the result obtained by analyzing the non-linguistic information indicating the non-linguistic reaction expressed by the person P1 at various timings is stored in the
また、このようにしてハードディスク装置23に蓄積された情報に基づいて、プロセッサ21は、図19に例示したような見守り画面を生成し、表示装置24を介して操作者に提示することも可能である。更に、コンピュータ装置20を通信装置(図示せず)を介してネットワークに接続することにより、このような見守り画面を、ネットワーク経由で、遠隔地の家族に対して提示することもできる。
Further, based on the information stored in the
このように、図21に例示した非言語情報解析装置10によれば、人物P1が表出した非言語反応を解析することで得られた情動度および同調度を含む人物P1によって表出されていない感情を推測するための情報を時系列的に蓄積することができる。
As described above, according to the non-linguistic
なお、人物P1が表出する非言語反応を検出する処理は、上述したようにクマ型ロボットR1のアクションの実行を契機とする場合に限られない。例えば、クマ型ロボットR1に含まれるカメラなどのセンサにより、クマ型ロボットR1が配置された部屋に人物P1が入室したことを感知し、これを非言語反応の検出動作の契機とすることも可能である。 Note that the process of detecting the non-language reaction that the person P1 expresses is not limited to the case where the action of the bear robot R1 is executed as described above. For example, a sensor such as a camera included in the bear-type robot R1 can sense that a person P1 has entered the room in which the bear-type robot R1 is placed, and this can be used as a trigger for a non-language reaction detection operation. It is.
また、非言語情報を収集する期間は、上述したアイコンタクト区間に限定されず、人物P1がクマ型ロボットR1に搭載されたセンサ部11で観測可能な非言語反応を表出する可能性のある期間に亘って継続することもできる。例えば、人物P1が入室してから退室するまでの期間に亘って、非言語反応の検出動作を継続することもできる。
The period for collecting the non-linguistic information is not limited to the above-described eye contact section, and the person P1 may express a non-linguistic reaction that can be observed by the
以上の説明に関して、更に、以下の各項を開示する。
(付記1)
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部と、
前記センサ部が取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さをそれぞれ示す計測値を含む非言語情報を生成する生成部と、
前記生成部で生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する第1評価部と
を備える非言語情報解析装置。
(付記2)
付記1に記載の非言語情報解析装置において、
刺激媒体から前記人物へ刺激を与えたタイミングで、前記生成部に対して非言語情報を生成させる制御を行う生成制御部と
を備えたことを特徴とする非言語情報解析装置。
(付記3)
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部と、
前記センサ部が取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する生成部と、
刺激媒体から前記人物へ刺激を与えたタイミングで、前記生成部に対して非言語情報を生成させる制御を行う生成制御部と、
前記生成部で生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する第2評価部と
を備える非言語情報解析装置。
(付記4)
付記2又は付記3に記載の非言語情報解析装置において、
前記刺激媒体はロボットであり、
前記センサ部は、前記ロボットの視線方向に対応して光軸が設定されたカメラを有し、
前記生成制御部は、
前記カメラで取得された画像に基づいて、前記ロボットの視線と前記人物の視線とが一致したタイミングを検出する第1検出部と、
前記第1検出部で検出されたタイミングを含む所定の長さの期間を設定し、当該期間において、前記生成部に、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる期間設定部とを有する
ことを特徴とする非言語情報解析装置。
(付記5)
付記2又は付記3に記載の非言語情報解析装置において、
前記刺激媒体はロボットであり、
前記ロボットは、前記刺激として、発話および身体動作の少なくとも一方を含むアクションを前記人物に対して行うアクション部を有し、
前記生成制御部は、
前記ロボットの前記アクション部が前記アクションを実行した後の所定の長さの期間において、前記生成部に、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる
ことを特徴とする非言語情報解析装置。
(付記6)
付記1又は付記2に記載の非言語情報解析装置において、
前記第1評価部は、
前記生成部によって生成された非言語情報に含まれる、前記人物の表情が笑顔である度合いを示す笑顔度が時間経過に応じて変化する速度を算出する速度算出部と、
前記笑顔度が増大していく過程に対応して、前記速度算出部で算出された速度の二乗和を求めることにより、前記人物の笑顔の自然さを示す情動度を求める積算部とを有する
ことを特徴とする非言語情報解析装置。
(付記7)
付記3に記載の非言語情報解析装置において、
前記第2評価部は、
前記生成部によって生成された前記非言語情報に含まれる同調的な非言語反応の強さを示す計測値の単位時間当たりの最大変化幅をそれぞれ検出することにより、前記同調的な非言語反応それぞれの同調度を求める第2検出部と、
前記生成部によって生成された前記非言語情報に基いて、個々の非言語反応の強さを示す計測値の最大値を前記非言語反応の種類ごとに集計することにより、前記非言語反応の表出に前記人物が費やした活動量を示す活性度を求める集計部と、
前記人物と前記刺激媒体との距離に基づいて、前記活性度を補正することにより、前記人物が前記刺激媒体に向けた活動量を示す指標を求める補正部と、
前記人物が前記刺激媒体に向けた活動量を示す指標と前記第2検出部で検出された前記同調的な非言語反応それぞれの同調度とに基づいて、前記人物が前記刺激媒体に向けて表出した可能性の高い非言語反応の強さを推定する推定部と、
前記人物が前記刺激媒体に視線を向けていた可能性の高さと前記推定部によって推定された非言語反応の強さを乗算することにより、前記同調度を算出する乗算部とを有する
ことを特徴とする非言語情報解析装置。
(付記8)
付記3に記載の非言語情報解析装置において、
前記生成部で生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する第1評価部と、
前記第1評価部によって得られた情動度と前記第2評価部によって得られた同調度とを含む情報を対比させて出力する出力部と
を備えたことを特徴とする非言語情報解析装置。
(付記9)
付記8に記載の非言語情報解析装置において、
前記刺激媒体はロボットであり、
前記センサ部は、前記ロボットの視線方向に対応して光軸が設定されたカメラを有し、
前記生成制御部は、
前記カメラで取得された画像に基づいて、前記ロボットの視線と前記人物の視線とが一致したタイミングを検出する第1検出部と、
前記第1検出部で検出されたタイミングを含む所定の長さの期間を設定し、当該期間において、前記生成部に、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる期間設定部とを有し、
前記出力部は、前記第1検出部が検出したタイミングを示す情報とともに、前記情動度および前記同調度とを含む情報を対比させて出力する
ことを特徴とする非言語情報解析装置。
(付記10)
付記8に記載の非言語情報解析装置において、
前記刺激媒体はロボットであり、
前記ロボットは、前記刺激として、発話および身体動作の少なくとも一方を含むアクションを前記人物に対して行うアクション部を有し、
前記生成制御部は、
前記ロボットの前記アクション部が前記アクションを実行した後の所定の長さの期間において、前記生成部に、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させ、
前記出力部は、前記アクションが実行された時刻を示す情報とともに、前記第1評価部によって得られる評価結果をと前記第2評価部によって得られる評価結果とを含む情報を対比させて出力する
ことを特徴とする非言語情報解析装置。
(付記11)
コンピュータに、
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成させ、
生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価させる
ことを特徴とする非言語情報解析プログラム。
(付記12)
コンピュータが、
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、
生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する
ことを特徴とする非言語情報解析プログラム。
(付記13)
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、
生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する
ことを特徴とする非言語情報解析方法。
(付記14)
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、
生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する
ことを特徴とする非言語情報解析方法。
Regarding the above description, the following items are further disclosed.
(Appendix 1)
A sensor unit for observing non-verbal reactions including human facial expressions or gestures;
From the observation data acquired by the sensor unit, generating unit that generates non-linguistic information including measurement values each indicating the strength of at least one non-linguistic reaction expressed by the person;
Based on the temporal variation characteristics of the measurement value indicating the strength of the non-verbal reaction representing the emotional expression of the person included in the non-linguistic information generated by the generating unit, the emotional expression is A non-linguistic information analysis apparatus comprising: a first evaluation unit that evaluates an emotion level indicating a high possibility of being a natural expression of emotion.
(Appendix 2)
In the non-linguistic information analysis device according to
A non-linguistic information analysis apparatus comprising: a generation control unit that performs control to generate non-linguistic information with respect to the generation unit at a timing when a stimulus is applied to the person from a stimulation medium.
(Appendix 3)
A sensor unit for observing non-verbal reactions including human facial expressions or gestures;
From the observation data acquired by the sensor unit, generating unit that generates non-linguistic information including a measurement value indicating the strength of at least one non-linguistic reaction expressed by the person,
A generation control unit that controls the generation unit to generate non-linguistic information at a timing when a stimulus is given to the person from a stimulation medium;
The person stimulates from the magnitude of the variation of the measurement value indicating the strength of the at least one non-language response included in the non-language information generated by the generation unit, the timing when the variation appears, and the stimulation medium. A non-linguistic information analysis apparatus comprising: a second evaluation unit that evaluates a degree of synchronization indicating a degree of interest of the person in the stimulation medium based on a relationship with the received timing.
(Appendix 4)
In the non-linguistic information analysis apparatus according to
The stimulation medium is a robot;
The sensor unit has a camera in which an optical axis is set corresponding to the viewing direction of the robot,
The generation control unit
A first detection unit configured to detect a timing at which the line of sight of the robot and the line of sight of the person coincide with each other based on an image acquired by the camera;
A period of a predetermined length including the timing detected by the first detection unit is set, and in the period, a measurement value indicating the strength of at least one non-verbal reaction expressed by the person in the generation unit A non-linguistic information analyzing apparatus, comprising: a period setting unit that generates a non-linguistic information.
(Appendix 5)
In the non-linguistic information analysis apparatus according to
The stimulation medium is a robot;
The robot has an action unit that performs an action including at least one of speech and body movement on the person as the stimulus,
The generation control unit
Causing the generation unit to generate a measurement value indicating the strength of at least one non-verbal reaction expressed by the person in a predetermined length of time after the action unit of the robot executes the action. Non-linguistic information analysis device characterized by
(Appendix 6)
In the non-linguistic information analysis device described in
The first evaluation unit includes:
A speed calculation unit that calculates a speed at which a smile degree indicating a degree that the facial expression of the person is a smile included in the non-linguistic information generated by the generation unit changes with time;
In accordance with the process in which the smile level increases, an integration unit that calculates an emotion level indicating the naturalness of the person's smile is obtained by calculating a square sum of the speeds calculated by the speed calculation unit. Non-linguistic information analysis device characterized by
(Appendix 7)
In the non-linguistic information analysis device according to attachment 3,
The second evaluation unit is
By detecting the maximum change width per unit time of the measured value indicating the strength of the synchronous non-linguistic response included in the non-linguistic information generated by the generating unit, A second detector for determining the degree of synchronization of
Based on the non-linguistic information generated by the generating unit, the maximum value of the measured values indicating the strength of each non-linguistic reaction is tabulated for each type of non-linguistic reaction, so A totaling unit for obtaining an activity indicating the amount of activity spent by the person
A correction unit that obtains an index indicating an amount of activity of the person toward the stimulation medium by correcting the activity based on a distance between the person and the stimulation medium;
Based on the index indicating the amount of activity of the person toward the stimulation medium and the degree of synchronization of each of the synchronous non-verbal responses detected by the second detection unit, the person is displayed toward the stimulation medium. An estimator that estimates the strength of the non-verbal response likely to have been issued,
A multiplication unit that calculates the degree of synchronization by multiplying the high possibility that the person is looking at the stimulus medium by the strength of the non-language response estimated by the estimation unit. A non-linguistic information analysis device.
(Appendix 8)
In the non-linguistic information analysis device according to attachment 3,
Based on the temporal variation characteristics of the measurement value indicating the strength of the non-verbal reaction representing the emotional expression of the person included in the non-linguistic information generated by the generating unit, the emotional expression is A first evaluation unit that evaluates an emotion level indicating a high possibility of being a natural expression of emotion;
A non-linguistic information analysis apparatus comprising: an output unit that compares and outputs information including the degree of emotion obtained by the first evaluation unit and the degree of synchronization obtained by the second evaluation unit.
(Appendix 9)
In the non-linguistic information analysis device according to attachment 8,
The stimulation medium is a robot;
The sensor unit has a camera in which an optical axis is set corresponding to the viewing direction of the robot,
The generation control unit
A first detection unit configured to detect a timing at which the line of sight of the robot and the line of sight of the person coincide with each other based on an image acquired by the camera;
A period of a predetermined length including the timing detected by the first detection unit is set, and in the period, a measurement value indicating the strength of at least one non-verbal reaction expressed by the person in the generation unit And a period setting unit for generating
The non-linguistic information analysis apparatus characterized in that the output unit compares and outputs information including the emotion level and the tuning level together with information indicating the timing detected by the first detection unit.
(Appendix 10)
In the non-linguistic information analysis device according to attachment 8,
The stimulation medium is a robot;
The robot has an action unit that performs an action including at least one of speech and body movement on the person as the stimulus,
The generation control unit
In a period of a predetermined length after the action unit of the robot executes the action, the generation unit generates a measurement value indicating the strength of at least one non-language response expressed by the person,
The output unit compares and outputs information including an evaluation result obtained by the first evaluation unit and information including an evaluation result obtained by the second evaluation unit together with information indicating a time at which the action is executed. Non-linguistic information analysis device characterized by
(Appendix 11)
On the computer,
From the observation data acquired from the sensor unit that observes the non-verbal reaction including the facial expression or gesture of the person, generate non-linguistic information including a measurement value indicating the strength of at least one non-verbal reaction expressed by the person,
Based on the temporal variation feature of the measured value indicating the strength of the non-verbal reaction that represents the emotional expression of the person included in the generated non-verbal information, the emotional expression is a natural expression of the person's emotion. A non-linguistic information analysis program characterized by evaluating the degree of emotion that indicates the likelihood of being expressed.
(Appendix 12)
Computer
Measured value indicating the strength of at least one non-verbal response that appears when the person receives a stimulus from a stimulus medium from observation data acquired from a sensor unit that observes a non-verbal response including facial expressions or gestures of the person Generate non-linguistic information including
A magnitude of variation in a measurement value indicating the strength of the at least one non-language response included in the generated non-language information, a timing at which the variation has occurred, and a timing at which the person is stimulated from the stimulation medium; The non-linguistic information analysis program characterized by evaluating the degree of synchrony indicating the level of interest of the person in the stimulation medium based on the relationship between the person and the person.
(Appendix 13)
From the observation data acquired from a sensor unit that observes a non-verbal reaction including a facial expression or gesture of a person, generate non-linguistic information including a measurement value indicating the strength of at least one non-verbal reaction expressed by the person,
Based on the temporal variation feature of the measured value indicating the strength of the non-verbal reaction that represents the emotional expression of the person included in the generated non-verbal information, the emotional expression is a natural expression of the person's emotion. A non-linguistic information analysis method characterized by evaluating an emotion level indicating a high possibility of appearing.
(Appendix 14)
Measured value indicating the strength of at least one non-verbal response that appears when the person receives a stimulus from a stimulus medium from observation data acquired from a sensor unit that observes a non-verbal response including facial expressions or gestures of the person Generate non-linguistic information including
A magnitude of variation in a measurement value indicating the strength of the at least one non-language response included in the generated non-language information, a timing at which the variation has occurred, and a timing at which the person is stimulated from the stimulation medium; A non-linguistic information analysis method characterized by evaluating a degree of synchrony indicating a degree of interest of the person in the stimulation medium based on the relationship between the person and the person.
2…刺激媒体;10…非言語情報解析装置;11…センサ部;12…生成部;13…第1評価部;14…生成制御部;15…アクション部;16…第2評価部;17…評価情報蓄積部;18…出力部;111…カメラ;112…マイク;113…接触センサ;121…センサデータ処理部;122…非言語情報蓄積部;123…読出処理部;124…画像データ処理部;125…音声データ処理部;126…接触データ処理部;131…速度算出部;132…積算部;141…第1検出部;142…期間設定部;151…スピーカ;152−1〜152−m…モータ;153…アクション制御部;161…第2検出部;162…集計部;163…補正部;164…推定部;165…割合算出部;166…乗算部;21…プロセッサ;22…メモリ;23…ハードディスク装置(HDD);24…表示装置;25…入力装置;26…光学ドライブ装置;27…リムーバブルディスク;28…ロボットインタフェース;P1…人物;R1…クマ型ロボット
DESCRIPTION OF
Claims (9)
前記センサ部が取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する生成部と、
前記生成部で生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する第1評価部と
を備える非言語情報解析装置。 A sensor unit for observing non-verbal reactions including human facial expressions or gestures;
From the observation data acquired by the sensor unit, generating unit that generates non-linguistic information including a measurement value indicating the strength of at least one non-linguistic reaction expressed by the person,
Based on the temporal variation characteristics of the measurement value indicating the strength of the non-verbal reaction representing the emotional expression of the person included in the non-linguistic information generated by the generating unit, the emotional expression is A non-linguistic information analysis apparatus comprising: a first evaluation unit that evaluates an emotion level indicating a high possibility of being a natural expression of emotion.
刺激媒体から前記人物へ刺激を与えたタイミングで、前記生成部に対して非言語情報を生成させる制御を行う生成制御部と
を備えたことを特徴とする非言語情報解析装置。 The non-linguistic information analysis apparatus according to claim 1,
A non-linguistic information analysis apparatus comprising: a generation control unit that performs control to generate non-linguistic information with respect to the generation unit at a timing when a stimulus is applied to the person from a stimulation medium.
前記センサ部が取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する生成部と、
刺激媒体から前記人物へ刺激を与えたタイミングで、前記生成部に対して非言語情報を生成させる制御を行う生成制御部と、
前記生成部で生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する第2評価部と
を備える非言語情報解析装置。 A sensor unit for observing non-verbal reactions including human facial expressions or gestures;
From the observation data acquired by the sensor unit, generating unit that generates non-linguistic information including a measurement value indicating the strength of at least one non-linguistic reaction expressed by the person,
A generation control unit that controls the generation unit to generate non-linguistic information at a timing when a stimulus is given to the person from a stimulation medium;
The person stimulates from the magnitude of the variation of the measurement value indicating the strength of the at least one non-language response included in the non-language information generated by the generation unit, the timing when the variation appears, and the stimulation medium. A non-linguistic information analysis apparatus comprising: a second evaluation unit that evaluates a degree of synchronization indicating a degree of interest of the person in the stimulation medium based on a relationship with the received timing.
前記刺激媒体はロボットであり、
前記センサ部は、前記ロボットの視線方向に対応して光軸が設定されたカメラを有し、
前記生成制御部は、
前記カメラで取得された画像に基づいて、前記ロボットの視線と前記人物の視線とが一致したタイミングを検出する第1検出部と、
前記第1検出部で検出されたタイミングを含む所定の長さの期間を設定し、当該期間において、前記生成部に、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる期間設定部とを有する
ことを特徴とする非言語情報解析装置。 In the non-linguistic information analysis device according to claim 2 or 3,
The stimulation medium is a robot;
The sensor unit has a camera in which an optical axis is set corresponding to the viewing direction of the robot,
The generation control unit
A first detection unit configured to detect a timing at which the line of sight of the robot and the line of sight of the person coincide with each other based on an image acquired by the camera;
A period of a predetermined length including the timing detected by the first detection unit is set, and in the period, a measurement value indicating the strength of at least one non-verbal reaction expressed by the person in the generation unit A non-linguistic information analyzing apparatus, comprising: a period setting unit that generates a non-linguistic information.
前記刺激媒体はロボットであり、
前記ロボットは、前記刺激として、発話および身体動作の少なくとも一方を含むアクションを前記人物に対して行うアクション部を有し、
前記生成制御部は、
前記ロボットの前記アクション部が前記アクションを実行した後の所定の長さの期間において、前記生成部に、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる
ことを特徴とする非言語情報解析装置。 In the non-linguistic information analysis device according to claim 2 or 3,
The stimulation medium is a robot;
The robot has an action unit that performs an action including at least one of speech and body movement on the person as the stimulus,
The generation control unit
Causing the generation unit to generate a measurement value indicating the strength of at least one non-verbal reaction expressed by the person in a predetermined length of time after the action unit of the robot executes the action. Non-linguistic information analysis device characterized by
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成させ、
生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価させる
ことを特徴とする非言語情報解析プログラム。 On the computer,
From the observation data acquired from the sensor unit that observes the non-verbal reaction including the facial expression or gesture of the person, generate non-linguistic information including a measurement value indicating the strength of at least one non-verbal reaction expressed by the person,
Based on the temporal variation feature of the measured value indicating the strength of the non-verbal reaction that represents the emotional expression of the person included in the generated non-verbal information, the emotional expression is a natural expression of the person's emotion. A non-linguistic information analysis program characterized by evaluating the degree of emotion that indicates the likelihood of being expressed.
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、
生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する
ことを特徴とする非言語情報解析プログラム。 Computer
Measured value indicating the strength of at least one non-verbal response that appears when the person receives a stimulus from a stimulus medium from observation data acquired from a sensor unit that observes a non-verbal response including facial expressions or gestures of the person Generate non-linguistic information including
A magnitude of variation in a measurement value indicating the strength of the at least one non-language response included in the generated non-language information, a timing at which the variation has occurred, and a timing at which the person is stimulated from the stimulation medium; The non-linguistic information analysis program characterized by evaluating the degree of synchrony indicating the level of interest of the person in the stimulation medium based on the relationship between the person and the person.
生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する
ことを特徴とする非言語情報解析方法。 From the observation data acquired from a sensor unit that observes a non-verbal reaction including a facial expression or gesture of a person, generate non-linguistic information including a measurement value indicating the strength of at least one non-verbal reaction expressed by the person,
Based on the temporal variation feature of the measured value indicating the strength of the non-verbal reaction that represents the emotional expression of the person included in the generated non-verbal information, the emotional expression is a natural expression of the person's emotion. A non-linguistic information analysis method characterized by evaluating an emotion level indicating a high possibility of appearing.
生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物に刺激を与えたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する
ことを特徴とする非言語情報解析方法。
Measured value indicating the strength of at least one non-verbal response that appears when the person receives a stimulus from a stimulus medium from observation data acquired from a sensor unit that observes a non-verbal response including facial expressions or gestures of the person Generate non-linguistic information including
A magnitude of fluctuation of a measurement value indicating the strength of the at least one non-linguistic response included in the generated non-linguistic information, a timing when the fluctuation appears, and a timing when a stimulus is given to the person from the stimulation medium; A non-linguistic information analysis method characterized by evaluating a degree of synchrony indicating a degree of interest of the person in the stimulation medium based on the relationship between the person and the person.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011243573A JP5768667B2 (en) | 2011-11-07 | 2011-11-07 | Non-linguistic information analysis apparatus, non-linguistic information analysis program, and non-linguistic information analysis method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011243573A JP5768667B2 (en) | 2011-11-07 | 2011-11-07 | Non-linguistic information analysis apparatus, non-linguistic information analysis program, and non-linguistic information analysis method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013099373A true JP2013099373A (en) | 2013-05-23 |
JP5768667B2 JP5768667B2 (en) | 2015-08-26 |
Family
ID=48620676
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011243573A Expired - Fee Related JP5768667B2 (en) | 2011-11-07 | 2011-11-07 | Non-linguistic information analysis apparatus, non-linguistic information analysis program, and non-linguistic information analysis method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5768667B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015018489A (en) * | 2013-07-12 | 2015-01-29 | ヤフー株式会社 | Information processor and information processing method |
US10863939B2 (en) | 2015-10-14 | 2020-12-15 | Panasonic Intellectual Property Corporation Of America | Emotion estimating method, emotion estimating apparatus, and recording medium storing program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009508553A (en) * | 2005-09-16 | 2009-03-05 | アイモーションズ−エモーション テクノロジー エー/エス | System and method for determining human emotion by analyzing eyeball properties |
JP2011039934A (en) * | 2009-08-17 | 2011-02-24 | Tokai Univ | Emotion estimation system and learning system using the same |
-
2011
- 2011-11-07 JP JP2011243573A patent/JP5768667B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009508553A (en) * | 2005-09-16 | 2009-03-05 | アイモーションズ−エモーション テクノロジー エー/エス | System and method for determining human emotion by analyzing eyeball properties |
JP2011039934A (en) * | 2009-08-17 | 2011-02-24 | Tokai Univ | Emotion estimation system and learning system using the same |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015018489A (en) * | 2013-07-12 | 2015-01-29 | ヤフー株式会社 | Information processor and information processing method |
US10863939B2 (en) | 2015-10-14 | 2020-12-15 | Panasonic Intellectual Property Corporation Of America | Emotion estimating method, emotion estimating apparatus, and recording medium storing program |
Also Published As
Publication number | Publication date |
---|---|
JP5768667B2 (en) | 2015-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109475294B (en) | Mobile and wearable video capture and feedback platform for treating mental disorders | |
US20050187437A1 (en) | Information processing apparatus and method | |
JP6518134B2 (en) | Pre-worn display device | |
RU2013158677A (en) | METHOD AND SYSTEM FOR ASSISTING PATIENT | |
Gligoric et al. | Smart classroom system for detecting level of interest a lecture creates in a classroom | |
JP2020039029A (en) | Video distribution system, video distribution method, and video distribution program | |
CN109765991A (en) | Social interaction system is used to help system and non-transitory computer-readable storage media that user carries out social interaction | |
CN107918726A (en) | Apart from inducing method, equipment and storage medium | |
JP2020113197A (en) | Information processing apparatus, information processing method, and information processing program | |
JP2015118185A (en) | Information processing apparatus, information processing method, and program | |
JP2017118364A (en) | Communication system, communication device, and communication program | |
WO2020125078A1 (en) | Heart rhythm monitoring method, device, electronic apparatus and computer-readable storage medium | |
CN112016367A (en) | Emotion recognition system and method and electronic equipment | |
CN108968972B (en) | Flexible fatigue detection device and information processing method and device | |
CN111935573A (en) | Audio enhancement method and device, storage medium and wearable device | |
JP7359437B2 (en) | Information processing device, program, and method | |
JP5768667B2 (en) | Non-linguistic information analysis apparatus, non-linguistic information analysis program, and non-linguistic information analysis method | |
CN109326348B (en) | Analysis prompting system and method | |
WO2021230180A1 (en) | Information processing device, display device, presentation method, and program | |
JP2020126195A (en) | Voice interactive device, control device for voice interactive device and control program | |
JP5987473B2 (en) | Non-linguistic information collecting apparatus and non-linguistic information collecting program | |
JP7306152B2 (en) | Emotion estimation device, emotion estimation method, program, information presentation device, information presentation method, and emotion estimation system | |
JP6363987B2 (en) | Voice processing system, voice processing apparatus, and voice processing program | |
JP6377566B2 (en) | Line-of-sight measurement device, line-of-sight measurement method, and program | |
US20180197564A1 (en) | Information processing apparatus, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150303 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5768667 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |