JP2022147506A - System and program for doing communications with people - Google Patents

System and program for doing communications with people Download PDF

Info

Publication number
JP2022147506A
JP2022147506A JP2021048774A JP2021048774A JP2022147506A JP 2022147506 A JP2022147506 A JP 2022147506A JP 2021048774 A JP2021048774 A JP 2021048774A JP 2021048774 A JP2021048774 A JP 2021048774A JP 2022147506 A JP2022147506 A JP 2022147506A
Authority
JP
Japan
Prior art keywords
user
information
emotion
issued
personality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021048774A
Other languages
Japanese (ja)
Other versions
JP6990472B1 (en
Inventor
佐知夫 前田
Sachio Maeda
知世 後藤
Tomoyo Goto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unirobot Corp
Original Assignee
Unirobot Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unirobot Corp filed Critical Unirobot Corp
Priority to JP2021048774A priority Critical patent/JP6990472B1/en
Application granted granted Critical
Publication of JP6990472B1 publication Critical patent/JP6990472B1/en
Publication of JP2022147506A publication Critical patent/JP2022147506A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

To provide a mechanism that can improve the relationship with a user as a communication with the user proceeds.SOLUTION: A communication device 111 of a robot 11 has system sending information determination means 1108 for determining information that a robot 11 is to send to a user on the basis of language information sent from the user, the feeling of the user, the personality of the user, and the feeling of the robot 11. The feeling of the robot 11 that the system sending information determination means 1108 uses to determine the information is determined by the personality of the robot 11 shown by system personality data stored in a server device 12. System personality update instruction means 1110 instructs the update of the system personality data stored in a server device 12 on the basis of the information that the robot 11 sent to the user, language information that the user sent, and the feeling of the user.SELECTED DRAWING: Figure 3

Description

本発明は、人とコミュニケーションを行うシステムに関する。 The present invention relates to a system for communicating with people.

人工知能の発達に伴い、人とコミュニケーションを行うシステムの実用化が進んでいる。例えば、特許文献1には、複数の擬似性格から学習者により選択された擬似性格に基づき疑似感情を決定し、学習者から取得した生体情報と、学習者の学習状況と、決定した擬似感情とに基づいて、学習者に対し実施する学習支援の内容とその表現を決定し、学習者に対し、決定した表現で決定した内容の学習支援を行う学習支援装置が提案されている。 With the development of artificial intelligence, the practical use of systems that communicate with people is progressing. For example, in Patent Document 1, a pseudo-emotion is determined based on a pseudo-personality selected by a learner from a plurality of pseudo-characters, and biological information obtained from the learner, the learning situation of the learner, and the determined pseudo-emotion Based on this, a learning support device has been proposed that determines the content and expression of learning support to be implemented for a learner, and provides the learner with the determined content of learning support based on the determined expression.

特開2017-173546号公報JP 2017-173546 A

特許文献1に記載の学習支援装置は、学習者により選択された擬似性格に応じて、学習者が発する生体情報及び学習者の学習状況が同じであっても、異なる表現で異なる内容の学習支援を学習者に対し行う。 The learning support device described in Patent Document 1 provides learning support with different contents using different expressions, even if the biometric information emitted by the learner and the learning situation of the learner are the same, according to the pseudo-personality selected by the learner. to the learner.

しかしながら、学習者が学習支援装置の擬似性格を変更しない限り、学習者が発する生体情報及び学習者の学習状況が同じであれば、同じ(又は類似の)表現で同じ(又は類似の)内容の学習支援を行う。 However, as long as the learner does not change the pseudo-personality of the learning support device, if the biometric information emitted by the learner and the learning situation of the learner are the same, the same (or similar) expression and the same (or similar) content Provide learning support.

学習支援者が人であれば、学習者とのコミュニケーションを繰り返す中で、自分と学習者との関係性が改善するように、意識的又は無意識的に性格を変化させてゆく。特許文献1に記載の学習支援装置は、人である学習支援者のような学習者に対する適応性を持たない。 If the learning supporter is a person, he/she will consciously or unconsciously change his/her personality through repeated communication with the learner so as to improve the relationship between himself/herself and the learner. The learning support device described in Patent Literature 1 does not have adaptability to learners such as human learning supporters.

本発明は、ユーザとのコミュニケーションに伴い、ユーザとの関係性を向上できる仕組みを提供する。 The present invention provides a mechanism capable of improving a relationship with a user through communication with the user.

上記目的を達成するために、本発明は、ユーザとの間でコミュニケーションを行うシステムであって、記憶装置との間でデータの受け渡しを行うデータ入出力手段と、測定装置から、前記ユーザが発出した情報を測定した結果を示すユーザ発出データを取得するユーザ発出情報取得手段と、前記ユーザ発出情報取得手段が取得した前記ユーザ発出データに基づき前記ユーザの感情を推定するユーザ感情推定手段と、前記記憶装置が記憶しているシステム性格データが示す前記システムの性格と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記システムの感情を決定するシステム感情決定手段と、前記ユーザ感情推定手段が推定した前記ユーザの感情と、前記システム感情決定手段が決定した前記システムの感情とに基づき、前記システムが発出する情報を決定するシステム発出情報決定手段と、前記ユーザに対し情報を発出する情報発出装置に、前記システム発出情報決定手段が決定した情報の発出を指示するシステム情報発出指示手段と、前記システム情報発出指示手段が前記情報発出装置に発出を指示した情報と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記記憶装置に対し前記システム性格データの更新を指示するシステム性格更新指示手段とを備えるシステムを提供する。 In order to achieve the above object, the present invention provides a system for communicating with a user, comprising data input/output means for exchanging data with a storage device, and data sent by the user from a measuring device. user-generated information acquisition means for acquiring user-generated data indicating a result of measuring the information obtained by the user; user-generated information acquisition means for estimating the user's emotion based on the user-generated data acquired by the user-generated information acquisition means; system emotion determining means for determining the emotion of the system based on the character of the system indicated by system character data stored in a storage device and the emotion of the user estimated by the user emotion estimating means; and the user emotion. system output information determining means for determining information to be output by the system based on the emotion of the user estimated by the estimation means and the emotion of the system determined by the system emotion determining means; and issuing information to the user. system information issuing instruction means for instructing an information issuing device to issue information determined by said system issuing information determining means; information instructed to be issued by said system information issuing instructing means to said information issuing device; and said user emotion The system further comprises system character update instruction means for instructing the storage device to update the system character data based on the user's emotion estimated by the estimation means.

本発明のシステムは、ユーザとのコミュニケーションの内容に応じて、自らのシステムの性格を更新する。従って、本発明のシステムは、ユーザとのコミュニケーションに伴い、ユーザとの関係性を向上できる。 The system of the present invention updates its own system personality according to the content of communication with the user. Therefore, the system of the present invention can improve the relationship with the user through communication with the user.

一実施形態に係るコミュニケーションシステムの全体構成を示した図。The figure which showed the whole structure of the communication system which concerns on one Embodiment. 一実施形態に係るロボットのハードウェア構成を示した図。The figure which showed the hardware constitutions of the robot which concerns on one Embodiment. 一実施形態に係るロボットの機能構成を示した図。The figure which showed the functional structure of the robot which concerns on one Embodiment.

[実施形態]
以下に、本発明の一実施形態に係るコミュニケーションシステム1を説明する。図1は、コミュニケーションシステム1の全体構成を示した図である。コミュニケーションシステム1は、ユーザXとコミュニケーションを行うロボット11と、インターネット等の通信ネットワークを介してロボット11との間で各種データの送受信(受け渡し)を行うサーバ装置12を備える。
[Embodiment]
A communication system 1 according to an embodiment of the present invention will be described below. FIG. 1 is a diagram showing the overall configuration of a communication system 1. As shown in FIG. The communication system 1 includes a robot 11 that communicates with a user X, and a server device 12 that transmits and receives various data to and from the robot 11 via a communication network such as the Internet.

図2は、ロボット11のハードウェア構成を示した図である。ロボット11は、コンピュータ101と、コンピュータ101に接続された撮影装置102、拾音装置103、表示装置104、発音装置105、駆動装置106、胴部107、頭部108、右腕部109、左腕部110を備える。 FIG. 2 is a diagram showing the hardware configuration of the robot 11. As shown in FIG. The robot 11 includes a computer 101, an imaging device 102 connected to the computer 101, a sound pickup device 103, a display device 104, a sound generating device 105, a driving device 106, a body portion 107, a head portion 108, a right arm portion 109, and a left arm portion 110. Prepare.

コンピュータ101は、プログラムに従い各種データ処理を行うプロセッサ1011、プログラムを含む各種データを記憶するメモリ1012、通信ネットワークを介さずに外部の装置との間でデータの受け渡しを行う入出力インタフェース1013、通信ネットワークを介して外部の装置との間でデータの受け渡し(送受信)を行う通信インタフェース1014を備える。 The computer 101 includes a processor 1011 that performs various data processing according to a program, a memory 1012 that stores various data including the program, an input/output interface 1013 that transfers data to and from an external device without passing through a communication network, a communication network, and a communication network. A communication interface 1014 is provided for exchanging (transmitting/receiving) data with an external device via the .

撮影装置102、拾音装置103、表示装置104、発音装置105、駆動装置106は、コンピュータ101の入出力インタフェース1013に接続されている。また、サーバ装置12は、コンピュータ101の通信インタフェース1014に通信ネットワークを介して接続されている。 The photographing device 102 , the sound pickup device 103 , the display device 104 , the sound generating device 105 and the driving device 106 are connected to the input/output interface 1013 of the computer 101 . The server device 12 is also connected to the communication interface 1014 of the computer 101 via a communication network.

撮影装置102は、例えば光学カメラであり、周囲を撮影した画像を表す画像データを継続的に生成する。拾音装置103はマイクであり、周囲の音を拾いその音の波形を表す音データを継続的に生成する。 The imaging device 102 is, for example, an optical camera, and continuously generates image data representing captured images of the surroundings. The sound pick-up device 103 is a microphone that picks up ambient sounds and continuously generates sound data representing waveforms of the sounds.

表示装置104は、例えば液晶ディスプレイであり、ユーザXに対し文字、図などを表す画像を表示する。発音装置105はスピーカであり、ユーザXに対し音(音声を含む)を発する。駆動装置106は、モータ等を備え、胴部107に対する頭部108、右腕部109、左腕部110の各々の姿勢(相対位置)を変更する。 The display device 104 is, for example, a liquid crystal display, and displays to the user X images representing characters, drawings, and the like. The sound generator 105 is a speaker and emits sound (including voice) to the user X. FIG. The driving device 106 includes a motor or the like, and changes the postures (relative positions) of the head 108 , right arm 109 , and left arm 110 with respect to the body 107 .

本実施形態において、サーバ装置12は、各種データを記憶する記憶装置の役割を果たすサーバ装置である。サーバ装置12が記憶しているデータには、少なくとも以下が含まれる。
(1)ユーザXの性格を示すユーザ性格データ
(2)ユーザXの属性(ユーザ属性)を示すユーザ属性データ
(3)ロボット11(コミュニケーションシステム1)の性格を示すシステム性格データ
(4)ユーザXとロボット11(コミュニケーションシステム1)との間で行われたコミュニケーションの内容を示すコミュニケーションログデータ
In this embodiment, the server device 12 is a server device that serves as a storage device that stores various data. The data stored by the server device 12 includes at least the following.
(1) User personality data indicating the personality of the user X (2) User attribute data indicating the attributes of the user X (user attributes) (3) System personality data indicating the personality of the robot 11 (communication system 1) (4) User X and the communication log data indicating the content of the communication performed between the robot 11 (communication system 1)

本実施形態の説明においては、感情、性格、ユーザ属性、という言葉が用いられる。本実施形態において、感情とは、性格と、コミュニケーションの相手から発出される情報とに基づき決定される、ユーザX又はロボット11の状態であり、感情値と呼ばれるパラメータ群により表現される。コミュニケーションシステム1においては、例として、心理学者であるプルチックが考案した「感情の輪」の考え方に従った感情値が用いられる。「感情の輪」における感情値とは、喜び、悲しみ、信頼、嫌悪、心配、怒り、驚き、予測、という8つの感情種別のバランスを示すパラメータ群である。ただし、コミュニケーションシステム1において、「感情の輪」以外の考え方に従う感情値が採用されてもよい。 In the description of this embodiment, the terms emotion, personality, and user attribute are used. In this embodiment, an emotion is a state of the user X or the robot 11 determined based on the personality and information issued by the communication partner, and is expressed by a parameter group called an emotion value. In the communication system 1, as an example, emotional values are used according to the concept of "circle of emotions" devised by psychologist Plutchik. The emotional value in the "wheel of emotions" is a parameter group that indicates the balance of eight emotion types: joy, sadness, trust, disgust, worry, anger, surprise, and prediction. However, in the communication system 1, an emotion value according to a concept other than the "circle of emotion" may be employed.

本実施形態において、性格とは、コミュニケーションの相手から発出される情報に応じて生じる感情値を左右する性質を意味し、性格値と呼ばれるパラメータ群により表現される。コミュニケーションシステム1においては、エゴグラムの考え方に従った性格値が用いられる。エゴグラムにおける性格値とは、支配性、寛容性、論理性、奔放性、順応性、という5つの性格種別のバランスを示すパラメータ群である。ただし、コミュニケーションシステム1において、エゴグラム以外の考え方に従う性格値が採用されてもよい。 In this embodiment, personality means a property that influences an emotional value generated according to information issued by a communication partner, and is represented by a parameter group called personality value. In the communication system 1, personality values according to the concept of egograms are used. The personality value in the egogram is a parameter group that indicates the balance of five personality types: dominance, tolerance, logic, freewheeling, and adaptability. However, in the communication system 1, personality values according to ideas other than the egogram may be employed.

感情は、コミュニケーションの相手から発出される情報を受け取る毎に大きく変化し得る。一方、性格は、感情のように動的に変化せず、コミュニケーションの相手から発出される情報を受け取る毎には実質的に変化しない。ただし、性格は、多数のコミュニケーションが繰り返される中で徐々に変化し得る。 Emotions can change significantly each time information is received from a communication partner. Personality, on the other hand, does not change dynamically like emotion, and does not substantially change each time information is received from a communication partner. Personality, however, can change gradually over many repeated communications.

本実施形態において、ユーザ属性とは、ユーザの客観視できる属性を意味する。ユーザ属性の例としては、ユーザXの氏名、ユーザXのあだ名、ユーザXの年齢、ユーザXの性別、ユーザXの趣味、ユーザXの食の嗜好、ユーザXが過去に行った活動、ユーザXが属している集団、等が挙げられるが、これらに限られない。ユーザ属性には、ユーザXの性別のように、通常は変化しないものもあれば、ユーザXが過去に行った活動のように、頻繁に変化するものもある。また、ユーザ属性の種別の数は一定ではない。 In this embodiment, a user attribute means an objective attribute of a user. Examples of user attributes include user X's name, user X's nickname, user X's age, user X's gender, user X's hobbies, user X's food preferences, user X's past activities, user X's group to which the group belongs, etc., but is not limited to these. Some user attributes, such as user X's gender, usually do not change, while others, such as user X's past activities, change frequently. Also, the number of types of user attributes is not constant.

コミュニケーションシステム1において、ユーザ属性はユーザXが発出した情報から抽出される。そして、ユーザ属性は、ロボット11がユーザXに対し発出する情報の一部として用いられる。その結果、ロボット11がユーザXに対し発出する情報が、ユーザXにカスタマイズされた適正なものとなる。 In the communication system 1, user attributes are extracted from information issued by user X. FIG. The user attributes are used as part of the information that the robot 11 issues to the user X. FIG. As a result, the information that the robot 11 issues to the user X is customized for the user X and appropriate.

サーバ装置12が記憶するコミュニケーションログデータは、以下のフィールドを含むレコードの集まりである。
(1)時刻
(2)情報発出者
(3)言語情報
(4)非言語情報
(5)感情値
The communication log data stored by the server device 12 is a collection of records including the following fields.
(1) Time (2) Information issuer (3) Verbal information (4) Non-verbal information (5) Emotion value

フィールド「時刻」は、ユーザX又はロボット11が情報の発出を行った時刻を示すデータを格納する。フィールド「情報発出者」は、情報の発出を行った主体、すなわち、ユーザX及びロボット11のいずれかを示すデータを格納する。 The field "time" stores data indicating the time when the user X or the robot 11 issued the information. The field "information issuer" stores data indicating the entity that issued the information, that is, either the user X or the robot 11. FIG.

フィールド「言語情報」は、情報発出者が発出した情報に含まれる言語情報を示すデータを格納する。言語情報は言語で表現される情報である。なお、言語情報は、音声、ジェスチャー(手話等)、画面や紙面などの媒体の上に記される文字列等のいずれの方法により発出されてもよい。 The field "language information" stores data indicating the language information included in the information issued by the information issuer. Linguistic information is information expressed in language. The linguistic information may be issued by any method such as voice, gestures (sign language, etc.), character strings written on a medium such as a screen or paper.

フィールド「非言語情報」は、情報発出者が発出した情報に含まれる言語情報以外の情報を示すデータを格納する。非言語情報には、例えば、声の抑揚、瞬きの増減、首をかしげる動作、視線を外す動作などが含まれる。これらの非言語情報は、情報発出者の感情を言語以外の方法でコミュニケーションの相手に伝える。 The field "non-verbal information" stores data indicating information other than the linguistic information included in the information issued by the information issuer. Non-verbal information includes, for example, inflection of voice, increase/decrease in blinking, motion of tilting the head, motion of looking away, and the like. These non-verbal information convey the emotion of the informant to the communication partner in a non-verbal way.

フィールド「感情値」には、情報発出者が発出した情報に応じた感情値を示すデータが格納される。情報発出者がユーザXである場合、フィールド「感情値」に格納される感情値は、ユーザXが発出した情報に基づきロボット11が推定した感情値を示すデータがフィールド「感情値」に格納される。一方、情報発出者がロボット11である場合、ロボット11がユーザXから受けた情報とロボット11の性格とに基づき決定した感情値がフィールド「感情値」に格納される。 The field "emotional value" stores data indicating the emotional value corresponding to the information issued by the information issuer. If the user X is the user X, the emotional value stored in the field "emotional value" is data indicating the emotional value estimated by the robot 11 based on the information issued by the user X. be. On the other hand, if the information sender is the robot 11, the emotional value determined based on the information received by the robot 11 from the user X and the character of the robot 11 is stored in the field "emotional value".

図3は、ロボット11の機能構成を示した図である。ロボット11は、コンピュータ101が本実施形態に係るプログラムに従うデータ処理を行うことにより実現されるコミュニケーション装置111と、ユーザXから発出された情報を測定し、その測定結果を示すユーザ発出データをコミュニケーション装置111に引き渡す測定装置112と、コミュニケーション装置111から受け取る指示に従い、ユーザXに対し情報の発出を行う情報発出装置113を備える。 FIG. 3 is a diagram showing the functional configuration of the robot 11. As shown in FIG. The robot 11 includes a communication device 111 implemented by the computer 101 performing data processing according to the program according to the present embodiment, and a communication device that measures information issued by the user X and sends user-generated data indicating the measurement result to the communication device. 111, and an information issuing device 113 that issues information to the user X in accordance with instructions received from the communication device 111. FIG.

測定装置112は、コンピュータ101の制御下で動作する撮影装置102及び拾音装置103により実現される。また、情報発出装置113は、コンピュータ101の制御下で動作する表示装置104、発音装置105、駆動装置106により実現される。 The measuring device 112 is realized by the imaging device 102 and the sound pickup device 103 operating under the control of the computer 101 . The information issuing device 113 is realized by the display device 104, the sound generating device 105, and the driving device 106 which operate under the control of the computer 101. FIG.

コミュニケーション装置111は、図3に示す各種の機能構成部を備える。以下にそれらの機能構成部の役割を説明する。 The communication device 111 includes various functional components shown in FIG. The roles of these functional components are described below.

データ入出力手段1101は、記憶装置の役割を果たすサーバ装置12との間で各種データの受け渡しを行う。ユーザ発出情報取得手段1102は、測定装置112からユーザ発出データを取得する。ユーザ発出データには、撮影装置102が撮影した画像を表す画像データと、拾音装置103が拾音した音を表す音データが含まれる。 The data input/output unit 1101 exchanges various data with the server device 12 that serves as a storage device. User generated information acquisition means 1102 acquires user generated data from the measuring device 112 . The user-generated data includes image data representing an image captured by the imaging device 102 and sound data representing sound picked up by the sound pickup device 103 .

ユーザ言語情報特定手段1103は、ユーザ発出情報取得手段1102が取得したユーザ発出データに基づき、ユーザXが発出した言語情報を特定する。ユーザ言語情報特定手段1103が言語情報を特定する方法は、例えば、既知の音声認識技術、画像認識技術、文字認識技術等を用いた方法が挙げられるが、これらに限られない。 User language information specifying means 1103 specifies language information issued by user X based on the user issued data acquired by user issued information acquiring means 1102 . A method for specifying language information by the user language information specifying means 1103 includes, for example, a method using known speech recognition technology, image recognition technology, character recognition technology, etc., but is not limited to these.

ユーザ非言語情報特定手段1104は、ユーザ発出情報取得手段1102が取得したユーザ発出データに基づき、ユーザXが発出した非言語情報を特定する。ユーザ非言語情報特定手段1104は、例えば、ユーザ発出データに含まれる音データが表すユーザXの音声の抑揚、ユーザ発出データに含まれる画像データが表すユーザXの動作に含まれる各種仕草、等を非言語情報として抽出する。 The user non-verbal information specifying means 1104 specifies the non-verbal information issued by the user X based on the user issued data acquired by the user issued information acquiring means 1102 . The user non-verbal information specifying means 1104, for example, identifies the intonation of the voice of the user X represented by the sound data included in the user-generated data, various gestures included in the actions of the user X represented by the image data included in the user-generated data, and the like. Extract as non-verbal information.

ユーザ感情推定手段1105は、ユーザ発出情報取得手段1102が取得したユーザ発出データに基づき、ユーザXの感情を推定する。 User emotion estimation means 1105 estimates the emotion of user X based on the user generated data acquired by user generated information acquisition means 1102 .

より具体的には、ユーザ感情推定手段1105は、以下の情報に基づき感情値を特定することにより、ユーザXの感情を推定する。 More specifically, user emotion estimation means 1105 estimates the emotion of user X by specifying an emotion value based on the following information.

(1)ユーザ言語情報特定手段1103が特定した、ユーザXが発出した言語情報
(2)ユーザ非言語情報特定手段1104が特定した、ユーザXが発出した非言語情報
(3)サーバ装置12が記憶しているユーザ性格データが示すユーザXの性格
(1) linguistic information issued by user X specified by user linguistic information specifying means 1103 (2) non-linguistic information issued by user X specified by user non-linguistic information specifying means 1104 (3) server device 12 stores Personality of user X indicated by the user personality data

なお、上記(3)の情報は必ずしもユーザXの感情の推定に用いられなくてもよいが、上記(3)の情報を用いることで、ユーザ感情推定手段1105はユーザXの感情をより高い精度で推定できる。 Although the information (3) above does not necessarily have to be used for estimating the emotion of user X, by using the information (3) above, user emotion estimation means 1105 can estimate user X's emotion with higher accuracy. can be estimated by

ユーザ感情推定手段1105は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、上記(1)~(3)の情報に応じた感情値を特定する。 User emotion estimating means 1105 has, for example, one or both of rule-based and machine learning artificial intelligence, and uses this artificial intelligence to identify emotional values according to the information (1) to (3) above. .

なお、上記(1)及び(2)の情報は、直近の情報に限られず、サーバ装置12が記憶しているコミュニケーションログデータが示す、過去の情報を含んでもよい。 The information (1) and (2) above is not limited to recent information, and may include past information indicated by communication log data stored in the server device 12 .

システム感情決定手段1106は、サーバ装置12が記憶しているシステム性格データが示すロボット11(より正しくは、コミュニケーションシステム1。以下、同様。)の性格と、ユーザ感情推定手段1105が推定したユーザXの感情とに基づき、ロボット11の感情を決定する。 The system emotion determining means 1106 determines the personality of the robot 11 (more correctly, the communication system 1; hereinafter the same) indicated by the system personality data stored in the server device 12 and the user X estimated by the user emotion estimation means 1105. and the emotion of the robot 11 is determined.

より具体的には、システム感情決定手段1106は、以下の情報に基づき感情値を特定することにより、ロボット11の感情を決定する。 More specifically, the system emotion determination means 1106 determines the emotion of the robot 11 by specifying the emotion value based on the following information.

(1)サーバ装置12が記憶しているシステム性格データが示すロボット11の性格
(2)ユーザ感情推定手段1105が推定したユーザXの感情
(3)サーバ装置12が記憶しているユーザ性格データが示すユーザXの性格
(4)ユーザ言語情報特定手段1103が特定した、ユーザXが発出した言語情報
(1) Personality of robot 11 indicated by system personality data stored in server device 12 (2) Emotion of user X estimated by user emotion estimation means 1105 (3) User personality data stored in server device 12 is Personality of user X indicated (4) Language information issued by user X, specified by user language information specifying means 1103

なお、上記(3)及び(4)の情報は必ずしもロボット11の感情の決定に用いられなくてもよいが、上記(3)又は(4)の情報を用いることで、システム感情決定手段1106はユーザXとコミュニケーションする人の感情により近い感情を、ロボット11の感情として決定できる。 The information (3) and (4) need not necessarily be used to determine the emotion of the robot 11, but by using the information (3) or (4), the system emotion determining means 1106 can An emotion that is closer to the emotion of the person communicating with the user X can be determined as the emotion of the robot 11 .

システム感情決定手段1106は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、上記(1)~(4)の情報に応じた感情値を特定する。 The system emotion determination means 1106 has, for example, one or both of rule-based and machine learning artificial intelligence, and the artificial intelligence identifies the emotional value according to the information (1) to (4) above. .

なお、上記(2)及び(4)の情報は、直近の情報に限られず、サーバ装置12が記憶しているコミュニケーションログデータが示す、過去の情報を含んでもよい。 The information (2) and (4) above is not limited to recent information, and may include past information indicated by communication log data stored in the server device 12 .

ユーザ属性更新指示手段1107は、ユーザ発出情報取得手段1102が取得したユーザ発出データに基づき、サーバ装置12に対し記憶しているユーザ属性データの更新を指示する。 The user attribute update instruction means 1107 instructs the server device 12 to update the stored user attribute data based on the user issued data acquired by the user issued information acquisition means 1102 .

具体的には、ユーザ属性更新指示手段1107は、ユーザ言語情報特定手段1103が特定したユーザXが発出した言語情報を解析し、ユーザXの属性(例えば、「昨日、アニメ映画を観た」など)を抽出し、抽出した属性を示すデータをユーザ属性データとして生成し、生成したユーザ属性データを、データ入出力手段1101を介してサーバ装置12に送信する。 Specifically, the user attribute update instruction means 1107 analyzes the language information issued by the user X specified by the user language information specifying means 1103, and determines the attributes of the user X (for example, "yesterday, I watched an animation movie"). ) is extracted, data indicating the extracted attribute is generated as user attribute data, and the generated user attribute data is transmitted to the server device 12 via the data input/output means 1101 .

また、ユーザ属性更新指示手段1107は、ユーザ非言語情報特定手段1104が特定したユーザXが発出した非言語情報(例えば、ユーザXがカレーライスを食べながら満足した表情をしている)を解析し、ユーザXの属性(例えば、「カレーが好き」)を抽出し、抽出した属性を示すデータをユーザ属性データとして生成し、生成したユーザ属性データを、データ入出力手段1101を介してサーバ装置12に送信する。 Also, the user attribute update instruction means 1107 analyzes the non-verbal information issued by the user X specified by the user non-verbal information specifying means 1104 (for example, the user X has a satisfied expression while eating curry and rice). , an attribute of user X (for example, “I like curry”) is extracted, data indicating the extracted attribute is generated as user attribute data, and the generated user attribute data is sent to server device 12 via data input/output means 1101. Send to

ユーザ属性更新指示手段1107は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、ユーザXが発出した言語情報又は非言語情報からユーザXの属性を抽出する。 The user attribute update instruction means 1107 has, for example, one or both of rule-based and machine-learning artificial intelligence, and uses the artificial intelligence to determine the attributes of the user X from the verbal information or non-verbal information issued by the user X. Extract.

サーバ装置12は、ロボット11から受信したユーザ属性データを、記憶しているユーザ属性データに追加(同じ種別の属性に関するユーザ属性データが記憶されていない場合)、または、ロボット11から受信したユーザ属性データで、記憶しているユーザ属性データの一部を上書き(同じ種別の属性に関するユーザ属性データが記憶されている場合)する。 The server device 12 adds the user attribute data received from the robot 11 to the stored user attribute data (if no user attribute data related to the same type of attribute is stored), or adds the user attribute data received from the robot 11 Data overwrites part of the stored user attribute data (if user attribute data related to attributes of the same type is stored).

システム発出情報決定手段1108は、ユーザ感情推定手段1105が推定したユーザXの感情と、システム感情決定手段1106が決定したロボット11の感情とに基づき、ロボット11が発出する情報を決定する。 The system issued information determining means 1108 determines information to be issued by the robot 11 based on the emotion of the user X estimated by the user emotion estimating means 1105 and the emotion of the robot 11 determined by the system emotion determining means 1106 .

より具体的には、システム発出情報決定手段1108は、以下の情報に基づきロボット11が発出する情報を決定する。システム発出情報決定手段1108が決定する情報には、言語情報と非言語情報が含まれる。 More specifically, the system issued information determining means 1108 determines information to be issued by the robot 11 based on the following information. The information determined by the system issued information determining means 1108 includes verbal information and non-verbal information.

(1)ユーザ感情推定手段1105が推定したユーザXの感情
(2)システム感情決定手段が決定したロボット11の感情
(3)サーバ装置12が記憶しているユーザ性格データが示すユーザXの性格
(4)ユーザ言語情報特定手段1103が特定した、ユーザXが発出した言語情報
(5)サーバ装置12が記憶しているシステム性格データが示すロボット11の性格
(6)サーバ装置12が記憶しているユーザ属性データが示すユーザXの属性
(1) Emotion of user X estimated by user emotion estimation means 1105 (2) Emotion of robot 11 determined by system emotion determination means (3) Personality of user X indicated by user personality data stored in server device 12 ( 4) language information issued by user X, specified by user language information specifying means 1103; (5) personality of robot 11 indicated by system personality data stored in server device 12; Attribute of user X indicated by user attribute data

なお、上記(3)~(6)の情報は必ずしもロボット11が発出する情報の決定に用いられなくてもよいが、上記(3)~(6)の情報を用いることで、システム発出情報決定手段1108はユーザXをコミュニケーションする人が発出する情報により近い情報を、ロボット11が発出する情報として決定できる。 Although the information (3) to (6) above does not necessarily have to be used to determine the information issued by the robot 11, the information (3) to (6) above can be used to determine information issued by the system. The means 1108 can determine information closer to the information issued by the person communicating with the user X as the information issued by the robot 11 .

システム発出情報決定手段1108は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、上記(1)~(6)の情報に応じた感情値を特定する。 The system-issued information determining means 1108 has, for example, one or both of rule-based and machine-learning artificial intelligence, and the artificial intelligence identifies emotional values according to the information (1) to (6) above. do.

なお、上記(1)、(2)及び(4)の情報は、直近の情報に限られず、サーバ装置12が記憶しているコミュニケーションログデータが示す、過去の情報を含んでもよい。 The information (1), (2), and (4) above is not limited to recent information, and may include past information indicated by communication log data stored in the server device 12 .

システム情報発出指示手段1109は、情報発出装置113に、システム発出情報決定手段1108が決定した情報の発出を指示する。 The system information issuing instruction means 1109 instructs the information issuing device 113 to issue the information determined by the system issuing information determining means 1108 .

具体的には、システム情報発出指示手段1109は、例えば、表示装置104に、システム発出情報決定手段1108が決定した情報に含まれる非言語情報に応じた表情を表す画像を表示するように指示する。また、システム情報発出指示手段1109は、システム発出情報決定手段1108が決定した情報に含まれる言語情報(文章)をシステム発出情報決定手段1108が決定した情報に含まれる非言語情報に応じた抑揚や声色で音声した音を合成し、合成した音を発音装置105に発音するように指示する。また、システム情報発出指示手段1109は、システム発出情報決定手段1108が決定した情報に含まれる非言語情報に応じた動作(首を傾げる、左右の腕を振る、等)をロボット11が行うように駆動装置106に対し動作を指示する。 Specifically, the system information issuing instruction means 1109 instructs the display device 104 to display an image representing a facial expression corresponding to the non-verbal information included in the information determined by the system issued information determining means 1108, for example. . Further, the system information issuing instruction means 1109 converts the linguistic information (sentence) included in the information determined by the system issued information determining means 1108 into intonation or It synthesizes the sound uttered with the voice tone, and instructs the pronunciation device 105 to pronounce the synthesized sound. In addition, the system information issuing instruction means 1109 instructs the robot 11 to perform an action (tilting its head, swinging its left and right arms, etc.) according to the non-verbal information included in the information determined by the system issuing information determining means 1108. It instructs the drive device 106 to operate.

システム性格更新指示手段1110は、システム情報発出指示手段1109が情報発出装置113に発出を指示した情報と、ユーザ感情推定手段1105が推定したユーザXの感情とに基づき、サーバ装置12に対し記憶しているシステム性格データの更新を指示する。 The system character update instructing means 1110 stores information in the server device 12 based on the information that the system information issuing instructing means 1109 instructs the information issuing device 113 to issue and the emotion of the user X estimated by the user emotion estimating means 1105. Instructs update of system character data stored in

より具体的には、システム性格更新指示手段1110は、以下の情報に基づき更新後のシステム性格データを決定する。 More specifically, system character update instructing means 1110 determines updated system character data based on the following information.

(1)システム情報発出指示手段1109が情報発出装置113に発出を指示した情報
(2)ユーザ感情推定手段1105が推定したユーザXの感情
(3)サーバ装置12が記憶しているユーザ性格データが示すユーザXの性格
(4)ユーザ言語情報特定手段1103が特定した、ユーザXが発出した言語情報
(1) Information that the system information issuing instruction means 1109 instructed the information issuing device 113 to issue (2) User X's emotion estimated by the user emotion estimation means 1105 (3) User character data stored in the server device 12 is Personality of user X indicated (4) Language information issued by user X, specified by user language information specifying means 1103

なお、上記(3)及び(4)の情報は必ずしもロボット11の性格の更新に用いられなくてもよいが、上記(3)又は(4)の情報を用いることで、システム性格更新指示手段1110はロボット11の更新後の性格として、ユーザXとロボット11の関係性がより向上するような性格を決定できる。 Although the information (3) and (4) above need not always be used for updating the character of the robot 11, by using the information (3) or (4) above, the system character update instructing means 1110 can determine a character that improves the relationship between the user X and the robot 11 as the updated character of the robot 11 .

システム性格更新指示手段1110は、例えば所定時間の経過毎に、コミュニケーションログデータが示すユーザXが過去に発出した情報を解析し、ロボット11が発出する非言語情報が直前にユーザXが発出した非言語情報と類似する確率が高まるように、現在のシステム性格データが示すロボット11の性格値を修正する。システム性格更新指示手段1110がロボット11の性格を修正する基準として、例えば、ペーシングと呼ばれる心理学の手法が用いられてもよい。なお、システム性格更新指示手段1110は、1回の修正において不自然にロボット11の性格が変化しないように、ロボット11の性格値の修正幅を所定量以下に制限する。 The system character update instruction means 1110 analyzes the information previously issued by the user X indicated by the communication log data, for example, every time a predetermined time elapses, and compares the nonverbal information issued by the robot 11 with the nonverbal information issued by the user X immediately before. The personality value of the robot 11 indicated by the current system personality data is corrected so as to increase the probability of similarity with the language information. A psychological method called pacing, for example, may be used as a criterion for the system personality update instruction means 1110 to modify the personality of the robot 11 . In addition, the system character update instructing means 1110 limits the correction width of the character value of the robot 11 to a predetermined amount or less so that the character of the robot 11 does not change unnaturally in one correction.

システム性格更新指示手段1110は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、ロボット11の更新後の性格値を特定する。 The system personality update instruction means 1110 has, for example, one or both of rule-based and machine learning artificial intelligence, and specifies the updated personality value of the robot 11 by the artificial intelligence.

システム性格更新指示手段1110は、特定した更新後のロボット11の性格を示すシステム性格データを生成し、生成したシステム性格データを、データ入出力手段1101を介してサーバ装置12に送信する。サーバ装置12は、ロボット11から受信したシステム性格データで、記憶しているシステム性格データを上書きする。 The system character update instruction means 1110 generates system character data indicating the character of the robot 11 after the specified update, and transmits the generated system character data to the server device 12 via the data input/output means 1101 . The server device 12 overwrites the stored system character data with the system character data received from the robot 11 .

ユーザ性格更新指示手段1111は、システム情報発出指示手段1109が情報発出装置113に発出を指示した情報と、ユーザ感情推定手段1105が推定したユーザXの感情とに基づき、サーバ装置12に対し、記憶しているユーザ性格データの更新を指示する。 The user personality update instructing means 1111 instructs the information issuing device 113 to be issued by the system information issuing instructing means 1109, and based on the emotion of the user X estimated by the user emotion estimating means 1105, to the server device 12. Instruct to update the user personality data that is being used.

より具体的には、ユーザ性格更新指示手段1111は、例えば直近の過去の所定時間長の期間に関するコミュニケーションログデータに基づき、ロボット11がどのような言語情報及び非言語情報を発出した場合に、ユーザXがどのような感情となったかを解析し、解析結果に基づき、ユーザXの性格を推定する。 More specifically, the user personality update instruction means 1111, based on, for example, communication log data relating to a period of the most recent past predetermined length of time, when the robot 11 issues what kind of linguistic information and non-linguistic information, the user What kind of emotion X has become is analyzed, and the character of user X is estimated based on the analysis result.

ユーザ性格更新指示手段1111は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、ユーザXの性格値を推定する。 The user personality update instruction means 1111 has, for example, one or both of rule-based and machine learning artificial intelligence, and estimates the personality value of the user X by the artificial intelligence.

ユーザ性格更新指示手段1111は、推定したユーザXの性格を示すユーザ性格データを生成し、生成したユーザ性格データを、データ入出力手段1101を介してサーバ装置12に送信する。サーバ装置12は、ロボット11から受信したユーザ性格データで、記憶しているユーザ性格データを上書きする。 User personality update instruction means 1111 generates user personality data indicating the estimated personality of user X, and transmits the generated user personality data to server device 12 via data input/output means 1101 . The server device 12 overwrites the stored user character data with the user character data received from the robot 11 .

上述したコミュニケーションシステム1によれば、ロボット11は、ユーザXとコミュニケーションを繰り返すうちに、ユーザXの性格に寄り添うように、自らの性格を徐々に変更してゆく。その結果、ユーザXとロボット11の間に、より良い関係性が生じる。 According to the communication system 1 described above, the robot 11 gradually changes its own personality so as to match the character of the user X while repeatedly communicating with the user X. As a result, a better relationship arises between the user X and the robot 11 .

[変形例]
上述した実施形態は、本発明の技術的思想の範囲内で様々に変形されてよい。以下にそれらの変形の例を示す。なお、以下に示す変形の例の2以上が適宜、組み合わされてもよい。
[Modification]
The above-described embodiments may be variously modified within the scope of the technical idea of the present invention. Examples of these modifications are shown below. Note that two or more of the following modification examples may be appropriately combined.

(変形例1)
上述した実施形態において、測定装置112は撮影装置102と拾音装置103により実現され、ユーザXから発出される情報のうち、視覚又は聴覚で捉えられる情報を測定する。測定装置112が測定する情報は視覚又は聴覚で捉えられる情報に限られない。例えば、ロボット11が接触検知装置を備え、測定装置112が、ユーザXから発出される情報のうち、触覚で捉えられる情報を測定してもよい。
(Modification 1)
In the above-described embodiment, the measuring device 112 is realized by the imaging device 102 and the sound pick-up device 103, and measures the visually or audibly perceived information from the user X's information. The information measured by the measuring device 112 is not limited to information that can be perceived visually or aurally. For example, the robot 11 may be provided with a contact detection device, and the measurement device 112 may measure information that can be perceived by touch, among the information emitted by the user X. FIG.

(変形例2)
上述した実施形態において、情報発出装置113は表示装置104、発音装置105、及び、駆動装置106により実現され、ユーザXが視覚又は聴覚で捉えられる情報を発出する。情報発出装置113が発出する情報は視覚又は聴覚で捉えられる情報に限られない。例えば、ロボット11が匂い発生装置を備え、情報発出装置113がユーザXに対し、嗅覚で捉えられる情報を発出してもよい。
(Modification 2)
In the above-described embodiment, the information emitting device 113 is implemented by the display device 104, the sound generating device 105, and the driving device 106, and emits information that the user X can perceive visually or audibly. The information issued by the information issuing device 113 is not limited to information that can be perceived visually or aurally. For example, the robot 11 may be provided with an odor generating device, and the information generating device 113 may emit information to the user X that can be perceived by the sense of smell.

(変形例3)
上述した実施形態において、ユーザ性格データ、ユーザ属性データ、システム性格データ、コミュニケーションログデータ等を記憶する記憶装置の役割はサーバ装置12が果たす。これに代えて、もしくは加えて、これらのデータを記憶する記憶装置が、ロボット11に設けられてもよい。
(Modification 3)
In the above-described embodiment, the server device 12 serves as a storage device for storing user personality data, user attribute data, system personality data, communication log data, and the like. Alternatively or additionally, the robot 11 may be provided with a storage device for storing these data.

(変形例4)
上述した実施形態において、ロボット11のコミュニケーション装置111が備えるものとした機能構成部の少なくとも一部を、サーバ装置12又はサーバ装置12とは異なる他の装置が備えてもよい。
(Modification 4)
In the above-described embodiment, the server device 12 or another device different from the server device 12 may be provided with at least a part of the functional configuration units included in the communication device 111 of the robot 11 .

(変形例5)
上述した実施形態において、コミュニケーションシステム1はロボット11とサーバ装置12により構成される。コミュニケーションシステム1の構成はこれに限られない。例えば、上述した実施形態においてサーバ装置12が記憶するものとしたデータをロボット11が内臓又は外部に接続された記憶装置に記憶し、コミュニケーションシステム1がロボット11のみで構成されてもよい。また、上述した実施形態においてロボット11が備えるものとした機能構成部の一部を備え、ロボット11とデータ通信を行い連係動作する1以上の外部の装置を備え、コミュニケーションシステム1がロボット11、サーバ装置12、及び、それらの外部の装置により構成されてもよい。
(Modification 5)
In the embodiment described above, the communication system 1 is composed of the robot 11 and the server device 12 . The configuration of the communication system 1 is not limited to this. For example, the data stored in the server device 12 in the above-described embodiment may be stored in the robot 11 in a built-in or externally connected storage device, and the communication system 1 may consist of the robot 11 alone. Further, the communication system 1 includes one or more external devices that perform data communication with the robot 11 and operate in cooperation with the robot 11, and includes a part of the functional configuration unit that the robot 11 has in the above-described embodiment. It may consist of devices 12 and devices external to them.

(変形例6)
上述した実施形態において、コミュニケーションシステム1が備えるロボット11は1つであるものとしたが、コミュニケーションシステム1が複数のロボット11を備えてもよい。その場合、複数のロボット11の間で、サーバ装置12に記憶されているデータの一部が共用されてもよい。例えば、ユーザ感情推定手段1105、システム感情決定手段1106等が機械学習型の人工知能を有する場合、それらの人工知能の訓練のために用いる教師データの生成のために、複数のロボット11間でコミュニケーションログデータが共用されてもよい。
(Modification 6)
In the above-described embodiment, the communication system 1 has one robot 11 , but the communication system 1 may have a plurality of robots 11 . In that case, some of the data stored in the server device 12 may be shared among the plurality of robots 11 . For example, when the user emotion estimating means 1105, the system emotion determining means 1106, etc. have machine learning type artificial intelligence, communication between a plurality of robots 11 is performed to generate teaching data used for training these artificial intelligence. Log data may be shared.

(変形例7)
上述した実施形態において、ロボット11は胴部107、頭部108、右腕部109、左腕部110を備えるものとしたが、ロボット11が備える部位の種別や数はこの例に限られない。例えば、ロボット11が右脚部及び左脚部を備え、駆動装置106が胴部107に対する右脚部及び左脚部の各々の姿勢(相対位置)を変更可能としてもよい。また、ロボット11が右腕部109及び左腕部110の各々に連結される複数の指部を備え、駆動装置106が右腕部109又は左腕部110に対する指部の各々の姿勢(相対位置)を変更可能としてもよい。
(Modification 7)
In the above-described embodiment, the robot 11 is provided with the torso 107, the head 108, the right arm 109, and the left arm 110, but the type and number of parts provided in the robot 11 are not limited to this example. For example, the robot 11 may have a right leg and a left leg, and the driving device 106 may change the posture (relative position) of each of the right leg and the left leg with respect to the body 107 . In addition, the robot 11 includes a plurality of fingers connected to each of the right arm 109 and left arm 110, and the driving device 106 can change the orientation (relative position) of each finger with respect to the right arm 109 or left arm 110. may be

(変形例8)
コミュニケーションシステム1が、ユーザXの感情の推定等に、ユーザXが置かれている環境の物理量(以下、単に「環境の物理量」という)の測定結果を用いてもよい。環境の物理量の例としては、温度、湿度、照度、騒音の大小等が挙げられる。
(Modification 8)
The communication system 1 may use the measurement result of the physical quantity of the environment in which the user X is placed (hereinafter simply referred to as "environmental physical quantity") for estimating the user X's emotion or the like. Examples of environmental physical quantities include temperature, humidity, illuminance, and noise levels.

この変形例において、測定装置112、又は、測定装置112とは異なる測定装置が、環境の物理量を測定する。例えば、コミュニケーションシステム1が温度を用いる場合、コンピュータ101に温度計が接続される。この場合、温度計は測定装置112とは異なる測定装置を構成するため、測定装置112とは異なる測定装置が環境の物理量を測定することになる。また、コミュニケーションシステム1が騒音の大小を用いる場合、騒音の測定には測定装置112を構成する拾音装置103が行う。この場合、測定装置112が環境の物理量の測定を行うことになる。 In this variant, the measuring device 112 or a measuring device different from the measuring device 112 measures the physical quantity of the environment. For example, if the communication system 1 uses temperature, a thermometer is connected to the computer 101 . In this case, since the thermometer constitutes a measuring device different from the measuring device 112, the measuring device different from the measuring device 112 measures the physical quantity of the environment. Further, when the communication system 1 uses the magnitude of noise, the noise is measured by the sound pick-up device 103 constituting the measuring device 112 . In this case, the measuring device 112 measures the physical quantity of the environment.

また、この変形例において、コミュニケーション装置111は、機能構成部として、測定装置112又は測定装置112とは異なる測定装置から環境の物理量を測定した結果を示す物理環境データを取得する物理環境取得手段を備える。 Further, in this modification, the communication device 111 includes, as a functional configuration unit, physical environment acquisition means for acquiring physical environment data indicating the result of measuring the physical quantity of the environment from the measurement device 112 or a measurement device different from the measurement device 112. Prepare.

この変形例において、物理環境取得手段により取得された物理環境データは、以下の(1)~(4)の1以上において用いられる。 In this modification, the physical environment data acquired by the physical environment acquisition means is used in one or more of (1) to (4) below.

(1)ユーザ感情推定手段1105によるユーザXの感情の推定
(2)システム感情決定手段1106によるロボット11の感情の決定
(3)システム発出情報決定手段1108によるロボット11が発出する情報の決定
(4)システム性格更新指示手段1110による新たなシステム性格データの生成
(5)ユーザ性格更新指示手段1111による新たなユーザ性格データの生成
(1) Estimation of user X's emotion by user emotion estimation means 1105 (2) Determination of emotion of robot 11 by system emotion determination means 1106 (3) Determination of information issued by robot 11 by system issued information determination means 1108 (4) ) Generation of new system personality data by system personality update instruction means 1110 (5) Generation of new user personality data by user personality update instruction means 1111

この変形例によれば、例えば、ユーザXの感情の推定において温度等の環境の物理量が考慮されることにより、より精度の高い感情の推定が行われる。 According to this modification, for example, in estimating the emotion of the user X, the physical quantity of the environment such as temperature is taken into consideration, thereby estimating the emotion with higher accuracy.

1…コミュニケーションシステム、11…ロボット、12…サーバ装置、101…コンピュータ、102…撮影装置、103…拾音装置、104…表示装置、105…発音装置、106…駆動装置、107…胴部、108…頭部、109…右腕部、110…左腕部、111…コミュニケーション装置、112…測定装置、113…情報発出装置、1011…プロセッサ、1012…メモリ、1013…入出力インタフェース、1014…通信インタフェース、1101…データ入出力手段、1102…ユーザ発出情報取得手段、1103…ユーザ言語情報特定手段、1104…ユーザ非言語情報特定手段、1105…ユーザ感情推定手段、1106…システム感情決定手段、1107…ユーザ属性更新指示手段、1108…システム発出情報決定手段、1109…システム情報発出指示手段、1110…システム性格更新指示手段、1111…ユーザ性格更新指示手段。 DESCRIPTION OF SYMBOLS 1... Communication system, 11... Robot, 12... Server apparatus, 101... Computer, 102... Photographing apparatus, 103... Sound pickup apparatus, 104... Display apparatus, 105... Sound generator, 106... Driving apparatus, 107... Body part, 108 Head 109 Right arm 110 Left arm 111 Communication device 112 Measurement device 113 Information generation device 1011 Processor 1012 Memory 1013 Input/output interface 1014 Communication interface 1101 Data input/output means 1102 User generated information acquisition means 1103 User language information identification means 1104 User non-verbal information identification means 1105 User emotion estimation means 1106 System emotion determination means 1107 User attribute update Instruction means 1108 System issue information determination means 1109 System information issue instruction means 1110 System personality update instruction means 1111 User personality update instruction means.

Claims (22)

ユーザとの間でコミュニケーションを行うシステムであって、
記憶装置との間でデータの受け渡しを行うデータ入出力手段と、
測定装置から、前記ユーザが発出した情報を測定した結果を示すユーザ発出データを取得するユーザ発出情報取得手段と、
前記ユーザ発出情報取得手段が取得した前記ユーザ発出データに基づき前記ユーザの感情を推定するユーザ感情推定手段と、
前記記憶装置が記憶しているシステム性格データが示す前記システムの性格と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記システムの感情を決定するシステム感情決定手段と、
前記ユーザ感情推定手段が推定した前記ユーザの感情と、前記システム感情決定手段が決定した前記システムの感情とに基づき、前記システムが発出する情報を決定するシステム発出情報決定手段と、
前記ユーザに対し情報を発出する情報発出装置に、前記システム発出情報決定手段が決定した情報の発出を指示するシステム情報発出指示手段と、
前記システム情報発出指示手段が前記情報発出装置に発出を指示した情報と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記記憶装置に対し前記システム性格データの更新を指示するシステム性格更新指示手段と
を備えるシステム。
A system for communicating with a user,
data input/output means for exchanging data with a storage device;
user-issued information acquiring means for acquiring user-issued data indicating a result of measuring the information issued by the user from the measuring device;
user emotion estimation means for estimating the user's emotion based on the user generated data acquired by the user generated information acquisition means;
system emotion determination means for determining the emotion of the system based on the character of the system indicated by the system character data stored in the storage device and the emotion of the user estimated by the user emotion estimation means;
system issued information determination means for determining information to be issued by the system based on the user's emotion estimated by the user emotion estimation means and the system emotion determined by the system emotion determination means;
system information issuing instruction means for instructing an information issuing device for issuing information to the user to issue the information determined by the system issuing information determining means;
A system for instructing the storage device to update the system personality data based on the information instructed to be issued by the system information issuing instruction means to the information issuing device and the user's emotion estimated by the user emotion estimating means. A system comprising: a personality update indicator;
前記感情推定手段は、前記記憶装置が記憶しているユーザ性格データが示す前記ユーザの性格に基づき前記ユーザの感情を推定する
請求項1に記載のシステム。
2. The system according to claim 1, wherein said emotion estimation means estimates the user's emotion based on the user's personality indicated by user personality data stored in said storage device.
前記システム感情決定手段は、前記記憶装置が記憶しているユーザ性格データが示す前記ユーザの性格に基づき前記システムの感情を決定する
請求項1又は2に記載のシステム。
3. The system according to claim 1, wherein said system emotion determination means determines the emotion of said system based on said user's personality indicated by user personality data stored in said storage device.
前記システム発出情報決定手段は、前記記憶装置が記憶しているユーザ性格データが示す前記ユーザの性格に基づき前記システムが発出する情報を決定する
請求項1乃至3のいずれか1項に記載のシステム。
4. The system according to any one of claims 1 to 3, wherein said system-issued information determining means determines the information issued by said system based on the personality of said user indicated by user personality data stored in said storage device. .
前記システム性格更新指示手段は、前記記憶装置が記憶しているユーザ性格データが示す前記ユーザの性格に基づき、前記記憶装置に対し前記システム性格データの更新を指示する
請求項1乃至4のいずれか1項に記載のシステム。
5. The system personality update instruction means according to any one of claims 1 to 4, wherein said system personality update instruction means instructs said storage device to update said system personality data based on said user personality indicated by user personality data stored in said storage device. 2. The system according to item 1.
前記システム情報発出指示手段が前記情報発出装置に発出を指示した情報と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記記憶装置に対し前記ユーザ性格データの更新を指示するユーザ性格更新指示手段
を備える請求項2乃至5のいずれか1項に記載のシステム。
A user who instructs the storage device to update the user personality data based on the information instructed to be issued by the system information issuing instruction means to the information issuing device and the user's emotion estimated by the user emotion estimating means. 6. A system according to any one of claims 2 to 5, comprising personality update indicator means.
前記ユーザ発出情報取得手段が取得した前記ユーザ発出データに基づき前記ユーザが発出した言語情報を特定するユーザ言語情報特定手段
を備える請求項1乃至6のいずれか1項に記載のシステム。
7. The system according to any one of claims 1 to 6, further comprising user language information specifying means for specifying language information issued by said user based on said user issued data acquired by said user issued information acquiring means.
前記ユーザ感情推定手段は、前記ユーザ言語情報特定手段が特定した前記ユーザが発出した言語情報に基づき前記ユーザの感情を推定する
請求項7に記載のシステム。
8. The system according to claim 7, wherein said user emotion estimating means estimates said user's emotion based on the language information issued by said user specified by said user language information specifying means.
前記システム感情決定手段は、前記ユーザ言語情報特定手段が特定した前記ユーザが発出した言語情報に基づき前記システムの感情を決定する
請求項7又は8に記載のシステム。
9. The system according to claim 7 or 8, wherein said system emotion determination means determines the emotion of said system based on the language information issued by said user identified by said user language information identification means.
前記システム発出情報決定手段は、前記ユーザ言語情報特定手段が特定した前記ユーザが発出した言語情報に基づき前記システムが発出する情報を決定する
請求項7乃至9のいずれか1項に記載のシステム。
10. The system according to any one of claims 7 to 9, wherein said system issued information determining means determines information to be issued by said system based on the language information issued by said user specified by said user language information specifying means.
前記システム性格更新指示手段は、前記ユーザ言語情報特定手段が特定した前記ユーザが発出した言語情報に基づき、前記記憶装置に対し前記システム性格データの更新を指示する
請求項7乃至10のいずれか1項に記載のシステム。
11. The system character update instructing means instructs the storage device to update the system character data based on the language information issued by the user specified by the user language information specifying means. The system described in paragraph.
前記ユーザ発出情報取得手段が取得した前記ユーザ発出データに基づき前記ユーザが発出した非言語情報を特定するユーザ非言語情報特定手段
を備え、
前記ユーザ感情推定手段は、前記ユーザ非言語情報特定手段が特定した前記ユーザが発出した非言語情報に基づき前記ユーザの感情を推定する
請求項1乃至11のいずれか1項に記載のシステム。
User non-verbal information specifying means for specifying non-verbal information issued by the user based on the user issued data acquired by the user issued information acquiring means,
12. The system according to any one of claims 1 to 11, wherein the user emotion estimation means estimates the user's emotion based on the nonverbal information issued by the user identified by the user nonverbal information identification means.
前記システム発出情報決定手段は、前記記憶装置が記憶しているユーザ属性データが示す前記ユーザの客観視できる属性に基づき、前記システムが発出する情報を決定する
請求項1乃至12のいずれか1項に記載のシステム。
13. The system-issued information determination means determines the information issued by the system based on the user's objective attributes indicated by the user attribute data stored in the storage device. The system described in .
前記ユーザ発出情報取得手段が取得した前記ユーザ発出データに基づき、前記記憶装置に対し前記ユーザ属性データの更新を指示するユーザ属性更新指示手段
を備える請求項13に記載のシステム。
14. The system according to claim 13, further comprising user attribute update instruction means for instructing said storage device to update said user attribute data based on said user issued data acquired by said user issued information acquisition means.
前記測定装置又は前記測定装置とは異なる測定装置から、前記ユーザが置かれている環境の物理量を測定した結果を示す物理環境データを取得する物理環境取得手段
を備える請求項1乃至14のいずれか1項に記載のシステム。
15. The physical environment acquiring means for acquiring physical environment data indicating a result of measuring a physical quantity of the environment in which the user is placed from the measuring device or a measuring device different from the measuring device. 2. The system according to item 1.
前記ユーザ感情推定手段は、前記物理環境取得手段が取得した前記物理環境データに基づき前記ユーザの感情を推定する
請求項15に記載のシステム。
16. The system according to claim 15, wherein the user emotion estimation means estimates the user's emotion based on the physical environment data acquired by the physical environment acquisition means.
前記システム感情決定手段は、前記物理環境取得手段が取得した前記物理環境データに基づき前記システムの感情を決定する
請求項15又は16に記載のシステム。
17. The system according to claim 15 or 16, wherein said system emotion determination means determines the emotion of said system based on said physical environment data acquired by said physical environment acquisition means.
前記システム発出情報決定手段は、前記物理環境取得手段が取得した前記物理環境データに基づき前記システムが発出する情報を決定する
請求項15乃至17のいずれか1項に記載のシステム。
18. The system according to any one of claims 15 to 17, wherein said system issued information determination means determines information issued by said system based on said physical environment data acquired by said physical environment acquisition means.
前記システム性格更新指示手段は、前記物理環境取得手段が取得した前記物理環境データに基づき、前記記憶装置に対し前記システム性格データの更新を指示する
請求項15乃至18のいずれか1項に記載のシステム。
19. The system character update instruction means according to any one of claims 15 to 18, wherein the system character update instruction means instructs the storage device to update the system character data based on the physical environment data acquired by the physical environment acquisition means. system.
前記測定装置又は前記測定装置とは異なる測定装置から、前記ユーザが置かれている環境の物理量を測定した結果を示す物理環境データを取得する物理環境取得手段
を備え、
前記ユーザ性格更新指示手段は、前記物理環境取得手段が取得した前記物理環境データに基づき、前記記憶装置に対し前記ユーザ性格データの更新を指示する
請求項6に記載のシステム。
physical environment acquisition means for acquiring physical environment data indicating results of measuring physical quantities of the environment in which the user is placed from the measurement device or a measurement device different from the measurement device;
7. The system according to claim 6, wherein said user personality update instruction means instructs said storage device to update said user personality data based on said physical environment data acquired by said physical environment acquisition means.
前記システム発出情報決定手段は、前記記憶装置が記憶している前記システム性格データが示す前記システムの性格に基づき前記システムが発出する情報を決定する
請求項1乃至20のいずれか1項に記載のシステム。
21. The system-issued information determination means according to any one of claims 1 to 20, wherein said system-issued information determination means determines information issued by said system based on characteristics of said system indicated by said system characteristics data stored in said storage device. system.
ユーザとの間でコミュニケーションを行うシステムをコンピュータに実現させるためのプログラムであって、
前記コンピュータに、
記憶装置との間でデータの受け渡しを行う処理と、
測定装置から、前記ユーザが発出した情報を測定した結果を示すユーザ発出データを取得する処理と、
前記ユーザ発出データに基づき前記ユーザの感情を推定する処理と、
前記記憶装置が記憶しているシステム性格データが示す前記システムの性格と、推定した前記ユーザの感情とに基づき、前記システムの感情を決定する処理と、
推定した前記ユーザの感情と、決定した前記システムの感情とに基づき、前記システムが発出する情報を決定する処理と、
前記ユーザに対し情報を発出する情報発出装置に、決定した前記システムが発出する情報の発出を指示する処理と、
前記情報発出装置に発出を指示した情報と、推定した前記ユーザの感情とに基づき、前記記憶装置に対し前記システム性格データの更新を指示する処理と
を実行させるためのプログラム。
A program for realizing a system for communicating with a user on a computer,
to said computer;
a process of transferring data to and from a storage device;
a process of acquiring, from a measuring device, user-issued data indicating a result of measuring the information issued by the user;
a process of estimating the user's emotion based on the user-generated data;
a process of determining the emotion of the system based on the personality of the system indicated by the system personality data stored in the storage device and the estimated emotion of the user;
a process of determining information to be issued by the system based on the estimated emotion of the user and the determined emotion of the system;
a process of instructing an information issuing device that issues information to the user to issue information issued by the determined system;
and a process of instructing the storage device to update the system character data based on the information instructed to be issued by the information issuing device and the estimated emotion of the user.
JP2021048774A 2021-03-23 2021-03-23 A system for communicating with people and a program for that purpose Active JP6990472B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021048774A JP6990472B1 (en) 2021-03-23 2021-03-23 A system for communicating with people and a program for that purpose

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021048774A JP6990472B1 (en) 2021-03-23 2021-03-23 A system for communicating with people and a program for that purpose

Publications (2)

Publication Number Publication Date
JP6990472B1 JP6990472B1 (en) 2022-01-12
JP2022147506A true JP2022147506A (en) 2022-10-06

Family

ID=80185454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021048774A Active JP6990472B1 (en) 2021-03-23 2021-03-23 A system for communicating with people and a program for that purpose

Country Status (1)

Country Link
JP (1) JP6990472B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7205962B1 (en) 2022-10-14 2023-01-17 ユニロボット株式会社 System for automatic dialogue

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259446A (en) * 1998-03-12 1999-09-24 Aqueous Reserch:Kk Agent device
KR20150090476A (en) * 2014-01-29 2015-08-06 엘지전자 주식회사 A mobile device, a cradle for mobile device, and a method of managing them
JP2017173546A (en) * 2016-03-23 2017-09-28 カシオ計算機株式会社 Learning support device, robot, learning support system, learning support method, and program
JP2017173547A (en) * 2016-03-23 2017-09-28 カシオ計算機株式会社 Robot control device, robot, robot control method, robot control system and program
JP2018068548A (en) * 2016-10-27 2018-05-10 富士ゼロックス株式会社 Interaction control system
JP2019200598A (en) * 2018-05-16 2019-11-21 株式会社野村総合研究所 server
JP2020527267A (en) * 2017-07-14 2020-09-03 深▲せん▼前海達闥雲端智能科技有限公司Cloudminds (Shenzhen) Robotics Systems Co., Ltd. Robot personality setting method, equipment and robot

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259446A (en) * 1998-03-12 1999-09-24 Aqueous Reserch:Kk Agent device
KR20150090476A (en) * 2014-01-29 2015-08-06 엘지전자 주식회사 A mobile device, a cradle for mobile device, and a method of managing them
JP2017173546A (en) * 2016-03-23 2017-09-28 カシオ計算機株式会社 Learning support device, robot, learning support system, learning support method, and program
JP2017173547A (en) * 2016-03-23 2017-09-28 カシオ計算機株式会社 Robot control device, robot, robot control method, robot control system and program
JP2018068548A (en) * 2016-10-27 2018-05-10 富士ゼロックス株式会社 Interaction control system
JP2020527267A (en) * 2017-07-14 2020-09-03 深▲せん▼前海達闥雲端智能科技有限公司Cloudminds (Shenzhen) Robotics Systems Co., Ltd. Robot personality setting method, equipment and robot
JP2019200598A (en) * 2018-05-16 2019-11-21 株式会社野村総合研究所 server

Also Published As

Publication number Publication date
JP6990472B1 (en) 2022-01-12

Similar Documents

Publication Publication Date Title
US11241789B2 (en) Data processing method for care-giving robot and apparatus
JP6815486B2 (en) Mobile and wearable video capture and feedback platform for the treatment of mental illness
WO2018153359A1 (en) Emotion state prediction method and robot
US20180268821A1 (en) Virtual assistant for generating personal suggestions to a user based on intonation analysis of the user
WO2016080553A1 (en) Learning robot, learning robot system, and learning robot program
CN110998725A (en) Generating responses in a conversation
JP2019008570A (en) Information processing device, information processing method, and program
US20180375807A1 (en) Virtual assistant system enhancement
WO2005016147A1 (en) Information processing terminal and communication system
US11960792B2 (en) Communication assistance program, communication assistance method, communication assistance system, terminal device, and non-verbal expression program
JP2019091387A (en) Information processing apparatus and program
Qiu et al. Understanding visually impaired people’s experiences of social signal perception in face-to-face communication
JP3733075B2 (en) Interaction media system
US11544968B2 (en) Information processing system, information processingmethod, and recording medium
JP6990472B1 (en) A system for communicating with people and a program for that purpose
KR20210100831A (en) System and method for providing sign language translation service based on artificial intelligence
US10210647B2 (en) Generating a personal avatar and morphing the avatar in time
CA3151265A1 (en) Language teaching machine
WO2019167848A1 (en) Data conversion system, data conversion method, and program
US20230230293A1 (en) Method and system for virtual intelligence user interaction
KR20210028370A (en) Intelligent standardized patient training and evaluation system. based on virtual reality
Ritschel Real-time generation and adaptation of social companion robot behaviors
KR20190142219A (en) Electronic device and operating method for outputting a response for an input of a user, by using application
Cafaro et al. Nonverbal behavior in multimodal performances
WO2022065386A1 (en) Thought inference system, inference model generation system, thought inference device, inference model generation method, computer program, and inference model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210325

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210325

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211129

R150 Certificate of patent or registration of utility model

Ref document number: 6990472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150