JP2022147506A - System and program for doing communications with people - Google Patents
System and program for doing communications with people Download PDFInfo
- Publication number
- JP2022147506A JP2022147506A JP2021048774A JP2021048774A JP2022147506A JP 2022147506 A JP2022147506 A JP 2022147506A JP 2021048774 A JP2021048774 A JP 2021048774A JP 2021048774 A JP2021048774 A JP 2021048774A JP 2022147506 A JP2022147506 A JP 2022147506A
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- emotion
- issued
- personality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title abstract description 63
- 230000008451 emotion Effects 0.000 claims description 106
- 230000001755 vocal effect Effects 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 10
- 238000013473 artificial intelligence Methods 0.000 description 15
- 238000012986 modification Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 14
- 230000002996 emotional effect Effects 0.000 description 13
- 238000010801 machine learning Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 235000021438 curry Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 235000020803 food preference Nutrition 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000008786 sensory perception of smell Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、人とコミュニケーションを行うシステムに関する。 The present invention relates to a system for communicating with people.
人工知能の発達に伴い、人とコミュニケーションを行うシステムの実用化が進んでいる。例えば、特許文献1には、複数の擬似性格から学習者により選択された擬似性格に基づき疑似感情を決定し、学習者から取得した生体情報と、学習者の学習状況と、決定した擬似感情とに基づいて、学習者に対し実施する学習支援の内容とその表現を決定し、学習者に対し、決定した表現で決定した内容の学習支援を行う学習支援装置が提案されている。
With the development of artificial intelligence, the practical use of systems that communicate with people is progressing. For example, in
特許文献1に記載の学習支援装置は、学習者により選択された擬似性格に応じて、学習者が発する生体情報及び学習者の学習状況が同じであっても、異なる表現で異なる内容の学習支援を学習者に対し行う。
The learning support device described in
しかしながら、学習者が学習支援装置の擬似性格を変更しない限り、学習者が発する生体情報及び学習者の学習状況が同じであれば、同じ(又は類似の)表現で同じ(又は類似の)内容の学習支援を行う。 However, as long as the learner does not change the pseudo-personality of the learning support device, if the biometric information emitted by the learner and the learning situation of the learner are the same, the same (or similar) expression and the same (or similar) content Provide learning support.
学習支援者が人であれば、学習者とのコミュニケーションを繰り返す中で、自分と学習者との関係性が改善するように、意識的又は無意識的に性格を変化させてゆく。特許文献1に記載の学習支援装置は、人である学習支援者のような学習者に対する適応性を持たない。
If the learning supporter is a person, he/she will consciously or unconsciously change his/her personality through repeated communication with the learner so as to improve the relationship between himself/herself and the learner. The learning support device described in
本発明は、ユーザとのコミュニケーションに伴い、ユーザとの関係性を向上できる仕組みを提供する。 The present invention provides a mechanism capable of improving a relationship with a user through communication with the user.
上記目的を達成するために、本発明は、ユーザとの間でコミュニケーションを行うシステムであって、記憶装置との間でデータの受け渡しを行うデータ入出力手段と、測定装置から、前記ユーザが発出した情報を測定した結果を示すユーザ発出データを取得するユーザ発出情報取得手段と、前記ユーザ発出情報取得手段が取得した前記ユーザ発出データに基づき前記ユーザの感情を推定するユーザ感情推定手段と、前記記憶装置が記憶しているシステム性格データが示す前記システムの性格と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記システムの感情を決定するシステム感情決定手段と、前記ユーザ感情推定手段が推定した前記ユーザの感情と、前記システム感情決定手段が決定した前記システムの感情とに基づき、前記システムが発出する情報を決定するシステム発出情報決定手段と、前記ユーザに対し情報を発出する情報発出装置に、前記システム発出情報決定手段が決定した情報の発出を指示するシステム情報発出指示手段と、前記システム情報発出指示手段が前記情報発出装置に発出を指示した情報と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記記憶装置に対し前記システム性格データの更新を指示するシステム性格更新指示手段とを備えるシステムを提供する。 In order to achieve the above object, the present invention provides a system for communicating with a user, comprising data input/output means for exchanging data with a storage device, and data sent by the user from a measuring device. user-generated information acquisition means for acquiring user-generated data indicating a result of measuring the information obtained by the user; user-generated information acquisition means for estimating the user's emotion based on the user-generated data acquired by the user-generated information acquisition means; system emotion determining means for determining the emotion of the system based on the character of the system indicated by system character data stored in a storage device and the emotion of the user estimated by the user emotion estimating means; and the user emotion. system output information determining means for determining information to be output by the system based on the emotion of the user estimated by the estimation means and the emotion of the system determined by the system emotion determining means; and issuing information to the user. system information issuing instruction means for instructing an information issuing device to issue information determined by said system issuing information determining means; information instructed to be issued by said system information issuing instructing means to said information issuing device; and said user emotion The system further comprises system character update instruction means for instructing the storage device to update the system character data based on the user's emotion estimated by the estimation means.
本発明のシステムは、ユーザとのコミュニケーションの内容に応じて、自らのシステムの性格を更新する。従って、本発明のシステムは、ユーザとのコミュニケーションに伴い、ユーザとの関係性を向上できる。 The system of the present invention updates its own system personality according to the content of communication with the user. Therefore, the system of the present invention can improve the relationship with the user through communication with the user.
[実施形態]
以下に、本発明の一実施形態に係るコミュニケーションシステム1を説明する。図1は、コミュニケーションシステム1の全体構成を示した図である。コミュニケーションシステム1は、ユーザXとコミュニケーションを行うロボット11と、インターネット等の通信ネットワークを介してロボット11との間で各種データの送受信(受け渡し)を行うサーバ装置12を備える。
[Embodiment]
A
図2は、ロボット11のハードウェア構成を示した図である。ロボット11は、コンピュータ101と、コンピュータ101に接続された撮影装置102、拾音装置103、表示装置104、発音装置105、駆動装置106、胴部107、頭部108、右腕部109、左腕部110を備える。
FIG. 2 is a diagram showing the hardware configuration of the
コンピュータ101は、プログラムに従い各種データ処理を行うプロセッサ1011、プログラムを含む各種データを記憶するメモリ1012、通信ネットワークを介さずに外部の装置との間でデータの受け渡しを行う入出力インタフェース1013、通信ネットワークを介して外部の装置との間でデータの受け渡し(送受信)を行う通信インタフェース1014を備える。
The
撮影装置102、拾音装置103、表示装置104、発音装置105、駆動装置106は、コンピュータ101の入出力インタフェース1013に接続されている。また、サーバ装置12は、コンピュータ101の通信インタフェース1014に通信ネットワークを介して接続されている。
The
撮影装置102は、例えば光学カメラであり、周囲を撮影した画像を表す画像データを継続的に生成する。拾音装置103はマイクであり、周囲の音を拾いその音の波形を表す音データを継続的に生成する。
The
表示装置104は、例えば液晶ディスプレイであり、ユーザXに対し文字、図などを表す画像を表示する。発音装置105はスピーカであり、ユーザXに対し音(音声を含む)を発する。駆動装置106は、モータ等を備え、胴部107に対する頭部108、右腕部109、左腕部110の各々の姿勢(相対位置)を変更する。
The
本実施形態において、サーバ装置12は、各種データを記憶する記憶装置の役割を果たすサーバ装置である。サーバ装置12が記憶しているデータには、少なくとも以下が含まれる。
(1)ユーザXの性格を示すユーザ性格データ
(2)ユーザXの属性(ユーザ属性)を示すユーザ属性データ
(3)ロボット11(コミュニケーションシステム1)の性格を示すシステム性格データ
(4)ユーザXとロボット11(コミュニケーションシステム1)との間で行われたコミュニケーションの内容を示すコミュニケーションログデータ
In this embodiment, the
(1) User personality data indicating the personality of the user X (2) User attribute data indicating the attributes of the user X (user attributes) (3) System personality data indicating the personality of the robot 11 (communication system 1) (4) User X and the communication log data indicating the content of the communication performed between the robot 11 (communication system 1)
本実施形態の説明においては、感情、性格、ユーザ属性、という言葉が用いられる。本実施形態において、感情とは、性格と、コミュニケーションの相手から発出される情報とに基づき決定される、ユーザX又はロボット11の状態であり、感情値と呼ばれるパラメータ群により表現される。コミュニケーションシステム1においては、例として、心理学者であるプルチックが考案した「感情の輪」の考え方に従った感情値が用いられる。「感情の輪」における感情値とは、喜び、悲しみ、信頼、嫌悪、心配、怒り、驚き、予測、という8つの感情種別のバランスを示すパラメータ群である。ただし、コミュニケーションシステム1において、「感情の輪」以外の考え方に従う感情値が採用されてもよい。
In the description of this embodiment, the terms emotion, personality, and user attribute are used. In this embodiment, an emotion is a state of the user X or the
本実施形態において、性格とは、コミュニケーションの相手から発出される情報に応じて生じる感情値を左右する性質を意味し、性格値と呼ばれるパラメータ群により表現される。コミュニケーションシステム1においては、エゴグラムの考え方に従った性格値が用いられる。エゴグラムにおける性格値とは、支配性、寛容性、論理性、奔放性、順応性、という5つの性格種別のバランスを示すパラメータ群である。ただし、コミュニケーションシステム1において、エゴグラム以外の考え方に従う性格値が採用されてもよい。
In this embodiment, personality means a property that influences an emotional value generated according to information issued by a communication partner, and is represented by a parameter group called personality value. In the
感情は、コミュニケーションの相手から発出される情報を受け取る毎に大きく変化し得る。一方、性格は、感情のように動的に変化せず、コミュニケーションの相手から発出される情報を受け取る毎には実質的に変化しない。ただし、性格は、多数のコミュニケーションが繰り返される中で徐々に変化し得る。 Emotions can change significantly each time information is received from a communication partner. Personality, on the other hand, does not change dynamically like emotion, and does not substantially change each time information is received from a communication partner. Personality, however, can change gradually over many repeated communications.
本実施形態において、ユーザ属性とは、ユーザの客観視できる属性を意味する。ユーザ属性の例としては、ユーザXの氏名、ユーザXのあだ名、ユーザXの年齢、ユーザXの性別、ユーザXの趣味、ユーザXの食の嗜好、ユーザXが過去に行った活動、ユーザXが属している集団、等が挙げられるが、これらに限られない。ユーザ属性には、ユーザXの性別のように、通常は変化しないものもあれば、ユーザXが過去に行った活動のように、頻繁に変化するものもある。また、ユーザ属性の種別の数は一定ではない。 In this embodiment, a user attribute means an objective attribute of a user. Examples of user attributes include user X's name, user X's nickname, user X's age, user X's gender, user X's hobbies, user X's food preferences, user X's past activities, user X's group to which the group belongs, etc., but is not limited to these. Some user attributes, such as user X's gender, usually do not change, while others, such as user X's past activities, change frequently. Also, the number of types of user attributes is not constant.
コミュニケーションシステム1において、ユーザ属性はユーザXが発出した情報から抽出される。そして、ユーザ属性は、ロボット11がユーザXに対し発出する情報の一部として用いられる。その結果、ロボット11がユーザXに対し発出する情報が、ユーザXにカスタマイズされた適正なものとなる。
In the
サーバ装置12が記憶するコミュニケーションログデータは、以下のフィールドを含むレコードの集まりである。
(1)時刻
(2)情報発出者
(3)言語情報
(4)非言語情報
(5)感情値
The communication log data stored by the
(1) Time (2) Information issuer (3) Verbal information (4) Non-verbal information (5) Emotion value
フィールド「時刻」は、ユーザX又はロボット11が情報の発出を行った時刻を示すデータを格納する。フィールド「情報発出者」は、情報の発出を行った主体、すなわち、ユーザX及びロボット11のいずれかを示すデータを格納する。
The field "time" stores data indicating the time when the user X or the
フィールド「言語情報」は、情報発出者が発出した情報に含まれる言語情報を示すデータを格納する。言語情報は言語で表現される情報である。なお、言語情報は、音声、ジェスチャー(手話等)、画面や紙面などの媒体の上に記される文字列等のいずれの方法により発出されてもよい。 The field "language information" stores data indicating the language information included in the information issued by the information issuer. Linguistic information is information expressed in language. The linguistic information may be issued by any method such as voice, gestures (sign language, etc.), character strings written on a medium such as a screen or paper.
フィールド「非言語情報」は、情報発出者が発出した情報に含まれる言語情報以外の情報を示すデータを格納する。非言語情報には、例えば、声の抑揚、瞬きの増減、首をかしげる動作、視線を外す動作などが含まれる。これらの非言語情報は、情報発出者の感情を言語以外の方法でコミュニケーションの相手に伝える。 The field "non-verbal information" stores data indicating information other than the linguistic information included in the information issued by the information issuer. Non-verbal information includes, for example, inflection of voice, increase/decrease in blinking, motion of tilting the head, motion of looking away, and the like. These non-verbal information convey the emotion of the informant to the communication partner in a non-verbal way.
フィールド「感情値」には、情報発出者が発出した情報に応じた感情値を示すデータが格納される。情報発出者がユーザXである場合、フィールド「感情値」に格納される感情値は、ユーザXが発出した情報に基づきロボット11が推定した感情値を示すデータがフィールド「感情値」に格納される。一方、情報発出者がロボット11である場合、ロボット11がユーザXから受けた情報とロボット11の性格とに基づき決定した感情値がフィールド「感情値」に格納される。
The field "emotional value" stores data indicating the emotional value corresponding to the information issued by the information issuer. If the user X is the user X, the emotional value stored in the field "emotional value" is data indicating the emotional value estimated by the
図3は、ロボット11の機能構成を示した図である。ロボット11は、コンピュータ101が本実施形態に係るプログラムに従うデータ処理を行うことにより実現されるコミュニケーション装置111と、ユーザXから発出された情報を測定し、その測定結果を示すユーザ発出データをコミュニケーション装置111に引き渡す測定装置112と、コミュニケーション装置111から受け取る指示に従い、ユーザXに対し情報の発出を行う情報発出装置113を備える。
FIG. 3 is a diagram showing the functional configuration of the
測定装置112は、コンピュータ101の制御下で動作する撮影装置102及び拾音装置103により実現される。また、情報発出装置113は、コンピュータ101の制御下で動作する表示装置104、発音装置105、駆動装置106により実現される。
The measuring
コミュニケーション装置111は、図3に示す各種の機能構成部を備える。以下にそれらの機能構成部の役割を説明する。
The
データ入出力手段1101は、記憶装置の役割を果たすサーバ装置12との間で各種データの受け渡しを行う。ユーザ発出情報取得手段1102は、測定装置112からユーザ発出データを取得する。ユーザ発出データには、撮影装置102が撮影した画像を表す画像データと、拾音装置103が拾音した音を表す音データが含まれる。
The data input/
ユーザ言語情報特定手段1103は、ユーザ発出情報取得手段1102が取得したユーザ発出データに基づき、ユーザXが発出した言語情報を特定する。ユーザ言語情報特定手段1103が言語情報を特定する方法は、例えば、既知の音声認識技術、画像認識技術、文字認識技術等を用いた方法が挙げられるが、これらに限られない。
User language
ユーザ非言語情報特定手段1104は、ユーザ発出情報取得手段1102が取得したユーザ発出データに基づき、ユーザXが発出した非言語情報を特定する。ユーザ非言語情報特定手段1104は、例えば、ユーザ発出データに含まれる音データが表すユーザXの音声の抑揚、ユーザ発出データに含まれる画像データが表すユーザXの動作に含まれる各種仕草、等を非言語情報として抽出する。
The user non-verbal
ユーザ感情推定手段1105は、ユーザ発出情報取得手段1102が取得したユーザ発出データに基づき、ユーザXの感情を推定する。 User emotion estimation means 1105 estimates the emotion of user X based on the user generated data acquired by user generated information acquisition means 1102 .
より具体的には、ユーザ感情推定手段1105は、以下の情報に基づき感情値を特定することにより、ユーザXの感情を推定する。 More specifically, user emotion estimation means 1105 estimates the emotion of user X by specifying an emotion value based on the following information.
(1)ユーザ言語情報特定手段1103が特定した、ユーザXが発出した言語情報
(2)ユーザ非言語情報特定手段1104が特定した、ユーザXが発出した非言語情報
(3)サーバ装置12が記憶しているユーザ性格データが示すユーザXの性格
(1) linguistic information issued by user X specified by user linguistic information specifying means 1103 (2) non-linguistic information issued by user X specified by user non-linguistic information specifying means 1104 (3)
なお、上記(3)の情報は必ずしもユーザXの感情の推定に用いられなくてもよいが、上記(3)の情報を用いることで、ユーザ感情推定手段1105はユーザXの感情をより高い精度で推定できる。 Although the information (3) above does not necessarily have to be used for estimating the emotion of user X, by using the information (3) above, user emotion estimation means 1105 can estimate user X's emotion with higher accuracy. can be estimated by
ユーザ感情推定手段1105は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、上記(1)~(3)の情報に応じた感情値を特定する。 User emotion estimating means 1105 has, for example, one or both of rule-based and machine learning artificial intelligence, and uses this artificial intelligence to identify emotional values according to the information (1) to (3) above. .
なお、上記(1)及び(2)の情報は、直近の情報に限られず、サーバ装置12が記憶しているコミュニケーションログデータが示す、過去の情報を含んでもよい。
The information (1) and (2) above is not limited to recent information, and may include past information indicated by communication log data stored in the
システム感情決定手段1106は、サーバ装置12が記憶しているシステム性格データが示すロボット11(より正しくは、コミュニケーションシステム1。以下、同様。)の性格と、ユーザ感情推定手段1105が推定したユーザXの感情とに基づき、ロボット11の感情を決定する。
The system
より具体的には、システム感情決定手段1106は、以下の情報に基づき感情値を特定することにより、ロボット11の感情を決定する。
More specifically, the system emotion determination means 1106 determines the emotion of the
(1)サーバ装置12が記憶しているシステム性格データが示すロボット11の性格
(2)ユーザ感情推定手段1105が推定したユーザXの感情
(3)サーバ装置12が記憶しているユーザ性格データが示すユーザXの性格
(4)ユーザ言語情報特定手段1103が特定した、ユーザXが発出した言語情報
(1) Personality of
なお、上記(3)及び(4)の情報は必ずしもロボット11の感情の決定に用いられなくてもよいが、上記(3)又は(4)の情報を用いることで、システム感情決定手段1106はユーザXとコミュニケーションする人の感情により近い感情を、ロボット11の感情として決定できる。
The information (3) and (4) need not necessarily be used to determine the emotion of the
システム感情決定手段1106は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、上記(1)~(4)の情報に応じた感情値を特定する。 The system emotion determination means 1106 has, for example, one or both of rule-based and machine learning artificial intelligence, and the artificial intelligence identifies the emotional value according to the information (1) to (4) above. .
なお、上記(2)及び(4)の情報は、直近の情報に限られず、サーバ装置12が記憶しているコミュニケーションログデータが示す、過去の情報を含んでもよい。
The information (2) and (4) above is not limited to recent information, and may include past information indicated by communication log data stored in the
ユーザ属性更新指示手段1107は、ユーザ発出情報取得手段1102が取得したユーザ発出データに基づき、サーバ装置12に対し記憶しているユーザ属性データの更新を指示する。
The user attribute update instruction means 1107 instructs the
具体的には、ユーザ属性更新指示手段1107は、ユーザ言語情報特定手段1103が特定したユーザXが発出した言語情報を解析し、ユーザXの属性(例えば、「昨日、アニメ映画を観た」など)を抽出し、抽出した属性を示すデータをユーザ属性データとして生成し、生成したユーザ属性データを、データ入出力手段1101を介してサーバ装置12に送信する。
Specifically, the user attribute update instruction means 1107 analyzes the language information issued by the user X specified by the user language
また、ユーザ属性更新指示手段1107は、ユーザ非言語情報特定手段1104が特定したユーザXが発出した非言語情報(例えば、ユーザXがカレーライスを食べながら満足した表情をしている)を解析し、ユーザXの属性(例えば、「カレーが好き」)を抽出し、抽出した属性を示すデータをユーザ属性データとして生成し、生成したユーザ属性データを、データ入出力手段1101を介してサーバ装置12に送信する。
Also, the user attribute update instruction means 1107 analyzes the non-verbal information issued by the user X specified by the user non-verbal information specifying means 1104 (for example, the user X has a satisfied expression while eating curry and rice). , an attribute of user X (for example, “I like curry”) is extracted, data indicating the extracted attribute is generated as user attribute data, and the generated user attribute data is sent to
ユーザ属性更新指示手段1107は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、ユーザXが発出した言語情報又は非言語情報からユーザXの属性を抽出する。 The user attribute update instruction means 1107 has, for example, one or both of rule-based and machine-learning artificial intelligence, and uses the artificial intelligence to determine the attributes of the user X from the verbal information or non-verbal information issued by the user X. Extract.
サーバ装置12は、ロボット11から受信したユーザ属性データを、記憶しているユーザ属性データに追加(同じ種別の属性に関するユーザ属性データが記憶されていない場合)、または、ロボット11から受信したユーザ属性データで、記憶しているユーザ属性データの一部を上書き(同じ種別の属性に関するユーザ属性データが記憶されている場合)する。
The
システム発出情報決定手段1108は、ユーザ感情推定手段1105が推定したユーザXの感情と、システム感情決定手段1106が決定したロボット11の感情とに基づき、ロボット11が発出する情報を決定する。
The system issued
より具体的には、システム発出情報決定手段1108は、以下の情報に基づきロボット11が発出する情報を決定する。システム発出情報決定手段1108が決定する情報には、言語情報と非言語情報が含まれる。
More specifically, the system issued
(1)ユーザ感情推定手段1105が推定したユーザXの感情
(2)システム感情決定手段が決定したロボット11の感情
(3)サーバ装置12が記憶しているユーザ性格データが示すユーザXの性格
(4)ユーザ言語情報特定手段1103が特定した、ユーザXが発出した言語情報
(5)サーバ装置12が記憶しているシステム性格データが示すロボット11の性格
(6)サーバ装置12が記憶しているユーザ属性データが示すユーザXの属性
(1) Emotion of user X estimated by user emotion estimation means 1105 (2) Emotion of
なお、上記(3)~(6)の情報は必ずしもロボット11が発出する情報の決定に用いられなくてもよいが、上記(3)~(6)の情報を用いることで、システム発出情報決定手段1108はユーザXをコミュニケーションする人が発出する情報により近い情報を、ロボット11が発出する情報として決定できる。
Although the information (3) to (6) above does not necessarily have to be used to determine the information issued by the
システム発出情報決定手段1108は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、上記(1)~(6)の情報に応じた感情値を特定する。
The system-issued
なお、上記(1)、(2)及び(4)の情報は、直近の情報に限られず、サーバ装置12が記憶しているコミュニケーションログデータが示す、過去の情報を含んでもよい。
The information (1), (2), and (4) above is not limited to recent information, and may include past information indicated by communication log data stored in the
システム情報発出指示手段1109は、情報発出装置113に、システム発出情報決定手段1108が決定した情報の発出を指示する。
The system information issuing instruction means 1109 instructs the
具体的には、システム情報発出指示手段1109は、例えば、表示装置104に、システム発出情報決定手段1108が決定した情報に含まれる非言語情報に応じた表情を表す画像を表示するように指示する。また、システム情報発出指示手段1109は、システム発出情報決定手段1108が決定した情報に含まれる言語情報(文章)をシステム発出情報決定手段1108が決定した情報に含まれる非言語情報に応じた抑揚や声色で音声した音を合成し、合成した音を発音装置105に発音するように指示する。また、システム情報発出指示手段1109は、システム発出情報決定手段1108が決定した情報に含まれる非言語情報に応じた動作(首を傾げる、左右の腕を振る、等)をロボット11が行うように駆動装置106に対し動作を指示する。
Specifically, the system information issuing instruction means 1109 instructs the
システム性格更新指示手段1110は、システム情報発出指示手段1109が情報発出装置113に発出を指示した情報と、ユーザ感情推定手段1105が推定したユーザXの感情とに基づき、サーバ装置12に対し記憶しているシステム性格データの更新を指示する。
The system character update instructing means 1110 stores information in the
より具体的には、システム性格更新指示手段1110は、以下の情報に基づき更新後のシステム性格データを決定する。 More specifically, system character update instructing means 1110 determines updated system character data based on the following information.
(1)システム情報発出指示手段1109が情報発出装置113に発出を指示した情報
(2)ユーザ感情推定手段1105が推定したユーザXの感情
(3)サーバ装置12が記憶しているユーザ性格データが示すユーザXの性格
(4)ユーザ言語情報特定手段1103が特定した、ユーザXが発出した言語情報
(1) Information that the system information issuing instruction means 1109 instructed the
なお、上記(3)及び(4)の情報は必ずしもロボット11の性格の更新に用いられなくてもよいが、上記(3)又は(4)の情報を用いることで、システム性格更新指示手段1110はロボット11の更新後の性格として、ユーザXとロボット11の関係性がより向上するような性格を決定できる。
Although the information (3) and (4) above need not always be used for updating the character of the
システム性格更新指示手段1110は、例えば所定時間の経過毎に、コミュニケーションログデータが示すユーザXが過去に発出した情報を解析し、ロボット11が発出する非言語情報が直前にユーザXが発出した非言語情報と類似する確率が高まるように、現在のシステム性格データが示すロボット11の性格値を修正する。システム性格更新指示手段1110がロボット11の性格を修正する基準として、例えば、ペーシングと呼ばれる心理学の手法が用いられてもよい。なお、システム性格更新指示手段1110は、1回の修正において不自然にロボット11の性格が変化しないように、ロボット11の性格値の修正幅を所定量以下に制限する。
The system character update instruction means 1110 analyzes the information previously issued by the user X indicated by the communication log data, for example, every time a predetermined time elapses, and compares the nonverbal information issued by the
システム性格更新指示手段1110は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、ロボット11の更新後の性格値を特定する。
The system personality update instruction means 1110 has, for example, one or both of rule-based and machine learning artificial intelligence, and specifies the updated personality value of the
システム性格更新指示手段1110は、特定した更新後のロボット11の性格を示すシステム性格データを生成し、生成したシステム性格データを、データ入出力手段1101を介してサーバ装置12に送信する。サーバ装置12は、ロボット11から受信したシステム性格データで、記憶しているシステム性格データを上書きする。
The system character update instruction means 1110 generates system character data indicating the character of the
ユーザ性格更新指示手段1111は、システム情報発出指示手段1109が情報発出装置113に発出を指示した情報と、ユーザ感情推定手段1105が推定したユーザXの感情とに基づき、サーバ装置12に対し、記憶しているユーザ性格データの更新を指示する。
The user personality update instructing means 1111 instructs the
より具体的には、ユーザ性格更新指示手段1111は、例えば直近の過去の所定時間長の期間に関するコミュニケーションログデータに基づき、ロボット11がどのような言語情報及び非言語情報を発出した場合に、ユーザXがどのような感情となったかを解析し、解析結果に基づき、ユーザXの性格を推定する。
More specifically, the user personality update instruction means 1111, based on, for example, communication log data relating to a period of the most recent past predetermined length of time, when the
ユーザ性格更新指示手段1111は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、ユーザXの性格値を推定する。 The user personality update instruction means 1111 has, for example, one or both of rule-based and machine learning artificial intelligence, and estimates the personality value of the user X by the artificial intelligence.
ユーザ性格更新指示手段1111は、推定したユーザXの性格を示すユーザ性格データを生成し、生成したユーザ性格データを、データ入出力手段1101を介してサーバ装置12に送信する。サーバ装置12は、ロボット11から受信したユーザ性格データで、記憶しているユーザ性格データを上書きする。
User personality update instruction means 1111 generates user personality data indicating the estimated personality of user X, and transmits the generated user personality data to
上述したコミュニケーションシステム1によれば、ロボット11は、ユーザXとコミュニケーションを繰り返すうちに、ユーザXの性格に寄り添うように、自らの性格を徐々に変更してゆく。その結果、ユーザXとロボット11の間に、より良い関係性が生じる。
According to the
[変形例]
上述した実施形態は、本発明の技術的思想の範囲内で様々に変形されてよい。以下にそれらの変形の例を示す。なお、以下に示す変形の例の2以上が適宜、組み合わされてもよい。
[Modification]
The above-described embodiments may be variously modified within the scope of the technical idea of the present invention. Examples of these modifications are shown below. Note that two or more of the following modification examples may be appropriately combined.
(変形例1)
上述した実施形態において、測定装置112は撮影装置102と拾音装置103により実現され、ユーザXから発出される情報のうち、視覚又は聴覚で捉えられる情報を測定する。測定装置112が測定する情報は視覚又は聴覚で捉えられる情報に限られない。例えば、ロボット11が接触検知装置を備え、測定装置112が、ユーザXから発出される情報のうち、触覚で捉えられる情報を測定してもよい。
(Modification 1)
In the above-described embodiment, the measuring
(変形例2)
上述した実施形態において、情報発出装置113は表示装置104、発音装置105、及び、駆動装置106により実現され、ユーザXが視覚又は聴覚で捉えられる情報を発出する。情報発出装置113が発出する情報は視覚又は聴覚で捉えられる情報に限られない。例えば、ロボット11が匂い発生装置を備え、情報発出装置113がユーザXに対し、嗅覚で捉えられる情報を発出してもよい。
(Modification 2)
In the above-described embodiment, the
(変形例3)
上述した実施形態において、ユーザ性格データ、ユーザ属性データ、システム性格データ、コミュニケーションログデータ等を記憶する記憶装置の役割はサーバ装置12が果たす。これに代えて、もしくは加えて、これらのデータを記憶する記憶装置が、ロボット11に設けられてもよい。
(Modification 3)
In the above-described embodiment, the
(変形例4)
上述した実施形態において、ロボット11のコミュニケーション装置111が備えるものとした機能構成部の少なくとも一部を、サーバ装置12又はサーバ装置12とは異なる他の装置が備えてもよい。
(Modification 4)
In the above-described embodiment, the
(変形例5)
上述した実施形態において、コミュニケーションシステム1はロボット11とサーバ装置12により構成される。コミュニケーションシステム1の構成はこれに限られない。例えば、上述した実施形態においてサーバ装置12が記憶するものとしたデータをロボット11が内臓又は外部に接続された記憶装置に記憶し、コミュニケーションシステム1がロボット11のみで構成されてもよい。また、上述した実施形態においてロボット11が備えるものとした機能構成部の一部を備え、ロボット11とデータ通信を行い連係動作する1以上の外部の装置を備え、コミュニケーションシステム1がロボット11、サーバ装置12、及び、それらの外部の装置により構成されてもよい。
(Modification 5)
In the embodiment described above, the
(変形例6)
上述した実施形態において、コミュニケーションシステム1が備えるロボット11は1つであるものとしたが、コミュニケーションシステム1が複数のロボット11を備えてもよい。その場合、複数のロボット11の間で、サーバ装置12に記憶されているデータの一部が共用されてもよい。例えば、ユーザ感情推定手段1105、システム感情決定手段1106等が機械学習型の人工知能を有する場合、それらの人工知能の訓練のために用いる教師データの生成のために、複数のロボット11間でコミュニケーションログデータが共用されてもよい。
(Modification 6)
In the above-described embodiment, the
(変形例7)
上述した実施形態において、ロボット11は胴部107、頭部108、右腕部109、左腕部110を備えるものとしたが、ロボット11が備える部位の種別や数はこの例に限られない。例えば、ロボット11が右脚部及び左脚部を備え、駆動装置106が胴部107に対する右脚部及び左脚部の各々の姿勢(相対位置)を変更可能としてもよい。また、ロボット11が右腕部109及び左腕部110の各々に連結される複数の指部を備え、駆動装置106が右腕部109又は左腕部110に対する指部の各々の姿勢(相対位置)を変更可能としてもよい。
(Modification 7)
In the above-described embodiment, the
(変形例8)
コミュニケーションシステム1が、ユーザXの感情の推定等に、ユーザXが置かれている環境の物理量(以下、単に「環境の物理量」という)の測定結果を用いてもよい。環境の物理量の例としては、温度、湿度、照度、騒音の大小等が挙げられる。
(Modification 8)
The
この変形例において、測定装置112、又は、測定装置112とは異なる測定装置が、環境の物理量を測定する。例えば、コミュニケーションシステム1が温度を用いる場合、コンピュータ101に温度計が接続される。この場合、温度計は測定装置112とは異なる測定装置を構成するため、測定装置112とは異なる測定装置が環境の物理量を測定することになる。また、コミュニケーションシステム1が騒音の大小を用いる場合、騒音の測定には測定装置112を構成する拾音装置103が行う。この場合、測定装置112が環境の物理量の測定を行うことになる。
In this variant, the measuring
また、この変形例において、コミュニケーション装置111は、機能構成部として、測定装置112又は測定装置112とは異なる測定装置から環境の物理量を測定した結果を示す物理環境データを取得する物理環境取得手段を備える。
Further, in this modification, the
この変形例において、物理環境取得手段により取得された物理環境データは、以下の(1)~(4)の1以上において用いられる。 In this modification, the physical environment data acquired by the physical environment acquisition means is used in one or more of (1) to (4) below.
(1)ユーザ感情推定手段1105によるユーザXの感情の推定
(2)システム感情決定手段1106によるロボット11の感情の決定
(3)システム発出情報決定手段1108によるロボット11が発出する情報の決定
(4)システム性格更新指示手段1110による新たなシステム性格データの生成
(5)ユーザ性格更新指示手段1111による新たなユーザ性格データの生成
(1) Estimation of user X's emotion by user emotion estimation means 1105 (2) Determination of emotion of
この変形例によれば、例えば、ユーザXの感情の推定において温度等の環境の物理量が考慮されることにより、より精度の高い感情の推定が行われる。 According to this modification, for example, in estimating the emotion of the user X, the physical quantity of the environment such as temperature is taken into consideration, thereby estimating the emotion with higher accuracy.
1…コミュニケーションシステム、11…ロボット、12…サーバ装置、101…コンピュータ、102…撮影装置、103…拾音装置、104…表示装置、105…発音装置、106…駆動装置、107…胴部、108…頭部、109…右腕部、110…左腕部、111…コミュニケーション装置、112…測定装置、113…情報発出装置、1011…プロセッサ、1012…メモリ、1013…入出力インタフェース、1014…通信インタフェース、1101…データ入出力手段、1102…ユーザ発出情報取得手段、1103…ユーザ言語情報特定手段、1104…ユーザ非言語情報特定手段、1105…ユーザ感情推定手段、1106…システム感情決定手段、1107…ユーザ属性更新指示手段、1108…システム発出情報決定手段、1109…システム情報発出指示手段、1110…システム性格更新指示手段、1111…ユーザ性格更新指示手段。
DESCRIPTION OF
Claims (22)
記憶装置との間でデータの受け渡しを行うデータ入出力手段と、
測定装置から、前記ユーザが発出した情報を測定した結果を示すユーザ発出データを取得するユーザ発出情報取得手段と、
前記ユーザ発出情報取得手段が取得した前記ユーザ発出データに基づき前記ユーザの感情を推定するユーザ感情推定手段と、
前記記憶装置が記憶しているシステム性格データが示す前記システムの性格と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記システムの感情を決定するシステム感情決定手段と、
前記ユーザ感情推定手段が推定した前記ユーザの感情と、前記システム感情決定手段が決定した前記システムの感情とに基づき、前記システムが発出する情報を決定するシステム発出情報決定手段と、
前記ユーザに対し情報を発出する情報発出装置に、前記システム発出情報決定手段が決定した情報の発出を指示するシステム情報発出指示手段と、
前記システム情報発出指示手段が前記情報発出装置に発出を指示した情報と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記記憶装置に対し前記システム性格データの更新を指示するシステム性格更新指示手段と
を備えるシステム。 A system for communicating with a user,
data input/output means for exchanging data with a storage device;
user-issued information acquiring means for acquiring user-issued data indicating a result of measuring the information issued by the user from the measuring device;
user emotion estimation means for estimating the user's emotion based on the user generated data acquired by the user generated information acquisition means;
system emotion determination means for determining the emotion of the system based on the character of the system indicated by the system character data stored in the storage device and the emotion of the user estimated by the user emotion estimation means;
system issued information determination means for determining information to be issued by the system based on the user's emotion estimated by the user emotion estimation means and the system emotion determined by the system emotion determination means;
system information issuing instruction means for instructing an information issuing device for issuing information to the user to issue the information determined by the system issuing information determining means;
A system for instructing the storage device to update the system personality data based on the information instructed to be issued by the system information issuing instruction means to the information issuing device and the user's emotion estimated by the user emotion estimating means. A system comprising: a personality update indicator;
請求項1に記載のシステム。 2. The system according to claim 1, wherein said emotion estimation means estimates the user's emotion based on the user's personality indicated by user personality data stored in said storage device.
請求項1又は2に記載のシステム。 3. The system according to claim 1, wherein said system emotion determination means determines the emotion of said system based on said user's personality indicated by user personality data stored in said storage device.
請求項1乃至3のいずれか1項に記載のシステム。 4. The system according to any one of claims 1 to 3, wherein said system-issued information determining means determines the information issued by said system based on the personality of said user indicated by user personality data stored in said storage device. .
請求項1乃至4のいずれか1項に記載のシステム。 5. The system personality update instruction means according to any one of claims 1 to 4, wherein said system personality update instruction means instructs said storage device to update said system personality data based on said user personality indicated by user personality data stored in said storage device. 2. The system according to item 1.
を備える請求項2乃至5のいずれか1項に記載のシステム。 A user who instructs the storage device to update the user personality data based on the information instructed to be issued by the system information issuing instruction means to the information issuing device and the user's emotion estimated by the user emotion estimating means. 6. A system according to any one of claims 2 to 5, comprising personality update indicator means.
を備える請求項1乃至6のいずれか1項に記載のシステム。 7. The system according to any one of claims 1 to 6, further comprising user language information specifying means for specifying language information issued by said user based on said user issued data acquired by said user issued information acquiring means.
請求項7に記載のシステム。 8. The system according to claim 7, wherein said user emotion estimating means estimates said user's emotion based on the language information issued by said user specified by said user language information specifying means.
請求項7又は8に記載のシステム。 9. The system according to claim 7 or 8, wherein said system emotion determination means determines the emotion of said system based on the language information issued by said user identified by said user language information identification means.
請求項7乃至9のいずれか1項に記載のシステム。 10. The system according to any one of claims 7 to 9, wherein said system issued information determining means determines information to be issued by said system based on the language information issued by said user specified by said user language information specifying means.
請求項7乃至10のいずれか1項に記載のシステム。 11. The system character update instructing means instructs the storage device to update the system character data based on the language information issued by the user specified by the user language information specifying means. The system described in paragraph.
を備え、
前記ユーザ感情推定手段は、前記ユーザ非言語情報特定手段が特定した前記ユーザが発出した非言語情報に基づき前記ユーザの感情を推定する
請求項1乃至11のいずれか1項に記載のシステム。 User non-verbal information specifying means for specifying non-verbal information issued by the user based on the user issued data acquired by the user issued information acquiring means,
12. The system according to any one of claims 1 to 11, wherein the user emotion estimation means estimates the user's emotion based on the nonverbal information issued by the user identified by the user nonverbal information identification means.
請求項1乃至12のいずれか1項に記載のシステム。 13. The system-issued information determination means determines the information issued by the system based on the user's objective attributes indicated by the user attribute data stored in the storage device. The system described in .
を備える請求項13に記載のシステム。 14. The system according to claim 13, further comprising user attribute update instruction means for instructing said storage device to update said user attribute data based on said user issued data acquired by said user issued information acquisition means.
を備える請求項1乃至14のいずれか1項に記載のシステム。 15. The physical environment acquiring means for acquiring physical environment data indicating a result of measuring a physical quantity of the environment in which the user is placed from the measuring device or a measuring device different from the measuring device. 2. The system according to item 1.
請求項15に記載のシステム。 16. The system according to claim 15, wherein the user emotion estimation means estimates the user's emotion based on the physical environment data acquired by the physical environment acquisition means.
請求項15又は16に記載のシステム。 17. The system according to claim 15 or 16, wherein said system emotion determination means determines the emotion of said system based on said physical environment data acquired by said physical environment acquisition means.
請求項15乃至17のいずれか1項に記載のシステム。 18. The system according to any one of claims 15 to 17, wherein said system issued information determination means determines information issued by said system based on said physical environment data acquired by said physical environment acquisition means.
請求項15乃至18のいずれか1項に記載のシステム。 19. The system character update instruction means according to any one of claims 15 to 18, wherein the system character update instruction means instructs the storage device to update the system character data based on the physical environment data acquired by the physical environment acquisition means. system.
を備え、
前記ユーザ性格更新指示手段は、前記物理環境取得手段が取得した前記物理環境データに基づき、前記記憶装置に対し前記ユーザ性格データの更新を指示する
請求項6に記載のシステム。 physical environment acquisition means for acquiring physical environment data indicating results of measuring physical quantities of the environment in which the user is placed from the measurement device or a measurement device different from the measurement device;
7. The system according to claim 6, wherein said user personality update instruction means instructs said storage device to update said user personality data based on said physical environment data acquired by said physical environment acquisition means.
請求項1乃至20のいずれか1項に記載のシステム。 21. The system-issued information determination means according to any one of claims 1 to 20, wherein said system-issued information determination means determines information issued by said system based on characteristics of said system indicated by said system characteristics data stored in said storage device. system.
前記コンピュータに、
記憶装置との間でデータの受け渡しを行う処理と、
測定装置から、前記ユーザが発出した情報を測定した結果を示すユーザ発出データを取得する処理と、
前記ユーザ発出データに基づき前記ユーザの感情を推定する処理と、
前記記憶装置が記憶しているシステム性格データが示す前記システムの性格と、推定した前記ユーザの感情とに基づき、前記システムの感情を決定する処理と、
推定した前記ユーザの感情と、決定した前記システムの感情とに基づき、前記システムが発出する情報を決定する処理と、
前記ユーザに対し情報を発出する情報発出装置に、決定した前記システムが発出する情報の発出を指示する処理と、
前記情報発出装置に発出を指示した情報と、推定した前記ユーザの感情とに基づき、前記記憶装置に対し前記システム性格データの更新を指示する処理と
を実行させるためのプログラム。 A program for realizing a system for communicating with a user on a computer,
to said computer;
a process of transferring data to and from a storage device;
a process of acquiring, from a measuring device, user-issued data indicating a result of measuring the information issued by the user;
a process of estimating the user's emotion based on the user-generated data;
a process of determining the emotion of the system based on the personality of the system indicated by the system personality data stored in the storage device and the estimated emotion of the user;
a process of determining information to be issued by the system based on the estimated emotion of the user and the determined emotion of the system;
a process of instructing an information issuing device that issues information to the user to issue information issued by the determined system;
and a process of instructing the storage device to update the system character data based on the information instructed to be issued by the information issuing device and the estimated emotion of the user.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021048774A JP6990472B1 (en) | 2021-03-23 | 2021-03-23 | A system for communicating with people and a program for that purpose |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021048774A JP6990472B1 (en) | 2021-03-23 | 2021-03-23 | A system for communicating with people and a program for that purpose |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6990472B1 JP6990472B1 (en) | 2022-01-12 |
JP2022147506A true JP2022147506A (en) | 2022-10-06 |
Family
ID=80185454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021048774A Active JP6990472B1 (en) | 2021-03-23 | 2021-03-23 | A system for communicating with people and a program for that purpose |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6990472B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7205962B1 (en) | 2022-10-14 | 2023-01-17 | ユニロボット株式会社 | System for automatic dialogue |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11259446A (en) * | 1998-03-12 | 1999-09-24 | Aqueous Reserch:Kk | Agent device |
KR20150090476A (en) * | 2014-01-29 | 2015-08-06 | 엘지전자 주식회사 | A mobile device, a cradle for mobile device, and a method of managing them |
JP2017173546A (en) * | 2016-03-23 | 2017-09-28 | カシオ計算機株式会社 | Learning support device, robot, learning support system, learning support method, and program |
JP2017173547A (en) * | 2016-03-23 | 2017-09-28 | カシオ計算機株式会社 | Robot control device, robot, robot control method, robot control system and program |
JP2018068548A (en) * | 2016-10-27 | 2018-05-10 | 富士ゼロックス株式会社 | Interaction control system |
JP2019200598A (en) * | 2018-05-16 | 2019-11-21 | 株式会社野村総合研究所 | server |
JP2020527267A (en) * | 2017-07-14 | 2020-09-03 | 深▲せん▼前海達闥雲端智能科技有限公司Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Robot personality setting method, equipment and robot |
-
2021
- 2021-03-23 JP JP2021048774A patent/JP6990472B1/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11259446A (en) * | 1998-03-12 | 1999-09-24 | Aqueous Reserch:Kk | Agent device |
KR20150090476A (en) * | 2014-01-29 | 2015-08-06 | 엘지전자 주식회사 | A mobile device, a cradle for mobile device, and a method of managing them |
JP2017173546A (en) * | 2016-03-23 | 2017-09-28 | カシオ計算機株式会社 | Learning support device, robot, learning support system, learning support method, and program |
JP2017173547A (en) * | 2016-03-23 | 2017-09-28 | カシオ計算機株式会社 | Robot control device, robot, robot control method, robot control system and program |
JP2018068548A (en) * | 2016-10-27 | 2018-05-10 | 富士ゼロックス株式会社 | Interaction control system |
JP2020527267A (en) * | 2017-07-14 | 2020-09-03 | 深▲せん▼前海達闥雲端智能科技有限公司Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Robot personality setting method, equipment and robot |
JP2019200598A (en) * | 2018-05-16 | 2019-11-21 | 株式会社野村総合研究所 | server |
Also Published As
Publication number | Publication date |
---|---|
JP6990472B1 (en) | 2022-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11241789B2 (en) | Data processing method for care-giving robot and apparatus | |
JP6815486B2 (en) | Mobile and wearable video capture and feedback platform for the treatment of mental illness | |
WO2018153359A1 (en) | Emotion state prediction method and robot | |
US20180268821A1 (en) | Virtual assistant for generating personal suggestions to a user based on intonation analysis of the user | |
WO2016080553A1 (en) | Learning robot, learning robot system, and learning robot program | |
CN110998725A (en) | Generating responses in a conversation | |
JP2019008570A (en) | Information processing device, information processing method, and program | |
US20180375807A1 (en) | Virtual assistant system enhancement | |
WO2005016147A1 (en) | Information processing terminal and communication system | |
US11960792B2 (en) | Communication assistance program, communication assistance method, communication assistance system, terminal device, and non-verbal expression program | |
JP2019091387A (en) | Information processing apparatus and program | |
Qiu et al. | Understanding visually impaired people’s experiences of social signal perception in face-to-face communication | |
JP3733075B2 (en) | Interaction media system | |
US11544968B2 (en) | Information processing system, information processingmethod, and recording medium | |
JP6990472B1 (en) | A system for communicating with people and a program for that purpose | |
KR20210100831A (en) | System and method for providing sign language translation service based on artificial intelligence | |
US10210647B2 (en) | Generating a personal avatar and morphing the avatar in time | |
CA3151265A1 (en) | Language teaching machine | |
WO2019167848A1 (en) | Data conversion system, data conversion method, and program | |
US20230230293A1 (en) | Method and system for virtual intelligence user interaction | |
KR20210028370A (en) | Intelligent standardized patient training and evaluation system. based on virtual reality | |
Ritschel | Real-time generation and adaptation of social companion robot behaviors | |
KR20190142219A (en) | Electronic device and operating method for outputting a response for an input of a user, by using application | |
Cafaro et al. | Nonverbal behavior in multimodal performances | |
WO2022065386A1 (en) | Thought inference system, inference model generation system, thought inference device, inference model generation method, computer program, and inference model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210325 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210325 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210401 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210413 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6990472 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |