JP2017100221A - Communication robot - Google Patents

Communication robot Download PDF

Info

Publication number
JP2017100221A
JP2017100221A JP2015234251A JP2015234251A JP2017100221A JP 2017100221 A JP2017100221 A JP 2017100221A JP 2015234251 A JP2015234251 A JP 2015234251A JP 2015234251 A JP2015234251 A JP 2015234251A JP 2017100221 A JP2017100221 A JP 2017100221A
Authority
JP
Japan
Prior art keywords
biological state
unit
voice
communication robot
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015234251A
Other languages
Japanese (ja)
Inventor
満春 細川
Mitsuharu Hosokawa
満春 細川
北田 耕作
Kosaku Kitada
耕作 北田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015234251A priority Critical patent/JP2017100221A/en
Publication of JP2017100221A publication Critical patent/JP2017100221A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a communication robot that can support health care of a user.SOLUTION: A communication robot 20, which is configured to have a conversation with a person, comprises: a microphone 21; a speaker 22; a voice recognizing portion 23 that recognizes voice inputted from the microphone 21; a voice synthesis portion 25 that outputs voice from the speaker 22 on the basis of a recognized result by the voice recognizing portion 23; and a biological state estimating portion 24 that estimates a biological state of a person producing voice, on the basis of an acoustic property of the voice inputted from the microphone 21.SELECTED DRAWING: Figure 1

Description

本発明は、人と会話をするコミュニケーションロボットに関する。   The present invention relates to a communication robot that has a conversation with a person.

近年、人と会話をする各種コミュニケーションロボットが提案されている(例えば、特許文献1)。   In recent years, various communication robots that have conversations with people have been proposed (for example, Patent Document 1).

特許文献1では、コミュニケーションロボットの一例として、他の移動通信装置との無線接続の履歴に基づいて、その移動通信装置との親密度を決定する親密度評価部を備えるペット型移動ロボットが提案されている。この技術によれば、親密度に応じたメッセージが出力され、ユーザとのコミュニケーションが活発化されるというものである。   In Patent Document 1, as an example of a communication robot, a pet-type mobile robot including a closeness evaluation unit that determines a closeness with a mobile communication device based on a history of wireless connection with another mobile communication device is proposed. ing. According to this technique, a message corresponding to the familiarity is output, and communication with the user is activated.

国際公開第2008/152943号International Publication No. 2008/152943

しかしながら、特許文献1の技術では、通常の健康状態にあるユーザのコミュニケーションが活発化されるものの、ユーザが体調不良等によって元気がない場合には、もはや対応しきれないという問題がある。ユーザが体調不良である場合には、ペット型移動ロボットとのコミュニケーションを活発化させることよりも、ユーザの健康を管理する人(介護士、家族等)が少しでも早くそのことを知り、ユーザに対処する必要がある。ところが、特許文献1の技術では、このようなケースには対応できないとう問題がある。   However, in the technique of Patent Document 1, although communication of a user in a normal health state is activated, there is a problem that when the user is not healthy due to poor physical condition or the like, it can no longer cope with it. If the user is in poor health, the person (caregiver, family, etc.) who manages the user's health knows that as soon as possible, rather than activating communication with the pet-type mobile robot. It is necessary to deal with it. However, the technique of Patent Document 1 has a problem that it cannot cope with such a case.

そこで、本発明は、上記問題に鑑みてなされたものであり、ユーザの健康管理を支援することができるコミュニケーションロボットを提供することを目的とする。   Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to provide a communication robot that can support user health management.

上記目的を達成するために、本発明の一形態に係るコミュニケーションロボットは、人と会話をするコミュニケーションロボットであって、マイクロホンと、スピーカと、前記マイクロホンから入力された音声を認識する音声認識部と、前記音声認識部による認識結果に基づいて、前記スピーカから音声を出力する音声合成部と、前記マイクロホンから入力された音声の音響的特徴に基づいて、前記音声を発した人の生体状態を推定する生体状態推定部とを備える。   In order to achieve the above object, a communication robot according to an aspect of the present invention is a communication robot that has a conversation with a person, and includes a microphone, a speaker, and a voice recognition unit that recognizes a voice input from the microphone. Based on the recognition result by the voice recognition unit, the voice synthesis unit that outputs the voice from the speaker, and the biological state of the person who emitted the voice is estimated based on the acoustic characteristics of the voice input from the microphone A living body state estimation unit.

本発明により、ユーザの健康管理を支援することができるコミュニケーションロボットが提供される。   The present invention provides a communication robot that can support the health management of a user.

本発明の実施の形態におけるコミュニケーションロボットの構成を示すブロック図The block diagram which shows the structure of the communication robot in embodiment of this invention ユーザとコミュニケーションロボットとが会話する場面での動作手順を示すシーケンス図Sequence diagram showing the operation procedure in a scene where the user and the communication robot have a conversation コミュニケーションロボットの生体状態推定部による生体状態の推定例を示すタイムチャートTime chart showing an example of biological state estimation by the biological state estimation unit of a communication robot 図3Aに示された生体状態のライフログの例を示すタイムチャートFIG. 3A is a time chart showing an example of the life log of the biological state shown in FIG. コミュニケーションロボットの生体状態推定部による生体状態の別の推定例を示すプロット図Plot diagram showing another estimation example of the biological state by the biological state estimation unit of the communication robot 図4Aに示された生体状態の推定例をユーザごとに分けたプロット図Plot diagram in which estimation example of biological state shown in FIG. 4A is divided for each user 生体状態の推定における判断基準の更新がクラウドによって実行される様子を示すイメージ図The image figure which shows a mode that the update of the judgment standard in the estimation of the biological state is executed by the cloud

(本発明の基礎となった知見)
近年の高齢化社会や介護士不足による介護士の負担増加により、自宅や介護施設、医療施設等に居住又は入院する独居高齢者(以下、「高齢者」)の話し相手は、介護士や看護師(以下、「介護士」)あるいは周囲の高齢者となってきている。高齢者の感情は、生体情報(血圧、脈拍等)や介護士自身の主観で判断されている。そのために、ケア期間が長ければ適切な対話も可能であるが、新人介護士やわずかなケア期間では、対応が不十分になりやすい。また、感情推移のライフログ化は、ケア期間中だけに限定され、介護士の記憶やメモに頼るところが大きく、客観性に欠ける。さらに、ある種“閉鎖的な施設”において、感情の起伏(特に落ち込み)を把握しても、その後の対応は介護士に委ねられているという現状がある。このような状況により、介護士の負担が増加するという問題、及び、高齢者の健康状態についての家族への情報共有が停滞するという問題が生じている。
(Knowledge that became the basis of the present invention)
Due to the increasing burden of caregivers due to the aging society and the shortage of caregivers in recent years, the elderly who live alone or are hospitalized at homes, nursing homes, medical facilities, etc. (Hereinafter referred to as “caregiver”) or the surrounding elderly. Elderly emotions are determined by biometric information (blood pressure, pulse, etc.) and the caregiver's own subjectivity. Therefore, an appropriate dialogue is possible if the care period is long, but a new caregiver or a slight care period tends to be insufficient. In addition, the life transition of emotional transition is limited only during the care period, and relies heavily on the caregiver's memory and notes, and lacks objectivity. Furthermore, even in a kind of “closed facility”, even if the undulations (especially depression) of emotions are grasped, the subsequent response is left to the caregiver. Under such circumstances, there arises a problem that the burden on the caregiver increases and a problem that information sharing with the family about the health condition of the elderly is stagnant.

また、近年の共働きや女性の躍進により、子どもだけで留守番をする頻度が増加している。これに伴い、介護施設及び医療施設等に居住又は入院する子どもの話し相手は、介護士あるいは同室の患者であるケースが増えてきている。一人で留守番する子どもの感情は察知が難しい。留守番をしなければならない期間が長いと、親子間のコミュニケーションに少なからず悪影響が与えられ得る。また、施設にいる子どもの感情は、生体情報(血圧、脈拍等)や介護士自身の主観で判断されることが多い。ケア期間が長ければ適切な対話も可能だが、新人介護士やわずかなケア期間では、対応が不十分になりやすい。また、感情推移のライフログ化は、ケア期間中だけに限定され、介護士の記憶やメモに頼るところが大きく、客観性に欠ける。さらに、ある種“閉鎖的な施設”において、感情の起伏(特に落ち込み)を把握しても、その後の対応は介護士に委ねられているという現状がある。このような状況により、介護士の負担が増加するという問題、及び、子供の健康状態についての家族での情報共有が停滞するという問題が生じている。   In addition, the frequency of answering only by children is increasing due to the recent advancement of co-working and women. In connection with this, the case where the talk partner of the child who lives in or is hospitalized in a nursing care facility, a medical facility, etc. is a caregiver or a patient in the same room is increasing. It is difficult to detect the emotion of a child who is answering alone. If the time period for which an answering machine has to be taken is long, communication between parents and children can be adversely affected. In addition, the emotion of a child in a facility is often judged by biometric information (blood pressure, pulse, etc.) and the caregiver's own subjectivity. Longer care periods allow for appropriate dialogue, but newer caregivers and minor care periods tend to be inadequate. In addition, the life transition of emotional transition is limited only during the care period, and relies heavily on the caregiver's memory and notes, and lacks objectivity. Furthermore, even in a kind of “closed facility”, even if the undulations (especially depression) of emotions are grasped, the subsequent response is left to the caregiver. Under such circumstances, there arises a problem that the burden on the caregiver increases and a problem that information sharing with the family about the health condition of the child is stagnant.

そこで、本発明は、以上のような介護士の負担が増加するという問題、高齢者の健康状態についての家族への情報共有が停滞するという問題、及び、子供の健康状態についての家族での情報共有が停滞するという問題を解決するためになされたものである。つまり、本発明は、ユーザの健康管理を支援することができるコミュニケーションロボットを提供することを目的とする。   Therefore, the present invention has a problem that the burden on the caregiver increases as described above, a problem that information sharing with the family about the health status of the elderly is stagnant, and information about the health status of the child with the family It was made to solve the problem of stagnation of sharing. That is, an object of the present invention is to provide a communication robot that can support the health management of a user.

そのために、本発明は、人と会話をするコミュニケーションロボットであって、マイクロホンと、スピーカと、マイクロホンから入力された音声を認識する音声認識部と、音声認識部による認識結果に基づいてスピーカから音声を出力する音声合成部と、マイクロホンから入力された音声の音響的特徴に基づいて、音声を発した人の生体状態を推定する生体状態推定部とを備えることを特徴とする。   For this purpose, the present invention is a communication robot that has a conversation with a person, a microphone, a speaker, a voice recognition unit that recognizes voice input from the microphone, and a voice from the speaker based on a recognition result by the voice recognition unit. And a biological state estimating unit that estimates the biological state of the person who has emitted the voice based on the acoustic characteristics of the voice input from the microphone.

これによって、高齢者や子ども等のユーザが発した音声に基づいてユーザの生体状態が推定される。よって、その推定結果を介護士や家族に通知するしくみを設けることで、介護士の負担が軽減され、ユーザの健康状態についての家族への情報共有が促進され、ユーザの健康管理が支援される。   As a result, the biological state of the user is estimated based on the voice uttered by the user such as an elderly person or a child. Therefore, by providing a mechanism for notifying caregivers and family members of the estimation results, the burden on caregivers is reduced, sharing of information about the user's health status with the family is promoted, and user health management is supported. .

(実施の形態)
以下、本発明に係るコミュニケーションロボットの実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(Embodiment)
Hereinafter, embodiments of a communication robot according to the present invention will be described in detail with reference to the drawings. Note that each of the embodiments described below shows a specific example of the present invention. Numerical values, shapes, materials, components, arrangement positions and connection forms of components, steps, order of steps, and the like shown in the following embodiments are merely examples, and are not intended to limit the present invention. In addition, among the constituent elements in the following embodiments, constituent elements that are not described in the independent claims indicating the highest concept of the present invention are described as optional constituent elements.

図1は、本発明の実施の形態におけるコミュニケーションロボット20の構成を示すブロック図である。ここでは、コミュニケーションロボット20と会話するユーザ10(ここでは、高齢者)も一緒に図示されている。   FIG. 1 is a block diagram showing a configuration of a communication robot 20 in the embodiment of the present invention. Here, a user 10 (here, an elderly person) who has a conversation with the communication robot 20 is also illustrated.

コミュニケーションロボット20は、人(ユーザ10)と会話をするロボットであり、マイクロホン21、スピーカ22、音声認識部23、生体状態推定部24、音声合成部25、会話エンジン26、バス27、記憶部28及び通信部29を備える。なお、コミュニケーションロボット20は、本図では、一例としてのペット型移動ロボットが図示されているが、人と会話をする電子機器であれば、いかなるタイプのものでもよく、移動しないロボットも含まれる。移動しないロボットとして、例えば、会話機能をもつ家電機器、あるいは、建物の壁等に設置される会話機能をもつHEMS(Home Energy Management System)コントローラ等が含まれる。また、図1では、本発明に関連しない一般的な構成要素(ペット型移動ロボットが備える視覚センサ、触角センサ、アクチュエータ等の機構部、エンコーダ等の動作センサ等)の図示は省略されている。   The communication robot 20 is a robot that has a conversation with a person (user 10), and includes a microphone 21, a speaker 22, a voice recognition unit 23, a biological state estimation unit 24, a voice synthesis unit 25, a conversation engine 26, a bus 27, and a storage unit 28. And a communication unit 29. The communication robot 20 is illustrated as an example of a pet-type mobile robot in the figure, but any type of electronic device may be used as long as it is an electronic device that has a conversation with a person, and includes a robot that does not move. Examples of the robot that does not move include home appliances having a conversation function, or a HEMS (Home Energy Management System) controller having a conversation function installed on a wall of a building or the like. Further, in FIG. 1, illustration of general components not related to the present invention (a visual sensor, a tactile sensor, a mechanism such as an actuator, an operation sensor such as an encoder, etc. provided in a pet-type mobile robot) is omitted.

マイクロホン21は、ユーザが発した音声を収集して電気信号に変換する装置であり、例えば、ペット型移動ロボットの両耳等に設けられる。   The microphone 21 is a device that collects voices uttered by a user and converts them into electrical signals. For example, the microphone 21 is provided in both ears of a pet type mobile robot.

スピーカ22は、電気信号を音声に変えて出力する装置であり、例えば、ペット型移動ロボットの口等に設けられる。なお、本明細書において、ユーザに向けて出力される「音声」には、人の声だけでなく、音楽、機械音等のあらゆる種類の音が含まれる。   The speaker 22 is a device that converts an electrical signal into sound and outputs it. For example, the speaker 22 is provided at the mouth of a pet-type mobile robot. In this specification, “voice” output to the user includes not only human voice but also all kinds of sounds such as music and mechanical sounds.

音声認識部23は、マイクロホン21から入力された音声を認識する処理部であり、例えば、音声認識IC、又は、ソフトウェアとそれを実行するプロセッサ等で実現される。音声認識部23は、予め登録された声紋を参照することで、音声を発したユーザ10を識別する声紋個人認証部23aを有する。声紋個人認証部23aは、登録者ごとに予め入力された音声について音声認識部23で得られた特徴データを声紋として内部に記憶している。そして、いま入力された音声について音声認識部23で得られた特徴データを声紋と照合することで、ユーザ10を識別する。   The speech recognition unit 23 is a processing unit that recognizes speech input from the microphone 21 and is realized by, for example, a speech recognition IC or software and a processor that executes the software. The voice recognition unit 23 includes a voice print personal authentication unit 23a that identifies the user 10 who has made a voice by referring to a previously registered voice print. The voiceprint personal authentication unit 23a stores therein, as voiceprints, feature data obtained by the voice recognition unit 23 for voices input in advance for each registrant. And the user 10 is identified by collating the feature data obtained in the speech recognition part 23 with the voiceprint about the now input speech.

生体状態推定部24は、マイクロホン21から入力された音声の音響的特徴(つまり、言葉の特徴ではない物理的特徴)に基づいて、音声を発したユーザ10の生体状態を推定する処理部であり、例えば、ソフトウェアとそれを実行するプロセッサ等で実現される。ここでは、例えば、ユーザ10が緊張しているかリラックスしているかの状態によって、声帯が収縮又は弛緩することで、音声における声の大小、一息での発話長等の音響的特徴が変化することが利用される。   The biological state estimation unit 24 is a processing unit that estimates the biological state of the user 10 who has emitted the voice based on the acoustic characteristics of the voice input from the microphone 21 (that is, physical characteristics that are not the characteristics of words). For example, it is realized by software and a processor that executes the software. Here, for example, depending on whether the user 10 is nervous or relaxed, the vocal cords contract or relax, so that the acoustic features such as the size of the voice in the voice, the utterance length of the breath, and the like may change. Used.

ここで、生体状態推定部24は、声紋個人認証部23aで識別された人ごとに、生体状態を推定し、推定した生体状態を示す情報を、ライフログとして、記憶部28に格納する処理を繰り返す。このとき、生体状態推定部24は、生体状態を推定する際に用いる判断基準を更新しながら、生体状態を示す情報をライフログとして記憶部28に格納していく。また、生体状態推定部24は、記憶部28に格納されたログを分析することで生体状態が変化したか否かを判断し、生体状態が変化したと判断した場合に、生体状態が変化したことを報知(ここでは、通信部29を介して、予め定められた通知先に通知)する。なお、「報知」とは、具体的な通知先への通知だけでなく、表示又は警報等の単に情報を出力する動作も含む意味である。   Here, the biological state estimation unit 24 estimates a biological state for each person identified by the voiceprint personal authentication unit 23a, and stores information indicating the estimated biological state in the storage unit 28 as a life log. repeat. At this time, the biological state estimation unit 24 stores information indicating the biological state in the storage unit 28 as a life log while updating the determination criterion used when estimating the biological state. In addition, the biological state estimation unit 24 determines whether or not the biological state has changed by analyzing the log stored in the storage unit 28, and when it is determined that the biological state has changed, the biological state has changed. This is notified (in this case, a predetermined notification destination is notified via the communication unit 29). Note that “notification” includes not only a notification to a specific notification destination but also an operation of simply outputting information such as a display or an alarm.

より詳しくは、生体状態推定部24は、マイクロホン21から入力された音声の音響的特徴に基づいて、人の感情が予め定められた複数の感情のそれぞれに該当する確率を算出することで、生体状態を推定する。また、生体状態推定部24は、生体状態として、人が健康であるか、又は、健康でない不調であるかを推定することができる。具体的には、生体状態推定部24は、音響的特徴に基づいて、人の感情を表わす複数のパラメータのそれぞれの度合いを算出し、算出した複数のパラメータの度合いの組み合わせが第1範囲にある場合に人が健康であると推定し、複数のパラメータの度合いの組み合わせが第2範囲にある場合に人が不調であると推定する。   More specifically, the biological state estimation unit 24 calculates the probability that a human emotion corresponds to each of a plurality of predetermined emotions based on the acoustic characteristics of the voice input from the microphone 21, thereby Estimate the state. Moreover, the biological state estimation part 24 can estimate whether a person is healthy or not healthy as a biological state. Specifically, the biological state estimation unit 24 calculates the degree of each of a plurality of parameters representing human emotion based on the acoustic feature, and the combination of the calculated degrees of the parameters is in the first range. In this case, it is estimated that the person is healthy, and the person is inferior when the combination of the degrees of the plurality of parameters is in the second range.

会話エンジン26は、音声認識部23による認識結果に基づいて、コミュニケーションロボット20が発話すべき音声を決定する処理部であり、会話用データベース、ソフトウェア及びソフトウェアを実行するプロセッサ等で実現される。本実施の形態では、会話エンジン26は、例えば、内部のデータベースとのマッチングで人と音声で知的な会話をすることをシミュレートするプログラムである会話ボット(会話bot)である。   The conversation engine 26 is a processing unit that determines a voice to be uttered by the communication robot 20 based on a recognition result by the voice recognition unit 23, and is realized by a conversation database, software, a processor that executes software, and the like. In the present embodiment, the conversation engine 26 is, for example, a conversation bot (conversation bot) that is a program that simulates an intelligent conversation with a person by voice by matching with an internal database.

音声合成部25は、音声認識部23による認識結果に基づいて、スピーカ22から音声を出力する処理部である。本実施の形態では、音声合成部25は、会話エンジン26からの発話指示に従って音声を出力する音声合成IC、又は、ソフトウェアとそれを実行するプロセッサ等で実現される。   The voice synthesis unit 25 is a processing unit that outputs voice from the speaker 22 based on the recognition result by the voice recognition unit 23. In the present embodiment, the speech synthesizer 25 is realized by a speech synthesis IC that outputs speech in accordance with an utterance instruction from the conversation engine 26, or software and a processor that executes the software.

バス27は、音声認識部23、生体状態推定部24、会話エンジン26、記憶部28及び通信部29を電気的に接続する信号路である。   The bus 27 is a signal path that electrically connects the voice recognition unit 23, the biological state estimation unit 24, the conversation engine 26, the storage unit 28, and the communication unit 29.

記憶部28は、生体状態推定部24で推定された生体状態を示す情報であるライフログ等を含む各種情報を記憶しておくためのメモリであり、例えば、不揮発性のRAMである。   The storage unit 28 is a memory for storing various information including a life log that is information indicating the biological state estimated by the biological state estimation unit 24, and is, for example, a nonvolatile RAM.

通信部29は、他の通信装置(携帯情報端末、インターネット上のサーバ装置等)との間で通信をするインタフェースであり、例えば、無線LAN等の無線通信又は有線通信用の通信インタフェースである。   The communication unit 29 is an interface for communicating with other communication devices (such as a portable information terminal and a server device on the Internet), and is a communication interface for wireless communication such as a wireless LAN or wired communication.

なお、コミュニケーションロボット20は、図示されていない構成要素として、生体状態推定部24での推定結果等を表示する表示部や、ユーザ10からの指示を受け付けるボタン等の入力装置を備えてもよい。   In addition, the communication robot 20 may include an input device such as a display unit that displays an estimation result or the like in the biological state estimation unit 24 or a button that receives an instruction from the user 10 as a component that is not illustrated.

次に、以上のように構成された本実施の形態におけるコミュニケーションロボット20の動作について、説明する。   Next, the operation of the communication robot 20 in the present embodiment configured as described above will be described.

図2は、ユーザ10(ここでは、高齢者)とコミュニケーションロボット20とが会話する場面での動作手順を示すシーケンス図である。   FIG. 2 is a sequence diagram showing an operation procedure in a scene where the user 10 (here, an elderly person) and the communication robot 20 have a conversation.

まず、コミュニケーションロボット20が「こんにちは」と発話する(S10)。具体的には、音声合成部25は、会話エンジン26からの指示に従って、スピーカ22から、音声「こんにちは」を出力する。   First, communication robot 20 utters "Hello" (S10). Specifically, the speech synthesis unit 25 in accordance with an instruction from the conversation engine 26, the speaker 22 outputs sound "hello".

これに対して、ユーザ10は、例えば、「こんにちは」と発話する(S11)。この音声は、コミュニケーションロボット20のマイクロホン21を介して音声認識部23に入力され、音声認識部23において音声が認識される。また、声紋個人認証部23aは、いま入力された音声について音声認識部23で得られた特徴データを、登録者ごとに予め記憶している声紋と照合することで、ユーザ10を識別する。   In contrast, the user 10, for example, speaks "Hello" (S11). This voice is input to the voice recognition unit 23 via the microphone 21 of the communication robot 20, and the voice is recognized by the voice recognition unit 23. Further, the voiceprint personal authentication unit 23a identifies the user 10 by comparing the feature data obtained by the voice recognition unit 23 with the voiceprint stored in advance for each registrant for the voice that has just been input.

コミュニケーションロボット20では、音声認識と並行して、あるいは、その直後に、生体状態推定部24は、マイクロホン21から入力された音声の音響的特徴に基づいて、音声を発したユーザ10の生体状態を推定する(S12)。より詳しくは、生体状態推定部24は、声紋個人認証部23aで識別された人ごとに、生体状態を推定し、推定した生体状態を示す情報を、ライフログとして、識別したユーザ10と対応づけて記憶部28に格納する。ここでは、生体状態推定部24は、ユーザ10が不調であると推定したとする。   In the communication robot 20, in parallel with or immediately after the voice recognition, the biological state estimation unit 24 determines the biological state of the user 10 who has emitted the voice based on the acoustic characteristics of the voice input from the microphone 21. Estimate (S12). More specifically, the biological state estimation unit 24 estimates the biological state for each person identified by the voiceprint personal authentication unit 23a, and associates the information indicating the estimated biological state with the identified user 10 as a life log. And stored in the storage unit 28. Here, it is assumed that the biological state estimation unit 24 estimates that the user 10 is in a malfunction.

続いて、コミュニケーションロボット20では、音声合成部25は、生体状態推定部24での推定結果(ここでは、「不調」)に従って会話エンジン26で決定された次の音声「なんか元気なさそう」をスピーカ22から出力する(S13)。   Subsequently, in the communication robot 20, the speech synthesizer 25 provides the speaker with the next speech “something seems to be unsatisfactory” determined by the conversation engine 26 according to the estimation result (here, “bad”) in the biological state estimation unit 24. 22 (S13).

これに対して、ユーザ10は、例えば、「そんなことないよ」と発話する(S14)。この音声は、上記ステップS11と同様に、コミュニケーションロボット20のマイクロホン21を介して音声認識部23に入力され、音声認識部23において音声が認識される。また、声紋個人認証部23aは、いま入力された音声について音声認識部23で得られた特徴データを、登録者ごとに予め記憶している声紋と照合することで、ユーザ10を識別する。   On the other hand, the user 10 utters, for example, “No such thing” (S14). This voice is input to the voice recognition unit 23 via the microphone 21 of the communication robot 20 as in step S11, and the voice recognition unit 23 recognizes the voice. Further, the voiceprint personal authentication unit 23a identifies the user 10 by comparing the feature data obtained by the voice recognition unit 23 with the voiceprint stored in advance for each registrant for the voice that has just been input.

さらに、コミュニケーションロボット20では、音声認識と並行して、あるいは、その直後に、生体状態推定部24は、マイクロホン21から入力された音声の音響的特徴に基づいて、音声を発したユーザ10の生体状態を推定する(S15)。より詳しくは、生体状態推定部24は、声紋個人認証部23aで識別された人ごとに、生体状態を推定し、推定した生体状態を示す情報を、ライフログとして、識別したユーザ10と対応づけて記憶部28に格納する。   Further, in the communication robot 20, in parallel with or immediately after the voice recognition, the biological state estimation unit 24 is based on the acoustic characteristics of the voice input from the microphone 21, and the biological body of the user 10 who has emitted the voice. The state is estimated (S15). More specifically, the biological state estimation unit 24 estimates the biological state for each person identified by the voiceprint personal authentication unit 23a, and associates the information indicating the estimated biological state with the identified user 10 as a life log. And stored in the storage unit 28.

一連の会話が所定時間以上、途絶えた(無音状態が続いた)場合、又は、所定時間が経過した場合、又は、所定回数の生体状態が推定された場合、生体状態推定部24は、そのような場合を内部のタイマ等で検知し、推定結果を報知する(S16)。例えば、生体状態推定部24は、記憶部28に格納されたライフログを分析することで生体状態が変化したか否かを判断し、生体状態が変化したと判断した場合に、生体状態が変化したことを、通信部29を介して、予め定められた通知先に通知する。予め定められた通知先は、例えば、ユーザ10を世話する介護士又はユーザ10の家族である。   When a series of conversations have been interrupted for more than a predetermined time (silent state has continued), when a predetermined time has elapsed, or when a predetermined number of biological states have been estimated, the biological state estimating unit 24 The case is detected by an internal timer or the like, and the estimation result is notified (S16). For example, the biological state estimation unit 24 determines whether the biological state has changed by analyzing a life log stored in the storage unit 28, and if the biological state has changed, the biological state changes. This is notified to a predetermined notification destination via the communication unit 29. The predetermined notification destination is, for example, a caregiver who takes care of the user 10 or a family of the user 10.

このような処理手順によって、ユーザ10が発した音声に基づいてユーザ10の生体状態が推定され、その推定結果が介護士や家族等に通知される。これにより、例えば、「不調」の通知を受けた介護士又は家族は、速やかにユーザ10の元に出向き、一方、「健康」の通知を受けた介護士又は家族は、ユーザ10の元に出向くことを控えることができる。よって、介護士の負担が軽減され、ユーザの健康状態についての家族への情報共有が促進され、ユーザ10の健康管理が支援される。   According to such a processing procedure, the biological state of the user 10 is estimated based on the voice uttered by the user 10, and the estimation result is notified to a caregiver, a family, and the like. Thus, for example, a caregiver or family member who has received a “not good” notification immediately goes to the user 10, while a caregiver or family member who has received the “healthy” notification goes to the user 10. I can refrain from that. Thus, the burden on the caregiver is reduced, information sharing with the family about the user's health condition is promoted, and the health management of the user 10 is supported.

図3Aは、コミュニケーションロボット20の生体状態推定部24による生体状態の推定例を示すタイムチャートである。ここでは、4つの心理状態(4種類の感情「平静」、「哀しみ」、「怒り」、「喜び」)の確率(ここでは、百分率(%))の時間変化が示されている。   FIG. 3A is a time chart illustrating an example of estimation of a biological state by the biological state estimation unit 24 of the communication robot 20. Here, the temporal changes of the probabilities (here, percentage (%)) of four psychological states (four kinds of emotions “calm”, “sadness”, “anger”, “joy”) are shown.

本図に示されるように、生体状態推定部24は、マイクロホン21から入力された音声の音響的特徴に基づいて、生体状態として、ユーザ10の感情が、予め定められた複数の感情(「平静」、「哀しみ」、「怒り」、「喜び」)のそれぞれに該当する確率を算出する。この処理は、会話中における所定時間間隔、あるいは、ユーザ10からの発話の所定回数ごとに行われる。   As shown in the figure, the biological state estimating unit 24 uses a plurality of predetermined emotions (“quiet” as the biological state based on the acoustic characteristics of the voice input from the microphone 21 as the biological state. ”,“ Sadness ”,“ anger ”,“ joy ”)). This process is performed at predetermined time intervals during conversation or every predetermined number of utterances from the user 10.

より具体的には、生体状態推定部24は、マイクロホン21から入力された音声に対して、声の高さ(周波数)及び大きさの変化から音響的な特徴データを抽出する。そして、生体状態推定部24は、抽出した特徴データに対して、SVM(「Support Vector Machine」)やディープラーニング等の機械学習により、4種類の感情のそれぞれである確率(「らしさ」)を百分率(%)で算出する。これにより、どの時間(例えば、図3Aにおける矢印が指す点線上の各確率)であっても、4種類の感情のそれぞれの確率の合計は、100になるように、正規化される。   More specifically, the biological state estimation unit 24 extracts acoustic feature data from the voice input from the microphone 21 based on changes in voice pitch (frequency) and volume. Then, the biological state estimation unit 24 uses the machine learning such as SVM (“Support Vector Machine”) or deep learning for the extracted feature data, and calculates the probability (“Rakusei”) of each of the four types of emotions. Calculate in (%). As a result, the total of the probabilities of the four types of emotions is normalized to be 100 at any time (for example, each probability on the dotted line indicated by the arrow in FIG. 3A).

なお、生体状態推定部24によって推定された生体状態を示す情報は、声紋個人認証部23aで識別された人ごとに、ライフログとして、記憶部28又は通信部29を介した通信装置に格納される。   Information indicating the biological state estimated by the biological state estimation unit 24 is stored as a life log in a communication device via the storage unit 28 or the communication unit 29 for each person identified by the voiceprint personal authentication unit 23a. The

図3Bは、図3Aに示された生体状態のライフログの例を示すタイムチャートである。ここでは、生体状態推定部24によって記憶部28に格納されたユーザごと(Aさん、Bさん)のライフログとして、4つの心理状態から選択された一つの心理状態(例えば、「哀しみ」)の確率(「出現率(%)」)の日ごとの変化が示されている。   FIG. 3B is a time chart showing an example of a life log of the biological state shown in FIG. 3A. Here, as a life log for each user (Mr. A, Mr. B) stored in the storage unit 28 by the biological state estimation unit 24, one psychological state (for example, “sorrow”) selected from four psychological states. The daily change in the probability (“appearance rate (%)”) is shown.

本図に示されるように、生体状態推定部24は、記憶部28に格納されたログを、ユーザごとに、一日単位で平均化することで、ユーザの日ごとの生体状態の変化を示すカーブを得ることができる。そして、生体状態推定部24は、そのカーブにおいて、所定の範囲を超える箇所、あるいは、所定幅を超えて変化した箇所等があるか否かを判断することで、生体状態が変化したか否かを判断する。生体状態が変化したと判断した場合には、生体状態推定部24は、生体状態が変化したことを、通信部29を介して、予め定められた介護士又は家族がもつ携帯情報端末等の通知先に通知する。   As shown in the figure, the biological state estimating unit 24 averages the log stored in the storage unit 28 for each user on a daily basis, thereby showing changes in the biological state of the user every day. A curve can be obtained. Then, the biological state estimating unit 24 determines whether or not the biological state has changed by determining whether or not there is a part exceeding the predetermined range or a part that has changed beyond the predetermined width in the curve. Judging. When it is determined that the biological state has changed, the biological state estimation unit 24 notifies the mobile information terminal or the like possessed by a predetermined caregiver or family via the communication unit 29 that the biological state has changed. Notify first.

このように、本実施の形態のコミュニケーションロボット20によれば、ユーザ10の生体状態が通常時よりも変化した場合に、そのことがユーザ10を世話する介護士又はユーザ10の家族に通知される。これにより、ユーザ10を世話する介護士の負担が軽減され、ユーザ10の健康状態についての家族への情報共有が促進され、ユーザ10の健康管理が支援される。   Thus, according to the communication robot 20 of the present embodiment, when the biological state of the user 10 changes from the normal time, this is notified to the caregiver who takes care of the user 10 or the family of the user 10. . Thereby, the burden of the caregiver who takes care of the user 10 is reduced, information sharing with the family about the health state of the user 10 is promoted, and the health management of the user 10 is supported.

なお、図3Bでは、図3Aに示された4つの心理状態から選択された一つの心理状態の確率(「出現率(%)」)について、日ごとの変化が分析されたが、4つの心理状態から選択された二つ以上の心理状態の確率(「出現率(%)」)が分析されてもよい。例えば、「哀しみ」と「怒り」とを合わせた心理状態を分析するように設定されている(生体状態推定部24に対する指示が予め与えられている)場合には、生体状態推定部24は、「哀しみ」と「怒り」の確率の平均値について、同様の分析をする。   In FIG. 3B, the daily change was analyzed for the probability (“appearance rate (%)”) of one psychological state selected from the four psychological states shown in FIG. 3A. The probabilities (“appearance rate (%)”) of two or more psychological states selected from the states may be analyzed. For example, when the psychological state combining “sorrow” and “anger” is set to be analyzed (an instruction to the biological state estimating unit 24 is given in advance), the biological state estimating unit 24 The same analysis is performed for the average value of the probabilities of “sadness” and “anger”.

図4Aは、コミュニケーションロボット20の生体状態推定部24による生体状態の別の推定例を示すプロット図である。ここでは、一定の期間(11月1日〜11月8日)において生体状態推定部24によって算出されたユーザ10の興奮度(横軸)とストレス度(縦軸)との組み合わせで定まる座標位置に、菱形の点が、検出された日付とともに、プロットされている。そして、興奮度とストレス度の組み合わせにより、生体状態として、ユーザ10が「健康」であると判断されたり、ユーザ10が健康でない「不調」であると判断されたりする様子が示されている。   FIG. 4A is a plot diagram illustrating another estimation example of the biological state by the biological state estimation unit 24 of the communication robot 20. Here, the coordinate position determined by the combination of the excitement level (horizontal axis) and the stress level (vertical axis) of the user 10 calculated by the biological state estimation unit 24 during a certain period (November 1 to November 8). The diamond points are plotted along with the detected date. Then, it is shown that the user 10 is determined to be “healthy” or the user 10 is determined to be “bad” who is unhealthy as a biological state by the combination of the excitement level and the stress level.

つまり、生体状態推定部24は、マイクロホン21から入力された音響的特徴に基づいて、人の感情を表わす複数のパラメータとして、興奮度及びストレス度を算出する。興奮度及びストレス度の算出方法としては、図3Aに示された4つの心理状態(4種類の感情「平静」、「哀しみ」、「怒り」、「喜び」)の確率から予め定められた関係式を用いて算出されてもよいし、図3Aに示される4つの心理状態の推定と同様の方法でもよい。例えば、「哀しみ」、「怒り」及び「喜び」の各確率の平均値を「興奮度」としてもよいし、音声から音響的な特徴データを抽出し、SVMやディープラーニング等の機械学習により、興奮度及びストレス度が新たに算出されてもよい。   That is, the biological state estimation unit 24 calculates the degree of excitement and the degree of stress as a plurality of parameters representing human emotions based on the acoustic features input from the microphone 21. As a method of calculating the degree of excitement and the degree of stress, a relationship that is determined in advance from the probabilities of the four psychological states (four types of emotions “calm”, “sadness”, “anger”, “joy”) shown in FIG. It may be calculated using an equation, or may be the same method as the estimation of the four psychological states shown in FIG. 3A. For example, the average value of the probabilities of “sadness”, “anger” and “joy” may be “excitability”, or acoustic feature data is extracted from speech and machine learning such as SVM or deep learning is performed. The degree of excitement and the degree of stress may be newly calculated.

そして、生体状態推定部24は、算出した興奮度及びストレス度の度合いの組み合わせが第1範囲にある場合に人が健康であると推定し、興奮度及びストレス度の度合いの組み合わせが第2範囲にある場合に人が不調であると推定する。第1範囲は、興奮度が所定の第1しきい値よりも低く、かつ、ストレス度が所定の第2しきい値よりも低い範囲である。また、第2範囲は、興奮度が所定の第3しきい値よりも高く、かつ、ストレス度が所定の第4しきい値よりも高い範囲である。   The biological state estimation unit 24 estimates that the person is healthy when the combination of the calculated degree of excitement and the degree of stress is in the first range, and the combination of the degree of excitement and the degree of stress is in the second range. It is estimated that the person is out of order. The first range is a range in which the degree of excitement is lower than a predetermined first threshold and the degree of stress is lower than a predetermined second threshold. The second range is a range in which the degree of excitement is higher than a predetermined third threshold and the degree of stress is higher than a predetermined fourth threshold.

なお、このように推定された生体状態を示す情報は、推定される度に、あるいは、「不調」と推定される度に、通信部29を介して、ユーザ10を世話する介護士又はユーザ10の家族がもつ携帯情報端末等の通知先に通知される。さらに、このように推定された生体状態を示す情報は、声紋個人認証部23aで識別された人ごとに、ライフログとして、記憶部28又は通信部29を介した通信装置に格納され、図3Bに示されたような分析に用いられる。   Note that the information indicating the biological state estimated in this manner is a caregiver or user 10 who takes care of the user 10 via the communication unit 29 every time it is estimated or every time it is estimated to be “malfunction”. Notification is sent to a notification destination such as a portable information terminal held by a family member. Further, information indicating the biological state estimated in this way is stored as a life log in a communication device via the storage unit 28 or the communication unit 29 for each person identified by the voiceprint personal authentication unit 23a. Used for analysis as shown in.

このように、本実施の形態のコミュニケーションロボット20によれば、生体状態として、「健康」又は健康でない「不調」が判断され、その判断結果等がユーザ10を世話する介護士又はユーザ10の家族に通知される。これにより、例えば、「不調」の通知を受けた介護士又は家族は、速やかにユーザ10の元に出向き、一方、「健康」の通知を受けた介護士又は家族は、ユーザ10の元に出向くことを控えることができる。よって、介護士の負担が軽減され、ユーザの健康状態についての家族への情報共有が促進され、ユーザ10の健康管理が支援される。   As described above, according to the communication robot 20 of the present embodiment, “health” or “unhealthy” is determined as the biological state, and the determination result or the like takes care of the user 10 or the family of the user 10. Will be notified. Thus, for example, a caregiver or family member who has received a “not good” notification immediately goes to the user 10, while a caregiver or family member who has received the “healthy” notification goes to the user 10. I can refrain from that. Thus, the burden on the caregiver is reduced, information sharing with the family about the user's health condition is promoted, and the health management of the user 10 is supported.

図4Bは、図4Aに示された生体状態の推定例をユーザごとに分けたプロット図である。ここでは、ユーザが異なると、「健康」と判断される第1範囲、及び、「不調」と判断される第2範囲が異なることが示されている。ここでは、Aさんの生体状態の推定例(図4Bの(a))と、Bさんの生体状態の推定例(図4Bの(b))が示されている。   FIG. 4B is a plot diagram in which the estimation example of the biological state shown in FIG. 4A is divided for each user. Here, it is shown that the first range determined as “healthy” and the second range determined as “malfunction” differ for different users. Here, an estimation example of Mr. A's biological state (FIG. 4B (a)) and an estimation example of Mr. B's biological state (FIG. 4B (b)) are shown.

本図に示されるように、生体状態推定部24は、ユーザごとに対応づけた第1範囲及び第2範囲を用いて、興奮度及びストレス度の度合いの組み合わせから、「健康」及び「不調」を判断する。このとき、生体状態推定部24は、生体状態を推定する際に用いる判断基準(ユーザごとの第1範囲及び第2範囲)を更新しながら、生体状態を示す情報を、ライフログとして、記憶部28に格納していく。判断基準の更新については、例えば、ユーザ10から与えられる教師データ(現実の「健康」/「不調」)を用いて、あるいは、教師データを用いないで、SVMやディープラーニング等の教師あり機械学習又は教師なし機械学習により、行われる。   As shown in this figure, the biological state estimation unit 24 uses the first range and the second range associated with each user to determine “health” and “unwell” from the combination of the degree of excitement and the degree of stress. Judging. At this time, the biological state estimation unit 24 stores information indicating the biological state as a life log while updating the determination standard (first range and second range for each user) used when estimating the biological state. 28 is stored. Regarding the updating of the judgment criteria, for example, supervised machine learning such as SVM or deep learning using teacher data (actual “health” / “strange”) given by the user 10 or without using teacher data. Or it is performed by unsupervised machine learning.

なお、生体状態の推定、あるいは、その推定における判断基準の更新については、コミュニケーションロボット20で行われるだけでない。コミュニケーションロボット20の通信部29と接続されたクラウドコンピューティング(以下、「クラウド」)によって行われてもよい。   It should be noted that the estimation of the biological state or the update of the judgment standard in the estimation is not only performed by the communication robot 20. You may perform by the cloud computing (henceforth "cloud") connected with the communication part 29 of the communication robot 20. FIG.

図5は、生体状態の推定における判断基準の更新がクラウドによって実行される様子を示すイメージ図である。コミュニケーションロボット20の生体状態推定部24は、図3Aに示されるような感情データ(4種類の感情の確率の時間変化)を、通信部29を介して、クラウドに、ビッグデータの構成要素としてアップロードする。クラウドでは、ディープラーニングによって、ビッグデータを用いて、「健康」及び「不調」を判断する際に用いる判断基準(ユーザごとの第1範囲及び第2範囲)を更新する。更新が完了すると、コミュニケーションロボット20の生体状態推定部24は、通信部29を介して、クラウドから、更新された判断基準を受け取り、受け取った判断基準を用いて、それ以降の生体状態の推定を行う。   FIG. 5 is an image diagram illustrating a state in which the determination criteria are updated by the cloud in estimating the biological state. The biological state estimation unit 24 of the communication robot 20 uploads emotion data (time change in probability of four types of emotions) as shown in FIG. 3A to the cloud as a component of big data via the communication unit 29. To do. In the cloud, deep learning is used to update determination criteria (first range and second range for each user) used to determine “health” and “malfunction” using big data. When the update is completed, the biological state estimation unit 24 of the communication robot 20 receives the updated determination criterion from the cloud via the communication unit 29, and uses the received determination criterion to estimate the subsequent biological state. Do.

このように、クラウドによって生体状態の推定、あるいは、その推定における判断基準の更新が行われることで、生体状態の推定についての機械学習の処理時間が短縮化されたり、より正確な判断基準で生体状態を推定したりすることが可能になる。   In this way, by estimating the biological state or updating the judgment criteria in the estimation using the cloud, the processing time of machine learning for the estimation of the biological state can be shortened, or the biological state can be determined with more accurate judgment criteria. It is possible to estimate the state.

なお、コミュニケーションロボット20における生体状態の推定手法(図3Aに示される手法又は図4A及び図4Bに示される手法)の切り替え、クラウドを利用する/しない等の切り替えについては、いかなる形態で実現されてもよい。例えば、コミュニケーションロボット20において予め設定(切り替え情報が記憶)された情報が参照されてもよいし、コミュニケーションロボット20が備える表示部及び入力装置を介したユーザとの対話によって決定されてもよい。   It should be noted that the switching of the biological state estimation method (the method shown in FIG. 3A or the method shown in FIGS. 4A and 4B) and the use / non-use of the cloud in the communication robot 20 is realized in any form. Also good. For example, information previously set (switching information is stored) in the communication robot 20 may be referred to, or may be determined by a dialog with a user via a display unit and an input device provided in the communication robot 20.

以上のように、本実施の形態におけるコミュニケーションロボット20は、人と会話をするコミュニケーションロボット20であって、マイクロホン21と、スピーカ22と、マイクロホン21から入力された音声を認識する音声認識部23と、音声認識部23による認識結果に基づいて、スピーカ22から音声を出力する音声合成部25と、マイクロホン21から入力された音声の音響的特徴に基づいて、音声を発した人の生体状態を推定する生体状態推定部24とを備える。   As described above, the communication robot 20 in the present embodiment is a communication robot 20 that has a conversation with a person, and includes a microphone 21, a speaker 22, and a voice recognition unit 23 that recognizes a voice input from the microphone 21. Based on the recognition result by the voice recognition unit 23, the voice synthesis unit 25 that outputs the voice from the speaker 22, and the biological state of the person who emitted the voice is estimated based on the acoustic characteristics of the voice input from the microphone 21. And a biological state estimation unit 24.

これにより、コミュニケーションロボット20のユーザが発した音声の音響的特徴に基づいて、音声を発した人の生体状態が推定される。よって、その推定結果をユーザの介護士や家族等が利用することで、ユーザとのコミュニケーションが維持されると同時に、ユーザの健康管理が支援される。   Thereby, based on the acoustic feature of the voice uttered by the user of the communication robot 20, the biological state of the person who uttered the voice is estimated. Therefore, when the user's caregiver or family member uses the estimation result, communication with the user is maintained, and at the same time, the user's health management is supported.

また、音声認識部23は、予め登録された声紋を参照することで、音声を発した人を識別する声紋個人認証部23aを有する。   In addition, the voice recognition unit 23 includes a voice print personal authentication unit 23a that identifies a person who has made a voice by referring to a previously registered voice print.

これにより、ユーザを区別したうえで生体状態を推定することが可能になる。   As a result, it is possible to estimate the biological state after distinguishing the users.

さらに、コミュニケーションロボット20は、記憶部28を備え、生体状態推定部24は、声紋個人認証部23aで識別された人ごとに、生体状態を推定し、推定した生体状態を示す情報を、ログとして、記憶部28に格納する処理を繰り返す。   Further, the communication robot 20 includes a storage unit 28, and the biological state estimation unit 24 estimates the biological state for each person identified by the voiceprint personal authentication unit 23a, and uses information indicating the estimated biological state as a log. The processing stored in the storage unit 28 is repeated.

これにより、ユーザごとにライフログが蓄積され、ユーザごとの健康管理が可能になる。   Thereby, a life log is accumulated for each user, and health management for each user becomes possible.

また、生体状態推定部24は、さらに、記憶部28に格納されたログを分析することで生体状態が変化したか否かを判断し、生体状態が変化したと判断した場合に、生体状態が変化したことを報知する。   In addition, the biological state estimation unit 24 further determines whether the biological state has changed by analyzing the log stored in the storage unit 28, and if it is determined that the biological state has changed, the biological state is Notify that it has changed.

これにより、ライフログの活用によって、過去の生体状態を考慮したうえで生体状態の変化が検出され、報知されるので、報知先をユーザの介護士又は家族等に設定しておくことで、生体状態が変化した場合に、そのことが介護士や家族等に通知される。よって、生体状態が変化したことの通知を受けた介護士又は家族は、速やかにユーザの元に出向き、一方、通知がない場合には、ユーザがいつもと変わらない健康でいることが予測され、介護士又は家族は、ユーザの元に出向くことを控えることができる。その結果、介護士の負担が軽減され、ユーザの健康状態についての家族への情報共有が促進され、ユーザの健康管理が支援される。   As a result, by utilizing the life log, a change in the biological state is detected and notified in consideration of the past biological state. By setting the notification destination to the user's caregiver or family, the biological body When the state changes, this is notified to a caregiver or family member. Therefore, a caregiver or family member who has received a notification that the biological condition has changed promptly goes to the user. On the other hand, if there is no notification, the user is expected to be healthy as usual, A caregiver or family member can refrain from visiting the user. As a result, the burden on the caregiver is reduced, information sharing with the family about the user's health condition is promoted, and the user's health management is supported.

また、生体状態推定部24は、生体状態を推定する際に用いる判断基準を更新しながら、生体状態を示す情報を、ログとして、記憶部28に格納していく。   In addition, the biological state estimation unit 24 stores information indicating the biological state in the storage unit 28 as a log while updating the determination criterion used when estimating the biological state.

これにより、生体状態を推定する際の判断基準が学習され、より的確な値に修正されるので、時間の経過に伴って生体状態の推定精度が向上されていく。   As a result, the criterion for estimating the biological state is learned and corrected to a more accurate value, so that the estimation accuracy of the biological state is improved as time passes.

また、生体状態推定部24は、音響的特徴に基づいて、人の感情が予め定められた複数の感情のそれぞれに該当する確率を算出することで、生体状態を推定する。   Moreover, the biological state estimation unit 24 estimates the biological state by calculating a probability that a human emotion corresponds to each of a plurality of predetermined emotions based on the acoustic features.

これにより、生体状態として、限定された代表的な複数の感情のそれぞれについて確率が算出されるので、絞り込んだ範囲での推定によって短い処理時間で精度の高い推定が行われる。   As a result, probabilities are calculated for each of a plurality of limited representative emotions as the biological state, so that high-precision estimation is performed in a short processing time by estimation in a narrowed range.

また、生体状態推定部24は、生体状態として、人が健康であるか、又は、健康でない不調であるかを推定する。より具体的には、生体状態推定部24は、音響的特徴に基づいて、人の感情を表わす複数のパラメータのそれぞれの度合いを算出し、算出した複数のパラメータの度合いの組み合わせが第1範囲にある場合に、人が健康であると推定し、複数のパラメータの度合いの組み合わせが第2範囲にある場合に、人が不調であると推定する。   In addition, the biological state estimation unit 24 estimates whether the human state is healthy or not healthy. More specifically, the biological state estimation unit 24 calculates the degree of each of the plurality of parameters representing the human emotion based on the acoustic feature, and the combination of the calculated degrees of the parameters falls within the first range. In some cases, it is estimated that the person is healthy, and when the combination of the degrees of the plurality of parameters is in the second range, it is estimated that the person is out of order.

これにより、健康か不調かの判断に用いる複数のパラメータを適切と思われるものに設定しておき、さらに、しきい値となる第1範囲及び第2範囲を適切と思われる値に設定しておくことで、所望の判断基準に基づく健康管理が実現される。   As a result, a plurality of parameters used for judgment of health or malfunction are set as appropriate, and further, the first range and the second range as threshold values are set as appropriate values. By doing so, health management based on a desired judgment standard is realized.

以上、本発明のコミュニケーションロボットについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。   While the communication robot of the present invention has been described based on the embodiment, the present invention is not limited to this embodiment. Without departing from the gist of the present invention, various modifications conceived by those skilled in the art have been made in the present embodiment, and other forms constructed by combining some components in the embodiment are also within the scope of the present invention. Contained within.

例えば、実施の形態では、コミュニケーションロボット20内に、音声認識部23、生体状態推定部24、音声合成部25及び会話エンジン26が備えられたが、このような装置構成に限られない。音声認識部23、生体状態推定部24、音声合成部25及び会話エンジン26の少なくとも一つは、コミュニケーションロボット20とは別体の装置、例えば、通信路で接続されたコンピュータ装置やクラウドに設けられてもよい。さらに、音声認識部23、生体状態推定部24、音声合成部25及び会話エンジン26の少なくとも一つは、コミュニケーションロボット20と別体の装置のそれぞれに分散にして設けられ、両装置間で通信し合いながら機能が発揮されるように構成されてもよい。   For example, in the embodiment, the communication robot 20 includes the speech recognition unit 23, the biological state estimation unit 24, the speech synthesis unit 25, and the conversation engine 26. However, the configuration is not limited thereto. At least one of the speech recognition unit 23, the biological state estimation unit 24, the speech synthesis unit 25, and the conversation engine 26 is provided in a device separate from the communication robot 20, for example, a computer device or a cloud connected via a communication path. May be. Furthermore, at least one of the speech recognition unit 23, the biological state estimation unit 24, the speech synthesis unit 25, and the conversation engine 26 is provided in a distributed manner in each of the communication robot 20 and a separate device, and communicates between both devices. You may be comprised so that a function may be demonstrated while fitting.

また、コミュニケーションロボット20が備える音声認識部23、生体状態推定部24、音声合成部25及び会話エンジン26は、ソフトウェアによって実現される場合には、共通のプロセッサによって実行されるソフトウェアとして構成されてもよい。そのソフトウェアは、メモリやDVD(Digital Versatile Disc)等のコンピュータ読み取り可能な記録媒体に格納されてもよい。   In addition, the speech recognition unit 23, the biological state estimation unit 24, the speech synthesis unit 25, and the conversation engine 26 included in the communication robot 20 may be configured as software executed by a common processor when implemented by software. Good. The software may be stored in a computer-readable recording medium such as a memory or a DVD (Digital Versatile Disc).

20 コミュニケーションロボット
21 マイクロホン
22 スピーカ
23 音声認識部
23a 声紋個人認証部
24 生体状態推定部
25 音声合成部
28 記憶部
DESCRIPTION OF SYMBOLS 20 Communication robot 21 Microphone 22 Speaker 23 Voice recognition part 23a Voiceprint personal authentication part 24 Living body state estimation part 25 Speech synthesis part 28 Storage part

Claims (8)

人と会話をするコミュニケーションロボットであって、
マイクロホンと、
スピーカと、
前記マイクロホンから入力された音声を認識する音声認識部と、
前記音声認識部による認識結果に基づいて、前記スピーカから音声を出力する音声合成部と、
前記マイクロホンから入力された音声の音響的特徴に基づいて、前記音声を発した人の生体状態を推定する生体状態推定部と
を備えるコミュニケーションロボット。
A communication robot that talks to people
A microphone,
Speakers,
A speech recognition unit for recognizing speech input from the microphone;
A voice synthesis unit that outputs voice from the speaker based on a recognition result by the voice recognition unit;
A communication robot comprising: a biological state estimating unit that estimates a biological state of a person who has emitted the voice based on an acoustic feature of the voice input from the microphone.
前記音声認識部は、予め登録された声紋を参照することで、前記音声を発した人を識別する声紋個人認証部を有する
請求項1記載のコミュニケーションロボット。
The communication robot according to claim 1, wherein the voice recognition unit includes a voiceprint personal authentication unit that identifies a person who has made the voice by referring to a voiceprint registered in advance.
さらに、記憶部を備え、
前記生体状態推定部は、前記声紋個人認証部で識別された人ごとに、前記生体状態を推定し、推定した生体状態を示す情報を、ログとして、前記記憶部に格納する処理を繰り返す
請求項2記載のコミュニケーションロボット。
Furthermore, a storage unit is provided,
The biological state estimating unit repeats a process of estimating the biological state for each person identified by the voiceprint personal authentication unit, and storing information indicating the estimated biological state in the storage unit as a log. 2. The communication robot according to 2.
前記生体状態推定部は、さらに、前記記憶部に格納された前記ログを分析することで生体状態が変化したか否かを判断し、生体状態が変化したと判断した場合に、生体状態が変化したことを報知する
請求項3記載のコミュニケーションロボット。
The biological state estimation unit further determines whether the biological state has changed by analyzing the log stored in the storage unit, and if the biological state has changed, the biological state changes The communication robot according to claim 3.
前記生体状態推定部は、前記生体状態を推定する際に用いる判断基準を更新しながら、前記生体状態を示す情報を、前記ログとして、前記記憶部に格納していく
請求項3記載のコミュニケーションロボット。
The communication robot according to claim 3, wherein the biological state estimating unit stores information indicating the biological state in the storage unit as the log while updating a criterion used when estimating the biological state. .
前記生体状態推定部は、前記音響的特徴に基づいて、前記人の感情が予め定められた複数の感情のそれぞれに該当する確率を算出することで、前記生体状態を推定する
請求項1〜5のいずれか1項に記載のコミュニケーションロボット。
The biological state estimation unit estimates the biological state by calculating a probability that the human emotion corresponds to each of a plurality of predetermined emotions based on the acoustic feature. The communication robot according to any one of the above.
前記生体状態推定部は、前記生体状態として、前記人が健康であるか、又は、健康でない不調であるかを推定する
請求項1〜5のいずれか1項に記載のコミュニケーションロボット。
The communication robot according to claim 1, wherein the biological state estimation unit estimates whether the person is healthy or not healthy as the biological state.
前記生体状態推定部は、前記音響的特徴に基づいて、人の感情を表わす複数のパラメータのそれぞれの度合いを算出し、算出した複数のパラメータの度合いの組み合わせが第1範囲にある場合に、前記人が健康であると推定し、前記複数のパラメータの度合いの組み合わせが第2範囲にある場合に、前記人が不調であると推定する
請求項7記載のコミュニケーションロボット。
The biological state estimation unit calculates a degree of each of a plurality of parameters representing human emotion based on the acoustic feature, and when the combination of the calculated degrees of the parameters is in a first range, The communication robot according to claim 7, wherein the person is estimated to be healthy, and the person is estimated to be out of order when the combination of the degrees of the plurality of parameters is in the second range.
JP2015234251A 2015-11-30 2015-11-30 Communication robot Pending JP2017100221A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015234251A JP2017100221A (en) 2015-11-30 2015-11-30 Communication robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015234251A JP2017100221A (en) 2015-11-30 2015-11-30 Communication robot

Publications (1)

Publication Number Publication Date
JP2017100221A true JP2017100221A (en) 2017-06-08

Family

ID=59015796

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015234251A Pending JP2017100221A (en) 2015-11-30 2015-11-30 Communication robot

Country Status (1)

Country Link
JP (1) JP2017100221A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190135457A (en) * 2019-11-29 2019-12-06 네이버 주식회사 Method and system for automatic activation of machine
JP2020042511A (en) * 2018-09-10 2020-03-19 ホーチキ株式会社 Disaster prevention system
WO2021020490A1 (en) * 2019-07-30 2021-02-04 株式会社リビングロボット Personal assistant control system
JP2021049347A (en) * 2019-07-30 2021-04-01 株式会社リビングロボット Personal assistant control system
JP7422797B2 (en) 2017-07-12 2024-01-26 パラマウントベッド株式会社 Medical treatment support system
JP7436014B2 (en) 2020-03-23 2024-02-21 株式会社ケアコム nurse call system
WO2024043434A1 (en) * 2022-08-24 2024-02-29 삼성전자주식회사 Robot and control method therefor

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7422797B2 (en) 2017-07-12 2024-01-26 パラマウントベッド株式会社 Medical treatment support system
JP2020042511A (en) * 2018-09-10 2020-03-19 ホーチキ株式会社 Disaster prevention system
JP7280024B2 (en) 2018-09-10 2023-05-23 ホーチキ株式会社 disaster prevention system
WO2021020490A1 (en) * 2019-07-30 2021-02-04 株式会社リビングロボット Personal assistant control system
JP2021019966A (en) * 2019-07-30 2021-02-18 株式会社リビングロボット Personal assistant control system
JP2021049347A (en) * 2019-07-30 2021-04-01 株式会社リビングロボット Personal assistant control system
TWI795663B (en) * 2019-07-30 2023-03-11 日商生活機器人股份有限公司 personal assistant control system
KR20190135457A (en) * 2019-11-29 2019-12-06 네이버 주식회사 Method and system for automatic activation of machine
KR102239223B1 (en) * 2019-11-29 2021-04-12 네이버 주식회사 Method and system for automatic activation of machine
JP7436014B2 (en) 2020-03-23 2024-02-21 株式会社ケアコム nurse call system
WO2024043434A1 (en) * 2022-08-24 2024-02-29 삼성전자주식회사 Robot and control method therefor

Similar Documents

Publication Publication Date Title
JP2017100221A (en) Communication robot
US10311869B2 (en) Method and system for automation of response selection and composition in dialog systems
KR101753509B1 (en) Identifying people that are proximate to a mobile device user via social graphs, speech models, and user context
JP7070544B2 (en) Learning device, learning method, speech synthesizer, speech synthesizer
JP7063779B2 (en) Speech dialogue system, speech dialogue method, program, learning model generator and learning model generation method
WO2015184196A2 (en) Speech summary and action item generation
WO2016089594A2 (en) Conversation agent
JP6748965B2 (en) Cognitive function evaluation device, cognitive function evaluation method, and program
JP2019527864A (en) Virtual health assistant to promote a safe and independent life
CN114051639A (en) Emotion detection using speaker baseline
KR102276415B1 (en) Apparatus and method for predicting/recognizing occurrence of personal concerned context
CN110598611B (en) Nursing system, patient nursing method based on nursing system and readable storage medium
JP7350356B2 (en) personal assistant control system
CN111696559A (en) Providing emotion management assistance
JP7416295B2 (en) Robots, dialogue systems, information processing methods and programs
JP2012230535A (en) Electronic apparatus and control program for electronic apparatus
JP4631464B2 (en) Physical condition determination device and program thereof
US20220036878A1 (en) Speech assessment using data from ear-wearable devices
JP2016059765A (en) Sound information processing device and system
JP2006230446A (en) Health-condition estimating equipment
CN112700765A (en) Assistance techniques
JP2020173342A (en) Cat type conversation robot
Oliveira et al. Speaking robots: The challenges of acceptance by the ageing society
Ktistakis et al. A multimodal human-machine interaction scheme for an intelligent robotic nurse
JP2020021226A (en) QOL analysis device and program