JP2020013593A

JP2020013593A - Safety confirmation system, and refrigerator

Info

Publication number: JP2020013593A
Application number: JP2019151968A
Authority: JP
Inventors: 古田　和浩; Kazuhiro Furuta; 和浩古田; 裕樹丸谷; Hiroki Marutani; 井澤　浩一; Koichi Izawa; 浩一井澤; 浩太渡邊; Kota Watanabe
Original assignee: Toshiba Lifestyle Products and Services Corp
Current assignee: Toshiba Lifestyle Products and Services Corp
Priority date: 2019-08-22
Filing date: 2019-08-22
Publication date: 2020-01-23
Anticipated expiration: 2035-02-12
Also published as: JP6842514B2

Abstract

To provide a safety confirmation system with convenience enhanced by reducing a burden of a user.SOLUTION: A safety confirmation system 10 is provided with: a household electrical appliance 11; means for confirming a safety condition or a health condition to a confirmation object person who is a user of the household electrical appliance 11; information acquisition means for acquiring voice data uttered by the confirmation object person in response to confirmation from the means for confirming the safety condition or the health condition; condition recognition means for recognizing the safety condition or the health condition of the object person by analyzing the voice data to generate information regarding the safety condition or the health condition of the object person; and means for responding to the confirmation object person with content according to the safety condition or the health condition.SELECTED DRAWING: Figure 1

Description

本発明の実施形態は、安否確認システム、及び冷蔵庫に関する。 An embodiment of the present invention relates to a safety confirmation system and a refrigerator.

高齢化がすすむ中で、高齢者のみの世帯や、高齢者の一人暮らしの世帯が増加している。こういった状況に対して、外部（例えば離れて住む家族の家）から、高齢者の方の安否を確認するサービスが考えられている。例えば、情報端末のボタンを毎日押すことで安否を確認したり、家電製品の使用の有無情報にて安否を確認したりする方法が提案されている。 As the population ages, the number of households with the elderly alone and those living alone is increasing. In order to cope with such a situation, a service for confirming the safety of the elderly from outside (for example, a house of a family living away from home) has been considered. For example, there has been proposed a method of confirming safety by pressing a button of an information terminal every day, or confirming safety based on information on use of home electric appliances.

特開２００３−２２８７８４号公報JP 2003-228784 A

しかしながら、ボタンを押す等の非日常の動作は、継続して行うことに負担感があり、また、家電の使用状況による安否確認では、ユーザの詳細な状況を把握することが難しい。そこで、利用者にとって負担が少なく、取得する情報を豊富化させることにより利便性を高めた安否確認システム、及び冷蔵庫を提供する。 However, extraordinary operations such as pressing a button have a burden to be performed continuously, and it is difficult to grasp a detailed situation of a user by confirming safety based on the usage status of home appliances. In view of the above, a safety confirmation system and a refrigerator are provided, which are less burdensome to a user and have enhanced convenience by enriching information to be acquired.

実施形態に係る安否確認システムは、家電機器と、前記家電機器のユーザである確認対象者に対して安否状態又は健康状態の確認を行う手段と、前記安否状態又は健康状態の確認を行う手段からの確認に応答して前記確認対象者が発話した音声データを取得する情報取得手段と、前記音声データを解析することにより前記対象者の安否状態又は健康状態を認識し前記対象者の安否状態又は健康状態に関する情報を生成する状態認識手段と、前記安否状態又は健康状態に応じた内容で前記確認対象者に返答する手段と、を備える。 The safety confirmation system according to the embodiment includes a home appliance, a unit for confirming a safety state or a health state for a confirmation target person who is a user of the home appliance, and a unit for confirming the safety state or the health state. Information acquisition means for acquiring voice data spoken by the person to be confirmed in response to the confirmation of, and recognizing the safety or health of the person by analyzing the voice data, A state recognition unit that generates information on a health state; and a unit that responds to the person to be confirmed with contents corresponding to the safety state or the health state.

第１実施形態による安否確認システム、及び冷蔵庫の構成の一例を示す図The figure which shows an example of the structure of the safety confirmation system by 1st Embodiment, and a refrigerator 第１実施形態による家電機器の構成の一例を示す図FIG. 2 is a diagram illustrating an example of a configuration of a home appliance according to the first embodiment. 第２実施形態による安否確認システムの構成の一例を示す図The figure which shows an example of a structure of the safety confirmation system by 2nd Embodiment. 第２実施形態による家電機器の構成の一例を示す図The figure which shows an example of a structure of the household electric appliance by 2nd Embodiment.

以下、安否確認システム、及び冷蔵庫に係る複数の実施形態について図面を参照しながら説明する。なお、各実施形態で実質的に同一の要素には同一の符号を付し、説明を省略する。 Hereinafter, a plurality of embodiments relating to a safety confirmation system and a refrigerator will be described with reference to the drawings. In each embodiment, substantially the same elements are denoted by the same reference numerals, and description thereof will be omitted.

（第１実施形態）
図１に第１実施形態に係る安否確認システム１０の構成の一例を示す。安否確認システム１０は、家電機器１１を備える。家電機器１１は、例えば、冷蔵庫、温水便座、掃除機、電子レンジ、ＩＨクッキング機器、炊飯器、エアコン、照明機器、ＡＶ機器、その他の家電機器とすることができる。本実施形態では、冷蔵庫１１として説明する。冷蔵庫は、毎日一度は使用する家電機器であり、安否確認を媒介する家電機器としては適している。 (1st Embodiment)
FIG. 1 shows an example of the configuration of a safety confirmation system 10 according to the first embodiment. The safety confirmation system 10 includes a home appliance 11. The home appliance 11 can be, for example, a refrigerator, a heated toilet seat, a vacuum cleaner, a microwave oven, an IH cooking appliance, a rice cooker, an air conditioner, a lighting appliance, an AV appliance, and other household appliances. In the present embodiment, the refrigerator 11 will be described. Refrigerators are home appliances used once a day, and are suitable as home appliances for mediating safety confirmation.

安否確認システム１０において、冷蔵庫１１及び宅内端末１４が、通信機器１６を介して相互に通信可能に接続されている。冷蔵庫１１、宅内端末１４、及び通信機器１６は、家庭内ネットワーク１８を構成している。宅内端末１４は例えばパソコンである。冷蔵庫１１は、操作パネル１２、扉１３、扉開閉センサ２０１、人感センサ２０２、音声制御部２０３を有している。宅内端末１４は、通信機器１６を介して冷蔵庫１１と接続されており、宅内端末１４の表示装置を介して、冷蔵庫１１の様々な設定や操作を行うことができる。 In the safety confirmation system 10, the refrigerator 11 and the in-home terminal 14 are communicably connected to each other via a communication device 16. The refrigerator 11, the home terminal 14, and the communication device 16 constitute a home network 18. The home terminal 14 is, for example, a personal computer. The refrigerator 11 includes an operation panel 12, a door 13, a door open / close sensor 201, a human sensor 202, and a voice control unit 203. The home terminal 14 is connected to the refrigerator 11 via the communication device 16, and can perform various settings and operations of the refrigerator 11 via the display device of the home terminal 14.

家庭内ネットワーク１８は、通信機器１６を介してインターネット２２に接続されている。通信機器１６は、家庭内ネットワーク１８とインターネット２２との中継ぎ機能を有する通信機器である。インターネット２２には、クラウドサーバ（外部機器）２４が接続されている。クラウドサーバ２４は、冷蔵庫１１から送信された安否情報（発話内容、入力内容など）を記憶し、これに例えば分析的、解析的処理を施して、安否状態を認識する（安否状態認識手段）。また、インターネット２２には、端末２６が接続されている。端末２６は、例えば、パソコン、スマートフォン、携帯電話などである。端末２６は、例えば安否確認対象者の遠く離れた住居地に住む家族などが想定される。端末２６は、これを用いて家族が安否確認対象者の安否情報を確認する、という用途に用いられる（安否情報確認手段）。 The home network 18 is connected to the Internet 22 via the communication device 16. The communication device 16 is a communication device having a relay function between the home network 18 and the Internet 22. A cloud server (external device) 24 is connected to the Internet 22. The cloud server 24 stores the safety information (speech content, input content, etc.) transmitted from the refrigerator 11 and performs, for example, an analytical or analytical process on the safety information to recognize a safety state (safety state recognition means). A terminal 26 is connected to the Internet 22. The terminal 26 is, for example, a personal computer, a smartphone, a mobile phone, or the like. The terminal 26 is assumed to be, for example, a family or the like who lives far away from the safety confirmation target person. The terminal 26 is used for the purpose that the family uses this to check the safety information of the safety confirmation target person (safety information checking means).

図２は、第１実施形態に係る冷蔵庫１１の構成の一例を示した図である。冷蔵庫１１は、主制御装置３０を有している。主制御装置３０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、時計、などを備えており、例えばＲＯＭに記憶されたプログラムを実行することで、冷蔵庫１１の種々の制御を行う。主制御装置３０は、また、初期発話手段、及び再発話手段を有している。冷蔵庫１１は、操作パネル１２、扉開閉センサ２０１、人感センサ２０２、音声制御部２０３、音声入出力部２０４を備えている。操作パネル１２、扉開閉センサ２０１、人感センサ２０２、音声制御部２０３は主制御装置３０に接続されている。音声入出力部２０４は音声制御部２０３に接続されている。 FIG. 2 is a diagram illustrating an example of a configuration of the refrigerator 11 according to the first embodiment. The refrigerator 11 has a main control device 30. The main control device 30 includes a CPU, a RAM, a ROM, a clock, and the like, and performs various controls of the refrigerator 11 by executing, for example, a program stored in the ROM. Main controller 30 also has an initial utterance unit and a re-utterance unit. The refrigerator 11 includes an operation panel 12, a door open / close sensor 201, a human sensor 202, a voice control unit 203, and a voice input / output unit 204. The operation panel 12, the door opening / closing sensor 201, the human sensor 202, and the voice control unit 203 are connected to the main control device 30. The audio input / output unit 204 is connected to the audio control unit 203.

操作パネル１２は、冷蔵庫１１の温度管理、チャイルドロック、照明、などの各種操作内容を入力する装置であり、入力部を有している。入力部は機械式のボタンとして構成してもよいし、操作パネル１２をタッチパネル機能を有する液晶画面として構成し、これに入力部を表示させる構成としてもよい。操作パネル１２に入力された入力信号は主制御装置３０に送信される。扉開閉センサ２０１は、冷蔵庫１１の扉１３の開閉を検知するセンサである。扉開閉センサ２０１は、ユーザ（この場合は、安否確認対象者）が冷蔵庫１１の扉１３を開閉した際に、扉１３の開閉を検知し、検知信号を主制御装置３０に送信する。人感センサ２０２は、ユーザが冷蔵庫１１に近づいた際にユーザの存在を検知するセンサである。人感センサ２０２は、例えば赤外線センサにより構成されている。人感センサ２０２は、検知した検知信号を、主制御装置３０に送信する。操作パネル１２、扉開閉センサ２０１、人感センサ２０２の何れかによりユーザの存在、生活活動を確認することが可能であるため、安否情報取得手段としても機能する。 The operation panel 12 is a device for inputting various operation contents such as temperature management of the refrigerator 11, child lock, lighting, and the like, and has an input unit. The input unit may be configured as a mechanical button, or the operation panel 12 may be configured as a liquid crystal screen having a touch panel function, and the input unit may be displayed thereon. The input signal input to operation panel 12 is transmitted to main controller 30. The door opening / closing sensor 201 is a sensor that detects opening / closing of the door 13 of the refrigerator 11. The door opening / closing sensor 201 detects opening / closing of the door 13 when the user (in this case, the safety confirmation target person) opens / closes the door 13 of the refrigerator 11, and transmits a detection signal to the main control device 30. The human sensor 202 is a sensor that detects the presence of the user when the user approaches the refrigerator 11. The human sensor 202 is constituted by, for example, an infrared sensor. The human sensor 202 transmits the detected detection signal to the main controller 30. Since it is possible to confirm the presence of the user and living activities by any one of the operation panel 12, the door opening / closing sensor 201, and the human sensor 202, it also functions as safety information acquisition means.

音声入出力部２０３は、ユーザの発話を入力する音声入力部である。音声入出力部２０３は、安否確認対象者に発話を行う音声出力部の機能を有する。音声入出力部２０３は、例えばスピーカ／マイク（図示せず）であり、音声制御部２０３を介して音声の入出力を行う。音声制御部２０３は主制御装置３０からの指令により、所定の発話制御を行う。また、音声入出力部２０４から入力された音声を認識し、主制御装置３０に認識結果を送信する。なお、冷蔵庫１１は、図示はしていないが、冷蔵庫本体、貯蔵室、冷凍室、冷却器、送風機、圧縮機、除霜ヒータ、温度センサなどの冷蔵庫としての基本的な構成を有していることは言うまでもない。 The voice input / output unit 203 is a voice input unit that inputs a user's utterance. The voice input / output unit 203 has a function of a voice output unit that speaks to the safety confirmation target person. The audio input / output unit 203 is, for example, a speaker / microphone (not shown), and performs input / output of audio via the audio control unit 203. The voice control unit 203 performs a predetermined utterance control according to a command from the main control device 30. Further, it recognizes the voice input from the voice input / output unit 204 and transmits the recognition result to the main control device 30. Although not shown, the refrigerator 11 has a basic configuration as a refrigerator such as a refrigerator main body, a storage room, a freezing room, a cooler, a blower, a compressor, a defrost heater, and a temperature sensor. Needless to say.

安否確認システム１０は、安否確認対象者に対して音声で安否確認する初期発話手段と、安否確認対象者の安否状態、健康状態、近況等を音声等により取得する安否情報取得手段、取得した音声データを解析し、安否状態を認識する安否状態認識手段と、安否状態認識後に再度、安否確認対象者に発話する再発話手段を有する。初期発話手段、及び再発話手段は主制御装置３０がその機能を備えており、例えば主制御装置３０のＲＯＭに記憶されたプログラムを実行することによりその機能が達成される。安否状態認識手段はクラウドサーバ２４がその機能を担う。すなわち、クラウドサーバ２４は入力された音声データを解析することで辞書データ等と照合し、言語認識を行い、対応する特定の文字データに変換する。安否情報取得手段は、冷蔵庫１１が音声入出力手段を備え、これによる発話、及び音声データの入力により、その機能を担う。 The safety confirmation system 10 includes an initial utterance unit that verifies the safety of the safety confirmation target person by voice, a safety information acquisition unit that obtains the safety state, health status, recent status, and the like of the safety confirmation target person by voice and the like, It has safety state recognition means for analyzing data and recognizing the safety state, and re-speaking means for re-uttering the safety confirmation target person after recognizing the safety state. The main control unit 30 has the functions of the initial utterance unit and the re-utterance unit, and the functions are achieved by executing a program stored in the ROM of the main control unit 30, for example. The cloud server 24 performs the function of the safety status recognition means. That is, the cloud server 24 analyzes the input voice data to collate it with dictionary data and the like, performs language recognition, and converts the data into corresponding specific character data. The refrigerator 11 includes a voice input / output unit, and the safety information obtaining unit performs its function by uttering the voice and inputting voice data.

操作パネル１２に操作内容が入力された場合、扉開閉センサ２０１が扉１３の開閉を検知した場合、及び人感センサ２０２が安否確認対象者を検知した場合は、主制御装置３０において以下の制御が実行される。すなわち、操作パネル１２、扉開閉センサ２０１及び人感センサ２０２は、主制御装置３０に信号を送信する。信号の送信を受けた主制御装置３０は、初期発話手段を起動し、所定の処理を行う。初期発話手段は、主制御装置３０での処理結果に基づき、音声制御部２０３に発話を行うための指令を出力する。当該指令を受けた音声制御部２０３は指令に基づき、所定の発話を行う音声信号を生成し、音声入出力部２０４に音声信号を出力する。これにより音声入出力部２０４から音声が出力（発話）される。 When the operation content is input to the operation panel 12, when the door opening / closing sensor 201 detects opening / closing of the door 13, and when the motion sensor 202 detects a safety confirmation target person, the following control is performed by the main control device 30. Is executed. That is, the operation panel 12, the door opening / closing sensor 201, and the motion sensor 202 transmit signals to the main control device 30. Main controller 30 having received the signal activates the initial utterance means and performs a predetermined process. The initial utterance unit outputs a command for uttering to the voice control unit 203 based on the processing result of the main control device 30. Upon receiving the command, the voice control unit 203 generates a voice signal for performing a predetermined utterance based on the command, and outputs the voice signal to the voice input / output unit 204. As a result, a voice is output (uttered) from the voice input / output unit 204.

音声入出力部２０４からの発話は、例えば以下のように制御される。音声入出力部２０４は、安否確認対象者に対して安否確認のための問いかけを行うかのように発話する。例えば「今日の調子はいかがですか？」「いつもと変わりありませんか？」などと言うように発話される。このように、音声入出力部２０４からは、自然な発話で話すように発話制御される。 The utterance from the voice input / output unit 204 is controlled, for example, as follows. The voice input / output unit 204 speaks as if asking the safety confirmation target person for safety confirmation. For example, "How is your condition today?" "Is it the same as usual?" As described above, the speech input / output unit 204 controls the speech so as to speak with a natural speech.

それを聞いた安否確認対象者は、例えば、「今日も良い調子だよ」「腰が痛いねぇ」「ちょっと疲れているよ」「絶好調！」のように答える。そうすると、音声入出力部２０４は安否確認対象者の音声を取得し（安否情報取得手段）、音声制御部２０３において例えばデジタル処理が施され、音声データに変換される。音声データは、主制御装置３０を介して、通信機器１６に送信され、次いで、インターネット２２を介してクラウドサーバ２４に送信される。音声データはクラウドサーバ２４において解析処理が施される。音声データは、例えば冷蔵庫１１の主制御装置３０で解析してもよいが、本実施形態ではクラウドサーバ２４で解析処理を行うことにしている。クラウドサーバ２４においては、解析資源が豊富で、かつ、解析のための新たな辞書情報データベースを日々更新できるなど、音声データを解析するシステムとしてより望ましい。音声データは、クラウドサーバ２４において解析され、辞書情報データベースと照合するなどして、特定の言語、言葉として認識される。上述した「今日も良い調子だよ」「腰が痛いねぇ」「ちょっと疲れているよ」「絶好調！」などの音声データの解析結果から、安否確認対象者の安否だけでなく、健康状態、近況などを認識することができる（安否状態認識手段）。 The safety confirmation target person who heard it answers, for example, "I'm in good condition today," "I have a bad back," "I'm a little tired," "I'm in great shape!" Then, the voice input / output unit 204 obtains the voice of the safety confirmation target person (safety information obtaining unit), and the voice control unit 203 performs digital processing, for example, and converts the data into voice data. The voice data is transmitted to the communication device 16 via the main controller 30 and then to the cloud server 24 via the Internet 22. The voice data is analyzed in the cloud server 24. The voice data may be analyzed by, for example, the main control device 30 of the refrigerator 11, but in the present embodiment, the analysis processing is performed by the cloud server 24. The cloud server 24 is more desirable as a system for analyzing voice data, such as having abundant analysis resources and being able to update a new dictionary information database for analysis every day. The voice data is analyzed in the cloud server 24, and is recognized as a specific language or word by collating with the dictionary information database. Based on the results of voice data analysis such as "I'm still in good shape today," "I have a bad back," "I'm a little tired," and "I'm doing well!" Can be recognized (safety state recognition means).

音声データの解析結果は、例えば文字情報、又はあらかじめ準備されたコードなどに変換され、これを安否情報とすることができる。安否情報は、クラウドサーバ２４に記憶される。また、音声データそのものもクラウドサーバ２４に送信され、記憶することができる。安否情報、及び音声データは、インターネット２２を介して、クラウドサーバ２４にアクセスすることで、端末２６から閲覧、及び聴取することができる。また、クラウドサーバ２４は、音声データの解析結果から健康状態を判定してもよい。例えば、「今日も良い調子だよ」「腰が痛いねぇ」「ちょっと疲れているよ」「絶好調！」などの音声データの解析結果から、健康状態＝「良」「中」「悪」などの判定結果を生成し、これを端末２６から閲覧できるようにしてもよい。端末２６の使用者としては、例えば離れて暮らす家族が想定される。端末２６は、異なる場所に存在する複数の機器であってもよい。端末２６は安否情報確認手段となる。 The analysis result of the audio data is converted into, for example, character information or a code prepared in advance, and this can be used as safety information. The safety information is stored in the cloud server 24. Also, the audio data itself can be transmitted to the cloud server 24 and stored. The safety information and the voice data can be browsed and heard from the terminal 26 by accessing the cloud server 24 via the Internet 22. Further, the cloud server 24 may determine the health condition from the analysis result of the audio data. For example, from the results of analyzing voice data such as "I'm feeling good today," "I have a bad back," "I'm a little tired," "Perfect!" A determination result may be generated, and this may be browsed from the terminal 26. As a user of the terminal 26, for example, a family living away from home is assumed. The terminal 26 may be a plurality of devices existing in different places. The terminal 26 serves as safety information confirmation means.

上述した安否確認システム１０によれば、安否確認対象者の毎日の生活の中の動作を契機として、音声の入力により安否情報を生成できるので、安否確認対象者は特段の操作を必要とせず、毎日負担なく、安否情報を発信することができる。また、端末２６の使用者は、安否確認対象者の安否情報などを閲覧及び聴取することで、離れて暮らしていても、安否確認対象者の安否確認だけでなく、健康状態、近況などの情報も容易に取得することができる。このため、安否確認システム１０の利便性が向上し、継続的な安否確認の負担軽減と、共有情報の深化がもたらされる。 According to the safety confirmation system 10 described above, the safety confirmation target person can generate the safety information by inputting the voice in response to the operation in the daily life of the safety confirmation target person, so the safety confirmation target person does not need any special operation, Safety information can be transmitted daily without any burden. In addition, the user of the terminal 26 can view and listen to the safety information of the safety confirmation target person, etc., so that even if the user is away from home, not only the safety confirmation of the safety confirmation target person but also information such as health status and recent status. Can also be easily obtained. For this reason, the convenience of the safety confirmation system 10 is improved, and the burden of continuous safety confirmation is reduced and the shared information is deepened.

また、初期発話手段は、以下のような発話を行う指令を発する制御を行う。初期発話手段は、時間帯によって発話内容を変化させる。主制御装置３０は時計を有している。初期発話手段は時計から取得した時刻情報を用いて、当該時刻に対応した発話内容を含むように制御を行う。例えば、初期発話手段は、朝であれば「おはよう！今日はどんな調子ですか？」というように発話する指令を音声制御部２０３に送信する。例えば、昼であれば「こんにちは。気分はどうですか？」と言うように発話する指令を、夜であれば「こんばんは、今日はどうでしたか？」という指令を音声制御部２０３に送信する。このように、時間帯によって毎回の問いかけ内容に変化を持たせる。このような構成とすることで、安否確認対象者は、飽きることなく、年日新鮮な気持ちで、問いかけを受けることができる。これにより、継続して安否確認の応答を継続することができる。 The initial utterance means controls to issue a command for uttering the following. The initial utterance means changes the utterance content depending on the time zone. Main controller 30 has a clock. The initial utterance means uses the time information obtained from the clock to perform control so as to include the utterance content corresponding to the time. For example, in the morning, the initial utterance means transmits to the voice control unit 203 a command to utter, such as "Good morning! How is it today?" For example, to send a command to the speech to say if the day as "Hello. Mood What about?", If it is night, "Good evening, How was? Today," a command that the voice control unit 203. In this way, the content of the inquiry every time varies depending on the time zone. By adopting such a configuration, the safety confirmation target person can receive a question without feeling tired and with fresh feelings year by year. As a result, it is possible to continue the safety confirmation response.

また、初期発話手段は、季節により発話内容を変化させる制御を行う。例えば、冷蔵庫１１（主制御装置３０）又はクラウドサーバ２４にカレンダー機能を備えさせておくようにする。ここではクラウドサーバ２４がカレンダー機能を有する場合について説明する。主制御装置３０は、クラウドサーバ２４からカレンダー情報を取得しておくことで、日付、季節を把握することができる。初期発話手段は、このカレンダー情報に対応した発話制御を行う。例えば、季節が秋から冬にかけては、初期発話手段は「寒くなってきましたね。体調はいかがですか？」という発話する指令を音声制御部２０３に送信する。また例えば春であれば、初期発話手段は「今日から暦の上では春です。ご気分はいかがですか?」などという発話を、夏であれば「今日から８月。ご気分はいかがですか?」などと発話をするような制御を行い、音声制御部２０３にその旨の指令を送信する。また、あらかじめ誕生日情報を入力しておき、安否確認対象者の誕生日には、初期発話手段は「お誕生日おめでとうございます。ごきげんいかがですか？」などと発話する指令を音声制御部２０３に送信する。安否確認対象者の誕生日は、例えば、操作パネル１２から入力してもよいし、あるいは、遠く離れた家族により端末２６からクラウドサーバ２４を介して冷蔵庫１１に入力するようにしてもよい。また、このような情報をクラウドサーバ２４に記憶させておくこととしてもよい。また、気温や天気情報をクラウドサーバ２４から取得しておき、これに対応して、主制御装置３０は「今日は気温が３０℃を超えそうです。夏バテしていませんか?」「今日は氷点下になりそう。風邪などひいていませんか?」「今日は花粉がたくさん飛びそう。調子はどうですか?」などと発話する指令を音声制御部２０３に送信するようにしてもよい。 Further, the initial utterance means controls to change the utterance content depending on the season. For example, the refrigerator 11 (main control device 30) or the cloud server 24 is provided with a calendar function. Here, a case where the cloud server 24 has a calendar function will be described. Main controller 30 can obtain the date and season by acquiring calendar information from cloud server 24. The initial utterance means performs utterance control corresponding to the calendar information. For example, when the season is from autumn to winter, the initial utterance unit transmits to the voice control unit 203 an instruction to utter "Cold, how are you?" Also, for example, in the case of spring, the initial utterance means is "Spring on the calendar from today. How do you feel?", And in summer, "From today to August. Then, control is performed so as to utter “?”, And a command to that effect is transmitted to the voice control unit 203. Also, enter birthday information in advance, and on the birthday of the safety confirmation target person, the initial utterance means will be voice control of commands to utter such as "Happy birthday. How are you?" Transmit to the unit 203. For example, the birthday of the safety confirmation target person may be input from the operation panel 12 or may be input to the refrigerator 11 from the terminal 26 via the cloud server 24 by a distant family member. Further, such information may be stored in the cloud server 24. In addition, the temperature and weather information is acquired from the cloud server 24, and in response to this, the main control device 30 responds, “The temperature is likely to exceed 30 ° C. Today. A command to speak to the voice control unit 203, such as “It is likely to be below freezing. Are you catching a cold?” “Today a lot of pollen is likely to fly.

このように、初期発話手段は、クラウドサーバ２４から取得した季節情報や日付情報、あるいは、気温、天気情報に基づいて、これらに対応した発話制御を実行することが可能である。このような構成により、毎回同じ問いかけによる発話ではなく、季節に適した発話内容とすることができるため、より親しみのある問いかけが可能となり、継続的な安否確認が可能となる。 In this way, the initial utterance means can execute utterance control corresponding to these based on the seasonal information and date information acquired from the cloud server 24, or the temperature and weather information. With such a configuration, it is possible to make the utterance content suitable for the season instead of the utterance made by the same question every time, so that a more friendly question can be made and continuous safety confirmation can be made.

再発話手段は、初期発話手段の実行に対応して入力された、安否確認対象者の音声データの認識結果、すなわち安否情報に対応した発話内容を含むような発話制御を行う。例えば、入力された音声データの認識結果により、例えば安否確認対象者の健康状態が良い時と、良くない時で、発話内容を変えることで、より親しみのある安否確認となる。例えば、健康状態が「悪」の場合は、再発話手段は「そうですか、お大事にしてくださいね」などと発話する指令を音声制御部２０３に送信する。健康状態が「良」の場合は「よかった。」などと発話する指令を音声制御部２０３に送信する。健康状態が「中」の場合は、「そうですか、わたしもまあまあです」などと発話する指令を音声制御部２０３に送信する。このように、直観的で、人間味のある返答内容となるように発話制御することで、気持ちのよい安否確認システム１０を構築することができる。これにより、継続的な安否確認の負担軽減と、使い勝手の向上が図られる。 The re-utterance means performs utterance control so as to include a recognition result of the voice data of the safety confirmation target person input in response to the execution of the initial utterance means, that is, the utterance content corresponding to the safety information. For example, depending on the recognition result of the input voice data, for example, by changing the utterance content when the health state of the safety confirmation target person is good and when it is not good, the friendliness of the safety confirmation can be confirmed. For example, when the health condition is “bad”, the re-speak means transmits a command to the voice control unit 203 to utter “Yes, please take care”. When the health condition is “good”, a command to utter “good” is transmitted to the voice control unit 203. If the health condition is “medium”, a command to utter “Say, I am OK” is transmitted to the voice control section 203. In this way, by controlling the utterance so as to provide an intuitive and human-like response content, a comfortable safety confirmation system 10 can be constructed. Thereby, the burden of continuous safety confirmation can be reduced and the usability can be improved.

また、再発話手段は、安否確認対象者への再度の返答内容に、安否確認対象者のスケジュール情報に対応した発話内容を含む発話制御を行うことができる。スケジュール情報としては例えば「ごみの日」「タ方にお稽古」「友達と会う日」などが挙げられる。例えば、再発話手段は「そうですか。お元気で何よりです。今日はゴミの日ですよ！」「よかった。今日は１０時に公民館で敬老会ですよ」などと発話する指令を音声制御部２０３に送信する。このような構成とすることで、単なる対話による安否確認より、有用な情報が得られるため、進んで冷蔵庫１１を使用することができる。このため、安否確認対象者は、毎日継続して冷蔵庫１１を使用するようになり、安否情報の取得が容易となる。 Further, the re-utterance means can perform utterance control including the utterance content corresponding to the schedule information of the safety confirmation target person in the reply content to the safety confirmation target person again. Examples of the schedule information include “garbage day”, “rehearsals for Tata”, and “day to meet friends”. For example, the voice control unit 203 gives a command to re-talk, such as "Oh, how are you doing and what's up. Today is a garbage day!" "Good. Today is a public hall at 10:00 am at a public hall." Send to With such a configuration, useful information can be obtained by simply confirming the safety by a dialogue, so that the refrigerator 11 can be used willingly. For this reason, the safety confirmation target person uses the refrigerator 11 continuously every day, and the safety information can be easily obtained.

ところで、スケジュール内容を付加した発話制御を、上述の初期発話手段によって実行させることも可能であるが、会話の初めに問いかけ内容が長くなると、安否確認対象者は待ちきれないことがある。そのため、安否確認対象者が発話する前の問いかけ内容に上述のスケジュール情報を含めるよりも、発話後の再度の返答内容に含めるほうが望ましい。このように、再発話手段による発話に、スケジュール情報を含めることで、安否確認対象者は有用な情報を得られるとともに、飽きずに安否確認の入力を継続することができる。スケジュール情報は、例えば、操作パネル１２、端末２６を操作することにより、情報を入力し、クラウドサーバ２４に記憶させるようにする。 By the way, the utterance control to which the schedule content is added can be executed by the above-mentioned initial utterance means. However, if the content of the inquiry becomes long at the beginning of the conversation, the safety confirmation target person may not be able to wait. Therefore, it is more desirable to include the above-described schedule information in the content of the inquiry before the safety confirmation target person speaks than in the content of the reply again after the speech. As described above, by including the schedule information in the utterance by the re-talking means, the safety confirmation target person can obtain useful information and can continue to input the safety confirmation without getting tired. The schedule information is input, for example, by operating the operation panel 12 and the terminal 26, and stored in the cloud server 24.

さらに、再発話手段は、発話内容に外部からの伝言情報を含めるような発話制御を実行することができる。冷蔵庫１１、宅内端末１４及び端末２６は、クラウドサーバ２４に接続されているため、例えば端末２６から送信された伝言情報（例えば電子メールなどにより送信された内容）を受け取ることができる。再発話手段は、安否確認対象者に対する発話内容に、これら伝言情報の内容を含める処理を行うことができる。このような構成とすれば、電子メールなどの操作に不慣れなユーザに対しても、音声により伝言内容を伝えることができるため、使い勝手がよい安否確認システム１０を構築できる。例えば、離れて暮らす家族から端末２６を用いて、「○○ちやん、はいはいしたよ」との伝言が冷蔵庫１１に対して送信されると、再発話手段は、例えば「よかった。○○さんからお手紙です。○○ちやん、はいはいしたよ〜、とのことです。」などと発話する指令を音声制御部２０３に送信する。ちょっとしたことを伝え合えることで、毎日の安否確認を、より楽しく続けることができる。このような構成にすることにより、安否確認時に伝言情報に対応した発話内容を含ませることで、有用な情報を得られるとともに、継続的な安否確認の負担軽減と、使い勝手の向上が図られる。 Further, the re-utterance means can perform utterance control such that message information from the outside is included in the utterance content. Since the refrigerator 11, the in-home terminal 14, and the terminal 26 are connected to the cloud server 24, the refrigerator 11, the home terminal 14, and the terminal 26 can receive, for example, message information transmitted from the terminal 26 (for example, contents transmitted by e-mail or the like). The re-utterance means can perform a process of including the content of the message information in the utterance content for the safety confirmation target person. With such a configuration, the contents of the message can be conveyed by voice even to a user unfamiliar with operations such as e-mail, so that the user-friendly safety confirmation system 10 can be constructed. For example, when a message saying "XX Chiyan, yes yes" is sent to the refrigerator 11 from the family living away from the terminal 26, the re-speaking means is, for example, "Good. It is a letter. XX Chiyan, yes, yes. ", Etc., is transmitted to the voice control unit 203. Being able to communicate small things makes it easier to enjoy daily safety checks. With this configuration, useful information can be obtained by including the utterance content corresponding to the message information at the time of safety confirmation, and the burden of continuous safety confirmation can be reduced and usability can be improved.

また、クラウドサーバ２４は、端末２６に対し、指定したタイミングで認識結果を送信するように構成される。クラウドサーバ２４は、冷蔵庫１１から送信された安否情報を記憶することができ、この内容を例えば端末２６に登録された電子メールのメールアドレスに、あらかじめ定めた時刻に送信するようにする。また、電子メールを利用することに代えて、端末２６に常時起動する常駐アプリをインストールし、これによってクラウドサーバ２４に定期的にアクセスすることで安否情報を取得してもよい。このような構成にすれば、離れて暮らす家族は端末２６を用いて、クラウドサーバ２４に接続する特段の操作を必要とすることなく安否情報を確認しやすくなり、安否確認システム１０の使い勝手が向上する。 Further, the cloud server 24 is configured to transmit the recognition result to the terminal 26 at the designated timing. The cloud server 24 can store the safety information transmitted from the refrigerator 11, and transmits the content at a predetermined time to, for example, an e-mail address of an e-mail registered in the terminal 26. Instead of using the e-mail, a resident application that is always started may be installed on the terminal 26, and the cloud server 24 may be periodically accessed to acquire the safety information. With such a configuration, it is easier for a family living away from the terminal 26 to check the safety information without requiring any special operation to connect to the cloud server 24, and the usability of the safety confirmation system 10 is improved. I do.

また、安否情報に健康状態が付加された情報をクラウドサーバ２４に記憶させる場合に、クラウドサーバ２４は、健康状態＝「良」「中」「悪」などの判定結果に分類して記憶するように構成されるようにする。分類は、「良」「中」「悪」に代えて、より親しみやすい表現である「元気」「まあまあ」「よくない]などの三段階による分類とすることもできるし、また、「とっても元気」「元気」「まあまあ」「ちょっと元気ない」「よくない]などのように五段階の分類とすることもできる。これら健康状態の情報を、離れて暮らす家族などが端末２６を用いて確認することができる。これらの健康状態の情報だけでも有用であるが、安否確認対象者が発話した発話内容もあわせて確認することで、より詳細な安否確認対象者の情報を把握することができる。また、発話内容から、認知症の徴候を検知することも対応できる。これにより、共有情報の深化が図られ、さらに使い勝手の良い安否確認システム１０を構築することができる。また、利用者にとって負担が少なく、取得する情報を豊富化させることにより利便性を高めた安否確認システムを提供することができる。 When storing information in which a health condition is added to safety information in the cloud server 24, the cloud server 24 classifies and stores the health condition as a determination result such as “good”, “medium”, or “bad”. To be configured. Instead of "good", "medium", and "bad", the classification can be a three-stage classification such as "energy," "so-so," "poor," which is a more familiar expression. It is also possible to classify the information into five stages, such as “energy”, “energy”, “sufficient”, “slightly unsatisfactory”, “not good”, etc. The information of these health conditions can be used by a remote family or the like using the terminal 26. Although it is useful to use the information on the health status alone, it is also possible to obtain more detailed information on the safety check target by checking the utterance contents of the safety check target. It is also possible to detect signs of dementia from the content of the utterance, whereby the shared information can be deepened, and a more convenient safety confirmation system 10 can be constructed. Taken less burden, it is possible to provide a safety confirmation system with enhanced convenience by enrich information to be obtained.

（第２実施形態）
次に第２実施形態について説明する。図３に第２実施形態に係る安否確認システム１０の構成の一例を示す。図４に、第２実施形態に係る冷蔵庫１１の構成の一例を示す。操作パネル１２は、通信部２０５、制御部２０６、音声入出力部２０４及び表示部２０７を備えている。通信部２０５は冷蔵庫１１の主制御装置３０と通信を行い、種々のデータの授受を行う。通信部２０５による通信は有線通信であってもよいし、無線通信でもよいが、後述するように操作パネル１２を冷蔵庫１１本体から取り外し可能とする場合は、無線通信とする。制御部２０６は、操作パネル１２の制御を担い、音声入出力部２０４及び表示部２０７の制御を行う。第２実施形態が第１実施形態と異なる点は、操作パネル１２に音声入出力部２０４及び表示部２０７の備えた点である。その他の構成、及び制御内容は第１実施形態と同じである。 (2nd Embodiment)
Next, a second embodiment will be described. FIG. 3 shows an example of the configuration of a safety confirmation system 10 according to the second embodiment. FIG. 4 shows an example of the configuration of a refrigerator 11 according to the second embodiment. The operation panel 12 includes a communication unit 205, a control unit 206, a voice input / output unit 204, and a display unit 207. The communication unit 205 communicates with the main control device 30 of the refrigerator 11 to exchange various data. The communication by the communication unit 205 may be wired communication or wireless communication. However, when the operation panel 12 is detachable from the refrigerator 11 body as described later, the communication is performed by wireless communication. The control unit 206 controls the operation panel 12 and controls the audio input / output unit 204 and the display unit 207. The second embodiment is different from the first embodiment in that the operation panel 12 includes a voice input / output unit 204 and a display unit 207. Other configurations and control contents are the same as those of the first embodiment.

第２実施形態において、安否確認システム１０は、第１実施形態と同様に、初期発話手段、安否状態認識手段、安否情報取得手段、及び再発話手段を有する。初期発話手段、及び再発話手段は主制御装置３０がその機能を担うものであり、例えば主制御装置３０のＲＯＭに記憶されたプログラムを実行することによりその機能が達成される。図２においては、主制御装置３０が初期発話手段、及び再発話手段を備える構成を例示しているが、これに代えて、操作パネル１２の制御部２０６が初期発話手段、及び再発話手段を備える構成としてもよい。安否状態認識手段は第１実施形態と同様にクラウドサーバ２４がその機能を担う。安否情報取得手段は、操作パネル１２が備える音声入出力部２０４が発話及び音声データの入力を受けることにより、また、表示部２０７が安否確認対象者の手入力を受けることにより、その機能を担う。なお、表示部２０７は例えばタッチパネル機能を有した液晶表示機器であり、入力部を表示させ、これを押下することによりコマンドの入力が可能となるように構成されている。操作パネル１２は冷蔵庫１１本体から取り外し可能とする構成としてもよい。この場合は、操作パネル１２が備える通信部２０５は、無線通信を可能とする構成とする。 In the second embodiment, the safety confirmation system 10 includes an initial utterance unit, a safety state recognition unit, a safety information acquisition unit, and a re-speak unit as in the first embodiment. The initial utterance means and the re-utterance means are performed by the main controller 30. The functions are achieved by executing a program stored in the ROM of the main controller 30, for example. FIG. 2 illustrates a configuration in which the main control device 30 includes an initial utterance unit and a re-utterance unit. Instead, the control unit 206 of the operation panel 12 controls the initial utterance unit and the re-utterance unit. A configuration may be provided. The cloud server 24 performs the function of the safety status recognition means as in the first embodiment. The safety information acquisition unit has its function when the voice input / output unit 204 of the operation panel 12 receives the input of the utterance and the voice data, and the display unit 207 receives the manual input of the safety confirmation target person. . The display unit 207 is, for example, a liquid crystal display device having a touch panel function. The display unit 207 is configured to display an input unit and input a command by pressing the input unit. The operation panel 12 may be configured to be detachable from the refrigerator 11 main body. In this case, the communication unit 205 of the operation panel 12 is configured to enable wireless communication.

このように、第２実施形態によれば、第１実施形態と同様の効果を有する。また、第２実施形態によれば、操作パネル１２に、初期発話手段、再発話手段を備えさせる構成とすることで、安否確認システム１０の利便性がより向上する。さらに操作パネル１２を冷蔵庫１１本体から取り外し可能とすれば、さらに安否確認システム１０の利便性がより向上する。これにより継続的な安否確認の負担軽減と、安否確認システム１０の使い勝手の向上が図られる。 Thus, according to the second embodiment, the same effects as in the first embodiment are obtained. Further, according to the second embodiment, the convenience of the safety confirmation system 10 is further improved by providing the operation panel 12 with the initial utterance unit and the re-utterance unit. Further, if the operation panel 12 can be detached from the refrigerator 11, the convenience of the safety confirmation system 10 is further improved. As a result, the burden of continuous safety confirmation is reduced, and the usability of the safety confirmation system 10 is improved.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are provided by way of example and are not intended to limit the scope of the invention. These new embodiments can be implemented in other various forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and their equivalents.

図面中、１０は安否確認システム、１１は冷蔵庫（家電機器、安否情報取得手段）、１２は操作パネル（操作部、初期発話手段、再発話手段、安否情報取得手段）、１６は通信機器、１８は家庭内ネットワーク、２２はインターネット、２４はクラウドサーバ（外部機器、安否状態認識手段）、２６は端末（安否情報確認手段）、３０は主制御装置（初期発話手段、再発話手段）、２０１は扉開閉センサ、２０２は人感センサ、２０３は音声制御部、２０４は音声入出力部（音声入出力手段、安否情報取得手段）、２０５は通信部、２０６は制御部（初期発話手段、再発話手段）、２０７は表示部を示す。 In the drawing, 10 is a safety confirmation system, 11 is a refrigerator (home electric appliances, safety information acquisition means), 12 is an operation panel (operation unit, initial utterance means, reissue means, safety information acquisition means), 16 is a communication device, 18 Is a home network, 22 is the Internet, 24 is a cloud server (external device, safety status recognition means), 26 is a terminal (safety information confirmation means), 30 is a main control device (initial utterance means, re-speech means), 201 is Door opening / closing sensor, 202 is a human sensor, 203 is a voice control unit, 204 is a voice input / output unit (voice input / output unit, safety information acquisition unit), 205 is a communication unit, 206 is a control unit (initial utterance unit, reutterance) Means) and 207 indicate a display unit.

Claims

Home appliances,
Means for confirming the safety state or health state for a confirmation target person who is a user of the home appliance,
Information acquisition means for acquiring voice data spoken by the person to be confirmed in response to confirmation from the means for confirming the safety state or health state,
A state recognition unit that recognizes a safety state or a health state of the subject by analyzing the voice data and generates information about a safety state or a health state of the subject,
Means for responding to the person to be confirmed with contents according to the safety state or the health state,
Safety confirmation system equipped with.

The home appliance further includes an information confirmation unit that is a device different from the home appliance, and is capable of browsing information on the safety status or the health status of the target person from outside the home appliance.
The safety confirmation system according to claim 1.

Have a clock,
The content of the confirmation from the means for confirming the safety state or the health condition includes the content corresponding to the time information acquired from the watch,
The safety confirmation system according to claim 1.

Has a calendar function,
The content of confirmation from the means for confirming the safety status or health condition includes date information acquired from the calendar function, content corresponding to seasonal information,
The safety confirmation system according to claim 1.

The content of the response by the means for responding to the person to be confirmed includes the content corresponding to the information on the safety state or the health condition recognized by the information acquisition means,
The safety confirmation system according to claim 1.

A function of storing schedule information of the person to be confirmed,
The content of the response by the means for responding to the person to be confirmed includes the content corresponding to the schedule information,
The safety confirmation system according to any one of claims 1 to 5.

The means for responding to the person to be confirmed has message information from outside,
The content of the response by the means for responding to the person to be confirmed includes the content corresponding to the message information.
The safety confirmation system according to any one of claims 1 to 6.

Having a function of transmitting information on the safety status or health condition to a predetermined e-mail address at a predetermined date and time,
The safety confirmation system according to claim 1.

It has a function of storing information on the safety state or health state and the audio data,
The safety confirmation system according to any one of claims 1 to 8.

Means for confirming a safety state or a health state for a confirmation target person who is a user,
Information acquisition means for acquiring voice data spoken by the person to be confirmed in response to confirmation from the means for confirming the safety state or health state,
Analyzing the voice data to recognize the safety status or health status of the subject and generating information on the safety status or health status of the subject The safety status or health status of the subject generated by the status recognition unit Means for responding to the person to be confirmed with contents according to the information on
Home appliances.

Means for confirming a safety state or a health state for a confirmation target person who is a user,
Information acquisition means for acquiring voice data spoken by the person to be confirmed in response to confirmation from the means for confirming the safety state or health state,
Means for responding to the person to be confirmed with contents according to the safety state or the health state,
Analyzing the voice data to recognize the safety status or health status of the subject and generating information on the safety status or health status of the subject The safety status or health status of the subject generated by the status recognition unit Means for responding to the person to be confirmed with contents according to the information about
refrigerator.