JP2016148991A

JP2016148991A - Safety confirmation system and refrigerator

Info

Publication number: JP2016148991A
Application number: JP2015025317A
Authority: JP
Inventors: 古田　和浩; Kazuhiro Furuta; 和浩古田; 裕樹丸谷; Hiroki Marutani; 井澤　浩一; Koichi Izawa; 浩一井澤; 浩太渡邊; Kota Watanabe
Original assignee: Toshiba Corp; Toshiba Lifestyle Products and Services Corp
Current assignee: Toshiba Corp; Toshiba Lifestyle Products and Services Corp
Priority date: 2015-02-12
Filing date: 2015-02-12
Publication date: 2016-08-18
Anticipated expiration: 2035-02-12
Also published as: JP6577201B2

Abstract

PROBLEM TO BE SOLVED: To provide a safety confirmation system which has reduced burden on a user and increased convenience.SOLUTION: A safety confirmation system has a refrigerator which is provided with either a human detection sensor, a door opening/closing sensor, or an operation unit and voice input/output means, and external equipment connectable to the same via the Internet. The safety confirmation system has: initial speech means which controls speech for a target person via the voice input/output means by receiving transmission of either a detection signal of the human detection sensor, a detection signal of the door opening/closing sensor, or an input signal to the operation unit; safety information acquisition means which acquires voice data that, in response to the transmission, the target person has inputted to the voice input/output means; safety condition recognition means which recognizes a safety condition according to analysis of the voice data and generates safety information; and repeated speech means which performs speech control with respect to the target person again in a content in accordance with the safety condition. There is provided safety information confirmation means which stores safety information to the external equipment, is connected to the external equipment via the Internet, and by which the safety information can be browsed.SELECTED DRAWING: Figure 1

Description

本発明の実施形態は、安否確認システム、及び冷蔵庫に関する。 Embodiments described herein relate generally to a safety confirmation system and a refrigerator.

高齢化がすすむ中で、高齢者のみの世帯や、高齢者の一人暮らしの世帯が増加している。こういった状況に対して、外部（例えば離れて住む家族の家）から、高齢者の方の安否を確認するサービスが考えられている。例えば、情報端末のボタンを毎日押すことで安否を確認したり、家電製品の使用の有無情報にて安否を確認したりする方法が提案されている。 As the population ages, the number of households with only elderly people and those living alone are increasing. In response to such a situation, a service for confirming the safety of elderly people from the outside (for example, a house of a family living remotely) has been considered. For example, a method of confirming safety by pressing a button of an information terminal every day or confirming safety by using presence / absence information of home appliances has been proposed.

特開２００３−２２８７８４号公報JP 2003-228784 A

しかしながら、ボタンを押す等の非日常の動作は、継続して行うことに負担感があり、また、家電の使用状況による安否確認では、ユーザの詳細な状況を把握することが難しい。そこで、利用者にとって負担が少なく、取得する情報を豊富化させることにより利便性を高めた安否確認システム、及び冷蔵庫を提供する。 However, extraordinary operations such as pressing a button are burdensome to be performed continuously, and it is difficult to grasp the detailed situation of the user in the safety confirmation based on the usage status of home appliances. Therefore, there are provided a safety confirmation system and a refrigerator that are less burdensome for the user and have increased convenience by enriching information to be acquired.

実施形態に係る安否確認システムは、少なくとも人感センサ、扉開閉センサ、又は操作部のうちの何れかと、音声入出力手段を備える冷蔵庫と、これにインターネットを介して接続可能な外部機器とを有する。少なくとも人感センサにより取得された検知信号、扉開閉センサにより取得された検知信号、又は操作部への入力信号のうちの何れかの送信を受け、音声入出力手段を介して対象者に対する発話制御を行う初期発話手段と、これに応答して対象者が音声入出力手段に入力した音声データを取得する安否情報取得手段と、音声データを解析することにより安否状態を認識し、安否情報を生成する安否状態認識手段と、安否状態に応じた内容で再度対象者に対する発話制御を行う再発話手段とを有する。安否情報は外部機器に記憶され、外部機器にインターネットを介して接続し、安否情報を閲覧可能な安否情報確認手段を備える。 The safety confirmation system according to the embodiment includes at least one of a human sensor, a door opening / closing sensor, or an operation unit, a refrigerator including a voice input / output unit, and an external device connectable to the refrigerator via the Internet. . At least one of the detection signal acquired by the human sensor, the detection signal acquired by the door opening / closing sensor, or the input signal to the operation unit is transmitted, and the utterance control for the target person through the voice input / output means An initial utterance means for performing speech information, a safety information acquisition means for acquiring voice data input by the subject to the voice input / output means in response thereto, and analyzing the voice data to recognize the safety state and generating safety information Safety state recognizing means for recognizing and re-speech means for performing utterance control on the subject again with the contents corresponding to the safety state. The safety information is stored in an external device, and is provided with a safety information confirmation unit that can connect to the external device via the Internet and browse the safety information.

第１実施形態による安否確認システム、及び冷蔵庫の構成の一例を示す図The figure which shows an example of the structure of the safety confirmation system by 1st Embodiment, and a refrigerator. 第１実施形態による家電機器の構成の一例を示す図The figure which shows an example of a structure of the household appliances by 1st Embodiment. 第２実施形態による安否確認システムの構成の一例を示す図The figure which shows an example of a structure of the safety confirmation system by 2nd Embodiment. 第２実施形態による家電機器の構成の一例を示す図The figure which shows an example of a structure of the household appliances by 2nd Embodiment.

以下、安否確認システム、及び冷蔵庫に係る複数の実施形態について図面を参照しながら説明する。なお、各実施形態で実質的に同一の要素には同一の符号を付し、説明を省略する。 Hereinafter, a plurality of embodiments according to a safety confirmation system and a refrigerator will be described with reference to the drawings. In addition, the same code | symbol is attached | subjected to the substantially same element in each embodiment, and description is abbreviate | omitted.

（第１実施形態）
図１に第１実施形態に係る安否確認システム１０の構成の一例を示す。安否確認システム１０は、家電機器１１を備える。家電機器１１は、例えば、冷蔵庫、温水便座、掃除機、電子レンジ、ＩＨクッキング機器、炊飯器、エアコン、照明機器、ＡＶ機器、その他の家電機器とすることができる。本実施形態では、冷蔵庫１１として説明する。冷蔵庫は、毎日一度は使用する家電機器であり、安否確認を媒介する家電機器としては適している。 (First embodiment)
FIG. 1 shows an example of the configuration of a safety confirmation system 10 according to the first embodiment. The safety confirmation system 10 includes a home appliance 11. The home appliance 11 can be, for example, a refrigerator, a warm water toilet seat, a vacuum cleaner, a microwave oven, an IH cooking device, a rice cooker, an air conditioner, a lighting device, an AV device, and other home appliances. In the present embodiment, the refrigerator 11 will be described. The refrigerator is a home appliance that is used once a day, and is suitable as a home appliance that mediates safety confirmation.

安否確認システム１０において、冷蔵庫１１及び宅内端末１４が、通信機器１６を介して相互に通信可能に接続されている。冷蔵庫１１、宅内端末１４、及び通信機器１６は、家庭内ネットワーク１８を構成している。宅内端末１４は例えばパソコンである。冷蔵庫１１は、操作パネル１２、扉１３、扉開閉センサ２０１、人感センサ２０２、音声制御部２０３を有している。宅内端末１４は、通信機器１６を介して冷蔵庫１１と接続されており、宅内端末１４の表示装置を介して、冷蔵庫１１の様々な設定や操作を行うことができる。 In the safety confirmation system 10, a refrigerator 11 and a home terminal 14 are connected to each other via a communication device 16 so that they can communicate with each other. The refrigerator 11, the home terminal 14, and the communication device 16 constitute a home network 18. The home terminal 14 is a personal computer, for example. The refrigerator 11 includes an operation panel 12, a door 13, a door opening / closing sensor 201, a human sensor 202, and a sound control unit 203. The home terminal 14 is connected to the refrigerator 11 via the communication device 16, and can perform various settings and operations of the refrigerator 11 via the display device of the home terminal 14.

家庭内ネットワーク１８は、通信機器１６を介してインターネット２２に接続されている。通信機器１６は、家庭内ネットワーク１８とインターネット２２との中継ぎ機能を有する通信機器である。インターネット２２には、クラウドサーバ（外部機器）２４が接続されている。クラウドサーバ２４は、冷蔵庫１１から送信された安否情報（発話内容、入力内容など）を記憶し、これに例えば分析的、解析的処理を施して、安否状態を認識する（安否状態認識手段）。また、インターネット２２には、端末２６が接続されている。端末２６は、例えば、パソコン、スマートフォン、携帯電話などである。端末２６は、例えば安否確認対象者の遠く離れた住居地に住む家族などが想定される。端末２６は、これを用いて家族が安否確認対象者の安否情報を確認する、という用途に用いられる（安否情報確認手段）。 The home network 18 is connected to the Internet 22 via the communication device 16. The communication device 16 is a communication device having a relay function between the home network 18 and the Internet 22. A cloud server (external device) 24 is connected to the Internet 22. The cloud server 24 stores the safety information (speech content, input content, etc.) transmitted from the refrigerator 11 and performs, for example, analytical and analytical processing on the safety information to recognize the safety status (safety status recognition means). A terminal 26 is connected to the Internet 22. The terminal 26 is, for example, a personal computer, a smartphone, or a mobile phone. The terminal 26 is assumed to be, for example, a family living in a distant residential area of the safety confirmation target person. The terminal 26 is used for the purpose that the family uses this to confirm the safety information of the safety confirmation target person (safety information confirmation means).

図２は、第１実施形態に係る冷蔵庫１１の構成の一例を示した図である。冷蔵庫１１は、主制御装置３０を有している。主制御装置３０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、時計、などを備えており、例えばＲＯＭに記憶されたプログラムを実行することで、冷蔵庫１１の種々の制御を行う。主制御装置３０は、また、初期発話手段、及び再発話手段を有している。冷蔵庫１１は、操作パネル１２、扉開閉センサ２０１、人感センサ２０２、音声制御部２０３、音声入出力部２０４を備えている。操作パネル１２、扉開閉センサ２０１、人感センサ２０２、音声制御部２０３は主制御装置３０に接続されている。音声入出力部２０４は音声制御部２０３に接続されている。 FIG. 2 is a diagram illustrating an example of a configuration of the refrigerator 11 according to the first embodiment. The refrigerator 11 has a main control device 30. The main controller 30 includes a CPU, a RAM, a ROM, a clock, and the like, and performs various controls of the refrigerator 11 by executing a program stored in the ROM, for example. The main controller 30 also has initial utterance means and recurrent utterance means. The refrigerator 11 includes an operation panel 12, a door opening / closing sensor 201, a human sensor 202, a voice control unit 203, and a voice input / output unit 204. The operation panel 12, the door opening / closing sensor 201, the human sensor 202, and the sound control unit 203 are connected to the main control device 30. The voice input / output unit 204 is connected to the voice control unit 203.

操作パネル１２は、冷蔵庫１１の温度管理、チャイルドロック、照明、などの各種操作内容を入力する装置であり、入力部を有している。入力部は機械式のボタンとして構成してもよいし、操作パネル１２をタッチパネル機能を有する液晶画面として構成し、これに入力部を表示させる構成としてもよい。操作パネル１２に入力された入力信号は主制御装置３０に送信される。扉開閉センサ２０１は、冷蔵庫１１の扉１３の開閉を検知するセンサである。扉開閉センサ２０１は、ユーザ（この場合は、安否確認対象者）が冷蔵庫１１の扉１３を開閉した際に、扉１３の開閉を検知し、検知信号を主制御装置３０に送信する。人感センサ２０２は、ユーザが冷蔵庫１１に近づいた際にユーザの存在を検知するセンサである。人感センサ２０２は、例えば赤外線センサにより構成されている。人感センサ２０２は、検知した検知信号を、主制御装置３０に送信する。操作パネル１２、扉開閉センサ２０１、人感センサ２０２の何れかによりユーザの存在、生活活動を確認することが可能であるため、安否情報取得手段としても機能する。 The operation panel 12 is a device for inputting various operation contents such as temperature management, child lock, lighting, and the like of the refrigerator 11, and has an input unit. The input unit may be configured as a mechanical button, or the operation panel 12 may be configured as a liquid crystal screen having a touch panel function, and the input unit may be displayed thereon. An input signal input to the operation panel 12 is transmitted to the main controller 30. The door opening / closing sensor 201 is a sensor that detects opening / closing of the door 13 of the refrigerator 11. The door opening / closing sensor 201 detects the opening / closing of the door 13 and transmits a detection signal to the main control device 30 when the user (in this case, a safety confirmation target person) opens / closes the door 13 of the refrigerator 11. The human sensor 202 is a sensor that detects the presence of the user when the user approaches the refrigerator 11. The human sensor 202 is constituted by, for example, an infrared sensor. The human sensor 202 transmits the detected detection signal to the main control device 30. Since it is possible to confirm the presence of the user and daily activities by any one of the operation panel 12, the door opening / closing sensor 201, and the human sensor 202, it also functions as a safety information acquisition unit.

音声入出力部２０３は、ユーザの発話を入力する音声入力部である。音声入出力部２０３は、安否確認対象者に発話を行う音声出力部の機能を有する。音声入出力部２０３は、例えばスピーカ／マイク（図示せず）であり、音声制御部２０３を介して音声の入出力を行う。音声制御部２０３は主制御装置３０からの指令により、所定の発話制御を行う。また、音声入出力部２０４から入力された音声を認識し、主制御装置３０に認識結果を送信する。なお、冷蔵庫１１は、図示はしていないが、冷蔵庫本体、貯蔵室、冷凍室、冷却器、送風機、圧縮機、除霜ヒータ、温度センサなどの冷蔵庫としての基本的な構成を有していることは言うまでもない。 The voice input / output unit 203 is a voice input unit that inputs a user's utterance. The voice input / output unit 203 has a function of a voice output unit that speaks to a safety confirmation target person. The voice input / output unit 203 is, for example, a speaker / microphone (not shown), and performs voice input / output via the voice control unit 203. The voice control unit 203 performs predetermined utterance control according to a command from the main control device 30. Also, the voice input from the voice input / output unit 204 is recognized, and the recognition result is transmitted to the main controller 30. Although not shown, the refrigerator 11 has a basic configuration as a refrigerator such as a refrigerator body, a storage room, a freezer room, a cooler, a blower, a compressor, a defrost heater, and a temperature sensor. Needless to say.

安否確認システム１０は、安否確認対象者に対して音声で安否確認する初期発話手段と、安否確認対象者の安否状態、健康状態、近況等を音声等により取得する安否情報取得手段、取得した音声データを解析し、安否状態を認識する安否状態認識手段と、安否状態認識後に再度、安否確認対象者に発話する再発話手段を有する。初期発話手段、及び再発話手段は主制御装置３０がその機能を備えており、例えば主制御装置３０のＲＯＭに記憶されたプログラムを実行することによりその機能が達成される。安否状態認識手段はクラウドサーバ２４がその機能を担う。すなわち、クラウドサーバ２４は入力された音声データを解析することで辞書データ等と照合し、言語認識を行い、対応する特定の文字データに変換する。安否情報取得手段は、冷蔵庫１１が音声入出力手段を備え、これによる発話、及び音声データの入力により、その機能を担う。 The safety confirmation system 10 includes an initial utterance means for confirming the safety of the safety confirmation target person by voice, a safety information acquisition means for acquiring the safety state, health condition, recent state, etc. of the safety confirmation target person by voice, and the acquired voice. It has safety state recognition means for analyzing the data and recognizing the safety state, and re-speech means for speaking again to the safety confirmation subject after the safety state recognition. The initial utterance means and the recurrent utterance means are provided with the function of the main controller 30. For example, the functions are achieved by executing a program stored in the ROM of the main controller 30. The safety server recognizes the function of the cloud server 24. That is, the cloud server 24 analyzes the input voice data, compares it with dictionary data, etc., performs language recognition, and converts it into corresponding specific character data. The safety information acquisition means is provided with a voice input / output means in the refrigerator 11 and assumes its function by utterance and voice data input.

操作パネル１２に操作内容が入力された場合、扉開閉センサ２０１が扉１３の開閉を検知した場合、及び人感センサ２０２が安否確認対象者を検知した場合は、主制御装置３０において以下の制御が実行される。すなわち、操作パネル１２、扉開閉センサ２０１及び人感センサ２０２は、主制御装置３０に信号を送信する。信号の送信を受けた主制御装置３０は、初期発話手段を起動し、所定の処理を行う。初期発話手段は、主制御装置３０での処理結果に基づき、音声制御部２０３に発話を行うための指令を出力する。当該指令を受けた音声制御部２０３は指令に基づき、所定の発話を行う音声信号を生成し、音声入出力部２０４に音声信号を出力する。これにより音声入出力部２０４から音声が出力（発話）される。 When the operation content is input to the operation panel 12, when the door opening / closing sensor 201 detects the opening / closing of the door 13, and when the human sensor 202 detects the safety confirmation target person, the main control device 30 performs the following control. Is executed. That is, the operation panel 12, the door opening / closing sensor 201, and the human sensor 202 transmit signals to the main control device 30. Receiving the signal transmission, main controller 30 activates the initial speech means and performs predetermined processing. The initial utterance means outputs a command for uttering to the voice control unit 203 based on the processing result in the main controller 30. In response to the command, the voice control unit 203 generates a voice signal for performing a predetermined utterance based on the command, and outputs the voice signal to the voice input / output unit 204. As a result, voice is output (spoken) from the voice input / output unit 204.

音声入出力部２０４からの発話は、例えば以下のように制御される。音声入出力部２０４は、安否確認対象者に対して安否確認のための問いかけを行うかのように発話する。例えば「今日の調子はいかがですか？」「いつもと変わりありませんか？」などと言うように発話される。このように、音声入出力部２０４からは、自然な発話で話すように発話制御される。 The utterance from the voice input / output unit 204 is controlled as follows, for example. The voice input / output unit 204 speaks as if asking the safety confirmation target person a question for safety confirmation. For example, it is uttered to say "How are you feeling today?" As described above, the speech input / output unit 204 controls speech to speak with natural speech.

それを聞いた安否確認対象者は、例えば、「今日も良い調子だよ」「腰が痛いねぇ」「ちょっと疲れているよ」「絶好調！」のように答える。そうすると、音声入出力部２０４は安否確認対象者の音声を取得し（安否情報取得手段）、音声制御部２０３において例えばデジタル処理が施され、音声データに変換される。音声データは、主制御装置３０を介して、通信機器１６に送信され、次いで、インターネット２２を介してクラウドサーバ２４に送信される。音声データはクラウドサーバ２４において解析処理が施される。音声データは、例えば冷蔵庫１１の主制御装置３０で解析してもよいが、本実施形態ではクラウドサーバ２４で解析処理を行うことにしている。クラウドサーバ２４においては、解析資源が豊富で、かつ、解析のための新たな辞書情報データベースを日々更新できるなど、音声データを解析するシステムとしてより望ましい。音声データは、クラウドサーバ２４において解析され、辞書情報データベースと照合するなどして、特定の言語、言葉として認識される。上述した「今日も良い調子だよ」「腰が痛いねぇ」「ちょっと疲れているよ」「絶好調！」などの音声データの解析結果から、安否確認対象者の安否だけでなく、健康状態、近況などを認識することができる（安否状態認識手段）。 The safety confirmation subject who heard it answers, for example, “I'm in good condition today”, “I don't hurt my back”, “I am a little tired”, “Great!”. Then, the voice input / output unit 204 acquires the voice of the safety confirmation target person (safety information acquisition unit), and the voice control unit 203 performs, for example, digital processing to convert the voice data. The audio data is transmitted to the communication device 16 via the main control device 30 and then transmitted to the cloud server 24 via the Internet 22. The voice data is analyzed in the cloud server 24. The audio data may be analyzed by the main control device 30 of the refrigerator 11, for example, but in the present embodiment, analysis processing is performed by the cloud server 24. The cloud server 24 is more desirable as a system for analyzing voice data because it has abundant analysis resources and can update a new dictionary information database for analysis every day. The voice data is analyzed in the cloud server 24 and is recognized as a specific language or word by collating with the dictionary information database. From the analysis results of voice data such as “I feel good today”, “I don't hurt my back”, “I'm a little tired”, and “Great!” Can be recognized (safety state recognition means).

音声データの解析結果は、例えば文字情報、又はあらかじめ準備されたコードなどに変換され、これを安否情報とすることができる。安否情報は、クラウドサーバ２４に記憶される。また、音声データそのものもクラウドサーバ２４に送信され、記憶することができる。安否情報、及び音声データは、インターネット２２を介して、クラウドサーバ２４にアクセスすることで、端末２６から閲覧、及び聴取することができる。また、クラウドサーバ２４は、音声データの解析結果から健康状態を判定してもよい。例えば、「今日も良い調子だよ」「腰が痛いねぇ」「ちょっと疲れているよ」「絶好調！」などの音声データの解析結果から、健康状態＝「良」「中」「悪」などの判定結果を生成し、これを端末２６から閲覧できるようにしてもよい。端末２６の使用者としては、例えば離れて暮らす家族が想定される。端末２６は、異なる場所に存在する複数の機器であってもよい。端末２６は安否情報確認手段となる。 The analysis result of the voice data is converted into, for example, character information or a code prepared in advance, and this can be used as safety information. Safety information is stored in the cloud server 24. Also, the audio data itself can be transmitted to the cloud server 24 and stored. Safety information and audio data can be browsed and listened to from the terminal 26 by accessing the cloud server 24 via the Internet 22. Further, the cloud server 24 may determine the health state from the analysis result of the audio data. For example, from the analysis results of voice data such as “I'm in good condition today”, “I don't hurt my back”, “I'm a little tired”, “Excellent!”, Health status = “good” “medium” “bad” A determination result may be generated and viewed from the terminal 26. As a user of the terminal 26, for example, a family living apart is assumed. The terminal 26 may be a plurality of devices that exist in different places. The terminal 26 serves as safety information confirmation means.

上述した安否確認システム１０によれば、安否確認対象者の毎日の生活の中の動作を契機として、音声の入力により安否情報を生成できるので、安否確認対象者は特段の操作を必要とせず、毎日負担なく、安否情報を発信することができる。また、端末２６の使用者は、安否確認対象者の安否情報などを閲覧及び聴取することで、離れて暮らしていても、安否確認対象者の安否確認だけでなく、健康状態、近況などの情報も容易に取得することができる。このため、安否確認システム１０の利便性が向上し、継続的な安否確認の負担軽減と、共有情報の深化がもたらされる。 According to the safety confirmation system 10 described above, the safety confirmation target person does not need any special operation because safety information can be generated by voice input triggered by an operation in the daily life of the safety confirmation target person. Safety information can be transmitted every day without burden. In addition, the user of the terminal 26 can view and listen to the safety information of the safety confirmation target person, so that not only the safety confirmation target person's safety confirmation but also the health condition, recent conditions, etc. Can also be obtained easily. For this reason, the convenience of the safety confirmation system 10 is improved, and the burden of continuous safety confirmation is reduced and the shared information is deepened.

また、初期発話手段は、以下のような発話を行う指令を発する制御を行う。初期発話手段は、時間帯によって発話内容を変化させる。主制御装置３０は時計を有している。初期発話手段は時計から取得した時刻情報を用いて、当該時刻に対応した発話内容を含むように制御を行う。例えば、初期発話手段は、朝であれば「おはよう！今日はどんな調子ですか？」というように発話する指令を音声制御部２０３に送信する。例えば、昼であれば「こんにちは。気分はどうですか？」と言うように発話する指令を、夜であれば「こんばんは、今日はどうでしたか？」という指令を音声制御部２０３に送信する。このように、時間帯によって毎回の問いかけ内容に変化を持たせる。このような構成とすることで、安否確認対象者は、飽きることなく、年日新鮮な気持ちで、問いかけを受けることができる。これにより、継続して安否確認の応答を継続することができる。 Further, the initial utterance means performs control to issue a command for performing the following utterance. The initial utterance means changes the utterance content according to the time zone. The main controller 30 has a clock. The initial utterance means uses the time information acquired from the clock to perform control so that the utterance content corresponding to the time is included. For example, in the morning, the initial utterance means transmits a command to speak to the voice control unit 203 such as “Good morning! How are you today?” For example, to send a command to the speech to say if the day as "Hello. Mood What about?", If it is night, "Good evening, How was? Today," a command that the voice control unit 203. In this way, the contents of each question are changed depending on the time zone. By adopting such a configuration, the safety confirmation target person can receive a question with a fresh feeling without getting bored. Thereby, the response of safety confirmation can be continued continuously.

また、初期発話手段は、季節により発話内容を変化させる制御を行う。例えば、冷蔵庫１１（主制御装置３０）又はクラウドサーバ２４にカレンダー機能を備えさせておくようにする。ここではクラウドサーバ２４がカレンダー機能を有する場合について説明する。主制御装置３０は、クラウドサーバ２４からカレンダー情報を取得しておくことで、日付、季節を把握することができる。初期発話手段は、このカレンダー情報に対応した発話制御を行う。例えば、季節が秋から冬にかけては、初期発話手段は「寒くなってきましたね。体調はいかがですか？」という発話する指令を音声制御部２０３に送信する。また例えば春であれば、初期発話手段は「今日から暦の上では春です。ご気分はいかがですか?」などという発話を、夏であれば「今日から８月。ご気分はいかがですか?」などと発話をするような制御を行い、音声制御部２０３にその旨の指令を送信する。また、あらかじめ誕生日情報を入力しておき、安否確認対象者の誕生日には、初期発話手段は「お誕生日おめでとうございます。ごきげんいかがですか？」などと発話する指令を音声制御部２０３に送信する。安否確認対象者の誕生日は、例えば、操作パネル１２から入力してもよいし、あるいは、遠く離れた家族により端末２６からクラウドサーバ２４を介して冷蔵庫１１に入力するようにしてもよい。また、このような情報をクラウドサーバ２４に記憶させておくこととしてもよい。また、気温や天気情報をクラウドサーバ２４から取得しておき、これに対応して、主制御装置３０は「今日は気温が３０℃を超えそうです。夏バテしていませんか?」「今日は氷点下になりそう。風邪などひいていませんか?」「今日は花粉がたくさん飛びそう。調子はどうですか?」などと発話する指令を音声制御部２０３に送信するようにしてもよい。 The initial utterance means performs control to change the utterance content according to the season. For example, the refrigerator 11 (main control device 30) or the cloud server 24 is provided with a calendar function. Here, a case where the cloud server 24 has a calendar function will be described. The main controller 30 can grasp the date and season by acquiring calendar information from the cloud server 24. The initial utterance means performs utterance control corresponding to the calendar information. For example, when the season is from autumn to winter, the initial utterance means transmits a command to speak to the voice control unit 203, saying, “It's getting cold. For example, in the case of spring, the initial utterance means is “Spring on the calendar from today. How are you feeling?”, Etc. If you are in summer, “August from today. How are you feeling?” Control is performed such as “?” Or the like, and a command to that effect is transmitted to the voice control unit 203. In addition, birthday information is entered in advance, and on the birthday of the person whose safety is to be confirmed, the initial utterance means is "Happy Birthday. How are you?" To the unit 203. The birthday of the safety confirmation target person may be input from the operation panel 12, for example, or may be input to the refrigerator 11 from the terminal 26 via the cloud server 24 by a distant family. Further, such information may be stored in the cloud server 24. In addition, the temperature and weather information is acquired from the cloud server 24, and in response to this, the main control device 30 “The temperature seems to exceed 30 ° C today. You may be allowed to send a command to the voice control unit 203 such as “It seems to be below freezing. Are you catching a cold?” “Let's fly a lot of pollen today.

このように、初期発話手段は、クラウドサーバ２４から取得した季節情報や日付情報、あるいは、気温、天気情報に基づいて、これらに対応した発話制御を実行することが可能である。このような構成により、毎回同じ問いかけによる発話ではなく、季節に適した発話内容とすることができるため、より親しみのある問いかけが可能となり、継続的な安否確認が可能となる。 As described above, the initial utterance means can execute utterance control corresponding to these based on the season information and date information acquired from the cloud server 24 or the temperature and weather information. With such a configuration, since the utterance content suitable for the season can be used instead of the utterance by the same question every time, a more familiar question can be made and continuous safety confirmation can be performed.

再発話手段は、初期発話手段の実行に対応して入力された、安否確認対象者の音声データの認識結果、すなわち安否情報に対応した発話内容を含むような発話制御を行う。例えば、入力された音声データの認識結果により、例えば安否確認対象者の健康状態が良い時と、良くない時で、発話内容を変えることで、より親しみのある安否確認となる。例えば、健康状態が「悪」の場合は、再発話手段は「そうですか、お大事にしてくださいね」などと発話する指令を音声制御部２０３に送信する。健康状態が「良」の場合は「よかった。」などと発話する指令を音声制御部２０３に送信する。健康状態が「中」の場合は、「そうですか、わたしもまあまあです」などと発話する指令を音声制御部２０３に送信する。このように、直観的で、人間味のある返答内容となるように発話制御することで、気持ちのよい安否確認システム１０を構築することができる。これにより、継続的な安否確認の負担軽減と、使い勝手の向上が図られる。 The re-utterance means performs utterance control including the recognition result of the voice data of the safety confirmation target inputted corresponding to the execution of the initial utterance means, that is, the utterance content corresponding to the safety information. For example, based on the recognition result of the input voice data, for example, by changing the utterance contents between when the health confirmation target person is in good health and when it is not good, the safety confirmation becomes more familiar. For example, when the health condition is “bad”, the re-utterance means transmits a command to speak to the voice control unit 203 such as “Oh, please take care”. When the health condition is “good”, a command to utter “good” or the like is transmitted to the voice control unit 203. When the health state is “medium”, a command to speak “Yes, I ’m OK” is transmitted to the voice control unit 203. In this manner, the comfortable safety confirmation system 10 can be constructed by controlling the utterance so that the response content is intuitive and impersonal. Thereby, the burden of continuous safety confirmation can be reduced and the usability can be improved.

また、再発話手段は、安否確認対象者への再度の返答内容に、安否確認対象者のスケジュール情報に対応した発話内容を含む発話制御を行うことができる。スケジュール情報としては例えば「ごみの日」「タ方にお稽古」「友達と会う日」などが挙げられる。例えば、再発話手段は「そうですか。お元気で何よりです。今日はゴミの日ですよ！」「よかった。今日は１０時に公民館で敬老会ですよ」などと発話する指令を音声制御部２０３に送信する。このような構成とすることで、単なる対話による安否確認より、有用な情報が得られるため、進んで冷蔵庫１１を使用することができる。このため、安否確認対象者は、毎日継続して冷蔵庫１１を使用するようになり、安否情報の取得が容易となる。 In addition, the re-utterance means can perform utterance control including the utterance content corresponding to the schedule information of the safety confirmation target person in the reply content to the safety confirmation target person again. Examples of the schedule information include “garbage day”, “rehearsal for a person”, “day to meet friends”, and the like. For example, the voice control unit 203 gives a command to utter, for example, “Oh, how are you doing. Today is a garbage day!” “Good. Today is a reunion party at a public hall at 10:00.” Send to. By setting it as such a structure, since useful information is obtained rather than the safety confirmation by a mere dialogue, the refrigerator 11 can be used in advance. For this reason, the safety confirmation target person uses the refrigerator 11 continuously every day, and it becomes easy to acquire the safety information.

ところで、スケジュール内容を付加した発話制御を、上述の初期発話手段によって実行させることも可能であるが、会話の初めに問いかけ内容が長くなると、安否確認対象者は待ちきれないことがある。そのため、安否確認対象者が発話する前の問いかけ内容に上述のスケジュール情報を含めるよりも、発話後の再度の返答内容に含めるほうが望ましい。このように、再発話手段による発話に、スケジュール情報を含めることで、安否確認対象者は有用な情報を得られるとともに、飽きずに安否確認の入力を継続することができる。スケジュール情報は、例えば、操作パネル１２、端末２６を操作することにより、情報を入力し、クラウドサーバ２４に記憶させるようにする。 By the way, although it is possible to execute the utterance control to which the schedule content is added by the above-mentioned initial utterance means, if the inquiry content becomes long at the beginning of the conversation, the safety confirmation target person may not be able to wait. For this reason, it is preferable to include the above-described schedule information in the contents of the re-answer after the utterance rather than the above-described schedule information in the contents of the inquiry before the safety confirmation target person speaks. In this way, by including schedule information in the utterance by the recurrent utterance means, the safety confirmation target person can obtain useful information and can continue inputting safety confirmation without getting tired. As the schedule information, for example, by operating the operation panel 12 and the terminal 26, information is input and stored in the cloud server 24.

さらに、再発話手段は、発話内容に外部からの伝言情報を含めるような発話制御を実行することができる。冷蔵庫１１、宅内端末１４及び端末２６は、クラウドサーバ２４に接続されているため、例えば端末２６から送信された伝言情報（例えば電子メールなどにより送信された内容）を受け取ることができる。再発話手段は、安否確認対象者に対する発話内容に、これら伝言情報の内容を含める処理を行うことができる。このような構成とすれば、電子メールなどの操作に不慣れなユーザに対しても、音声により伝言内容を伝えることができるため、使い勝手がよい安否確認システム１０を構築できる。例えば、離れて暮らす家族から端末２６を用いて、「○○ちやん、はいはいしたよ」との伝言が冷蔵庫１１に対して送信されると、再発話手段は、例えば「よかった。○○さんからお手紙です。○○ちやん、はいはいしたよ〜、とのことです。」などと発話する指令を音声制御部２０３に送信する。ちょっとしたことを伝え合えることで、毎日の安否確認を、より楽しく続けることができる。このような構成にすることにより、安否確認時に伝言情報に対応した発話内容を含ませることで、有用な情報を得られるとともに、継続的な安否確認の負担軽減と、使い勝手の向上が図られる。 Furthermore, the re-utterance means can execute utterance control that includes message information from outside in the utterance content. Since the refrigerator 11, the home terminal 14, and the terminal 26 are connected to the cloud server 24, for example, message information transmitted from the terminal 26 (for example, content transmitted by e-mail or the like) can be received. The re-utterance means can perform processing for including the contents of these message information in the utterance contents for the safety confirmation target person. With such a configuration, the content of the message can be transmitted by voice even to a user who is not accustomed to an operation such as e-mail, so that the user-friendly safety confirmation system 10 can be constructed. For example, when a message such as “XX Chiyan, yes yes” is sent to the refrigerator 11 using the terminal 26 from a family living remotely, the recurrence means is, for example, “Good. It is a letter. It is XX Chiyan, yes, yes ... ", etc." is transmitted to the voice control unit 203. By communicating a little bit of things, you can continue to make everyday safety checks more enjoyable. With such a configuration, useful information can be obtained by including the utterance content corresponding to the message information at the time of safety confirmation, and the burden of continuous safety confirmation can be reduced and the usability can be improved.

また、クラウドサーバ２４は、端末２６に対し、指定したタイミングで認識結果を送信するように構成される。クラウドサーバ２４は、冷蔵庫１１から送信された安否情報を記憶することができ、この内容を例えば端末２６に登録された電子メールのメールアドレスに、あらかじめ定めた時刻に送信するようにする。また、電子メールを利用することに代えて、端末２６に常時起動する常駐アプリをインストールし、これによってクラウドサーバ２４に定期的にアクセスすることで安否情報を取得してもよい。このような構成にすれば、離れて暮らす家族は端末２６を用いて、クラウドサーバ２４に接続する特段の操作を必要とすることなく安否情報を確認しやすくなり、安否確認システム１０の使い勝手が向上する。 The cloud server 24 is configured to transmit the recognition result to the terminal 26 at a designated timing. The cloud server 24 can store the safety information transmitted from the refrigerator 11, and transmits the contents to a mail address registered in the terminal 26 at a predetermined time, for example. Further, instead of using e-mail, safety information may be acquired by installing a resident application that is always activated in the terminal 26 and periodically accessing the cloud server 24 thereby. With this configuration, it becomes easier for a family living away from the terminal 26 to check the safety information without requiring any special operation to connect to the cloud server 24, and the usability of the safety confirmation system 10 is improved. To do.

また、安否情報に健康状態が付加された情報をクラウドサーバ２４に記憶させる場合に、クラウドサーバ２４は、健康状態＝「良」「中」「悪」などの判定結果に分類して記憶するように構成されるようにする。分類は、「良」「中」「悪」に代えて、より親しみやすい表現である「元気」「まあまあ」「よくない]などの三段階による分類とすることもできるし、また、「とっても元気」「元気」「まあまあ」「ちょっと元気ない」「よくない]などのように五段階の分類とすることもできる。これら健康状態の情報を、離れて暮らす家族などが端末２６を用いて確認することができる。これらの健康状態の情報だけでも有用であるが、安否確認対象者が発話した発話内容もあわせて確認することで、より詳細な安否確認対象者の情報を把握することができる。また、発話内容から、認知症の徴候を検知することも対応できる。これにより、共有情報の深化が図られ、さらに使い勝手の良い安否確認システム１０を構築することができる。また、利用者にとって負担が少なく、取得する情報を豊富化させることにより利便性を高めた安否確認システムを提供することができる。 In addition, when the cloud server 24 stores information in which the health status is added to the safety information, the cloud server 24 classifies and stores the health status = “good”, “medium”, “bad”, and the like. To be configured. Instead of “good”, “medium”, and “bad”, the classification can be classified into three levels, such as “goodness”, “good”, and “bad”, which are more friendly expressions. It can be classified into five levels, such as “good”, “good”, “good”, “a little bad”, “not good”, etc. This information on the state of health can be used by a family member who lives remotely using the terminal 26. These health status information alone is useful, but by confirming the utterances spoken by the safety confirmation subject, it is possible to grasp more detailed information on the safety confirmation subject. It is also possible to detect signs of dementia from the utterance content, thereby deepening the shared information and constructing a user-friendly safety confirmation system 10. Taken less burden, it is possible to provide a safety confirmation system with enhanced convenience by enrich information to be obtained.

（第２実施形態）
次に第２実施形態について説明する。図３に第２実施形態に係る安否確認システム１０の構成の一例を示す。図４に、第２実施形態に係る冷蔵庫１１の構成の一例を示す。操作パネル１２は、通信部２０５、制御部２０６、音声入出力部２０４及び表示部２０７を備えている。通信部２０５は冷蔵庫１１の主制御装置３０と通信を行い、種々のデータの授受を行う。通信部２０５による通信は有線通信であってもよいし、無線通信でもよいが、後述するように操作パネル１２を冷蔵庫１１本体から取り外し可能とする場合は、無線通信とする。制御部２０６は、操作パネル１２の制御を担い、音声入出力部２０４及び表示部２０７の制御を行う。第２実施形態が第１実施形態と異なる点は、操作パネル１２に音声入出力部２０４及び表示部２０７の備えた点である。その他の構成、及び制御内容は第１実施形態と同じである。 (Second Embodiment)
Next, a second embodiment will be described. FIG. 3 shows an example of the configuration of the safety confirmation system 10 according to the second embodiment. In FIG. 4, an example of a structure of the refrigerator 11 which concerns on 2nd Embodiment is shown. The operation panel 12 includes a communication unit 205, a control unit 206, a voice input / output unit 204, and a display unit 207. The communication unit 205 communicates with the main control device 30 of the refrigerator 11 to exchange various data. The communication by the communication unit 205 may be wired communication or wireless communication. However, when the operation panel 12 can be removed from the main body of the refrigerator 11 as described later, wireless communication is used. The control unit 206 controls the operation panel 12 and controls the voice input / output unit 204 and the display unit 207. The second embodiment is different from the first embodiment in that the operation panel 12 includes a voice input / output unit 204 and a display unit 207. Other configurations and control contents are the same as those in the first embodiment.

第２実施形態において、安否確認システム１０は、第１実施形態と同様に、初期発話手段、安否状態認識手段、安否情報取得手段、及び再発話手段を有する。初期発話手段、及び再発話手段は主制御装置３０がその機能を担うものであり、例えば主制御装置３０のＲＯＭに記憶されたプログラムを実行することによりその機能が達成される。図２においては、主制御装置３０が初期発話手段、及び再発話手段を備える構成を例示しているが、これに代えて、操作パネル１２の制御部２０６が初期発話手段、及び再発話手段を備える構成としてもよい。安否状態認識手段は第１実施形態と同様にクラウドサーバ２４がその機能を担う。安否情報取得手段は、操作パネル１２が備える音声入出力部２０４が発話及び音声データの入力を受けることにより、また、表示部２０７が安否確認対象者の手入力を受けることにより、その機能を担う。なお、表示部２０７は例えばタッチパネル機能を有した液晶表示機器であり、入力部を表示させ、これを押下することによりコマンドの入力が可能となるように構成されている。操作パネル１２は冷蔵庫１１本体から取り外し可能とする構成としてもよい。この場合は、操作パネル１２が備える通信部２０５は、無線通信を可能とする構成とする。 In the second embodiment, the safety confirmation system 10 includes an initial utterance unit, a safety state recognition unit, a safety information acquisition unit, and a recurrence unit as in the first embodiment. The initial utterance means and the recurrent utterance means are the functions of the main controller 30, and for example, the functions are achieved by executing a program stored in the ROM of the main controller 30. In FIG. 2, the main controller 30 exemplifies a configuration including the initial utterance means and the recurrent utterance means, but instead, the control unit 206 of the operation panel 12 includes the initial utterance means and the recurrent utterance means. It is good also as a structure provided. The security server recognizes the function of the safety state recognition means as in the first embodiment. The safety information acquisition means assumes its function when the voice input / output unit 204 provided in the operation panel 12 receives input of speech and voice data, and the display unit 207 receives manual input of the safety confirmation target person. . The display unit 207 is, for example, a liquid crystal display device having a touch panel function, and is configured to display an input unit and to input a command by pressing the input unit. The operation panel 12 may be configured to be removable from the refrigerator 11 main body. In this case, the communication unit 205 included in the operation panel 12 is configured to enable wireless communication.

このように、第２実施形態によれば、第１実施形態と同様の効果を有する。また、第２実施形態によれば、操作パネル１２に、初期発話手段、再発話手段を備えさせる構成とすることで、安否確認システム１０の利便性がより向上する。さらに操作パネル１２を冷蔵庫１１本体から取り外し可能とすれば、さらに安否確認システム１０の利便性がより向上する。これにより継続的な安否確認の負担軽減と、安否確認システム１０の使い勝手の向上が図られる。 Thus, according to the second embodiment, the same effects as those of the first embodiment are obtained. Moreover, according to 2nd Embodiment, the convenience of the safety confirmation system 10 improves more by setting it as the structure by which the operation panel 12 is equipped with an initial utterance means and a recurrence means. Further, if the operation panel 12 is removable from the refrigerator 11 main body, the convenience of the safety confirmation system 10 is further improved. Thereby, the burden of continuous safety confirmation can be reduced and the usability of the safety confirmation system 10 can be improved.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

図面中、１０は安否確認システム、１１は冷蔵庫（家電機器、安否情報取得手段）、１２は操作パネル（操作部、初期発話手段、再発話手段、安否情報取得手段）、１６は通信機器、１８は家庭内ネットワーク、２２はインターネット、２４はクラウドサーバ（外部機器、安否状態認識手段）、２６は端末（安否情報確認手段）、３０は主制御装置（初期発話手段、再発話手段）、２０１は扉開閉センサ、２０２は人感センサ、２０３は音声制御部、２０４は音声入出力部（音声入出力手段、安否情報取得手段）、２０５は通信部、２０６は制御部（初期発話手段、再発話手段）、２０７は表示部を示す。 In the drawings, 10 is a safety confirmation system, 11 is a refrigerator (home appliances, safety information acquisition means), 12 is an operation panel (operation unit, initial speech means, relapse speech means, safety information acquisition means), 16 is a communication device, 18 Is a home network, 22 is the Internet, 24 is a cloud server (external device, safety status recognition means), 26 is a terminal (safety information confirmation means), 30 is a main control device (initial speech means, recurrent speech means), and 201 is Door open / close sensor, 202 human sensor, 203 voice control unit, 204 voice input / output unit (voice input / output means, safety information acquisition means), 205 communication unit, 206 control unit (initial speech means, recurrent speech) Means), 207 denotes a display unit.

Claims

At least one of a human sensor, a door opening / closing sensor, or an operation unit, and a refrigerator including voice input / output means,
An external device connectable to the refrigerator via the Internet,
At least any one of a detection signal of a safety confirmation target person (hereinafter referred to as a target person) acquired by the human sensor, a door opening / closing detection signal acquired by a door opening / closing sensor, or an input signal to the operation unit Initial utterance means for performing utterance control on the target person via the voice input / output means,
In response to this, safety information acquisition means for acquiring voice data input to the voice input / output means by the subject,
Recognizing a safety state by analyzing the voice data, and generating a safety state recognition unit;
Recurrent speech means for performing speech control on the subject again with the content according to the safety state,
The safety information is stored in the external device,
A safety confirmation system comprising a safety information confirmation unit that is connected to the external device via the Internet and can browse the safety information.

The refrigerator or the external device further includes a clock,
The safety confirmation system according to claim 1, wherein the utterance content by the initial utterance means includes utterance content corresponding to time information acquired from the clock.

The refrigerator or the external device has a calendar function,
The safety confirmation system according to claim 1 or 2, wherein the utterance content by the initial utterance means includes utterance content corresponding to date information and season information acquired from a calendar function of the external device.

4. The safety confirmation system according to claim 1, wherein the utterance control by the re-utterance means includes utterance contents corresponding to the safety information recognized by the safety information acquisition means. 5.

The external device can store the schedule information of the target person,
The safety confirmation system according to any one of claims 1 to 4, wherein the utterance content by the re-utterance means includes utterance content corresponding to the schedule information acquired from the external device.

The initial utterance means has message information,
The safety confirmation system according to any one of claims 1 to 5, wherein the utterance content by the initial utterance means includes utterance content corresponding to the message information.

Storing the safety information in the external device;
The safety check system according to any one of claims 1 to 6, wherein the external device transmits the safety information to a predetermined mail address at a predetermined date and time.

The safety confirmation system according to any one of claims 1 to 7, wherein the safety information and the voice data are stored in the external device.

At least one of a human sensor, a door opening / closing sensor, or an operation unit, and voice input / output means,
At least any one of a detection signal of a safety confirmation target person (hereinafter referred to as a target person) acquired by the human sensor, a door opening / closing detection signal acquired by a door opening / closing sensor, or an input signal to the operation unit Initial utterance means for performing utterance control on the target person via the voice input / output means,
In response to this, safety information acquisition means for acquiring voice data input to the voice input / output means by the subject,
Recurrent speech means for performing speech control on the subject again with the content according to the safety state,
It has safety state recognition means for recognizing a safety state by analyzing the voice data and generates safety information, and is configured to be connectable to an external device capable of storing the safety information via the Internet. A refrigerator characterized by.