JP2017215639A - ネットワークシステム、音声出力方法、サーバおよび電気機器 - Google Patents

Abstract

【課題】従来よりも適切にメッセージを出力することができるネットワークシステム、音声出力方法、サーバおよび電気機器を提供する。【解決手段】音声を出力可能な第１の機器２００Ａと、第１の機器２００Ａと通信可能なサーバ１００と、を備えるネットワークシステム１が提供される。サーバ１００は、第１の機器２００Ａの近傍に人が検知されたときに第１の機器２００Ａにメッセージを音声出力させ、第１の機器２００Ａの近傍に人が検知されなくなったときにメッセージの音声出力を停止させ、第１の機器２００Ａの近傍に人が再度検知されたときに音声出力の停止位置に基づいてメッセージの音声出力を再開させる。【選択図】図１

Description

本発明は、ユーザにメッセージを出力するための技術に関する。

従来から、電気機器がユーザにメッセージを出力するための様々な技術が提案されている。特開２００２―２２１９９２号公報（特許文献１）には、人物特定システムが開示されている。特許文献１によると、対話制御手段は各人物単位で、本システムからの発話が行われた場合の発話時刻や人物からの返答語句を対話テーブルに記録する。質問テーブルは対話テーブルに保持される発話時刻や返答語句を問い合わせる質問が定義されている。対話制御手段は、質問テーブルに保持される質問を音声合成手段を用いて音声出力部へ出力し、質問に対する人物からの回答を音声認識手段を用いて変換し、この変換結果と対話テーブルに保持される発話時刻や返答語句と比較して対話テーブルに登録されている各人物ごとに得点化を行う。各人物の中で、得点合計が最も高い人物を特定する。

特開２００２―２２１９９２号公報

しかしながらユーザに出力すべきメッセージの全てが当該ユーザに向けて出力されない可能性が高かった。そこで、本発明の目的は、従来よりも適切にユーザに向けてメッセージを出力することができるネットワークシステム、音声出力方法、サーバおよび電気機器を提供することにある。

この発明のある態様に従うと、音声を出力可能な第１の機器と、前記第１の電気機器と通信可能なサーバと、を備えるネットワークシステムが提供される。前記第１の機器の近傍に人が検知されたときに前記第１の機器にメッセージを音声出力させ、前記第１の機器の近傍に人が検知されなくなったときに前記メッセージの音声出力を停止させ、前記第１の機器の近傍に人が再度検知されたときに前記音声出力の停止位置に基づいて前記メッセージの音声出力を再開させる。

好ましくは、ユーザ毎にメッセージの音声出力の停止位置を示す情報を記憶し、ユーザ毎に当該停止位置を示す情報に基づいて前記メッセージの音声出力を再開させる。

好ましくは、ネットワークシステムは、第２の機器をさらに備える。前記サーバは、前記第２の機器の近傍に人が検知されたときに、前記第１の機器による前記音声出力の停止位置の情報を記憶し、前記停止位置に基づいて前記第２の機器に前記メッセージの音声出力を再開させる。

好ましくは、前記メッセージの音声出力の再開に適した複数の再開位置が予め規定される。前記メッセージの音声出力の停止位置よりも前の前記再開位置から前記メッセージの前記音声出力を再開させる。

好ましくは、前記メッセージの音声出力の停止のときから前記メッセージの音声出力の再開のときまでの時間が長いほど、前記再開位置を遡って前記メッセージの前記音声出力を再開させる。

好ましくは、前記メッセージの音声出力を再開させる際に、前記メッセージの音声出力を再開することを示すための所定の文言を出力させる。

この発明の別の局面に従うと、第１の機器の近傍に人が検知されたときに、前記第１の機器にメッセージを音声出力させるステップと、前記第１の機器の近傍に人が検知されなくなったときに、前記メッセージの音声出力を停止させるステップと、前記音声出力の停止位置の情報を記憶させるステップと、前記第１の機器の近傍に人が再度検知されたときに、前記音声出力の停止位置に基づいて前記メッセージの音声出力を再開させるステップとを備える、音声出力方法が提供される。

この発明の別の局面に従うと、第１の電気機器と通信するための通信インターフェイスと、プロセッサとを備えるサーバが提供される。前記プロセッサは、前記通信インターフェイスを介して、前記第１の機器の近傍に人が検知されたときに前記第１の機器にメッセージを音声出力させ、前記第１の機器の近傍に人が検知されなくなったときに前記第１の機器から送信された前記メッセージの音声出力の停止位置の情報を記憶させ、前記第１の機器の近傍に人が再度検知されたときに前記音声出力の停止位置に基づいて前記メッセージの音声出力を再開させる。

この発明の別の局面に従うと、スピーカと、プロセッサとを備える電気機器が提供される。前記プロセッサは、近傍に人が検知されたときに前記スピーカにメッセージを音声出力させ、近傍に人が検知されなくなったときに前記メッセージの音声出力を停止させ、前記音声出力の停止位置の情報を記憶させ、近傍に人が再度検知されたときに前記音声出力の停止位置に基づいて前記スピーカに前記メッセージの音声出力を再開させる。

以上のように、この発明によれば、従来よりも適切にメッセージを出力することができるネットワークシステム、音声出力方法、サーバおよび電気機器が提供される。

第１の実施の形態にかかるネットワークシステム１の全体構成と動作概要とを示すイメージ図である。 第１の実施の形態にかかるネットワークシステム１の機能構成を表わすブロック図である。 第１の実施の形態にかかるネットワークシステム１によって実行される第１の情報処理を示すシーケンス図である。 第１の実施の形態にかかるネットワークシステム１によって実行される第２の情報処理を示すシーケンス図である。 第１の実施の形態にかかるサーバ１００のハードウェア構成を表わすブロック図である。 第１の実施の形態にかかるグループデータベース１２１を示すイメージ図である。 第１の実施の形態にかかるユーザデータベース１２２を示すイメージ図である。 第１の実施の形態にかかる電気機器データベース１２３を示すイメージ図である。 第１の実施の形態にかかる音声メッセージデータベース１２４を示すイメージ図である。 第１の実施の形態にかかる保留データベース１２５を示すイメージ図である。 第１の実施の形態にかかるサーバ１００における情報処理を示すフローチャートである。 第１の実施の形態にかかる電気機器としての電気機器２００のハードウェア構成を表わすブロック図である。 第１の実施の形態にかかる電気機器２００における情報処理を示すフローチャートである。 第２の実施の形態にかかるサーバ１００における情報処理を示すフローチャートである。 第３の実施の形態にかかるメッセージデータベース１２４を示すイメージ図である。 第４の実施の形態にかかるネットワークシステム１の全体構成と動作概要とを示すイメージ図である。 第５の実施の形態にかかるネットワークシステム１によって実行される情報処理を示すシーケンス図である。 第６の実施の形態にかかるネットワークシステム１の全体構成と動作概要とを示すイメージ図である。 第７の実施の形態にかかるネットワークシステム１の全体構成と動作概要とを示すイメージ図である。 第８の実施の形態にかかる第１の保留データベース１２５Ｂを示すイメージ図である。 第８の実施の形態にかかる第２の保留データベース１２５Ｃを示すイメージ図である。 第９の実施の形態にかかるネットワークシステム１の全体構成と動作概要とを示すイメージ図である。 第９の実施の形態にかかるユーザデータベース２２２を示すイメージ図である。 第９の実施の形態にかかる音声メッセージデータベース２２４を示すイメージ図である。 第９の実施の形態にかかる保留データベース２２５を示すイメージ図である。 第９の実施の形態にかかる電気機器２００における情報処理を示すフローチャートである。 第１１の実施の形態にかかる第１のネットワークシステム１の全体構成と動作概要とを示すイメージ図である。 第１１の実施の形態にかかる第２のネットワークシステム１の全体構成と動作概要とを示すイメージ図である。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
＜第１の実施の形態＞
＜ネットワークシステムの全体構成と動作概要＞

まず、本実施の形態にかかるネットワークシステム１の全体構成と動作概要について説明する。図１は、本実施の形態にかかるネットワークシステム１の全体構成と動作概要とを示すイメージ図である。

まず、図１を参照して、本実施の形態にかかるネットワークシステム１の全体構成について説明する。本実施の形態にかかるネットワークシステム１は、主に、サーバ１００と、サーバ１００と通信可能な電気機器としての冷蔵庫２００Ａとを含む。

なお、電気機器は、冷蔵庫２００Ａに限らず、洗濯機、エアコン、空気清浄機、電子レンジ、洗濯機、自走式掃除機、照明機器などの家電、スマートフォン、テレビ、ハードディスクレコーダ、音楽プレーヤー、ゲーム機などのＡＶ（オーディオ・ビジュアル）機器、太陽光発電気、インターホン、給湯器、カメラ、照明器具、音声センサ、画像センサなどの住宅設備、などであってもよい。以下では、これらの機器を総称して、電気機器２００ともいう。

次に、図１（Ａ）を参照して、本実施の形態にかかるネットワークシステム１の動作概要について説明する。まず、電気機器としての冷蔵庫２００Ａは、自身の人感センサまたは通信可能な外部の人感センサなどを介して、定期的に周囲に人がいるかどうかを調べる。そして、冷蔵庫２００Ａは、人を検知すると、当該人に関する画像データや音声データやその他のデータをサーバ１００に送信する。

サーバ１００は、冷蔵庫２００Ａから受信したデータに基づいて、冷蔵庫２００Ａの周囲にいるユーザを特定する。そして、サーバ１００は、特定したユーザに伝えるべきメッセージの音声データを生成する。サーバ１００は、冷蔵庫２００Ａに当該ユーザに向けたメッセージの音声データを送信する。冷蔵庫２００Ａは、受信したメッセージの音声を出力する。

図１（Ｂ）を参照して、冷蔵庫２００Ａは、人がいないことを検知すると、あるいは人が検知できなくなると、メッセージの音声出力を停止する。冷蔵庫２００Ａは、メッセージのうちの音声出力を停止した部分を示すデータをサーバ１００に送信する。サーバ１００は、冷蔵庫２００Ａから受信したデータに基づいて、上記のユーザに対して出力すべきメッセージのうちの、既に出力が完了した部分、たとえば出力が完了したフレーズを示す情報を格納する。

図１（Ｃ）を参照して、冷蔵庫２００Ａは、自身の人感センサまたは通信可能な外部の人感センサなどを介して、再度人を検知すると、当該人に関する画像データや音声データやその他のデータをサーバ１００に送信する。サーバ１００は、冷蔵庫２００Ａから受信したデータに基づいて、冷蔵庫２００Ａの周囲にいるユーザを特定する。そして、サーバ１００は、特定したユーザに関して音声出力を途中で停止したメッセージがあるか否かを判断する。サーバ１００は、停止した部分から少し遡った箇所からのメッセージの音声データを生成する。サーバ１００は、冷蔵庫２００Ａに当該音声データを送信する。冷蔵庫２００Ａは、受信したデータに基づいて、前回停止した部分から少し遡った箇所からのメッセージの音声を出力する。

以上のように、本実施の形態にかかるネットワークシステム１は、ユーザに対応付けられたメッセージを音声出力し、ユーザが電気機器の近くからいなくなった時点でメッセージの音声出力を中断し、ユーザが戻ってきた際に前回音声出力を中断した箇所から少し遡った箇所からメッセージの音声出力を再開する。これによって、ユーザがメッセージを聞き逃す可能性を低減することができるし、ユーザが聞いていないのに無駄に音声を出力することを低減することができる。以下、このような機能を実現するためのネットワークシステム１の機能構成について詳述する。
＜ネットワークシステム１の機能構成＞

まず、ネットワークシステム１の機能構成の一態様について説明する。なお、図２は、本実施の形態にかかるネットワークシステム１の機能構成を表わすブロック図である。

図２を参照して、ネットワークシステム１は、サーバ１００と、インターネットなどのネットワークを介して当該サーバ１００と通信可能な電気機器２００とを含む。なお、電気機器２００がスピーカ２７０やマイク２８０や各種のカメラ３００を含んでもよいし、電気機器２００とは別の電気機器２００が通信可能なスピーカ２７０やマイク２８０や各種のセンサが準備されてもよい。

サーバ１００は、後述するＣＰＵがプログラムを実行することによって実現される情報処理部１１０Ａや音声データ生成部１１０Ｂや、後述するＣＰＵおよび後述する通信インターフェイスによって実現される情報取得部１６０Ａやデータ送信部１６０Ｂや、各種テーブル１２０Ａを含む。

情報取得部１６０Ａは、電気機器２００から、人物の特徴データ、前回発話フレーズなどの情報を取得する。

情報処理部１１０Ａは、人物特定情報、前回発話フレーズを各種テーブル１２０Ａに格納する。情報処理部１１０Ａは、人物特定情報から、発話の続きがある場合は、続きのメッセージを取得して、音声データ生成部１１０Ｂへ渡す。

音声データ生成部１１０Ｂは、メッセージの音声データを生成する。

データ送信部１６０Ｂは、音声データを電気機器２００へ送信する。

なお、各種テーブルは、人物を特定する為の情報を含む情報管理テーブルと、元の音声発話のための情報を含む管理テーブルと、前回に音声発話を中断したときの情報を格納する保留管理テーブルと、音声発話のログを管理するテーブルなどを含む。

一方、電気機器２００は、後述するＣＰＵがプログラムを実行することによって実現される検知部２１０Ａや音声発話制御部２１０Ｂや、後述するＣＰＵおよび後述する通信インターフェイスによって実現される情報送信部２６０Ａやデータ受信部２６０Ｂや、各種のテーブルを含む。

検知部２１０Ａは、各センサからのデータに基づいて、人物の検知をしたり、各センサが持つ人物特定情報を情報送信部２６０Ａに受け渡したり、検知の状態を音声発話制御部２１０Ｂに受け渡したりする。

音声発話制御部２１０Ｂは、サーバ１００からの音声データに基づいて、音声データを発話する。音声発話制御部２１０Ｂは、人物を検知しなくなった際に、検知部２１０Ａのトリガーを受けて、音声発話を中断し、前回発話フレーズを特定するための情報を情報送信部２６０Ａに受け渡す。

情報送信部２６０Ａは、人物の特徴データや前回発話フレーズを示す情報をサーバ１００に送信する。

データ受信部２６０Ｂは、サーバ１００側で合成した音声データをダウンロードし、音声発話制御部２１０Ｂへ渡す。

以下では、図３と図４を参照して、本実施の形態にかかるネットワークシステム１にて実行される情報処理について説明する。なお、図３は、本実施の形態にかかるネットワークシステム１によって実行される第１の情報処理を示すシーケンス図である。図４は、本実施の形態にかかるネットワークシステムによって実行される第２の情報処理を示すシーケンス図である。
＜ネットワークシステム１全体の情報処理＞

まず、図３を参照して、冷蔵庫２００Ａと接続可能なカメラ３００が、人物Ａの目線を検知すると（ステップＳ１０２）、カメラ３００は、人物Ａを特定するための特徴データを冷蔵庫２００Ａに送信する（ステップＳ１０４）。冷蔵庫２００Ａの検知部２１０Ａは、情報送信部２６０Ａを介して当該特徴データをサーバ１００に送信する（ステップＳ１０６）。ただし、冷蔵庫２００Ａが、特徴データからユーザを特定するものであってもよい。

サーバ１００の情報取得部１６０Ａは冷蔵庫２００Ａからのデータを受信して、情報処理部１１０Ａに受け渡す。情報処理部１１０Ａは、当該データに基づいて、ユーザを特定し、当該ユーザに出力すべきメッセージを抽出する。音声データ生成部１１０Ｂは、当該メッセージに基づいて当該ユーザへの音声データを生成する。

データ送信部１６０Ｂは、音声データを冷蔵庫２００Ａに送信する（ステップＳ１０８）。冷蔵庫２００Ａのデータ受信部２６０Ｂは、サーバ１００からの音声データを受信して、音声発話制御部２１０Ｂに受け渡す。音声発話制御部２１０Ｂは、音声データを出力する（ステップＳ１１０）。

その後、カメラ３００が、人物Ａの目線を検知しなくなると（ステップＳ１１２）、カメラ３００はメッセージを聞く人物がいなくなった旨のデータを冷蔵庫２００Ａに送信する（ステップＳ１１４）。冷蔵庫２００Ａの音声発話制御部２１０Ｂは、当該データに基づいて、メッセージの音声出力を中断する（ステップＳ１１６）。冷蔵庫２００Ａの情報送信部２６０Ａは、音声出力を中断したメッセージ自体を特定する情報や、当該メッセージの中断した箇所を示す情報、たとえば音声出力が完了したフレーズを指定するための情報などをサーバ１００に送信する（ステップＳ１１８）。サーバ１００の情報処理部１１０Ａは、当該ユーザと当該メッセージの音声出力が完了したフレーズを指定するための情報を蓄積する。

図４を参照して、その後、冷蔵庫２００Ａと接続可能なカメラ３００が、再度、人物Ａの目線を検知すると（ステップＳ１２２）、カメラ３００は、人物Ａを特定するための特徴データを冷蔵庫２００Ａに送信する（ステップＳ１２４）。冷蔵庫２００Ａの検知部２１０Ａは、情報送信部２６０Ａを介して当該特徴データをサーバ１００に送信する（ステップＳ１２６）。

サーバ１００の情報取得部１６０Ａは冷蔵庫２００Ａからのデータを受信して、情報処理部１１０Ａに受け渡す。情報処理部１１０Ａは、当該データに基づいて、ユーザを特定し、当該ユーザに出力すべきメッセージを抽出する。ここでは、音声データ生成部１１０Ｂが、メッセージの途中から、すなわち前回すでに音声出力が完了した箇所の少し前のキリの良いところから、当該メッセージに基づいて当該ユーザへの音声データを生成する。

データ送信部１６０Ｂは、音声データを冷蔵庫２００Ａに送信する（ステップＳ１２８）。冷蔵庫２００Ａのデータ受信部２６０Ｂは、サーバ１００からの音声データを受信して、音声発話制御部２１０Ｂに受け渡す。音声発話制御部２１０Ｂは、音声データを出力する（ステップＳ１３０）。

冷蔵庫２００Ａは、メッセージの音声出力が完了すると、音声発話を終了して（ステップＳ１３２）、メッセージの音声出力が最後まで完了した旨をサーバ１００に送信する（ステップＳ１３４）。サーバ１００の情報処理部は、当該ユーザに対して当該メッセージの音声出力が完了した旨を記憶する。
＜サーバ１００のハードウェア構成＞

以下では、このような機能を実現するためのネットワークシステム１の具体的なハードウェア構成について詳述する。まず、図５を参照して、ネットワークシステム１を構成するサーバ１００のハードウェア構成の一態様について説明する。なお、図５は、本実施の形態にかかるサーバ１００のハードウェア構成を表わすブロック図である。

サーバ１００は、主たる構成要素として、ＣＰＵ（Central Processing Unit）１１０と、メモリ１２０と、ディスプレイ１３０と、操作部１４０と、通信インターフェイス１６０とを含む。

ＣＰＵ１１０は、メモリ１２０に記憶されているプログラムを実行することによって、サーバ１００の各部を制御する。より詳細には、ＣＰＵ１１０は、メモリ１２０に格納されているプログラムを実行し、各種のデータを参照することによって、後述する各種の処理を実行する。

メモリ１２０は、各種のＲＡＭ（Random Access Memory）、各種のＲＯＭ（Read-Only Memory）、フラッシュメモリーなどによって実現される。なお、メモリ１２０は、インターフェイスを介して利用される、ＵＳＢ（Universal Serial Bus）（登録商標）メモリ、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ハードディスク、ＩＣ（Integrated Circuit）カード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）などの記憶媒体などによっても実現される。

メモリ１２０は、ＣＰＵ１１０によって実行されるプログラムや、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、入力されたデータ、その他の本実施の形態にかかるメッセージサービスに利用されるデータベースなどを記憶する。たとえば、メモリ１２０は、グループデータベース１２１や、ユーザデータベース１２２や、電気機器データベース１２３や、メッセージデータベース１２４や、保留データベース１２５などのデータを格納したりする。なお、本実施の形態においては、グループデータベース１２１や、ユーザデータベース１２２や、電気機器データベース１２３や、メッセージデータベース１２４や、保留データベース１２５が、サーバ１００に格納されているが、これらのデータはサーバ１００がアクセス可能な他の装置に格納されてもよい。

図６は、本実施の形態にかかるグループデータベース１２１を示すイメージ図である。図６を参照して、本実施の形態にかかるグループデータベース１２１は、家族や部署毎などのグループ毎に、グループＩＤと、グループ名との対応関係を格納する。

図７は、本実施の形態にかかるユーザデータベース１２２を示すイメージ図である。ユーザデータベース１２２は、ユーザ毎に、主に、ユーザＩＤと、ユーザ名と、家族などの所属するグループのＩＤと、ユーザを特定するためのセンサのタイプと、画像や音声などに基づくユーザの特徴データと、年齢や性別や性格や好みなどのユーザの属性と、ユーザのメールアドレスなどを含む。なお、ユーザデータベース１２２は、他にも、ＳＮＳサービスで利用されるユーザＩＤや属するグループのボードＩＤやユーザの住所なども含んでいることが好ましい。

図８は、本実施の形態にかかる電気機器データベース１２３を示すイメージ図である。図８を参照して、本実施の形態にかかる電気機器データベース１２３は、電気機器２００毎に、主に、電気機器のＩＤと、電気機器の商品名と、電気機器を所有する家族などのグループのＩＤまたは電気機器を所有するユーザのＩＤと、電気機器のアドレスなどを格納する。なお、電気機器データベース１２３は、ＳＮＳサービスで利用される機器ＩＤや属するグループのボードＩＤや電気機器が配置されている住所なども含んでいることが好ましい。

図９は、本実施の形態にかかるメッセージデータベース１２４を示すイメージ図である。図９を参照して、本実施の形態にかかるメッセージデータベース１２４は、登録される音声メッセージ毎に、主に、音声メッセージのＩＤと、メッセージの推奨出力先のユーザの属性と、メッセージの推奨出力先のグループのＩＤと、メッセージの推奨出力先のユーザのＩＤと、メッセージのテキストデータと、音声メッセージのファイルパスまたは格納先のアドレスと、メッセージに含まれるフレーズ数と、メッセージの有効期限と、メッセージが削除された日時と、メッセージが登録された日時と、その他の条件などを格納する。

図１０は、本実施の形態にかかる保留データベース１２５を示すイメージ図である。図１０を参照して、本実施の形態にかかる保留データベース１２５は、家族などのグループ毎に準備され、主に、保留ＩＤと、音声メッセージのＩＤと、メッセージの出力対象のユーザのＩＤと、メッセージの音声出力状況と、メッセージを出力した機器のＩＤと、メッセージの音声出力を中断した際の音声出力が完了したフレーズを特定するための情報と、前回メッセージの音声出力をした日時と、保留中のメッセージの音声出力の有効期限などを格納する。

より詳細には、ＣＰＵ１１０は、電気機器２００から検知されたユーザの特定情報を得た時に、当該ユーザまたは電気機器２００が音声出力先に適している音声メッセージを検索し、当該音声メッセージを電気機器２００にて出力し始めると、ユーザと音声メッセージとの関係を保留データベース１２５に登録する。ただし、ＣＰＵ１１０は、新たな音声メッセージがメッセージデータベース１２４に登録された際に、当該メッセージを音声出力すべきユーザや機器を抽出して、当該音声メッセージとユーザまたは機器との関係を保留データベース１２５に登録してもよい。この場合は、発話フラグが、「４：発話開始前」というフラグも含む。

図５に戻って、ディスプレイ１３０は、ＣＰＵ１１０からの信号に基づいて、テキストや画像を表示する。操作部１４０は、サービスの管理者などの命令を受け付けて、当該命令をＣＰＵ１１０に入力する。

通信インターフェイス１６０は、ＣＰＵ１１０からのデータを、インターネット、ルータなどを介して、電気機器２００などの他の装置に送信する。逆に、通信インターフェイス１６０は、インターネット、ルータなどを介して電気機器などの他の装置からのデータを受信して、ＣＰＵ１１０に受け渡す。
＜サーバ１００における情報処理＞

次に、図１１を参照しながら、本実施の形態にかかるメッセージ音声出力サービスを運営するサーバ１００における情報処理について説明する。なお、図１１は、本実施の形態にかかるサーバ１００における情報処理を示すフローチャートである。サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、電気機器２００からデータを受信した際に以下の処理を実行する。

ＣＰＵ１１０は、通信インターフェイス１６０を介して、電気機器２００からのデータからユーザを特定するためのデータを取得する（ステップＳ１７２）。なお、ＣＰＵ１１０は、電気機器２００からのユーザに関する画像データや音声データに基づいて、ユーザデータベース１２２を参照することによりユーザを特定してもよいし、電気機器２００から既に特定されたユーザＩＤを取得してもよい。

ＣＰＵ１１０は、ユーザＩＤに基づいて、保留データベース１２５を参照することにより、当該ユーザに対してメッセージの音声出力を保留しているものがないか、すなわち発話フラグが「０：発話中断」のメッセージがないか検索する（ステップＳ１７４）。ＣＰＵ１１０は、保留メッセージがあり、かつ当該保留メッセージの有効期限が未到来の場合（ステップＳ１７６にてＹＥＳである場合）、前回の発話フレーズの次のフレーズから最後までのメッセージの音声データを生成する（ステップＳ１７８）。

ＣＰＵ１１０は、音声データを電気機器２００に送信する（ステップＳ１８２）。これによって、電気機器２００は、前回停止した箇所が含まれるフレーズから最後までのメッセージを音声出力する。

一方、ＣＰＵ１１０は、保留メッセージがない場合（ステップＳ１７６にてＮＯである場合）、ＣＰＵ１１０は、ユーザデータベース１２２とメッセージデータベース１２４とを参照して、ユーザが音声出力先に適している新たなメッセージを検索する。ＣＰＵ１１０は、ユーザが音声出力先に適している新たなメッセージがある場合（ステップＳ１８４にてＹＥＳである場合）、当該メッセージの音声データを生成する（ステップＳ１１８６）。

ＣＰＵ１１０は、音声データを電気機器２００に送信する。これによって、電気機器２００は、新しいメッセージを音声出力する。

なお、ＣＰＵ１１０は、ユーザが音声出力先に適している新たなメッセージがない場合（ステップＳ１８４にてＮＯである場合）、電気機器２００から次のデータを待ち受ける。
＜電気機器としての家電のハードウェア構成＞

次に、ネットワークシステム１を構成する電気機器としての電気機器２００のハードウェア構成の一態様について説明する。なお、図１２は、本実施の形態にかかる電気機器としての電気機器２００のハードウェア構成を表わすブロック図である。

図１２を参照して、電気機器２００は、主たる構成要素として、ＣＰＵ２１０と、メモリ２２０と、ディスプレイ２３０、操作部２４０と、通信インターフェイス２６０と、スピーカ２７０と、マイク２８０と、機器駆動部２５０と、センサ２９０とを含む。

ＣＰＵ２１０は、メモリ２２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、電気機器２００の各部を制御する。

メモリ２２０は、各種のＲＡＭや、各種のＲＯＭなどによって実現される。メモリ２２０は、ＣＰＵ２１０によって実行されるプログラムや、ＣＰＵ２１０によるプログラムの実行により生成されたデータ、サーバ１００から受信したデータ、操作部２４０を介して入力されたデータなどを記憶する。

ディスプレイ２３０は、ＣＰＵ１１０からの信号に基づいて、文字や画像などを出力する。なお、ディスプレイ２３０は、単にライトであってもよい。

操作部２４０は、ボタン、タッチパネル、キーボードなどによって実現され、ユーザからの命令を受け付けて、当該命令をＣＰＵ２１０に入力する。

通信インターフェイス２６０は、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ａｃなどの無線ＬＡＮ通信、ＺｉｇＢｅｅ(登録商標)、ＢｌｕｅＴｏｏｔｈ（登録商標）、あるいは、イーサネット（登録商標）などの有線ＬＡＮなどの通信モジュールによって実現される。通信インターフェイス２６０は、有線通信あるいは無線通信によってサーバ１００などの他の装置との間でデータをやり取りする。すなわち、ＣＰＵ２１０は、通信インターフェイス２６０を介して、サーバ１００などの他の装置から各種の情報を受信したり、サーバ１００などの他の装置に各種の情報を送信したりする。

スピーカ２７０は、ＣＰＵ２１０からの信号に基づいて、メッセージなどの音声を出力する。マイク２８０は、外部からの音声に基づいてＣＰＵ２１０に音声信号を入力する。

機器駆動部２５０は、ＣＰＵ２１０からの信号に基づいて、電気機器の各部（モータやヒータなど）を制御する。

センサ２９０は、たとえば、人の存在を検知するための人感センサまたは画像センサ（カメラ）などの各種センサの少なくとも１つを含む。センサ２９０は、取得した結果をＣＰＵ２１０に受け渡す。ＣＰＵ２１０は、通信インターフェイス２６０を介して、センサ２９０からの測定結果を電気機器ＩＤとともにサーバ１００に送信する。
＜電気機器２００における情報処理＞

次に、図１３を参照しながら、本実施の形態にかかる電気機器２００における情報処理について説明する。なお、図１３は、本実施の形態にかかる電気機器２００における情報処理を示すフローチャートである。

まず、ＣＰＵ２１０は、人の存在を検知する（ステップＳ１５２）。なお、ＣＰＵ２１０は、電気機器２００自身のセンサ２９０を利用して人の存在を検知してもよいし、他の人感センサからのデータを利用してもよい。

次に、ＣＰＵ２１０は、人物を特定するための特徴データを取得する。なお、ＣＰＵ２１０は、電気機器２００自身のセンサ２９０を利用して人の画像や音声を取得してもよいし、他の画像センサや音声センサからのデータを利用してもよい。

ＣＰＵ２１０は、通信インターフェイス１６０を介して人物を特定するための特徴データをサーバ１００に送信する（ステップＳ１５４）。なお、上述したように、ＣＰＵ２１０は、ユーザに関する画像データや音声データをサーバ１００に送信するものであってもよいし、自身でユーザＩＤを特定してから当該ユーザＩＤをサーバ１００に送信するものであってもよい。

ＣＰＵ２１０は、通信インターフェイス１６０を介して、サーバ１００からデータを受信する（ステップＳ１５６）。ＣＰＵ２１０は、受信したデータに音声データが含まれているか否かを判断する（ステップＳ１５８）。ＣＰＵ２１０は、受信したデータに音声データが含まれていない場合（ステップＳ１５８にてＮＯである場合）、次の人物の検知を待ち受ける。

ＣＰＵ２１０は、受信したデータに音声データが含まれている場合（ステップＳ１５８にてＹＥＳである場合）、スピーカ２７０を利用して音声発話を開始する（ステップＳ１６０）。ＣＰＵ２１０は、その後、定期的に、ユーザを検知中か否かを確認する。ただし、同じユーザを検知中であるか否かの判断は、電気機器２００が画像をサーバ１００に送ることによって、サーバ１００にて実行されるものであってもよい。

ＣＰＵ２１０は、ユーザを検知している間は（ステップＳ１６２にてＹＥＳである場合）、スピーカ２７０を利用して音声発話を続行する（ステップＳ１６４）。ＣＰＵ２１０は、メッセージの音声出力が完了するまで（ステップＳ１６６）、ステップＳ１６２とステップＳ１６４とステップＳ１６６とを繰り返す。そして、メッセージの音声出力が完了すると（ステップＳ１６６にてＹＥＳである場合）、ＣＰＵ２１０は、次の人物の検知を待ち受ける。

ＣＰＵ２１０は、ユーザを検知しなくなると（ステップＳ１６２にてＮＯである場合）、音声発話を中断する（ステップＳ１６８）。ＣＰＵ２１０は、通信インターフェイス１６０を介して、音声出力が完了した発話フレーズを特定するための情報や、メッセージの音声出力が中断した際の発話フレーズを特定するための情報などをサーバ１００に送信する（ステップＳ１７０）。ＣＰＵ２１０は、次の人物の検知を待ち受ける。
＜第２の実施の形態＞

第１の実施の形態においては、メッセージの音声出力が中断された際には、中断されたフレーズの最初から音声出力が再開されるものであった。しかしながら、このような形態には限られない。たとえば、中断から再開までの時間が長いほど、中断した個所から遡った個所からメッセージの音声出力を再開してもよい。以下では、本実施の形態にかかるネットワークシステム１のサーバ１００における情報処理のうちの第１の実施の形態と異なる部分について説明するものとし、各装置のハードウェア構成については第１の実施の形態のそれと同様であるため、ここでは説明を繰り返さない。

図１４を参照して、ＣＰＵ１１０は、保留メッセージがあり、かつ当該保留メッセージの有効期限が未到来の場合（ステップＳ１７６にてＹＥＳである場合）、前回の発話の日時から現在までの経過時間を計算する（ステップＳ１７８）。そして、ＣＰＵ１１０は、経過時間が長いほど、前回の発話中断フレームからさらに遡ったフレーズを特定し（ステップＳ１７８）、当該遡ったフレーズから最後までのメッセージの音声データを生成する（ステップＳ１８０）。

たとえば、経過時間が１０秒未満の場合は、ＣＰＵ１１０は、前回の発話完了フレーズの次のフレーズから最後までのメッセージの音声データを生成する。そして、経過時間が１０秒以上２０秒未満の場合は、ＣＰＵ１１０は、前回の発話完了フレーズから最後までのメッセージの音声データを生成する。そして、経過時間が２０秒以上３０秒未満の場合は、ＣＰＵ１１０は、前回の発話完了フレーズの１つ前のフレーズから最後までのメッセージの音声データを生成する。そして、経過時間が３０秒以上１０分未満の場合は、ＣＰＵ１１０は、前回の発話完了フレーズの２つ前のフレーズから最後までのメッセージの音声データを生成する。そして、経過時間が１０分以上である場合は、ＣＰＵ１１０は、最初のフレーズから最後までのメッセージの音声データを生成する。

ＣＰＵ１１０は、音声データを電気機器２００に送信する（ステップＳ１８２）。これによって、電気機器２００は、前回停止した箇所が含まれるフレーズから最後までのメッセージを音声出力することができる。
＜第３の実施の形態＞

第１の実施の形態においては、メッセージの音声出力が中断された際には、中断されたフレーズの最初から音声出力が再開されるものであった。しかしながら、このような形態には限られない。たとえば、メッセージが中断された際には、中断されなかった場合とは、異なるメッセージを音声出力するものであってもよい。ユーザがメッセージの音声出力中に電気機器から離れるということは、当該ユーザが当該メッセージに興味を持っていない可能性が高いからである。

以下では、本実施の形態にかかるネットワークシステム１のメッセージデータベース１２４とサーバ１００における情報処理のうちの第１の実施の形態と異なる部分について説明するものとし、各装置のハードウェア構成については第１の実施の形態のそれと同様であるため、ここでは説明を繰り返さない。

図１５は、本実施の形態にかかるメッセージデータベース１２４を示すイメージ図である。図１５を参照して、本実施の形態にかかるメッセージデータベース１２４は、登録される音声毎に、主に、音声メッセージのＩＤと、メッセージの推奨出力先のユーザの属性と、メッセージの推奨出力先のグループのＩＤと、メッセージの推奨出力先のユーザのＩＤと、未だ中断されていない場合のメッセージのテキストデータである第１のテキストと、一度中断された場合のメッセージのテキストデータである第２のテキストと、音声メッセージの格納先のアドレスまたはファイルパスと、メッセージに含まれるフレーズ数と、メッセージの音声出力期限と、メッセージの削除された日時と、メッセージが登録された日時と、その他の条件などを格納する。

そして、図１１に戻って、本実施の形態においては、ＣＰＵ１１０は、保留メッセージがあり、かつ当該保留メッセージの有効期限が未到来の場合（ステップＳ１７６にてＹＥＳである場合）、メッセージデータベース１２４の第２のテキストの前回の発話フレーズの番号の次の番号のフレーズから最後までのメッセージの音声データを生成する（ステップＳ１７８）。

ＣＰＵ１１０は、音声データを電気機器２００に送信する（ステップＳ１８２）。これによって、電気機器２００は、第２のテキストの前回の発話フレーズの番号の次の番号のフレーズから最後までのメッセージを音声出力することができる。

一方、ＣＰＵ１１０は、保留メッセージがない場合（ステップＳ１７６にてＮＯである場合）、ＣＰＵ１１０は、ユーザが音声出力先に適している新たなメッセージを検索する。ＣＰＵ１１０は、ユーザが音声出力先に適している新たなメッセージがある場合（ステップＳ１８４にてＹＥＳである場合）、対象となる第１のテキストの音声データを生成する（ステップＳ１１８６）。

ＣＰＵ１１０は、音声データを電気機器２００に送信する。これによって、電気機器２００は、新たなメッセージを音声出力する。

なお、ＣＰＵ１１０は、ユーザが音声出力先に適している新たなメッセージがない場合（ステップＳ１８４にてＮＯである場合）、電気機器２００から次のデータを待ち受ける。
＜第４の実施の形態＞

第１から第３の実施の形態においては、中断した箇所の近傍または遡った位置からメッセージの音声出力を再開するものであった。しかしながら、図１６に示すように、メッセージの音声出力を再開する際に、「さっきの話だけど、」というような、前回音声出力したメッセージの続きを音声出力していることがユーザに把握しやすくなるようなコメントを挿入してもよい。

より詳細には、図１１に戻って、ＣＰＵ１１０は、保留メッセージがあり、かつ当該保留メッセージの有効期限が未到来の場合（ステップＳ１７６にてＹＥＳである場合）、「さっきの話だけど、」というような、前回出力されたメッセージの続きを音声出力していることをユーザに把握しやすくさせるためのコメントの音声データと、前回の発話フレーズの次のフレーズから最後までのメッセージの音声データとを生成する（ステップＳ１７８）。

ＣＰＵ１１０は、生成した音声データを電気機器２００に送信する（ステップＳ１８２）。これによって、電気機器２００は、「さっきの話だけど、」というような、前回のメッセージの続きを音声出力していることをユーザに把握しやすくさせるためのコメントに続いて、前回停止した箇所が含まれるフレーズから最後までのメッセージを音声出力することができる。
＜第５の実施の形態＞

第１から第４の実施の形態においては、一人のユーザを検知するシステムについて説明したが、ネットワークシステム１は、複数のユーザを検知するシステムであってもよい。以下では、本実施の形態にかかるネットワークシステム１全体の情報処理について説明するものとし、各装置のハードウェア構成については第１の実施の形態のそれと同様であるため、ここでは説明を繰り返さない。
＜ネットワークシステム１全体の情報処理＞

図１７を参照して、冷蔵庫２００Ａと接続可能なカメラ３００が、人物Ａと人物Ｂの目線を検知すると（ステップＳ２０２）、カメラ３００は、人物Ａを特定するための特徴データと人物Ｂを特定するための特徴データとを冷蔵庫２００Ａに送信する（ステップＳ２０４）。冷蔵庫２００Ａの検知部２１０Ａは、情報送信部２６０Ａを介して当該特徴データをサーバ１００に送信する（ステップＳ２０６）。

サーバ１００の情報取得部１６０Ａは冷蔵庫２００Ａからのデータを受信して、情報処理部１１０Ａに受け渡す。情報処理部１１０Ａは、当該データに基づいて、ユーザを特定し、当該ユーザに対応するメッセージを抽出する。音声データ生成部１１０Ｂは、当該メッセージに基づいて当該ユーザＡ，Ｂへの音声データを生成する。より詳細には、本実施の形態においては、サーバ１００のＣＰＵ１１０は、ユーザＡとユーザＢの二人分の保留データを登録する。これによって、ＣＰＵ１１０は、ユーザ毎にメッセージのどこまで話したかを把握することができ、ユーザ毎に好ましい個所からメッセージの音声出力を再開することができる。

データ送信部１６０Ｂは、音声データを冷蔵庫２００Ａに送信する（ステップＳ２０８）。冷蔵庫２００Ａのデータ受信部２６０Ｂは、サーバ１００からの音声データを受信して、音声発話制御部２１０Ｂに受け渡す。音声発話制御部２１０Ｂは、音声データを出力する（ステップＳ２１０）。

その後、カメラ３００が、人物Ａの目線を検知しなくなり人物Ｂの目線のみを検知すると（ステップＳ２１２）、カメラ３００は、人物Ａを検知しなくなった旨または人物Ｂのみを検知するようになった旨を冷蔵庫２００Ａに送信する（ステップＳ２１４）。ここでは、未だ人物Ｂが冷蔵庫２００Ａの周囲にいるため、メッセージの音声出力は中断されない。冷蔵庫２００Ａの情報送信部２６０Ａは、人物Ａがいなくなった際に既に音声出力が完了されていたメッセージのフレーズを特定する情報や、人物Ａがいなくなった際のメッセージの音声出力中の箇所を示す情報、などをサーバ１００に送信する（ステップＳ２１８）。

これによって、サーバ１００のＣＰＵ１１０は、人物Ａに対してどのフレーズの音声出力が完了したかを登録する。その後、ＣＰＵ１１０は、人物Ａを検知した際に、人物Ａに対して続きのフレーズから音声出力することができる。

冷蔵庫２００Ａは、メッセージの音声出力が完了すると、音声発話を終了して（ステップＳ２３２）、ユーザＢに対するメッセージの音声出力が最後まで完了した旨をサーバ１００に送信する（ステップＳ２３４）。

これによって、サーバ１００のＣＰＵ１１０は、人物Ｂに対してどのメッセージの音声出力が完了したかを登録する。その後、ＣＰＵ１１０は、人物Ｂを検知した際に、人物Ｂに対して新たなメッセージから音声出力することができる。
＜第６の実施の形態＞

第１から第５の実施の形態においては、電気機器によるメッセージの音声出力が中断された際には、当該電気機器に、中断されたフレーズの最初から音声出力を再開させるものであった。しかしながら、このような形態には限られない。たとえば、第１の電気機器によるユーザに対するメッセージの音声出力が中断された際には、次にユーザを検知した別の第２の電気機器が中断されたフレーズの最初からメッセージの音声出力を再開させてもよい。

以下では、本実施の形態にかかるネットワークシステム１のメッセージデータベース１２４とサーバ１００における情報処理のうちの第１の実施の形態と異なる部分について説明するものとし、各装置のハードウェア構成については第１の実施の形態のそれと同様であるため、ここでは説明を繰り返さない。
＜ネットワークシステムの全体構成と動作概要＞

まず、本実施の形態にかかるネットワークシステム１の全体構成と動作概要について説明する。図１８は、本実施の形態にかかるネットワークシステム１の全体構成と動作概要とを示すイメージ図である。

まず、図１８を参照して、本実施の形態にかかるネットワークシステム１の全体構成について説明する。本実施の形態にかかるネットワークシステム１は、主に、サーバ１００と、サーバ１００と通信可能な電気機器としての冷蔵庫２００Ａと洗濯機２００Ｂとを含む。なお、第１の実施の形態にて説明したように、電気機器は、冷蔵庫２００Ａと洗濯機２００Ｂに限られない。

次に、図１８（Ａ）を参照して、本実施の形態にかかるネットワークシステム１の動作概要について説明する。まず、電気機器としての冷蔵庫２００Ａは、自身のセンサまたは通信可能な他の人感センサなどを介して、定期的に周囲に人がいるかどうかを調べる。そして、冷蔵庫２００Ａは、人を検知すると、当該人に関する画像データや音声データやその他のデータをサーバ１００に送信する。

サーバ１００は、冷蔵庫２００Ａから受信したデータに基づいて、冷蔵庫２００Ａの周囲にいるユーザを特定する。そして、サーバ１００は、特定したユーザへの音声データを生成する。サーバ１００は、冷蔵庫２００Ａに当該ユーザに向けたメッセージの音声データを送信する。冷蔵庫２００Ａは、受信したメッセージの音声を出力する。

図１８（Ｂ）を参照して、冷蔵庫２００Ａは、人がいなくなったことを検知すると、メッセージの音声出力を停止する。冷蔵庫２００Ａは、メッセージの音声出力を停止した部分を示すデータをサーバ１００に送信する。サーバ１００は、冷蔵庫２００Ａから受信したデータに基づいて、上記のユーザに対して出力すべきメッセージのうちの、既に出力した部分を示す情報を格納する。

図１８（Ｃ）を参照して、洗濯機２００Ｂが、自身のセンサまたは通信可能な他の人感センサなどを介して人を検知すると、当該人に関する画像データや音声データやその他のデータをサーバ１００に送信する。サーバ１００は、洗濯機２００Ｂから受信したデータに基づいて、洗濯機２００Ｂの周囲にいるユーザを特定する。そして、サーバ１００は、特定したユーザに関して出力を途中で停止したメッセージがあるか否かを判断する。サーバ１００は、停止した部分から少し遡った箇所からのメッセージの音声データを生成する。サーバ１００は、洗濯機２００Ｂに当該音声データを送信する。洗濯機２００Ｂは、受信したメッセージの音声を出力する。

以上のように、本実施の形態にかかるネットワークシステム１においては、第１の電気機器がユーザに対応付けられたメッセージを音声出力し、第１の電気機器の近傍にユーザがいなくなった時点でメッセージの音声出力を中断し、ユーザが第２の電気機器の近傍に現れた際に中断した箇所から少し遡った箇所からメッセージの音声出力を再開するため、ユーザがメッセージを聞き逃す可能性を低減することができるし、ユーザが聞いていないのに無駄に音声を出力することを低減することができる。
＜第７の実施の形態＞

音声メッセージデータベース１２４また保留データベース１２５において音声ＩＤに対応付けて「３：繰り返し発話」の設定がされている場合には、対象となるユーザに対して対象となるメッセージの音声出力が完了しても、サーバ１００は対象となるメッセージを繰り返し対象となるユーザに音声出力させる。より詳細には、サーバ１００のＣＰＵ１１０は、前回の発話から所定時間、たとえば２４時間、以上経過した場合に、対象となるユーザに対して再度メッセージを音声出力する。

あるいは、図１９に示すように、繰り返し発話の設定がされている音声メッセージに関しては、サーバ１００のＣＰＵ１１０が、同じグループに属する複数の電気機器に手分けしてメッセージの音声出力をさせてもよい。たとえば、サーバ１００は、フレーズ毎に、交互に、同一グループに属する複数の電気機器にメッセージを音声出力させてもよい。なお、サーバ１００は、フレーズ毎に、順番に、同一グループに属する３つ以上の電気機器にメッセージを音声出力させてもよい。
＜第８の実施の形態＞

データベースの構造は、第１から第７の実施の形態のものには限られない。たとえば、保留データベース１２５Ｂは、家族などのグループ毎ではなく、図２０に示すように、出力が開示された音声メッセージ毎に生成され、主に、保留ＩＤと、属性に含まれる家族ＩＤと、属性に含まれるユーザＩＤと、メッセージの音声出力状況と、メッセージを出力した機器のＩＤと、メッセージの音声出力を中断した際の音声出力が完了したフレーズを特定するための情報と、前回メッセージの音声出力をした日時と、保留中のメッセージの音声出力の有効期限などを格納するものであってもよい。

あるいは、図２１に示すように、保留データベース１２５Ｃは、ユーザ毎に生成され、保留ＩＤと、音声メッセージのＩＤと、メッセージの音声出力状況と、メッセージを出力した機器のＩＤと、メッセージの音声出力を中断した際の音声出力が完了したフレーズを特定するための情報と、前回メッセージの音声出力をした日時と、保留中のメッセージの音声出力の有効期限などを格納するものであってもよい。
＜第９の実施の形態＞

第１〜第８の実施の形態においては、サーバ１００が、電気機器のメッセージの音声出力を制御するものであった。しかしながら、このような形態には限られない。たとえば、電気機器が、ローカルでメッセージの音声を出力したり、中断したり、出力を再開してもよい。
＜ネットワークシステムの全体構成と動作概要＞

まず、本実施の形態にかかるネットワークシステム１の全体構成と動作概要について説明する。図２２は、本実施の形態にかかるネットワークシステム１の全体構成と動作概要とを示すイメージ図である。

まず、図２２を参照して、本実施の形態にかかるネットワークシステム１は、主に、電気機器としての冷蔵庫２００Ａを含む。

なお、電気機器は、冷蔵庫２００Ａに限らず、洗濯機、エアコン、空気清浄機、電子レンジ、洗濯機、自走式掃除機、照明機器などの家電、スマートフォン、テレビ、ハードディスクレコーダ、音楽プレーヤー、ゲーム機などのＡＶ（オーディオ・ビジュアル）機器、太陽光発電気、インターホン、給湯器、カメラ、照明器具、音声センサ、画像センサなどの住宅設備、などであってもよい。以下では、これらの機器を総称して、電気機器２００ともいう。

次に、図２２（Ａ）を参照して、本実施の形態にかかるネットワークシステム１の動作概要について説明する。まず、電気機器としての冷蔵庫２００Ａは、自身のセンサまたは通信可能な他の人感センサなどを介して、定期的に周囲に人がいるかどうかを調べる。そして、冷蔵庫２００Ａは、人を検知すると、当該人に関する画像データや音声データやその他のデータに基づいて、冷蔵庫２００Ａの周囲にいるユーザを特定する。

そして、冷蔵庫２００Ａは、特定したユーザに対する音声データを生成する。冷蔵庫２００Ａは、メッセージの音声を出力する。

図２２（Ｂ）を参照して、冷蔵庫２００Ａは、自身のセンサまたは通信可能な他の人感センサなどを介して、人がいなくなったことを検知すると、メッセージの音声出力を停止する。冷蔵庫２００Ａは、メッセージの停止をした部分を示すデータに基づいて、上記のユーザに対して出力すべきメッセージのうちの、既に出力した部分を示す情報を格納する。

図２２（Ｃ）を参照して、冷蔵庫２００Ａは、自身のセンサまたは通信可能な他の人感センサなどを介して再度人を検知すると、当該人に関する画像データや音声データやその他のデータに基づいて、冷蔵庫２００Ａの周囲にいるユーザを特定する。そして、冷蔵庫２００Ａは、特定したユーザに関して出力を途中で停止したメッセージがあるか否かを判断する。冷蔵庫２００Ａは、停止した部分から少し遡った箇所からのメッセージの音声データを生成する。冷蔵庫２００Ａは、メッセージの音声を出力する。

以上のように、本実施の形態にかかる電気機器２００は、ユーザに対応付けられたメッセージを音声出力し、ユーザがいなくなった時点でメッセージの音声出力を中断し、ユーザが戻ってきた際に前回に中断した箇所から少し遡ったキリの良い箇所からメッセージの音声出力を再開する。このため、ユーザがメッセージを聞き逃す可能性を低減することができるし、ユーザが聞いていないのに無駄にメッセージを音声出力することを低減することができる。以下、このような機能を実現するための電気機器２００の構成について詳述する。
＜電気機器２００のハードウェア構成＞

以下では、本実施の形態にかかる電気機器２００のメモリ２２０に格納されるデータと、電気機器２００における情報処理とについて説明するものとし、その他の各部の構成は図１２に示すように、第１の実施の形態のそれらと同様であるため、ここでは説明を繰り返さない。

本実施の形態においては、メモリ１２０は、ユーザデータベース２２２や、機器データベース２２３や、メッセージデータベース２２４や、保留データベース２２５などのデータを格納したりする。

図２３は、本実施の形態にかかるユーザデータベース２２２を示すイメージ図である。ユーザデータベース２２２は、ユーザ毎に、主に、ユーザＩＤと、ユーザ名と、ユーザを特定するためのセンサのタイプと、画像や音声などに基づくユーザの特徴データと、年齢や性別や性格や好みなどのユーザの属性と、ユーザのメールアドレスなどを含む。

図２４は、本実施の形態にかかるメッセージデータベース２２４を示すイメージ図である。図２４を参照して、本実施の形態にかかるメッセージデータベース２２４は、登録される音声メッセージ毎に、主に、音声メッセージのＩＤと、メッセージの推奨出力先のユーザの属性と、メッセージの推奨出力先のユーザのＩＤと、メッセージのテキストデータと、音声メッセージの格納先のアドレスまたはファイルパスと、メッセージに含まれるフレーズ数と、メッセージの音声出力期限と、メッセージの削除された日時と、メッセージが登録された日時と、その他の条件などを格納する。なお、ＣＰＵ２１０は、通信インターフェイス２６０を介して、サーバ１００などの他の装置から、新しい音声メッセージに関するデータを受信して、当該データをメッセージデータベース２４４に追加・更新していく。

図２５は、本実施の形態にかかる保留データベース２２５を示すイメージ図である。図２６を参照して、本実施の形態にかかる保留データベース２２５は、主に、保留ＩＤと、音声メッセージのＩＤと、メッセージの出力対象のユーザのＩＤと、メッセージの音声出力状況と、メッセージを出力した機器のＩＤと、メッセージの音声出力を中断した際の音声出力が完了したフレーズを特定するための情報と、前回メッセージの音声出力をした日時と、保留中のメッセージの音声出力の有効期限などを格納する。

より詳細には、ＣＰＵ２１０は、検知されたユーザの特定情報を得た時に、当該ユーザまたは電気機器２００が音声出力先に適している音声メッセージを検索し、当該音声メッセージを電気機器２００にて出力し始めると、ユーザと音声メッセージとの関係を保留データベース２２５に登録する。ただし、ＣＰＵ１１０は、新たな音声メッセージが音声メッセージデータベース２２４に登録された際に、当該メッセージを音声出力すべきユーザや機器を抽出して、当該音声メッセージとユーザまたは機器との関係を保留データベース２２５に登録してもよい。この場合は、発話フラグが、「４：発話開始前」というフラグも含む。
＜電気機器２００における情報処理＞

次に、図２６を参照しながら、本実施の形態にかかる電気機器２００における情報処理について説明する。なお、図２６は、本実施の形態にかかる電気機器２００における情報処理を示すフローチャートである。

まず、ＣＰＵ２１０は、人物の存在を検知する（ステップＳ２５２）。なお、ＣＰＵ２１０は、電気機器２００自身のセンサ２９０を利用して人の存在を検知してもよいし、他の人感センサからのデータを利用してもよい。

次に、ＣＰＵ２１０は、ユーザに関する画像データや音声データに基づいて、ユーザデータベース１２２を参照することによりユーザを特定する（ステップＳ２５４）。

ＣＰＵ２１０は、ユーザＩＤに基づいて、保留データベース２２５を参照することにより、当該ユーザに対してメッセージの音声出力を保留しているものがないか検索する（ステップＳ２５６）。ＣＰＵ２１０は、保留メッセージがあり、かつ当該保留メッセージの有効期限が未到来の場合（ステップＳ２５８にてＹＥＳである場合）、前回の発話フレーズの次のフレーズから最後までのメッセージの音声データを生成する（ステップＳ２６０）。

ＣＰＵ２１０は、スピーカ２７０に、前回停止した箇所が含まれるフレーズから最後までのメッセージを音声出力させる（ステップＳ２６２）。ＣＰＵ２１０は、ステップＳ２８２からの処理を実行する。

一方、ＣＰＵ２１０は、保留メッセージがない場合（ステップＳ２５８にてＮＯである場合）、ＣＰＵ２１０は、メッセージデータベース２２４を参照して、ユーザが音声出力先に適している新たなメッセージを検索する。ＣＰＵ２１０は、ユーザが音声出力先に適している新たなメッセージがない場合（ステップＳ２７２にてＮＯである場合）、ステップＳ２８２からの処理を実行する。

ＣＰＵ２１０は、ユーザが音声出力先に適している新たなメッセージがある場合（ステップＳ２７２にてＹＥＳである場合）、当該メッセージの音声データを生成する（ステップＳ２７４）。ＣＰＵ２１０は、スピーカ２７０に新たなメッセージを出力させる（ステップＳ２７６）。

次に、ＣＰＵ２１０は、電気機器２００のセンサ２９０からのデータまたは通信可能なセンサ装置からのデータに基づいて、引き続いてユーザを検知しているか判断する（ステップＳ２８２）。

ＣＰＵ２１０は、ユーザを検知している間は（ステップＳ２８２にてＹＥＳである場合）、スピーカ２７０を利用して音声発話を続行する（ステップＳ２８４）。ＣＰＵ２１０は、メッセージの音声出力が完了するまで（ステップＳ２８６）、ステップＳ２８２とステップＳ２８４とステップＳ２８６とを繰り返す。そして、メッセージの音声出力が完了すると（ステップＳ２８６にてＹＥＳである場合）、ＣＰＵ２１０は、出力したメッセージに関する保留データベース２２５のデータを更新する（ステップＳ２９０）。ＣＰＵ２１０は、次の人物の検知を待ち受ける。

一方、ＣＰＵ２１０は、ユーザを検知しなくなると（ステップＳ２８２にてＮＯである場合）、音声発話を中断する（ステップＳ２８８）。ＣＰＵ２１０は、中断した際に既に音声出力が完了しているフレーズを特定するための情報またはフレーズの中断した位置を特定するための情報で保留データベース２２５のデータを更新する（ステップＳ２９０）。ＣＰＵ２１０は、次の人物の検知を待ち受ける。
＜第１０の実施の形態＞

第１〜第９の実施の形態においては、ユーザを検知しなくなったときに、即座にメッセージの音声出力を中断し、フレーズ毎に、遡ってメッセージの音声出力を再開するものであった。しかしながら、このような形態には限られず、上記の実施の形態に以下の技術を組み合わせてもよい。

たとえば、ユーザを検知しなくなった場合に、サーバ１００または電気機器２００が、出力中のフレーズの最後まで音声出力を完了してから、当該フレーズの最初から音声出力を再開してもよい。

あるいは、ユーザを検知しなくなった場合に、サーバ１００または電気機器２００が、即座に、または次の句点まで音声出力を完了してから、当該句点の前の句点または前の読点から音声出力を再開してもよい。

あるいは、ユーザを検知しなくなった場合に、サーバ１００または電気機器２００が、即座に、または次の読点まで音声出力を完了してから、当該句点の前の句点または前の読点から音声出力を再開してもよい。

あるいは、ユーザを検知しなくなった場合に、サーバ１００または電気機器２００が、即座に、または次の文節の切れ目まで音声出力を完了してから、当該文節の開始位置または前の句点または前の読点から音声出力を再開してもよい。
＜第１１の実施の形態＞

なお、第１〜第１０の実施の形態のような、サーバ１００や電気機器２００の構造・機能・動作に限られず、たとえば各装置の役割が複数の装置に分担されてもよい。逆に、複数の装置の役割の一部または全部が１つの装置に集約されてもよい。

たとえば、第１から第８の実施の形態におけるサーバ１００や電気機器２００のデータの一部または全部が、たとえば音声データが、図２７に示すように、サーバ１００や電気機器２００にアクセス可能に他の装置１００Ｂに格納されてもよい。

あるいは、第９の実施の形態における電気機器２００のデータの一部または全部が、たとえば音声データが、図２８に示すように、電気機器２００にアクセス可能に他の装置１００Ｂに格納されてもよい。
＜第１２の実施の形態＞

さらには、予めサーバ１００が音声出力再開用の続きの音声データを音声ＩＤに対応付けて電気機器２００に送信しておいてもよい。あるいは、予めサーバ１００が複数種類の音声データを音声ＩＤに対応付けて電気機器２００に送信しておいてもよい。そして、ユーザが戻ったこと示す情報をトリガーに、サーバ１００が音声出力を再開するべき音声ＩＤや再開位置を示す情報を機器に送信することによって、電気機器２００が音声ＩＤに紐づいた音声データを出力することもできる。

なお、サーバ１００が、電気機器２００に、再開する音声ＩＤのみを送信し、電気機器２００が「さっきの話だけど」という音声をつけてメッセージを出力してもよい。あるいは、サーバ１００が、電気機器２００に、「さっきの話だけど」の音声データと再開する音声ＩＤとを送信し、電気機器２００が「さっきの話だけど」という音声と続きのメッセージとを出力してもよい。あるいは、予め電気機器２００が「さっきの話だけど」の音声データを記憶し、サーバ１００が、電気機器２００に、「さっきの話だけど」の音声ＩＤと再開する音声ＩＤとを送信し、電気機器２００が「さっきの話だけど」という音声と続きのメッセージとを出力してもよい。
＜その他の応用例＞

本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体（あるいはメモリ）を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わる他の記憶媒体に書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
＜まとめ＞

上記の第１〜１２の実施の形態においては、音声を出力可能な第１の機器２００Ａと、第１の機器２００Ａと通信可能なサーバ１００と、を備えるネットワークシステム１が提供される。サーバ１００は、第１の機器２００Ａの近傍に人が検知されたときに第１の機器２００Ａにメッセージを音声出力させ、第１の機器２００Ａの近傍に人が検知されなくなったときにメッセージの音声出力を停止させ、第１の機器２００Ａの近傍に人が再度検知されたときに音声出力の停止位置に基づいてメッセージの音声出力を再開させる。

好ましくは、サーバ１００は、ユーザ毎にメッセージの音声出力の停止位置を示す情報を記憶し、ユーザ毎に当該停止位置を示す情報に基づいてメッセージの音声出力を再開させる。

好ましくは、ネットワークシステム１は、第２の機器２００Ｂをさらに備える。サーバ１００は、第２の機器２００Ｂの近傍に人が検知されたときに、第１の機器２００Ａによる音声出力の停止位置に基づいて第２の機器２００Ｂにメッセージの音声出力を再開させる。

好ましくは、メッセージの音声出力の再開に適した複数の再開位置が予め規定される。サーバ１００は、メッセージの音声出力の停止位置よりも前の再開位置からメッセージの音声出力を再開させる。

好ましくは、サーバ１００は、メッセージの音声出力の停止のときからメッセージの音声出力の再開のときまでの時間が長いほど、再開位置を遡ってメッセージの音声出力を再開させる。

好ましくは、サーバ１００は、メッセージの音声出力を再開させる際に、メッセージの音声出力を再開することを示すための所定の文言を出力させる。

この発明の別の局面に従うと、第１の機器２００Ａの近傍に人が検知されたときに、サーバ１００が第１の機器２００Ａにメッセージを音声出力させるステップと、第１の機器２００Ａの近傍に人が検知されなくなったときに、サーバ１００がメッセージの音声出力を停止させるステップと、第１の機器２００Ａの近傍に人が再度検知されたときに、サーバ１００が音声出力の停止位置に基づいてメッセージの音声出力を再開させるステップとを備える、音声出力方法が提供される。

この発明の別の局面に従うと、第１の機器２００Ａと通信するための通信インターフェイス１６０と、プロセッサ１１０とを備えるサーバ１００が提供される。プロセッサ１１０は、通信インターフェイス１６０を介して、第１の機器２００Ａの近傍に人が検知されたときに第１の機器２００Ａにメッセージを音声出力させ、第１の機器２００Ａの近傍に人が検知されなくなったときにメッセージの音声出力を停止させ、第１の機器２００Ａの近傍に人が再度検知されたときに音声出力の停止位置に基づいてメッセージの音声出力を再開させる。

この発明の別の局面に従うと、スピーカ２７０と、プロセッサ２１０とを備える電気機器２００が提供される。プロセッサ２１０は、近傍に人が検知されたときにスピーカ２７０にメッセージを音声出力させ、近傍に人が検知されなくなったときにメッセージの音声出力を停止させ、近傍に人が再度検知されたときに音声出力の停止位置に基づいてスピーカ２７０にメッセージの音声出力を再開させる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ ：ネットワークシステム
１００ ：サーバ
１００Ｂ ：装置
１１０ ：プロセッサ（ＣＰＵ）
１１０Ａ ：情報処理部
１１０Ｂ ：音声データ生成部
１２０ ：メモリ
１２０Ａ ：各種テーブル
１２１ ：グループデータベース
１２２ ：ユーザデータベース
１２３ ：電気機器データベース
１２４ ：音声メッセージデータベース
１２５ ：保留データベース
１２５Ｂ ：保留データベース
１２５Ｃ ：保留データベース
１３０ ：ディスプレイ
１４０ ：操作部
１６０ ：通信インターフェイス
１６０Ａ ：情報取得部
１６０Ｂ ：データ送信部
２００ ：電気機器
２００Ａ ：冷蔵庫第１の機器
２００Ｂ ：洗濯機
２１０ ：プロセッサ（ＣＰＵ）
２１０Ａ ：検知部
２１０Ｂ ：音声発話制御部
２２０ ：メモリ
２２２ ：ユーザデータベース
２２３ ：機器データベース
２２４ ：音声メッセージデータベース
２２５ ：保留データベース
２３０ ：ディスプレイ
２４０ ：操作部
２４４ ：メッセージデータベース
２５０ ：機器駆動部
２６０ ：通信インターフェイス
２６０Ａ ：情報送信部
２６０Ｂ ：データ受信部
２７０ ：スピーカ
２８０ ：マイク
２９０ ：センサ
３００ ：カメラ

Claims (9)

1. 音声を出力可能な第１の機器と、
   前記第１の機器と通信可能なサーバと、を備え、
   前記第１の機器の近傍に人が検知されたときに前記第１の機器にメッセージを音声出力させ、前記第１の機器の近傍に人が検知されなくなったときに前記メッセージの音声出力を停止させ、前記第１の機器の近傍に人が再度検知されたときに前記音声出力の停止位置に基づいて前記メッセージの音声出力を再開させる、ネットワークシステム。
2. ユーザ毎にメッセージの音声出力の停止位置を示す情報を記憶し、ユーザ毎に当該停止位置を示す情報に基づいて前記メッセージの音声出力を再開させる、請求項１に記載のネットワークシステム。
3. 第２の機器をさらに備え、
   前記サーバは、前記第２の機器の近傍に人が検知されたときに、前記第１の機器による前記音声出力の停止位置の情報を記憶し、前記停止位置に基づいて前記第２の機器に前記メッセージの音声出力を再開させる、請求項１または２に記載のネットワークシステム。
4. 前記メッセージの音声出力の再開に適した複数の再開位置が予め規定されており、
   前記メッセージの音声出力の停止位置よりも前の前記再開位置から前記メッセージの前記音声出力を再開させる、請求項１から３のいずれか１項に記載のネットワークシステム。
5. 前記メッセージの音声出力の停止のときから前記メッセージの音声出力の再開のときまでの時間が長いほど、前記再開位置を遡って前記メッセージの前記音声出力を再開させる、請求項４に記載のネットワークシステム。
6. 前記メッセージの音声出力を再開させる際に、前記メッセージの音声出力を再開することを示すための所定の文言を出力させる、請求項１から５のいずれか１項に記載のネットワークシステム。
7. 第１の機器の近傍に人が検知されたときに、前記第１の機器にメッセージを音声出力させるステップと、
   前記第１の機器の近傍に人が検知されなくなったときに、前記メッセージの音声出力を停止させるステップと、
   前記音声出力の停止位置の情報を記憶させるステップと、
   前記第１の機器の近傍に人が再度検知されたときに、前記音声出力の停止位置に基づいて前記メッセージの音声出力を再開させるステップとを備える、音声出力方法。
8. 第１の機器と通信するための通信インターフェイスと、
   プロセッサとを備え、
   前記プロセッサは、前記通信インターフェイスを介して、前記第１の機器の近傍に人が検知されたときに前記第１の機器にメッセージを音声出力させ、前記第１の機器の近傍に人が検知されなくなったときに前記第１の機器から送信された前記メッセージの音声出力の停止位置の情報を記憶させ、前記第１の機器の近傍に人が再度検知されたときに前記音声出力の停止位置に基づいて前記メッセージの音声出力を再開させる、サーバ。
9. スピーカと、
   プロセッサとを備え、
   前記プロセッサは、近傍に人が検知されたときに前記スピーカにメッセージを音声出力させ、近傍に人が検知されなくなったときに前記メッセージの音声出力を停止させ、前記音声出力の停止位置の情報を記憶させ、近傍に人が再度検知されたときに前記音声出力の停止位置に基づいて前記スピーカに前記メッセージの音声出力を再開させる、電気機器。

Images