〔実施形態1〕
以下、本発明の実施の形態について、図1から図11に基づいて詳細に説明する。
(本発明の概要)
まず、本発明の概要について図1から図4を参照して説明する。図1は、本実施形態に係る機器制御システム100に含まれるサーバ1(制御装置)、冷蔵庫2(電気機器)、および携帯端末4(表示装置)の要部構成の一例を示すブロック図である。図2は、冷蔵庫2の性格および機嫌に応じた、音声出力の内容の違いを示す図である。図3は、冷蔵庫2の性格の変化を示す図である。図4は、冷蔵庫2の性格ごとの動作の違いについて説明する図である。
図1に示すように、本発明に係る冷蔵庫2はサーバ1と通信可能に接続されている。そして、本発明に係る冷蔵庫2は、図2に示すように、音声を出力する機能を有する。この冷蔵庫2の音声出力を制御するのが図1に示すサーバ1である。図2の(a)の例では、冷蔵庫2は、サーバ1が決定した「うふふ、卵の賞味期限が切れそうだよ。今日のごはんに使ったら?よろしくね。」という、ユーザに卵の使用を提案するメッセージを音声出力している。
ここで、サーバ1は、冷蔵庫2を擬人化した場合における冷蔵庫2の性格(第2の属性)を示す性格情報と、冷蔵庫2を擬人化した場合における冷蔵庫2の機嫌(第1の属性)を示す機嫌情報とに応じて、冷蔵庫2が出力するメッセージを決定する。つまり、図2の(a)の例では、性格情報が「おしゃべり」であり、機嫌情報が「良」であるため、上述のメッセージを出力している。
換言すれば、性格情報および機嫌情報のいずれかが異なる場合、冷蔵庫2は異なるメッセージを音声出力する可能性がある。具体的には、図2の(b)に示すように、性格情報が「おしゃべり」であっても、機嫌情報が「悪」である場合(機嫌情報が異なる場合)、サーバ1は、「あーあ、卵の賞味期限が切れそうだよ。今日のごはんに使ったら?別にいいけど。」と、異なるメッセージを冷蔵庫2に音声出力させる。これにより、冷蔵庫2の機嫌が悪い様子を表現することができる。また、図2の(c)に示すように、機嫌情報が「良」であっても、性格情報が「控えめ」である場合(性格情報が異なる場合)、サーバ1は、「うふふ、卵の賞味期限が切れそうだよ。よろしくね。」と、卵の賞味期限が切れそうであることのみを知らせる(換言すれば、提案を行わない)メッセージを冷蔵庫2に音声出力させる。これにより、冷蔵庫2が控えめな性格であるため、提案を遠慮している様子を表現することができる。
このように、性格情報と機嫌情報との組み合わせに応じて、メッセージの内容や出力の有無を変化させることで、あたかも冷蔵庫2が自機の性格と機嫌とを有しているようなメッセージの音声出力を行うことができる。また、冷蔵庫2の音声出力パターンが増えることとなるので、ユーザが冷蔵庫2とのコミュニケーションに飽きることがなくなる。
なお、図2に示した性格情報および機嫌情報と、メッセージの内容やメッセージの出力の有無との対応付けは一例であり、この例に限定されるものではない。
また、サーバ1は、性格情報と機嫌情報とを、冷蔵庫2の動作履歴に基づいて決定する。具体的には、サーバ1は、冷蔵庫2の動作履歴を数時間ごとや1日ごとに参照し、機嫌情報を更新する。つまり、冷蔵庫2の機嫌情報は、数時間ごとや1日ごとに変わる可能性がある。この機嫌情報は、更新する都度、複数の機嫌情報の中から選択的に選ばれるものである。そのため、以前選択された機嫌情報が、更新時に再度選択される可能性がある。これにより、あたかも人間の機嫌のように、冷蔵庫2の機嫌を表現することができる。なお、機嫌情報の更新の詳細については後述する。
一方で、図3に示すように、サーバ1は、冷蔵庫2の数か月間または数年間の対話履歴に基づいて、性格情報を更新する。つまり、冷蔵庫2の性格情報は、数か月または数年に一度変わる可能性がある。この性格情報は機嫌情報と異なり、時間の経過とともに一方向に変化するものである。そのため、以前選択された性格情報(換言すれば、現在選択されている性格情報より前に選択されていた性格情報)が、更新時に再度選択される可能性はないものとする。図示の例では、サーバ1は、性格情報が「初期状態」の冷蔵庫2について、使用開始から3か月後に、性格情報をそれまでの対話履歴に基づいて「おしゃべり」または「控えめ」に変更する。また、サーバ1は、冷蔵庫2の性格情報が「おしゃべり」の場合、使用開始から1年後に性格情報をそれまでの対話履歴に基づいて「積極的」または「世話好き」に変更する。これにより、あたかも人間の性格のように、冷蔵庫2の性格を表現することができる。さらに、冷蔵庫2があたかも成長しているかのようにユーザに感じさせることができ、冷蔵庫2に愛着を持たせることができる。
なお、性格情報の更新の詳細については後述する。また、図3に示す性格情報の更新タイミング、および性格情報の種類については一例であり、これらは図示の例に限定されるものではない。
また、図4に示すように、本実施形態のサーバ1は、冷蔵庫2がメッセージを音声出力するタイミング(発話タイミング)と、冷蔵庫2が音声出力するメッセージのカテゴリ(発話カテゴリ)とを、冷蔵庫2の性格に応じたものとする。
発話タイミングが「話しかけられた時」の性格の場合、冷蔵庫2に対してユーザが話しかけたとき(音声を入力したとき)、冷蔵庫2はメッセージを音声出力する。換言すれば、冷蔵庫2は、ユーザが音声を入力しない限り、メッセージを音声出力しない。一方、発話タイミングが「いつでも」の性格の場合、冷蔵庫2は、ユーザが音声を入力しなくてもメッセージを音声出力する可能性がある。なお、図示の発話タイミングは一例であり、この例に限定されるものではない。
図示の発話カテゴリの「○」は、冷蔵庫2がそのカテゴリのメッセージを出力することを示している。例えば、冷蔵庫2の性格が「おしゃべり」の場合、「提案」のカテゴリ
に含まれるメッセージは出力するが、「お知らせ」、「あいさつ」、「雑談」のカテゴリに含まれるメッセージは出力しない。
また、図示の発話カテゴリのうち、「お知らせ」には、ユーザに対して何らかの情報を通知する(例えば、庫内の食品の賞味期限や、近所のスーパーの特売日など)メッセージが含まれる。また、「あいさつ」には、「おはよう」や「こんにちは」などのあいさつのメッセージが含まれる。また、「提案」には、ユーザに対して何らかの動作を促す(例えば、賞味期限が切れそうな食品の使用など)メッセージが含まれる。また、「雑談」には、冷蔵庫2の機能に関係のない話題に関するメッセージが含まれる(例えば、好きな食べ物の話など)。
「標準」のカテゴリのメッセージは、他のカテゴリのメッセージと異なり、すべての性格で音声出力されるメッセージである。「標準」のカテゴリには、冷蔵庫2に搭載された機能を実現するために必須のメッセージや、ユーザとの対話を実現するためのメッセージが含まれる。以下、これらのメッセージについて詳細に説明する。
本実施形態の冷蔵庫2は、ユーザが食品名を音声入力することで、該食品名を食品リストに登録し、管理する機能を備えている。そのため、冷蔵庫2に搭載された機能を実現するために必須のメッセージとしては、ユーザが音声入力した食品名の登録の確認メッセージ(例えば「卵を1パック登録するよ」)などが挙げられる。
また、冷蔵庫2は性格に応じて出力しないメッセージのカテゴリがある。例えば、性格が「おしゃべり」の場合、冷蔵庫2は「あいさつ」のカテゴリのメッセージを発話しない。そのため、ユーザが冷蔵庫2に「おはよう」と発話しても、冷蔵庫2があいさつを返せない(対話を実現できない)おそれがある。そこで、ユーザとの対話を続けるためのメッセージとして、例えば「はーい」などのメッセージを「標準」カテゴリのメッセージとしておく。これにより、ユーザの発話に対する応答として適切な発話カテゴリのメッセージを音声出力しない性格であっても、冷蔵庫2がユーザとの対話を実現することができる。
なお、図示の例では「リーダー格」、「お手伝い」、「平和主義者」、および「分析者」の性格は、音声出力するメッセージのカテゴリがそれぞれ、「積極的」、「世話好き」、「自己主張しない」、および「いつも冷静」の性格と同じである。本実施形態では、冷蔵庫2の性格が「リーダー格」、「お手伝い」、「平和主義者」、および「分析者」の場合、「積極的」、「世話好き」、「自己主張しない」、および「いつも冷静」では出力しない特別なメッセージを出力する。ただし、この例に限定されるものではなく、冷蔵庫2の性格が「リーダー格」、「お手伝い」、「平和主義者」、および「分析者」の場合、「積極的」、「世話好き」、「自己主張しない」、および「いつも冷静」と異なるカテゴリのメッセージを出力する構成であってもよい。
(サーバ1および冷蔵庫2の要部構成)
続いて、図1を参照してサーバ1および冷蔵庫2の要部構成について説明する。なお、外部サーバ3および携帯端末4の詳細については、後述する別の実施形態にて説明する。
まず、サーバ1の要部構成について説明する。サーバ1は、複数の家庭における冷蔵庫2などの家庭用電気機器(以下、家電)の管理、動作制御を行う。図示のように、サーバ1は、サーバ通信部11、サーバ制御部12、およびサーバ記憶部13を備えている。
サーバ通信部11は、他の機器(例えば冷蔵庫2)と通信する。具体的には、サーバ通信部11は、冷蔵庫2に入力された音声の音声データd1を、家電を識別する家電IDとともに冷蔵庫2から受信すると、該音声データd1と家電IDとを後述する音声認識部121に出力する。また、冷蔵庫2のドアが開閉されたことを示すドア開閉情報d2を、家電IDとともに冷蔵庫2から受信すると、該ドア開閉情報d2と家電IDとを後述する履歴管理部122に出力する。一方、サーバ通信部11は、後述する出力音声決定部125が出力した、冷蔵庫2に音声出力させるメッセージを示すメッセージデータd3を、冷蔵庫2に送信する。なお、図1に示すように、サーバ通信部11が送受信する情報はこの例に限定されない。その他の情報については、後述する他の実施形態にて詳細に説明する。
サーバ制御部12は、サーバ1の各部を統括して制御する。サーバ制御部12は、音声認識部121、履歴管理部122、性格決定部123(第2の属性決定部)、機嫌決定部124(第1の属性決定部)、出力音声決定部125(動作決定部)、および食品リスト管理部126を含む。
音声認識部121は、取得した音声データd1に対して音声認識を行い、音声認識の結果に基づいて各部に処理の実行を指示する。なお、音声認識部121が実行する音声認識には、既存の技術を用いることができる。具体的には、音声認識部121は、音声認識結果のテキストデータ(以下、ユーザ音声テキストと称する)と、冷蔵庫2から取得した家電IDとともに、メッセージ決定指示t1を出力音声決定部125に出力する。また、音声認識部121は、音声データd1を認識した結果が、冷蔵庫2に保存している食品を管理するための食品リスト136の更新を示している場合、該結果が示す処理の実行(例えば、食品の新規登録、食品の削除など)指示t2と、冷蔵庫2から取得した家電IDとを食品リスト管理部126に指示する。
また、音声認識部121は、ユーザ音声テキストを、音声データd1を取得した日時に対応付けて、冷蔵庫2から取得した家電IDとともに履歴管理部122に出力する。また、音声認識部121は、出力音声決定部125から取得した、冷蔵庫2に送信したメッセージを示すテキストデータ(以下、メッセージテキストと称する)であって、出力を指示した日時、該メッセージのカテゴリ、および家電IDに対応付けられたメッセージテキストを、履歴管理部122に出力する。
また、音声認識部121は、出力音声決定部125からメッセージテキストを取得すると、タイマ(不図示)による時間の計測を開始する。そして、所定時間以内に、家電IDが一致する音声データd1を取得しなかった場合、ユーザと冷蔵庫2との対話が終了したことを示す対話終了通知を、冷蔵庫2を示す家電IDに対応付けて履歴管理部122に出力する。
履歴管理部122は、冷蔵庫2の性格情報を決定するために使用する対話履歴131と、冷蔵庫2の機嫌情報を決定するために使用する動作履歴134とを管理する。ここでは、対話履歴131の管理について図5を参照しながら説明する。なお、動作履歴134の管理については後述する。
図5は、対話履歴131のデータ構造および具体例を示す図である。なお、図示の対話履歴131は一例であり、対話履歴131は図5の例に限定されるものではない。
対話履歴131は、ユーザと冷蔵庫2の対話に関する情報を時系列順に並べたログである。対話履歴131は家電ごとに生成され、図示のように、家電を識別する家電IDが対応付けられている。図5は、F001という家電IDで特定される冷蔵庫2の対話履歴131を示している。図示の対話履歴131の「日時」のカラムには、冷蔵庫2にメッセージの出力を指示した日時(すなわち、音声認識部121が取得したメッセージテキストに対応付けられている日時)が格納される。「カテゴリ」のカラムには、冷蔵庫2に出力を指示したメッセージのカテゴリ(すなわち、音声認識部121が取得したメッセージテキストに対応付けられているメッセージのカテゴリ)が格納される。「発話内容」のカラムには冷蔵庫2に出力を指示したメッセージの内容(すなわち、メッセージテキストの内容)が格納される。
「ユーザ発話」のカラムには、冷蔵庫2に出力を指示したメッセージに対して、ユーザからの応答が音声入力されたか否かを示す情報が格納される。「有」は応答が音声入力されたことを示し、「無」は応答が音声入力されなかったことを示す。「ユーザ発話内容」のカラムには、応答の内容(すなわち、ユーザ音声テキストの内容)が格納される。「ユーザ発話分類」のカラムには、応答が肯定的な応答であったか、または否定的な応答であったかを示す情報が格納される。
履歴管理部122は、音声認識部121から取得した、家電IDが一致するユーザ音声テキストとメッセージテキストとを時系列順に並べる。そして、履歴管理部122は、音声認識部121から、ユーザ音声テキストおよびメッセージテキストと家電IDが一致する対話終了通知を取得すると、最も新しいテキストデータがユーザ音声テキストであるか否かを判定する。
最も新しいテキストデータがユーザ音声テキストである場合、履歴管理部122は、該ユーザ音声テキストが直前のメッセージテキストに対する肯定的な応答であるか、または否定的な応答であるかを判定する。具体的には、履歴管理部122は、サーバ記憶部13に記憶された、ユーザ音声テキスト候補のテキストデータを肯定的な応答または否定的な応答に分類したデータベース(不図示)を参照し、判定対象のユーザ音声テキストと一致するテキストデータが、肯定的な応答に分類されているか、または否定的な応答に分類されているかを特定する。そして、履歴管理部122は、ユーザ音声テキストの内容、該ユーザ音声テキストの直前のメッセージテキストの内容、該メッセージテキストに対応付けられている出力を指示した日時およびメッセージのカテゴリ、メッセージに対するユーザの応答があったことを示す情報、並びに応答が肯定的かまたは否定的かを示す情報を対応付けて、家電IDが一致する対話履歴131に格納する(対話履歴131に新たなレコードを追加する)。
一方、最も新しいテキストデータがメッセージテキストである場合、履歴管理部122は、該メッセージテキストの内容、該メッセージテキストに対応付けられている出力を指示した日時およびメッセージのカテゴリ、メッセージに対するユーザの応答がなかったことを示す情報、並びに応答が否定的であることを示す情報を対応付けて、家電IDが一致する対話履歴131に格納する。すなわち、本実施形態に係る履歴管理部122は、冷蔵庫2が音声出力したメッセージに対するユーザの応答が無かった場合、ユーザが否定的な応答をした(ユーザが冷蔵庫2のメッセージを無視した)とみなす。
性格決定部123は、対話履歴131における所定期間(第2の所定期間)のユーザと冷蔵庫2との対話履歴に基づいて、冷蔵庫2の性格を決定する。具体的には、性格決定部123は、性格決定情報132と、冷蔵庫2の使用開始(本実施形態では、冷蔵庫2とサーバ1とが最初に通信した日時を使用開始の日時とみなす)から動作しているタイマ(不図示)とを参照し、冷蔵庫2の性格を更新(変更)するタイミング(すなわち、性格を変更する日付)となったか否かを判定する。ここで、図6を参照して、性格決定情報132の詳細について説明する。
図6は、性格決定情報132のデータ構造および具体例を示す図である。なお、性格決定情報132は図6の例に限定されるものではない。性格決定情報132は、冷蔵庫2の変更前の性格情報(すなわち現在の性格)、変更後の性格情報、および、変更後の性格に変更するための変更条件が対応付けられたテーブルである。本実施形態に係る性格決定情報132は、性格情報を変更するタイミングごとの複数のテーブル(性格決定情報132a〜132c)であるが、この例に限定されるものではなく、例えば1つのテーブルであってもよい。
性格決定部123は、性格情報を変更するタイミングとなったと判定したとき、冷蔵庫2の現在の性格に応じた性格決定情報132を参照して、性格情報を変更する。例えば、冷蔵庫2の現在の性格が「初期状態」の場合、性格決定部123は、使用開始から3か月が経過したとき、性格決定情報132aを参照する。そして、冷蔵庫2の家電IDに対応付けられた対話履歴131に格納された情報が、「変更条件」のカラムに格納された条件のいずれを満たすかを判定する。この例の場合、性格決定部123は、対話履歴131から、3か月間の対話回数の月あたりの平均を算出する。例えば、該平均が100回/月以上であった場合、性格決定部123は冷蔵庫2の新たな性格を「おしゃべり」に決定する。
また例えば、冷蔵庫2の現在の性格が「おしゃべり」の場合、性格決定部123は、使用開始から1年が経過したとき、性格決定情報132bを参照する。そして、冷蔵庫2の家電IDに対応付けられた対話履歴131から、現在から9カ月前までのレコードのうち、「カテゴリ」のカラムに「提案」が格納されたレコードを抽出する。そして、該抽出したレコードにおいて、「ユーザ発話分類」のカラムに「肯定的」が格納されたレコードの割合を算出する。ここで例えば、該割合が70%以上であった場合、性格決定部123は冷蔵庫2の新たな性格を「積極的」に決定する。
また例えば、冷蔵庫2の現在の性格が「積極的」の場合、性格決定部123は、使用開始から3年が経過したとき、性格決定情報132cを参照する。そして、冷蔵庫2の家電IDに対応付けられた対話履歴131から、現在から2年前までのレコードを抽出する。そして、該抽出したレコードにおいて、「ユーザ発話分類」のカラムに「肯定的」が格納されたレコードの割合を算出する。ここで例えば、該割合が70%以上であった場合、性格決定部123は冷蔵庫2の新たな性格を「リーダー格」に決定する。一方、上記割合が70%未満であった場合、性格決定部123は冷蔵庫2の性格を変更せず、「積極的」のままとする。
以上のように、性格決定部123は、冷蔵庫2の使用開始からの期間が、予め定められた複数の期間のいずれかに達するたびに、冷蔵庫2の性格を更新する。また、性格決定部123は、冷蔵庫2の性格を変更すると、新たな性格を示す性格情報を、冷蔵庫2を示す家電IDと対応付けて、出力音声決定部125に出力する。
機嫌決定部124は、性格決定部123の説明における所定期間(第2の所定期間)より短い期間(第1の所定期間)における動作履歴134に基づいて、冷蔵庫2の機嫌を決定する。具体的には、機嫌決定部124は、現在時刻を検出するクロック(不図示)を参照し、冷蔵庫2の機嫌を更新(変更)するタイミングとなったか否かを判定する。そして、機嫌判定情報133と動作履歴134とに基づいて冷蔵庫2の機嫌を決定する。本実施形態では、冷蔵庫2の機嫌を変更するタイミングは1日につき1回であり、所定の時刻となったときであるものとして説明するが、この例に限定されるものではなく、1日につき複数回であってもよい。また、本実施形態では、冷蔵庫2の機嫌は、機嫌決定部124が機嫌判定情報133および動作履歴134を参照して算出したポイントによって決まる。具体的には、ポイントの合計値が0より大きい値の場合、機嫌決定部124は冷蔵庫2の機嫌を「良」に決定する。また、上記ポイントの合計値が0より小さい値の場合、機嫌決定部124は冷蔵庫2の機嫌を「悪」に決定する。また、上記ポイントの合計値が0の場合、機嫌決定部124は冷蔵庫の機嫌を「普通」に決定する。なお、この機嫌の決定方法は一例であり、この例に限定されるものではない。
ここで、図7を参照して、機嫌判定情報133と動作履歴134との詳細について説明する。図7の(a)は、機嫌判定情報133のデータ構造および具体例を示す図である。図7の(b)は、動作履歴134のデータ構造および具体例を示す図である。なお、機嫌判定情報133および動作履歴134は、図7に示す例に限定されるものではない。
機嫌判定情報133は、冷蔵庫2などの家電ごとの、機嫌の決定方法を規定する情報である。「家電」のカラムには、機嫌を決定する対象の家電を示す情報(例えば、冷蔵庫2を示す情報)が格納される。「判定対象」のカラムには、機嫌を決定するための判定の対象を示す情報が格納される。また、「ポイント変更条件」のカラムには、機嫌を決定するためのポイントが変更される条件の情報が格納される。また、「対象期間」のカラムには、判定の対象となる期間の情報が格納される。また、「増減」のカラムには「ポイント変更条件」のカラムに格納された条件を満たしたときのポイントの増減の値が格納される。
図示の機嫌判定情報133の例では、前日の食品リスト136の更新回数が30回以上であるとき、前日の食品リスト136への食品登録回数が1回以上であるとき、前日の対話回数が20回以上であるとき、および、前日のユーザの応答の割合が50%以上であるときにポイントを1増やすと規定している。なお、「ユーザの応答」とは、冷蔵庫2が音声出力したメッセージに対して、ユーザが音声を入力することを示す。また、本実施形態においてポイントの初期値は0である。
また、図示の機嫌判定情報133の例では、前日の冷蔵庫2のドアの開閉回数が100回以上であるとき、前日までの直近1週間の食品リスト136への食品登録回数が0回であるとき、および、前日の時点での食品リスト136における食品の期限(賞味期限)が切れてからの経過日数の平均が5日以上であるときにポイントを1減らすと規定している。なお、「食品の期限」とは、食品リスト136に食品を登録したときに、食品名に対応付けられて登録される日付、または登録時の日付からの日数を示す値(以下、期限値と称する)である。
動作履歴134は、機嫌判定情報133に格納されたポイント変更条件に関する履歴を格納する。動作履歴134は家電ごとに生成され、図示のように、家電を識別する家電IDが対応付けられている。図7の(b)は、F001という家電IDで特定される冷蔵庫2の動作履歴134を示している。図7の(b)に示すように、動作履歴134は、1日毎のポイント変更条件に関する数値を格納している。さらに、対象期間に応じて算出した該数値(対象期間の各値)と、該数値とポイント変更条件とから決定されるポイント増減の値とを格納している。
ここで、履歴管理部122が実行する、動作履歴134の管理の詳細について説明する。履歴管理部122は、サーバ通信部11から、冷蔵庫2の家電IDとドア開閉情報d2とを取得すると、図示の動作履歴134の「本日」のカラムにおける「1」の行のセルに格納された数値を1増やす。また、履歴管理部122は、食品リスト管理部126から、冷蔵庫2の家電IDと食品リスト136が更新された旨の通知とを受けると、図示の動作履歴134の「本日」のカラムにおける「2」の行のセルに格納された数値を1増やす。また、履歴管理部122は、食品リスト管理部126から、冷蔵庫2の家電IDと食品リスト136に食品が登録された旨の通知とを受けると、図示の動作履歴134の「本日」のカラムにおける「3」および「4」の行のセルに格納された数値を1増やす。また、履歴管理部122は、所定の時刻に食品リスト管理部126から、冷蔵庫2の家電IDとともに通知される、食品の期限(賞味期限)が切れてからの経過日数の平均値を、図示の動作履歴134の「本日」のカラムにおける「5」の行のセルに格納する。また、履歴管理部122は、冷蔵庫2の家電IDに対応付けられた対話履歴131に新たなレコードを追加したとき、図示の動作履歴134の「本日」のカラムにおける「6」の行のセルに格納された数値を1増やす。また、履歴管理部122は、所定の時刻に、冷蔵庫2の家電IDに対応付けられた対話履歴131における本日の日付を含むレコードのうち、ユーザ発話「有」のレコードの割合を算出し、算出した割合を示す数値を図示の動作履歴134の「本日」のカラムにおける「7」の行のセルに格納する。
続いて、機嫌決定部124による冷蔵庫2の機嫌の決定の詳細を説明する。機嫌決定部124は、所定の時刻となったとき、機嫌判定情報133の対象期間、および、冷蔵庫2の家電IDに対応付けられた動作履歴134を参照し、動作履歴134の「1」〜「7」の各行について、対象期間に応じた数値(以下、算出値と称する)を算出する。なお、図示の例では、該算出値を算出するために使用する各セルを、灰色で塗ることで示している。「1」〜「3」および「5」〜「7」の行における算出値は、対象期間が前日であるため、機嫌決定部124は、「1日前」のカラムの数値をそのまま算出値とする。一方、「4」の行における算出値は、対象期間が1週間であるため、機嫌決定部124は、「4」の行における「1日前」〜「7日前」の7つのセルに格納された数値を合計し、該合計値を算出値とする。
そして、機嫌決定部124は、機嫌判定情報133の各ポイント変更条件と算出値とを比較し、ポイントを変更するか否かを判定する。ポイントを変更すると判定した場合、ポイント変更条件に対応付けられたポイントの増減の値(図示の例では+1または−1)を計算結果として動作履歴134に格納する。一方、ポイントを変更しないと判定した場合、計算結果として動作履歴134に0を格納する。そして、計算結果に格納した数値の合計(ポイントの合計値)を算出し、該ポイントの合計値が0より大きい値となるか、0より小さい値となるか、または0となるかを判定する。最後に、上述したように、ポイントの合計値に応じて冷蔵庫2の機嫌を決定し(図示の例では、ポイントの合計値が+2のため、機嫌を「良」に決定し)、決定した機嫌を示す機嫌情報を、冷蔵庫2を示す家電IDと対応付けて、出力音声決定部125に出力する。なお、機嫌決定部124による冷蔵庫2の機嫌の決定方法は、ここまで説明したものに限定されない。
出力音声決定部125は、冷蔵庫2に出力させるメッセージを決定する。具体的には、出力音声決定部125は、性格決定部123から性格情報を取得するたびに、家電IDが一致する性格情報を上書きし、取得した性格情報に応じた発話候補情報135を特定する。また、出力音声決定部125は、機嫌決定部124から機嫌情報を取得するたびに、家電IDが一致する機嫌情報を上書きする。そして、音声認識部121からメッセージ決定指示t1を取得すると、予め特定していた発話候補情報135に含まれる複数のメッセージから、条件に合致するメッセージを特定する。そして、該メッセージについて、性格決定部123から取得した機嫌情報に応じたバリエーションを特定し、特定したバリエーションのメッセージを、冷蔵庫2に音声出力させるメッセージデータd3として冷蔵庫2に送信する。また、メッセージデータd3の冷蔵庫2への送信が完了すると、出力音声決定部125は、送信した日時、メッセージデータd3のカテゴリ、および冷蔵庫2の家電IDに対応付けられたメッセージテキストを、音声認識部121に出力する。
換言すれば、出力音声決定部125は、冷蔵庫2の状態と、冷蔵庫2の性格とに基づいて決定した内容のメッセージを、冷蔵庫2の機嫌に基づいて決定した形態で、冷蔵庫2に出力させると表現することもできる。
ここで、図8を参照して発話候補情報135の詳細について説明する。図8は、発話候補情報135のデータ構造および具体例を示す図である。図8の(a)は、性格が「積極的」の場合の発話候補情報135aのデータ構造および具体例を示す図であり、図8の(b)は、性格が「自己主張しない」の場合の発話候補情報135bのデータ構造および具体例を示す図である。なお、発話候補情報135は、図8の例に限定されるものではない。
発話候補情報135は、冷蔵庫2に音声出力させるメッセージのデータベースである。上述したように、発話候補情報135は、冷蔵庫2の性格情報に対応付けられた複数のデータベース(例えば、図8に示す発話候補情報135a、発話候補情報135bなど)である。換言すれば、発話候補情報135は、冷蔵庫2の性格ごとに異なる、冷蔵庫2が出力可能なメッセージのリストであると表現することもできる。なお以降、複数のデータベースを区別する必要が無い場合、単に発話候補情報135と記載する。
「メッセージ本文」のカラムには、各メッセージの内容を示すテキストデータが格納されている。なお、「メッセージ本文」のカラムの「−」は、冷蔵庫2に音声出力させるメッセージとして特定された場合、メッセージを音声出力させず、処理を終了することを示している。「出力条件」のカラムには、各メッセージが音声出力の対象となるための条件を示す情報が格納されている。「機嫌」のカラムには、冷蔵庫2の機嫌を示す機嫌情報、すなわち、本実施形態の場合、「良」、「普通」、「悪」が格納されている。「文頭」および「文末」のカラムにはそれぞれ、メッセージ本文の文頭および文末に付加する文言のテキストデータが格納されている。換言すれば、「文頭」および「文末」のカラムには、メッセージのバリエーションを変更するためのテキストデータが格納されている。なお、「文頭」および「文末」のカラムの「−」は、メッセージ本文に文言を付加しないことを示している。「カテゴリ」のカラムには、各メッセージのカテゴリ(図4参照)を示す情報が格納されている。
上述したように、冷蔵庫2の性格が「積極的」である場合、出力音声決定部125が読み出す発話候補情報135は、発話候補情報135aである。また、冷蔵庫2の性格が「積極的」である場合、冷蔵庫2がメッセージを音声出力するタイミング(発話タイミング)は「いつでも」となる(図4参照)。そのため、発話候補情報135aに含まれているメッセージの出力条件には、図8の(a)に示すように、「午前7:00になる」や「午前10:00の時点で賞味期限が今日の食品がある」など、ユーザの発話を必要としない条件が含まれている。
一方、冷蔵庫2の性格が「自己主張しない」である場合、出力音声決定部125が読み出す発話候補情報135は、発話候補情報135bである。また、冷蔵庫2の性格が「自己主張しない」である場合、冷蔵庫2がメッセージを音声出力するタイミング(発話タイミング)は「話しかけられたとき」となる(図4参照)。そのため、発話候補情報135bに含まれているメッセージの出力条件は、図8の(b)に示すように、「ユーザの発話に『おはよう』が含まれる」などのユーザの発話を必要とする条件となっている。
また、発話候補情報135に含まれているメッセージは、各発話候補情報135に対応付けられている冷蔵庫2の性格に応じて異なる。具体的には、「積極的」が対応付けられている発話候補情報135aは、「標準」、「お知らせ」、「あいさつ」、「提案」のカテゴリのメッセージが格納されている(図4参照)。一方、「自己主張しない」が対応付けられている発話候補情報135bは、「標準」、「あいさつ」、「雑談」のカテゴリのメッセージが格納されている(図4参照)。そのため、図8に示すように、発話候補情報135aに含まれている、「(食品)の賞味期限が切れそうだよ。今日の御飯に使ったら?」という、「提案」のカテゴリに含まれるメッセージは、発話候補情報135bには含まれていない。
そのため、例えば、ユーザが「賞味期限が切れそうな食品がある?」という音声を冷蔵庫2に問いかけた場合、冷蔵庫2の性格が「積極的」であれば、出力音声決定部125は、「(食品)の賞味期限が切れそうだよ。今日の御飯に使ったら?」というメッセージをメッセージデータd3として特定し、冷蔵庫2に音声出力させることができる。なお、「(食品)」には、具体的な食品名が入る。出力音声決定部125は、食品リスト136を参照して、本日賞味期限が切れる食品を特定し、「(食品)」を特定した食品の食品名(例えば、「卵」など)に変更したメッセージデータd3を生成する。このように、出力音声決定部125は、必要に応じてメッセージデータd3の生成のために食品リスト136を参照する。
一方、冷蔵庫2の性格が「自己主張しない」の場合、「(食品)の賞味期限が切れそうだよ。今日の御飯に使ったら?」というメッセージは発話候補情報135bに含まれていない。
その代わり、発話候補情報135bには、図8の(b)に示すように、カテゴリが「標準」のメッセージとして「食品リストを確認して。」というメッセージが格納されている。該メッセージには「ユーザの発話が『期限切れの食品があるか』の確認」という出力条件が対応付けられているため、ユーザが「賞味期限が切れそうな食品がある?」という音声を冷蔵庫2に問いかけた場合、該メッセージが冷蔵庫2から音声出力される。このように、各発話候補情報135には、対応付けられた性格において音声出力しないカテゴリのメッセージに関する発話をユーザが行った場合、対話を成立させるための代わりのメッセージを、カテゴリが「標準」のメッセージとして格納している。これにより、冷蔵庫2がユーザの問いかけに対して応答できないということが無くなる。
なお、カテゴリが「あいさつ」のメッセージなど、対話が成立しなくても問題がないメッセージにおいては、機嫌情報に基づくメッセージのバリエーションとして、音声出力しない(ユーザの発話を無視する)バリエーションがあってもよい。具体的には、図8に示すように、カテゴリが「あいさつ」のメッセージは、冷蔵庫2の機嫌が「良」または「普通である」場合には「おはよう。」というメッセージが特定され、音声出力されるが、冷蔵庫2の機嫌が「悪」の場合には音声出力されない。これにより、冷蔵庫2の機嫌が悪いため、ユーザがあいさつしても無視するという状況を表現することができ、より人間とのコミュニケーションに近い、冷蔵庫2とユーザとのコミュニケーションを実現することができる。
食品リスト管理部126は食品リスト136を管理する。具体的には、食品リスト管理部126は、音声認識部121から処理実行指示t2を取得すると、該処理実行指示t2に応じた処理を実行し、食品リスト136を更新する。食品リスト136は、食品名、登録日時、期限、個数、残量などが対応付けられたリストである。
例えば、食品リスト管理部126は、処理実行指示t2に応じて、食品の新規登録、食品の削除などを実行する。また、食品リスト管理部126は、処理実行指示t2に従って食品リスト136を更新した場合、その旨を履歴管理部122に通知する。履歴管理部122は、上述したように、該通知に基づいて動作履歴134を更新する。
サーバ記憶部13は、サーバ1が使用する各種データを記憶する。サーバ記憶部13は少なくとも、対話履歴131、性格決定情報132、機嫌判定情報133、動作履歴134、発話候補情報135、食品リスト136を記憶している。なお、これらの詳細については既に説明しているため、ここでの説明を省略する。
続いて、冷蔵庫2の要部構成について説明する。図示のように、冷蔵庫2は、音声入力部21、機器制御部22、機器通信部23、音声出力部24、および操作受付部25を備える。なお、冷蔵庫2の冷却機能などを実現する部材については、本発明との関連性が低いため、図示およびここでの説明を省略する。
音声入力部21は、冷蔵庫2の周囲で発生した音声を取得する、いわゆるマイクロフォンである。音声出力部24は、機器制御部22によって制御され、メッセージを音声出力する、いわゆるスピーカである。操作受付部25は、ユーザの操作を受け付ける。本実施形態では、操作受付部25は冷蔵庫2に備え付けられたドアである。
機器通信部23はサーバ1と通信する。具体的には、機器通信部23は、機器制御部22から取得した音声データd1、およびドア(操作受付部25)が開閉されたことを示すドア開閉情報d2をサーバ1に送信する。また、機器通信部23は、サーバ1から受信したメッセージデータd3を機器制御部22に出力する。
機器制御部22は、冷蔵庫2の各部を統括して制御する。機器制御部22は、音声入力部21に入力された音声データd1を、機器通信部23を介してサーバ1に送信する。また、冷蔵庫2は、ドア(操作受付部25)が開閉されたことを検出したとき、ドア開閉情報d2を生成し、機器通信部23を介してサーバ1に送信する。また、機器制御部22は、サーバ1から送信されたメッセージデータd3を、機器通信部23を介して取得すると、該メッセージデータd3を音声出力部24に音声出力させる。
(性格決定処理の流れ)
次に、図9を参照して、サーバ1が実行する性格決定処理の流れについて説明する。図9は、性格決定処理の流れの一例を示すフローチャートである。
まず、性格決定部123は、タイマを参照しながら、性格を変更する日付となるまで待機する(ステップS1、以下、ステップを省略)。性格を変更する日付となった場合(S1でYES)、性格決定部123は、現在の冷蔵庫2の性格に応じた性格決定情報132を参照し、対話履歴131が、変更条件のいずれの条件を満たすかを特定する(S2)。例えば、冷蔵庫2の現在の性格が「初期状態」の場合、性格決定部123は、対話履歴131から、使用開始から3か月間の対話回数の月あたりの平均を算出する。そして、該平均が100回/月以上であるか、または100回/月未満であるかを特定する(図6参照)。
続いて、性格決定部123は、特定した条件に対応付けられた性格を、冷蔵庫2の新たな性格に決定する(S3、第2の属性決定ステップ)。例えば、対話履歴131における、使用開始から3か月間の対話回数の月あたりの平均が100回/月以上である場合、冷蔵庫2の新たな性格を「おしゃべり」に決定する(図6参照)。続いて、性格決定部123は、決定した冷蔵庫2の新たな性格を示す性格情報を、出力音声決定部125に出力する(S4)。
最後に、出力音声決定部125は、性格情報に応じた発話候補情報を特定する(S5)。以上で、性格決定処理は終了する。
(機嫌決定処理の流れ)
次に、図10を参照して、サーバ1が実行する機嫌決定処理の流れについて説明する。図10は、機嫌決定処理の流れの一例を示すフローチャートである。
まず、機嫌決定部124は、クロックを参照しながら、機嫌を変更する時刻となるまで待機する(S11)。機嫌を変更する時刻となった場合(S11でYES)、機嫌決定部124は、機嫌判定情報133と動作履歴134とから、ポイントの合計値を算出する(S12)。具体的には、機嫌決定部124は、機嫌判定情報133に含まれる各ポイント変更条件について、動作履歴134を参照してポイントを算出し、算出したポイントを合計する。
続いて、機嫌決定部124は、ポイントの合計値の正負を判定する(S13)。ポイントの合計値が正の数である、すなわち、ポイントの合計値が0より大きい場合(S13でA)、機嫌決定部124は冷蔵庫2の機嫌を「良」に決定する(S14、第1の属性決定ステップ)。また、ポイントの合計値が負の数である、すなわち、ポイントの合計値が0より小さい場合(S13でB)、機嫌決定部124は冷蔵庫2の機嫌を「悪」に決定する(S15、第1の属性決定ステップ)。また、ポイントの合計値が0の場合(S13でC)、機嫌決定部124は冷蔵庫2の機嫌を「普通」に決定する(S16、第1の属性決定ステップ)。最後に、機嫌決定部124は、決定した機嫌を示す機嫌情報を、出力音声決定部125に出力する(S17)以上で、機嫌決定処理は終了する。
(メッセージ決定処理の流れ)
次に、図11を参照して、サーバ1が実行するメッセージ決定処理の流れについて説明する。図11は、メッセージ決定処理の流れの一例を示すフローチャートである。
まず、出力音声決定部125は、メッセージ決定指示t1の取得を待機する状態となっている(S21)。音声認識部121からメッセージ決定指示t1を取得すると(S21でYES)、図9のステップS5にて予め特定していた発話候補情報135から、出力条件を満たすメッセージを特定する(S22)。例えば、冷蔵庫2の性格が「積極的」であって、午前10時の時点で、食品リスト136に賞味期限が今日の食品として「卵」が登録されていた場合、出力音声決定部125は、発話候補情報135a(図8の(a)参照)から、「(食品)の賞味期限が切れそうだよ。今日のごはんに使ったら?」というメッセージを特定する。
続いて、出力音声決定部125は、機嫌情報から、特定したメッセージのバリエーションを決定する(S23)。例えば、機嫌決定部124から取得した機嫌情報が「良」を示すものであった場合、出力音声決定部125は、発話候補情報135aの「(食品)の賞味期限が切れそうだよ。今日のごはんに使ったら?」というメッセージにおいて、「良」に対応付けられたバリエーション、すなわち、文頭に「うふふ」、文末に「よろしくね。」を付加するバリエーションを特定する。
続いて、出力音声決定部125は、特定したバリエーションが、メッセージを出力するバリエーションであるか否かを判定する(S24)。メッセージを出力するバリエーションでない、すなわち、メッセージを出力しないバリエーションであると判定した場合(S24でNO)、メッセージ決定処理は終了する。
一方、メッセージを出力するバリエーションであると判定した場合(S24でYES)、出力音声決定部125は、メッセージデータd3が完成しているか否かを判定する(S25)。メッセージが完成していない場合(S25でNO)、例えば、上述した例のように、「(食品)」の部分に具体的な食品名を入れる必要がある場合、出力音声決定部125は、食品リスト136を参照し、メッセージを完成させる(S26)。例えば、食品リスト136から、賞味期限が今日の食品として「卵」を特定し、上記のメッセージの「(食品)」を「卵」に変更して、メッセージデータd3を完成させる。一方、メッセージが完成している場合(S25でYES)、S26の処理は省略される。
最後に、出力音声決定部125は、メッセージデータd3を冷蔵庫2に送信する(S27、動作決定ステップ)。ここで説明した例の場合、「うふふ。卵の賞味期限が切れそうだよ。今日のごはんに使ったら?よろしくね。」というメッセージデータd3を冷蔵庫2に送信する。これにより、メッセージデータd3を受信した冷蔵庫2は、該メッセージデータd3を音声出力する。以上で、メッセージ決定処理は終了する。
〔実施形態2〕
本発明の他の実施形態について、図1に基づいて説明すれば、以下のとおりである。なお、以降の請求項については、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
実施形態1では、出力音声決定部125は、メッセージデータd3を完成させるために食品リスト136を参照していた。しかしながら、メッセージデータd3を完成させるために参照する対象は、食品リスト136に限定されない。例えば、出力音声決定部125は、外部の機器から情報を取得して、メッセージデータd3を完成させてもよい。ここでは、出力音声決定部125が、外部サーバ3から情報d4を取得する例を説明する。
図1に示す外部サーバ3は例えば、天気予報を管理するサーバである。出力音声決定部125は例えば、外部サーバ3から今日の天気の情報を取得して、メッセージデータd3を完成させる。これにより、例えば「提案」のカテゴリのメッセージデータd3として、「今日は午後から雨が降るみたい。買い物は午前中に行ったら?」といったメッセージを冷蔵庫2に音声出力させることができる。
また、外部サーバ3は例えば、スーパーマーケットの情報を管理するサーバである。出力音声決定部125は例えば、外部サーバ3から特売日の情報を取得して、メッセージデータd3を完成させる。これにより、例えば「お知らせ」のカテゴリのメッセージデータd3として、「今日は○○スーパーの特売日だよ!」といったメッセージを冷蔵庫2に音声出力させることができる。
なお、外部サーバ3は上記の2例に限定されるものではない。また、出力音声決定部125が情報d4を取得する外部の機器は、外部サーバ3に限定されるものではない。例えば、冷蔵庫2や後述する携帯端末4から情報を取得して、メッセージデータd3を完成させてもよい。また、出力音声決定部125は、サーバ記憶部13に記憶している、食品リスト136以外のデータを参照して、メッセージデータd3を完成させてもよい。
なお、出力音声決定部125は、サーバ記憶部13や外部の機器から取得した情報を、発話候補情報135を特定する際に使用してもよい。例えば、冷蔵庫2の性格に加え、冷蔵庫2から取得した、ユーザが冷蔵庫2の近くにいるか否かを示す情報や、冷蔵庫2の周囲の環境を示す情報に応じて、発話候補情報135を特定してもよい。なお、この例の場合、冷蔵庫2は、近くのユーザを検知するセンサや、周囲の環境に関する情報(例えば温度、湿度など)を検出するセンサを備えているものとする。
〔実施形態3〕
本発明のさらに別の実施形態について、図1および図12を参照して説明する。図12は、携帯端末4に表示される画面例を示す図である。本実施形態では、冷蔵庫2の現在の性格および機嫌を示す画像を、ユーザ所有の携帯端末4に表示させる構成について説明する。
図1に示すように、性格決定部123は、冷蔵庫2の性格を変更すると、新たな性格を示す性格情報d5を、サーバ通信部11を介して携帯端末4に送信する。同様に、機嫌決定部124は、冷蔵庫2の機嫌を変更すると、新たな機嫌を示す機嫌情報d6を、サーバ通信部11を介して携帯端末4に送信する。
携帯端末4は、ユーザが所有する端末装置であり、例えば携帯電話、スマートフォン、タブレット端末などである。携帯端末4は、端末通信部41、端末制御部42(表示制御部)、および表示部43を備える。
端末通信部41はサーバ1と通信する。具体的には、端末通信部41は、サーバ1から受信した性格情報d5および機嫌情報d6を、端末制御部42に出力する。表示部43は、端末制御部42の制御に従って画像を表示する。
端末制御部42は、携帯端末4の各部を統括して制御する。具体的には、端末制御部42は、取得した性格情報d5および機嫌情報d6に基づいて、性格・機嫌表示画面を生成し、表示部43に表示させる。性格・機嫌表示画面については、冷蔵庫2の現在の性格および機嫌を示す画面であれば、その詳細は特に限定されない。性格・機嫌表示画面は例えば、図12の(a)に示すような画面であってもよい。
図示のように、性格・機嫌表示画面は、冷蔵庫2の現在の性格(図示の例では「おしゃべり」)と、冷蔵庫2の現在の機嫌(図示の例では「良」)を含む。これにより、ユーザは冷蔵庫2の現在の性格と機嫌とを認識することができる。なお、上記の例では、携帯端末4の端末制御部42が、性格・機嫌表示画面を生成する例を説明したが、該画面はサーバ1で生成されてもよい。例えば、サーバ制御部12に含まれる画面生成部(不図示)が、性格決定部123および機嫌決定部124から性格情報および機嫌情報を取得して、性格・機嫌表示画面を生成し、該画面を携帯端末4に送信してもよい。
また、図示の例では、冷蔵庫2の現在の性格をアイコン(画像)およびテキストで示し、現在の機嫌をテキストのみで示しているが、性格・機嫌表示画面は、上述したように冷蔵庫2の現在の性格および機嫌を示す画面であればよく、この例に限定されるものではない。例えば、冷蔵庫2の現在の性格および機嫌の両方を、1つのアイコンで示してもよいし、性格を示すアイコンと期限を示すアイコンとを表示させてもよい。また、冷蔵庫2の現在の性格および機嫌をテキストのみで示してもよい。
また、性格・機嫌表示画面は、その他の情報を含んでもよい。図示の例では、性格をユーザの操作で変更するためのユーザインターフェースである切り替えボタン441を含んでいる。なお、図示の携帯端末4は、タッチパネル(不図示)が表示部43に重畳している構成であり、ユーザはタッチパネルに対してタッチ操作による入力を行うことができるものとして説明する。
以下、ユーザの操作で性格を変更する処理の詳細を説明する。ユーザが切り替えボタンをタッチすると、端末制御部42は、サーバ1から、冷蔵庫2のすべての性格情報d5を取得する。そして、冷蔵庫2の性格をユーザに選択させる性格選択画面を生成し、表示部43に表示させる。ユーザが性格選択画面から望みの性格をタッチ操作で選択すると、端末制御部42は、選択された性格を示す性格情報をサーバ1に送信する。サーバ1の性格決定部123は、携帯端末4から送信された性格情報が示す性格に、冷蔵庫2の性格を変更する。
また、冷蔵庫2の最初の性格のみ、ユーザが携帯端末4を用いて選択可能であってもよい。具体的には、ユーザは、冷蔵庫2の使用を開始する際に、携帯端末4を用いて、望みの性格を予め与えられた選択肢から選択する。例えば、ユーザは冷蔵庫2の最初の性格を「おしゃべり」または「控えめ」から選択する。ここで、冷蔵庫2が自発的に音声出力する(発話タイミングが「いつでも」となる)ことを希望するユーザは「おしゃべり」を選択すれば、以降、冷蔵庫2の性格が変更されても、冷蔵庫2が自発的に音声出力する状況を継続することができる(図3、4参照)。一方、冷蔵庫2が音声出力することを最低限に抑えたい(発話タイミングが「話しかけられたとき」となる)ことを希望するユーザは「控えめ」を選択すれば、以降、冷蔵庫2の性格が変更されても、冷蔵庫2の音声出力をユーザが話しかけたときのみとする状況を継続することができる(図3、4参照)。これにより、ユーザは、冷蔵庫2の使用を開始する際に、自身の望む動作を行うように冷蔵庫2の性格を選択することができる。よって、冷蔵庫2とのコミュニケーションをストレスなく行うことができる。
なお、ユーザの操作で冷蔵庫2の性格を変更する場合、サーバ1の管理者は、該変更に対して課金してもよい。この場合、端末制御部42は、性格の変更に対しての課金を行うサイトを管理するサーバ(サーバ1であってもよいし、別のサーバであってもよい)にアクセスし、該サイトの画面を表示部43に表示させることで、ユーザに課金処理を行わせる。
性格・機嫌表示画面に表示する情報の他の例としては、例えば、冷蔵庫2の消費電力を抑えるモードであるエコモードが有効であるか否かの情報や、該エコモードのON/OFFを切り替えるユーザインターフェースなどが挙げられる。
また、ユーザが冷蔵庫2の買い替えなどで、冷蔵庫2を新たな冷蔵庫2に取り換えた場合に、買い替え前(取り換え前)の冷蔵庫2の性格を、買い替え後(取り換え後)の冷蔵庫2の性格として引き継ぐか否かをユーザに選択させる引継ぎ選択画面を、携帯端末4に表示させてもよい。引継ぎ選択画面の詳細は、冷蔵庫2の性格を引き継ぐか否かを選択することができる画面であれば、その詳細は特に限定されない。引継ぎ選択画面は例えば、図12の(b)に示す画面であってもよい。
ユーザは冷蔵庫2を買い替えた場合、携帯端末4を操作して、買い替え後の冷蔵庫2と通信する。そして、買い替え後の冷蔵庫2の家電IDを取得する。そして、端末制御部42は、図12の(b)に示す引継ぎ選択画面を生成し、表示部43に表示させる。図示の引継ぎ選択画面は、性格を引き継ぐことを了承する場合にユーザがタッチするユーザインターフェースである了承ボタン442と、性格を引き継ぐことを拒否する場合にユーザがタッチするユーザインターフェースである拒否ボタン443とを含む。ユーザが、了承ボタン442または拒否ボタン443をタッチすると、端末制御部42タッチされたボタンを示す通知と、買い替え前後の冷蔵庫2の家電IDとをサーバ1に送信する。
携帯端末4から拒否ボタン443がタッチされた旨の通知を受信すると、サーバ1の履歴管理部122は、買い替え前の冷蔵庫2の家電IDに対応付けられている、冷蔵庫2の対話履歴131および動作履歴134を初期化する。そして、初期化後の対話履歴131および動作履歴134に、上記通知とともに受信した買い替え後の冷蔵庫2の家電IDを対応付ける。また、出力音声決定部125は、買い替え前の冷蔵庫2の家電IDに対応付けられている、冷蔵庫2の性格情報を「初期状態」に戻す。そして、該性格情報に、買い替え後の冷蔵庫2の家電IDを対応付ける。
一方、了承ボタン442がタッチされた旨の通知を受信すると、履歴管理部122は、冷蔵庫2の対話履歴131および動作履歴134について、対応付けられている家電IDを買い替え後の冷蔵庫2の家電IDに置き換える。また、出力音声決定部125(引き継ぎ部)は、冷蔵庫2の性格情報および機嫌情報について、対応付けられている家電IDを買い替え後の冷蔵庫2の家電IDに置き換える。これにより、買い替え前の冷蔵庫2の性格を、買い替え後の冷蔵庫2が引き継ぐことができる。
なお、冷蔵庫2の性格だけでなく、冷蔵庫2の性格および機嫌の両方を、買い替え後の冷蔵庫2に引き継いでもよい。
また、冷蔵庫2を買い替えたとき、自動的に買い替え前の冷蔵庫2の性格を引き継ぐ構成であってもよい。具体的には、古い冷蔵庫2を処分することを示す通知を該冷蔵庫2(または携帯端末4)から取得すると、サーバ1は、該冷蔵庫2の家電IDに対応付けられている各種情報(冷蔵庫2の性格、対話履歴131、動作履歴134など)を、処理を保留する情報(保留情報)とする。その後、サーバは、新たな冷蔵庫2の家電IDを取得すると、該家電IDを保留情報に対応付ける。これにより、買い替え後の冷蔵庫2に買い替え前の冷蔵庫2の性格が引き継がれる。なお、ここで説明した処理は一例であり、この例に限定されるものではない。
なお、本実施形態では、性格・機嫌表示画面と引継ぎ選択画面とを携帯端末4に表示させる例を説明したが、これらの画面を表示させる表示装置はこの例に限定されない。例えば、冷蔵庫2が表示部を備える構成の場合、該表示部にこれらの画面を表示させてもよい。
〔実施形態4〕
本発明のさらに別の実施形態について、図4および図8を参照して説明する。本実施形態では、実施形態1にて説明した、性格に応じて発話タイミングが異なる構成(図4参照)に代えて、性格に応じて発話頻度が異なる構成について説明する。
本実施形態に係る冷蔵庫2は、発話タイミングが性格に依らずすべて「いつでも」となっている。つまり、どの性格であっても、自発的にメッセージを音声出力する可能性がある。ただし、上述したように、冷蔵庫2の性格に応じて、発話頻度が異なる。発話頻度の選択肢は特に限定されないが、本実施形態では発話頻度が多い順に、「多」、「普通」、「少」の3種類の発話頻度が、性格ごとに設定されている。
続いて、発話頻度の違いに応じた発話候補情報135の違いについて説明する。本実施形態に係る発話候補情報135は、1つのメッセージに対応付けられている、ユーザの発話に依らないメッセージの出力条件(例えば、「午前7:00になる」などの出力条件)の数が、性格に応じて異なっている。
例えば、発話頻度が「少」の性格の場合、図8の(a)に示すように、「おはよう」というメッセージを、冷蔵庫2に自発的に音声出力させる条件は、「午前7:00になる」の1つのみである。これに対して、例えば発話頻度が「普通」の性格の場合、該条件は「午前7:30になる」を加えた2つとなる。また、例えば発話頻度が「多」の場合、該条件は「午前8:00になる」をさらに加えて合計3つとなる。
なお、性格に応じて発話タイミングが異なるようにするか、または、発話頻度が異なるようにするかを、ユーザが選択可能であってもよい。
〔変形例〕
上記各実施形態では、冷蔵庫2の性格および機嫌を決定する例を説明したが、性格および機嫌を決定する対象となる家電は冷蔵庫2に限定されない。例えば、電子レンジ、空調装置(エアコン)、テレビ、洗濯機、自走式掃除機、空気清浄機などであってもよい。また、性格および機嫌を決定する対象となる家電は、各家庭において複数あってもよい。
上記各実施形態では、冷蔵庫2の機嫌を決定するための各ポイントの増減は1のみであったが、ポイント変更条件ごとに、ポイントの増減に重み付けを行ってもよい。
また、性格および機嫌の決定方法、特に、性格決定情報132の変更条件、並びに、機嫌判定情報133の判定対象、ポイント変更条件、および対象期間をユーザが、携帯端末4を操作して変更可能な構成であってもよい。
また、上記各実施形態では、冷蔵庫2の性格の変更は、対話履歴131、すなわち、ユーザと冷蔵庫2との対話に関する情報を参照して行っていたが、冷蔵庫2などの家電の動作に関する情報を参照して性格を変更してもよい。
また、上記各実施形態では、冷蔵庫2の性格および機嫌に応じて、音声出力されるメッセージの内容、出力タイミングなどが変わる構成を説明したが、冷蔵庫2などの家電の動作内容が、性格および機嫌に応じて変更される構成であってもよい。
また、サーバ1の各部は、冷蔵庫2などの家電内に備えられる構成であってもよい。この例の場合、家電ごとに性格および機嫌を決定することとなるので、家電IDは省略される。
また、上記各実施形態では、冷蔵庫2がメッセージを音声出力する構成を説明したが、冷蔵庫2のメッセージの出力方法はこの例に限定されない。例えば、冷蔵庫2が表示部を備え、該表示部にメッセージを表示する構成であってもよい。また、サーバ1は、グループ(例えば家族)のメンバー間におけるコミュニケーションのための電子伝言板に、メッセージを擬人化した家電のメッセージとして投稿してもよい。この例の場合、ユーザは携帯端末4などに電子伝言板を表示させることで、家電からのメッセージを確認することができる。なお、複数の出力方法によるメッセージの出力が同時に行われてもよい。例えば、メッセージの音声出力とメッセージの電子伝言板への投稿とが同時に行われてもよい。
〔実施形態5〕
上記各実施形態では、1つのサーバ1を用いる例を説明したが、サーバ1の有する各機能が、個別のサーバにて実現されていてもよい。そして、複数のサーバを適用する場合においては、各サーバは、同じ事業者によって管理されていてもよいし、異なる事業者によって管理されていてもよい。
〔実施形態6〕
サーバ1、冷蔵庫2、および携帯端末4の各ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。後者の場合、サーバ1、冷蔵庫2、および携帯端末4のそれぞれを、図13に示すようなコンピュータ(電子計算機)を用いて構成することができる。
図13は、サーバ1、冷蔵庫2、および携帯端末4として利用可能なコンピュータ910の構成を例示したブロック図である。コンピュータ910は、バス911を介して互いに接続された演算装置912と、主記憶装置913と、補助記憶装置914と、入出力インターフェース915と、通信インターフェース916とを備えている。演算装置912、主記憶装置913、および補助記憶装置914は、それぞれ、例えばCPU、RAM(random access memory)、ハードディスクドライブであってもよい。入出力インターフェース915には、ユーザがコンピュータ910に各種情報を入力するための入力装置920、および、コンピュータ910がユーザに各種情報を出力するための出力装置930が接続される。入力装置920および出力装置930は、コンピュータ910に内蔵されたものであってもよいし、コンピュータ910に接続された(外付けされた)ものであってもよい。例えば、入力装置920は、キーボード、マウス、タッチセンサなどであってもよく、出力装置930は、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置920および出力装置930の双方の機能を有する装置を適用してもよい。そして、通信インターフェース916は、コンピュータ910が外部の装置と通信するためのインターフェースである。
補助記憶装置914には、コンピュータ910をサーバ1、冷蔵庫2、および携帯端末4として動作させるための各種のプログラムが格納されている。そして、演算装置912は、補助記憶装置914に格納された上記プログラムを主記憶装置913上に展開して該プログラムに含まれる命令を実行することによって、コンピュータ910を、サーバ1、冷蔵庫2、および携帯端末4が備える各部として機能させる。なお、補助記憶装置914が備える、プログラム等の情報を記録する記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。
また、上記プログラムは、コンピュータ910の外部から取得してもよく、この場合、任意の伝送媒体(通信ネットワークや放送波等)を介して取得してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る制御装置(サーバ1)は、ユーザが使用する電気機器(冷蔵庫2)を制御する制御装置であって、上記制御装置は、以下を含む;上記電気機器の第1の所定期間における動作履歴に基づく、該電気機器の第1の属性を決定する第1の属性決定部(機嫌決定部124)、上記第1の所定期間より長い第2の所定期間における上記電気機器の動作履歴に基づく、上記第1の属性と異なる、該電気機器の第2の属性を決定する第2の属性決定部(性格決定部123)、決定された上記第1の属性および上記第2の属性に基づいて、上記電気機器の動作を決定する動作決定部(出力音声決定部125)。
上記の構成によれば、電気機器の異なる2つの属性を決定し、該2つの属性に基づいて電気機器の動作を決定する。電気機器の動作は異なる2つの属性に基づいているため、電気機器の動作のパターンを大幅に増やすことができる。これにより、ユーザが飽きず、電気機器に愛着を持つことができる。なお、上記2つの属性について、第2の属性は第1の属性に比べて、長期間の電気機器の動作履歴に基づいて決定される。つまり、第1の属性は短期間の電気機器の動作に基づく属性であり、例えば、電気機器を擬人化した場合における該電気機器の機嫌(感情)とみなすこともできる。一方、第2の属性は長期間の電気機器の動作に基づく属性であり、例えば、電気機器を擬人化した場合における該電気機器の性格(個性)とみなすこともできる。第1の属性および第2の属性をそれぞれ、電気機器の機嫌、性格とみなし、該機嫌および性格に基づいて電気機器が行う動作を決定するので、ユーザは、より人間とのコミュニケーションに近いコミュニケーションを、電気機器との間で行うことができる。
本発明の態様2に係る制御装置は、上記態様1において、以下を含んでもよい;上記第2の属性決定部は、上記電気機器の使用開始からの期間が、予め定められた複数の期間のいずれかに達するたびに上記第2の属性を更新する。
上記の構成によれば、第2の属性は、電気機器の使用開始からの期間が、予め定められた複数の期間のいずれかに達するたびに更新される。これにより、電気機器の使用開始からの期間が、予め定められた複数の期間のいずれかに達するたびに、電気機器の動作に変化が生まれる。よって、電気機器が成長したかのようにユーザに感じさせることができるので、ユーザが電気機器に愛着を持つことができる。
本発明の態様3に係る制御装置は、上記態様1または2において、以下を含んでもよい;上記動作決定部は、決定された上記第1の属性および上記第2の属性に応じて、上記電気機器が出力するメッセージを決定する。
上記の構成によれば、電気機器は、第1の属性および第2の属性に応じたメッセージを出力することとなるので、ユーザは長期間にわたって、電気機器とのコミュニケーションを飽きずに行うことができる。なお、メッセージの出力方法の一例としては、音声による出力、電気機器が備える表示部への表示による出力などが挙げられる。
本発明の態様4に係る制御装置は、上記態様3において、以下を含んでもよい;上記動作決定部は、上記電気機器の状態と、上記第2の属性決定部が決定した上記第2の属性とに基づいて決定した内容のメッセージを、上記第1の属性決定部が決定した上記第1の属性に基づいて決定した形態で、上記電気機器に出力させる。
上記の構成によれば、電気機器が出力するメッセージの内容は、電気機器の状態と第2の属性とに基づいて決定される。また、該メッセージの出力形態は、第1の属性に基づいて決定される。つまり、電気機器が同じ状態であったとしても、第2の属性が異なれば、異なる内容のメッセージが出力される可能性がある。また、電気機器の状態および第2の属性が同じであっても、第1の属性が異なれば、メッセージの出力形態が異なる可能性がある。よって、電気機器が出力するメッセージが多彩になり、ユーザは長期間にわたって、電気機器とのコミュニケーションを飽きずに行うことができる。
本発明の態様5に係る制御装置は、上記態様3または4において、以下を含んでもよい;上記第2の属性決定部は、上記第2の所定期間における、上記電気機器が出力したメッセージと、該メッセージに対するユーザの応答との履歴に基づいて、該電気機器の上記第2の属性を決定する。
上記の構成によれば、第2の属性は、電気機器が出力したメッセージと、該メッセージに対するユーザの応答との履歴に基づいて決定される。換言すれば、電気機器とユーザとの対話の履歴に応じて、第2の属性は決定される。これにより、第2の属性はユーザと電気機器とのコミュニケーションに応じたものとなるので、ユーザが電気機器に愛着を持つことができる。
本発明の態様6に係る制御装置は、上記態様1から5のいずれかにおいて、以下を含んでもよい;上記ユーザが上記電気機器を新たな電気機器に取り換えたとき、取り換え前の電気機器の第2の属性、または第1の属性および第2の属性を、取り換え後の電気機器に引き継ぐ引き継ぎ部(出力音声決定部125)。
上記の構成によれば、電気機器が取り替えられた場合でも、取り換え後の電気機器に第2の属性、または第1の属性および第2の属性を引き継ぐことができる。これにより、ユーザは電気機器を取り換えても、愛着を持った電気機器とのコミュニケーションを継続することができる。
本発明の態様7に係る制御装置(サーバ1)の制御方法は、ユーザが使用する電気機器(冷蔵庫2)を制御する制御装置の制御方法であって、上記制御装置の制御方法は、以下を含む;上記電気機器の第1の所定期間における動作履歴に基づく、該電気機器の第1の属性を決定する第1の属性決定ステップ(ステップS14、S15、S16)、上記第1の所定期間より長い第2の所定期間における上記電気機器の動作履歴に基づく、上記第1の属性と異なる、該電気機器の第2の属性を決定する第2の属性決定ステップ(ステップS3)、決定された上記第1の属性および上記第2の属性に基づいて、上記電気機器を動作させる動作決定ステップ(ステップS27)。本態様に係る制御装置の制御方法は、態様1に係る制御装置と同様の作用効果を奏する。
本発明の態様8に係る表示装置(携帯端末4)は、画像を表示する表示部(表示部43)を備える表示装置であって、上記表示装置は、以下を含む;ユーザが使用する電気機器(冷蔵庫2)を制御する制御装置(サーバ1)から取得した、上記電気機器の第1の所定期間における動作履歴に基づく、該電気機器の第1の属性と、上記第1の所定期間より長い第2の所定期間における上記電気機器の動作履歴に基づく、上記第1の属性と異なる、該電気機器の第2の属性と、をユーザが認識可能な情報を上記表示部に表示させる表示制御部(端末制御部42)。
上記の構成によれば、第1の属性および第2の属性を、ユーザが認識可能な情報を表示させるので、電気機器の現在の第1の属性および第2の属性をユーザに認識させることができる。なお、ユーザが認識可能な情報は、第1の属性および第2の属性を示すテキスト、アイコンなどが挙げられる。
本発明の各態様に係る制御装置および表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記制御装置および表示装置が備える各部(ソフトウェア要素)として動作させることにより上記制御装置および表示装置をコンピュータにて実現させる制御装置および表示装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。