JP2023073359A - 情報出力方法、情報出力装置及びプログラム - Google Patents

Abstract

【課題】出力装置近傍のユーザに自身の挙動に応じた出力態様で自身の挙動に応じた内容の機器に関する情報を通知する。【解決手段】情報出力装置における情報出力方法であって、一以上のユーザが操作した一以上の機器の操作履歴に関する第一情報を取得し、一以上の出力装置の近傍で検出されたユーザを識別する第二情報を取得する処理を行い、一以上の出力装置の近傍で検出されたユーザの挙動に関する第三情報を取得し、第一情報に基づき、一以上の機器のうち状態の変化が生じた又は所定時間以内に状態の変化が生じ得る機器と状態の変化に関する操作を行った操作者とを特定し、特定された機器及び操作者に関する情報と第二情報と第三情報とに基づき、検出されたユーザに対する特定された機器に関する通知情報の出力態様及び内容を決定し、検出されたユーザを検出した一以上の出力装置に対して、決定された出力態様により、決定された内容の通知情報を出力する。【選択図】図１

Description

本開示は、機器に関する情報を出力する情報出力方法、情報出力装置及びプログラムに関する。

従来から、環境内に配置された複数のディスプレイに情報を出力する技術が知られている。例えば、特許文献１では、ディスプレイの付近に存在するユーザを識別し、前記ユーザが目的地にたどり着くまで、前記ユーザに紐付くコンテンツを前記ディスプレイに表示する方法が開示されている。また、特許文献２では、複数のユーザが共用するタッチパネルを具備した表示部を操作する場合に、表示部近傍のユーザの顔の向きを検出し、検出した顔の向きに応じて、表示する操作オブジェクトの大きさを変化させる方法が開示されている。

特開２０１４－１４５９９０号公報 特開２０１６－１７７８４５号公報

しかしながら、上記特許文献１に開示の技術では、ディスプレイ付近のユーザを識別し、当該識別されたユーザに紐づくコンテンツを表示する。このため、ユーザが宅内等でディスプレイ付近で移動しないような場合に、ユーザの状態を鑑みて、必要な時に情報を通知することは困難であった。

また、上記特許文献２に開示の技術では、前記表示部近傍のユーザの顔の向きに応じて、表示部に出力する操作オブジェクトを変化させる。このため、ユーザは、表示部を操作可能になるまで近づかない限り、情報を取得することは困難であった。

本開示は、上記問題に鑑みてなされたものであり、出力装置の近傍にいるユーザに、当該ユーザの挙動に応じた出力態様で、当該ユーザの挙動に応じた内容の機器に関する情報を通知することができる情報出力方法、情報出力装置及びプログラムを提供することを目的とする。

本開示の一態様に係る情報出力方法は、一以上のユーザが利用する一以上の出力装置に対して情報を出力する情報出力装置における情報出力方法であって、前記一以上のユーザが操作した一以上の機器の操作履歴に関する第一情報を取得し、前記一以上の出力装置の近傍で検出されたユーザを識別する第二情報を取得する処理を行い、前記一以上の出力装置の近傍で検出されたユーザの挙動に関する第三情報を取得し、前記第一情報に基づき、前記一以上の機器のうち状態の変化が生じた又は所定時間以内に状態の変化が生じ得る機器と前記状態の変化に関する操作を行った操作者とを特定し、前記特定された機器及び操作者に関する情報と前記第二情報と前記第三情報とに基づき、前記検出されたユーザに対する前記特定された機器に関する通知情報の出力態様及び内容を決定し、前記検出されたユーザを検出した一以上の出力装置に対して、前記決定された出力態様により、前記決定された内容の通知情報を出力する。

本開示によれば、出力装置の近傍にいるユーザに、当該ユーザの挙動に応じた出力態様で、当該ユーザの挙動に応じた内容の機器に関する情報を通知することができる。

第一実施形態における通知システムの全体構成の一例を示す図である。 パネル装置及びクラウドサーバの構成の一例を示すブロック図である。 ユーザ挙動取得部の詳細構成の一例を示すブロック図である。 操作履歴情報テーブルの一例を示す図である。 サマリ表示通知モードでの通知情報の出力イメージの一例を示す図である。 音声通知モードでの通知情報の出力イメージの一例を示す図である。 詳細表示通知モードでの通知情報の出力イメージの一例を示す図である。 通知システムの全体的な動作を示すフローチャートである。 ユーザ挙動取得処理の一例を示すフローチャートである。 通知対象特定処理の一例を示すフローチャートである。 通知手段判定処理の一例を示すフローチャートである。

（本開示の基礎となった知見）
以下、本開示の基礎となった知見について説明する。近年、ユーザを特定して、当該ユーザに適したコンテンツを通知する方法が検討されている。特に、複数人のユーザが、機器を共用し、くつろぎ、生活する宅内等の環境においては、他のユーザに邪魔にならぬよう、機器に関する通知が必要なユーザに対し、必要な場面でのみ通知を行って必要な情報を伝えることが重要である。

しかしながら、同じユーザであっても、通知を必要とする状況と必要としない状況とがある。また、通知を必要としないユーザも存在し得る。このため、各ユーザに対して一律的に通知を行うことは難しい。また、環境内での日常的な活動を効率よく実行するには、他の作業を行いながら、通知された情報を確認しなければならない場合がある。一方、家族団らん中等、通知が必要でない場合もある。

しかし、これまで、各部屋に設置されたパネル装置等の一以上の出力装置において、ユーザの挙動に適した態様及び内容で情報の通知を行うという技術的な解決策は検討されてこなかった。

本開示は、上記の課題を解決するためになされたものであり、出力装置の近傍にいるユーザに、当該ユーザの挙動に応じた出力態様で、当該ユーザの挙動に応じた内容の機器に関する情報を通知することができる情報出力方法、情報出力装置及びプログラムを提供することを目的とする。

本開示の一態様に係る情報出力方法は、一以上のユーザが利用する一以上の出力装置に対して情報を出力する情報出力装置における情報出力方法であって、前記一以上のユーザが操作した一以上の機器の操作履歴に関する第一情報を取得し、前記一以上の出力装置の近傍で検出されたユーザを識別する第二情報を取得する処理を行い、前記一以上の出力装置の近傍で検出されたユーザの挙動に関する第三情報を取得し、前記第一情報に基づき、前記一以上の機器のうち状態の変化が生じた又は所定時間以内に状態の変化が生じ得る機器と前記状態の変化に関する操作を行った操作者とを特定し、前記特定された機器及び操作者に関する情報と前記第二情報と前記第三情報とに基づき、前記検出されたユーザに対する前記特定された機器に関する通知情報の出力態様及び内容を決定し、前記検出されたユーザを検出した一以上の出力装置に対して、前記決定された出力態様により、前記決定された内容の通知情報を出力する。

また、本開示の一態様に係る情報出力装置は、一以上のユーザが利用する一以上の出力装置に対して情報を出力する情報出力装置であって、前記一以上のユーザが操作した一以上の機器の操作履歴に関する第一情報を取得する第一取得部と、前記一以上の出力装置の近傍で検出されたユーザを識別する第二情報を取得する処理を行う第二取得部と、前記一以上の出力装置の近傍で検出されたユーザの挙動に関する第三情報を取得する第三取得部と、前記第一情報に基づき、前記一以上の機器のうち状態の変化が生じた又は所定時間以内に状態の変化が生じ得る機器と前記状態の変化に関する操作を行った操作者とを特定する特定部と、前記特定された機器及び操作者に関する情報と前記第二情報と前記第三情報とに基づき、前記検出されたユーザに対する前記特定された機器に関する通知情報の出力態様及び内容を決定する決定部と、前記検出されたユーザを検出した一以上の出力装置に対して、前記決定された出力態様により、前記決定された内容の通知情報を出力する出力部と、を備える。

これらの態様によれば、第一情報に基づき、一以上の機器のうち状態の変化が生じた又は所定時間以内に状態の変化が生じ得る機器と前記状態の変化に関する操作を行った操作者とが特定される。そして、第二情報によって識別されるユーザを近傍で検出した一以上の出力装置に、前記特定された機器及び操作者に関する情報と第二情報と第三情報とに基づき決定された出力態様で、前記特定された機器及び操作者に関する情報と第二情報と第三情報とに基づき決定された内容の前記特定された機器に関する通知情報が出力される。

このため、通知情報を出力した一以上の出力装置の近傍に存在する、第二情報によって識別されるユーザに対して、第三情報に基づく自身の挙動に応じた出力態様で、第三情報に基づく自身の挙動に応じた内容の機器に関する通知情報を通知することができる。

上記態様において、前記情報出力装置は、前記一以上のユーザを識別する識別情報と、前記一以上のユーザの骨格を示す情報及び顔を示す情報のうち少なくとも一方を含む特徴情報と、を対応付けて予め記憶するメモリを含み、前記検出されたユーザを撮影した画像から、前記検出されたユーザの前記特徴情報を取得し、前記取得した特徴情報に対応する前記識別情報を前記メモリから取得し、当該取得した識別情報を前記第二情報として生成してもよい。

本態様によれば、前記検出されたユーザを撮影した画像から取得した特徴情報とメモリに予め対応付けて記憶されている識別情報及び特徴情報とを用いて第二情報が生成される。このため、情報出力装置は、第二情報を取得する処理において、当該生成された第二情報を取得することができる。

上記態様において、前記第三情報は、情報の取得意識が第一程度であることを示す第一挙動に関する情報、情報の取得意識が前記第一程度よりも高い第二程度であることを示す第二挙動に関する情報、又は、情報の取得意識が前記第一程度よりも低い第三程度であることを示す第三挙動に関する情報であってもよい。

本態様によれば、第二情報によって識別されるユーザの挙動に関する第三情報から、当該ユーザの情報の取得意識がどの程度であるかを把握することができる。このため、第二情報によって識別されるユーザに、自身の情報の取得意識の程度に応じた内容の前記通知情報を、自身の情報の取得意識の程度に応じた出力態様で通知することができる。

上記態様において、前記一以上の出力装置の近傍で検出されたユーザを撮影し、前記撮影した画像から、前記検出されたユーザの顔を認識できた認識時間が第一時間以上である場合、前記第二挙動であることを示す前記第三情報を生成し、前記認識時間が前記第一時間未満である場合、前記第一挙動であることを示す前記第三情報を生成し、前記撮影した画像から、前記検出されたユーザの顔を認識できないが、前記検出されたユーザの骨格を認識できた場合、前記第三挙動であることを示す前記第三情報を生成してもよい。

本態様によれば、前記検出されたユーザを撮影した画像から前記検出されたユーザの顔を認識できた認識時間と当該画像から前記検出されたユーザの顔及び骨格をそれぞれ認識できたか否かの判定結果に基づき、前記検出されたユーザの挙動が、第一挙動であるか、第二挙動であるか、第三挙動であるかを適切に判別することができる。

また、上記態様において、前記一以上の出力装置と前記検出されたユーザとの離間距離を二回取得する処理を行い、二回目に取得した前記離間距離が一回目に取得した前記離間距離以下である場合、前記第二挙動に関する情報であることを示す前記第三情報を生成し、二回目に取得した前記離間距離が一回目に取得した前記離間距離よりも大きい場合、前記第三挙動に関する情報であることを示す前記第三情報を生成してもよい。

本態様によれば、一以上の出力装置と前記検出されたユーザとの離間距離を二回取得した結果に基づき、前記検出されたユーザの挙動が、第二挙動であるか、第三挙動であるかを適切に判別することができる。

また、上記態様において、前記一以上の出力装置は、情報を表示する表示部と音声を出力する音声出力部とを備え、前記出力態様には、前記表示部による前記通知情報の表示及び前記音声出力部による前記通知情報を示す音声の出力のうちの少なくとも一方又は前記通知情報の非出力が含まれてもよい。

本態様によれば、前記検出されたユーザに対して、視覚及び聴覚の少なくとも一方を通して通知情報を通知することができる。また、出力態様が通知情報の非出力に決定された場合、前記検出されたユーザに対して通知情報を知らせることを回避することができる。このため、例えば、前記検出されたユーザの挙動が情報の取得意識が低い挙動である場合に、当該ユーザに不必要に通知情報を知らせることを防止できる。

また、上記態様において、前記内容には、前記特定された機器の状態を示す情報又は前記特定された機器の設定及び状態を示す情報が含まれてもよい。

本態様によれば、一以上の出力装置の近傍で検出された、第二情報によって識別されるユーザに、第一情報に基づき特定された機器の状態を示す情報又は第一情報に基づき特定された機器の設定及び状態を示す情報を把握させることができる。

また、上記態様において、前記一以上の出力装置が近傍で前記一以上のユーザを検出した履歴に関する第四情報を更に取得し、複数の出力装置の近傍でユーザが検出された場合、前記第四情報及び前記第二情報に基づき、前記通知情報の出力先の出力装置を特定してもよい。

本態様によれば、前記複数の出力装置の近傍で第二情報によって識別されるユーザが検出された履歴に基づき、通知情報の出力先の出力装置が特定される。このため、当該ユーザが近寄る可能性が高い出力装置に通知情報を出力させることができる。これにより、通知情報をより確実に当該ユーザに知らせることができる。

また、上記態様において、前記一以上の出力装置は、情報を表示する表示部を備え、前記第二情報を取得できなかった場合、前記表示部による前記通知情報の表示を前記出力態様として決定し、前記特定された機器の状態を前記内容として決定してもよい。

本態様によれば、一以上の出力装置の近傍に存在するユーザが識別できない場合でも、前記特定された機器の状態が表示される。このため、当該識別できないユーザに、当該機器の状態を把握させる可能性を高めることができる。その結果、当該識別できないユーザから、前記特定された機器の操作を行ったユーザに当該機器の状態が伝達される可能性を高めることができる。

また、上記態様において、前記第一情報には、前記一以上の機器が稼働を完了した状態に変化するまでの残り時間を示す残時間情報が含まれ、前記特定された機器についての前記残時間情報が示す残り時間と前記第三情報とに基づき、前記出力態様及び前記内容を決定してもよい。

本態様によれば、特定された機器が稼働を完了した状態に変化するまでの残り時間と第三情報に関連するユーザの挙動とを勘案して、当該特定された機器に関する通知情報の出力態様及び内容に差異をつけることができる。

また、上記態様において、第一機器に関する第一通知情報が出力された時点から次に前記第一機器の操作が行われるまでの経過時間に基づき、前記第一通知情報を再出力する対象のユーザを決定し、当該決定されたユーザを近傍で検出した一以上の出力装置に対して、前記第一通知情報を再出力してもよい。

本態様によれば、第一機器に関する第一通知情報が出力された時点から次に前記第一機器の操作が行われるまでの経過時間を勘案して、適切なユーザに、第一通知情報を再出力することができる。このため、例えば、前記経過時間が所定時間よりも短い場合、第一機器の操作者にのみ第一通知情報を再出力し、前記経過時間が所定時間以上である場合、全ユーザに第一通知情報を再出力することができる。この場合、何れかのユーザに第一通知情報の内容を把握させる可能性を高めることができる。

本開示は、このような方法に含まれる特徴的な各処理をコンピュータに実行させるコンピュータプログラムとして実現することもできる。また、このようなコンピュータプログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

尚、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（第一実施形態）
（１．システムの構成）
まず、第一実施形態における通知システム１００の構成について説明する。図１は、第一実施形態における通知システム１００の全体構成の一例を示す図である。

図１に示すように、通知システム１００は、クラウドサーバ１０１、一以上のユーザ１０４が利用する一以上のパネル装置１０２（出力装置、情報出力装置）、及び、一以上のユーザ１０４がパネル装置１０２等を用いて操作可能な一以上の被制御機器１０３（機器）を備える。

尚、本実施形態では、通知システム１００は、宅内の三人の家族が利用するものとする。例えば、図１に示すユーザ１０４「ユーザＡ」は、母親、ユーザ１０４「ユーザＢ」は、父親、ユーザ１０４「ユーザＣ」は、子供を示している。ただし、通知システム１００を利用するユーザ１０４は、これに限定されない。

パネル装置１０２は、宅内の壁に設置されている。例えば、パネル装置１０２は、リビング、キッチン、玄関、サニタリー及び寝室等の部屋の壁に設置されている。尚、パネル装置１０２は、ここで例示した部屋とは異なり、廊下等の壁に設置してもよい。図１では、三台のパネル装置１０２「パネル装置Ａ」、「パネル装置Ｂ」、「パネル装置Ｃ」が宅内に設けられている例を示している。ただし、パネル装置１０２の台数は、三台に限らず、一台以上であればよい。

パネル装置１０２は、一以上の被制御機器１０３をユーザ１０４に操作させるための装置である。また、パネル装置１０２は、一以上の被制御機器１０３に関する情報をユーザ１０４に通知する装置である。

パネル装置１０２は、情報を表示するディスプレイと、当該ディスプレイ上におけるユーザ１０４のタッチ操作を受け付けるタッチパネル装置と、を備えている。ディスプレイは、被制御機器１０３の稼働状態を表示する。これにより、被制御機器１０３の稼働状態がユーザ１０４に通知される。タッチパネル装置は、ユーザ１０４によるタッチ操作を受け付ける。これにより、パネル装置１０２自身の操作及びネットワーク１１０を介して接続された被制御機器１０３の操作が行われる。

また、パネル装置１０２は、マイクロフォン等の音声入力装置を備え、音声入力でパネル装置１０２自身の操作及びネットワーク１１０を介して接続された被制御機器１０３の操作が可能である。また、パネル装置１０２は、スピーカ等の音声出力装置を備え、被制御機器１０３の稼働状態を示す音声を出力する。これにより、被制御機器１０３の稼働状態が、音声メッセージとして、ユーザ１０４にを通知される。

尚、一台のパネル装置１０２で、複数の被制御機器１０３の操作を同時に行える。また、宅内のどのパネル装置１０２からでも、宅内にある全ての被制御機器１０３の操作及び稼働状況の通知が可能である。例えば、リビングに設定されたパネル装置１０２から、キッチンにある被制御機器１０３を操作することが可能である。また、リビングに設定されたパネル装置１０２に、キッチンにある被制御機器１０３の稼働状況を通知することが可能である。

被制御機器１０３は、例えば、ＬＡＮ、無線ＬＡＮ、インターネット等のネットワーク１１０を介して、パネル装置１０２及びクラウドサーバ１０１と通信可能な所謂ＩｏＴ家電である。例えば、被制御機器１０３には、洗濯機、電子レンジ、エアコン等が含まれる。尚、ここで示した被制御機器１０３は、一例であり、これに限定されない。

被制御機器１０３は、ユーザ１０４によるパネル装置１０２を用いた操作によって、自身の稼働状態に変化が生じたとき、又は、所定時間内に稼働状態に変化が生じ得るとき、当該被制御機器１０３の操作に関する情報（以降、操作履歴情報（第一情報））をネットワーク１１０を介してクラウドサーバ１０１へ送信する。操作履歴情報には、被制御機器１０３の操作を行ったユーザ１０４（以降、操作者）の識別情報及び当該被制御機器１０３の稼働状態に関する情報等が含まれる。

被制御機器１０３は、パネル装置１０２を用いた操作だけでなく、被制御機器１０３が具備する操作ボタンで操作することも可能である。また、ユーザ１０４が所持するスマートフォン等の携帯端末（図示せず）からネットワーク１１０を介した操作も可能である。被制御機器１０３は、操作ボタン及び携帯端末による操作で、自身の稼働状態に変化が生じたとき、又は、所定時間内に稼働状態に変化が生じ得るときにも、操作履歴情報をクラウドサーバ１０１へ送信する。

尚、被制御機器１０３は、自身の稼働状態に変化が生じたとき、又は、所定時間内に稼働状態に変化が生じ得るときに、被制御機器１０３の操作者の識別情報を含まない操作履歴情報をクラウドサーバ１０１へ送信してもよい。その後、ユーザ１０４が携帯端末等により、ネットワーク１１０を介した操作を行うことで、クラウドサーバ１０１に記憶されている当該操作履歴情報に操作者の識別情報が含まれるようにしてもよい。

クラウドサーバ１０１は、所謂仮想サーバであり、ネットワーク１１０に接続されたパネル装置１０２及び被制御機器１０３等の外部装置と通信可能に構成されている。尚、クラウドサーバ１０１は、仮想サーバに限らず、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置を物理的に備えた複数のコンピュータで構成されてもよい。また、クラウドサーバ１０１は、一台のパーソナルコンピュータであってもよい。

クラウドサーバ１０１は、一般的なデータベース管理ツール等で扱うことが困難な巨大なデータ（ビッグデータ）、一以上の各被制御機器１０３から取得した操作履歴情報等を管理する。

また、パネル装置１０２は、上述の構成に加えて、パネル装置１０２の近傍に存在するユーザ１０４を検出し、当該検出したユーザ１０４を識別可能に構成されている。更に、パネル装置１０２は、前記検出されたユーザ１０４の挙動（以降、ユーザ挙動）に関する情報（第三情報）を取得可能に構成されている。

本実施形態において、パネル装置１０２が取得可能なユーザ挙動は、ユーザ１０４がパネル装置１０２から情報を取得したいという意識の程度を示す挙動であるものとする。本実施形態では、ユーザ挙動を、三つの挙動「一見」、「凝視」、「見ていない」に分類する。

挙動「一見」は、ユーザ１０４が、パネル装置１０２を、ちらちらと見て、パネル装置１０２を少し意識している状態であり、パネル装置１０２からの情報の取得意識が中程度（第一程度）であることを示す挙動（第一挙動）と定義する。挙動「凝視」は、ユーザ１０４がパネル装置１０２を見つめ、パネル装置１０２を強く意識している状態であり、パネル装置１０２からの情報の取得意識が、挙動「一見」の場合よりも高い程度（第二程度）であることを示す挙動（第二挙動）と定義する。挙動「見ていない」は、ユーザ１０４が、パネル装置１０２を見ておらず、パネル装置１０２を意識していない状態であり、パネル装置１０２からの情報の取得意識が、挙動「一見」の場合よりも低い程度（第三程度）であることを示す挙動（第三挙動）と定義する。

パネル装置１０２における、近傍に存在するユーザ１０４の検出方法、当該検出したユーザ１０４の識別方法、及びユーザ挙動に関する情報の取得方法の詳細については後述する。

パネル装置１０２は、ネットワーク１１０を介して、クラウドサーバ１０１から被制御機器１０３の操作履歴情報を取得し、当該取得した操作履歴情報に基づき、状態の変化が生じた又は所定時間以内に状態の変化が生じ得る被制御機器１０３と当該被制御機器１０３の操作者とを特定する。パネル装置１０２は、当該特定された被制御機器１０３及び操作者に関する情報と、近傍で検出したユーザ１０４を識別するユーザＩＤ（第二情報）と、当該ユーザ１０４の挙動に関する情報と、に基づき、当該検出したユーザ１０４に対する当該特定された被制御機器１０３に関する通知情報の出力態様及び内容を決定する。そして、パネル装置１０２は、当該決定した出力態様で、当該決定した内容の通知情報を出力する。

（２．パネル装置の構成）
次に、図２を用いて、パネル装置１０２の構成について詳述する。図２は、パネル装置１０２及びクラウドサーバ１０１の構成の一例を示すブロック図である。

図２に示すように、パネル装置１０２は、操作部２０１と、音声入力部２０２と、機器状態取得部２０３（第一取得部、特定部）と、パネル制御部２０４と、音声出力部２０５（出力部）と、通信部２０６と、ユーザ挙動取得部２０７（第三取得部）と、ユーザ情報記憶部２０８（メモリ）と、通知手段判定部２０９（決定部）と、表示部２１０（出力部）と、を備える。

操作部２０１は、例えば、タッチパネル装置により構成され、ユーザ１０４によるタッチ操作を受け付け、パネル装置１０２自身及びネットワーク１１０を介して接続された被制御機器１０３へ、当該受け付けたタッチ操作に対応する操作コマンドを送信する。

通信部２０６は、パネル装置１０２を有線又は無線でネットワーク１１０に接続する通信インターフェイス回路により構成され、ネットワーク１１０を介して、被制御機器１０３及びクラウドサーバ１０１と通信を行う。

音声入力部２０２は、例えば、ステレオマイク等のマイクで構成され、ユーザ１０４による音声入力を受け付け、パネル装置１０２自身の操作及びネットワーク１１０を介して接続された、被制御機器１０３へ操作コマンドを送信する。

表示部２１０は、例えば、液晶ディスプレイで構成され、パネル制御部２０４により指示された情報を表示する。

音声出力部２０５は、例えば、ステレオスピーカー等のスピーカーで構成され、パネル制御部２０４により指示された音声を出力する。

ユーザ挙動取得部２０７は、例えば、測距センサー、カメラ、及びマイクロコンピュータによって構成され、パネル装置１０２の近傍に存在するユーザ１０４を検出し、当該検出したユーザ１０４を識別し、当該検出したユーザ１０４の挙動に関する情報を取得する。

ユーザ情報記憶部２０８は、例えば、ＨＤＤやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置によって構成され、ユーザ挙動取得部２０７がユーザ１０４を識別する際に用いるユーザ１０４の特徴量データ（特徴情報）を、ユーザ１０４を識別するユーザＩＤ（識別情報）と対応付けて記録する。

ここで、特徴量データには、例えば、各ユーザ１０４を撮影した画像から認識した当該各ユーザ１０４の骨格の特徴量（骨格を示す情報）及び顔の特徴量（顔を示す情報）のうち少なくとも一方が含まれる。尚、各ユーザ１０４の特徴量データは、パネル装置１０２を宅内に設置した際に行う初期設定において作成され、ユーザ情報記憶部２０８に記憶される。

機器状態取得部２０３は、例えばマイクロコンピュータによって構成され、通信部２０６を介して、クラウドサーバ１０１へアクセスし、クラウドサーバ１０１が記憶する被制御機器１０３の操作履歴情報を取得する。そして、機器状態取得部２０３は、当該取得した操作履歴情報に基づき、一以上の被制御機器１０３のうち状態の変化が生じた又は所定時間以内に状態の変化が生じ得る被制御機器１０３と前記状態の変化に関する操作を行った操作者とを特定する。

通知手段判定部２０９は、例えばマイクロコンピュータによって構成されている。通知手段判定部２０９は、機器状態取得部２０３によって特定された被制御機器１０３及び操作者に関する情報と、ユーザ挙動取得部２０７によって検出されたユーザ１０４のユーザＩＤと、ユーザ挙動取得部２０７から取得した、当該検出されたユーザ１０４の挙動に関する情報と、に基づき、当該検出されたユーザ１０４に対する前記特定された被制御機器１０３に関する通知情報の出力態様及び内容を決定する。

本実施形態では、通知手段判定部２０９により決定される通知情報の出力態様には、表示部２１０による通知情報の表示及び音声出力部２０５による通知情報を示す音声の出力のうちの少なくとも一方又は通知情報の非出力が含まれる。通知手段判定部２０９により決定される通知情報の内容には、被制御機器１０３の稼働状態を示す情報又は被制御機器１０３の設定及び稼働状態を示す情報が含まれる。

パネル制御部２０４は、例えばマイクロコンピュータによって構成され、通知手段判定部２０９が決定した出力態様により、通知手段判定部２０９が決定した内容の通知情報を出力する。

ここで、パネル装置１０２による通知情報の出力イメージについて説明する。図５Ａは、サマリ表示通知モードでの通知情報の出力イメージの一例を示す図である。例えば、通知手段判定部２０９により特定された被制御機器１０３が「洗濯機」であり、当該被制御機器１０３「洗濯機」の稼働状態が「脱水中 残り１５分」であるとする。この場合に、通知手段判定部２０９が通知情報の出力態様を表示部２１０による通知情報の表示に決定し、前記内容を被制御機器１０３の稼働状態を示す情報に決定したとする。この場合、パネル制御部２０４は、パネル装置１０２をサマリ表示通知モードに切り替える。

サマリ表示通知モードでは、パネル制御部２０４は、表示部２１０を制御して、例えば図５Ａに示すように、前記特定された被制御機器１０３「洗濯機」の稼働状態「脱水中 残り１５分」を示す画像Ｇａを表示する。サマリ表示通知モードでは、ユーザ１０４に前記特定された被制御機器１０３の稼働状態を視認させることができる。このため、例えば、パネル装置１０２の近傍に存在するユーザ１０４の挙動が、情報の取得意識が中程度である挙動である場合等に好適である。

図５Ｂは、音声通知モードでの通知情報の出力イメージの一例を示す図である。例えば、通知手段判定部２０９により特定された被制御機器１０３が「電子レンジ」であり、当該被制御機器１０３「電子レンジ」の稼働状態が「完了」であり、当該被制御機器１０３「電子レンジ」の設定を示すパラメータ（以降、設定パラメータ）が「オーブン予熱 １５０℃」であるとする。この場合に、通知手段判定部２０９が通知情報の出力態様を音声出力部２０５による通知情報を示す音声の出力に決定し、前記内容を被制御機器１０３の設定及び稼働状態を示す情報に決定したとする。この場合、パネル制御部２０４は、パネル装置１０２を音声通知モードに切り替える。

音声通知モードでは、パネル制御部２０４は、音声出力部２０５を制御して、例えば図５Ｂに示すように、被制御機器１０３「電子レンジ」の設定パラメータ「オーブン予熱 １５０℃」及び稼働状態「完了」を示す音声メッセージＶｂ「電子レンジのオーブン予熱１５０℃が完了しました。」を出力する。音声通知モードでは、ユーザ１０４に被制御機器１０３の設定パラメータ及び稼働状態を音声を通じて知らせることができる。このため、例えば、パネル装置１０２の近傍に存在するユーザ１０４の挙動が、情報の取得意識が低い挙動である場合等に好適である。

尚、音声通知モードにおいて、パネル制御部２０４は、例えば図５Ｂに示すように、表示部２１０を制御して、被制御機器１０３「電子レンジ」の稼働状態「完了」を示す画像Ｇｂを更に表示してもよい。

図５Ｃは、詳細表示通知モードでの通知情報の出力イメージの一例を示す図である。例えば、通知手段判定部２０９により特定された被制御機器１０３が「洗濯機」であり、当該被制御機器１０３「洗濯機」の稼働状態が「脱水中 残り１５分」であるとする。また、当該被制御機器１０３「洗濯機」の設定パラメータが「おまかせコース 洗剤○○○」であるとする。この場合に、通知手段判定部２０９が、前記出力態様を表示部２１０による通知情報の表示に決定し、前記内容を被制御機器１０３の設定及び稼働状態を示す情報に決定したとする。この場合、パネル制御部２０４は、パネル装置１０２を詳細表示通知モードに切り替える。

詳細表示通知モードでは、パネル制御部２０４は、表示部２１０を制御して、例えば図５Ｃに示すように、前記特定された被制御機器１０３「洗濯機」の設定パラメータ「おまかせコース 洗剤○○○」及び稼働状態「脱水中 残り１５分」を示す画像Ｇｃを表示する。詳細表示通知モードでは、サマリ表示通知モードよりも被制御機器１０３に関するより詳細な情報をユーザ１０４に視認させることができる。このため、例えば、パネル装置１０２の近傍に存在するユーザ１０４の挙動が、情報の取得意識が高い挙動である場合等に好適である。

（３．クラウドサーバの構成）
次に、クラウドサーバ１０１の構成について、図２を用いて詳述する。

図２に示すように、クラウドサーバ１０１は、通信部２１１と、操作履歴記憶部２１２と、通知管理部２１３と、機器管理部２１４と、を備える。

通信部２１１は、クラウドサーバ１０１を有線又は無線でネットワーク１１０に接続する通信インターフェイス回路により構成され、ネットワーク１１０を介して、被制御機器１０３及びパネル装置１０２と通信を行う。

操作履歴記憶部２１２は、例えば、ＨＤＤ等の記憶装置によって構成され、宅内にある各被制御機器１０３から取得した操作履歴情報を記憶する。

図４は、操作履歴情報テーブルＴ１の一例を示す図である。図４に示すように、操作履歴記憶部２１２は、操作履歴情報を記憶するための操作履歴情報テーブルＴ１を備える。操作履歴情報は、ＩＤ、操作日時、家ＩＤ、操作者ＩＤ、機器ＩＤ、機器名称、設定パラメータ、稼働状態及び通知管理を対応付けた情報である。

ＩＤは、被制御機器１０３から取得した操作履歴情報の識別子（例えば「００１」）である。操作日時は、被制御機器１０３が操作された日時（例えば「２０１８年１２月１７日 １０：０１」）である。家ＩＤは、被制御機器１０３を操作したユーザ１０４が属する家の識別子（例えば「Ｈ００１」）である。操作者ＩＤは、被制御機器１０３を操作したユーザ１０４の識別子（例えば「Ｕ００Ａ」）である。機器ＩＤは、操作された被制御機器１０３の識別子（例えば「Ｄ００１」）である。機器名称は、操作された被制御機器１０３の名称（例えば「洗濯機」、「エアコン」、「電子レンジ」）である。このように、操作履歴情報は、家毎に、各家に属する一以上のユーザ１０４が、各家に属する一以上の被制御機器１０３を操作した履歴を管理することができる構造となっている。

設定パラメータは、ユーザ１０４が被制御機器１０３を操作した際に設定したパラメータ（例えば「おまかせコース 洗剤○○○」）である。稼働状態は、被制御機器１０３の稼働状態に関する情報である。稼働状態に関する情報には、被制御機器１０３の稼働状態（例えば「脱水中」、「停止」、「完了」）、被制御機器１０３が次の稼働状態に変化するまでに要する残り時間（例えば「残り１５分」）等が含まれる。

通知管理は、パネル装置１０２によって当該被制御機器１０３に関する通知情報が出力されたか否かを示す情報である。図４に示す例では、機器ＩＤ「Ｄ００１」の被制御機器１０３の通知管理が「未」である。これは、パネル装置１０２によって当該被制御機器１０３に関する通知情報が出力されていないことを示している。また、図４に示す例では、機器ＩＤ「Ｄ００２」の被制御機器１０３の通知管理が「－」である。これは、パネル装置１０２によって当該被制御機器１０３に関する通知情報が出力されたか否かを管理する対象ではないことを示している。

通知管理部２１３は、パネル装置１０２によって被制御機器１０３に関する通知情報が出力されたか否かを管理する。

具体的には、パネル装置１０２において被制御機器１０３に関する通知情報が出力された後、何れかのユーザ１０４によって、当該被制御機器１０３の操作が行われたとする。これにより、当該被制御機器１０３が新たに送信した操作履歴情報が操作履歴情報テーブルＴ１（図４）に記憶されたとする。この場合、通知管理部２１３は、操作履歴情報テーブルＴ１（図４）に記憶されている、当該被制御機器１０３が前回送信した操作履歴情報を参照する。そして、通知管理部２１３は、当該参照した操作履歴情報の通知管理が「未」であるときは、当該通知管理を「完了」に更新する。一方、通知管理部２１３は、参照した操作履歴情報の通知管理が「－」であるときは何も行わない。

機器管理部２１４は、宅内にある一以上の被制御機器１０３に関する情報を管理する。被制御機器１０３に関する情報には、被制御機器１０３を識別する機器ＩＤ、被制御機器１０３の名称、被制御機器１０３が属する家を識別する家ＩＤ等が含まれる。また、機器管理部２１４は、通信部２１１が被制御機器１０３から操作履歴情報を受信する度に、当該受信した操作履歴情報を、操作履歴情報テーブルＴ１（図４）に記憶する。

（４．ユーザ挙動取得部２０７の詳細な構成）
次に、パネル装置１０２が備えるユーザ挙動取得部２０７の詳細な構成について図３を用いて詳述する。図３は、ユーザ挙動取得部２０７の詳細構成の一例を示すブロック図である。

図３に示すように、ユーザ挙動取得部２０７は、近接センサー値取得部３０４と、骨格検出部３０１と、ユーザ識別部３０２（第二取得部）と、顔検出部３０３と、挙動判定部３０５（第三取得部）と、を備える。

近接センサー値取得部３０４は、所謂測距センサーであり、パネル装置１０２の正面から所定範囲内に存在する物体との離間距離を取得する。例えば、測距センサーは、赤外線を用いて前記物体との離間距離を測定する赤外線センサーによって構成される。尚、前記測距センサーは、これに限らず、前記物体を撮影した画像から、前記離間距離を取得するデプスカメラによって構成されてもよい。

骨格検出部３０１は、例えば、カメラ及びマイクロコンピュータによって構成され、パネル装置１０２の近傍に存在する人物の骨格の特徴量を検出する。具体的には、骨格検出部３０１は、パネル装置１０２の近傍をカメラによって撮影し、公知の画像認識処理を行うことによって、当該撮影した画像から、パネル装置１０２の近傍に存在する人物の骨格の特徴量を検出する。

顔検出部３０３は、例えば、カメラ及びマイクロコンピュータによって構成され、パネル装置１０２の近傍に存在する人物の顔の特徴量を検出する。具体的には、顔検出部３０３は、パネル装置１０２の近傍をカメラによって撮影し、公知の画像認識処理を行うことによって、当該撮影した画像から、パネル装置１０２の近傍に存在する人物の顔の特徴量を検出する。

ユーザ識別部３０２は、マイクロコンピュータによって構成され、パネル装置１０２の近傍に存在するユーザ１０４を識別する。具体的には、ユーザ識別部３０２は、骨格検出部３０１又は顔検出部３０３により検出された特徴量を示すデータに対応付けられているユーザＩＤをユーザ情報記憶部２０８から取得し、当該取得したユーザＩＤを、パネル装置１０２の近傍に存在するユーザ１０４のユーザＩＤとして生成する。

挙動判定部３０５は、マイクロコンピュータによって構成され、骨格検出部３０１及び顔検出部３０３による検出結果又は近接センサー値取得部３０４により取得された離間距離に基づき、パネル装置１０２の近傍に存在するユーザ１０４の挙動を判定する。

具体的には、挙動判定部３０５は、顔検出部３０３がユーザ１０４の顔を検出できた時間（認識時間）が所定の第一時間以上である場合、パネル装置１０２の近傍に存在するユーザ１０４の挙動が挙動「凝視」であると判定する。この場合、挙動判定部３０５は、ユーザ１０４の挙動が挙動「凝視」であることを示す情報を生成し、当該生成した情報を通知手段判定部２０９へ出力する。

挙動判定部３０５は、顔検出部３０３がユーザ１０４の顔を検出できた時間が前記第一時間未満である場合、パネル装置１０２の近傍に存在するユーザ１０４の挙動が挙動「一見」であると判定する。この場合、挙動判定部３０５は、ユーザ１０４の挙動が挙動「一見」であることを示す情報を生成し、当該生成した情報を通知手段判定部２０９へ出力する。

挙動判定部３０５は、顔検出部３０３がユーザ１０４の顔を検出できないが、骨格検出部３０１がユーザ１０４の骨格を検出できた場合、パネル装置１０２の近傍に存在するユーザ１０４の挙動が挙動「見ていない」であると判定する。この場合、挙動判定部３０５は、ユーザ１０４の挙動が挙動「見ていない」であることを示す情報を生成し、当該生成した情報を通知手段判定部２０９へ出力する。

（５．通知システム１００の動作）
次に、通知システム１００の動作を図６を用いて具体的に説明する。図６は、通知システム１００の全体的な動作を示すフローチャートである。

図６に示すように、パネル装置１０２は、先ず、ユーザ挙動取得処理を行う（ステップＳ１０１）。ユーザ挙動取得処理とは、自身の近傍に存在するユーザ１０４を識別し、当該識別したユーザ１０４の挙動を示す情報を取得する処理である。

次に、パネル装置１０２は、通知対象特定処理を行う（ステップＳ１０２）。通知対象特定処理とは、クラウドサーバ１０１から操作履歴情報を取得し、当該取得した操作履歴情報に基づき、パネル装置１０２に通知させる対象の被制御機器１０３及びその操作者を特定する処理である。

最後に、パネル装置１０２は、通知手段判定処理を行う（ステップＳ１０３）。通知手段判定処理とは、ステップＳ１０２で特定された被制御機器１０３及びその操作者に関する情報、ステップＳ１０１で識別したユーザ１０４のユーザＩＤ及びステップＳ１０１で取得したユーザ１０４の挙動を示す情報に基づき、パネル装置１０２における通知情報の出力態様及び通知情報の内容を決定する処理である。

（５－１．ユーザ挙動取得処理）
以下、ユーザ挙動取得処理について図７を用いて詳述する。図７は、ユーザ挙動取得処理の一例を示すフローチャートである。図７に示すように、ステップＳ１０１（図６）のユーザ挙動取得処理では、先ず、パネル制御部２０４は、近接センサー値取得部３０４が離間距離を取得できるか否かによって、パネル装置１０２の近傍に人物が存在するか否かを判定する（ステップＳ２０１）。

パネル制御部２０４は、近接センサー値取得部３０４が離間距離を取得できなかった場合、パネル装置１０２の近傍に人物が存在しないと判定し（ステップＳ２０１でＮＯ）、待機状態となる。一方、近接センサー値取得部３０４が離間距離を取得すると、パネル制御部２０４は、パネル装置１０２の近傍に人物が存在すると判定し（ステップＳ２０１でＹＥＳ）、処理をステップＳ２０２に移行する。

ステップＳ２０２では、骨格検出部３０１が、パネル装置１０２の近傍に存在する人物の骨格の特徴量を検出する骨格検出処理を行う（ステップＳ２０２）。また、顔検出部３０３が、所定期間、パネル装置１０２の近傍に存在する人物の顔の特徴量を検出する顔検出処理を行う（ステップＳ２０３）。

次に、ユーザ識別部３０２は、ステップＳ２０２及びステップＳ２０３での検出結果に基づき、パネル装置１０２の近傍に存在する人物を通知システム１００のユーザ１０４として識別可能か否かを判定する（ステップＳ２０４）。

具体的には、ステップＳ２０４において、ユーザ識別部３０２は、ステップＳ２０２で検出された骨格の特徴量又はステップＳ２０３で検出された顔の特徴量を示すデータに対応付けられているユーザＩＤをユーザ情報記憶部２０８から取得する処理を行う。ここで、一のユーザＩＤを取得できた場合、ユーザ識別部３０２は、パネル装置１０２の近傍に存在する人物が、当該取得したユーザＩＤによって識別されるユーザ１０４として識別可能と判定する（ステップＳ２０４でＹＥＳ）。

尚、例えば、複数のユーザ１０４が、パネル装置１０２の近傍で重なるようにして存在するために、ユーザ情報記憶部２０８から複数のユーザＩＤが取得される場合がある。この場合、パネル装置１０２からの通知情報の通知の漏れをなくすため、ユーザ識別部３０２は、例えば最初に取得したユーザＩＤ等、所定の方法で何れか一のユーザＩＤを取得する。

一方、ユーザ識別部３０２は、ステップＳ２０２で検出された骨格の特徴量及びステップＳ２０３で検出された顔の特徴量を示すデータがユーザ情報記憶部２０８に記憶されていず、当該データに対応付けられているユーザＩＤを取得できなかったとする。この場合、ユーザ識別部３０２は、ユーザ１０４を識別できないと判定する（ステップＳ２０４でＮＯ）。この場合、パネル制御部２０４は、パネル装置１０２をサマリ表示通知モードに切り替える（ステップＳ４０７（図９））。これにより、パネル装置１０２の近傍のユーザ１０４を識別できない場合でも、当該識別できないユーザ１０４に通知情報を通知することができる。その結果、当該識別できないユーザ１０４から当該通知情報に関連する被制御機器１０３の操作を行ったユーザ１０４に対して、当該通知情報の内容が伝達される可能性を高めることができる。

ステップＳ２０４でユーザ１０４を識別可能と判定された場合（ステップＳ２０４でＹＥＳ）、挙動判定部３０５は、ステップＳ２０１で検出され、ステップＳ２０４で識別されたユーザ１０４の挙動を判定する。

具体的には、ステップＳ２０３において、顔検出部３０３が、ユーザ１０４の顔の特徴量を一回以上検出し（ステップＳ２０５でＹＥＳ）、且つ、顔の特徴量を検出できた時間が所定の第一時間ｔ１以上であったとする（ステップＳ２０６でＹＥＳ）。この場合、挙動判定部３０５は、パネル装置１０２の近傍のユーザ１０４はパネル装置１０２をずっと見ている状態であると判断し、ユーザ１０４の挙動を、挙動「凝視」と判定する。そして、挙動判定部３０５は、ユーザ１０４の挙動が挙動「凝視」であることを示す情報を生成し、当該生成した情報を通知手段判定部２０９へ出力する（ステップＳ２０７）。

一方、ステップＳ２０３において、顔検出部３０３が、ユーザ１０４の顔の特徴量を一回以上検出したが（ステップＳ２０５でＹＥＳ）、顔の特徴量を検出できた時間が前記第一時間ｔ１未満であったとする（ステップＳ２０６でＮＯ）。この場合、挙動判定部３０５は、パネル装置１０２の近傍のユーザ１０４は、パネル装置１０２をちらっと見た、又は、ちらっと見ることを複数回繰り返したと判断し、ユーザ１０４の挙動を、挙動「一見」と判定する。そして、挙動判定部３０５は、ユーザ１０４の挙動が挙動「一見」であることを示す情報を生成し、当該生成した情報を通知手段判定部２０９へ出力する（ステップＳ２０８）。

また、ステップＳ２０３で顔検出部３０３が顔の特徴量を検出しなかったが、ステップＳ２０２で骨格検出部３０１が骨格の特徴量を検出したとする（ステップＳ２０５でＮＯ）。この場合、挙動判定部３０５は、パネル装置１０２の近傍のユーザ１０４は、パネル装置１０２から顔をそむけ、パネル装置１０２を見ていないと判断し、ユーザ１０４の挙動を挙動「見ていない」と判定する。そして、挙動判定部３０５は、ユーザ１０４の挙動が挙動「見ていない」であることを示す情報を生成し、当該生成した情報を通知手段判定部２０９へ出力する（ステップＳ２０９）。

（５－２．通知対象特定処理）
以下、通知対象特定処理について図８を用いて詳述する。図８は、通知対象特定処理の一例を示すフローチャートである。図８に示すように、ステップＳ１０２（図６）の通知対象特定処理では、先ず、機器状態取得部２０３は、通信部２０６を用いて、クラウドサーバ１０１の操作履歴情報テーブルＴ１（図４）から、パネル装置１０２が配置された家の家ＩＤ（例えば「Ｈ００１」）を含む操作履歴情報を取得する（ステップＳ３０１）。

次に、機器状態取得部２０３は、ステップＳ３０１で取得した操作履歴情報の中に、通知管理が「未」の操作履歴情報が存在するか否かを判定する（ステップＳ３０２）。ステップＳ３０２で通知管理が「未」の操作履歴情報が存在しないと判定された場合（ステップＳ３０２でＮＯ）、パネル制御部２０４は、パネル装置１０２に被制御機器１０３に関する通知情報を通知させる必要がないと判断する。この場合、パネル制御部２０４は、パネル装置１０２を通知モードへ切り替えずに（ステップＳ４０８（図９））、処理を終了する。これにより、通知管理が「未」ではなく、「完了」又は「－」である操作履歴情報に対応する被制御機器１０３に関し、通知情報が通知されることを抑制している。尚、通知モードとは、パネル装置１０２に通知情報を出力させるモードである。

一方、機器状態取得部２０３は、ステップＳ３０２で通知管理が「未」の操作履歴情報（図４）が存在すると判定した場合（ステップＳ３０２でＹＥＳ）、当該通知管理が「未」の操作履歴情報に基づき、稼働状態に変化が生じた又は所定時間内に稼働状態が変化し得る被制御機器１０３と、当該稼働状態の変化に関する操作を行った操作者と、を特定する（ステップＳ３０３）。

ここで、ステップＳ３０１からステップＳ３０３について具体例を用いて説明する。本具体例では、操作履歴情報テーブルＴ１に、図４に示す三個の操作履歴情報が記憶されているものとする。また、ステップＳ３０１からステップＳ３０３を行うパネル装置１０２は、家ＩＤ「Ｈ００１」に配置されているものとする。この場合、ステップＳ３０１において、機器状態取得部２０３は、操作履歴情報テーブルＴ１（図４）から、家ＩＤ「Ｈ００１」を含む、図４に示す三個の操作履歴情報を取得する。

次に、ステップＳ３０２において、機器状態取得部２０３は、通知管理が「未」である、ＩＤ「００１」、「００３」の二個の操作履歴情報が存在すると判定する。この場合、ステップＳ３０３において、機器状態取得部２０３は、ＩＤ「００１」、「００３」の操作履歴情報に含まれる稼働状態を参照する。

機器状態取得部２０３は、ＩＤ「００１」の操作履歴情報に含まれる稼働状態「脱水中 残り１５分」が所定時間内に脱水が終了する状態に変化し得ることを示しているので、ＩＤ「００１」の操作履歴情報に含まれる機器ＩＤ「Ｄ００１」及び機器名称「洗濯機」で特定される被制御機器１０３を、所定時間内に稼働状態が変化し得る被制御機器１０３として特定する。また、機器状態取得部２０３は、ＩＤ「００１」の操作履歴情報に含まれる操作者ＩＤ「Ｕ００Ａ」を取得する。そして、機器状態取得部２０３は、当該取得した操作者ＩＤ「Ｕ００Ａ」によって識別されるユーザ１０４を、稼働状態「脱水中 残り１５分」への変化に関する操作を行った操作者として特定する。

機器状態取得部２０３は、ＩＤ「００３」の操作履歴情報に含まれる稼働状態「完了」が稼働完了の状態に変化したことを示しているので、ＩＤ「００３」の操作履歴情報に含まれる機器ＩＤ「Ｄ００３」及び機器名称「電子レンジ」で特定される被制御機器１０３を、稼働状態に変化が生じた被制御機器１０３として特定する。また、機器状態取得部２０３は、ＩＤ「００３」の操作履歴情報に含まれる操作者ＩＤ「Ｕ００Ｃ」を取得する。そして、機器状態取得部２０３は、当該取得した操作者ＩＤ「Ｕ００Ｃ」によって識別されるユーザ１０４を、稼働状態「完了」への変化に関する操作を行った操作者として特定する。

このように、機器状態取得部２０３は、ステップＳ３０１からステップＳ３０３を行うことで、クラウドサーバ１０１に記憶されている操作履歴情報に基づき、稼働状態に変化が生じた又は所定時間内に稼働状態が変化し得る通知対象の被制御機器１０３を特定し、当該稼働状態の変化に関する操作を行った操作者を特定する。

次に、機器状態取得部２０３は、ステップＳ２０４（図７）で識別されたユーザ１０４と、ステップＳ３０３で特定された操作者とが一致するか否かを判定する（ステップＳ３０４）。具体的には、機器状態取得部２０３は、ステップＳ３０３で取得した操作者ＩＤと、ステップＳ２０４（図７）でユーザ識別部３０２が取得したユーザＩＤと、が一致するか否かを判定する。

機器状態取得部２０３は、ステップＳ３０４において、ステップＳ２０４（図７）で識別されたユーザ１０４と、ステップＳ３０３で特定された操作者とが一致すると判定した場合（ステップＳ３０４でＹＥＳ）、ステップＳ１０２（図６）の通知対象特定処理を終了し、処理をステップＳ１０３（図６）へ移行する。

一方、機器状態取得部２０３が、ステップＳ３０４において、ステップＳ２０４（図７）で識別されたユーザ１０４と、ステップＳ３０３で特定された操作者とが一致しないと判定したとする（ステップＳ３０４でＮＯ）。

この場合、機器状態取得部２０３は、ステップＳ３０３で特定した被制御機器１０３のうち、稼働状態が「完了」である被制御機器１０３が存在するか否かを判定する（ステップＳ３０５）。具体的には、ステップＳ３０５において、機器状態取得部２０３は、ステップＳ３０３で参照した、特定した被制御機器１０３の機器ＩＤを含む操作履歴情報のうち、稼働状態が「完了」のものが存在するか否かを判定する。

ステップＳ３０５において、稼働状態が「完了」である被制御機器１０３が存在すると判定されたとする（ステップＳ３０５でＹＥＳ）。この場合、パネル制御部２０４は、稼働状態が「完了」に変化した被制御機器１０３に関する通知情報が、宅内に存在する一以上のユーザ１０４に対して伝達されないことを防ぐため、パネル装置１０２を音声通知モードに切り替え（ステップＳ４０６（図９））、処理を終了する。

一方、ステップＳ３０５において、機器状態取得部２０３が、稼働状態が「完了」である被制御機器１０３が存在しないと判定したとする（ステップＳ３０５でＮＯ）。この場合、パネル制御部２０４は、パネル装置１０２に被制御機器１０３に関する通知情報を通知させる必要がないと判断し、パネル装置１０２を通知モードへ切り替えずに（ステップＳ４０８（図９））、処理を終了する。

（５－３．通知手段判定処理）
以下、通知手段判定処理について図９を用いて詳述する。図９は、通知手段判定処理の一例を示すフローチャートである。図８に示すように、ステップＳ１０３（図６）の通知手段判定処理では、先ず、機器状態取得部２０３は、ステップＳ３０３（図８）で特定した被制御機器１０３が稼働を完了した状態になるまでの残り時間を取得する（ステップＳ４０１）。

具体的には、ステップＳ４０１において、機器状態取得部２０３は、ステップＳ３０２で取得された通知管理が「未」の操作履歴情報（図４）のうち、ステップＳ３０３（図８）で特定した被制御機器１０３に関する操作履歴情報（図４）の稼働状態を参照し、前記残り時間を取得する。

例えば、操作履歴情報テーブルＴ１に、図４に示す三個の操作履歴情報が記憶され、ステップＳ３０３で、ＩＤ「００１」の操作履歴情報に含まれる機器ＩＤ「Ｄ００１」及び機器名称「洗濯機」で特定される被制御機器１０３が通知対象として特定されたとする。この場合、ＩＤ「００１」の操作履歴情報に含まれる稼働状態「脱水中 残り１５分」を参照し、前記残り時間として「１５分」を取得する。

尚、機器状態取得部２０３は、参照した操作履歴情報（図４）の稼働状態に、残り時間を示す情報が含まれていず、且つ、当該稼働状態が当該被制御機器１０３の稼働が完了している状態を示していない場合、前記残り時間を、所定時間「ｍ分」として取得する。

次に、通知手段判定部２０９は、ステップＳ４０１での前記残り時間の取得結果と、ステップＳ２０７～Ｓ２０９（図７）によって挙動判定部３０５から取得したユーザ１０４の挙動を示す情報と、に基づき、パネル装置１０２をどの通知モードに切り替えるのかを決定する（ステップＳ４０２、Ｓ４０３、Ｓ４０４）。

通知手段判定部２０９は、ステップＳ４０１で取得した前記残り時間が所定時間「ｍ分」以上である場合（ステップＳ４０２でＹＥＳ）、ユーザ１０４の挙動に応じた通知モードを決定する（ステップＳ４０３）。

具体的には、通知手段判定部２０９は、挙動判定部３０５からユーザ１０４の挙動が挙動「凝視」であることを示す情報を取得した場合（ステップＳ４０３で「凝視」）、パネル装置１０２を詳細表示通知モードに切り替えることを決定する。詳細表示通知モードとは、ステップＳ３０３（図８）で特定された被制御機器１０３に関する通知情報の出力態様を、表示部２１０による通知情報の表示に設定し、当該通知情報の内容を、当該被制御機器１０３の設定及び稼働状態を示す情報に設定するモードである。そして、通知手段判定部２０９は、パネル制御部２０４に、パネル装置１０２を詳細表示通知モードに切り替える指示を送信する。パネル制御部２０４は、通知手段判定部２０９から受信した指示に従い、パネル装置１０２を詳細表示通知モードへ切り替える（ステップＳ４０５）。

具体的には、ステップＳ４０５において、通知手段判定部２０９は、ステップＳ３０３（図８）で特定された被制御機器１０３に関する通知情報の内容として、当該被制御機器１０３に関する操作履歴情報（図４）の機器名称（例えば「洗濯機」）、設定パラメータ（例えば「おまかせコース 洗剤○○○」）及び稼働状態（例えば「脱水中 残り１５分」）を取得する。そして、通知手段判定部２０９は、当該取得した内容の通知情報を表示部２１０に表示させるようパネル制御部２０４に指示する。パネル制御部２０４は、当該指示を受けると、表示部２１０を制御して、例えば図５Ｃに示すように、指示された内容の通知情報を示す画像Ｇｃを表示する。

一方、通知手段判定部２０９は、挙動判定部３０５からユーザ１０４の挙動が挙動「一見」であることを示す情報を取得した場合（ステップＳ４０３で「一見」）又はステップＳ２０４（図７）でユーザ１０４を識別できないと判定された場合、パネル装置１０２をサマリ表示通知モードに切り替えることを決定する。サマリ表示通知モードとは、ステップＳ３０３（図８）で特定された被制御機器１０３に関する通知情報の出力態様を、表示部２１０による通知情報の表示に設定し、当該通知情報の内容を、当該被制御機器１０３の稼働状態を示す情報に設定するモードである。そして、通知手段判定部２０９は、パネル制御部２０４に、パネル装置１０２をサマリ表示通知モードに切り替える指示を送信する。パネル制御部２０４は、通知手段判定部２０９から受信した指示に従い、パネル装置１０２をサマリ表示通知モードへ切り替える（ステップＳ４０７）。

具体的には、ステップＳ４０７において、通知手段判定部２０９は、ステップＳ３０３（図８）で特定された被制御機器１０３に関する通知情報の内容として、当該被制御機器１０３に関する操作履歴情報（図４）の機器名称（例えば「洗濯機」）及び稼働状態（例えば「脱水中 残り１５分」）を取得する。そして、通知手段判定部２０９は、当該取得した内容の通知情報を表示部２１０に表示させるようパネル制御部２０４に指示する。パネル制御部２０４は、当該指示を受けると、表示部２１０を制御して、例えば図５Ａに示すように、指示された内容の通知情報を示す画像Ｇａを表示する。

また、通知手段判定部２０９は、挙動判定部３０５からユーザ１０４の挙動が挙動「見ていない」であることを示す情報を取得した場合（ステップＳ４０３で「見ていない」）、ステップＳ３０３（図８）で特定された被制御機器１０３に関する通知情報の出力態様を、通知情報の非出力に決定する。この場合、通知手段判定部２０９は、パネル制御部２０４に、パネル装置１０２を通知モードへ切り替える指示を送らない。このため、パネル制御部２０４は、パネル装置１０２を通知モードへ切り替えずに（ステップＳ４０８）、処理を終了する。これにより、情報の取得意識が低い挙動のユーザ１０４に対して、不要に通知情報が通知されることを回避することができる。

更に、通知手段判定部２０９は、ステップＳ４０１で取得した前記残り時間が所定時間「ｍ分」未満である場合、又は、ステップＳ４０１で参照された稼働状態が稼働を完了した状態を示す場合（ステップＳ４０２でＮＯ）、ステップＳ１０１で判定されたユーザ１０４の挙動に応じた通知モードを決定する（ステップＳ４０４）。

具体的には、通知手段判定部２０９が、挙動判定部３０５からユーザ１０４の挙動が挙動「凝視」であることを示す情報を取得した場合（ステップＳ４０４で「凝視」）、上述のステップＳ４０５が行われる。一方、通知手段判定部２０９が、挙動判定部３０５からユーザ１０４の挙動が挙動「一見」であることを示す情報を取得した場合（ステップＳ４０４で「一見」）、上述のステップＳ４０７が行われる。

また、通知手段判定部２０９は、挙動判定部３０５からユーザ１０４の挙動が挙動「見ていない」であることを示す情報を取得した場合（ステップＳ４０４で「見ていない」）、パネル装置１０２を音声通知モードに切り替えることを決定する。音声通知モードとは、ステップＳ３０３（図８）で特定された被制御機器１０３に関する通知情報の出力態様を、音声出力部２０５による通知情報を示す音声の出力に設定し、当該通知情報の内容を、当該被制御機器１０３の設定及び稼働状態を示す情報に設定するモードである。そして、通知手段判定部２０９は、パネル制御部２０４に、パネル装置１０２を音声通知モードに切り替える指示を送信する。パネル制御部２０４は、通知手段判定部２０９から受信した指示に従い、パネル装置１０２を音声通知モードへ切り替える（ステップＳ４０６）。

具体的には、ステップＳ４０６において、通知手段判定部２０９は、ステップＳ３０３（図８）で特定された被制御機器１０３に関する通知情報の内容として、当該被制御機器１０３に関する操作履歴情報（図４）の機器名称（例えば「電子レンジ」）、設定パラメータ（例えば「オーブン予熱 １５０℃」）及び稼働状態（例えば「完了」）を取得する。そして、通知手段判定部２０９は、当該取得した内容の通知情報を示す音声メッセージを音声出力部２０５に出力させるようパネル制御部２０４に指示する。パネル制御部２０４は、当該指示を受けると、音声出力部２０５を制御して、例えば図５Ｂに示すように、指示された内容の通知情報を示す音声メッセージＶｂを出力する。

尚、通知情報を示す音声メッセージは、クラウドサーバ１０１で生成し、当該生成された音声メッセージＶｂを、パネル制御部２０４がクラウドサーバ１０１から取得するようにしてもよい。また、パネル制御部２０４は、パネル装置１０２を音声通知モードへ切り替える場合、例えば図５Ｂに示すように、被制御機器１０３の稼働状態を示す画像Ｇｂを更に表示してもよい。

上記実施形態の構成によれば、操作履歴情報に基づき、一以上の被制御機器１０３のうち状態の変化が生じた又は所定時間以内に状態の変化が生じ得る被制御機器１０３と前記状態の変化に関する操作を行った操作者とが特定される。そして、ユーザ１０４を近傍で検出したパネル装置１０２に、前記特定された被制御機器１０３及び操作者に関する情報と、検出されたユーザ１０４のユーザＩＤと当該検出されたユーザ１０４の挙動の判定結果と、に基づき決定された出力態様及び内容の通知情報が出力される。このため、通知情報を出力したパネル装置１０２の近傍に存在するユーザ１０４に対して、自身の挙動に応じた出力態様で、自身の挙動に応じた内容の被制御機器１０３に関する情報を通知することができる。

（変形実施形態）
尚、上記実施形態は、本開示に係る実施形態の例示に過ぎず、本開示を上記実施形態に限定する趣旨ではない。例えば、以下に示す変形実施形態であってもよい。尚、以降の説明では、上述した構成要素と同様の構成要素については、同じ符号を付し、その説明を省略する。

（１）クラウドサーバ１０１にユーザ情報記憶部２０８（図２）と同様の記憶部を備えるようにしてもよい。又は、ネットワーク１１０を介して、宅内の一以上のパネル装置１０２及び一以上の被制御機器１０３とクラウドサーバ１０１と通信可能な所謂エッジサーバを宅内に設けてもよい。そして、当該エッジサーバに、ユーザ情報記憶部２０８（図２）と同様の記憶部を備えるようにしてもよい。

これに合わせて、ユーザ挙動取得部２０７（図２、図３）が、カメラで撮影した画像をクラウドサーバ１０１（又はエッジサーバ）へ送信するようにしてもよい。そして、クラウドサーバ１０１（又はエッジサーバ）において、通信部２１１が受信した画像と、クラウドサーバ１０１（又はエッジサーバ）に備えた上記記憶部に記憶されている情報に基づき、骨格検出部３０１、ユーザ識別部３０２、顔検出部３０３及び挙動判定部３０５（図３）と同様の処理を行うようにしてもよい。

（２）骨格検出部３０１及び顔検出部３０３に代えて、パネル装置１０２の近傍に存在する人物の特徴量を検出する検出部を備えてもよい。例えば、当該検出部は、カメラ、マイク及びマイクロコンピュータ等を備え、カメラによってパネル装置１０２の近傍に存在するユーザ１０４を撮影した画像及びマイクによってパネル装置１０２の近傍に存在するユーザ１０４が発話した音声から、網膜、身長、声等の人物の特徴量を検出するように構成すればよい。

これに合わせて、各ユーザ１０４の網膜、身長、声等の当該特徴量を示すデータを、パネル装置１０２を宅内に設置した際に行う初期設定において作成し、ユーザ情報記憶部２０８に予め各ユーザ１０４のユーザＩＤと対応付けて記憶すればよい。また、ユーザ識別部３０２（図３）は、骨格検出部３０１及び顔検出部３０３の検出結果に代えて、当該検出部の検出結果を用いるようにすればよい。

（３）パネル装置１０２からユーザ１０４に通知する情報は、ステップＳ３０３（図８）で特定された被制御機器１０３の設定及び状態に関する情報に限らない。例えば、ユーザ１０４が利用しているサービスが提供する情報であって、パネル装置１０２がクラウドサーバ１０１から取得可能な情報の中に、前記特定された被制御機器１０３の操作と関連付けが可能な情報（第一情報）があれば、これを通知する情報に含めるようにしてもよい。

例えば、ユーザ１０４が利用している宅配サービスが提供する、パネル装置１０２がクラウドサーバ１０１から取得可能な配送情報の中に、前記特定された被制御機器１０３の操作に関連する商品の配達状況を示す情報が含まれていたとする。この場合、前記特定された被制御機器１０３に関する通知情報に、当該商品の配達状況を示す情報を含めるようにしてもよい。尚、前記商品には、例えば、洗濯機での洗い工程の操作で用いる洗剤、電子レンジでの調理操作で用いるミールキット等の具材、及び、掃除機での掃除の操作時に必要な交換用フィルター等が含まれる。

（４）操作履歴情報（図４）に、更に、全員への通知が必要な機器であるか否かを示す属性情報が含まれていてもよい。そして、通知手段判定部２０９が、当該属性情報に基づき、通知情報の出力態様及び内容を決定するようにしてもよい。

具体的には、即時応答が要求される属性を持つインタホンに関する操作履歴情報には、全員への通知が必要な機器であることを示す属性情報を含めるようにすればよい。また、宅内の全ユーザ１０４が利用する属性を持つ、風呂等のサニタリー空間に設置された被制御機器１０３に関する操作履歴情報にも同様の属性情報を含めるようにすればよい。

そして、ステップＳ３０４（図８）において、パネル装置１０２の近傍に存在するユーザ１０４と操作者とが一致しないと判定された場合に、ステップＳ３０３（図８）で特定された被制御機器１０３に関する操作履歴情報に、全員への通知が必要な機器であることを示す属性情報（以降、全員属性情報）が含まれているか否かを判定すればよい。そして、全員属性情報が含まれている場合には、ステップＳ３０４（図８）において近傍のユーザ１０４と操作者とが一致すると判定された場合（ステップＳ３０４でＹＥＳ）と同様に処理を継続すればよい。

（５）被制御機器１０３を操作する際に、操作者が当該被制御機器１０３に関する通知情報を通知する対象のユーザ１０４を予め設定できるようにしてもよい。そして、パネル装置１０２の近傍で検出されたユーザ１０４が、前記通知する対象のユーザ１０４として設定したユーザ１０４であれば、当該被制御機器１０３に関する通知情報を通知するようにしてもよい。

具体的には、操作履歴情報（図４）に、被制御機器１０３の操作者が指定した、当該被制御機器１０３に関する情報を通知する対象のユーザ１０４のユーザＩＤ（以降、通知対象者ＩＤ）を含めるようにすればよい。

そして、ステップＳ３０４（図８）において、パネル装置１０２の近傍に存在するユーザ１０４と操作者とが一致しないと判定された場合に、ステップＳ３０３（図８）で特定された被制御機器１０３に関する操作履歴情報に含まれている通知対象者ＩＤとパネル装置１０２の近傍に存在するユーザ１０４のユーザＩＤとが一致するか否かを判定すればよい。そして、一致する場合には、ステップＳ３０４（図８）において近傍のユーザ１０４と操作者とが一致すると判定された場合（ステップＳ３０４でＹＥＳ）と同様に処理を継続すればよい。

（６）被制御機器１０３（第一機器）の稼働完了状態を示す情報を含む通知情報（第一通知情報）を出力した時点から、次に当該被制御機器１０３に対して操作が行われるまでの経過時間に基づき、当該通知情報を再通知（再出力）する対象のユーザ１０４を決定するようにしてもよい。そして、当該決定されたユーザ１０４を近傍で検出した一以上のパネル装置１０２に対して、前記通知情報を再通知するようにしてもよい。

具体的には、通知管理部２１３が、操作履歴情報の通知管理を「完了」に変更するときに、当該変更時の日時を示す変更日時情報を更に当該操作履歴情報と対応付けて記憶するようにすればよい。

そして、ステップＳ３０４（図８）において、パネル装置１０２の近傍に存在するユーザ１０４と操作者とが一致しないと判定された場合に、ステップＳ３０３（図８）で特定された被制御機器１０３に関する操作履歴情報に対応付けられている変更日時情報が示す日時からの経過時間が所定時間以上か否かを判定すればよい。

そして、当該判定において、前記経過時間が所定時間以上であると判定した場合には、ステップＳ３０４（図８）において近傍のユーザ１０４と操作者とが一致すると判定された場合（ステップＳ３０４でＹＥＳ）と同様に処理を継続すればよい。本具体例では、被制御機器１０３の稼働完了状態を示す情報を含む通知情報を出力した時点から、前記所定時間以上何ら操作されていない場合に、ステップＳ２０４で識別されたユーザ１０４が誰であっても、当該被制御機器１０３が稼働完了状態になったことを再通知することができる。

（７）クラウドサーバ１０１にユーザ１０４のスケジュールデータを記憶するようにし、通知手段判定部２０９が、当該スケジュールデータと連動して通知情報の内容を決定するようにしてもよい。

例えば、毎日２１：００に子供を寝かせるというスケジュールデータがクラウドサーバ１０１に記憶されているとする。この場合、夕飯の準備を、子供を寝かせる時刻よりも所定時間（例えば３時間）前に開始するものとして、通知手段判定部２０９が、子供を寝かせる時刻の前記所定時間前の時刻（例えば、１８：００）を、炊飯器の操作時刻として設定するようにしてもよい。そして、通知手段判定部２０９が、炊飯器の操作時刻に近づいた時点で通知情報の内容を決定する際には、夕飯の段取りのアドバイスとして、炊飯器の操作が必要な旨を当該通知情報の内容に含めるようにしてよい。

（８）ステップＳ２０７（図７）でユーザ１０４の挙動が挙動「凝視」と判定された後、ステップＳ３０３（図８）で特定された被制御機器１０３の稼働が完了した状態であることを示す情報を含む通知情報が出力されるまでの間に、ステップＳ２０８（図７）でユーザ１０４の挙動が挙動「一見」と判定されたとする。この場合、挙動判定部３０５は、当該ユーザ１０４の情報を取得する意識の程度は引き続き高い状態であるものとして、ユーザ１０４の挙動が挙動「凝視」であると判定し直すようにしてもよい。

（９）ユーザ挙動取得部２０７が、パネル装置１０２に対してユーザ１０４が接近している場合に、当該ユーザ１０４の挙動が挙動「凝視」であると判定し、パネル装置１０２に対してユーザ１０４が遠ざかっている場合に、当該ユーザ１０４の挙動が挙動「見ていない」であると判定するようにしてもよい。

具体的には、ステップＳ２０４（図７）においてパネル装置１０２の近傍のユーザ１０４が識別された場合に（ステップＳ２０４でＹＥＳ）、挙動判定部３０５（図３）が、近接センサー値取得部３０４から、パネル装置１０２と前記近傍のユーザ１０４との間の離間距離を二回取得する処理を行うようにすればよい。

そして、二回目に取得した前記離間距離が一回目に取得した前記離間距離以下である場合、挙動判定部３０５（図３）は、前記識別されたユーザ１０４が、パネル装置１０２に近づき、情報の取得意識の程度を高くする挙動をとっているものとして、ステップＳ２０７（図７）と同様、当該ユーザ１０４の挙動が挙動「凝視」であると判定すればよい。

一方、二回目に取得した離間距離が一回目に取得した離間距離よりも大きい場合、挙動判定部３０５（図３）は、ステップＳ２０４で識別されたユーザ１０４が、パネル装置１０２から遠ざかり、情報の取得意識の程度が低くなる挙動をとっているものとして、ステップＳ２０９（図７）と同様、当該ユーザ１０４の挙動が挙動「見ていない」であると判定すればよい。

（１０）例えば、隣接するリビングと寝室とに設けられた二つのパネル装置１０２等、複数のパネル装置１０２の近傍で同時に一人のユーザ１０４が検出される場合がある。この場合に、どのパネル装置１０２に通知情報を出力させるのかを、当該検出されたユーザ１０４の検出履歴に基づき決定してもよい。

具体的には、クラウドサーバ１０１において操作履歴記憶部２１２を構成するＨＤＤ等の記憶装置（メモリ）に、ユーザ１０４を識別するユーザＩＤと、当該ユーザ１０４を近傍で検出したパネル装置１０２を識別するパネルＩＤと、当該パネル装置１０２が当該ユーザ１０４を検出回数と、を対応付けた検出履歴情報（第四情報）を記憶するようにすればよい。

そして、ステップＳ２０４（図７）でパネル装置１０２の近傍に存在するユーザ１０４が識別された場合、パネル制御部２０４が、クラウドサーバ１０１に、当該ユーザ１０４のユーザＩＤと、当該パネル装置１０２のパネルＩＤと、をクラウドサーバ１０１に送信するようにすればよい。そして、クラウドサーバ１０１では、当該ユーザＩＤ及びパネルＩＤを受信する度に、受信したユーザＩＤ及びパネルＩＤを含む検出履歴情報の前記検出回数を１ずつカウントアップするようにすればよい。

そして、パネル制御部２０４は、ステップＳ４０５、ステップＳ４０６及びステップＳ４０７において通知モードを切り替える前に、ステップＳ２０４（図７）で取得されたユーザＩＤを含む検出履歴情報をクラウドサーバ１０１から取得するようにすればよい。そして、パネル制御部２０４は、当該取得した検出履歴情報のうち、検出回数が最大の検出履歴情報に含まれるパネルＩＤを参照すればよい。

そして、パネル制御部２０４は、当該参照したパネルＩＤが、自身を備えたパネル装置１０２のパネルＩＤと一致する場合、ステップＳ４０５、Ｓ４０６、Ｓ４０７における通知モードの切り替えを行えばよい。一方、パネル制御部２０４は、当該参照したパネルＩＤが、自身を備えたパネル装置１０２のパネルＩＤと一致しない場合、ステップＳ４０５、Ｓ４０６、Ｓ４０７における通知モードの切り替えを行わないようにすればよい。この場合、ユーザ１０４が近寄る可能性が最も高いパネル装置１０２に通知情報を出力させることができる。これにより、通知情報をより確実に当該ユーザ１０４に知らせることができる。

ただし、上記に限らず、同じユーザ１０４を同時に検出した全てのパネル装置１０２に通知情報を出力させるようにしてもよい。

（１１）ユーザ１０４の挙動が挙動「凝視」である時間が長くなる程、通知情報の内容を増大するようにしてもよい。

例えば、ユーザ１０４の挙動が挙動「凝視」であると判定され、ステップＳ４０５（図９）において、パネル制御部２０４が、パネル装置１０２を詳細表示通知モードに切り替えるとする。この場合、パネル制御部２０４が、先ず、サマリ表示通知モードと同様、被制御機器１０３の状態を示す情報のみを含む通知情報を表示するようにすればよい。そして、ユーザ１０４の挙動が挙動「凝視」であると判定されている時間が所定時間よりも長くなると、パネル制御部２０４は、被制御機器１０３の設定を示す情報を追加して表示するようにしてもよい。

（１２）上記態様において、クラウドサーバ１０１で実現される技術は、例えば、Ｉａａｓ（インフラストラクチャー・アズ・ア・サービス）、Ｐａａｓ（プラットフォーム・アズ・ア・サービス）、Ｓａａｓ（ソフトウェア・アズ・ア・サービス）といったクラウドサービスの類型において実現されうる。しかし、上記態様において説明された技術が実現されるクラウドサービスの類型はこれらに限られるものでない。

本開示にかかる、通知システム及び通知方法は、一以上のユーザが、一以上の機器を共用し、日常的な活動を行う住居等で有用である。

１０１ クラウドサーバ
１０２ パネル装置（出力装置、情報出力装置）
１０３ 被制御機器（機器）
１０４ ユーザ
２０３ 機器状態取得部（第一取得部、特定部）
２０４ パネル制御部
２０５ 音声出力部（出力部）
２０７ ユーザ挙動取得部
２０８ ユーザ情報記憶部（メモリ）
２０９ 通知手段判定部（決定部）
２１０ 表示部（出力部）
２１２ 操作履歴記憶部
３０２ ユーザ識別部（第二取得部）
３０５ 挙動判定部（第三取得部）
Ｔ１ 操作履歴情報テーブル
ｔ１ 第一時間

Claims (12)

1. 一以上のユーザが利用する一以上の出力装置に対して情報を出力する情報出力装置における情報出力方法であって、
   一以上の操作者が操作した一以上の機器の操作履歴に関する第一情報を取得し、
   前記一以上の出力装置の近傍で検出された第一ユーザを識別する第二情報を取得する処理を行い、
   前記第一ユーザの挙動に関する第三情報を取得し、
   前記第一情報に基づき、前記一以上の機器のうち状態の変化が生じた又は所定時間以内に状態の変化が生じ得る機器と前記状態の変化に関する操作を行った第一操作者とを特定し、
   前記特定された機器及び前記第一操作者に関する情報と前記第二情報と前記第三情報とに基づき、前記第一操作者と一致する前記第一ユーザである第二ユーザが存在するか否かを判定し、
   前記第二ユーザが存在する場合、
   前記第三情報に基づく、前記第二ユーザの、出力装置からの情報の取得意識の程度に応じて、（１）前記第二ユーザが操作した機器の状態の変化が生じた旨、又は（２）前記第二ユーザが操作した機器の状態が所定時間以内に変化しうる旨を示す通知情報を前記第二ユーザに把握させうる出力態様を決定し、
   前記第二ユーザを検出した一以上の出力装置に対して、前記決定された出力態様により前記通知情報を出力し、
   前記第三情報は、ユーザの情報の取得意識が第一程度であることを示す第一挙動に関する情報、又は、ユーザの情報の取得意識が前記第一程度よりも高い第二程度であることを示す第二挙動に関する情報であり、
   前記第二ユーザが前記第二挙動である場合、前記第一挙動のユーザに応じた第一出力態様に相当する情報量で前記通知情報を出力し、前記第二ユーザが前記第二挙動である時間が所定時間より長くなったとき、前記通知情報の情報量を、前記第二挙動のユーザに応じた第二出力態様に相当する情報量となるよう増大させる、
   情報出力方法。
2. 前記情報出力装置は、前記一以上のユーザを識別する識別情報と、前記一以上のユーザの骨格を示す情報及び顔を示す情報のうち少なくとも一方を含む特徴情報と、を対応付けて予め記憶するメモリを含み、
   前記第一ユーザを撮影した画像から、前記第一ユーザの前記特徴情報を取得し、
   前記取得した特徴情報に対応する前記識別情報を前記メモリから取得し、当該取得した識別情報を前記第二情報として生成する、
   請求項１に記載の情報出力方法。
3. 前記第三情報は、前記第一挙動に関する情報、前記第二挙動に関する情報、又は、ユーザの情報の取得意識が前記第一程度よりも低い第三程度であることを示す第三挙動に関する情報であり、
   前記第一ユーザを撮影し、
   前記撮影した画像から、前記第一ユーザの顔を認識できた認識時間が第一時間以上である場合、前記第二挙動であることを示す前記第三情報を生成し、
   前記認識時間が前記第一時間未満である場合、前記第一挙動であることを示す前記第三情報を生成し、
   前記撮影した画像から、前記第一ユーザの顔を認識できないが、前記第一ユーザの骨格を認識できた場合、前記第三挙動であることを示す前記第三情報を生成する、
   請求項１又は２に記載の情報出力方法。
4. 前記第三情報は、前記第一挙動に関する情報、前記第二挙動に関する情報、又は、ユーザの情報の取得意識が前記第一程度よりも低い第三程度であることを示す第三挙動に関する情報であり、
   前記一以上の出力装置と前記第一ユーザとの離間距離を二回取得する処理を行い、
   二回目に取得した前記離間距離が一回目に取得した前記離間距離以下である場合、前記第二挙動に関する情報であることを示す前記第三情報を生成し、
   二回目に取得した前記離間距離が一回目に取得した前記離間距離よりも大きい場合、前記第三挙動に関する情報であることを示す前記第三情報を生成する、
   請求項２又は３に記載の情報出力方法。
5. 前記一以上の出力装置は、情報を表示する表示部と音声を出力する音声出力部とを備え、
   前記出力態様には、前記表示部による前記通知情報の表示及び前記音声出力部による前記通知情報を示す音声の出力のうちの少なくとも一方又は前記通知情報の非出力が含まれる、
   請求項１から４の何れか一項に記載の情報出力方法。
6. 前記通知情報には、前記特定された機器の状態を示す情報又は前記特定された機器の設定及び状態を示す情報が含まれる、
   請求項１から５の何れか一項に記載の情報出力方法。
7. 前記一以上の出力装置が近傍で前記一以上のユーザを検出した履歴に関する第四情報を更に取得し、
   複数の出力装置の近傍でユーザが検出された場合、前記第四情報及び前記第二情報に基づき、前記通知情報の出力先の出力装置を特定する、
   請求項１から６の何れか一項に記載の情報出力方法。
8. 前記一以上の出力装置は、情報を表示する表示部を備え、
   前記第二情報を取得できなかった場合、前記表示部による前記通知情報の表示を前記出力態様として決定し、前記特定された機器の状態を前記通知情報の内容として決定する、
   請求項１から６の何れか一項に記載の情報出力方法。
9. 前記第一情報には、前記一以上の機器が稼働を完了した状態に変化するまでの残り時間を示す残時間情報が含まれ、
   前記特定された機器についての前記残時間情報が示す残り時間と前記第三情報とに基づき、前記出力態様及び前記通知情報の内容を決定する、
   請求項１から８の何れか一項に記載の情報出力方法。
10. 第一機器に関する第一通知情報が出力された時点から次に前記第一機器の操作が行われるまでの経過時間に基づき、前記第一通知情報を再出力する対象のユーザを決定し、
    当該決定されたユーザを近傍で検出した一以上の出力装置に対して、前記第一通知情報を再出力する、
    請求項１から９の何れか一項に記載の情報出力方法。
11. 一以上のユーザが利用する一以上の出力装置に対して情報を出力する情報出力装置であって、
    一以上の操作者が操作した一以上の機器の操作履歴に関する第一情報を取得する第一取得部と、
    前記一以上の出力装置の近傍で検出された第一ユーザを識別する第二情報を取得する処理を行う第二取得部と、
    前記第一ユーザの挙動に関する第三情報を取得する第三取得部と、
    前記第一情報に基づき、前記一以上の機器のうち状態の変化が生じた又は所定時間以内に状態の変化が生じ得る機器と前記状態の変化に関する操作を行った第一操作者とを特定する特定部と、
    前記特定された機器及び前記第一操作者に関する情報と前記第二情報と前記第三情報とに基づき、前記第一操作者と一致する前記第一ユーザである第二ユーザが存在するか否かを判定し、
    前記第二ユーザが存在する場合、
    前記第三情報に基づく、前記第二ユーザの、出力装置からの情報の取得意識の程度に応じて、（１）前記第二ユーザが操作した機器の状態の変化が生じた旨、又は（２）前記第二ユーザが操作した機器の状態が所定時間以内に変化しうる旨を示す通知情報を前記第二ユーザに把握させうる出力態様を決定する決定部と、
    前記第二ユーザを検出した一以上の出力装置に対して、前記決定された出力態様により前記通知情報を出力する出力部と、
    を備え、
    前記第三情報は、ユーザの情報の取得意識が第一程度であることを示す第一挙動に関する情報、又は、ユーザの情報の取得意識が前記第一程度よりも高い第二程度であることを示す第二挙動に関する情報であり、
    前記決定部は、前記第二ユーザが前記第二挙動である場合、前記第一挙動のユーザに応じた第一出力態様に相当する情報量で前記通知情報を出力し、前記第二ユーザが前記第二挙動である時間が所定時間より長くなったとき、前記通知情報の情報量を、前記第二挙動のユーザに応じた第二出力態様に相当する情報量となるよう増大させる、
    情報出力装置。
12. 請求項１から１０の何れか一項に記載の情報出力方法をコンピュータに実行させるためのプログラム。

Images