JP2016046735A - 制御装置、制御システム、制御装置の制御方法、および制御プログラム - Google Patents

Abstract

【課題】ユーザの操作に対して通常と異なる処理が実行されることをユーザに事前に示す。【解決手段】所定の処理がそれぞれ対応付けられた複数の画像から選択画像を選択する操作を取得して、選択画像に応じた所定の処理の実行を被制御装置に指示する制御装置であって、選択画像を選択可能に上記画像を示す選択画面を表示する表示手段を備える。表示手段は、ユーザによって選択画面において選択画像として選択された後、選択画像に対応付けられた所定の処理を被制御装置に指示するまでに、ユーザに提示するユーザインタフェースが他の画像と異なる画像、およびユーザによって選択画面において選択画像として選択された後、選択画像が対応付けられた所定の処理を被制御装置が行う際、選択画像に対応付けられていない付加的処理を行う画像、の少なくとも一方である特定画像を、他の画像と区別して示す。【選択図】図１

Description

本発明は被制御措置を制御する制御装置などに関する。

ユーザが所定の装置を操作することにより、外部の機器を遠隔操作する方法に関する技術の開発が広く行われている。

外部の機器を遠隔操作するための操作装置、または遠隔操作対象の機器では、電気用品安全法を順守するため、または遠隔操作に対する安全性を確保するために、ユーザが当該装置に対する操作を行った時に、当該操作で実行されるべき処理と異なる特別な処理を行う場合がある。

例えば、上記特許文献１には、携帯情報端末によって車両を遠隔操作する方法に関する技術において、操作選択画面で選択された操作内容、および当該操作内容の実行または取消を行う機能を有するアイコンを表示する携帯情報端末が開示されている。つまり、ユーザが操作選択画面で操作内容を選択したとき、実行されるべきは当該操作内容が示す処理を車両に実行させることであるが、実際は当該操作内容の実行または取消を行う機能を有するアイコンを表示する。

特開２００７−１９７３９号公報（２００７年１月２５日公開）

しかしながら、上記特許文献１の技術では、特別な処理が実行されることを、操作選択画面を表示している段階でユーザに示していないという問題がある。つまりユーザは、選択した操作内容が示す処理を車両が実行すると予想して操作内容を選択する。しかし実際は、ユーザの予想に反してアイコンが表示されるため、ユーザは困惑する可能性がある。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザの操作に対して通常と異なる処理が実行されることをユーザに事前に示すことができる制御装置などを実現することにある。

上記の課題を解決するために、本発明の一態様に係る制御装置は、所定の処理がそれぞれ対応付けられた複数の画像から選択画像を選択する操作を取得して、上記選択画像に応じた上記所定の処理の実行を被制御装置に指示する制御装置であって、上記選択画像を選択可能に上記画像を示す選択画面を表示画面に表示する表示手段を備え、上記表示手段は、ユーザによって上記選択画面において選択画像として選択された後、当該選択画像に対応付けられた上記所定の処理を上記被制御装置に指示するまでに、ユーザに提示するユーザインタフェースが他の画像と異なる画像、および、ユーザによって上記選択画面において選択画像として選択された後、当該選択画像が対応付けられた上記所定の処理を上記被制御装置が行う際、当該選択画像に対応付けられていない付加的処理を行う画像、の少なくとも一方である特定画像を、他の画像と区別して示すように上記選択画面を生成する。

また、上記の課題を解決するために、本発明の一態様に係る制御システムは、所定の処理がそれぞれ対応付けられた複数の画像から選択画像を選択する操作を取得して、上記選択画像に応じた上記所定の処理の実行を指示する制御装置と、当該制御装置の指示に従って上記所定の処理を実行する被制御装置と、を含む制御システムであって、上記制御装置は、上記選択画像を選択可能に上記画像を示す選択画面を表示画面に表示する表示手段を備え、上記表示手段は、ユーザによって上記選択画面において選択画像として選択された後、当該選択画像に対応付けられた上記所定の処理を上記被制御装置に指示するまでに、ユーザに提示するユーザインタフェースが他の画像と異なる画像、および、ユーザによって上記選択画面において選択画像として選択された後、当該選択画像が対応付けられた上記所定の処理を上記被制御装置が行う際、当該選択画像に対応付けられていない付加的処理を行う画像、の少なくとも一方である特定画像を、他の画像と区別して示すように上記選択画面を生成する。

また、上記の課題を解決するために、本発明の一態様に係る制御装置の制御方法は、所定の処理がそれぞれ対応付けられた複数の画像から選択画像を選択する操作を取得して、上記選択画像に応じた上記所定の処理の実行を被制御装置に指示する制御装置の制御方法であって、上記選択画像を選択可能に上記画像を示す選択画面を表示画面に表示する表示ステップを含み、上記表示ステップでは、ユーザによって上記選択画面において選択画像として選択された後、当該選択画像に対応付けられた上記所定の処理を上記被制御装置に指示するまでに、ユーザに提示するユーザインタフェースが他の画像と異なる画像、および、ユーザによって上記選択画面において選択画像として選択された後、当該選択画像が対応付けられた上記所定の処理を上記被制御装置が行う際、当該選択画像に対応付けられていない付加的処理を行う画像、の少なくとも一方である特定画像を、他の画像と区別して示すように上記選択画面を生成する。

また、上記の課題を解決するために、本発明の一態様に係る制御装置は、所定の処理をそれぞれ示す複数の指示情報から選択指示情報を選択する操作を取得して、上記選択指示情報に応じた上記所定の処理の実行を被制御装置に指示する制御装置であって、上記選択指示情報を選択可能に上記指示情報を示す選択画面を表示画面に表示する表示手段を備え、上記表示手段は、ユーザによって上記選択画面において選択指示情報として選択された後、当該選択指示情報が示す上記所定の処理を上記被制御装置に指示するまでに、ユーザに提示するユーザインタフェースが他の指示情報と異なる指示情報、および、ユーザによって上記選択画面において選択指示情報として選択された後、当該選択指示情報が示す上記所定の処理を上記被制御装置が行う際、当該選択指示情報に含まれない付加的処理を行う指示情報、の少なくとも一方である特定指示情報を、他の指示情報と区別して示すように上記選択画面を生成する。

本発明の一態様によれば、ユーザの操作に対して通常と異なる処理が実行されることをユーザに事前に示すことができるという効果を奏する。

本発明の各実施形態に係る家族伝言板システムのスマートフォン、サーバ、空気清浄機の要部構成の一例を示すブロック図である。 本発明の各実施形態に係る家族伝言板システムの概要を示す図である。 実施形態１に係る家庭内機器への指示の流れを示す遷移図である。 （ａ）は、エージェントサーバに記憶されている指示画像情報テーブルのデータ構造および具体例を示す図であり、（ｂ）は、サーバに記憶されているペアリング情報テーブルのデータ構造および具体例を示す図である。 スマートフォンに記憶されている指示画像一覧テーブルのデータ構造および具体例を示す図である。 実施形態１に係るスマートフォンが実行する画像表示処理の流れの一例を示すフローチャートである。 実施形態１に係る空気清浄機が実行する指示実行処理の流れの一例を示すフローチャートである。 実施形態２に係る指示選択画面を示す模式図である。 実施形態２に係るともだち家電登録処理（ペアリング処理）の流れを示す遷移図である。 実施形態２に係るスマートフォンが実行する画像表示処理の流れの一例を示すフローチャートである。 実施形態２に係るサーバが実行する情報供給処理の流れの一例を示すフローチャートである。 実施形態２に係るスマートフォンが実行する指示処理の流れの一例を示すフローチャートである。 実施形態３に係るスマートフォンが表示する確認画像を示す模式図である。 実施形態１の変形例に係る指示選択画面を示す模式図である。 実施形態１の別の変形例に係る指示選択画面を示す模式図である。 実施形態１のさらに別の変形例に係る指示選択画面を示す模式図である。 実施形態２の変形例に係る報知画像の表示を示す模式図である。 実施形態２の別の変形例に係る報知画像の表示を示す模式図である。 実施形態２のさらに別の変形例に係る報知画像の表示を示す模式図である。 上記スマートフォンなどとして利用可能なコンピュータの構成を例示したブロック図である。

〔実施形態１〕
以下、本発明の一実施形態について、図１〜図７に基づいて説明すれば以下のとおりである。

（家族伝言板システム１００）
まず、本実施形態に係る家族伝言板システム１００（制御システム）の概要について、図２を参照して説明する。図２は、家族伝言板システム１００の概要を示す図である。家族伝言板システム１００は、あらかじめ登録されたユーザ（図２に示す例ではお父さん、お母さん、子供）の間で情報を共有可能な電子伝言板（いわゆるソーシャル・ネットワーク・サービス）を提供するシステムである。家族伝言板システム１００は、スマートフォン１ａ、１ｂ、１ｃ、エージェントサーバ２ａ（管理装置）、家族伝言板サーバ２ｂ、ホームサーバ２ｃ、家庭内に配置された機器（家庭内機器）３（掃除ロボット３ａ、空気清浄機３ｂ、空調装置３ｃ）を含む。なお図２では、家庭内機器３（被制御装置）が掃除ロボット３ａ、空気清浄機３ｂ、空調装置３ｃである例を示すが、家庭内機器３の種類および数は、図２の例に限定されない。また、スマートフォン１ａ、１ｂ、１ｃを特に区別する必要が無い場合は、単に「スマートフォン１（制御装置）」と称する。同様に、エージェントサーバ２ａ、家族伝言板サーバ２ｂ、ホームサーバ２ｃを特に区別する必要が無い場合は、単に「サーバ２」と称する。

家族伝言板システム１００では、ユーザは、家族伝言板に指示画像８４を投稿する（つまり、指示画像８４を選択する）ことにより、家庭内機器３の動作を制御することができる。この詳細については後述する。

また、家族伝言板システム１００では、家庭内機器３の状態およびユーザによって書き込まれたメッセージの内容などに応じて、家庭内機器３が家族伝言板にメッセージを書き込む。さらにユーザは、それぞれが所持するスマートフォン１ａ、１ｂ、１ｃを用いて家族伝言板にアクセスし、メッセージの書き込み、または閲覧を行うことができる。

スマートフォン１（制御装置）は、サーバ２を介して家庭内機器３を制御する情報端末である。スマートフォン１は、入力面１１、表示面１２（表示画面）を備える。ユーザは入力面１１をタッチすることで、スマートフォン１に当該入力面１１における位置を指定することにより（入力面１１上の座標を与えることにより）、指示画像８４を選択するなどの情報をスマートフォン１に与えることができる。また、ユーザは入力面１１をタッチして、文字情報をスマートフォン１に与えることができる。なお、制御装置は、スマートフォン１と同等の機能（必要な情報を入出力可能な機能）が実現できればよく、スマートフォン１に限定されない。制御装置は例えば、携帯電話、パーソナルコンピュータ、タブレット端末などであってもよい。

エージェントサーバ２ａは、家族伝言板に投稿された指示画像８４を特定する情報（画像識別情報）をスマートフォン１から家族伝言板サーバ２ｂを介して受信し、当該指示画像に応じた指示情報をホームサーバ２ｃに送信する。つまりエージェントサーバ２ａは、指示情報をホームサーバ２ｃに送信することによって、家庭内機器３の動作を制御する。

また、エージェントサーバ２ａは、家庭内機器３の状態、家庭内機器３が取得した情報、およびユーザの書き込み内容などに応じて、家庭内機器３の各々を擬人化したキャラクタとして、家族伝言板にメッセージなどを書き込む。これにより、ユーザは、家族伝言板において家庭内機器３の各々とのコミュニケーションを疑似体験できる。なお、以下の説明においては、空気清浄機３ｂを擬人化したキャラクタ「空清ちゃん」が、家族伝言板にメッセージなどを書き込む例を説明する。

家族伝言板サーバ２ｂは、スマートフォン１ａ、１ｂ、および１ｃに対する家族伝言板の表示画面の提示、および書き込みの管理などの、家族伝言板に関する処理全般を行う。

ホームサーバ２ｃは、家庭内機器３の各々とエージェントサーバ２ａとの間の情報の送受信を統括して制御する。ホームサーバ２ｃには、家庭内機器３が通信可能に無線接続されており、ホームサーバ２ｃは、エージェントサーバ２ａから受信した指示画像に従って、家庭内機器３の各々の動作を制御する。具体的には、ホームサーバ２ｃは、エージェントサーバ２ａから受信した指示情報を家庭内機器３に送信し、家庭内機器３の動作を制御する。また、ホームサーバ２ｃは、家庭内機器３から取得した情報を、エージェントサーバ２ａに送信する。

家庭内機器３（被制御装置）は、ホームサーバ２ｃから受信する制御信号に従って、所定の処理を実行する。なお、掃除ロボット３ａがホームサーバ２ｃからの指示情報をすべて受信してもよい。この場合、掃除ロボット３ａが受信した指示情報の送信先（指示情報によって制御される家庭内機器３）を特定し、当該家庭内機器３に指示情報を送信する。

（家庭内機器３への指示の流れ）
次に、家庭内機器３への指示の流れについて、図３を参照して説明する。図３は、本実施形態に係る家庭内機器３への指示の流れを示す遷移図である。図３の（ａ）は、家族伝言板に投稿された書き込みを時系列で表示した画像（タイムライン）である。ここで、スマートフォン１が投稿ボタン８１へのタッチ操作を取得すると、図３の（ｂ）に示す画面を表示する。続いて、スマートフォン１が画像選択ボタン群８２へのタッチ操作を取得すると、タッチ操作によって選択された画像選択ボタンに応じた画面を表示する。ここでは、「家電くんシール」のボタンへのタッチ操作が取得されたものとして説明する。なお、ユーザが画像選択ボタン群８２の右上にある「×」ボタンをタッチすることにより、スマートフォン１は、画像選択ボタン群８２を消去する。これにより、ユーザが画像を投稿しない場合であっても次の工程に進むことができる。

「家電くんシール」のボタンへのタッチ操作を取得すると、スマートフォン１は、図３の（ｃ）に示すように家庭内機器３を選択するための画面を表示する。当該画面には家庭内機器リスト８３が表示されており、ユーザは処理を実行したい家庭内機器３（指示対象の家庭内機器３）を家庭内機器リスト８３から選択する（処理を実行したい家庭内機器３が表示された位置に対してタッチ操作を行う）。スマートフォン１は、当該タッチ操作を取得すると、図３の（ｄ）に示すように選択された家庭内機器３に対する指示を選択するための画面（指示選択画面）を表示する。なお以下の説明においては、図３の（ｃ）に示す画面において、空気清浄機３ｂを擬人化したキャラクタである「空清ちゃん」へのタッチ操作が取得されたものとして説明する。

指示選択画面（選択画面）には、空気清浄機３ｂが実行可能な処理を指示するための指示画像８４が表示される。ここで、指示画像８４の詳細について説明する。指示画像８４は、家庭内機器３に所定の処理を実行させるための指示を示す画像データである。

指示画像８４に対するユーザのタッチ操作を取得すると、スマートフォン１は、タッチ操作によって選択された指示画像８４を家族伝言板に投稿するための画面を表示する。図３の（ｅ）に示すように、当該画面にはタッチ操作によって選択された指示画像が表示され、選択された指示画像８４（選択画像）を投稿することをユーザに報知する。また、ユーザは当該画面において、家族伝言板に投稿するメッセージを入力することができる。スマートフォン１はユーザのタッチ操作を取得して、当該タッチ操作に応じたメッセージを表示面１２に表示する。そして、スマートフォン１は、登録ボタン８５に対するタッチ操作を取得すると、指示画像８４を識別する指示画像ＩＤおよびメッセージを家族伝言板サーバ２ｂに送信する。なお、指示画像ＩＤの詳細については後述する。

家族伝言板サーバ２ｂは、指示画像ＩＤおよびメッセージを受信すると、受信した指示画像ＩＤが示す指示画像８４、およびメッセージを書き込みとしてタイムラインに反映させた画像を作成して、スマートフォン１に送信する。これにより、図３の（ｆ）に示すように、スマートフォン１は投稿内容が反映されたタイムラインを表示することができる。また、家族伝言板サーバ２ｂは、受信した指示画像ＩＤをエージェントサーバ２ａに送信する。エージェントサーバ２ａは、受信した指示画像ＩＤに対応付けられている指示情報をホームサーバ２ｃに送信し、家庭内機器３に指示情報に応じた処理を実行させる。この例では、空気清浄機３ｂがおまかせ自動運転を開始する。

なお、エージェントサーバ２ａは、指示画像ＩＤを受信すると、ユーザの指示に対する家庭内機器３の返答としての書き込み情報を家族伝言板サーバ２ｂに送信してもよい。これにより、図３の（ｆ）に示すように、スマートフォン１に表示されるタイムラインに家庭内機器３（空気清浄機３ｂ）からの返答画像７２が表示される。なお、返答画像７２は、エージェントサーバ２ａが受信した指示画像ＩＤが示す指示画像８４が、家庭内機器３の運転開始を示すもの、または、運転のモードを変更するものである場合、運転を開始した後に通信エラーが所定時間（例えば２４時間）継続したときに運転を自動的に停止する（付加的処理を行う）旨を報知するメッセージを含んでいてもよい。ここで通信エラーとは、家庭内機器３と外部との通信が不可能な状態を示す。

（構成の詳細）
以下、家族伝言板システム１００におけるスマートフォン１、エージェントサーバ２ａ、および空気清浄機３ｂについて、図１を用いてより詳細に説明する。図１はスマートフォン１、エージェントサーバ２ａ、および空気清浄機３ｂの要部構成の一例を示すブロック図である。なお、本発明に直接関係のない部分（例えば、スマートフォン１において電話回線を利用して通話を実現する部分、空気清浄機において吸気および排気を実現する部分など）については、以下の説明および上記ブロック図から省略している。

また、家族伝言板サーバ２ｂおよびホームサーバ２ｃの構成の詳細についても、本発明との関連が薄いため省略する。さらに、図１において空気清浄機３ｂを記載しているのは一例であり、家庭内機器３であれば空気清浄機３ｂに限定されない。例えば図２に示す空調装置３ｃであってもよい。空調装置３ｃであっても、本発明と直接関係する部分の構成は、図１に示す空気清浄機３ｂと同様である。

（空気清浄機３ｂについて）
図１に示すように、空気清浄機３ｂは、機器通信部３１、処理実行部３２、通信状態監視部３３、およびタイマ３４を備える。

機器通信部３１は、ホームサーバ２ｃとの通信を行う通信デバイスである。具体的には、機器通信部３１はエージェントサーバ２ａから送信された指示情報を、ホームサーバ２ｃを介して受信する。そして、受信した指示情報を処理実行部３２に出力する。また、機器通信部３１は、空気清浄機３ｂが有する機能や、実行中の処理などに関する情報である機器情報、および、上記制御信号に従って空気清浄機３ｂが実行する処理の結果についての情報である実行結果情報を、ホームサーバ２ｃに送信してもよい。例えば、機器通信部３１は、状態通知の実行を指示する指示情報に応じて処理実行部３２が作成した機器情報を、ホームサーバ２ｃに送信してもよい。さらに、機器通信部３１は、空気清浄機３ｂが備える各種センサが取得した値を、ホームサーバ２ｃに送信してもよい。当該値は例えば、室温、湿度、部屋の空気がどの程度汚れているかを示す汚れ度を評価した値などである。当該機器情報はホームサーバ２ｃを介してエージェントサーバ２ａに送信される。エージェントサーバ２ａは、当該機器情報に応じて書き込み情報を作成し、家族伝言板サーバ２ｂに当該書き込み情報を送信する。これにより、家族伝言板に空気清浄機３ｂの状態を通知する書き込みが投稿される。

処理実行部３２は、エージェントサーバ２ａから送信された指示情報に応じた処理を実行する。例えば、当該指示情報がおまかせ運転の開始を指示するものである場合、処理実行部３２は、おまかせ運転モードで空気清浄機３ｂを運転させる。また、処理実行部３２は、当該指示情報が空気清浄機３ｂの運転開始を示すもの（例えば上述したおまかせ運転の開始を指示するもの）である場合、通信状態監視部３３を、通信エラーが発生した場合にタイマ３４による時間の計測を開始するように設定する。処理実行部３２は、通信状態監視部３３から、タイマ３４によって計測された時間が所定時間（例えば２４時間）継続したことを通知された場合、空気清浄機３ｂの運転を自動的に停止する。

通信状態監視部３３は、空気清浄機３ｂとホームサーバ２ｃとの間の通信状態を常時監視するものである。通信状態監視部３３は、処理実行部３２による上記設定がなされている場合、通信エラーが発生すると（空気清浄機３ｂとホームサーバ２ｃとの間の通信が不可能な状態となると）タイマ３４による時間の計測を開始する。そして、タイマ３４によって計測された時間が所定時間（例えば２４時間）継続した場合、処理実行部３２にその旨を通知する。なお、通信エラーが解消した場合、または、所定時間に達する前に空気清浄機３ｂの本体に対するユーザの操作を取得した場合、通信状態監視部３３はタイマ３４による時間の計測を中止し、計測した時間をリセットして０に戻す。所定時間に達する前に本体に対する操作が行われた場合、空気清浄機３ｂの近くにユーザがいる（またはユーザがいた）ということである。よって、たとえ所定時間通信エラーが継続しても（遠隔操作が不可能な状態であっても）、空気清浄機３ｂの近くにユーザがいるために、自動停止する必要が無いということである。また、空気清浄機３ｂの本体に設けられたボタンなどに対する操作があった場合でも、通信エラーが解消しない限りは、時間の計測を継続してもよい。

通信状態監視部３３は、ホームサーバ２ｃとエージェントサーバ２ａとの通信状態を示す情報を、ホームサーバ２ｃから取得してもよい。この場合、通信状態監視部３３は、ホームサーバ２ｃとエージェントサーバ２ａとの間の通信が不可能な状態を示す情報を取得すると、タイマ３４による時間の計測を開始する。これにより、空気清浄機３ｂとホームサーバ２ｃとが通信可能であり、ホームサーバ２ｃとエージェントサーバ２ａとの間で通信不可能な状態が所定の時間継続した場合であっても、空気清浄機３ｂの運転を停止することができる。

タイマ３４は、通信状態監視部３３からの指示によって時間を計測するデバイスである。

（エージェントサーバ２ａについて）
図１に示すように、エージェントサーバ２ａは、サーバ通信部２１、抽出部２２、およびサーバ記憶部２４を備える。

サーバ通信部２１は、家族伝言板サーバ２ｂおよびホームサーバ２ｃとの通信を行う通信デバイスである。具体的には、サーバ通信部２１は、スマートフォン１から家族伝言板サーバ２ｂを介して送信された指示画像ＩＤを受信し、指示画像ＩＤに対応付けられている指示情報を後述する指示画像情報テーブル２４１から読み出し、ホームサーバ２ｃを介して空気清浄機３ｂに送信する。また、サーバ通信部２１は、スマートフォン１から家族伝言板サーバ２ｂを介して送信された、指示画像情報取得要求および指示対象機器ＩＤを受信し、抽出部２２に出力する。そして、抽出部２２から出力された指示画像情報を、家族伝言板サーバ２ｂを介してスマートフォン１に送信する。なお、指示画像情報取得要求、指示対象機器ＩＤ、および指示画像情報については後述する。また、サーバ通信部２１は、エージェントサーバ２ａが生成した家族伝言板への書き込み情報を家族伝言板サーバ２ｂに送信する。なお、当該書き込み情報を生成する部材については、本発明との関連が薄いため図１では記載を省略している。

サーバ記憶部２４は、エージェントサーバ２ａが使用する各種データを記憶する記憶デバイスである。具体的には、サーバ記憶部２４は指示画像情報テーブル２４１およびペアリング情報テーブル２４２を格納する。なお、ペアリング情報テーブル２４２の詳細については、後述する実施形態２にて詳細に説明する。

ここで、指示画像情報テーブル２４１の詳細について図４の（ａ）を参照して説明する。図４の（ａ）は指示画像情報テーブル２４１のデータ構造および具体例を示す図である。なお、図４の（ａ）に示す指示画像情報テーブル２４１は一例であり、データ構造および指示画像情報テーブル２４１に含まれる情報はこの例に限定されるものではない。

指示画像情報テーブル２４１は、スマートフォン１から送信された指示対象機器ＩＤ、指示画像情報取得要求に対する応答としてスマートフォン１に送信する指示画像情報、および指示情報とを対応付けて記憶するものである。なお指示対象機器ＩＤとは、図３の（ｃ）に示す家庭内機器リスト８３から選択された家庭内機器３を識別するための情報である。また、指示画像情報は指示画像ＩＤ（画像識別情報）、指示名称、指示制限情報（特定処理識別情報）、および操作グループ情報（特定処理識別情報）を含む。以下、これらの詳細について説明する。なお、指示制限情報については後述する実施形態２にて詳細に説明する。

「指示対象機器ＩＤ」のカラムには、上述した指示対象機器ＩＤが登録される。図４の（ａ）に示す「Ａ００１」は、空気清浄機３ｂを示す指示対象機器ＩＤである。なお、指示対象機器ＩＤは、家庭内機器３が識別できればよく、図４の（ａ）に示すアルファベットと数字との組み合わせに限定されない。

「指示画像ＩＤ」のカラムには、指示画像８４を識別するための指示画像ＩＤが登録される。なお、図４の（ａ）では指示画像ＩＤはアルファベットと数字との組み合わせで構成されているが、この例に限定されるものではない。

「指示名称」のカラムには、指示画像８４の指示内容を説明する文字列が登録される。

「操作グループ情報」のカラムには、指示画像ＩＤが示す指示画像８４のカテゴリを示す操作グループ情報が登録される。具体的には、操作グループ情報として、家庭内機器３の運転を開始するための指示画像８４を示す「運転」、家庭内機器３の運転を停止するための指示画像８４を示す「停止」、その他の指示画像を示す「その他」のいずれかが登録される。なお、上述した操作グループ情報は一例であり、操作グループ情報は上述した３つに限定されない。また、「操作グループ情報」のカラムに登録される操作グループ情報は図４の（ａ）に示すような文字列に限定されない。つまり、各操作グループを識別できるものであればよく、例えば数字であってもよい。

「指示情報」のカラムには、家庭内機器３に所定の処理を実行させるためのコマンドである指示情報が登録される。

抽出部２２は、サーバ記憶部２４から各種情報を抽出するものである。例えば抽出部２２は、指示画像ＩＤを受信すると、指示画像情報テーブル２４１から受信した指示画像ＩＤに対応付けられた指示情報を読み出す。そして、読み出した指示情報をサーバ通信部２１を介して家庭内機器３に送信する。

抽出部２２は、指示画像情報抽出部２２１およびペアリング情報抽出部２２２（識別情報判定手段）を含む。なお、ペアリング情報抽出部２２２の詳細については、後述する実施形態２にて詳細に説明する。

指示画像情報抽出部２２１は、サーバ通信部２１から指示画像情報取得要求および指示対象機器ＩＤを入力されると、指示画像情報テーブル２４１から、当該指示対象機器ＩＤに応じた指示画像情報を読み出し、サーバ通信部２１に出力する。なお、本実施形態では、指示画像情報として指示画像ＩＤ、指示名称、および操作グループ情報を読み出す。

（スマートフォン１について）
図１に示すように、スマートフォン１は、制御部１０、入力面１１、表示面１２、記憶部１３、および通信部１４を含む。

入力面１１は、ユーザにより指定された入力面１１上の位置を示す入力信号を、後述する操作取得部１０１に出力する。入力面１１はタッチパネルであることが好ましい。ただし、入力面１１は、指示体（例えばユーザの指など）の接触した位置を検知可能な入力機器であれば、タッチパネルに限定されない。

表示面１２は、表示制御部１０３から入力される表示用データを表示する。表示用データには、家族伝言板および当該家族伝言板に含まれるコンテンツ（例えば、指示画像８４）が含まれる。表示面１２について、本実施形態では液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）を想定しているが、表示機能を有する装置であれば、液晶ディスプレイに限定されない。

なお、各構成が有する機能を明示するために、図１は入力面１１と表示面１２とを分離して示すが、例えば入力面１１をタッチパネルで、表示面１２を液晶ディスプレイで実現する場合、両者は一体として構成されてよい。これにより、入力面１１に対するユーザの指の接触位置と、表示面１２が当該接触に応じて表示する図形などの表示位置とが一致するため、ユーザは自然な入力感覚を得ることができる。

通信部１４は、所定の通信方式に従う通信網を介して外部と通信する。通信部１４は、外部機器との通信を実現する本質的な機能が備わっていればよく、通信回線、通信方式、または通信媒体などは限定されない。

通信部１４は、後述する処理指示部１０２（識別情報送信手段）から入力された指示画像ＩＤを家族伝言板サーバ２ｂを介してエージェントサーバ２ａに送信する。また、通信部１４は、後述する処理指示部１０２から入力された、指示画像情報取得要求および指示対象機器ＩＤを家族伝言板サーバ２ｂを介してエージェントサーバ２ａに送信する。そして、その応答として、エージェントサーバ２ａから家族伝言板サーバ２ｂを介して送信された指示画像情報を受信し、表示制御部１０３へ出力する。なお通信部１４は家族伝言板サーバ２ｂ以外の外部機器（例えば他のユーザのスマートフォン１）との通信も行うことができる。

記憶部１３は、スマートフォン１が使用する各種データを記憶する記憶デバイスである。具体的には、記憶部１３は指示画像一覧テーブル１３１および画像データ１３２を記憶している。

ここで、指示画像一覧テーブル１３１の詳細について図５を参照して説明する。図５は、指示画像一覧テーブル１３１のデータ構造および具体例を示す図である。なお、図５に示す指示画像一覧テーブル１３１は一例であり、データ構造および指示画像一覧テーブル１３１に含まれる情報はこの例に限定されるものではない。また、図５には空気清浄機３ｂにおける指示画像一覧テーブル１３１を示しているが、記憶部１３には、家庭内機器３ごとの指示画像一覧テーブル１３１が記憶されているものとする。

指示画像一覧テーブル１３１は、指示画像８４を識別するための指示画像ＩＤと指示画像８４の画像データとを対応付けて記憶するものである。「指示画像ＩＤ」のカラムには、上記指示画像ＩＤが登録される。なお、図５では指示画像ＩＤはアルファベットと数字との組み合わせで構成されているが、この例に限定されるものではない。「指示画像データ」のカラムには、指示画像８４が登録される。つまり、表示面１２に表示される指示画像８４の画像データと、当該画像データのメタデータとしての指示情報とが登録される。

なお、本実施形態では指示画像８４がスマートフォン１に格納されている例を説明したが、指示画像８４はサーバ２（エージェントサーバ２ａ）に格納されていてもよい。具体的には、指示画像情報テーブル２４１には指示画像８４の画像データを登録するカラムがさらに含まれており、指示画像情報抽出部２２１は、指示画像情報取得要求を受信したとき、指示画像情報として指示画像８４の画像データも読み出し、スマートフォン１に送信する。スマートフォン１の後述する表示制御部１０３は、受信した指示画像８４を表示面１２に表示させる。なおこの例の場合、指示画像一覧テーブル１３１は省略される。

画像データ１３２は、表示面１２に表示される各種画像データである。具体的には、画像データ１３２は、図３の（ｄ）に示す境界線７１などである。

制御部１０は、後述する画像表示処理、指示処理を含むスマートフォン１の機能を統括して制御するものであり、操作取得部１０１、処理指示部１０２、および表示制御部１０３を含む。

操作取得部１０１は、入力面１１に入力されたユーザの操作を取得するものである。具体的には、操作取得部１０１は、入力面１１から入力された入力信号に応じて、表示面１２に表示しているいずれの画像がタッチされたかを示す入力情報を作成し、処理指示部１０２に出力する。例えば操作取得部１０１は、各種ユーザインタフェース（指示画像８４や投稿ボタン８１など）がタッチされたことを示す入力情報を作成し、処理指示部１０２に出力する。

処理指示部１０２は、スマートフォン１の各部、またはサーバ２や家庭内機器３に各種処理を指示するものである。具体的には、処理指示部１０２は、家庭内機器リスト８３および登録ボタン８５を除くユーザインタフェースがタッチされたことを示す入力情報を入力されると、表示制御部１０３に当該入力情報に応じた画面を表示するよう指示する。また、処理指示部１０２は、登録ボタン８５がタッチされたことを示す入力情報を入力されると、表示制御部１０３を介して、選択された指示画像８４の指示画像ＩＤを指示画像一覧テーブル１３１から取得し、メッセージとともに通信部１４を介して家族伝言板サーバ２ｂに送信する。

さらに、処理指示部１０２は、家庭内機器リスト８３がタッチされたことを示す入力情報を入力されると、指示選択画面に表示する指示画像８４を決定するための指示画像情報取得要求を、タッチ操作によって選択された家庭内機器３を識別するための指示対象機器ＩＤとともに、通信部１４および家族伝言板サーバ２ｂを介して、エージェントサーバ２ａに送信する。

表示制御部１０３は、表示面１２に表示される画像を生成し、表示面１２に表示させるものである。表示制御部１０３は、表示画像生成部１０４（表示手段）および受信情報特定部１０５（識別情報取得手段、判定手段）を含む。

受信情報特定部１０５は、処理指示部１０２からエージェントサーバ２ａに送信された指示画像情報取得要求に対する応答として、指示画像情報をエージェントサーバ２ａから受信すると、当該指示画像情報に応じて表示画像生成部１０４に画像作成を指示する。具体的には、指示画像情報に含まれる指示画像ＩＤおよび指示名称を抽出し、表示画像生成部１０４に供給する。また、指示画像情報に含まれる指示画像ＩＤおよび操作グループ情報を参照して、操作グループ情報が異なる指示画像ＩＤが示す指示画像８４をそれぞれ別領域に表示するよう表示画像生成部１０４に指示する。

表示画像生成部１０４は、受信情報特定部１０５の指示に応じて、表示面１２に表示させる画像を生成し、表示面１２に表示させる。具体的には、受信情報特定部１０５から指示画像ＩＤを供給されると、当該指示画像ＩＤと対応付けられた指示画像８４を指示画像一覧テーブル１３１から読み出す。そして、読み出した指示画像８４と当該指示画像に対応する指示名称について、受信情報特定部１０５から供給された指示に応じて表示位置を決定する。さらに具体的には、操作グループ情報が異なる指示画像８４をそれぞれ別領域に表示するための指示を受信情報特定部１０５から供給されると、図３の（ｄ）に示すように、操作グループ情報が「その他」である指示画像８４、操作グループ情報が「停止」である指示画像８４、操作グループ情報が「運転」である指示画像８４をそれぞれ別領域に表示させ、各領域の境界に境界線７１を表示させる。ここで、各領域の境界に境界線７１を表示させるとは、境界線７１を引くコマンドを実行することを示す。なお、コマンドはこの例に限定されず、例えば境界線７１の画像を表示させるコマンドであってもよい。なお、指示画像８４に対応する指示名称は、指示画像８４の近傍（図３の（ｄ）の例では指示画像８４の下）に配置する。指示名称の位置については、受信情報特定部１０５が決定して表示画像生成部１０４に指示してもよい。

これにより、家庭内機器３の運転を開始するための指示画像８４（特定画像）を、他の指示画像８４と区別して表示することができる。つまり、当該指示画像８４による指示によって家庭内機器３が運転を開始した後、通信エラーが所定時間（例えば２４時間）継続した場合に、運転を停止する（付加的処理を実行する）こととなる指示画像８４を、他の指示画像８４と区別して表示することができる。よって、指示画像８４が示す指示の他に、指示と異なる処理を家庭内機器３が実行する可能性のある指示画像８４を、他の指示画像８４と区別してユーザに示すことができる。

なお、操作グループ情報が「運転」である指示画像８４と、その他の指示画像８４（操作グループが「停止」または「その他」である指示画像８４）とをそれぞれ別領域に表示し、これらの領域の境界に境界線７１を表示させてもよい。これにより、家庭内機器３の運転を開始するための指示画像８４が、他の指示画像８４と異なる（指示と異なる処理を家庭内機器３が実行する可能性がある）ことをより明確にしてユーザに示すことができる。

また、家庭内機器３が運転を開始した後、通信エラーが所定時間（例えば２４時間）継続した場合に、運転を停止する（付加的処理を実行する）こととなる指示画像８４、すなわち、他の指示画像８４と区別して表示される指示画像８４には、運転のモードを変更するための指示画像８４が含まれてもよい。つまり、運転のモード変更を示す指示画像８４の指示画像ＩＤには、運転を開始するための指示画像８４と同様に、エージェントサーバ２ａの指示画像情報テーブル２４１において、「運転」という操作グループ情報が対応付けられている。なお、運転のモードとしては、「通常モード」の他に、除湿や防カビ機能などに特化した「梅雨モード」、花粉除去に特化した「花粉モード」などが挙げられる。

（画像表示処理の流れ）
次に、図６を参照して、スマートフォン１が実行する画像表示処理の流れについて説明する。図６は、スマートフォン１が実行する画像表示処理の流れの一例を示すフローチャートである。ここで、画像表示処理とは図３の（ｄ）に示す指示選択画面を表示する処理である。

まず、入力面１１はユーザのタッチ操作を待機する状態となっている（Ｓ１）。入力面１１が指示対象の機器を選択する操作を取得した場合（Ｓ１でＹＥＳ）、処理指示部１０２は、指示対象機器ＩＤを含む、指示画像情報取得要求をサーバに送信する（Ｓ２）。具体的には、入力面１１がタッチ操作を取得すると、入力信号を操作取得部１０１に出力する。操作取得部１０１は、入力信号に応じて家庭内機器リスト８３における「空清ちゃん」がタッチされたことを示す入力情報を作成し、処理指示部１０２に出力する。処理指示部１０２は、入力された入力情報に応じて「空清ちゃん」、すなわち空気清浄機３ｂを示す指示対象機器ＩＤであるＡ００１を特定し、当該指示対象機器ＩＤとともに、指示画像情報取得要求を、通信部１４および家族伝言板サーバ２ｂを介してエージェントサーバ２ａに送信する。

なお、図６には示していないが、エージェントサーバ２ａは、受信した指示画像取得要求に応じて、指示画像情報をスマートフォン１に送信する。具体的には、サーバ通信部２１から指示対象機器ＩＤおよび指示画像情報取得要求を入力された指示画像情報抽出部２２１は、指示画像情報テーブル２４１を参照して、入力された指示対象機器ＩＤに対応付けられた指示画像ＩＤ、指示名称、および操作グループ情報を指示画像情報として読み出す。そして、指示画像情報抽出部２２１は、サーバ通信部２１および家族伝言板サーバ２ｂを介して、読み出した指示画像情報をスマートフォン１に送信する。

続いて、スマートフォン１は指示画像情報の受信を待機する状態となる（Ｓ３）。通信部１４が指示画像情報を受信すると（Ｓ３でＹＥＳ）、表示制御部１０３は、指示画像をグループごとに表示するとともに、境界線を表示する（Ｓ４、表示ステップ）。

具体的には、通信部１４から指示画像情報を入力されると、受信情報特定部１０５は、当該指示画像情報に応じて表示画像生成部１０４に画像作成を指示する。さらに具体的には、受信情報特定部１０５は、指示画像情報に含まれる指示画像ＩＤおよび指示名称を抽出し、表示画像生成部１０４に供給する。また、指示画像情報に含まれる操作グループ情報を参照して、操作グループ情報が異なる指示画像８４をそれぞれ別領域に表示するよう表示画像生成部１０４に指示する。

そして表示画像生成部１０４は、受信情報特定部１０５の指示に応じて、表示面１２に表示させる画像を生成し、表示面１２に表示させる。具体的には、表示画像生成部１０４は、受信情報特定部１０５から指示画像ＩＤを供給されると、当該指示画像ＩＤと対応付けられた指示画像８４を指示画像一覧テーブル１３１から読み出す。そして、読み出した指示画像８４と当該指示画像に対応する指示名称について、受信情報特定部１０５から供給された指示に応じて表示位置を決定する。さらに具体的には、操作グループ情報が異なる指示画像８４をそれぞれ別領域に表示するための指示を受信情報特定部１０５から供給されると、図３の（ｄ）に示すように、操作グループ情報が「その他」である指示画像８４、操作グループ情報が「停止」である指示画像８４、操作グループ情報が「運転」である指示画像８４をそれぞれ別領域に表示させ、各領域の境界に境界線７１を表示させる（境界線７１を引くコマンドを実行する）。以上で画像表示処理は終了する。

（指示実行処理の流れ）
次に、図７を参照して、家庭内機器３（空気清浄機３ｂ）が実行する指示実行処理の流れについて説明する。図７は、空気清浄機３ｂが実行する指示実行処理の流れの一例を示すフローチャートである。

まず、処理実行部３２は、サーバ２（エージェントサーバ２ａ）からの指示情報を待機する状態となっている（Ｓ１１）。処理実行部３２がホームサーバ２ｃおよび機器通信部３１を介して指示情報を受信すると（Ｓ１１でＹＥＳ）、処理実行部３２は指示情報に基づいて処理を実行する（Ｓ１２）。例えば、指示情報がおまかせ運転の開始を指示するものである場合（「おまかせ運転ＯＮ」の指示画像８４に対応付けられていた指示情報である場合）、処理実行部３２は、おまかせ運転モードで空気清浄機３ｂを運転させる。

続いて、処理実行部３２は、実行した処理が運転を開始するための処理であるか否かを特定する（Ｓ１３）。具体的には、処理実行部３２は、入力された指示情報が自装置の運転を開始するための処理であるか否かを特定する。運転を開始するための処理でないと特定した場合（Ｓ１３でＮＯ）、指示実行処理は終了する。

一方、運転を開始するための処理であると特定した場合（Ｓ１３でＹＥＳ）、処理実行部３２は、通信状態監視部３３を、自装置とホームサーバ２ｃ（またはホームサーバ２ｃとエージェントサーバ２ａ）とが通信不可能となったときにタイマ３４によって時間を計測するように設定する（Ｓ１４）。

通信状態監視部３３は、通信状態を常時監視している（Ｓ１５）。ここで、通信状態監視部３３が、通信不可能となったことを検知した場合（Ｓ１５でＹＥＳ）、通信状態監視部３３は、タイマ３４による時間の計測を開始する（Ｓ１６）。そして、通信不可能な状態が続く、またはユーザによって空気清浄機３ｂ本体が操作されない限り、時間の計測を継続する（Ｓ１７）。そして、通信不可能な状態が所定時間継続した場合、または、所定の時間に達するまでに空気清浄機３ｂ本体が操作されなかった場合（Ｓ１７でＹＥＳ）、通信状態監視部３３はその旨を処理実行部３２に出力する。そして、処理実行部３２は、自装置の運転を停止する（Ｓ１８）。以上で指示実行処理は終了する。

なお、通信不可能となったことを検知しない場合（Ｓ１５でＮＯ）、および通信不可能な状態が所定時間継続しなかった場合、または、所定の時間に達するまでに空気清浄機３ｂが操作された場合（Ｓ１７でＮＯ）、指示実行処理は終了する。

〔実施形態２〕
本発明の他の実施形態について、図１、図４、および図８〜図１２に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。また、実施形態２では、実施形態１で説明した操作グループの異なる指示画像８４をそれぞれ区別して表示する処理も行うものとするが、実施形態１で説明した内容については省略する。

（本実施形態に係るスマートフォン１の機能概要）
まず、図８を参照して本実施形態に係るスマートフォン１の機能概要について説明する。図８は、本実施形態に係る指示画像８４の表示画面（指示選択画面）を示す模式図である。本実施形態のスマートフォン１は、家族伝言板を運営するＳＮＳにログインするときにユーザが使用するユーザＩＤと、ユーザが使用するスマートフォン１を識別するための端末ＩＤ（制御装置識別情報）と、家庭内機器３を識別する機器ＩＤ（被制御装置識別情報）とが対応付けられてエージェントサーバ２ａに記憶されているか否かに応じて、指示画像８４の表示の仕方および当該指示画像８４がタッチ操作された場合の処理を変更する。なお以下では、ユーザＩＤ、端末ＩＤ、および機器ＩＤが対応付けられてエージェントサーバ２ａに記憶されていることを「ペアリングしている」と称する。また以降、ペアリングを「ともだち家電登録」と称する場合もある。

具体的には、ペアリングしていないスマートフォン１の場合、家庭内機器３の運転の開始および停止を指示するための指示画像８４（家庭内機器３を遠隔操作するための指示画像８４）を他の指示画像と区別して表示する。さらに具体的には、図８の（ａ）に示すように、運転の開始および停止を指示するための指示画像８４をグレースケールで表示する（以下、グレースケールで表示された指示画像を指示画像８４ｂと称する）。

そして、グレースケールで表示された指示画像８４ｂに対するタッチ操作を取得した場合、スマートフォン１は、指示画像８４ｂを家族伝言板に投稿するための画面を表示しない。具体的には、図８の（ｂ）および（ｃ）に示すように、家庭内機器３への指示を行なえないことを報知する報知画像９１または報知画像９２を表示する。なお、報知画像９１が表示される場合と報知画像９２が表示される場合との違いについては後述する。

これにより、操作されても家庭内機器３への指示を行なわず、報知画像を表示する指示画像８４（特定画像）を、他の指示画像８４と区別して表示するので、ユーザの操作に対して通常と異なる処理が実行されることをユーザに事前に示すことができる。

また、ペアリングしていないスマートフォン１、すなわち、不特定のユーザが使用するスマートフォン１からは運転状態を変更するような指示を家庭内機器３に送信する（家庭内機器３を遠隔操作する）ことはできない。よって、特定のユーザが使用するスマートフォン１からのみ家庭内機器３を遠隔操作できるようになるため、家庭内機器３を安全に遠隔操作することができる。

（ログイン処理について）
次に、家族伝言板を運営するＳＮＳへのログイン処理について詳細に説明する。なお、以下に示すログイン処理は一例であり、ログイン処理はこの例に限定されるものではない。スマートフォン１は、ユーザのタッチ操作によって取得したユーザＩＤおよびパスワードを家族伝言板サーバ２ｂに供給する。家族伝言板サーバ２ｂには、ユーザＩＤ、パスワード、および端末ＩＤが対応付けて予め記憶されており（不図示）、家族伝言板サーバ２ｂは、受信したユーザＩＤおよびパスワードの組み合わせが記憶されているか否かを特定する。そして、記憶されている場合はログイン後の画面をスマートフォン１に送信する。一方、記憶されていない場合はその旨を通知する画面をスマートフォン１に送信する。

また、家族伝言板サーバ２ｂは、受信したユーザＩＤおよびパスワードの組み合わせが記憶されている場合、当該ユーザＩＤ、および当該ユーザＩＤと対応付けられている端末ＩＤをエージェントサーバ２ａに送信する。エージェントサーバ２ａは、受信したユーザＩＤおよび端末ＩＤをサーバ記憶部２４に一時的に記憶する（不図示）。なお、エージェントサーバ２ａは、ユーザがログアウトした旨の情報を家族伝言板サーバ２ｂから受信すると、ユーザＩＤおよび端末ＩＤを削除する。

（ペアリング処理について）
次に、図９を参照して、ペアリングの詳細について説明する。図９は、ペアリング（ともだち家電登録）を行うためのペアリング処理の流れを示す遷移図である。なお、ここで示すペアリング処理は一例であり、ペアリング処理はこの例に限定されるものではない。

ユーザは家族伝言板にログインした後、タッチ操作によってスマートフォン１の表示面１２に、図９の（ａ）に示す「ともだち家電リスト」の画面を表示する。そして、スマートフォン１は、「新しく登録する」のボタンに対するタッチ操作を受け付けて、図９の（ｂ）に示す確認画面を表示する。

続いて、スマートフォン１は、確認画面における「次へ」のボタンに対するタッチ操作を受け付けて、図９の（ｃ）に示す家庭内機器３の選択画面を表示する。図９の（ｃ）には空気清浄機３ｂを示すボタンのみが表示されているが、家庭内機器３を示すボタンが複数表示されていてもよい。つまり、他の家庭内機器３（例えば空調装置３ｃ）を示すボタンが表示されていてもよい。

続いて、スマートフォン１は、選択画面における家庭内機器３を示すボタン（図９の例では空気清浄機３ｂを示すボタン）に対するタッチ操作を受け付けて、図９の（ｄ）に示す家庭内機器３の情報登録画面を表示する。ここでユーザは、当該情報登録画面におけるタッチ操作により、家庭内機器３の名前、家庭内機器３を設置している場所（家）の郵便番号、および家のどこに家庭内機器３を設置しているかを示す設置場所を入力する。なお、当該情報登録画面における入力内容は図９の（ｄ）の例に限定されない。

続いて、スマートフォン１は、情報登録画面における「次へ」のボタンに対するタッチ操作を受け付けて、図９の（ｅ）に示すペアリング指示画面を表示する。ユーザは、当該ペアリング指示画面に表示されている指示に従って、家庭内機器３（または家庭内機器３に接続された着脱可能なネットワークアダプタ）に設けられたリンクボタン（不図示）を押下し、家庭内機器３（またはネットワークアダプタ）に設けられたリンクランプが点滅したことを確認する。これにより、家庭内機器３は、スマートフォン１からの機器ＩＤ取得要求を待機する状態となる。そしてユーザは、スマートフォン１において、ペアリング指示画面における「リンク」のボタンをタッチする。これにより、スマートフォン１は家庭内機器３に対して機器ＩＤ取得要求を送信する。家庭内機器３は、機器ＩＤ取得要求を受信すると、自装置の機器ＩＤをスマートフォン１に送信する。なお、機器ＩＤ取得要求および機器ＩＤの送受信は、Bluetooth（登録商標）などの近距離無線通信を用いて行うことが好ましいが、これに限定されるものではない。

スマートフォン１は、受信した機器ＩＤに自装置の端末ＩＤを対応付けてエージェントサーバ２ａに送信する。エージェントサーバ２ａは、受信した端末ＩＤを用いて、ログイン処理時にサーバ記憶部２４に記憶した端末ＩＤおよび当該端末ＩＤに対応付けられているユーザＩＤを読み出す。そして、受信した機器ＩＤ、並びに読み出した端末ＩＤおよびユーザＩＤを対応付けて、後述するペアリング情報テーブル２４２に、新たなレコードとして記憶する。そして、記憶した旨を示す情報を、端末ＩＤが示すスマートフォン１に送信する。

スマートフォン１は、新たなレコードがペアリング情報テーブル２４２に記憶された旨を示す情報を受信すると、図９の（ｆ）に示す画面を表示する。以上でペアリング処理は終了する。

（構成の詳細）
次に、図１および図４を用いて、本実施形態に係るスマートフォン１およびエージェントサーバ２ａの構成の詳細について説明する。なお、空気清浄機３ｂを含む家庭内機器３の構成は、実施形態１で説明したものと同様であるため、ここでの説明を省略する。またここでは、スマートフォン１およびエージェントサーバ２ａの各部材のうち、実施形態１と異なる、または実施形態１にて詳細に説明していない部材についてのみ説明する。

（ペアリング情報テーブル）
まず、図４の（ｂ）を参照して、ペアリング情報テーブル２４２について説明する。図４の（ｂ）は、ペアリング情報テーブル２４２のデータ構造および具体例を示す図である。なお図４の（ｂ）に示すペアリング情報テーブル２４２は一例であり、データ構造およびペアリング情報テーブル２４２に含まれる情報はこの例に限定されるものではない。

ペアリング情報テーブル２４２は、上述したユーザＩＤ、端末ＩＤ、および機器ＩＤを対応付けて記憶するものである。「ユーザＩＤ」、「端末ＩＤ」、および「機器ＩＤ」のカラムには、上述したユーザＩＤ、端末ＩＤ、機器ＩＤがそれぞれ登録されている。

（ペアリング情報抽出部）
次に、ペアリング情報抽出部２２２について説明する。ペアリング情報抽出部２２２は、サーバ通信部２１から指示画像情報取得要求、指示対象機器ＩＤ、および端末ＩＤを入力されると、入力された端末ＩＤを参照して、ユーザが家族伝言板を運営するＳＮＳにログインするときに用いたユーザＩＤをサーバ記憶部４１から読み出す。

続いて、ペアリング情報抽出部２２２は、読み出したユーザＩＤがペアリング情報テーブル２４２に記憶されているか否かを判定する。記憶されていないと判定した場合、ペアリング情報抽出部２２２はその旨を示す情報（ユーザＩＤ未検出情報）をスマートフォン１に送信する。

ここで、ログインするときに用いたユーザＩＤが記憶されていない場合について、具体的に説明する。家族伝言板を運営するＳＮＳへは、ユーザＩＤ以外に他のＳＮＳ（twitter（登録商標）など）へログインするためのＩＤによってもログイン可能である。つまり、ログインするときに用いたユーザＩＤが記憶されていない場合とは、家族伝言板を運営するＳＮＳとは異なるＳＮＳにログインするためのＩＤおよびパスワードによって、家族伝言板を運営するＳＮＳにログインした場合である。

一方、記憶されていると判定した場合、ペアリング情報抽出部２２２は、当該ユーザＩＤと、入力された端末ＩＤおよび指示対象機器ＩＤが対応付けられたレコードがペアリング情報テーブル２４２にあるか否かを判定する。無いと判定した場合、ペアリング情報抽出部２２２はその旨を示す情報（ペアリング未検出情報）をスマートフォン１に送信する。これに対して、対応付けられたレコードがあると判定した場合、ペアリング情報抽出部２２２はその旨を示す情報（ペアリング検出情報）をスマートフォン１に送信する。

（指示画像情報抽出部）
続いて、指示画像情報抽出部２２１について説明する。指示画像情報抽出部２２１は、実施形態１にて説明した指示画像情報抽出部２２１と異なり、指示画像情報として、指示画像ＩＤ、指示名称、指示制限情報、および操作グループ情報を読み出し、サーバ通信部２１に出力する。

ここで、指示画像情報テーブル２４１に登録されている、指示制限情報について、図４の（ａ）を参照して説明する。「指示制限情報」のカラムには、指示画像ＩＤが示す指示画像８４に対するタッチ操作を受け付けて、当該指示画像８４を投稿可能（すなわち、家庭内機器３に対する指示可能）である端末を示す情報である指示制限情報が登録される。「全端末実行可能」という指示制限情報は、当該指示制限情報に対応付けられた指示画像ＩＤが示す指示画像８４を、どのスマートフォン１からでも投稿可能であることを示している。一方、「ペアリングしている端末のみ実行可能」という指示制限情報は、指示対象の家庭内機器３とペアリングしているスマートフォン１のみで、当該指示制限情報に対応付けられた指示画像ＩＤが示す指示画像８４を投稿可能であることを示している。なお、上述した指示制限情報は一例であり、指示制限情報は上述した２つに限定されない。また、「指示制限情報」のカラムに登録される指示制限情報は図４の（ａ）に示すような文字列に限定されない。つまり、各指示制限情報を識別できるものであればよく、例えば数字であってもよい。

（表示制御部）
続いて、表示制御部１０３（表示画像生成部１０４および受信情報特定部１０５）について説明する。受信情報特定部１０５は、実施形態１にて説明した機能に加え、ペアリング情報抽出部２２２による判定結果として、いずれの情報を受信したかを特定する。ここで、ペアリング検出情報を受信した場合は、受信した指示画像ＩＤが示す指示画像８４を記憶部１３に記憶されている色のまま表示するよう表示画像生成部１０４に指示する。

一方、ユーザＩＤ未検出情報またはペアリング未検出情報を受信した場合は、指示画像情報に含まれる指示画像ＩＤおよび指示制限情報を参照して、指示画像情報に含まれる指示画像ＩＤおよび指示制限情報を参照して、指示制限情報として「全端末実行可能」という情報が対応付けられている指示画像ＩＤをまず特定し、特定した指示画像ＩＤが示す指示画像８４を記憶部１３に記憶されている色のまま表示するよう表示画像生成部１０４に指示する。続いて、指示制限情報として「ペアリングしている端末のみ実行可能」という情報が対応付けられている指示画像ＩＤを特定し、特定した指示画像ＩＤが示す指示画像８４をグレースケールで表示するよう表示画像生成部１０４に指示する。

表示画像生成部１０４は、実施形態１にて説明した機能に加え、特定した指示画像ＩＤが示す指示画像８４を記憶部１３に記憶されている色のまま表示するという指示に従って、当該指示において特定された指示画像ＩＤに対応付けられた指示画像８４を指示画像一覧テーブル１３１から読み出し、色を変更することなく表示面１２に表示させる。また、特定した指示画像ＩＤが示す指示画像８４をグレースケールで表示するという指示に従って、当該指示において特定された指示画像ＩＤに対応付けられた指示画像８４をグレースケールで表示面１２に表示させる（指示画像８４ｂを表示させる）。

また、表示画像生成部１０４は、処理指示部１０２から選択された指示画像８４を家族伝言板に投稿するための画面を表示するよう指示されると、当該指示画像８４がグレースケールで表示させた指示画像８４ｂであるか否かを特定する。そして、グレースケールで表示させた指示画像８４ｂであった場合、受信情報特定部１０５から、ペアリング情報抽出部２２２による判定結果を取得する。当該判定結果がペアリング未検出情報である場合は、図８の（ｂ）に示す報知画像９１を記憶部１３から読み出し、表示面１２に表示させる。一方、判定結果がユーザＩＤ未検出情報である場合は、図８の（ｃ）に示す報知画像９２を記憶部１３から読み出し、表示面１２に表示させる。なお、報知画像９１および報知画像９２は、画像データ１３２として記憶部１３に記憶されている。

（画像表示処理の流れ）
次に、図１０を参照して、スマートフォン１が実行する画像表示処理の流れについて説明する。図１０は、スマートフォン１が実行する画像表示処理の流れの一例を示すフローチャートである。ここで、本実施形態の画像表示処理とは、図３の（ｄ）に示す画面と、図８の（ａ）に示す画面とのいずれかを表示する処理である。

まず、入力面１１はユーザのタッチ操作を待機する状態となっている（Ｓ２１）。入力面１１が指示対象の機器を選択する操作を取得した場合（Ｓ２１でＹＥＳ）、処理指示部１０２は、指示対象機器ＩＤおよび端末ＩＤを含む、指示画像情報取得要求をサーバに送信する（Ｓ２２）。具体的には、入力面１１がタッチ操作を取得すると、入力信号を操作取得部１０１に出力する。操作取得部１０１は、入力信号に応じて家庭内機器リスト８３における「空清ちゃん」がタッチされたことを示す入力情報を作成し、処理指示部１０２に出力する。処理指示部１０２は、入力された入力情報に応じて「空清ちゃん」、すなわち空気清浄機３ｂを示す指示対象機器ＩＤであるＡ００１を特定する。さらに、処理指示部１０２は、自装置の端末ＩＤ（この例ではＳ００１として説明する）を特定する。なお、自装置の端末ＩＤは記憶部１３に記憶されている（不図示）。そして、特定した指示対象機器ＩＤおよび端末ＩＤとともに、指示画像情報取得要求を、通信部１４および家族伝言板サーバ２ｂを介してエージェントサーバ２ａに送信する。

なお、指示画像情報取得要求などを受信したエージェントサーバ２ａの処理については後述するが、エージェントサーバ２ａは、指示画像情報およびペアリング情報抽出部２２２による判定結果をスマートフォン１に送信する。

続いて、スマートフォン１は指示画像情報およびペアリング情報抽出部２２２による判定結果の受信を待機する状態となる（Ｓ２３）。通信部１４が指示画像情報およびペアリング情報抽出部２２２による判定結果を受信し（Ｓ２３でＹＥＳ）、受信情報特定部１０５に出力すると、受信情報特定部１０５は、上記判定結果がペアリングしていることを示しているか否かを特定する（Ｓ２４）。具体的には、受信情報特定部１０５は、上記判定結果としてペアリング検出情報を受信したか否かを特定する。ペアリング検出情報を受信したと特定した場合（Ｓ２４でＹＥＳ）、表示画像生成部１０４は、全ての指示画像８４を通常画像として表示面１２に表示させる（Ｓ２５）。具体的には、受信情報特定部１０５は、受信した指示画像ＩＤが示す指示画像８４を、記憶部１３に記憶されている色のまま表示するよう表示画像生成部１０４に指示する。そして、表示画像生成部１０４は、指示画像ＩＤに対応付けられた指示画像８４を指示画像一覧テーブル１３１から読み出し、色を変更することなく表示面１２に表示させる。

これに対して、ペアリング検出情報を受信していないと特定した場合（Ｓ２４でＮＯ）、表示画像生成部１０４は、指示制限情報が「全端末実行可能」である指示画像を通常画像として表示し、指示制限情報が「ペアリングしている端末のみ実行可能」である指示画像を指示不可画像として表示面１２に表示させる（Ｓ２６）。具体的には、受信情報特定部１０５は、指示画像情報に含まれる指示画像ＩＤおよび指示制限情報を参照して、指示制限情報として「全端末実行可能」という情報が対応付けられている指示画像ＩＤをまず特定し、特定した指示画像ＩＤが示す指示画像８４を記憶部１３に記憶されている色のまま表示するよう表示画像生成部１０４に指示する。続いて、指示制限情報として「ペアリングしている端末のみ実行可能」という情報が対応付けられている指示画像ＩＤを特定し、特定した指示画像ＩＤが示す指示画像８４をグレースケールで表示するよう表示画像生成部１０４に指示する。そして、表示画像生成部１０４は、特定した指示画像ＩＤが示す指示画像８４を記憶部１３に記憶されている色のまま表示するという指示に従って、当該指示において特定された指示画像ＩＤに対応付けられた指示画像８４を指示画像一覧テーブル１３１から読み出し、色を変更することなく表示面１２に表示させる。また、特定した指示画像ＩＤが示す指示画像８４をグレースケールで表示するという指示に従って、当該指示において特定された指示画像ＩＤに対応付けられた指示画像８４をグレースケールで表示面１２に表示させる（指示画像８４ｂを表示させる）。以上で画像表示処理は終了する。

（情報供給処理の流れ）
続いて、図１１を参照して、エージェントサーバ２ａが実行する情報供給処理の流れについて説明する。図１１は、エージェントサーバ２ａが実行する情報供給処理の流れの一例を示すフローチャートである。

まず、抽出部２２は、スマートフォン１からの指示対象機器ＩＤおよび端末ＩＤを含む、指示画像情報取得要求を待機する状態となっている（Ｓ４１）。抽出部２２がサーバ通信部２１を介して指示対象機器ＩＤ、端末ＩＤ、および指示画像情報取得要求を受信すると（Ｓ４１でＹＥＳ）、ペアリング情報抽出部２２２は、予め受信しているユーザＩＤがペアリング情報テーブルに登録されているか否かを判定する（Ｓ４２）。具体的には、受信した端末ＩＤを参照して、ユーザが家族伝言板にログインするときに用いたユーザＩＤをサーバ記憶部４１から読み出す。当該ユーザＩＤは上述したように、ユーザが家族伝言板を運営するＳＮＳにログインしたときに、家族伝言板サーバ２ｂから端末ＩＤと対応付けられて送信されたものであり、サーバ記憶部４１に一時的に記憶しているものである。そして、ペアリング情報抽出部２２２は、読み出したユーザＩＤがペアリング情報テーブル２４２に記憶されているか否かを判定する。

記憶されていないと判定した場合（Ｓ４２でＮＯ）、抽出部２２は、指示画像情報とともに、ユーザＩＤが登録されていないことを示す判定結果をスマートフォン１に送信する（Ｓ４６）。具体的には、ペアリング情報抽出部２２２は、ユーザＩＤが登録されていないことを示すユーザＩＤ未検出情報を生成する。また、指示画像情報抽出部２２１は、指示画像情報テーブル２４１から、受信した指示対象機器ＩＤに対応付けられた指示画像ＩＤ、指示名称、指示制限情報、および操作グループ情報を指示画像情報として読み出す。そして、抽出部２２は、サーバ通信部２１および家族伝言板サーバ２ｂを介して、指示画像情報およびユーザＩＤ未検出情報をスマートフォン１に送信する。以上で情報供給処理は終了する。

これに対して、読み出したユーザＩＤがペアリング情報テーブル２４２に記憶されていると判定した場合（Ｓ４２でＹＥＳ）、ペアリング情報抽出部２２２はさらに、当該ユーザＩＤに受信した指示対象機器ＩＤおよび端末ＩＤが対応付けられているか否かを判定する（Ｓ４３）。具体的には、読み出したユーザＩＤと、受信した指示対象機器ＩＤおよび端末ＩＤが対応付けられたレコードがペアリング情報テーブル２４２にあるか否かを判定する。

無いと判定した場合（Ｓ４３でＮＯ）、抽出部２２は、指示画像情報とともに、ペアリングしていないことを示す判定結果をスマートフォン１に送信する（Ｓ４５）。具体的には、ペアリング情報抽出部２２２は、ペアリングしていないことを示すペアリング未検出情報を生成する。また、指示画像情報抽出部２２１は、指示画像情報テーブル２４１から、受信した指示対象機器ＩＤに対応付けられた指示画像ＩＤ、指示名称、指示制限情報、および操作グループ情報を指示画像情報として読み出す。そして、抽出部２２は、サーバ通信部２１および家族伝言板サーバ２ｂを介して、指示画像情報およびペアリング未検出情報をスマートフォン１に送信する。以上で情報供給処理は終了する。

これに対して、読み出したユーザＩＤと、受信した指示対象機器ＩＤおよび端末ＩＤが対応付けられたレコードがペアリング情報テーブル２４２にあると判定した場合（Ｓ４３でＹＥＳ）、抽出部２２は、指示画像情報とともに、ペアリングしていることを示す判定結果をスマートフォン１に送信する。具体的には、ペアリング情報抽出部２２２は、ペアリングしていることを示すペアリング検出情報を生成する。また、指示画像情報抽出部２２１は、指示画像情報テーブル２４１から、受信した指示対象機器ＩＤに対応付けられた指示画像ＩＤ、指示名称、指示制限情報、および操作グループ情報を指示画像情報として読み出す。そして、抽出部２２は、サーバ通信部２１および家族伝言板サーバ２ｂを介して、指示画像情報およびペアリング検出情報をスマートフォン１に送信する。以上で情報供給処理は終了する。

（指示処理の流れ）
続いて、図１２を参照して、スマートフォン１が実行する指示処理の流れについて説明する。図１２は、スマートフォン１が実行する指示処理の流れの一例を示すフローチャートである。ここで図１２に示す指示処理とは、図３の（ｄ）から図３の（ｆ）までの処理を示すものである。

まず、入力面１１は指示画像８４に対する操作を待機する状態となっている（Ｓ３１）。入力面１１が指示画像８４に対する操作（タッチ操作）を取得した場合（Ｓ３１でＹＥＳ）、表示画像生成部１０４は、タッチ操作された指示画像は指示不可画像であるか否かを特定する（Ｓ３２）。具体的には、入力面１１がタッチ操作を取得すると、入力信号を操作取得部１０１に出力する。操作取得部１０１は、入力信号に応じて指示画像８４のいずれかがタッチされたことを示す入力情報を作成し、処理指示部１０２に出力する。処理指示部１０２は、入力された入力情報に応じて、選択された指示画像８４を家族伝言板に投稿するための画面を表示するよう、表示画像生成部１０４に指示する。続いて表示画像生成部１０４は、当該指示画像８４がグレースケールで表示させた指示画像８４ｂであるか否かを特定する。

指示画像８４が指示画像８４ｂでないと特定した場合（Ｓ３２でＮＯ）、処理指示部１０２はタッチ操作された指示画像８４の指示画像ＩＤをサーバ２（家族伝言板サーバ２ｂ）に送信する（Ｓ３６）。具体的には、指示画像８４が指示画像８４ｂでないと特定すると、表示制御部１０３は、選択された指示画像８４を家族伝言板に投稿するための画面（図３の（ｅ）に示す画面）を表示面１２に表示させる。そして、処理指示部１０２は、登録ボタン８５がタッチされたことを示す入力情報を入力されると、表示制御部１０３を介して、選択された指示画像８４の指示画像ＩＤを指示画像一覧テーブル１３１から取得し、メッセージとともに通信部１４を介して家族伝言板サーバ２ｂに送信する。

家族伝言板サーバ２ｂは、指示画像ＩＤおよびメッセージを受信すると、受信した指示画像ＩＤが示す指示画像８４、およびメッセージを書き込みとしてタイムラインに反映させた画像を作成して、スマートフォン１に送信する。また、家族伝言板サーバ２ｂは、受信した指示画像ＩＤをエージェントサーバ２ａに送信する。エージェントサーバ２ａは、受信した指示画像ＩＤに対応付けられている指示情報をホームサーバ２ｃに送信し、家庭内機器３に指示情報に応じた処理を実行させる。家庭内機器３における処理（指示実行処理）については、実施形態１にて既に説明しているため、ここでの説明を省略する。

これに対して、指示画像８４が指示画像８４ｂであると特定した場合（Ｓ３２でＹＥＳ）、表示画像生成部１０４は、ログイン時に使用したＩＤがペアリング情報テーブル２４２にあるという判定結果を受信しているか否かを判定する（Ｓ３３）。具体的には、表示画像生成部１０４は、受信情報特定部１０５から、ペアリング情報抽出部２２２による判定結果を取得する。当該判定結果がログイン時に使用したＩＤがペアリング情報テーブル２４２にある（ログイン時に使用したＩＤがペアリング情報テーブル２４２に登録されたユーザＩＤと一致するが、当該ユーザＩＤと、スマートフォン１が送信した端末ＩＤおよび指示対象機器ＩＤの少なくともいずれかと、が対応付けられていない）ことを示している、すなわちペアリング未検出情報であると特定した場合（Ｓ３３でＹＥＳ）、表示画像生成部１０４は、ペアリングを促す報知画像９１を表示面１２に表示させる（Ｓ３４）。具体的には、表示画像生成部１０４は、図８の（ｂ）に示す報知画像９１記憶部１３から読み出し、表示面１２に表示させる。以上で指示処理は終了する。

一方、当該判定結果がログイン時に使用したＩＤがペアリング情報テーブル２４２にない（ログイン時に使用したＩＤがペアリング情報テーブル２４２に登録されたユーザＩＤと一致しない）ことを示している、すなわちユーザＩＤ未検出情報であると特定した場合（Ｓ３４でＮＯ）、表示画像生成部１０４は、ユーザＩＤでのログインを促す報知画像９２を表示面１２に表示させる（Ｓ３５）。具体的には、表示画像生成部１０４は、図８の（ｃ）に示す報知画像９２を記憶部１３から読み出し、表示面１２に表示させる。以上で指示処理は終了する。

〔実施形態３〕
本発明のさらに別の実施形態について、図３および図１３に基づいて説明すれば以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

図１３は、本実施形態に係るスマートフォン１が表示する確認画像７３を示す模式図である。本実施形態に係るスマートフォン１は、図３の（ｅ）に示す、選択された指示画像８４を家族伝言板に投稿するための画面において、登録ボタン８５に対するタッチ操作を取得した場合、図１３に示す確認画像７３をポップアップ表示する。

具体的には、入力面１１がタッチ操作を取得すると、入力信号を操作取得部１０１に出力する。操作取得部１０１は、入力信号に応じて登録ボタン８５がタッチされたことを示す入力情報を作成し、処理指示部１０２に出力する。

本実施形態の処理指示部１０２は、実施形態１および２の処理指示部１０２と異なり、登録ボタン８５がタッチされたことを示す入力情報を入力されると、当該投稿が指示画像８４を投稿するものであるか否かを特定する。具体的には、家族伝言板サーバ２ｂに送信するデータに、指示画像ＩＤが含まれているか否かを判定する。そして、指示画像ＩＤが含まれている場合、確認画像７３をポップアップ表示するよう表示制御部１０３に指示する。一方、指示画像ＩＤが含まれていない場合、処理指示部１０２は、確認画像７３をポップアップ表示するよう表示制御部１０３に指示することなく、入力された情報（メッセージや、写真などの指示画像８４以外の各種画像）を家族伝言板サーバ２ｂに送信する。

以上により、本実施形態に係るスマートフォン１は、指示画像８４を投稿する（家庭内機器３に処理の実行を指示する）場合、投稿する前に確認画像７３を表示する。これにより、家庭内機器３への処理の実行指示が正しいものであるかをユーザに再度確認させることができる。よって、誤った指示画像８４が選択されているなどの、指示画像８４に対する誤操作の可能性を低減させることができる。なお、実施形態３の構成は実施形態１および２に適用することも可能である。

なお、確認画像７３は、特定の操作グループ情報と対応付けられた指示画像ＩＤが示す指示画像８４がタッチされた場合のみ表示されてもよい。例えば、操作グループ情報が「運転」である指示画像８４がタッチされたことを示す入力情報が入力されていた場合のみ表示されてもよい。具体的には、処理指示部１０２は、指示画像８４がタッチされたことを示す入力情報を入力されると、表示制御部１０３からタッチされた指示画像８４の操作グループ情報を取得しておく。そして、登録ボタン８５がタッチされたことを示す入力情報を入力されると、取得していたグループ情報を確認し、当該グループ情報が「運転」である場合は、確認画像７３をポップアップ表示するよう表示制御部１０３に指示する。

さらに、操作グループ情報が「運転」である指示画像８４がタッチされたことを示す入力情報が入力されていた場合のみ確認画像７３を表示する場合、操作グループ情報が「運転」である指示画像８４と、その他の指示画像８４（操作グループが「停止」または「その他」である指示画像８４）とをそれぞれ別領域に表示し、これらの領域の境界に境界線７１を表示させてもよい。

これにより、登録ボタン８５がタッチ操作されたときに、通常の処理（選択された指示画像ＩＤを家族伝言板サーバ２ｂに送信する処理）と異なる、確認画像７３を表示する処理が実行される指示画像８４（特定画像）を、他の指示画像と区別することができる。これにより、家庭内機器３の運転を開始するための指示画像８４が、他の指示画像８４と異なる（登録ボタン８５がタッチ操作されたときに、確認画像７３を表示する）ことをユーザに示すことができる。

〔変形例１〕
次に、図１４〜図１６を参照して、実施形態１の変形例について説明する。図１４〜図１６は実施形態１の変形例に係る指示選択画面を示す模式図である。

指示選択画面は、図１４の（ａ）〜（ｃ）に示すように、操作グループ情報が異なる指示画像８４をそれぞれ別のタブに含まれる画像として表示してもよい。具体的には、受信情報特定部１０５は、指示画像情報に含まれる指示画像ＩＤおよび操作グループ情報を参照して、操作グループ情報が異なる指示画像ＩＤが示す指示画像８４をそれぞれ別のタブで表示するよう表示画像生成部１０４に指示する。なお、「操作グループ情報が異なる指示画像８４をそれぞれ別のタブに含まれる画像として表示する」とは、操作グループ情報が異なる指示画像８４をそれぞれ異なる選択画面（図１４の（ａ）〜（ｃ））において表示することを示す。

なお、図１４に示す変形例において、指示画像情報テーブル２４１の「操作グループ情報」のカラムに登録される情報が当該操作グループを示す文字列以外（例えば数字など）である場合は、指示画像情報テーブル２４１に「操作グループ名」のカラムが追加される。「操作グループ名」のカラムには指示画像８４のカテゴリを示す文字列が登録される。受信情報特定部１０５は、「操作グループ名」のカラムに登録された文字列についても指示画像情報として取得し、取得した文字列をタブ名とするタブを生成し、生成したタブ名と同じ文字列が対応付けられた指示画像ＩＤが示す指示画像８４を、当該タブ内に表示するよう表示画像生成部１０４に指示する。

また、指示選択画面は、図１５に示すように、各領域が色分けされていてもよい。つまり、表示画像生成部１０４は、境界線７１を表示面１２に表示させる代わりに、操作グループ情報に応じた各領域をそれぞれ別の色で表示面１２に表示させる。各領域の色は受信情報特定部１０５または表示画像生成部１０４が決定してもよいし、指示画像情報テーブル２４１に「背景色」のカラムを追加し、当該「背景色」に登録された色を示す情報を指示画像情報として受信情報特定部１０５が取得してもよい。

また、家庭内機器３の運転開始を示す指示画像８４が表示された領域またはタブを表示した画面（すなわち、操作グループ情報が「運転」である指示画像８４が表示された領域またはタブを表示した画面）に、運転を開始した後に通信エラーが所定時間（例えば２４時間）継続したときに運転を自動的に停止する旨を報知する注意画像７４を表示してもよい。この変形例について、操作グループ情報が異なる指示画像８４をそれぞれ別タブで表示する変形例を例に挙げて説明する。図１６の（ａ）および（ｂ）に示すように、タブ名が「その他」または「停止」であるタブおよび当該タブに含まれる指示画像８４を表示している場合は、注意画像７４は表示しない。一方、図１６の（ｃ）に示すように、タブ名が「運転」であるタブおよび当該タブに含まれる指示画像８４を表示している場合は、表示面１２に注意画像７４を表示する。なお、注意画像７４を表示する位置は、図１６の（ｃ）に限定されない。

これにより家庭内機器３の運転開始を示す指示画像８４を選択した場合、当該指示画像８４に応じて運転を開始した後に通信エラーが所定時間（例えば２４時間）継続したときには運転を自動的に停止することをユーザに報知することができる。よってユーザは、通信エラーによって遠隔操作が行えない状態が所定時間続いたときは、家庭内機器３が自動的に停止するということを指示画像８４の選択前に知ることができる。

〔変形例２〕
次に、図１７〜図１９を参照して、実施形態２の変形例について説明する。図１７〜図１９は、実施形態２の変形例に係る報知画像の表示を示す模式図である。

指示画像８４ｂがタッチ操作されたときに表示される報知画像は、指示画像８４ｂを投稿可能（家庭内機器３への指示可能）な指示画像８４とするための方法を報知するのみの画像（報知画像９１および報知画像９２）に限定されない。

例えば、図１７に示すように、ペアリング処理（ともだち家電登録）を開始するか否かを確認する報知画像９３（指示可能設定画像）であってもよい。処理指示部１０２は、報知画像９３の「はい」ボタンがタッチされたことを示す入力情報を入力されると、図９の（ｂ）に示す画面を表示するよう表示制御部１０３に指示する。これにより、スマートフォン１のユーザは、ペアリング処理を開始するための画面（図９の（ａ）に示す画面）を表示する操作を実行することなく、ペアリング処理を開始することができる。

また、図１８に示すように、ペアリングされているスマートフォン１に対して、選択された指示画像８４ｂによる家庭内機器３への指示を例外的に認めるよう依頼するか否かを確認する報知画像９４（指示可能設定画像）であってもよい。図１８の（ａ）は、お母さんのスマートフォン１ｂにおける表示面１２ｂを示す模式図である。この例において、お母さんはスマートフォン１ｂと空気清浄機３ｂとによるペアリングを行っていないものとする。スマートフォン１ｂの処理指示部１０２は、報知画像９４の「はい」ボタンがタッチされたことを示す入力情報を入力されると、通信部１４を介して、選択された指示画像８４ｂによる家庭内機器３への指示を例外的に認めるよう依頼するための依頼情報を、ペアリングしているユーザ（この例ではお父さん）のスマートフォン１（スマートフォン１ａ）に送信する。依頼情報には、スマートフォン１ｂの端末ＩＤ、スマートフォン１ｂの名前を示す文字列（この例では「お母さんのスマホ」）、指示対象機器ＩＤ、選択した指示画像８４の指示画像ＩＤ、および選択した指示画像８４の指示名称が含まれる。スマートフォン１ａの表示画像生成部１０４は、受信した依頼情報に応じて依頼画像９５を生成し、図１８の（ｂ）に示すように表示面１２ａに表示させる。

ここで、依頼画像９５の「はい」ボタンがタッチされたことを示す入力情報を入力されると、スマートフォン１ａの処理指示部１０２は、スマートフォン１ｂの機器ＩＤおよび選択した指示画像８４の指示画像ＩＤとともに、依頼情報を送信したスマートフォン１（スマートフォン１ｂ）において、選択された指示画像８４に対する指示制限を例外的に解除するための指示をエージェントサーバ２ａに送信する。

ここで、エージェントサーバ２ａのサーバ記憶部２４に記憶されている指示画像情報テーブル２４１には、実施形態１および２で説明した各カラムに加え、「例外端末ＩＤ」というカラムが新たに追加されている。

エージェントサーバ２ａの指示画像情報抽出部２２１は、上記指示、機器ＩＤ、および指示画像ＩＤを受信すると、受信した指示画像ＩＤを指示画像情報テーブル２４１から検出する。そして、指示画像ＩＤと同レコードの「例外端末ＩＤ」のセルに受信した端末ＩＤを登録する。そして、例外端末ＩＤを含む指示画像情報を読み出し、スマートフォン１ｂに送信する。

受信情報特定部１０５は、例外端末ＩＤとして、スマートフォン１ｂの端末ＩＤが対応付けられた指示画像ＩＤが示す指示画像８４は、例外的に色を変更することなく表示面１２に表示させる。

さらに、図１９に示すように、ペアリングされているスマートフォン１のユーザが家族伝言板を運営するＳＮＳにログインするために使用するユーザＩＤとパスワードを入力するための報知画像９６（指示可能設定画像）であってもよい。ペアリングされているスマートフォン１のユーザのユーザＩＤとパスワードが入力された状態で、報知画像９６の「ＯＫ」ボタンがタッチされたことを示す入力情報を入力されると、処理指示部１０２は、入力されたユーザＩＤおよびパスワード、並びに選択した指示画像８４ｂの指示画像ＩＤ、指示対象機器ＩＤを家族伝言板サーバ２ｂに送信する。

家族伝言板サーバ２ｂは、当該ユーザＩＤおよびパスワードが対応付けられた端末ＩＤを特定し、特定した端末ＩＤおよび受信したユーザＩＤ、指示画像ＩＤ、指示対象機器ＩＤをエージェントサーバ２ａに送信する。エージェントサーバ２ａのペアリング情報抽出部２２２は、受信した端末ＩＤ、ユーザＩＤ、および指示対象機器ＩＤを含むレコードをペアリング情報テーブル２４２から特定し、特定した旨を指示画像情報抽出部２２１に供給する。指示画像情報抽出部２２１は、受信した端末ＩＤを、受信した指示画像ＩＤと同レコードの「例外端末ＩＤ」のセルに登録する。以下の処理は図１８を参照して説明した変形例と同様であるため、ここでの説明を省略する。

〔変形例３〕
実施形態１では、家庭内機器３に所定の処理を実行させるためのコマンドである指示情報は、エージェントサーバ２ａにて管理されていた。しかしながら、当該指示情報は、画像のメタデータとして指示画像８４のデータに格納されていてもよい。指示画像８４が指示情報を含む場合、例えば、「おまかせ自動運転ＯＮ」の指示画像８４は、図３の（ｄ）に示す画像自体のデータと「おまかせ自動運転を開始する」という指示情報とを少なくとも含む。

また、指示画像８４が指示情報を含む構成である場合、スマートフォン１は、指示画像ＩＤではなく指示画像８４そのものを家族伝言板サーバ２ｂに送信してもよい。これにより、エージェントサーバ２ａは、スマートフォン１から送信された指示画像８４に含まれる指示情報を家庭内機器３に送信することで、家庭内機器３に指示を実行させることができる。

〔変形例４〕
実施形態２では、タッチ操作された場合に報知画像を表示する指示画像８４をグレースケールで表示していたが、タッチ操作された場合に、投稿するための画面を通常通り表示する指示画像８４と、通常と異なり、報知画像を表示する指示画像８４とを区別することができれば、実施形態２の例には限定されない。

例えば、実施形態１のように境界線７１によって区別してもよい。具体的には、投稿するための画面を通常通り表示する指示画像８４が表示されている領域と、通常と異なり、報知画像を表示する指示画像８４が表示されている領域とを境界線７１で区切ってもよい。

また、変形例１に示すように領域の色によって区別してもよい。具体的には、投稿するための画面を通常通り表示する指示画像８４が表示されている領域と、通常と異なり、報知画像を表示する指示画像８４が表示されている領域とをそれぞれ別の色で表示面１２に表示させてもよい。または、投稿するための画面を通常通り表示する指示画像８４と、通常と異なり、報知画像を表示する指示画像８４とをそれぞれ別のタブに含まれる画像として表示してもよい。

〔変形例５〕
上述した各実施形態および各変形例では、指示選択画面において、指示画像８４を表示していた。しかしながら、本発明は画像を表示する例に限定されるものではない。例えば、指示情報を示す文字列（指示情報）を指示選択画面に表示してもよい。この場合、スマートフォン１は文字列に対するタッチ操作を取得して、タッチ操作によって選択された文字列（選択指示情報）を、サーバ２を介して家庭内機器３に送信することにより、家庭内機器３に指示を実行させる。そして例えば、当該指示情報について、家庭内機器３が運転を開始した後、通信エラーが所定時間（例えば２４時間）継続した場合に、運転を停止する（付加的処理を実行する）こととなる指示情報を示す文字列（特定指示情報）と、それ以外の指示情報が示す文字列とを、境界線７１、領域の色の変更、タブの変更などによって区別して表示してもよい。また、ペアリング処理がされていないスマートフォン１において、タッチ操作されたときに報知画像を表示する指示情報（特定指示情報）の文字列をグレースケールで表示してもよい。

〔実施形態４〕
上記各実施形態では、１つのエージェントサーバ２ａを用いる例を説明したが、エージェントサーバ２ａの有する各機能が、個別のサーバにて実現されていてもよい。そして、複数のサーバを適用する場合においては、各サーバは、同じ事業者によって管理されていてもよいし、異なる事業者によって管理されていてもよい。

〔実施形態５〕
スマートフォン１、サーバ２（エージェントサーバ２ａ）、および家庭内機器３の各ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、スマートフォン１、サーバ２、および家庭内機器３を、図２０に示すようなコンピュータ（電子計算機）を用いて構成することができる。

図２０は、スマートフォン１、サーバ２、および家庭内機器３として利用可能なコンピュータ９１０の構成を例示したブロック図である。コンピュータ９１０は、バス９１１を介して互いに接続された演算装置９１２と、主記憶装置９１３と、補助記憶装置９１４と、入出力インターフェース９１５とを備えている。演算装置９１２、主記憶装置９１３、および補助記憶装置９１４は、それぞれ、例えばＣＰＵ、ＲＡＭ（random access memory）、ハードディスクドライブであってもよい。入出力インターフェース９１５には、ユーザがコンピュータ９１０に各種情報を入力するための入力装置９２０、および、コンピュータ９１０がユーザに各種情報を出力するための出力装置９３０が接続される。入力装置９２０および出力装置９３０は、コンピュータ９１０に内蔵されたものであってもよいし、コンピュータ９１０に接続された（外付けされた）ものであってもよい。例えば、入力装置９２０は、キーボード、マウス、タッチセンサなどであってもよく、出力装置９３０は、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置９２０および出力装置９３０の双方の機能を有する装置を適用してもよい。そして、通信インターフェース９１６は、コンピュータ９１０が外部の装置と通信するためのインターフェースである。

補助記憶装置９１４には、コンピュータ９１０をスマートフォン１、サーバ２、および家庭内機器３として動作させるための各種プログラムが格納されている。そして、演算装置９１２は、補助記憶装置９１４に格納された上記各プログラムを主記憶装置９１３上に展開して該プログラムに含まれる命令を実行することによって、コンピュータ９１０を、スマートフォン１、サーバ２、および家庭内機器３が備える各部として機能させる。なお、補助記憶装置９１４がプログラム等の情報の記録に用いる記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。

また、コンピュータ９１０の外部の記録媒体に記録されているプログラム、あるいは任意の伝送媒体（通信ネットワークや放送波等）を介してコンピュータ９１０に供給されたプログラムを用いてコンピュータ９１０を機能させる構成を採用してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る制御装置（スマートフォン１）は、所定の処理がそれぞれ対応付けられた複数の画像から選択画像を選択する操作を取得して、上記選択画像に応じた上記所定の処理の実行を被制御装置（家庭内機器３、空気清浄機３ｂ）に指示する制御装置であって、上記選択画像を選択可能に上記画像を示す選択画面を表示画面（表示面１２）に表示する表示手段（表示画像生成部１０４）を備え、上記表示手段は、ユーザによって上記選択画面において選択画像として選択された後、当該選択画像に対応付けられた上記所定の処理を上記被制御装置に指示するまでに、ユーザに提示するユーザインタフェースが他の画像と異なる画像、および、ユーザによって上記選択画面において選択画像として選択された後、当該選択画像が対応付けられた上記所定の処理を上記被制御装置が行う際、当該選択画像に対応付けられていない付加的処理を行う画像、の少なくとも一方である特定画像を、他の画像と区別して示すように上記選択画面を生成する。

上記の構成によれば、画像に対応付けられた所定の処理を上記被制御装置に指示するまでに、ユーザに提示するユーザインタフェースが他の画像と異なる画像、および、選択画像が対応付けられた所定の処理を被制御装置が行う際、当該指選択画像に対応付けられていない付加的処理を行う画像の少なくとも一方を、選択画面において他の画像と区別して示す。

これにより、ユーザの操作に対して通常と異なる処理が実行される画像を、選択画面において他の画像と区別して示すことができるので、ユーザの操作に対して通常と異なる処理が実行されることをユーザに事前に示すことができる。

本発明の態様２に係る制御装置は、上記態様１において、上記特定画像を識別する画像識別情報と、当該特定画像が上記他の画像と区別して示すべき画像であることを示す特定処理識別情報とを対応付けて取得する識別情報取得手段（受信情報特定部１０５）を備えてもよい。

上記の構成によれば、特定画像を識別する画像識別情報と、特定画像が他の画像と区別して示すべき画像であることを示す特定処理識別情報とを対応付けて取得するので、これらの情報を用いて、他の画像と区別して表示すべき特定画像を決定することができる。よって、ユーザの操作に対して通常と異なる処理が実行される特定画像を、選択画面において他の画像と区別して示すことができる。

本発明の態様３に係る制御装置は、上記態様２において、上記特定処理識別情報は、画像に対応付けられた所定の処理の実行を指示可能な上記制御装置を示すものであり、自装置が、上記特定処理識別情報が示す上記制御装置に該当するか否かを判定する判定手段（受信情報特定部１０５）をさらに備え、上記表示手段は、上記判定手段が該当しないと判定した場合、上記画像を上記特定画像として上記他の画像と区別して表示してもよい。

上記の構成によれば、自装置が画像に対応付けられた所定の処理の実行を指示可能な制御装置であるか否かを判定し、該当しないと判定された場合、上記画像を特定画像として他の画像と区別して表示する。

これにより、特定画像に対応付けられた所定の処理の実行を指示できない制御装置のユーザに対して、画像を操作しても所定の処理の実行を指示できないことを示すことができる。

例えば、特定画像に対応付けられた所定の処理の実行を指示できない制御装置において、他の画像を通常通り表示し、特定画像をグレースケールで表示する。これにより、ユーザは、特定画像を操作しても所定の処理の実行を指示できないことを容易に認識することができる。

本発明の態様４に係る制御装置は、上記態様３において、上記被制御装置を識別する被制御装置識別情報と、当該被制御装置に対して上記画像に対応付けられた所定の処理の実行を指示可能な上記制御装置を識別する制御装置識別情報とを対応付けて記憶する管理装置（エージェントサーバ２ａ）に対して、ユーザの操作によって特定された上記被制御装置の上記被制御装置識別情報と、自装置の上記制御装置識別情報とを送信する識別情報送信手段を備え、上記判定手段は、上記識別情報送信手段が送信した上記被制御装置識別情報および上記制御装置識別情報の組み合わせが、上記管理装置において対応付けられて記憶されていることを示す判定結果を受信したとき、自装置が、上記特定処理識別情報が示す上記制御装置に該当すると判定してもよい。

上記の構成によれば、ユーザが処理の実行を指示したい被制御装置の被制御装置識別情報と、ユーザが使用する制御装置の制御装置識別情報とが管理装置において対応付けられて記憶されていると判定されたとき、画像を区別せずに表示する。

これにより、当該制御装置を画像に対応付けられた所定の処理の実行を指示可能な制御装置であると判定することができる。

また例えば、すべての画像を区別せずに通常通り表示することで、画像に対応付けられた所定の処理の実行が可能であることをユーザに示すことができる。

本発明の態様５に係る制御装置は、上記態様３または４において、上記表示手段は、上記選択画面において上記特定画像を選択する操作が取得されたとき、自装置を上記特定処理識別情報が示す上記制御装置に該当する上記制御装置とする処理を実行するための指示可能設定画像を表示してもよい。

上記の構成によれば、画像に対応付けられた所定の処理の実行を指示できない制御装置において、特定画像に対する操作を取得した場合に、当該制御装置を特定処理識別情報が示す制御装置に該当する制御装置とする処理を実行するための指示可能設定画像を表示する。

これにより、画像に対応付けられた所定の処理の実行を指示できない制御装置を、スムーズに所定の処理を実行できる制御装置とすることができる。

本発明の態様６に係る制御装置は、上記態様２から５のいずれかにおいて、上記特定処理識別情報は、画像に対応付けられた所定の処理が上記被制御装置の運転を開始する処理、または、上記被制御装置の運転のモードを変更する処理であることを示すものであってもよい。

上記の構成によれば、被制御装置の運転を開始する処理、または、上記被制御装置の運転のモードを変更する処理を示す画像を特定画像として、その他の画像と区別して表示する。

例えば、遠隔操作される被制御装置は、自装置と外部との通信が不可能な状態が所定の時間継続したとき、自動的に運転を停止する機能を備えていることが多い。これは、通信が不可能な状態が続いて、遠隔操作によって被制御装置を制御不可能となった場合の安全対策である。そこで、被制御装置は、画像に対応付けられた、運転を開始するという所定の処理、または運転のモードを変更する処理の他に、運転開始後の通信状態を監視して通信が不可能な状態となった場合に当該状態の時間を計測するとともに、通信が不可能な状態が所定時間続いたとき運転を停止するという付加的処理を行う。

以上より、本態様に係る制御装置は、付加的処理を行う画像を特定画像として他の画像と区別して表示することができる。よって、ユーザが特定画像を選択した場合に、通常と異なる処理が実行されることをユーザに事前に示すことができる。

本発明の態様７に係る制御装置は、上記態様６において、上記表示手段は、上記特定画像と同時に、上記被制御装置が当該特定画像に対応付けられた上記所定の処理と共に行う上記付加的処理の内容を示す情報を、上記表示画面に表示してもよい。

上記の構成によれば、被制御装置の運転を開始する処理を示す特定画像とともに、付加的処理の内容を示す情報を表示する。

これにより、ユーザは被制御装置の運転を開始する処理を示す画像を選択したとき、被制御装置においてどのような付加的処理が実行されるのかを知ることができる。

本発明の態様８に係る制御装置は、上記態様１から７のいずれかにおいて、上記表示手段は、上記選択画面において上記特定画像を表示する領域と上記他の画像を表示する領域との境界に境界線を引くことで、上記特定画像と上記他の画像とを区別して示してもよい。

上記の構成によれば、特定画像を表示する領域と他の画像を表示する領域との境界に境界線を引く。これにより、ユーザの操作に対して通常と異なる処理が実行される画像を、選択画面において他の画像と区別して示すことができるので、ユーザの操作に対して通常と異なる処理が実行されることをユーザに事前に示すことができる。

本発明の態様９に係る制御装置は、上記態様１から７のいずれかにおいて、上記表示手段は、上記選択画面において上記特定画像を表示する領域と上記他の画像を表示する領域とをそれぞれ別の色で表示することで、上記特定画像と上記他の画像とを区別して示してもよい。

上記の構成によれば、特定画像を表示する領域と他の画像を表示する領域とをそれぞれ別の色で表示する。これにより、ユーザの操作に対して通常と異なる処理が実行される画像を、選択画面において他の画像と区別して示すことができるので、ユーザの操作に対して通常と異なる処理が実行されることをユーザに事前に示すことができる。

本発明の態様１０に係る制御装置は、上記態様１から７のいずれかにおいて、上記特定画像と上記他の画像とをそれぞれ異なる上記選択画面において表示することで、上記特定画像と上記他の画像とを区別して示してもよい。

上記の構成によれば、特定画像と他の画像とをそれぞれ異なる選択画面において表示する。これにより、ユーザの操作に対して通常と異なる処理が実行される画像を、他の画像と区別して示すことができるので、ユーザの操作に対して通常と異なる処理が実行されることをユーザに事前に示すことができる。

また、特定画像が表示されている選択画面を表示しているときは、他の画像が表示されないので、ユーザが特定画像と他の画像とを間違えて選択することを防ぐことができる。

本発明の態様１１に係る制御装置は、上記態様１から１０のいずれかにおいて、上記表示手段は、上記画像を選択する操作が取得されたとき、当該画像に対応付けられた上記所定の処理による指示を行うか否かをユーザに選択させるための確認画像を表示してもよい。

上記の構成によれば、上記画像を選択する操作が取得された場合、被制御装置に指示する前に、指示を行うか否かをユーザに選択させる確認画像を表示する。

これにより、ユーザは操作した画像に応じた指示を被制御装置に対して行うか否かを再確認した上で、被制御装置に指示を行うことができる。つまりユーザは、操作した画像が正しいものであるかを、指示する前に再確認することができる。よって、ユーザの画像（特に特定画像）に対する誤操作の可能性を低減することができる。

本発明の態様１２に係る管理装置（エージェントサーバ２ａ）は、被制御装置を識別する被制御装置識別情報と、当該被制御装置に対して選択画像に対応付けられた所定の処理の実行を指示可能な制御装置を識別する制御装置識別情報とを対応付けて記憶する管理装置であって、上記制御装置から送信された上記被制御装置識別情報および上記制御装置識別情報の組み合わせが、自装置において対応付けられて記憶されているか否かを判定する識別情報判定手段（ペアリング情報抽出部２２２）を備え、上記識別情報判定手段は、記憶されていると判定したとき、当該判定の判定結果を上記制御装置に送信する。

上記の構成によれば、ユーザが処理の実行を指示したい被制御装置の被制御装置識別情報と、ユーザが使用する制御装置の制御装置識別情報とが管理装置において対応付けられて記憶されていると判定したとき、当該判定の判定結果を制御装置に送信する。

これにより、制御装置は指示対象の被制御装置の被制御装置識別情報と、自装置の制御装置識別情報とが管理装置において対応付けられていることを知ることができる。

ここで、指示対象の被制御装置の被制御装置識別情報と制御装置の制御装置識別情報とが管理装置にて対応付けられていることが、画像に対応付けられた所定の処理の実行を指示可能な制御装置の条件である場合、制御装置は、上述した判定結果を取得することで、自装置が画像に対応付けられた所定の処理の実行を指示可能な制御装置であると特定することができ、画像を区別せずに表示することができる。

本発明の態様１３に係る制御システム（家族伝言板システム１００）は、所定の処理がそれぞれ対応付けられた複数の画像から選択画像を選択する操作を取得して、上記選択画像に応じた上記所定の処理の実行を指示する制御装置（スマートフォン１）と、当該制御装置の指示に従って上記所定の処理を実行する被制御装置（家庭内機器３、空気清浄機３ｂ）と、を含む制御システムであって、上記制御装置は、上記選択画像を選択可能に上記画像を示す選択画面を表示画面に表示する表示手段（表示画像生成部１０４）を備え、上記表示手段は、ユーザによって上記選択画面において選択画像として選択された後、当該選択画像に対応付けられた上記所定の処理を上記被制御装置に指示するまでに、ユーザに提示するユーザインタフェースが他の画像と異なる画像、および、ユーザによって上記選択画面において選択画像として選択された後、当該選択画像が対応付けられた上記所定の処理を上記被制御装置が行う際、当該選択画像に対応付けられていない付加的処理を行う画像、の少なくとも一方である特定画像を、他の画像と区別して示すように上記選択画面を生成する。

この制御システムによれば、態様１に係る制御装置と同様の作用効果を奏する。

本発明の態様１４に係る制御装置の制御方法は、所定の処理がそれぞれ対応付けられた複数の画像から選択画像を選択する操作を取得して、上記選択画像に応じた上記所定の処理の実行を被制御装置に指示する制御装置の制御方法であって、上記選択画像を選択可能に上記画像を示す選択画面を表示画面に表示する表示ステップを含み（Ｓ４）、上記表示ステップでは、ユーザによって上記選択画面において選択画像として選択された後、当該選択画像に対応付けられた上記所定の処理を上記被制御装置に指示するまでに、ユーザに提示するユーザインタフェースが他の画像と異なる画像、および、ユーザによって上記選択画面において選択画像として選択された後、当該選択画像が対応付けられた上記所定の処理を上記被制御装置が行う際、当該選択画像に対応付けられていない付加的処理を行う画像、の少なくとも一方である特定画像を、他の画像と区別して示すように上記選択画面を生成する。

この制御方法によれば、態様１に係る制御装置と同様の作用効果を奏する。

本発明の態様１５に係る制御装置は、所定の処理をそれぞれ示す複数の指示情報から選択指示情報を選択する操作を取得して、上記選択指示情報に応じた上記所定の処理の実行を被制御装置に指示する制御装置であって、上記選択指示情報を選択可能に上記指示情報を示す選択画面を表示画面に表示する表示手段を備え、上記表示手段は、ユーザによって上記選択画面において選択指示情報として選択された後、当該選択指示情報が示す上記所定の処理を上記被制御装置に指示するまでに、ユーザに提示するユーザインタフェースが他の指示情報と異なる指示情報、および、ユーザによって上記選択画面において選択指示情報として選択された後、当該選択指示情報が示す上記所定の処理を上記被制御装置が行う際、当該選択指示情報に含まれない付加的処理を行う指示情報、の少なくとも一方である特定指示情報を、他の指示情報と区別して示すように上記選択画面を生成する。

上記の構成によれば、選択指示情報が示す所定の処理を上記被制御装置に指示するまでに、ユーザに提示するユーザインタフェースが他の指示情報と異なる指示情報、および、選択指示情報が示す所定の処理を被制御装置が行う際、当該指示情報に含まれない付加的処理を行う指示情報の少なくとも一方を、選択画面において他の指示情報と区別して示す。

これにより、ユーザの操作に対して通常と異なる処理が実行される指示情報を、選択画面において他の指示情報と区別して示すことができるので、ユーザの操作に対して通常と異なる処理が実行されることをユーザに事前に示すことができる。

本発明の各態様に係る制御装置、管理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記の制御装置、管理装置が備える各手段として動作させることにより上記の制御装置、管理装置をコンピュータにて実現させる制御装置、管理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、空気清浄機、空調装置などの被制御装置を制御可能な、スマートフォン、タブレット端末、パーソナルコンピュータ、テレビジョン受像機などの装置に適用できる。

１ スマートフォン（制御装置）
２ａ エージェントサーバ（管理装置）
３ 家庭内機器（被制御装置）
３ｂ 空気清浄機（被制御装置）
１２ 表示面（表示画面）
１００ 家族伝言板システム（制御システム）
１０２ 処理指示部（識別情報送信手段）
１０４ 表示画像生成部（表示手段）
１０５ 受信情報特定部（識別情報取得手段、判定手段）
２２２ ペアリング情報抽出部（識別情報判定手段）
Ｓ４ 表示ステップ

Claims (15)

1. 所定の処理がそれぞれ対応付けられた複数の画像から選択画像を選択する操作を取得して、上記選択画像に応じた上記所定の処理の実行を被制御装置に指示する制御装置であって、
   上記選択画像を選択可能に上記画像を示す選択画面を表示画面に表示する表示手段を備え、
   上記表示手段は、ユーザによって上記選択画面において選択画像として選択された後、当該選択画像に対応付けられた上記所定の処理を上記被制御装置に指示するまでに、ユーザに提示するユーザインタフェースが他の画像と異なる画像、および、ユーザによって上記選択画面において選択画像として選択された後、当該選択画像が対応付けられた上記所定の処理を上記被制御装置が行う際、当該選択画像に対応付けられていない付加的処理を行う画像、の少なくとも一方である特定画像を、他の画像と区別して示すように上記選択画面を生成することを特徴とする制御装置。
2. 上記特定画像を識別する画像識別情報と、当該特定画像が上記他の画像と区別して示すべき画像であることを示す特定処理識別情報とを対応付けて取得する識別情報取得手段を備えることを特徴とする請求項１に記載の制御装置。
3. 上記特定処理識別情報は、画像に対応付けられた所定の処理の実行を指示可能な上記制御装置を示すものであり、
   自装置が、上記特定処理識別情報が示す上記制御装置に該当するか否かを判定する判定手段をさらに備え、
   上記表示手段は、上記判定手段が該当しないと判定した場合、上記画像を上記特定画像として上記他の画像と区別して表示することを特徴とする請求項２に記載の制御装置。
4. 上記被制御装置を識別する被制御装置識別情報と、当該被制御装置に対して上記画像に対応付けられた所定の処理の実行を指示可能な上記制御装置を識別する制御装置識別情報とを対応付けて記憶する管理装置に対して、ユーザの操作によって特定された上記被制御装置の上記被制御装置識別情報と、自装置の上記制御装置識別情報とを送信する識別情報送信手段を備え、
   上記判定手段は、上記識別情報送信手段が送信した上記被制御装置識別情報および上記制御装置識別情報の組み合わせが、上記管理装置において対応付けられて記憶されていることを示す判定結果を受信したとき、自装置が、上記特定処理識別情報が示す上記制御装置に該当すると判定することを特徴とする請求項３に記載の制御装置。
5. 上記表示手段は、上記選択画面において上記特定画像を選択する操作が取得されたとき、自装置を上記特定処理識別情報が示す上記制御装置に該当する上記制御装置とする処理を実行するための指示可能設定画像を表示することを特徴とする請求項３または４に記載の制御装置。
6. 上記特定処理識別情報は、画像に対応付けられた上記所定の処理が上記被制御装置の運転を開始する処理、または、上記被制御装置の運転のモードを変更する処理であることを示すものであることを特徴とする請求項２から５のいずれか１項に記載の制御装置。
7. 上記表示手段は、上記特定画像と同時に、上記被制御装置が当該特定画像に対応付けられた上記所定の処理と共に行う上記付加的処理の内容を示す情報を、上記表示画面に表示することを特徴とする請求項６に記載の制御装置。
8. 上記表示手段は、上記選択画面において上記特定画像を表示する領域と上記他の画像を表示する領域との境界に境界線を引くことで、上記特定画像と上記他の画像とを区別して示すことを特徴とする請求項１から７のいずれか１項に記載の制御装置。
9. 上記表示手段は、上記選択画面において上記特定画像を表示する領域と上記他の画像を表示する領域とをそれぞれ別の色で表示することで、上記特定画像と上記他の画像とを区別して示すことを特徴とする請求項１から７のいずれか１項に記載の制御装置。
10. 上記表示手段は、上記特定画像と上記他の画像とをそれぞれ異なる上記選択画面において表示することで、上記特定画像と上記他の画像とを区別して示すことを特徴とする請求項１から７のいずれか１項に記載の制御装置。
11. 上記表示手段は、上記画像を選択する操作が取得されたとき、当該画像に対応付けられた上記所定の処理を指示するか否かをユーザに選択させるための確認画像を表示することを特徴とする請求項１から１０のいずれか１項に記載の制御装置。
12. 所定の処理がそれぞれ対応付けられた複数の画像から選択画像を選択する操作を取得して、上記選択画像に応じた上記所定の処理の実行を指示する制御装置と、当該制御装置の指示に従って上記所定の処理を実行する被制御装置と、を含む制御システムであって、
    上記制御装置は、
    上記選択画像を選択可能に上記画像を示す選択画面を表示画面に表示する表示手段を備え、
    上記表示手段は、ユーザによって上記選択画面において選択画像として選択された後、当該選択画像に対応付けられた上記所定の処理を上記被制御装置に指示するまでに、ユーザに提示するユーザインタフェースが他の画像と異なる画像、および、ユーザによって上記選択画面において選択画像として選択された後、当該選択画像が対応付けられた上記所定の処理を上記被制御装置が行う際、当該選択画像に対応付けられていない付加的処理を行う画像、の少なくとも一方である特定画像を、他の画像と区別して示すように上記選択画面を生成することを特徴とする制御システム。
13. 所定の処理がそれぞれ対応付けられた複数の画像から選択画像を選択する操作を取得して、上記選択画像に応じた上記所定の処理の実行を被制御装置に指示する制御装置の制御方法であって、
    上記選択画像を選択可能に上記画像を示す選択画面を表示画面に表示する表示ステップを含み、
    上記表示ステップでは、ユーザによって上記選択画面において選択画像として選択された後、当該選択画像に対応付けられた上記所定の処理を上記被制御装置に指示するまでに、ユーザに提示するユーザインタフェースが他の画像と異なる画像、および、ユーザによって上記選択画面において選択画像として選択された後、当該選択画像が対応付けられた上記所定の処理を上記被制御装置が行う際、当該選択画像に対応付けられていない付加的処理を行う画像、の少なくとも一方である特定画像を、他の画像と区別して示すように上記選択画面を生成することを特徴とする制御装置の制御方法。
14. 請求項１から１１のいずれか１項に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
15. 所定の処理をそれぞれ示す複数の指示情報から選択指示情報を選択する操作を取得して、上記選択指示情報に応じた上記所定の処理の実行を被制御装置に指示する制御装置であって、
    上記選択指示情報を選択可能に上記指示情報を示す選択画面を表示画面に表示する表示手段を備え、
    上記表示手段は、ユーザによって上記選択画面において選択指示情報として選択された後、当該選択指示情報が示す上記所定の処理を上記被制御装置に指示するまでに、ユーザに提示するユーザインタフェースが他の指示情報と異なる指示情報、および、ユーザによって上記選択画面において選択指示情報として選択された後、当該選択指示情報が示す上記所定の処理を上記被制御装置が行う際、当該選択指示情報に含まれない付加的処理を行う指示情報、の少なくとも一方である特定指示情報を、他の指示情報と区別して示すように上記選択画面を生成することを特徴とする制御装置。

Images