JP2014072868A - 制御装置、制御装置の制御方法、サーバ、被制御装置、制御システム、制御プログラム、および記録媒体 - Google Patents

Abstract

【課題】簡易な方法で外部の装置を制御可能とすることにより、ユーザの利便性を向上させる。
【解決手段】スマートフォン（１００）は、掃除ロボットを特定する特定情報および当該掃除ロボットに所定の処理の実行を指示する指示情報を対応付けた画像を、ユーザに選択可能に表示する画像表示部（７１ａ）と、表示された画像の中から少なくとも１つの画像がユーザによって選択された場合、当該画像を示す画像情報（２）をサーバ（２００）に送信することによって、当該画像に対応付けられた特定情報によって特定される掃除ロボットに、当該画像に対応付けられた指示情報によって指示される所定の処理を実行させる処理指示部（１１）とを備えた。
【選択図】図１

Description

本発明は、サーバを介して被制御装置を制御する制御装置等に関するものである。

所定のインターフェースを介して外部の機器を操作する方法に関する技術は、古くから研究されてきた。特に、当該外部の機器が実行可能な処理が高度化するに伴って上記操作が複雑化したため、近年では上記インターフェースを改善する試みが広く行われている。

例えば、単純なイラスト（画像）によって処理を指定できるインターフェースが開発されている。下記の特許文献１には、自装置において実行するべき処理を指定する情報（処理指定情報）が格納された画像データを外部から受信することによって、画像データ送信機能しか持たない操作装置からでも、自在に操作することができる画像データ受信装置が開示されている。

特開２００９−１１８４４８号公報（２００９年５月２８日公開）

上記の特許文献１に開示された技術では、画像データが「処理指定情報」しか含まないため、ユーザは操作しようとする外部の装置を指定しなければならない。すなわち、ユーザは操作対象となる装置を特定し、特定した装置に指示を送信するという明示的な操作（例えば、リモコンの赤外線送信部をテレビに向けるなど）を強いられる。

しかし、上記明示的な操作を強いるインターフェースは、ユーザフレンドリーとは言えない。ユーザが真に所望するものは外部の機器が実現する「機能」であり、当該「機能」を実現するために主体となる装置は、任意であってもよい場合があるからである。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、操作しようとする外部の装置をユーザが指定するという明示的な操作がなくとも、当該外部の装置を制御可能とすることにより、ユーザの利便性を向上させる制御装置等を提供することである。

上記の課題を解決するために、本発明の一態様に係る制御装置は、サーバを介して被制御装置を制御する制御装置であって、前記被制御装置を特定する特定情報および当該被制御装置に所定の処理の実行を指示する指示情報を対応付けた画像を、ユーザに選択可能に表示する第１の表示手段と、前記第１の表示手段によって表示された画像の中から少なくとも１つの画像がユーザによって選択された場合、当該画像を示す画像情報を前記サーバに送信することによって、当該画像に対応付けられた特定情報によって特定される被制御装置に、当該画像に対応付けられた指示情報によって指示される所定の処理を実行させる指示手段とを備えている。

また、上記の課題を解決するために、本発明の一態様に係る制御装置の制御方法は、サーバを介して被制御装置を制御する制御装置の制御方法であって、前記被制御装置を特定する特定情報および当該被制御装置に所定の処理の実行を指示する指示情報を対応付けた画像を、ユーザに選択可能に表示する第１の表示ステップと、前記第１の表示ステップにおいて表示された画像の中から少なくとも１つの画像がユーザによって選択された場合、当該画像を示す画像情報を前記サーバに送信することによって、当該画像に対応付けられた特定情報によって特定される被制御装置に、当該画像に対応付けられた指示情報によって指示される所定の処理を実行させる指示ステップとを含んでいる。

本発明の一態様によれば、制御装置および当該装置の制御方法は、制御対象である被制御装置をユーザが指定するという明示的な操作がなくとも、ユーザに当該被制御装置を制御させることができる。したがって、上記制御装置等は、ユーザの利便性を向上させることができるという効果を奏する。

本発明の一実施の形態に係るスマートフォンの要部構成を示すブロック図である。 本発明の一実施の形態に係るサーバの要部構成を示すブロック図である。 （ａ）は、本発明の一実施の形態に係る掃除ロボットの要部構成を示すブロック図であり、（ｂ）は、本発明の一実施の形態に係るテレビジョン受像機の要部構成を示すブロック図である。 本発明の一実施の形態に係る家族伝言板システムの概要を示す図である。 （ａ）は、上記スマートフォンの外観例を表した模式図であり、（ｂ）は、ユーザによる当該スマートフォンの操作例を表した模式図である。 （ａ）および（ｂ）は、上記家族伝言板において、ユーザと上記掃除ロボットとの間で行われるメッセージおよび画像のやり取りを表す模式図である。 （ａ）および（ｂ）は、ユーザによって選択可能である画像がリスト表示された画面例を示す模式図である。 ユーザが複数の画像を一度に投稿すると、当該画像によって特定される一連の処理の実行結果が、上記掃除ロボットによって投稿された家族伝言板の様子を表す模式図である。 上記家族伝言板システムにおいて実行される処理の一例を示すフローチャートである。 上記家族伝言板システムにおいて実行される異なる処理の一例を示すフローチャートである。

図１〜図１０に基づいて、本発明の実施の形態を詳細に説明する。

〔家族伝言板システム４００の概要〕
図４に基づいて、本発明の一実施の形態に係る家族伝言板システム４００の概要を説明する。図４は、家族伝言板システム４００の概要を示す図である。

家族伝言板システム（制御システム）４００は、あらかじめ登録されたユーザ（図４に示す例ではお父さん、お母さん、子供）の間で情報を共有可能な電子伝言板（いわゆるソーシャル・ネットワーク・サービス）を提供するシステムである。家族伝言板システム４００は、スマートフォン１００ａ、１００ｂ、１００ｃ、機器制御サーバ２００ａ、家族伝言板サーバ２００ｂ、ホームサーバ２００ｃ、掃除ロボット３００ａ、家庭内に配置された機器（以下「家庭内機器」と称する）を含む。

家族伝言板システム４００では、家庭内機器の状態やユーザによって書き込まれたメッセージの内容等に応じて、掃除ロボット３００ａまたは家庭内機器が家族伝言板にメッセージを書き込む。また、ユーザは、それぞれが所持するスマートフォン１００ａ、１００ｂ、１００ｃを用いて家族伝言板にアクセスし、メッセージの書き込み、または閲覧を行うことができる。さらに、ユーザは家族伝言板に画像を投稿することによって、家庭内機器の動作を制御することができる（図６を参照して後で詳述する）。

ホームサーバ２００ｃには、掃除ロボット３００ａが通信可能に無線接続されている。また、家庭内機器が、通信可能にさらに無線（または有線）接続されている。なお、図４は、家庭内機器がテレビ３００ｂ、空調装置３００ｃ、照明装置３００ｄ、および録画装置３００ｅである例を示すが、家庭内機器の種類および数は上記機器に限定されない。

機器制御サーバ２００ａは、家庭内機器の状態、家庭内機器が取得した情報、およびユーザの書き込み内容等に応じて、掃除ロボット３００ａを擬人化したキャラクタとして、家族伝言板にメッセージ等を書き込む。これにより、ユーザは、家族伝言板において掃除ロボット３００ａとのコミュニケーションを疑似体験できる。

また、機器制御サーバ２００ａは、スマートフォン１００ａ、１００ｂ、１００ｃから画像の投稿を受け付け、当該画像に応じた指示情報をホームサーバ２００ｃに送信することによって、掃除ロボット３００ａまたは家庭内機器の動作を制御する。

なお、家族伝言板への書き込みを行う機能と掃除ロボット３００ａおよび家庭内機器の動作を制御する機能とを、機器制御サーバ２００ａが備えた例を説明するが、これらの機能は個別のサーバに搭載してもよい。

家族伝言板サーバ２００ｂは、スマートフォン１００ａ、１００ｂ、および１００ｃに対する家族伝言板の表示画面の提示、および書き込みの管理等の、家族伝言板に関する処理全般を行う。

ホームサーバ２００ｃは、掃除ロボット３００ａまたは家庭内機器と、機器制御サーバ２００ａとの間の情報の送受信を統括して制御する。具体的には、ホームサーバ２００ｃは、機器制御サーバ２００ａから受信した指示情報にしたがって、掃除ロボット３００ａまたは家庭内機器の動作を制御する。また、ホームサーバ２００ｃは、掃除ロボット３００ａから取得した情報、および家庭内機器から取得した情報を、機器制御サーバ２００ａに送信する。

空調装置（被制御装置）３００ｃは冷暖房等の空調を行う装置（以下「エアコン３００ｃ」ともいう）である。空調装置３００ｃは温度センサを備えており、検出した室温をホームサーバ２００ｃに送信する。

照明装置（被制御装置）３００ｄはＬＥＤ等の光源を備えた照明装置である。ホームサーバ２００ｃの制御によって、照明装置３００ｄは点灯および消灯され得る。

テレビ（被制御装置）３００ｂはテレビジョン受像機であり（以下「テレビジョン受像機３００ｂ」ともいう）、録画装置（被制御装置）３００ｅはテレビ３００ｂが受信した放送番組を録画する装置である。これらの機器も、ホームサーバ２００ｃの制御によって制御され得る。

なお、図４に示される例では、すべての家庭内機器がネットワークに含まれ、ホームサーバ２００ｃと通信可能に接続されている。しかし、掃除ロボット３００ａはホームサーバ２００ｃから送信された指示情報を中継できるため、家庭内機器はホームサーバ２００ｃと直接接続されていなくともよい。

例えば、前述したテレビジョン受像機３００ｂがネットワークに含まれていない場合であっても、掃除ロボット３００ａがＩｒＤＡや赤外線を当該テレビジョン受像機に送信することにより、当該テレビジョン受像機は上記指示情報に含まれる制御（例えば、電源を入れる、チャンネルを変えるなど）を実行できる。ネットワークに含まれていないテレビジョン受像機３００ｂを制御する例を、後で詳細に説明する。

また、図４に示される例では、ホームサーバ２００ｃは、掃除ロボット３００ａまたは家庭内機器に搭載されたセンサによって取得されたセンシングデータ、家庭内機器の動作ログ、および家庭内機器が撮影した写真を送信しているが、送信する情報はこれらの例に限られない。さらに、家族伝言板に関与する家庭内機器が存在しない場合のように、ホームサーバ２００ｃによる統括的な制御が必要ない場合、ホームサーバ２００ｃを設けず、掃除ロボット３００ａが機器制御サーバ２００ａと情報を送受信する構成としてもよい。

〔スマートフォン１００の概要〕
図５に基づいて、スマートフォン１００の外観および操作の一例を概略的に説明する。図５の（ａ）は、スマートフォン１００の外観例を表した模式図であり、（ｂ）は、ユーザによるスマートフォン１００の操作例を表した模式図である。なお、図４に示されるスマートフォン１００ａ、１００ｂ、または１００ｃは、図５に示されるスマートフォン１００と同じものである。

スマートフォン（制御装置）１００は、サーバ２００を介して掃除ロボット３００ａやテレビジョン受像機３００ｂなどを制御する情報端末である。

図５の（ａ）に示すように、スマートフォン１００は、入力面４１、表示面７２、および電源スイッチ４３を備える。

図５の（ｂ）に示すように、ユーザは入力面４１をタッチし、スマートフォン１００に当該入力面における位置を指定することにより（入力面上の座標を与えることにより）、画像を選択するなどの情報をスマートフォン１００に与えることができる。

上記のように、スマートフォン１００は携帯型の情報端末である。ここで、スマートフォン１００と同等の機能は、携帯電話、パーソナルコンピュータ、タブレット型端末などでも実現できることに注意する。すなわち、必要な情報を入出力可能な機器でありさえすれば、端末はスマートフォンでなくともよい。

〔サーバ２００の概要〕
サーバ２００は、スマートフォン１００、掃除ロボット３００ａ、および家庭内機器と通信可能に接続されている。すなわち、以下では、図４に示される機器制御サーバ２００ａ、家族伝言板サーバ２００ｂ、およびホームサーバ２００ｃが有する本質的な機能を、「サーバ２００」が統合的に備えているとして説明する。

〔掃除ロボット３００ａの概要〕
掃除ロボット（被制御装置）３００ａは、サーバ２００を介して、スマートフォン１００によって制御される被制御装置の１つである。掃除ロボット３００ａは、自走しながら掃除する機能を有する。

掃除ロボット３００ａは、動作ログの記憶機能、充電残量の検出および出力機能、画像撮影機能、音声認識機能、音声出力機能などをさらに有する。また、掃除ロボット３００ａは、家庭内機器に制御信号を送信してこれを操作する機能も有する。

〔画像５を投稿することによる機器制御〕
図６に基づいて、ユーザが家族伝言板に画像５を投稿することによって、掃除ロボット３００ａまたは家庭内機器を制御する場合、家族伝言板システム４００において実行される一連の処理の流れの概略を説明する。図６の（ａ）および（ｂ）は、家族伝言板において、ユーザ（お母さん）と掃除ロボット３００ａとの間で行われるメッセージおよび画像５のやり取りを表す模式図である。

図６の（ａ）に示すように、掃除ロボット３００ａは温度センサで室内温度を計測し、人間の感覚で「暑い」ことを訴えるメッセージ８ａを家族伝言板に投稿している。当該メッセージを見たユーザは、エアコン３００ｃに冷房を入れるよう指示する画像５を、メッセージ８ｂとして家族伝言板に投稿している。

すなわち、ユーザによって画像選択ボタン４４がタッチされると、スマートフォン１００はユーザによって選択可能である画像を複数表示し、選択された画像５を示す画像情報２をサーバ２００に送信する。

ここで、画像５には、制御対象（被制御装置）を特定する特定情報１ａおよび当該制御対象に所定の処理の実行を指示する指示情報１ｂが対応付けられている。図６の（ａ）に示される例では、上記画像に対応付けられた特定情報１ａは「エアコン３００ｃ」を示し、指示情報１ｂは「冷房を入れる」を示す。

また、画像情報２は、画像５を一意に識別可能な情報である。画像５を一意に識別できさえすれば、画像情報２の形式は何でもよい。例えば、画像情報２は、数字であってもよいし、文字であってもよい。スマートフォン１００とサーバ２００とで画像５を保存するディレクトリ構造が同じ場合、画像情報２は、当該画像を格納するパスの名前であってもよい。あるいは、画像情報２は、画像５そのものであってもよい（この場合、スマートフォン１００は画像５をサーバ２００に送信することになる）。

ここで、あるスマートフォン１００から画像情報２による指示が行われたことを、他のスマートフォンのユーザに共有できるようにするために、画像情報２を受信したサーバ２００は、メッセージ８ｂを投稿情報４ｃとして複数のスマートフォン１００へ送信する。なお、メッセージ８ｂ（投稿情報４ｃ）は、画像５に加えて、サーバ２００が付加したメッセージ８ｂに関連する情報（例えば、投稿したユーザを識別する情報や投稿日時など）を含んでよい。

また、画像情報２を受信したサーバ２００は、当該画像情報が示す画像５に対応付けられた特定情報１ａによって特定される装置に、所定の処理の実行を指示する指示情報１ｂを送信する。図６の（ａ）に示される例では、サーバ２００は、特定情報１ａによって特定される「エアコン３００ｃ」に、「冷房を入れる」という指示情報１ｂを送信する。

指示情報１ｂを受信したエアコン３００ｃは、「冷房を入れる」という処理を実行する。その後、部屋が涼しくなることを喜ぶメッセージ８ｃを、掃除ロボット３００ａが家族伝言板に投稿している。

図６の（ｂ）に示すように、掃除ロボット３００ａはマイクで採取したペットの鳴き声を録音し、ペットが鳴いていることを報告するメッセージ８ｄとともに音声ファイルを家族伝言板に投稿している。当該メッセージを見て録音を聴いたユーザは、掃除ロボット３００ａに周囲の写真を撮影するよう指示する画像５を、メッセージ８ｅとして家族伝言板に投稿している。

すなわち、上記同様に、ユーザによって画像選択ボタン４４がタッチされると、スマートフォン１００はユーザによって選択可能である画像を複数表示し、選択された画像５を示す画像情報２をサーバ２００に送信する。

サーバ２００を介して「周囲の写真を撮影する」という指示情報１ｂを受信した掃除ロボット３００ａは、写真撮影の処理を実行し、撮影したことを報告するメッセージ８ｅとともに、撮影画像（処理を実行した結果）を家族伝言板に投稿している。

ここで、スマートフォン１００は、サーバ２００を介して掃除ロボット３００ａから取得した撮影画像を、メッセージ８ｅの近傍に表示してよい。これにより、スマートフォン１００は、メッセージ８ｆと撮影画像とがメッセージ８ｅに対する掃除ロボット３００ａからのレスポンスであること（メッセージ８ｅと処理を実行した結果との対応付け）を、ユーザに認識させることができる。

以上の概略をまとめると、スマートフォン１００は以下のステップで処理を実行する。
（１）掃除ロボット３００ａおよび家庭内機器を特定する特定情報１ａおよび当該掃除ロボット等に所定の処理の実行を指示する指示情報１ｂを対応付けた画像５を、ユーザに選択可能に表示し、
（２）表示された画像５の中から少なくとも１つの画像がユーザによって選択された場合、当該画像を示す画像情報２をサーバ２００に送信することによって、特定情報１ａによって特定される掃除ロボットまたは家庭内機器に、指示情報１ｂによって指示される所定の処理を実行させる。

上記した従来の技術では、画像が指示情報しか含まないため、ユーザは操作しようとする外部の装置を指定しなければならない。すなわち、ユーザは操作対象となる装置を特定し、特定した装置に指示を送信するという明示的な操作を強いられる。

しかし、ユーザが真に所望するものは外部の機器が実現する「機能」であり、当該「機能」を実現するために主体となる装置は、任意であってもよい場合があるため、一律に上記明示的な操作を強いるインターフェースは、ユーザフレンドリーとは言えない。

これに対して、スマートフォン１００は、特定情報１ａおよび指示情報１ｂを対応付けた画像５を示す画像情報２を、サーバ２００に送信する。すなわち、スマートフォン１００は、画像情報２を常に「サーバ２００」に送信するため、「外部の機器を特定する」という明示的な操作をユーザに要求しない。

言い換えれば、スマートフォン１００は、制御対象である掃除ロボット３００ａまたは家庭内機器をユーザが指定するという明示的な操作がなくとも、ユーザに当該掃除ロボットまたは家庭内機器を制御させることができる。したがって、スマートフォン１００は、ユーザの利便性を向上させることができる。

〔スマートフォン１００の構成〕
図１に基づいて、スマートフォン１００の構成を説明する。図１は、スマートフォン１００の要部構成を示すブロック図である。ここで、本実施の形態に直接関係のない部分（例えば、電話回線を利用して通話を実現する部分など）を、以下に記載された構成の説明および上記ブロック図から省略した。ただし、実施の実情に則して、スマートフォン１００は当該省略した構成を含んでもよい。

なお、記載の簡潔性を担保する観点から、以下のブロック図の説明においては、家族伝言板システム４００（図４参照）に、スマートフォン（制御装置）１００、サーバ２００、掃除ロボット（被制御装置）３００ａ、およびテレビジョン受像機（被制御装置）３００ｂのみが含まれるとする。また、テレビジョン受像機３００ｂは、ネットワークに含まれておらず、サーバ２００から指示情報１ｂを受信できない状況であるとする。

以下、入力部４０（入力面４１、入力制御部４２）、制御部１０（処理指示部１１、実行可否判定部１２、実行結果取得部１３、投稿情報取得部１７）、通信部２０ａ（送信部２１ａ、受信部２２ａ）、表示部７０（表示制御部７１、表示面７２）の順序で各構成が担う機能を説明する。

入力部４０は、ユーザからの操作（ユーザ操作７ａ）を受け付ける。入力部４０は、入力面４１と入力制御部４２とを含む。

入力面４１は、ユーザ操作７ａにより指定された当該入力面上の位置を示す入力信号７ｂを、入力制御部４２に出力する。本実施の形態では、入力面４１としてマルチタッチを検出可能なタッチパネルであることが好ましい。ただし、入力面４１は、ユーザ操作７ａで接触位置を検知可能な入力機器でありさえすれば、ハードウェアの種類はタッチパネルに限定されない。

入力制御部４２は、入力面４１から入力された入力信号７ｂに基づいて入力情報７ｃを生成し、当該入力情報を画像表示部７１ａおよび処理指示部１１に出力する。ここで、入力情報７ｃは、ユーザによって画像選択ボタン４４がタッチされたことを示す情報と、ユーザによって画像５が選択されたことを示す情報とを、少なくとも含む。

制御部１０は、スマートフォン１００の各種機能を統括的に制御するものである。制御部１０は、処理指示部１１、実行可否判定部１２、実行結果取得部１３、および投稿情報取得部１７を含む。

処理指示部（指示手段）１１は、画像表示部７１ａによって表示された画像５の中から少なくとも１つの画像がユーザによって選択された場合、当該画像を示す画像情報２をサーバ２００に送信することによって、当該画像に対応付けられた特定情報１ａによって特定される掃除ロボット３００ａまたは家庭内機器に、指示情報１ｂによって指示される所定の処理を実行させる。

具体的には、入力制御部４２からユーザによって画像５が選択されたことを示す入力情報７ｃが入力されると、処理指示部１１は、当該画像を示す画像情報２を送信部２１ａに出力する。

なお、処理指示部１１は、画像５がユーザによって複数選択された場合、当該画像をそれぞれ示す複数の画像情報２をサーバ２００に送信することによって、それぞれの画像５に対応付けられた特定情報１ａによって特定される掃除ロボット３００ａまたは家庭内機器に、それぞれの画像５に対応付けられた指示情報１ｂによって指示される所定の処理を順次実行させることができる。上記処理の詳細を後で説明する。

実行可否判定部（第１の判定手段）１２は、受信部２２ａから機器情報３ｂが入力されると、掃除ロボット３００ａまたは家庭内機器が所定の処理を実行可能か否かを、当該機器情報に基づいて判定し、その判定結果６ａを処理指示部１１および画像表示部７１ａに出力する。

ここで、機器情報３ｂは、当該機器が有する機能や実行中の処理などに関する情報を含む。例えば、録画装置３００ｅが裏番組を並行して録画する機能を有していることや、エアコン３００ｃのフィルタが汚れているため一部機能が制限されていることや、掃除ロボット３００ａが写真を撮影中であることなどの情報を、機器情報３ｂは含む。

そして、実行可否判定部１２は、機器情報３ｂによって示される当該機器の状態のもとで、画像５に対応付けられた指示情報１ｂによって特定される所定の処理が、当該機器によって実行可能か否かを判定する。例えば、「掃除ロボット３００ａが写真を撮影中である」ことを機器情報３ｂが示す場合、実行可否判定部１２は、当該掃除ロボットが「掃除する」という処理を実行できないと判定する。

実行結果取得部（取得手段）１３は、掃除ロボット３００ａまたは家庭内機器によって所定の処理が実行された結果（実行結果３ａ）を、受信部２２ａを介してサーバ２００から取得し、実行結果３ａを一覧表示部７１ｂに出力する。

ここで、実行結果３ａは、例えばユーザが掃除ロボット３００ａに「周囲の写真を撮影する」処理を実行させた場合、当該掃除ロボットによって撮影され、サーバ２００を介して送信された画像である。

投稿情報取得部１７は、受信部２２ａから投稿情報４ｃが入力された場合、当該投稿情報を一覧表示部７１ｂに出力する。ここで、投稿情報４ｃは、あるスマートフォン１００から画像情報２による指示が行われたことを、他のスマートフォンのユーザに共有できるようにするために、画像情報２を受信したサーバ２００から送信された、メッセージ８ｂ（図６の（ａ）参照）を含む情報である。

通信部２０ａは、所定の通信方式にしたがう通信網を介して外部と通信する。外部機器との通信を実現する本質的な機能が備わってさえいればよく、通信回線、通信方式、または通信媒体などは限定されない。通信部２０ａは、例えばイーサネット（登録商標）アダプタなどの機器で構成できる。また、通信部２０ａは、例えばIEEE802.11無線通信、Bluetooth（登録商標）などの通信方式や通信媒体を利用できる。通信部２０ａは、送信部２１ａと受信部２２ａとを含む。

送信部２１ａは、処理指示部１１から入力された画像情報２を、サーバ２００へ送信する。

受信部２２ａは、サーバ２００から送信された実行結果３ａ、機器情報３ｂ、および投稿情報４ｃを受信し、それぞれ実行結果取得部１３、実行可否判定部１２、および投稿情報取得部１７へ出力する。

表示部７０は、家族伝言板および当該家族伝言板に含まれるコンテンツ（メッセージや画像など）をユーザに対して表示する。表示部７０は、表示制御部７１と表示面７２とを含む。

表示制御部７１は、家族伝言板および当該家族伝言板に含まれるコンテンツを表示面７２に表示できるように、表示用データ７ｄを表示面７２へ出力する。表示用データ７ｄは、例えばビットマップ形式の画像であってよいし、他の形式に従う画像、またはその他表示に適したデータ形式であってもよい。表示制御部７１は、画像表示部７１ａおよび一覧表示部７１ｂを含む。

画像表示部（第１の表示手段）７１ａは、特定情報１ａおよび指示情報１ｂを対応付けた画像５を、ユーザに選択可能に表示する。具体的には、ユーザによって画像選択ボタン４４がタッチされたことを示す入力情報７ｃが入力制御部４２から入力されると、画像表示部７１ａは、ユーザによって選択可能である画像５を複数表示する。

ただし、画像５に対応付けられた指示情報１ｂによって特定される所定の処理は、当該装置によって実行不可能であることを示す判定結果６ａが、実行可否判定部１２から入力された場合、画像表示部７１ａは、当該所定の処理に対応付けられた画像５を非表示にする、あるいは明度を落として表示する。

図７に基づいて、画像５が選択可能に表示される場合、表示面７２に表示される選択インターフェースの一例を説明する。図７の（ａ）および（ｂ）は、ユーザによって選択可能である画像５がリスト表示された画面例を示す模式図である。

図７の（ａ）に示すように、スマートフォン１００（画像表示部７１ａ）は、掃除ロボット３００ａに指示できる内容を表現した画像５を一覧可能に表示する。前述したように、掃除ロボット３００ａの状態（画像５の処理を実行できるか否か）に応じて、当該リスト表示が変化する。

例えば、「掃除ロボット３００ａが写真を撮影中である」ことを機器情報３ｂが示すことにより、当該掃除ロボットは「掃除する」という処理を実行できないと実行可否判定部１２によって判定された場合、「掃除ロボットに掃除させる」の選択肢は、選択不可能に表示される（例えば、非表示にされる、明度を落として表示されるなど）。

なお、選択不可能に表示された画像５をユーザが選択しようとした場合、掃除ロボット３００ａは「５分後でいい？」などのメッセージを家族伝言板に投稿することにより、当該ユーザに実行を待機するよう促してもよい。

図７の（ｂ）に示すように、スマートフォン１００（画像表示部７１ａ）は、家庭内機器（ここでは、テレビジョン受像機３００ｂ）に指示できる内容を表現した画像５を一覧可能に表示する。

ここで、テレビジョン受像機３００ｂが、（１）ネットワークに含まれており、サーバ２００から指示情報１ｂを受信できる状況、または（２）ネットワークに含まれておらず、サーバ２００から指示情報１ｂを受信できない状況のいずれかに依存して、一覧表示される画像は変化しない。上記（２）の状況であっても、掃除ロボット３００ａが当該指示情報をテレビジョン受像機３００ｂに中継することによって、上記（１）の状況である場合と同様に、ユーザは当該テレビジョン受像機を制御できるからである。

すなわち、上記（２）の状況において、ユーザがテレビジョン受像機３００ｂの電源を入れるよう制御する場合、スマートフォン１００は、「掃除ロボット３００ａ」を特定情報１ａとし、「テレビジョン受像機３００ｂの電源を入れる」を指示情報１ｂとして対応付けた画像５の画像情報２を、サーバ２００に送信できる。サーバ２００を介して上記指示情報１ｂを受信した掃除ロボット３００ａは、ＩｒＤＡや赤外線をテレビジョン受像機３００ｂに送信できる位置まで走行し、「テレビジョン受像機３００ｂの電源を入れる」処理を実行する。

このように、サーバ２００から家庭内機器に、掃除ロボット３００ａが指示情報１ｂを中継することにより、ユーザは上記（１）の状況であるか（２）の状況であるかを意識することなく、スマートフォン１００から家庭内機器を制御できる。なお、状況に応じて、特定情報１ａおよび指示情報１ｂを変更する処理は、サーバ２００の情報抽出部１６によって実行されてもよい（後で詳細に説明する）。

一覧表示部（第２の表示手段）７１ｂは、ユーザの間で共有された情報として、処理指示部１１によって送信された画像情報２を少なくとも１つ含む情報を、時系列の順番に一覧可能に表示する（図６の（ａ）および（ｂ）参照）。なお、一覧表示部７１ｂは、実行結果取得部１３によって実行結果３ａが取得された場合、一覧可能に表示したメッセージおよび画像５の近傍に当該実行結果をさらに表示してよい（図６の（ｂ）参照）。

表示面７２は、表示制御部７１から入力される表示用データ７ｄを表示する。本実施の形態では主に液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）を想定しているが、表示機能を有する装置（例えば、表示制御部７１から入力された表示用データ７ｄに基づき、表示素子を駆動するドライバ回路を備えた装置）でありさえすればハードウェアの種類は限定されない。

なお、各構成が有する機能を明示するために、図１は入力面４１と表示面７２とを分離して示すが、例えば入力面４１をタッチパネルで、表示面７２を液晶ディスプレイで実現する場合、図５の（ａ）に示すように、両者は一体として構成されてよい。これにより、入力面４１に対するユーザの指の接触位置と、表示面７２が当該接触に応じて表示する図形等の表示位置とが一致するため、ユーザは自然な入力感覚を得ることができる。

〔サーバ２００の構成〕
図２に基づいて、サーバ２００の構成を説明する。図２は、サーバ２００の要部構成を示すブロック図である。以下、通信部２０ｂ（送信部２１ｂ、受信部２２ｂ）、通信可否判定部１４、情報抽出部１６の順序で各構成が担う機能を説明する。

通信部２０ｂは、通信部２０ａと機能が同一であるため詳細な説明を省略する。通信部２０ｂは、送信部２１ｂと受信部２２ｂとを含む。

送信部（第１の送信手段）２１ｂは、受信部２２ｂによって受信された画像情報２が示す画像５に対応付けられた特定情報１ａによって特定される掃除ロボット３００ａまたは家庭内機器に、所定の処理の実行を指示する指示情報１ｂを送信する。

また、家庭内機器がネットワークに含まれており、サーバ２００から指示情報１ｂを受信できる状況（上記（１）の状況）か否か（上記（２）の状況）を調べるために、送信部２１ｂは、応答要求４ｂを当該家庭内機器に送信する。さらに、受信部２２ｂから実行結果３ａまたは機器情報３ｂが入力された場合、送信部２１ｂは当該実行結果または機器情報をスマートフォン１００に送信する。

さらに、複数のスマートフォン１００でメッセージを表示可能にするために、送信部２１ｂは、受信部２２ｂによって受信された画像５を含むメッセージ（例えば、図６の（ａ）におけるメッセージ８ｂなど）を作成し、すべてのスマートフォン１００に投稿情報４ｃを送信する。

受信部（第１の受信手段）２２ｂは、ユーザによって選択された画像５を示す画像情報２をスマートフォン１００から受信し、当該画像情報を情報抽出部１６に出力する。受信部２２ｂは、掃除ロボット３００ａから実行結果３ａまたは機器情報３ｂを受信した場合、当該実行結果または機器情報を送信部２１ｂに出力する。また、応答情報４ａを受信した場合、当該応答情報を通信可否判定部１４に出力する。

ここで、応答情報４ａは、送信部２１ｂから掃除ロボット３００ａまたは家庭内機器に送信された応答要求４ｂに対する応答として得られる情報である。すなわち、応答情報４ａは、当該掃除ロボットまたは家庭内機器がネットワークに含まれており、サーバ２００から指示情報１ｂを受信できる状況（上記（１）の状況）であることを示す。

具体的には、上記（１）の状況である場合、当該掃除ロボットまたは家庭内機器から応答情報４ａが受信されるため、受信部２２ｂは、上記（１）の状況であることを示す応答情報４ａを情報抽出部１６に出力する。一方、上記（２）の状況である場合、当該掃除ロボットまたは家庭内機器から応答情報４ａは受信されない。すなわち、一定時間を経過しても応答情報４ａが掃除ロボット３００ａまたは家庭内機器から受信されないことによって、通信可否判定部１４は、当該掃除ロボットまたは家庭内機器が上記（２）の状況にあると判定できる。

ここでは、掃除ロボット３００ａは上記（１）の状況にあるため、受信部２２ｂは当該掃除ロボットから応答情報４ａを受信すると、当該応答情報を通信可否判定部１４に出力する。一方、前述したように、テレビジョン受像機３００ｂは上記（２）の状況にあることが仮定されているため、当該テレビジョン受像機から応答情報４ａは受信されない。

通信可否判定部（第２の判定手段）１４は、情報抽出部１６から特定情報１ａが入力され、受信部２２ｂから応答情報４ａが入力された場合、当該特定情報によって特定される掃除ロボット３００ａまたは家庭内機器が、サーバ２００と通信可能に接続されている（上記（１）の状況にある）ことを示す判定結果６ｂを、情報抽出部１６に出力する。

一方、通信可否判定部１４は、情報抽出部１６から特定情報１ａが入力され、受信部２２ｂから応答情報４ａが入力されなかった場合、当該特定情報によって特定される掃除ロボット３００ａまたは家庭内機器が、サーバ２００と通信可能に接続されていない（上記（２）の状況にある）ことを示す判定結果６ｂを、情報抽出部１６に出力する。

情報抽出部１６は、受信部２２ｂから画像情報２が入力されると、当該画像情報が示す画像５に対応付けられた特定情報１ａおよび指示情報１ｂを、当該画像から抽出する。そして、情報抽出部１６は、抽出した特定情報１ａを通信可否判定部１４と送信部２１ｂとに出力し、指示情報１ｂを送信部２１ｂに出力する。

ここで、特定情報１ａおよび指示情報１ｂは、次のようにそれぞれ画像５と対応付けられている。例えば、画像５のデータのメタ情報（例えばＥｘｉｆヘッダなど）に、特定情報１ａおよび指示情報１ｂが格納されている。

あるいは、画像５を格納するパスの名前を用いて、画像５と特定情報１ａおよび指示情報１ｂとが対応付けられていてもよい。例えば、「/image/cleaner/photo.jpg」は掃除ロボット３００ａに写真を撮影させることを表し、「/image/cleaner/moveForward.jpg」は掃除ロボット３００ａを前進させることを表し、「/image/tv/on.jpg」はテレビジョン受像機３００ｂの電源を入れることを表し、「/image/tv/off.jpg」テレビジョン受像機３００ｂの電源を切ることを表す、などであってよい。

特定情報１ａによって特定される掃除ロボット３００ａまたは家庭内機器は上記（２）の状況であることを、通信可否判定部１４から入力された判定結果６ｂが示す場合、情報抽出部１６は、特定情報１ａおよび指示情報１ｂを変更してもよい。

例えば、特定情報１ａが「テレビジョン受像機３００ｂ」、指示情報１ｂが「電源を入れる」であった場合、当該テレビジョン受像機は上記（２）の状況であると判定されるため、情報抽出部１６は、特定情報１ａが「掃除ロボット３００ａ」、指示情報１ｂが「テレビジョン受像機３００ｂの電源を入れる」となるように、特定情報１ａおよび指示情報１ｂをそれぞれ変更する。

すなわち、サーバ２００は、家庭内機器（被制御装置）がサーバ２００と通信可能に接続されているか否かを判定する通信可否判定部（第２の判定手段）１４をさらに備え、送信部（第１の送信手段）２１ｂは、通信可否判定部（第２の判定手段）１４によって接続されていないと判定される場合、サーバ２００と家庭内機器（被制御装置）とに通信可能に接続された掃除ロボット（他の被制御装置）３００ａに、所定の処理の実行を指示する指示情報１ｂを家庭内機器（被制御装置）へ中継させることによって、当該家庭内機器（被制御装置）に当該所定の処理の実行を指示する指示情報１ｂを送信できる。

なお、サーバ２００における画像情報２以外のメッセージ（例えば、ユーザのテキスト入力によるメッセージや写真の投稿など）の送受信を、図２は示していない。しかし、情報抽出部１６により特定情報１ａまたは指示情報１ｂを抽出できなかった場合、送信部２１ｂは、単に受信部２２ｂで受信したメッセージをスマートフォン１００で表示可能となるように送信する。

〔掃除ロボット３００ａの構成〕
図３の（ａ）に基づいて、掃除ロボット３００ａの構成を説明する。図３の（ａ）は、掃除ロボット３００ａの要部構成を示すブロック図である。以下、通信部２０ｃ（送信部２１ｃ、受信部２２ｃ、受信部２２ｄ）、処理実行部１５ａの順序で各構成が担う機能を説明する。

通信部２０ｃは、通信部２０ａと機能が同一であるため詳細な説明を省略する。通信部２０ｃは、送信部２１ｃと受信部２２ｃとを含む。

送信部（第２の送信手段）２１ｃは、受信部２２ｃから指示情報１ｂが入力された場合、家庭内機器（テレビジョン受像機３００ｂ）に当該指示情報を送信する。また、受信部２２ｃから応答要求４ｂが入力された場合、送信部２１ｃは、サーバ２００に応答情報４ａまたは機器情報３ｂを送信する。さらに、処理実行部１５ａから実行結果３ａが入力された場合、送信部２１ｃは、当該実行結果をサーバ２００に送信する。

受信部（第２の受信手段、第３の受信手段）２２ｃは、サーバ２００から所定の処理の実行を指示する指示情報１ｂを受信する。受信部２２ｃは、受信した指示情報１ｂを処理実行部１５ａに出力する。指示情報１ｂを家庭内機器に中継する場合、受信部２２ｃは、当該指示情報を送信部２１ｃにも出力する。

すなわち、掃除ロボット（被制御装置）３００ａは、所定の処理の実行を指示する指示情報１ｂを中継することを示す情報を受信する受信部（第３の受信手段）２２ｃと、受信部（第３の受信手段）２２ｃによって中継することを示す情報が受信された場合、当該情報によって示される外部のテレビジョン受像機（被制御装置）３００ｂに、受信部（第２の受信手段）２２ｃによって受信された所定の処理の実行を指示する指示情報１ｂを送信する送信部（第２の送信手段）２１ｃとをさらに備えてよい。

処理実行部（実行手段）１５ａは、受信部２２ｃによって受信された指示情報１ｂにしたがって、所定の処理（例えば、掃除ロボット３００ａを１ｍ前進させる、掃除ロボット３００ａを右に９０°回転させるなど、図７の（ａ）参照）を実行する。処理実行部１５ａは、当該所定の処理を実行した結果（実行結果３ａ）を送信部２１ｃに出力する。

〔テレビジョン受像機３００ｂの構成〕
図３の（ｂ）に基づいて、テレビジョン受像機３００ｂの構成を説明する。図３の（ｂ）は、テレビジョン受像機３００ｂの要部構成を示すブロック図である。

受信部（第２の受信手段）２２ｄは、掃除ロボット３００ａから所定の処理の実行を指示する指示情報１ｂを受信し、当該指示情報を処理実行部１５ｂに出力する。

処理実行部（実行手段）１５ｂは、受信部２２ｄによって受信された指示情報１ｂにしたがって、所定の処理（例えば、電源を入れる、電源を切るなど、図７の（ｂ）参照）を実行する。

〔複数の画像５を一度に投稿する例〕
図８に基づいて、ユーザが複数の画像５を一度に投稿することによって、掃除ロボット３００ａまたは家庭内機器に一連の処理を順次実行させる例を説明する。図８は、ユーザが複数の画像５を一度に投稿すると、当該画像によって特定される一連の処理の実行結果が、掃除ロボット３００ａによって投稿された家族伝言板の様子を表す模式図である。

図８に示すように、ユーザは掃除ロボット３００ａに「１ｍ前進する」、「右に９０°回転する」、「周囲の写真を撮影する」ことを指示する３つの画像５を、メッセージ８ｇとして家族伝言板に一度に投稿できる。

すなわち、ユーザによって画像選択ボタン４４（図６参照）がタッチされると、スマートフォン１００はユーザによって選択可能である画像を複数表示し、複数選択された画像５をそれぞれ示す複数の画像情報２をサーバ２００に送信できる。これにより、スマートフォン１００は、一連の処理に含まれる各処理の実行を指示するために、ユーザに何度も画像５を投稿させるという手間を省くことができる。

複数の画像情報２を受信したサーバ２００は、当該画像情報が示す画像５に対応付けられた特定情報１ａによって特定される装置に、所定の処理の実行を指示する指示情報１ｂを送信する。

図８に示される例では、サーバ２００は、特定情報１ａによって特定される「掃除ロボット３００ａ」に、「１ｍ前進する」、「右に９０°回転する」、「周囲の写真を撮影する」という３つの指示情報１ｂを送信する。

指示情報１ｂを受信した掃除ロボット３００ａは、上記３つの処理を順次実行する。ここで、当該掃除ロボットは、「１ｍ前進する」および「右に９０°回転する」を実行した結果をサーバ２００に送信せず、「周囲の写真を撮影する」を実行した結果のみをメッセージ８ｈとして家族伝言板に投稿することに注意する。

すなわち、ユーザが複数の画像５を一度に投稿したことによって、掃除ロボット３００ａが複数の指示情報１ｂを受信した場合、当該掃除ロボットは、最終的な結果のみを投稿し、中間的な結果を投稿しない。これにより、掃除ロボット３００ａは、中間的な結果を確認するというユーザの手間を省くことができる。

なお、互いに矛盾する指示情報１ｂを受信した装置は、当該指示情報によって特定される所定の処理を実行しなくともよい。例えば、「１ｍ前進する」、「１ｍ後退する」という２つの指示情報１ｂを受信した掃除ロボット３００ａは、当該２つの指示情報によって特定される処理を実行せず、その場に待機してもよい。あるいは、「電源を入れる」、「電源を切る」という２つの指示情報１ｂを受信したテレビジョン受像機３００ｂは、当該２つの指示情報によって特定される処理を実行せず、電源を切った状態を保ってもよい。

図８に示される例では、ユーザは掃除ロボット３００ａのみ（すなわち同一の装置）に対して処理の実行を指示しているが、一連の処理に含まれる各処理の実行を指示する対象は、互いに異なる装置であってもよい。

また、１つの画像５に複数の特定情報１ａおよび指示情報１ｂが対応付けられており、ユーザが当該１つの画像を選択することによって、掃除ロボット３００ａまたは家庭内機器に一連の処理を実行させてもよい。これにより、スマートフォン１００は、一連の処理に含まれる各処理の実行を指示するために、ユーザに何度も画像５を選択させるという手間を省くことができる。

〔テレビジョン受像機３００ｂから画像を投稿する例〕
テレビジョン受像機３００ｂがネットワークに含まれる場合、ユーザは当該テレビジョン受像機から画像５を投稿することもできる。

すなわち、ユーザがテレビジョン受像機３００ｂを操作可能なインターフェース（例えばリモコン）を介して画像５を選択すると、当該テレビジョン受像機（制御装置）は、当該画像を示す画像情報２をサーバ２００に送信することによって、当該画像に対応付けられた特定情報１ａによって特定される装置（例えば、掃除ロボット３００ａや、エアコン３００ｃなどの家庭内機器）に、当該画像に対応付けられた指示情報１ｂによって指示される所定の処理を実行させることができる。

これにより、テレビジョン受像機３００ｂは、例えば２階でテレビを観ているユーザが、テレビを観ながら１階にあるエアコン３００ｃの電源を入れるなど、より利便性の高い使い方を提供できる。

〔家族伝言板システム４００において実行される処理〕
図９に基づいて、家族伝言板システム４００において実行される処理の流れを説明する。図９は、家族伝言板システム４００（スマートフォン１００、サーバ２００、掃除ロボット３００ａ）において実行される処理の一例を示すフローチャートである。なお、以下の説明において、カッコ書きの「〜ステップ」は、スマートフォン１００の制御方法の各ステップを表す。

画像表示部７１ａは、特定情報１ａ（ここでは「掃除ロボット３００ａ」を示す）および指示情報１ｂ（ここでは「周囲の写真を撮影する」を示す）を対応付けた画像５を、ユーザに選択可能に表示する（ステップ１：以下「Ｓ１」のように略記する、表示ステップ）。ユーザによって画像５が選択されたことが入力部４０（入力面４１、入力制御部４２）によって検知されると（Ｓ２においてＹＥＳ）、処理指示部１１は、選択された画像５を示す画像情報２をサーバ２００に送信する（Ｓ３、指示ステップ）。

サーバ２００の受信部２２ｂが当該画像情報を受信すると（Ｓ４）、送信部２１ｂは、当該画像情報を含むメッセージの投稿情報４ｃを、複数のスマートフォン１００に送信する（Ｓ２４）。それぞれのスマートフォン１００の受信部２２ａは当該投稿情報を受信し（Ｓ２５）、一覧表示部７１ｂは上記メッセージを一覧可能に表示する（Ｓ２６）。

サーバ２００の情報抽出部１６は、画像情報２によって示される画像５に対応付けられた特定情報１ａおよび指示情報１ｂを抽出する（Ｓ５）。情報抽出部１６によって画像５から特定情報１ａおよび指示情報１ｂが抽出された場合（Ｓ２７においてＹＥＳ）、送信部２１ｂは、抽出された特定情報１ａによって示される装置（ここでは掃除ロボット３００ａ）に、応答要求４ｂを送信する（Ｓ６）。

なお、情報抽出部１６によって画像５から特定情報１ａおよび指示情報１ｂの少なくとも一方が抽出されなかった場合（Ｓ２７においてＮＯ）、サーバ２００は、画像５を通常のメッセージ投稿とみなし、以降の処理をスキップして終了する。

掃除ロボット３００ａの受信部２２ｃが当該応答要求を受信すると（Ｓ７）、送信部２１ｃは応答情報４ａおよび機器情報３ｂをサーバ２００に送信する（Ｓ８）。

サーバ２００の受信部２２ｂが当該応答情報および機器情報を受信すると（Ｓ９）、当該掃除ロボットは通信可能（上記（１）の状況）であると通信可否判定部１４が判定し（Ｓ１０においてＹＥＳ）、送信部２１ｂは当該掃除ロボットに指示情報１ｂを送信する（Ｓ１１）。また、送信部２１ｂは、機器情報３ｂをスマートフォン１００に送信する（Ｓ１２）。スマートフォン１００の受信部２２ａは、当該機器情報を受信する（Ｓ１３）。

掃除ロボット３００ａの受信部２２ｃが指示情報１ｂを受信すると（Ｓ１４）、処理実行部１５ａが、当該指示情報によって特定される所定の処理を実行する（Ｓ１５）。そして、送信部２１ｃが実行結果３ａをサーバ２００に送信する（Ｓ１６）。

サーバ２００の受信部２２ｂが当該実行結果を受信すると（Ｓ１７）、送信部２１ｂが当該実行結果をスマートフォン１００に送信する（Ｓ１８）。スマートフォン１００の受信部２２ａは、実行結果３ａを受信する（Ｓ１９）。スマートフォン１００は、サーバ２００を介して掃除ロボット３００ａから取得した撮影画像を、メッセージの近傍に表示する（図６の（ｂ）参照）。

図１０に基づいて、家族伝言板システム４００において実行される異なる処理の流れを説明する。図１０は、家族伝言板システム４００（スマートフォン１００、サーバ２００、掃除ロボット３００ａ、テレビジョン受像機３００ｂ）において実行される異なる処理の一例を示すフローチャートである。なお、図１０において、図９を参照して説明した処理と同一の処理の説明を、先と同一の符号を振ることにより省略することがある（Ｓ１〜Ｓ５、Ｓ１１〜Ｓ１４、Ｓ１６〜Ｓ１９、Ｓ２４〜Ｓ２７の説明を省略した）。

サーバ２００の送信部２１ｂが、抽出された特定情報１ａによって示される装置（ここではテレビジョン受像機３００ｂ）に応答要求４ｂを送信するが（Ｓ６）、前述したように、テレビジョン受像機３００ｂはネットワークに接続されていないため、当該応答要求は当該テレビジョン受像機によって受信されず、応答情報４ａも得られない。

一定時間を経過しても応答情報４ａがテレビジョン受像機３００ｂから受信されないことによって、通信可否判定部１４は、当該テレビジョン受像機が上記（２）の状況にあると判定する（Ｓ１０においてＮＯ）。

例えば、特定情報１ａが「テレビジョン受像機３００ｂ」、指示情報１ｂが「電源を入れる」であった場合、情報抽出部１６は、特定情報１ａが「掃除ロボット３００ａ」、指示情報１ｂが「テレビジョン受像機３００ｂの電源を入れる」となるように、特定情報１ａおよび指示情報１ｂをそれぞれ変更する（Ｓ２０）。

掃除ロボット３００ａの送信部２１ｃは、変更された指示情報１ｂをテレビジョン受像機３００ｂに送信する（Ｓ２１）。テレビジョン受像機３００ｂの受信部２２ｄが当該指示情報を受信すると（Ｓ２２）、処理実行部１５ｂが当該指示情報によって特定される所定の処理を実行する（Ｓ２３）。

なお、図９および図１０においては、Ｓ４においてサーバ２００が画像情報２を受信した後、Ｓ６において応答要求４ｂを送信し、Ｓ９で応答情報４ａおよび機器情報３ｂを受信しているが、それぞれのタイミングはこれに限られない。例えば、画像情報２の受信の有無に関わらず、サーバ２００が定期的に応答要求４ｂを送信したり、掃除ロボット３００ａが定期的に応答情報４ａに類する情報や機器情報３ｂを送信してもよい。

〔スマートフォン１００が奏する効果〕
スマートフォン１００は、制御対象である掃除ロボット３００ａまたは家庭内機器をユーザが指定するという明示的な操作がなくとも、ユーザに当該掃除ロボットまたは家庭内機器を制御させることができる。したがって、スマートフォン１００は、ユーザの利便性を向上させることができるという効果を奏する。

〔まとめ〕
本発明の一態様に係る制御装置（スマートフォン１００、テレビジョン受像機３００ｂ）は、
（１）サーバを介して被制御装置を制御する制御装置であって、
（２）前記被制御装置を特定する特定情報および当該被制御装置に所定の処理の実行を指示する指示情報を対応付けた画像を、ユーザに選択可能に表示する第１の表示手段と、
（３）前記第１の表示手段によって表示された画像の中から少なくとも１つの画像がユーザによって選択された場合、当該画像を示す画像情報を前記サーバに送信することによって、当該画像に対応付けられた特定情報によって特定される被制御装置に、当該画像に対応付けられた指示情報によって指示される所定の処理を実行させる指示手段とを備えている。

また、本発明の一態様に係る制御装置の制御方法は、
（１）サーバを介して被制御装置を制御する制御装置の制御方法であって、
（２）前記被制御装置を特定する特定情報および当該被制御装置に所定の処理の実行を指示する指示情報を対応付けた画像を、ユーザに選択可能に表示する第１の表示ステップと、
（３）前記第１の表示ステップにおいて表示された画像の中から少なくとも１つの画像がユーザによって選択された場合、当該画像を示す画像情報を前記サーバに送信することによって、当該画像に対応付けられた特定情報によって特定される被制御装置に、当該画像に対応付けられた指示情報によって指示される所定の処理を実行させる指示ステップとを含んでいる。

上記した従来の技術では、制御しようとする外部の装置（例えばテレビジョン受像機など）に関する情報を含まないため、ユーザは当該装置を指定しなければならない。すなわち、ユーザは制御しようとする外部の装置を特定し、特定した装置に指示を送信するという明示的な操作を強いられる。

しかし、ユーザが真に所望するものは外部の機器が実現する「機能」であり、当該「機能」を実現するために主体となる装置は任意であってもよい場合があるため、一律に上記明示的な操作を強いるインターフェースは、ユーザフレンドリーとは言えない。

これに対して、上記構成（１）〜（３）によれば、本発明の一態様に係る制御装置および当該装置の制御方法は、被制御装置を特定する特定情報および当該被制御装置に所定の処理の実行を指示する指示情報を対応付けた画像を示す画像情報を、サーバに送信する。すなわち、上記制御装置等は、画像情報を常にサーバに送信するため、「外部の機器を特定する」という明示的な操作をユーザに要求しない。

言い換えれば、上記制御装置等は、制御対象である被制御装置をユーザが指定するという明示的な操作がなくとも、ユーザに当該被制御装置を制御させることができる。したがって、上記制御装置等は、ユーザの利便性を向上させることができる。

また、本発明の一態様に係る制御装置では、
（１）前記指示手段は、あらかじめ登録されたユーザの間で情報を共有可能なサービスを提供するサーバに、前記画像情報を送信し、
（２）前記ユーザの間で共有された情報として、前記指示手段によって送信された画像情報を少なくとも１つ含む情報を時系列の順番に一覧可能に表示する第２の表示手段をさらに備えてもよい。

上記構成（１）〜（２）によれば、本発明の一態様に係る制御装置は、ユーザの間で情報を共有可能なサービス（例えば、ソーシャル・ネットワーク・サービス）を提供するサーバに画像情報を送信するため、当該サービスを利用する複数のユーザに当該画像情報を共有させることができる。

また、上記制御装置は、ユーザによって投稿されたメッセージやユーザの指示によって送信された画像情報などを時系列の順番に一覧可能に表示するため、「誰が」、「何に」、「どのような指示を」送信したかを、すべてのユーザに把握させることができる。したがって、上記制御装置は、ユーザの利便性をさらに向上させることができる。

また、本発明の一態様に係る制御装置は、
（１）前記被制御装置によって所定の処理が実行された結果を、前記サーバから取得する取得手段をさらに備え、
（２）前記第２の表示手段は、前記取得手段によって実行された結果が取得された場合、一覧可能に表示した情報の近傍に当該実行された結果をさらに表示してもよい。

上記構成（１）〜（２）によれば、本発明の一態様に係る制御装置は、実行された結果が一覧可能に表示した情報に対する応答であることを、ユーザに認識させることができる。したがって、上記制御装置は、ユーザの利便性をさらに向上させることができる。

また、本発明の一態様に係る制御装置では、
（１）前記指示手段は、前記画像がユーザによって複数選択された場合、当該画像をそれぞれ示す複数の画像情報を前記サーバに送信することによって、それぞれの画像に対応付けられた特定情報によって特定される被制御装置に、それぞれの画像に対応付けられた指示情報によって指示される所定の処理を順次実行させてもよい。

上記構成（１）によれば、本発明の一態様に係る制御装置は、一連の処理に含まれる各処理の実行を指示するために、何度も画像を選択するというユーザの手間を省くことができる。したがって、上記制御装置は、ユーザの利便性をさらに向上させることができる。

また、本発明の一態様に係る制御装置は、
（１）前記被制御装置が前記所定の処理を実行可能か否かを判定する第１の判定手段をさらに備え、
（２）前記第１の表示手段は、前記第１の判定手段によって実行不可能と判定される場合、当該所定の処理に対応付けられた画像を表示しなくともよい。

上記構成（１）によれば、本発明の一態様に係る制御装置は、被制御装置が所定の処理を実行可能か否かに応じて、ユーザが画像を選択する幅を制限することができる。したがって、上記制御装置は、当該選択に必要となるユーザの負担を軽減できるため、ユーザの利便性をさらに向上させることができる。

本発明の一態様に係るサーバ（サーバ２００）は、
（１）上記制御装置と通信可能に接続されたサーバであって、
（２）ユーザによって選択された画像を示す画像情報を前記制御装置から受信する第１の受信手段と、
（３）前記第１の受信手段によって受信された画像情報が示す画像に対応付けられた特定情報によって特定される被制御装置に、前記所定の処理の実行を指示する指示情報を送信する第１の送信手段とを備えてもよい。

上記構成（１）〜（３）によれば、本発明の一態様に係るサーバは、特定情報によって特定される被制御装置に指示情報を中継する。これにより、上記サーバは、制御装置に上記明示的な操作を要求させないようにすることができる。したがって、上記サーバは、ユーザの利便性を向上させることができる。

本発明の一態様に係る被制御装置（掃除ロボット３００ａ、テレビジョン受像機３００ｂ、エアコン３００ｃ、照明装置３００ｄ、録画装置３００ｅ）は、
（１）上記サーバを介して、上記制御装置によって制御される被制御装置であって、
（２）所定の処理の実行を指示する指示情報を受信する第２の受信手段と、
（３）前記第２の受信手段によって受信された指示情報にしたがって、前記所定の処理を実行する実行手段とを備えてもよい。

上記構成（１）〜（３）によれば、本発明の一態様に係る被制御装置は、上記サーバによって中継された指示情報を実行できる。これにより、上記被制御装置は、制御装置に上記明示的な操作を要求させることなく、当該制御装置から指示された所定の処理を実行できる。したがって、上記被制御装置は、ユーザの利便性を向上させることができる。

本発明の一態様に係る制御システム（家族伝言板システム４００）は、
（１）上記制御装置と、
（２）上記サーバと、
（３）上記被制御装置とを含んでよい。

上記の構成（１）〜（３）によれば、本発明の一態様に係る制御システムは、上記制御装置、上記サーバ、または上記被制御装置と同様の効果を奏する。

なお、前記制御装置、サーバ、および被制御装置は、コンピュータによって実現されてもよい。この場合、コンピュータを前記制御装置、サーバ、および被制御装置の各手段として動作させることにより、前記制御装置、サーバ、または被制御装置をコンピュータで実現させる制御プログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。

〔各実施の形態に含まれる構成（技術的手段）の組み合わせについて〕
上述した実施の形態に含まれる構成は、適宜組み合わせられることに注意する。すなわち、上記の実施の形態で説明したすべての構成は、当該説明に係る実施の形態のみならず、他の実施の形態においても当該構成の全部または一部を組み合わせて利用でき、それによって得られる実施の形態についても本発明の技術的範囲に含まれる。

〔ソフトウェアによる実現例〕
最後に、スマートフォン１００、サーバ２００、掃除ロボット３００ａ、およびテレビジョン受像機３００ｂの各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、スマートフォン１００、サーバ２００、掃除ロボット３００ａ、およびテレビジョン受像機３００ｂは、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備える。そして、本発明の目的は、上述した機能を実現するソフトウェアであるスマートフォン１００、サーバ２００、掃除ロボット３００ａ、およびテレビジョン受像機３００ｂの制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記スマートフォン１００、サーバ２００、掃除ロボット３００ａ、またはテレビジョン受像機３００ｂに供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、一時的でない有形の媒体（non-transitory tangible medium）、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、スマートフォン１００、サーバ２００、掃除ロボット３００ａ、またはテレビジョン受像機３００ｂを通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

このように、本明細書においては、手段とは必ずしも物理的手段を意味せず、各手段の機能がソフトウェアによって実現される場合も含む。また、１つの手段の機能が２つ以上の物理的手段により実現されてもよいし、２つ以上の手段の機能が１つの物理的手段により実現されてもよい。

本発明は、スマートフォン、タブレット端末、パーソナルコンピュータ、テレビジョン受像機など、サーバを介して被制御装置を制御可能な装置等に適用できる。

１ａ 特定情報（特定情報）
１ｂ 指示情報（指示情報）
２ 画像情報（画像情報）
３ａ 実行結果（実行された結果）
５ 画像（画像）
１１ 処理指示部（指示手段）
１２ 実行可否判定部（第１の判定手段）
１３ 実行結果取得部（取得手段）
１４ 通信可否判定部（第２の判定手段）
１５ａ 処理実行部（実行手段）
１５ｂ 処理実行部（実行手段）
２１ｂ 送信部（第１の送信手段）
２１ｃ 送信部（第２の送信手段）
２２ｂ 受信部（第１の受信手段）
２２ｃ 受信部（第２の受信手段、第３の受信手段）
２２ｄ 受信部（第２の受信手段）
７１ａ 画像表示部（第１の表示手段）
７１ｂ 一覧表示部（第２の表示手段）
１００ スマートフォン（制御装置）
２００ サーバ（サーバ）
３００ａ 掃除ロボット（被制御装置）
３００ｂ テレビジョン受像機（制御装置、被制御装置）
３００ｃ 空調装置（被制御装置）
３００ｄ 照明装置（被制御装置）
３００ｅ 録画装置（被制御装置）
４００ 家族伝言板システム（制御システム）

Claims (11)

1. サーバを介して被制御装置を制御する制御装置であって、
   前記被制御装置を特定する特定情報および当該被制御装置に所定の処理の実行を指示する指示情報を対応付けた画像を、ユーザに選択可能に表示する第１の表示手段と、
   前記第１の表示手段によって表示された画像の中から少なくとも１つの画像がユーザによって選択された場合、当該画像を示す画像情報を前記サーバに送信することによって、当該画像に対応付けられた特定情報によって特定される被制御装置に、当該画像に対応付けられた指示情報によって指示される所定の処理を実行させる指示手段とを備えたことを特徴とする制御装置。
2. 前記指示手段は、あらかじめ登録されたユーザの間で情報を共有可能なサービスを提供するサーバに、前記画像情報を送信し、
   前記ユーザの間で共有された情報として、前記指示手段によって送信された画像情報を少なくとも１つ含む情報を時系列の順番に一覧可能に表示する第２の表示手段をさらに備えたことを特徴とする請求項１に記載の制御装置。
3. 前記被制御装置によって所定の処理が実行された結果を、前記サーバから取得する取得手段をさらに備え、
   前記第２の表示手段は、前記取得手段によって実行された結果が取得された場合、一覧可能に表示した情報の近傍に当該実行された結果をさらに表示することを特徴とする請求項２に記載の制御装置。
4. 前記指示手段は、前記画像がユーザによって複数選択された場合、当該画像をそれぞれ示す複数の画像情報を前記サーバに送信することによって、それぞれの画像に対応付けられた特定情報によって特定される被制御装置に、それぞれの画像に対応付けられた指示情報によって指示される所定の処理を順次実行させることを特徴とする請求項１から３のいずれか１項に記載の制御装置。
5. 前記被制御装置が前記所定の処理を実行可能か否かを判定する第１の判定手段をさらに備え、
   前記第１の表示手段は、前記第１の判定手段によって実行不可能と判定される場合、当該所定の処理に対応付けられた画像を表示しないことを特徴とする請求項１から４のいずれか１項に記載の制御装置。
6. 請求項１から５のいずれか１項に記載の制御装置と通信可能に接続されたサーバであって、
   ユーザによって選択された画像を示す画像情報を前記制御装置から受信する第１の受信手段と、
   前記第１の受信手段によって受信された画像情報が示す画像に対応付けられた特定情報によって特定される被制御装置に、前記所定の処理の実行を指示する指示情報を送信する第１の送信手段とを備えたことを特徴とするサーバ。
7. 請求項６に記載のサーバを介して、請求項１から５のいずれか１項に記載の制御装置によって制御される被制御装置であって、
   所定の処理の実行を指示する指示情報を受信する第２の受信手段と、
   前記第２の受信手段によって受信された指示情報にしたがって、前記所定の処理を実行する実行手段とを備えたことを特徴とする被制御装置。
8. 請求項１から５のいずれか１項に記載の制御装置と
   請求項６に記載のサーバと、
   請求項７に記載の被制御装置とを含むことを特徴とする制御システム。
9. サーバを介して被制御装置を制御する制御装置の制御方法であって、
   前記被制御装置を特定する特定情報および当該被制御装置に所定の処理の実行を指示する指示情報を対応付けた画像を、ユーザに選択可能に表示する第１の表示ステップと、
   前記第１の表示ステップにおいて表示された画像の中から少なくとも１つの画像がユーザによって選択された場合、当該画像を示す画像情報を前記サーバに送信することによって、当該画像に対応付けられた特定情報によって特定される被制御装置に、当該画像に対応付けられた指示情報によって指示される所定の処理を実行させる指示ステップとを含むことを特徴とする制御装置の制御方法。
10. 請求項１から５のいずれか１項に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを前記各手段として機能させるための制御プログラム。
11. 請求項１０に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images