CN103716653B - 控制装置及其控制方法、控制系统 - Google Patents

Abstract

本发明提供一种控制装置及其控制方法、控制系统。智能手机(100)包括：图像显示部(71a)，以用户可选的方式显示与确定清洁机器人的确定信息以及指示该清洁机器人执行指定处理的指示信息相对应的图像；以及处理指示部(11)，在用户从显示的图像中选择了至少一个图像的情况下，将表示该图像的图像信息(2)发送给服务器(200)，据此使由与该图像对应的确定信息确定的清洁机器人执行由与该图像对应的指示信息指示的指定处理。

Description

控制装置及其控制方法、控制系统

技术领域

本发明涉及经由服务器控制被控制装置的控制装置等。

背景技术

很久以来一直在研究经由指定接口操作外部设备的方法的相关技术。尤其是，随着该外部设备可执行的处理的进步，上述操作变得更加复杂，因此近年来广泛尝试改善上述接口。

例如，开发了能够通过简单的图解(イラスト)(图像)指定处理的接口。下述专利文献1中公开了一种图像数据接收装置，通过从外部接收存储了指定本装置中应执行的处理的信息(处理指定信息)的图像数据，能够从仅具有图像数据发送功能的操作装置自如地进行操作。

现有技术文献

专利文献

专利文献1：日本公开特许公报“特开2009-118448号公报(2009年5月28日公开)”

在上述专利文献1公开的技术中，图像数据仅包含“处理指定信息”，因此用户必须指定要操作的外部装置。即，用户不得不做出明示的操作，以确定作为操作对象的装置，并对所确定的装置发送指示(例如，将遥控器的红外线发送部对准电视机等)。

但是，上述不得不做出明示操作的接口对用户并不友好。这是因为，用户真正期望的是外部设备所实现的“功能”，有时用于实现该“功能”的主体装置可以为任意装置。

发明内容

本发明鉴于上述问题而作，其目的在于提供一种控制装置等，即使不进行由用户指定要操作的外部装置这一明示操作，也能够控制该外部装置，据此提高用户的便利性。

为了解决上述问题，本发明的一方式所涉及的控制装置经由服务器控制被控制装置，该控制装置包括：第一显示单元，以用户可选的方式显示与确定所述被控制装置的确定信息以及指示该被控制装置执行指定处理的指示信息相对应的图像；以及指示单元，在用户从所述第一显示单元显示的图像中选择了至少一个图像的情况下，将表示该图像的图像信息发送给所述服务器，据此使由与该图像对应的确定信息确定的被控制装置执行由与该图像对应的指示信息指示的指定处理。

另外，为了解决上述问题，本发明的一方式所涉及的控制装置的控制方法是经由服务器控制被控制装置的控制装置的控制方法，包括：第一显示步骤，以用户可选的方式显示与确定所述被控制装置的确定信息以及指示该被控制装置执行指定处理的指示信息相对应的图像；以及指示步骤，在用户从所述第一显示步骤显示的图像中选择了至少一个图像的情况下，将表示该图像的图像信息发送给所述服务器，据此使由与该图像对应的确定信息确定的被控制装置执行由与该图像对应的指示信息指示的指定处理。

发明效果

根据本发明的一方式，利用控制装置以及该装置的控制方法，即使不进行由用户指定作为控制对象的被控制装置这一明示操作，也能够使用户控制该被控制装置。因此，上述控制装置等收到能够提高用户的方便性的效果。

附图说明

图1是表示本发明的一实施方式所涉及的智能手机的主要部分结构的框图。

图2是表示本发明的一实施方式所涉及的服务器的主要部分结构的框图。

图3的(a)是表示本发明的一实施方式所涉及的清洁机器人的主要部分结构的框图，(b)是表示本发明的一实施方式所涉及的电视接收机的主要部分结构的框图。

图4是表示本发明的一实施方式所涉及的家庭留言板系统的概要的图。

图5的(a)是表示上述智能手机的外观例的示意图，(b)是表示用户进行的该智能手机的操作例的示意图。

图6的(a)及(b)是表示在上述家庭留言板中用户与上述清洁机器人之间进行的消息及图像的交换的示意图。

图7的(a)及(b)是表示列表显示用户可选的图像的画面例的示意图。

图8是表示用户一次发表多个图像后，上述清洁机器人发表了由该图像确定的一系列处理的执行结果的家庭留言板的情形的示意图。

图9是表示上述家庭留言板系统中执行的处理的一例的流程图。

图10是表示上述家庭留言板系统中执行的不同处理的一例的流程图。

具体实施方式

基于图1～图10来详细说明本发明的实施方式。

[家庭留言板系统400的概要]

基于图4说明本发明的一实施方式所涉及的家庭留言板系统400的概要。图4是表示家庭留言板系统400的概要的图。

家庭留言板系统(控制系统)400是提供能够在预先登记的用户(图4所示的例子中是父亲、母亲、孩子)之间共享信息的电子留言板(所谓的社交网络服务)的系统。家庭留言板系统400包括：智能手机100a、100b、100c、设备控制服务器200a、家庭留言板服务器200b、家庭服务器200c、清洁机器人300a、以及家庭内配置的设备(以下称为“家庭内设备”)。

家庭留言板系统400中，根据家庭内设备的状态、由用户写入的消息的内容等，清洁机器人300a或家庭内设备在家庭留言板上写入消息。另外，用户能够使用分别持有的智能手机100a、100b、100c访问家庭留言板，进行消息的写入或者浏览。此外，用户通过在家庭留言板上发表图像，能够控制家庭内设备的动作(参照图6在后面详细描述)。

清洁机器人300a以可通信的方式无线连接于家庭服务器200c。另外，家庭内设备也以可通信的方式无线(或有线)连接。此外，图4示出家庭内设备为电视300b、空调装置300c、照明装置300d、以及录像装置300e的例子，但家庭内设备的种类以及数量并不限定于上述设备。

设备控制服务器200a根据家庭内设备的状态、家庭内设备取得的信息、以及用户的写入内容等，将清洁机器人300a作为拟人化的人物，在家庭留言板中写入消息等。据此，用户能够在家庭留言板中模拟体验与清洁机器人300a的交流。

另外，设备控制服务器200a从智能手机100a、100b、100c接收图像发表，对家庭服务器200c发送与该图像对应的指示信息，由此控制清洁机器人300a或家庭内设备的动作。

此外，说明了设备控制服务器200a具备向家庭留言板写入消息等的功能和控制清洁机器人300a及家庭内设备的动作的功能的例子，但这些功能也可以搭载于单独的服务器。

家庭留言板服务器200b进行对智能手机100a、100b、以及100c的家庭留言板的显示画面提示、以及消息等的写入管理等与家庭留言板有关的全部处理。

家庭服务器200c在整体上控制清洁机器人300a或家庭内设备与设备控制服务器200a之间的信息收发。具体而言，家庭服务器200c按照从设备控制服务器200a接收的指示信息，控制清洁机器人300a或家庭内设备的动作。另外，家庭服务器200c将从清洁机器人300a取得的信息以及从家庭内设备取得的信息发送到设备控制服务器200a。

空调装置(被控制装置)300c是进行冷暖气等空气调节的装置(以下也称为“空调300c”)。空调装置300c具有温度传感器，将检测出的室温发送到家庭服务器200c。

照明装置(被控制装置)300d是具有LED等光源的照明装置。照明装置300d可以通过家庭服务器200c的控制进行亮灯或灭灯。

电视(被控制装置)300b是电视接收机(以下也称为“电视接收机300b”)、录像装置(被控制装置)300e是对电视300b接收的播放节目进行录像的装置。这些设备也能够通过家庭服务器200c的控制得到控制。

此外，在图4所示的例子中，所有家庭内设备都包含在网络中，以可通信的方式与家庭服务器200c连接。但是，清洁机器人300a能够将从家庭服务器200c发送的指示信息中继给家庭内设备，因此家庭内设备也可以与家庭服务器200c不直接连接。

例如，在上述电视接收机300b不包含在网络中的情况下，清洁机器人300a使用IrDA或红外线，对该电视接收机发送上述指示信息，据此该电视接收机也能够执行上述指示信息中包含的控制(例如接入电源、改变频道等)。控制不包含在网络中的电视接收机300b的例子在后面详细说明。

另外，在图4所示的例子中，家庭服务器200c发送由搭载于清洁机器人300a或家庭内设备的传感器取得的传感数据、家庭内设备的动作日志、以及家庭内设备拍摄的照片，但发送的信息并不限于上述例子。此外，在如不存在与家庭留言板有关的家庭内设备的情况这样，不需要家庭服务器200c的整体控制的情况下，可以不设置家庭服务器200c，采用清洁机器人300a与设备控制服务器200a收发信息的结构。

[智能手机100的概要]

基于图5概略说明智能手机100的外观及操作的一例。图5的(a)是表示智能手机100的外观例的示意图，(b)是表示用户进行的智能手机100的操作例的示意图。此外，图4所示的智能手机100a、100b、或者100c与图5所示的智能手机100相同。

智能手机(控制装置)100是经由服务器200控制清洁机器人300a或电视接收机300b等的信息终端。

如图5的(a)所示，智能手机100包括输入面41、显示面72、以及电源开关43。

如图5的(b)所示，用户触摸输入面41，对智能手机100指定该输入面上的位置(提供输入面上的坐标)，据此能够对智能手机100提供选择图像等信息。

如上所述，智能手机100是便携式信息终端。这里，需要注意，通过移动电话、个人计算机、平板式终端等也能够实现与智能手机100相同的功能。即，只要是能够输入输出所需信息的设备，终端也可以不是智能手机。

[服务器200的概要]

服务器200以可以通信的方式与智能手机100、清洁机器人300a、以及家庭内设备连接。即，以下说明中，“服务器200”综合具有图4所示的设备控制服务器200a、家庭留言板服务器200b、以及家庭服务器200c所具有的本质功能。

[清洁机器人300a的概要]

清洁机器人(被控制装置)300a是经由服务器200由智能手机100控制的被控制装置之一。清洁机器人300a具有自动移动并进行清洁的功能。

清洁机器人300a还具有动作日志的存储功能、充电余量的检测及输出功能、图像拍摄功能、声音识别功能、声音输出功能等。另外，清洁机器人300a还具有对家庭内设备发送控制信号并对其进行操作的功能。

[通过发表图像5进行的设备控制]

基于图6，说明用户通过在家庭留言板上发表图像5来控制清洁机器人300a或家庭内设备的情况下，家庭留言板系统400中执行的一系列处理的流程的概略。图6的(a)及(b)是表示在家庭留言板中用户(母亲)与清洁机器人300a之间进行的消息及图像5的交换的示意图。

如图6的(a)所示，清洁机器人300a通过温度传感器测量室内温度，在家庭留言板上发表消息8a，以人类的感觉诉说“热”。看到该消息的用户将指示空调300c打开冷气的图像5作为消息8b发表到家庭留言板上。

即，用户按触图像选择按钮44后，智能手机100显示多个用户可选的图像，并将表示所选择的图像5的图像信息2发送到服务器200。

这里，确定控制对象(被控制装置)的确定信息1a以及指示该控制对象执行指定处理的指示信息1b与图像5相对应。在图6的(a)所示的例子中，与上述图像对应的确定信息1a表示“空调300c”，指示信息1b表示“打开冷气”。

另外，图像信息2是能够唯一识别图像5的信息。只要能够唯一识别图像5，图像信息2的形式可以是任意形式。例如，图像信息2可以是数字，也可以是文字。在智能手机100与服务器200中保存图像5的目录结构相同的情况下，图像信息2可以是存储相应图像的路径的名称。或者，图像信息2还可以是图像5本身(在此情况下，智能手机100将图像5发送给服务器200)。

这里，为了能够与其他智能手机的用户共享“从某个智能手机100进行了基于图像信息2的指示”这一情况，接收了图像信息2的服务器200将消息8b作为发表信息4c发送到多个智能手机100。此外，消息8b(发表信息4c)除了图像5以外，还可以包含服务器200附加的与消息8b有关的信息(例如，识别进行了发表的用户的信息或发表日期及时间等)。

另外，接收了图像信息2的服务器200对由与该图像信息所示的图像5对应的确定信息1a确定的装置，发送指示执行指定处理的指示信息1b。在图6的(a)所示的例子中，服务器200对由确定信息1a确定的“空调300c”，发送“打开冷气”这一指示信息1b。

接收了指示信息1b的空调300c执行“打开冷气”的处理。随后，清洁机器人300a在家庭留言板上发表消息8c，表示对房间变凉快感到高兴。

如图6的(b)所示，清洁机器人300a对麦克风采集的宠物叫声进行录音，在家庭留言板上发表报告宠物在叫的消息8d和声音文件。看到该消息并听了录音的用户将指示清洁机器人300a拍摄周围照片的图像5作为消息8e发表到家庭留言板上。

即，与上述同样，用户按触图像选择按钮44后，智能手机100显示多个用户可选的图像，并将表示所选择的图像5的图像信息2发送到服务器200。

经由服务器200接收了“拍摄周围照片”的指示信息1b的清洁机器人300a执行照片拍摄处理，在家庭留言板上发表报告已经拍摄的消息8f和拍摄图像(执行处理的结果)。

这里，智能手机100可以在消息8e附近显示经由服务器200从清洁机器人300a取得的拍摄图像。据此，智能手机100能够使用户认识到，消息8f和拍摄图像是对消息8e的来自清洁机器人300a的响应(消息8e与处理执行结果的对应)。

总结以上概略情况，智能手机100以如下步骤执行处理。

(1)以用户可选的方式显示与确定清洁机器人300a及家庭内设备的确定信息1a以及指示该清洁机器人等执行指定处理的指示信息1b相对应的图像5；

(2)在用户从所显示的图像5中选择了至少一个图像的情况下，将表示该图像的图像信息2发送给服务器200，据此使由确定信息1a确定的清洁机器人或家庭内设备执行由指示信息1b指示的指定处理。

在上述以往技术中，图像仅包含指示信息，因此必须指定用户要操作的外部装置。即，用户不得不做出明示的操作，以确定作为操作对象的装置，并对所确定的装置发送指示。

但是，用户真正期望的是外部设备所实现的“功能”，有时用于实现该“功能”的主体装置可以为任意装置，因此一律必须执行上述明示操作的界面对用户并不友好。

与此相对，智能手机100将表示与确定信息1a及指示信息1b对应的图像5的图像信息2发送到服务器200。即，智能手机100始终将图像信息2发送到“服务器200”，因此并不要求用户执行“确定外部设备”的明示操作。

换言之，即使没有执行由用户指定作为控制对象的清洁机器人300a或家庭内设备这一明示操作，智能手机100也能够使用户控制该清洁机器人或家庭内设备。由此，智能手机100能够提高用户的方便性。

[智能手机100的结构]

基于图1说明智能手机100的结构。图1是表示智能手机100的主要部分结构的框图。这里，以下记载的结构说明以及上述框图中省略与本实施方式无直接关系的部分(例如利用电话线实现通话的部分等)。不过，根据实施的实际情况，智能手机100可以包含该省略的结构。

此外，从保证记载的简洁性的观点出发，在以下的框图说明中，假设家庭留言板系统400(参照图4)中仅包含智能手机(控制装置)100、服务器200、清洁机器人(被控制装置)300a、以及电视接收机(被控制装置)300b。另外，假设电视接收机300b不包含在网络中，处于能够从服务器200接收指示信息1b的状况。

以下，以输入部40(输入面41、输入控制部42)、控制部10(处理指示部11、执行可否判断部12、执行结果取得部13、发表信息取得部17)、通信部20a(发送部21a、接收部22a)、显示部70(显示控制部71、显示面72)的顺序，说明各结构所承担的功能。

输入部40接收来自用户的操作(用户操作7a)。输入部40包括输入面41和输入控制部42。

输入面41将表示由用户操作7a指定的该输入面上的位置的输入信号7b输出到输入控制部42。在本实施方式中，作为输入面41，较为理想的是能够检测多点触摸的触摸板。不过，输入面41只要是通过用户操作7a能够检测接触位置的输入设备即可，硬件的种类并不限于触摸板。

输入控制部42基于从输入面41输入的输入信号7b生成输入信息7c，并将该输入信息输出到图像显示部71a及处理指示部11。这里，输入信息7c至少包括表示用户按触了图像选择按钮44的信息和表示用户选择了图像5的信息。

控制部10是总体控制智能手机100的各种功能的部件。控制部10包括处理指示部11、执行可否判断部12、执行结果取得部13、以及发表信息取得部17。

处理指示部(指示单元)11在用户从图像显示部71a显示的图像5中选择了至少一个图像的情况下，将表示该图像的图像信息2发送给服务器200，据此使由与该图像对应的确定信息1a确定的清洁机器人300a或家庭内设备执行由指示信息1b指示的指定处理。

具体而言，从输入控制部42输入表示用户选择了图像5的输入信息7c后，处理指示部11将表示该图像的图像信息2输出到发送部21a。

此外，处理指示部11在用户选择了多个图像5的情况下，将分别表示该图像的多个图像信息2发送到服务器200，由此能够使由与各个图像5对应的确定信息1a确定的清洁机器人300a及/或家庭内设备，依次执行由与各个图像5对应的指示信息1b指示的指定处理。上述处理的详细情况在后面进行说明。

执行可否判断部(第一判断单元)12在从接收部22a输入设备信息3b后，基于该设备信息判断清洁机器人300a或家庭内设备是否能够执行指定处理，并将该判断结果6a输出到处理指示部11及图像显示部71a。

这里，设备信息3b包括与该设备具有的功能、正在执行的处理等有关的信息。例如，设备信息3b包括：录像装置300e具有与竞争节目并行进行录像的功能、空调300c的过滤网变脏因而限制部分功能、清洁机器人300a正在拍摄照片等信息。

并且，执行可否判断部12判断在由设备信息3b所示的该设备的状态下，该设备能够执行由与图像5对应的指示信息1b确定的指定处理。例如，在设备信息3b表示“清洁机器人300a正在拍摄照片”的情况下，执行可否判断部12判断为该清洁机器人无法执行“清洁”处理。

执行结果取得部(取得单元)13经由接收部22a从服务器200取得清洁机器人300a或家庭内设备执行指定处理的结果(执行结果3a)，并将执行结果3a输出到一览显示部71b。

这里，例如在用户使清洁机器人300a执行“拍摄周围照片”处理的情况下，执行结果3a是由该清洁机器人拍摄并经由服务器200发送的图像。

发表信息取得部17在从接收部22a输入了发表信息4c的情况下，将该发表信息输出到一览显示部71b。这里，发表信息4c是为了能够与其他智能手机的用户共享从某个智能手机100进行了基于图像信息2的指示这一情况，从接收了图像信息2的服务器200发送的、包含消息8b(参照图6(a))的信息。

通信部20a经由遵循指定通信方式的通信网与外部通信。只要具有实现与外部设备的通信的本质功能即可，通信线路、通信方式、或者通信介质等不做限定。通信部20a例如可以由以太网(注册商标)适配器等设备构成。另外，通信部20a例如可以利用IEEE802.11无线通信、蓝牙(Bluetooth，注册商标)等通信方式或通信介质。通信部20a包括发送部21a和接收部22a。

发送部21a将从处理指示部11输入的图像信息2发往服务器200。

接收部22a接收从服务器200发送的执行结果3a、设备信息3b、以及发表信息4c，分别输出到执行结果取得部13、执行可否判断部12、以及发表信息取得部17。

显示部70对用户显示家庭留言板以及该家庭留言板中包含的内容(消息或图像等)。显示部70包括显示控制部71和显示面72。

显示控制部71将显示用数据7d输出到显示面72，从而能够在显示面72上显示家庭留言板以及该家庭留言板中包含的内容。显示用数据7d例如可以是位图形式的图像，还可以是遵循其他形式的图像，或者其他的与显示相适应的数据形式。显示控制部71包括图像显示部71a和一览显示部71b。

图像显示部(第一显示单元)71a以用户可选的方式显示与确定信息1a及指示信息1b对应的图像5。具体而言，从输入控制部42输入表示用户按触了图像选择按钮44的输入信息7c后，图像显示部71a显示多个用户可选的图像5。

其中，在从执行可否判断部12输入了表示由与图像5对应的指示信息1b确定的指定处理不能由相应装置执行的判断结果6a的情况下，图像显示部71a不显示与该指定处理对应的图像5，或者降低亮度显示。

基于图7，说明在以可选择的方式显示图像5的情况下，显示面72上显示的选择界面的一例。图7的(a)及(b)是表示列表显示用户可选的图像5的画面例的示意图。

如图7(a)所示，智能手机100(图像显示部71a)以一览方式显示表现了能够对清洁机器人300a指示的内容的图像5。如前所述，根据清洁机器人300a的状态(能否执行图像5的处理)，该列表显示发生变化。

例如，在设备信息3b表示“清洁机器人300a正在拍摄照片”，由此执行可否判断部12判断为该清洁机器人无法执行“清洁”处理的情况下，“使清洁机器人进行清洁”的选项以不可选的方式进行显示(例如，不显示或者降低亮度显示等)。

此外，在用户试图选择显示为不可选的图像5的情况下，清洁机器人300a可以在家庭留言板上发表“5分钟后可以吗？”等消息，以促使该用户等待执行。

如图7(b)所示，智能手机100(图像显示部71a)以一览方式显示表现了能够对家庭内设备(这里是电视接收机300b)指示的内容的图像5。

这里，并不会根据电视接收机300b处于(1)包含在网络中，能够从服务器200接收指示信息1b的状况，还是处于(2)不包含在网络中，无法从服务器200接收指示信息1b的状况，而使一览显示的图像发生变化。这是因为，即使在上述(2)的状况下，清洁机器人300a将该指示信息中继给电视接收机300b，由此与上述(1)的状况下的情况相同，用户也能够控制该电视接收机。

即，在上述(2)的状况下，在用户控制使得接入电视接收机300b的电源的情况下，智能手机100能够将以“清洁机器人300a”为确定信息1a，以“接入电视接收机300b的电源”为指示信息1b而对应关联的图像5的图像信息2发送到服务器200。经由服务器200接收了上述指示信息1b的清洁机器人300a使用IrDA或红外线，行驶到能够对电视接收机300b发送指示信息1b的位置，执行“接入电视接收机300b的电源”的处理。

这样，通过由清洁机器人300a将指示信息1b从服务器200中继到家庭内设备，用户能够在意识不到处于上述(1)的状况还是(2)的状况的情况下，从智能手机100控制家庭内设备。此外，根据状况不同，可以由服务器200的信息提取部16执行变更确定信息1a以及指示信息1b的处理(在后面进行详细说明)。

一览显示部(第二显示单元)71b作为用户之间共享的信息，按照时间序列的顺序一览显示至少包含一个由处理指示部11发送的图像信息2的信息(参照图6的(a)及(b))。此外，一览显示部71b在执行结果取得部13取得了执行结果3a的情况下，还可以在一览显示的消息及图像5的附近显示该执行结果(参照图6的(b))。

显示面72显示从显示控制部71输入的显示用数据7d。本实施方式中主要设想液晶显示器(Liquid Crystal Display：LCD)，但只要是具有显示功能的装置(例如，具有基于从显示控制部71输入的显示用数据7d驱动显示元件的驱动电路的装置)即可，硬件的种类不做限定。

此外，为了明示各结构所具有的功能，图1分开显示输入面41和显示面72，但例如在用触摸板实现输入面41，用液晶显示器实现显示面72的情况下，如图5(a)所示，两者可以作为一体构成。据此，对输入面41的用户手指的接触位置与显示面72根据该接触显示的图形等的显示位置一致，因此用户能够取得自然的输入感觉。

[服务器200的结构]

基于图2说明服务器200的结构。图2是表示服务器200的主要部分结构的框图。以下，以通信部20b(发送部21b、接收部22b)、通信可否判断部14、信息提取部16的顺序，说明各结构所承担的功能。

通信部20b与通信部20a的功能相同，因此省略详细说明。通信部20b包括发送部21b和接收部22b。

发送部(第一发送单元)21b对由与接收部22b接收的图像信息2所示的图像5对应的确定信息1a确定的清洁机器人300a或家庭内设备，发送指示执行指定处理的指示信息1b。

另外，为了调查家庭内设备是(上述(1)的状况)否(上述(2)的状况)处于包含在网络中，能够从服务器200接收指示信息1b的状况，发送部21b将应答请求4b发送给该家庭内设备。此外，在从接收部22b输入了执行结果3a或设备信息3b的情况下，发送部21b将该执行结果或设备信息发送给智能手机100。

此外，为了能够在多个智能手机100上显示消息，发送部21b生成包含由接收部22b接收的图像5的消息(例如图6的(a)中的消息8b等)，将发表信息4c发送给所有智能手机100。

接收部(第一接收单元)22b从智能手机100接收表示用户选择的图像5的图像信息2，并将该图像信息输出到信息提取部16。接收部22b在从清洁机器人300a接收了执行结果3a或设备信息3b的情况下，将该执行结果或设备信息输出到发送部21b。另外，在接收了应答信息4a的情况下，将该应答信息输出到通信可否判断部14。

这里，应答信息4a是作为对从发送部21b发送到清洁机器人300a或家庭内设备的应答请求4b的应答得到的信息。即，应答信息4a表示该清洁机器人300a或家庭内设备处于包含在网络中，能够从服务器200接收指示信息1b的状况(上述(1)的状况)。

具体而言，在处于上述(1)的状况的情况下，从该清洁机器人或家庭内设备接收应答信息4a，因此接收部22b将表示处于上述(1)的状况的应答信息4a输出到通信可否判断部14。另一方面，在处于上述(2)的状况的情况下，从该清洁机器人或家庭内设备未接收应答信息4a。即，经过一定时间后仍未从清洁机器人300a或家庭内设备接收应答信息4a，由此通信可否判断部14能够判断为该清洁机器人或家庭内设备处于上述(2)的状况。

这里，清洁机器人300a处于上述(1)的状况，因此接收部22b从该清洁机器人接收应答信息4a后，将该应答信息输出到通信可否判断部14。另一方面，如前所述，假定电视接收机300b处于上述(2)的状况，因此从该电视接收机未接收应答信息4a。

通信可否判断部(第二判断单元)14在从信息提取部16输入了确定信息1a，从接收部22b输入了应答信息4a的情况下，将表示由该确定信息确定的清洁机器人300a或家庭内设备以可通信的方式与服务器200连接(处于上述(1)的状况)的判断结果6b输出到信息提取部16。

另一方面，通信可否判断部14在从信息提取部16输入了确定信息1a，且未从接收部22b输入应答信息4a的情况下，将表示由该确定信息确定的清洁机器人300a或家庭内设备并未以可通信的方式与服务器200连接(处于上述(2)的状况)的判断结果6b输出到信息提取部16。

信息提取部16从接收部22b输入图像信息2后，将与该图像信息所示的图像5对应的确定信息1a及指示信息1b从该图像中提取出来。然后，信息提取部16将提取的确定信息1a输出到通信可否判断部14与发送部21b，将指示信息1b输出到发送部21b。

这里，确定信息1a及指示信息1b以如下方式分别与图像5对应。例如，在图像5的数据的元信息(例如Exif头部等)中，存储确定信息1a及指示信息1b。

或者，也可以使用存储图像5的路径的名称，将图像5与确定信息1a及指示信息1b相对应。例如，“/image/cleaner/photojpg”可以表示使清洁机器人300a拍摄照片，“/image/cleaner/moveForward.jpg”可以表示使清洁机器人300a前进，“/image/tv/on.jpg”可以表示接入电视接收机300b的电源，“/image/tv/off.jpg”可以表示切断电视接收机300b的电源等。

在从通信可否判断部14输入的判断结果6b表示由确定信息1a确定的清洁机器人300a或家庭内设备处于上述(2)的状况的情况下，信息提取部16可以变更确定信息1a及指示信息1b。

例如，在确定信息1a为“电视接收机300b”，指示信息1b为“接入电源”的情况下，判断为该电视接收机处于上述(2)的状况，因此信息提取部16分别变更确定信息1a及指示信息1b，使得确定信息1a为“清洁机器人300a”，指示信息1b为“接入电视接收机300b的电源”。

即，服务器200还包括判断家庭内设备(被控制装置)是否以可通信的方式与服务器200连接的通信可否判断部(第二判断单元)14，发送部(第一发送单元)21b在由通信可否判断部(第二判断单元)14判断为不连接的情况下，使与服务器200和家庭内设备(被控制装置)以可通信的方式连接的清洁机器人(其他被控制装置)300a将指示执行指定处理的指示信息1b中继到家庭内设备(被控制装置)，由此能够将该指示执行指定处理的指示信息1b发送到该家庭内设备(被控制装置)。

此外，图2中未示出服务器200中的图像信息2以外的消息(例如，用户的文本输入的消息或照片的发表等)的收发。但是，在信息提取部16未能提取确定信息1a或指示信息1b的情况下，发送部21b简单地发送由接收部22b接收的消息，从而能够在智能手机100上进行显示。

[清洁机器人300a的结构]

基于图3(a)说明清洁机器人300a的结构。图3(a)是表示清洁机器人300a的主要部分结构的框图。以下，以通信部20c(发送部21c、接收部22c)、处理执行部15a的顺序，说明各结构所承担的功能。

通信部20c与通信部20a的功能相同，因此省略详细说明。通信部20c包括发送部21c和接收部22c。

发送部(第二发送单元)21c在从接收部22c输入了指示信息1b的情况下，对家庭内设备(电视接收机300b)发送该指示信息。另外，在从接收部22c输入了应答请求4b的情况下，发送部21c对服务器200发送应答信息4a或设备信息3b。此外，在从处理执行部15a输入了执行结果3a的情况下，发送部21c将该执行结果发送到服务器200。

接收部(第二接收单元、第三接收单元)22c从服务器200接收指示执行指定处理的指示信息1b。接收部22c将接收的指示信息1b输出到处理执行部15a。在将指示信息1b中继到家庭内设备的情况下，接收部22c还将该指示信息输出到发送部21c。

即，清洁机器人(被控制装置)300a还可以包括：接收部(第三接收单元)22c，接收表示中继指示执行指定处理的指示信息1b的信息；以及发送部(第二发送单元)21c，在接收部(第三接收单元)22c接收了表示进行中继的信息的情况下，对该信息所示的外部的电视接收机(被控制装置)300b，发送接收部(第二接收单元)22c接收的指示执行指定处理的指示信息1b。

处理执行部(执行单元)15a按照接收部22c接收的指示信息1b，执行指定处理(例如，使清洁机器人300a前进1米，使清洁机器人300a向右旋转90°等，参照图7(a))。处理执行部15a将执行该指定处理的结果(执行结果3a)输出到发送部21c。

[电视接收机300b的结构]

基于图3(b)说明电视接收机300b的结构。图3(b)是表示电视接收机300b的主要部分结构的框图。

接收部(第二接收单元)22d从清洁机器人300a接收指示执行指定处理的指示信息1b，并将该指示信息输出到处理执行部15b。

处理执行部(执行单元)15b按照由接收部22d接收的指示信息1b，执行指定处理(例如，接入电源，切断电源等，参照图7(b))。

[一次发表多个图像5的例子]

基于图8，说明用户通过一次发表多个图像5来使清洁机器人300a或家庭内设备依次执行一系列处理的例子。图8是表示用户一次发表多个图像5后，清洁机器人300a发表了由该图像确定的一系列处理的执行结果的家庭留言板的情形的示意图。

如图8所示，用户能够将指示清洁机器人300a“前进1米”、“向右旋转90°”、“拍摄周围照片”的三个图像5作为消息8g一次性发表在家庭留言板上。

即，用户按触图像选择按钮44(参照图6)后，智能手机100能够显示多个用户可选的图像，并将分别表示所选择的多个图像5的多个图像信息2发送到服务器200。据此，智能手机100指示一系列处理中包含的各处理的执行，因此能够省去用户多次发表图像5的麻烦。

接收了多个图像信息2的服务器200对由与该图像信息所示的图像5对应的确定信息1a确定的装置，发送指示执行指定处理的指示信息1b。

在图8所示的例子中，服务器200对由确定信息1a确定的“清洁机器人300a”，发送“前进1米”、“向右旋转90°”、“拍摄周围照片”的三个指示信息1b。

接收了指示信息1b的清洁机器人300a依次执行上述三个处理。这里需要注意，该清洁机器人并不对服务器200发送执行“前进1米”以及“向右旋转90°”的结果，仅将执行“拍摄周围照片”的结果作为消息8h发表到家庭留言板上。

即，在用户一次发表多个图像5，从而使清洁机器人300a接收了多个指示信息1b的情况下，该清洁机器人仅将最终结果发表到家庭留言板上，不发表中间结果。据此，清洁机器人300a能够省去用户确认中间结果的麻烦。

此外，接收了相互矛盾的指示信息1b的装置可以不执行由该指示信息确定的指定处理。例如，接收了“前进1米”和“后退1米”的两个指示信息1b的清洁机器人300a可以不执行由这两个指示信息确定的处理，而是原地待机。或者，接收了“接入电源”和“切断电源”的两个指示信息1b的电视接收机300b可以不执行由这两个指示信息确定的处理，而是保持切断电源的状态。

在图8所示的例子中，用户仅对清洁机器人300a(即同一装置)指示处理的执行，但指示一系列处理中包含的各处理的执行的对象也可以是相互不同的装置。

另外，还可以将多个确定信息1a及指示信息1b与一个图像5相对应，用户通过选择这一个图像，使清洁机器人300a或家庭内设备执行一系列处理。据此，智能手机100指示一系列处理中包含的各处理的执行，因此能够省去用户多次选择图像5的麻烦。

[从电视接收机300b发表图像的例子]

在电视接收机300b包含在网络中的情况下，用户还能够从该电视接收机发表图像5。

即，用户经由能够操作电视接收机300b的接口(例如遥控器)选择图像5后，该电视接收机(控制装置)将表示该图像的图像信息2发送给服务器200，据此能够使由与该图像对应的确定信息1a确定的装置(例如清洁机器人300a、空调300c等家庭内设备)执行由与该图像对应的指示信息1b指示的指定处理。

据此，电视接收机300b能够提供便利性更高的使用方法，例如在二楼看电视的用户一边看电视一边接入位于一楼的空调300c的电源等。

[家庭留言板系统400执行的处理]

基于图9说明家庭留言板系统400执行的处理的流程。图9是表示家庭留言板系统400(智能手机100、服务器200、清洁机器人300a)执行的处理的一例的流程图。此外，在以下说明中，括号里的“某步骤”表示智能手机100的控制方法的各步骤。

图像显示部71a以用户可选的方式显示将确定信息1a(这里表示“清洁机器人300a”)与指示信息1b(这里表示“拍摄周围照片”)相对应的图像5(步骤1：以下简称为“S1”，显示步骤)。输入部40(输入面41，输入控制部42)检测到用户选择了图像5后(S2中“是”)，处理指示部11将表示所选择的图像5的图像信息2发送到服务器200(S3，指示步骤)。

服务器200的接收部22b接收该图像信息后(S4)，发送部21b将包含该图像信息的消息的发表信息4c发送到多个智能手机100(S24)。各个智能手机100的接收部22a接收该发表信息(S25)，一览显示部71b以一览方式显示上述消息(S26)。

服务器200的信息提取部16提取与图像信息2所示的图像5对应的确定信息1a及指示信息1b(S5)。在由信息提取部16从图像5提取了确定信息1a及指示信息1b的情况下(S27中“是”)，发送部21b对由提取的确定信息1a所示的装置(这里是清洁机器人300a)发送应答请求4b(S6)。

此外，在信息提取部16未从图像5中提取确定信息1a及指示信息1b中的至少一者的情况下(S27中“否”)，服务器200将图像5视为通常的消息发表，跳过以后的处理并结束。

清洁机器人300a的接收部22c接收该应答请求后(S7)，发送部21c将应答信息4a以及设备信息3b发送到服务器200(S8)。

服务器200的接收部22b接收该应答信息及设备信息后(S9)，通信可否判断部14判断为该清洁机器人能够通信(上述(1)的状况)(S10中“是”)，发送部21b将指示信息1b发送给该清洁机器人(S11)。另外，发送部21b将设备信息3b发送给智能手机100(S12)。智能手机100的接收部22a接收该设备信息(S13)。

清洁机器人300a的接收部22c接收指示信息1b后(S14)，处理执行部15a执行由该指示信息确定的指定处理(S15)。接着，发送部21c将执行结果3a发送给服务器200(S16)。

服务器200的接收部22b接收该执行结果后(S17)，发送部21b将该执行结果发送给智能手机100(S18)。智能手机100的接收部22a接收执行结果3a(S19)。智能手机100在消息附近显示经由服务器200从清洁机器人300a取得的拍摄图像(参照图6(b))。

基于图10说明家庭留言板系统400执行的不同处理的流程。图10是表示家庭留言板系统400(智能手机100、服务器200、清洁机器人300a、电视接收机300b)执行的不同处理的一例的流程图。此外，图10中，有时对于与参照图9说明的处理相同的处理，通过标注与之前相同的标号来省略说明(省略了S1～S5、S11～S14、S16～S19、S24～S27的说明)。

服务器200的发送部21b对由所提取的确定信息1a表示的装置(这里是电视接收机300b)发送应答请求4b(S6)，但如前所述，电视接收机300b未连接于网络，因此该电视接收机300b未接收该应答请求，也得不到应答信息4a。

经过一定时间后仍未从电视接收机300b接收应答信息4a，由此通信可否判断部14判断为该电视接收机处于上述(2)的状况(S10中“否”)。

例如，在确定信息1a为“电视接收机300b”，指示信息1b为“接入电源”的情况下，信息提取部16分别变更确定信息1a及指示信息1b，使得确定信息1a为“清洁机器人300a”，指示信息1b为“接入电视接收机300b的电源”(S20)。

清洁机器人300a的发送部21c将变更后的指示信息1b发送给电视接收机300b(S21)。电视接收机300b的接收部22d接收该指示信息后(S22)，处理执行部15b执行由该指示信息确定的指定处理(S23)。

此外，图9及图10中，S4中服务器200接收图像信息2后，在S6中发送应答请求4b，S9中接收应答信息4a及设备信息3b，但各个时机不限于此。例如，无论是否接收图像信息2，服务器200都可以定期发送应答请求4b，或者清洁机器人300a可以定期发送与应答信息4a类似的信息或设备信息3b。

[智能手机100收到的效果]

即使没有执行由用户指定作为控制对象的清洁机器人300a或家庭内设备这一明示操作，智能手机100也能够使用户控制该清洁机器人或家庭内设备。因此，智能手机100收到能够提高用户的方便性的效果。

[总结]

本发明的一方式所涉及的控制装置(智能手机100、电视接收机300b)是：

(1)一种控制装置，经由服务器控制被控制装置，包括：

(2)第一显示单元，以用户可选的方式显示与确定所述被控制装置的确定信息以及指示该被控制装置执行指定处理的指示信息相对应的图像；以及

(3)指示单元，在用户从所述第一显示单元显示的图像中选择了至少一个图像的情况下，将表示该图像的图像信息发送给所述服务器，据此使由与该图像对应的确定信息确定的被控制装置执行由与该图像对应的指示信息指示的指定处理。

另外，本发明的一方式所涉及的控制装置的控制方法是：

(1)一种控制装置的控制方法，该控制装置经由服务器控制被控制装置，该控制方法包括：

(2)第一显示步骤，以用户可选的方式显示与确定所述被控制装置的确定信息以及指示该被控制装置执行指定处理的指示信息相对应的图像；以及

(3)指示步骤，在用户从所述第一显示步骤显示的图像中选择了至少一个图像的情况下，将表示该图像的图像信息发送给所述服务器，据此使由与该图像对应的确定信息确定的被控制装置执行由与该图像对应的指示信息指示的指定处理。

在上述以往技术中，图像数据不包含与要控制的外部装置(例如电视接收机等)有关的信息，因此用户必须指定该装置。即，用户不得不做出明示的操作，以确定要控制的外部装置，并对所确定的装置发送指示。

但是，用户真正期望的是外部设备所实现的“功能”，有时用于实现该“功能”的主体装置可以为任意装置，因此一律必须执行上述明示操作的界面对用户并不友好。

与此相对，根据上述结构(1)～(3)，本发明的一方式所涉及的控制装置及该装置的控制方法将表示图像的图像信息发送到服务器，该图像与确定被控制装置的确定信息以及指示该被控制装置执行指定处理的指示信息相对应。即，上述控制装置等始终将图像信息发送到服务器，因此并不要求用户执行“确定外部设备”的明示操作。

换言之，利用上述控制装置等，即使不进行由用户指定作为控制对象的被控制装置这一明示操作，也能够使用户控制该被控制装置。由此，上述控制装置等能够提高用户的方便性。

另外，在本发明的一方式所涉及的控制装置中：

(1)所述指示单元将所述图像信息发送给提供能够在事先登记的用户之间共享信息的服务的服务器，

(2)所述控制装置还包括第二显示单元，作为所述用户之间共享的信息，按照时间序列的顺序一览显示至少包含一个由所述指示单元发送的图像信息的信息。

根据上述结构(1)～(2)，本发明的一方式所涉及的控制装置将图像信息发送给提供能够在用户之间共享信息的服务(例如社交网络服务)的服务器，因此，能够使利用该服务的多个用户共享该图像信息。

另外，上述控制装置能够以时间序列的顺序一览显示用户发表的消息或通过用户的指示发送的图像信息等，因此能够使所有用户了解“谁”“为了什么”发送了“什么指示”。由此，上述控制装置能够进一步提高用户的方便性。

另外，本发明的一方式所涉及的控制装置还可以包括：

(1)取得单元，从所述服务器取得由所述被控制装置执行指定处理的结果，

(2)所述第二显示单元在所述取得单元取得了执行的结果的情况下，还在一览显示的信息的附近显示该执行的结果。

根据上述结构(1)～(2)，本发明的一方式所涉及的控制装置能够使用户认识到执行的结果是对一览显示的信息的应答。由此，上述控制装置能够进一步提高用户的方便性。

另外，在本发明的一方式所涉及的控制装置中：

(1)所述指示单元在用户选择了多个所述图像的情况下，将分别表示该图像的多个图像信息发送到所述服务器，由此使由与各个图像对应的确定信息确定的被控制装置，依次执行由与各个图像对应的指示信息指示的指定处理。

根据上述结构(1)，本发明的一方式所涉及的控制装置指示一系列处理中包含的各处理的执行，因此能够省去用户多次选择图像的麻烦。由此，上述控制装置能够进一步提高用户的方便性。

另外，本发明的一方式所涉及的控制装置还可以包括：

(1)第一判断单元，判断所述被控制装置是否能够执行所述指定处理，

(2)所述第一显示单元在所述第一判断单元判断为不能执行的情况下，不显示与该指定处理对应的图像。

根据上述结构(1)，本发明的一方式所涉及的控制装置能够根据被控制装置能否执行指定处理，限制用户选择图像的范围。由此，上述控制装置能够减轻进行该选择所需的用户负担，因此能够进一步提高用户的方便性。

本发明的一方式所涉及的服务器(服务器200)是：

(1)以可通信的方式与上述控制装置连接的服务器，包括：

(2)第一接收单元，从所述控制装置接收表示由用户选择的图像的图像信息；以及

(3)第一发送单元，发送指示由与所述第一接收单元接收的图像信息所示的图像对应的确定信息确定的被控制装置执行所述指定处理的指示信息。

根据上述结构(1)～(3)，本发明的一方式所涉及的服务器将指示信息中继到由确定信息确定的被控制装置。据此，通过上述服务器，能够不对控制装置要求上述明示操作。由此，上述服务器能够提高用户的方便性。

本发明的一方式所涉及的被控制装置(清洁机器人300a、电视接收机300b、空调300c、照明装置300d、录像装置300e)：

(1)经由上述服务器由上述控制装置控制，该被控制装置包括：

(2)第二接收单元，接收指示执行指定处理的指示信息；以及

(3)执行单元，按照所述第二接收单元接收的指示信息，执行所述指定处理。

根据上述结构(1)～(3)，本发明的一方式所涉及的被控制装置能够执行由上述服务器中继的指示信息所指示的指定处理。据此，上述被控制装置能够在不对控制装置要求上述明示操作的情况下，执行从该控制装置指示的指定处理。由此，上述被控制装置能够提高用户的方便性。

本发明的一方式所涉及的控制系统(家庭留言板系统400)可以包括：

(1)上述控制装置；

(2)上述服务器；以及

(3)上述被控制装置。

根据上述结构(1)～(3)，本发明的一方式所涉及的控制系统收到与上述控制装置、上述服务器、或者上述被控制装置相同的效果。

此外，上述控制装置、服务器、以及被控制装置可以由计算机实现。在此情况下，通过使计算机作为上述控制装置、服务器、以及被控制装置的各单元动作，通过计算机实现上述控制装置、服务器、或被控制装置的控制程序、以及记录该控制程序的计算机可读取的记录介质也包含在本发明的范畴内。

[关于各实施方式中包含的结构(技术单元)的组合]

应当注意，上述实施方式中包含的结构可以适当组合。即，上述实施方式中说明的所有结构不仅能够在该说明所涉及的实施方式中利用，在其他实施方式中也能够组合利用该结构的全部或部分，由此得到的实施方式也包含在本发明的技术范围内。另外，相互组合本发明的各实施例中记载的技术特征，能够形成新的技术方案。

[基于软件的实现例]

最后，智能手机100、服务器200、清洁机器人300a、以及电视接收机300b的各模块既可以通过形成于集成电路(IC芯片)上的逻辑电路在硬件上实现，也可以使用CPU(Central Processing Unit，中央处理单元)在软件上实现。

在后者的情况下，智能手机100、服务器200、清洁机器人300a、以及电视接收机300b包括：执行实现各功能的程序的命令的CPU、存储有上述程序的ROM(Read OnlyMemory，只读存储器)、展开上述程序的RAM(Random Access Memory，随机存取存储器)、以及存储上述程序和各种数据的存储器等存储装置(记录介质)等。并且，将以计算机可读取的方式记录了作为实现上述功能的软件的、智能手机100、服务器200、清洁机器人300a、以及电视接收机300b的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质提供给上述智能手机100、服务器200、清洁机器人300a、或者电视接收机300b，该计算机(或者CPU或MPU)读出并执行记录介质中记录的程序代码，由此也能够实现本发明的目的。

作为上述记录介质，能够使用非暂时性的有形介质(non-transitory tangiblemedium)，例如，能够使用磁带或盒式磁带等带类、包含软盘(注册商标)/硬盘等磁盘和CD-ROM/MO/MD/DVD/BD/CD-R等光盘的盘类、IC卡(包含存储卡)/光卡等卡类、掩膜ROM/EPROM/EEPROM(注册商标)/闪存ROM等半导体存储器类、或者PLD(Programmable logic device，可编程逻辑元件)或FPGA(Field Programmable Gate Array，场可编程门阵列)等逻辑电路类等。

另外，可以构成为智能手机100、服务器200、清洁机器人300a、或者电视接收机300b能够与通信网络连接，经由通信网络提供上述程序代码。该通信网络只要能够传输程序代码即可，不做特别限定。例如，可以利用因特网、内部网、外部网、LAN、ISDN、VAN、CATV通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。另外，构成该通信网络的传输介质也只要是能够传输程序代码的介质即可，并不限定于特定结构或种类的介质。例如，可以利用IEEE1394、USB、电力线传送、有线电视线路、电话线、ADSL(Asymmetric Digital Subscriber Line，非对称数字用户线路)线路等有线，还可以利用IrDA或遥控器这样的红外线、Bluetooth(注册商标)、IEEE802.11无线、HDR(High DataRate，高数据速率)、NFC(Near Field Communication，近场通信)、DLNA(Digital LivingNetwork Alliance，数字生活网络联盟)、移动电话网、卫星线路、地面数字网络等无线。此外，还可以用通过电子传送将上述程序代码具体化的、嵌入到传送波中的计算机数据信号的形式实现本发明。

这样，本说明书中，单元并不一定意味着物理单元，还包括各单元的功能由软件实现的情况。另外，可以由两个以上的物理单元实现一个单元的功能，还可以由一个物理单元实现两个以上单元的功能。

产业上的可利用性

本发明能够适用于智能手机、平板式终端、个人计算机、电视接收机等，能够经由服务器控制被控制装置的装置等。

标号说明

1a 确定信息(确定信息)

1b 指示信息(指示信息)

2 图像信息(图像信息)

3a 执行结果(执行的结果)

5 图像(图像)

11 处理指示部(指示单元)

12 执行可否判断部(第一判断单元)

13 执行结果取得部(取得单元)

14 通信可否判断部(第二判断单元)

15a 处理执行部(执行单元)

15b 处理执行部(执行单元)

21b 发送部(第一发送单元)

21c 发送部(第二发送单元)

22b 接收部(第一接收单元)

22c 接收部(第二接收单元、第三接收单元)

22d 接收部(第二接收单元)

71a 图像显示部(第一显示单元)

71b 一览显示部(第二显示单元)

100 智能手机(控制装置)

200 服务器(服务器)

300a 清洁机器人(被控制装置)

300b 电视接收机(控制装置、被控制装置)

300c 空调装置(被控制装置)

300d 照明装置(被控制装置)

300e 录像装置(被控制装置)

400 家庭留言板系统(控制系统)

Claims (6)

1.一种控制装置，经由服务器控制被控制装置，该控制装置包括：

第一显示单元，以用户可选的方式显示与确定所述被控制装置的确定信息以及指示该被控制装置执行指定处理的指示信息相对应的图像；以及

指示单元，在用户从所述第一显示单元显示的图像中选择了至少一个图像的情况下，将表示该图像的图像信息发送给所述服务器，据此使由与该图像对应的确定信息确定的被控制装置执行由与该图像对应的指示信息指示的指定处理，

所述指示单元将所述图像信息发送给提供能够在事先登记的用户之间共享信息的服务的服务器，

所述控制装置还包括第二显示单元，所述第二显示单元按照时间序列的顺序显示至少包含一个由所述指示单元发送的图像信息的信息，作为所述用户之间共享的信息。

2.根据权利要求1所述的控制装置，其特征在于还包括：

取得单元，从所述服务器取得由所述被控制装置执行指定处理的结果，

所述第二显示单元在所述取得单元取得了执行的结果的情况下，还在按照时间序列的顺序一览显示的信息的附近显示该执行的结果。

3.根据权利要求1或2所述的控制装置，其特征在于：

所述指示单元在用户选择了多个所述图像的情况下，将分别表示该图像的多个图像信息发送到所述服务器，由此使由与各个图像对应的确定信息确定的被控制装置，依次执行由与各个图像对应的指示信息指示的指定处理。

4.根据权利要求1或2所述的控制装置，其特征在于还包括：

第一判断单元，判断所述被控制装置是否能够执行所述指定处理，

所述第一显示单元在所述第一判断单元判断为不能执行的情况下，不显示与该指定处理对应的图像。

5.一种控制系统，包括：

权利要求1至4中任一项所述的控制装置；

以可通信的方式与权利要求1至4中任一项所述的控制装置连接的服务器；以及

经由所述服务器，由权利要求1至4中任一项所述的控制装置控制的被控制装置。

6.一种控制装置的控制方法，该控制装置经由服务器控制被控制装置，该控制方法包括：

第一显示步骤，以用户可选的方式显示与确定所述被控制装置的确定信息以及指示该被控制装置执行指定处理的指示信息相对应的图像；以及

指示步骤，在用户从所述第一显示步骤显示的图像中选择了至少一个图像的情况下，将表示该图像的图像信息发送给所述服务器，据此使由与该图像对应的确定信息确定的被控制装置执行由与该图像对应的指示信息指示的指定处理，

在所述指示步骤中，将所述图像信息发送给提供能够在事先登记的用户之间共享信息的服务的服务器，

所述控制装置的控制方法还包括第二显示步骤，所述第二显示步骤按照时间序列的顺序显示至少包含一个由所述指示步骤发送的图像信息的信息，作为所述用户之间共享的信息。