CN102668593B - 遥控系统、遥控设备以及遥控方法 - Google Patents

Abstract

提供了一种遥控系统，其能够协调多个装置的操作而不会损害遥控操作的习惯直觉行为方式。遥控系统设置有：遥控装置，其捕获连接至网络的多个装置中每一者的图像并规定要操作的装置，并且其传输与在待操作的多个装置之间执行的协调操作相关的操作情形信息，该协调操作由待操作的特定装置的类型的组合来决定；以及网络控制单元，其在包含多个装置的网络被构成并且操作情形信息从遥控装置传输时，向由接收到的操作情形信息所规定的装置输出用于执行由接收到的操作情形信息规定的操作的操作命令。

Description

遥控系统、遥控设备以及遥控方法

技术领域

本发明涉及遥控系统、遥控设备以及遥控方法，具体涉及用于连接至网络的设备的遥控系统、遥控设备以及遥控方法。

背景技术

目前，广泛使用红外遥控器作为用于远程控制机器或电子设备的遥控设备。通过朝向机器或电子设备的红外接收单元发射由控制数据调制后的红外光束，其远程地在机器或电子设备上执行希望的控制。当使用红外遥控器时，可控制范围被限制在距离正前方在上、下、左、右方向上小于±5度(由红外光束的扩散程度决定)并且约5至10米的距离(由红外光束的到达距离决定)以内的范围内。

由于其操作简便，上述红外遥控器被搭配至各种设备。例如，通过将其搭配至电视、DVD(数字通用盘)记录/播放机、音频系统、空调、发光设备、照相机、游戏机、个人电脑等，来向客户提供该红外遥控器。此外，作为为了将搭配至各种设备的红外遥控器集成在单一控制器中而提供的设备，存在被称为学习遥控器及多功能遥控器的设备。

近年来，不仅通信相关设备，而且诸如AV(视听)及控制设备的各种设备也被连接至网络。例如，通过在家里创建家庭网络，并且使诸如电视、DVD记录/播放机以及音频系统的AV设备或者诸如空调、发光设备以及安保系统的控制设备连接至家庭网络，可以从室外控制这些设备。

专利文献1公开了一种遥控设备的技术，其通过捕获连接至网络的设备的图像，经由网络来遥控设备，并且在控制设备时，在显示单元上显示捕获的图像并选择希望的设备。此外，遥控设备可自己单独遥控多个不同各类的设备。

当捕获作为遥控对象的设备的图像时，专利文献1中公开的遥控设备从设备本身获取红外信号形式的设备特定信息，并且将其存储在将其与捕获图像关联的存储器中。在遥控期间，当用户从显示单元上显示的图像选择希望的设备时，就获取了对应于选择图像的用户界面、操作控制程序以及设备特定信息。然后，在显示单元上显示用户界面，以控制作为遥控对象的设备，并且利用无线通信装置以及基于设备特定信息，遥控设备与连接至网络的设备建立连接。随后，通过基于在遥控设备的显示单元上显示的用户界面来执行操作，用户能够遥控连接至网络的设备。

专利文献2公开了一种用于遥控的控制系统的技术，用户将其佩戴在其头部，并且其配备有图像捕获装置，以捕获其视线内的区域的图像。该控制系统还可自身单独遥控多个不同种类的设备。

专利文献2中公开的控制系统基于图像捕获装置获得并且因控制对象设备进入用户视线而引起的图像信息以及在存储装置中存储的识别信息来识别控制对象设备，并且向控制对象设备发送由用户输入的操作命令。因此，该控制系统能够自动识别进入用户视线的控制对象设备，然后遥控控制对象设备。此外，用户通过指点在半透明型光学器件上显示的虚拟控制器来输入操作命令，该半透明型光学器件设置在其佩戴的控制系统中。

专利文献3公开了一种遥控设备的技术，其能够遥控多个对象设备而无需向控制对象设备增加任何功能。

专利文献3公开的遥控设备捕获控制对象设备的图像，从捕获的图像提取字母串，由此从多个对象设备中识别控制对象设备。然后，遥控设备根据特定控制对象设备来设定操作单元的各个按钮，并且在液晶显示单元上显示操作单元的操作方法。这里，遥控设备在对识别设备的遥控中使用常规红外光束。因此，在专利文献3中公开的技术中，通过提供遥控设备作为中继的策略来扩展可控制范围。

[文献列表]

[专利文献]

[专利文献1]日本专利申请早期公开号2007-259328

[专利文献2]日本专利申请早期公开号2006-146803

[专利文献3]日本专利申请早期公开号2005-268941

发明内容

[技术问题]

通过红外遥控器进行的遥控操作是在将遥控器指向要控制的设备的情况下按压操作按钮的非常直觉化的操作。但是，如上所述，当使用红外遥控器时，可控制范围被限制在距离正前方在上、下、左、右方向上小于±5度(由红外光束的扩散程度决定)并且约5至10米的距离(由红外光束的到达距离决定)以内的范围内。此外，尽管存在能够将多个红外遥控集成为单一遥控的设备(例如学习遥控器以及多功能遥控器)，但其难以以关联方式来对多个设备执行控制。例如，其不能够在设备之间执行关联控制，例如为了观看在DVD中记录的影片而打开电视以及DVD播放机并且使DVD播放机播放DVD。

无论距离控制对象设备的距离如何，在专利文献1中公开的遥控设备均能够执行遥控。但是，即使在控制对象设备处于极短的距离以内，遥控设备也需要在观看在遥控设备的液晶屏幕上显示的图像的情况下来提取在存储器中存储的图像并且选择特定图像的操作。因此，通过该遥控设备，不能够在将其指向要控制的设备的情况下来执行操作遥控设备的直觉化操作，而用户很多年来已经习惯了这种操作。

即使在使用无方向性遥控器时，也希望不破坏遥控操作的习惯行为方式，即在将其指向要控制的设备的情况下操作遥控器。

专利文献2中公开的控制系统的特征在于其通过捕获图像来识别控制对象设备。但是，需要用户执行特殊操作，例如通过指点在半透明光学器件上显示的虚拟控制器来输入操作命令。系统构造因此变的复杂。

尽管专利文献3中公开的遥控设备的特征在于在识别控制对象设备时从捕获图像提取字母串，但其使用红外光束执行常规遥控。因此，尽管这里也公开了用于中继的遥控设备，但构造变复杂并且可控制范围受到限制。

专利文献1至3中公开的技术分别可提供能够通过其自身单独来遥控多个不同种类设备的遥控设备。但是，专利文献1至3中公开的技术难以提供能够以关联方式来遥控多个不同种类的设备的遥控设备。

本发明的目的在于提供一种能够解决上述问题的遥控系统、遥控设备以及遥控方法。

[解决问题的方案]

为了实现上述目的，本发明的遥控系统包括：遥控设备，其捕获连接至网络的多个设备各自的图像，由此识别出控制对象设备，并且传输与多个控制对象设备之间的协作操作相关的控制情形信息，该控制情形信息由被识别出的控制对象设备的类型的组合来决定；以及网络控制单元，其构成包含上述多个设备的网络，并且在从遥控设备接收到控制情形信息之后，向接收到的控制情形信息规定的设备输出控制命令，以使设备执行接收到的控制情形信息规定的操作。

此外，本发明的遥控设备是一种用于对网络控制单元中包含的多个设备进行遥控的遥控设备，其特征在于包括：控制对象设备识别装置，其用于捕获多个所述设备各自的图像，由此识别出要控制的设备；以及控制情形输出装置，其用于在多个控制对象设备之间的协作操作中输出规定各设备的操作的控制情形信息，该控制情形信息由识别出的控制对象设备的类型的组合来决定，其特征还在于，网络控制单元在接收控制情形信息，并且使控制对象设备执行由控制情形信息规定的操作。

此外，本发明的遥控方法的特征在于包括：控制对象设备识别步骤，其中，遥控设备捕获连接至网络控制单元的多个设备各自的图像，由此识别出控制对象设备；控制情形传输步骤，其中，遥控设备传输与多个控制对象设备之间的协作操作相关的控制情形信息，该控制情形信息由识别出的控制对象设备的类型的组合来决定；以及控制命令输出步骤，其中，网络控制单元向由接收到的控制情形信息规定的设备输出控制命令，以使设备执行由接收到的控制情形信息规定的操作。

[本发明的效果]

根据本发明，能够以关联方式来执行对多个不同种类的设备的遥控，而不会破坏用户已经习惯的遥控操作的直觉化行为方式。

附图说明

图1是示出根据本发明的基本示例性实施例的系统构造的框图。

图2是示出根据本发明的基本示例性实施例的操作的时序图。

图3是示出根据本发明的基本示例性实施例的遥控设备的构造的框图。

图4是示出根据本发明的示例性实施例1的遥控设备的构造的框图。

图5是示出根据本发明的示例性实施例1的网络控制单元的构造的框图。

图6是示出根据本发明的示例性实施例2的系统构造的框图。

图7是示出根据本发明的示例性实施例2的遥控设备的构造的框图。

图8是示出根据本发明的示例性实施例2的网络控制单元的构造的框图。

图9是示出根据本发明的示例性实施例2的遥控设备的上表面外观的外部视图。

图10是示出根据本发明的示例性实施例2的遥控设备的显示单元上显示的初始菜单画面的示例的视图。

图11是示出根据本发明的示例性实施例2的遥控设备的初始菜单的操作的流程图。

图12是示出根据本发明的示例性实施例2的遥控设备的控制对象设备登记操作的流程图。

图13是示出根据本发明的示例性实施例2的遥控设备的显示单元上显示的控制对象设备登记操作时画面的示例的视图。

图14是示出根据本发明的示例性实施例2的独立控制模式的操作的时序图。

图15是示出根据本发明的示例性实施例2的遥控设备的显示单元上显示的独立控制模式中的画面的示例的视图。

图16是示出根据本发明的示例性实施例2的关联控制模式下的控制情形登记的操作的时序图。

图17是示出根据本发明的示例性实施例2的关联控制模式下的控制情形登记的在显示单元上显示的画面的示例的视图。

图18是示出根据本发明的示例性实施例2的关联控制模式下的遥控的操作的时序图。

图19是示出根据本发明的示例性实施例2的遥控设备的显示单元上显示的关联控制模式下画面的示例的视图。

图20是示出根据本发明的示例性实施例2的关联控制模式下的控制情形信息的示例的视图。

图21是示出根据本发明的示例性实施例3的系统构造的框图。

图22是示出根据本发明的示例性实施例3的网络控制单元的构造的框图。

具体实施方式

将参考附图来描述本发明的示例性实施例。

图1是示出根据本发明的基本示例性实施例的系统构造的框图。

遥控设备10是用于对连接至网络的设备进行遥控的装置。在图1中，例如将要被遥控设备10控制的设备示出为控制对象设备A 30以及控制对象设备B 40。设备C 50也是连接至网络的设备，目前假定其并非控制对象设备。

通过包含控制对象设备A 30、控制对象设备B 40以及设备C 50，网络控制单元20构成网络。

遥控设备10捕获连接至网络的多个可选设备各自的图像，由此识别要被控制的设备。遥控设备10在多个控制对象设备之间传输与协作操作相关的控制情形信息，其由被识别的控制对象设备的类型组合来决定。

当从遥控设备10接收到控制情形信息时，网络控制单元20向由接收到的控制情形信息所规定的设备输出控制命令，以使设备执行由接收到的控制情形信息所规定的操作。

图1示意性地示出了上述情况，例如遥控设备10捕获设备各自的图像并且其传输控制情形信息。此外，图1还示出了以下情况，网络控制单元20对由接收到的控制情形信息所规定的设备(控制对象设备A 30以及控制对象设备B 40)发出命令，以执行由控制情形信息所规定的操作。

图2是示出根据本发明的基本示例性实施例的操作的时序图。

遥控设备10捕获连接至网络的多个可选设备各自的图像，由此识别控制对象设备(S201)。遥控设备10传输由控制对象设备的类型的组合所决定的控制情形信息(S202)。控制情形信息被发送至网络控制单元20。网络控制单元20向由控制情形信息所规定的设备输出由控制情形信息所规定的控制命令(S203)。控制命令被分别发送至各个控制对象设备。已经接收到控制命令的各个控制对象设备执行由各个控制命令所规定的操作(S204)。

图3是示出根据本发明的基本示例性实施例的遥控设备的构造的框图。

遥控设备10是对由网络控制单元包含的多个设备进行遥控的遥控设备。遥控设备10包括控制对象设备识别装置11，其捕获多个设备各自的图像，由此识别要控制的设备。遥控设备10还包括控制情形输出装置12，其输出控制情形信息，该信息规定了在多个控制对象设备之间的协作操作中各个设备的操作，其由识别的控制对象设备的类型的组合来决定。然后，上述网络控制单元接收控制情形信息，并且使控制对象设备执行由控制情形信息所规定的操作。

如上所述，在本发明的基本示例性实施例中，用户将遥控设备10指向希望成为协作操作的控制对象的设备，并且捕获设备的图像。该操作方式是用户已经习惯的遥控器操作的直觉化行为方式。由操作识别的控制对象设备的类型的组合决定了与多个控制对象设备之间的协作操作相关的控制情形信息。在控制情形信息规定了要被控制的设备及其操作的情况下，各个控制对象设备能够基于控制情形信息来执行协作控制操作。

下面将参考图4及图5来描述根据本发明的示例性实施例1的遥控设备及网络控制单元。

图4是示出根据本发明的示例性实施例1的遥控设备的构造的框图。与针对基本示例性实施例所描述的类似，用户通过将遥控设备10指向设备来捕获希望成为协作操作的控制对象的设备的图像。例如，假定用户捕获了电视以及DVD播放机各自的图像。

通过该操作获得的设备的图像被传输至控制对象设备识别装置11。通过利用图像对比装置111，控制对象设备识别装置11通过将设备的输入图像与预先存储的用于对比的图像112进行比较，来识别控制对象设备。被识别控制对象设备的信息被传输至控制情形输出装置12。

控制情形输出装置12基于被识别控制设备的类型的组合，并利用控制情形搜索装置121来进行搜索，以确定在控制情形登记信息存储装置122中预先存储的控制情形登记信息的哪一个控制情形与上述组合相对应。

虽然将在以下描述控制情形，但这里假定，执行以下控制操作例如被规定为在捕获了电视以及DVD播放机各自的图像的情况下的控制情形。

*将DVD播放机的视频及音频输出连接至电视的线路输入。

*打开电视以及DVD播放机。

*将电视的输入源切换至线路输入。

换言之，这是控制情形的这样一种示例，其命令将DVD播放机连接至电视，打开电视及DVD播放机，并且准备在电视上观看由DVD播放机播放的视频图像。

此时，从控制情形登记信息存储装置122获取的信息包括诸如上述对应于电视及DVD播放机的组合的控制情形，或者使得能够识别具有上述内容的情形的控制情形识别信息。

控制情形输出装置12经由通信装置123输出通过搜索而获得的控制情形信息。

如上所述，从遥控设备10输出的控制情形信息包括规定各设备的特定操作的控制情形自身，或使得能够识别具有该内容的控制情形的控制情形识别信息。在此情况下，可以附加用于表明输出了哪类控制情形信息的指示标志。

图5是示出根据本发明的示例性实施例1的网络控制单元的构造的框图。

由遥控设备10输出的控制情形信息被网络控制单元20的通信装置21接收，并且被传输至控制情形分析装置22。

当从遥控设备10输出的控制情形信息是控制情形识别信息时，控制情形分析装置22通过控制情形识别信息来搜索控制情形登记信息存储装置25。通过搜索，控制情形分析装置22针对由对应控制情形规定的各设备，获得与特定操作内容相关的信息。

另一方面，当由遥控设备10输出的控制情形信息是规定各设备的特定操作的控制情形自身时，就无需上述搜索操作。

当控制情形信息与指示标志一起被输出时，控制情形分析装置22能够通过指示标志来识别上述两种操作中要执行的操作。此外，即使在未附加指示标志时，通过观察接收的控制情形信息的数据量，控制情形分析装置22也能够识别出要接收两种控制情形信息中哪一种信息。

在获取控制对象设备以及由控制情形规定的特定操作的内容之后，控制情形分析装置22对其进行分析。通过分析，控制情形分析装置22识别各控制对象设备，并且为各控制对象设备来生成控制命令数据。具体而言，其输出包含控制对象设备信息的控制命令数据，其指明各控制对象设备，以及为各控制对象设备生成的控制命令的类型。此外，还可包含与控制对象设备之间的连接相关的信息。

控制情形分析装置22将分析结果数据发送至控制命令数据生成装置23，并且指示其以生成控制命令数据。

在从控制情形分析装置22接收到指示以为各控制对象设备生成控制命令数据之后，控制命令数据生成装置23基于发送的分析结果数据而生成对应于各控制对象设备的控制命令数据。然后，控制命令数据生成装置23将生成的控制命令数据发送至设备连接装置24。

设备连接装置24配备有用于连接各设备的端口，并且可识别各控制对象设备连接至哪些端口。

针对在网络控制单元内能够对设备之间的连接进行设定的控制操作，对设备连接装置24发出连接控制命令。例如，当能够通过设备连接装置24执行“将DVD播放机的视频及音频输出连接至电视的线路输入”的控制时，对设备连接装置24发出连接控制命令。

此外，针对要由各控制对象设备执行的操作，设备连接装置24向对应的控制对象设备发送控制命令数据。例如，其向电视发送“打开”以及“将输入源切换至线路输入”的控制命令数据，并且向DVD播放机发送“打开”的控制命令数据。

在本示例性实施例中，由于上述构造及操作，仅通过用户执行遥控操作，使得遥控设备10指向希望成为协作操作的控制对象设备的设备，每个控制对象设备均可执行协作操作。换言之，仅通过用户捕获电视及DVD播放机的图像，图像对比装置111可将设备的输入图像与预先存储的用于对比的图像112进行比较，由此识别出控制对象设备为电视及DVD播放机。在被告知对象控制设备为电视及DVD播放机之后，控制情形搜索装置121搜索控制情形登记信息存储装置122，以确定在控制情形登记信息存储装置122中预先存储的哪一个控制情形与控制对象设备的组合相对应。然后，获得的控制情形被发送至网络控制单元20，在此处通过控制情形分析装置22来分析控制情形的特定内容。通过分析，由控制命令数据生成装置23生成对各设备的操作做出规定的控制命令数据，并且控制命令数据被发送至各设备。由此，DVD播放机被连接至电视，并且电视以及DVD播放机被打开，由此完成在电视上观看由DVD播放机播放的视频图像的准备。

将基于示例性实施例2来描述更详细的示例性实施例。

图6是示出根据本发明的示例性实施例2的系统构造的框图。

示例性实施例2是将本发明应用至由无线LAN(局域网)或电力线通信网络等建立的内部网络的示例。

网络控制单元20配备有建立上述内部网络的控制设备，并且通过无线方式与遥控设备10通信。作为在此情况下的无线通信方法，可以使用无线LAN、蓝牙(登记商标)或低功率无线通信。因此，即使在遥控设备10与网络控制单元20之间的距离介于至少10米至100米时，也能够在两者之间实现通信。因此，本示例性实施例的应用并不限于家庭内，也可用于会议室、小型礼堂或活动场所等。

该系统构造的其他部分与以上参考图1所述的基本示例性实施例相同。网络控制单元20可包含多个设备。在图6中，作为示例示出了三个被包含的设备。假定网络控制单元20包含用户意图作为遥控对象的控制对象设备A 30以及控制对象设备B 40，以及目前并不意在成为遥控对象的设备C 50。

图7是示出根据本发明的示例性实施例2的遥控设备10的构造的框图。

如图9中示出的其外形，遥控设备10在其主体外表面配备有用于捕获要成为控制对象的设备的图像的照相机单元102、用于执行遥控的输入操作的操作单元104以及用于显示操作单元104的操作方式等的显示单元103。

在主体内包含有作为主要构件的主控制单元101、照相机控制单元105、界面控制单元106、存储器单元107以及无线通信单元108。

通过使用存储器单元107中存储的主程序，主控制单元101负责与遥控设备10的整体操作相关的控制。除了主程序之外，在存储器单元107中存储有各种其他应用程序。与主控制单元101以及诸如照相机控制单元105及界面控制单元106的其他控制单元协作，在存储器单元107中存储的应用程序执行遥控设备10的控制操作。这里，通过由主控制单元101执行的控制操作来实现参考示例性实施例1所描述的图像对比装置以及控制情形搜索装置。

除了这些程序之外，存储器单元107还设置有区域，用于存储以上参考示例性实施例1所描述的用于对比的图像信息以及控制情形登记信息。此外，在存储器单元107中还存储了将在以下描述的用于各控制对象设备的控制界面程序。

照相机控制单元105执行与利用照相机单元102的图像捕获操作相关的控制。界面控制单元106执行诸如在显示单元103上进行显示以及对通过操作单元104上的操作而输入的信息进行识别的控制。

无线通信单元108在遥控设备10与网络控制单元20之间实现无线通信。

图8是示出根据本发明的示例性实施例2的网络控制单元20的构造的框图。

在图8中，通过使用在存储器单元204中存储的程序，控制单元201负责与网络控制单元20的整体操作相关的控制。这里，通过由控制单元201执行的控制操作来实现参考示例性实施例1所描述的控制情形分析装置以及控制命令数据生成装置。

存储器单元204设置有区域，用于除了程序之外还存储以上参考示例性实施例1所描述的控制情形信息以及与包含的设备相关的各种数据。

连接单元205配备有用于连接包含的设备的设备连接端口206，并且执行控制以使得在网络控制单元内对设备之间的连接进行设定成为可能。

路由单元202针对连接单元205的对象端口执行对控制命令数据的路由操作，该数据从控制单元201输出并且将被传输至控制对象设备。

无线通信单元203在网络控制单元20与遥控设备10之间实现无线通信。

以下将描述本示例性实施例的操作。

图10是示出根据本发明的示例性实施例2的遥控设备10的显示单元103上显示的初始菜单画面的示例的视图。

如初始菜单画面中所示，遥控设备10具有三种操作模式。

登记模式是用于预先对意在成为遥控的对象的设备进行登记的操作模式。独立控制模式是用于独立地遥控设备的操作模式。此外，关联控制模式是用于以协作方式遥控多个设备的操作模式。通过用户选择任何一种模式并且利用执行用按钮来完成确定操作，来执行各个模式的操作。

图11是示出遥控设备10的初始菜单操作的流程图。

在紧在接通电源之后的初始状态下，图10所示的初始菜单画面在遥控设备10的显示单元103上出现，并且遥控设备10进入等待用户的控制输入的状态(S1101，在S1102为否)。

当用户选择了任何一种模式并且利用用于执行的按钮完成了确定操作时(在S1102为是)，就识别出选择了哪一个菜单。

当选择了登记模式时，执行对登记模式的操作(S1104)。当选择了单独控制模式时，执行对单独控制模式的操作(S1105)。此外，当选择了关联控制模式时，执行对关联控制模式的操作(S1106)。

以下将依此对各模式的操作进行描述。

图12是示出在遥控设备10中的控制对象设备登记操作的流程图。

首先，将描述与包含的设备相关的信息，其由网络控制单元20管理。

当设备被连接至网络控制单元20的各设备连接端口206时，网络控制单元20的控制单元201通过与各设备的控制单元(图中未示出)进行通信来识别设备。然后，识别出与连接的设备相关的类型信息以及连接位置信息。此外，例如通过DHCP(动态主机配置协议)功能来为各设备赋予在内部网络中使用的地址。然后，在网络控制单元20的存储器单元204中，作为连接设备信息来存储这些与连接至网络控制单元20的各设备相关的信息。

当遥控设备10在该状态下开始对登记模式的操作时，遥控设备10与网络控制单元20通信，由此从网络控制单元20获取连接设备信息(S1201)。

如图13所示，在遥控设备10的显示单元103上显示从网络控制单元20获得的连接设备信息(S1202)。图13示出了对连接至网络控制单元20的设备的设备类型、端口编号以及地址进行显示的状态。

用户选择希望被登记的设备作为控制对象设备，并且完成确定操作(S1203)。该用户操作从遥控设备10的操作单元104经由界面控制单元106被传输至主控制单元101。在接收到用户操作的传输之后，主控制单元101命令照相机控制单元105启动照相机单元102。

利用启动的照相机单元102，用户捕获控制对象设备的外观图像，并且完成登记操作(S1204)。在对设备的外观进行图像捕获时，用户可从不同角度捕获多个外观图像。以此方式，在下述独立控制模式以及关联控制模式的情况下，可更精确地完成对比操作，其是识别要成为控制对象的设备的操作。

针对完成了其登记操作的设备，在显示单元103上显示表明完成登记的标记，并且在遥控设备10的存储器单元107中存储其图像作为用于对比的图像，其与包含设备类型、端口编号以及地址等的关联设备信息相关。

当用户继续登记操作时(在S1205为是)，就再次重复从上述步骤S1203开始的操作。

当用户完成登记操作时(在S1205为否)，登记模式操作结束。

下面，将描述在已经完成了上述登记模式操作的情况下，当用户在初始菜单画面上选择独立控制模式时的操作。

图14是示出与独立控制模式相关的操作的时序图。

作为第一步骤，用户在遥控设备10的显示单元103上的初始菜单画面上选择独立控制模式，并完成确定操作(S1401)。该用户操作从遥控设备10的操作单元104经由界面控制单元106传输至主控制单元101。在接收到用户操作的传输之后，主控制单元101命令照相机控制单元105启动照相机单元102。

用户通过将启动的照相机单元102指向控制对象设备来执行图像捕捉操作(S1402)。换言之，如果显示单元103已经被切换以显示监视器画面，则用户可在确认在监视器画面上显示了控制对象设备之后释放快门。

由用户捕获的图像从照相机控制单元105被发送至主控制单元101(S1403)，并且与在登记模式下被登记的用于对比的图像进行比较(S1404)。通过该对比操作，可获取与用于对比的图像(其与当前捕获的图像相符)关联存储的设备信息，由此识别控制对象设备(S1405)。

当识别出控制对象设备时，主控制单元101从存储器单元107获得与设备对应的界面程序，并且将其传输至界面控制单元106。以与基于传输的界面程序的操作键类似的方式，界面控制单元106界定操作单元104的键，并且在显示单元103上显示其描述(S1407)。

图15是示出遥控设备10的显示单元103上显示的独立控制模式下的操作键描述画面的示例的视图。

当识别出控制对象设备是电视时，显示图15的(a)。示出了四向键被用于音量控制及频道切换、数字键用于直接输入频带编号、并且确定键用于打开及关闭的示例。当识别出控制对象设备是音频设备时，显示图15的(b)。示出了四向键被用于音量控制以及改变要播放的曲目、数字键用于直接规定要播放的曲目、并且确定键用于打开及关闭的示例。此外，当识别出控制对象设备是发光设备时，显示图15的(c)。示出了四向键被用于亮度控制并且确定键用于打开及关闭的示例。无需多言，这些视图仅是示例，设定并不限于此。

用户通过操作遥控设备10的操作单元104的键来完成希望的遥控(S1408)。

该用户操作从遥控设备10的操作单元104经由界面控制单元106被传输至主控制单元101。主控制单元101识别用户操作的控制内容，基于内容生成控制命令数据，并且将数据经由无线通信单元108传输至网络控制单元20(S1409)。这里，传输至网络控制单元20的控制命令数据包括规定控制对象设备的地址信息。此外，为了与下述关联控制模式相区别，附加表明独立控制模式的控制模式标记。

控制命令数据由网络控制单元20的设备连接端口206接收，并且被传输至控制单元201。

网络控制单元20的控制单元201从附加至控制命令数据的控制数据标记识别出正在独立控制模式下操作。此外，控制单元201从控制命令数据中包含的地址信息识别出控制对象设备(S1410)。

然后，控制单元201经由路由单元202并经由连接单元205将控制命令数据传输至控制对象设备(S1411)。

控制对象设备执行由接收到的控制对象数据所规定的操作(S1412)。

每一次用户操作遥控设备10的操作单元104的键时，就重复上述从S1408至S1412的步骤的操作。

如上所述，在本示例性实施例的独立控制模式下，通过用户将遥控设备10的照相机单元102指向设备而将其图像捕获的设备被识别作为遥控的对象设备，并且可实现基于设备类型的控制。此外，如果照相机单元102设置有变焦功能，因为可远距离在图像中捕获对象设备，故能够在较大的会议室、小型礼堂以及活动场所中使用。

此外，考虑到在诸如要控制的设备被密集安装的位置使用，可以采用以下构造。

作为示例，遥控设备10的构造可以使得，当用户将照相机单元102指向控制对象设备时，从显示单元103上显示的多个图像中，例如使方形框被叠加在照相机单元102识别作为捕获目标的图像上。作为另一示例，遥控设备10可被构造为，当在图5的步骤S1405通过捕获图像识别出设备时，向网络控制单元20发送表明识别出的控制对象设备的控制信号。在此情况下，基于从遥控设备10接收到的控制信号，网络控制单元20传输控制命令数据，以命令点亮安装在对象设备中的显示装置。LED(发光二极管)可作为显示装置的示例。

下面，将描述在已经完成了登记模式操作的情况下，在用户在初始菜单画面上选择关联控制模式时的操作。

如针对示例性实施例1的描述，关联控制模式是能够使多个控制对象设备以关联方式完成操作的操作模式。关联控制模式的操作包括用于登记控制情形的操作，以及在已经登记了控制情形的情况下用于以关联方式遥控多个设备的关联控制模式执行操作。

图16是示出根据本发明的示例性实施例2的关联控制模式下与控制情形登记相关的操作的时序图。

当用户在遥控设备10的初始菜单画面上选择关联控制模式并且完成确定操作时，显示单元103上的画面切换至图17的(a)所示的关联控制模式的菜单画面。在关联控制模式的该菜单画面上，能够在控制情形登记操作与关联控制模式执行操作之间进行选择。

当用户在关联控制模式的菜单画面上选择了控制情形登记操作时(在S1601登记)，在显示单元103上显示图17的(b)所示的用于选择控制对象设备的画面。此时，在显示单元103上，还显示通过参考图12描述的登记操作而被登记为控制对象设备的设备列表。

例如，假定用户登记了“从电视输出由DVD播放机播放的视频图像及声音”的关联控制情形。

用户从登记设备列表的画面选择“DVD播放机”，并且完成其设定(S1602)。

然后，如图17的(c)所示，在显示单元103上，基于选择的设备类型显示操作登记画面，用于在能够被设定的操作内容中进行选择。这里，用户选择“视频输出”的操作并且完成其设定(S 1603)。当要设定进一步的操作时(在S1604为否)，在返回操作登记画面之后，用户设定并登记下一次希望执行的操作。在此情况下，用户选择并设定“声音输出”，然后执行“打开”操作。

当完成了对“DVD播放机”的设定操作时(在S1604为是)，用户返回至用于选择控制对象设备的画面，以关联方式选择作为要控制的设备的“电视”(在S1605为是)。在画面上选择“电视”以选择控制对象设备之后，用户进入操作登记画面并在此以与上述相同的方式来选择并设定希望的操作。在此情况下，用户选择并设定“视频输入”、“声音输入”、“打开”以及“切换输入源至线路输入”。

当用户已经完成了对控制情形的登记操作时(在S1605为否)，登记的控制情形被存储在遥控设备10的存储器单元107中，并且相同的控制情形被传输至网络控制单元20(S1606)。

控制情形通过上述操作来建立，并且由遥控设备10以及网络控制单元20两者保持。

图20是示出根据本发明的示例性实施例2的关联控制模式的控制情形的示例的视图。在给定情形识别编号的情况下，各控制情形被分别存储在遥控设备10的存贮器单元107中以及网络控制单元20的存贮器单元204中。

这里，图20所示的控制情形分别规定了以下协作操作。情形识别编号1规定了“从音频设备输出电视的声音”。情形识别编号2规定了“从电视输出由DVD播放机播放的视频及声音”。情形识别编号3规定了“分别从电视及音频设备输出由DVD播放机播放的视频及声音”。情形识别编号4规定了“分别从电视及音频设备输出由DVD播放机播放的视频及声音，并且设定剧场模式下发光设备的亮度”。

这里，上述控制情形的登记方法仅是示例，并且方法并不限于此。方法可以构造使得可基于控制对象设备的选择顺序来登记不同控制内容的情形。例如，可以登记对“电视”的选择规定了“视频记录”的操作并且随后对“DVD”的选择规定了用于电视节目记录的操作的控制情形。在此情况下，当用户意在执行“从电视输出由DVD播放机播放的视频及声音”的控制情形时，要由用户完成的遥控操作为选择“DVD”并且随后选择“电视”。为了执行“在DVD记录机上记录电视节目”的控制情形，用户选择“电视”并且随后选择“DVD”。

下面，将描述在已经通过上述方式登记了控制情形的情况下，当用户在关联控制模式的菜单画面上选择了关联控制模式执行操作时的操作。在此情况下，在图16中的对应选择分支处(在S1601执行)，操作被转换为关联控制模式操作执行(S1607)。

图18是示出基于关联控制模式的遥控的操作的时序图。

当选择了关联控制模式执行时(S1801)，该用户操作从遥控设备10的操作单元104经由界面控制单元106被传输至主控制单元101。在接收到用户操作的传输之后，主控制单元101命令照相机控制单元105启动照相机单元102。

对于多个控制对象设备每一者，在照相机单元102指向设备的情况下，用户执行捕获控制对象设备的图像的操作(S1802)。换言之，为了完成“从电视输出由DVD播放机播放的视频及声音”的关联控制，用户仅需要捕获“DVD播放机”的图像，随后捕获“电视”的图像。

由用户捕获的图像从照相机控制单元105被逐一发送至主控制单元101(S1803)，并且与在登记模式下被登记的用于对比的图像进行比较(S 1804)。通过该对比操作，可获取与捕获图像相符的用于对比的各图像相关地存储的各个设备信息，由此识别出控制对象设备(S1805)。在此情况下，识别出“DVD播放机”以及“电视”。

此外，此时，因为选择了关联控制模式执行，故主控制单元101从在存储器单元107中存储的登记控制情形中搜索由识别出的控制对象设备的组合所决定的控制情形(S1806)。例如，从图20所示的控制情形列表获取情形识别编号2。

然后，主控制单元101向网络控制单元20传输控制情形信息，以使其基于控制情形来执行操作。与已经参考示例性实施例1所描述的类似，从遥控设备10传输至网络控制单元20的控制情形信息可以是控制情形的内容本身，也可以是用于使得能够识别控制情形的内容的识别信息。在此情况下，假定传输了情形识别编号，以减少传输的信息量。

主控制单元101生成控制命令数据，其包含表明关联控制模式的控制模式标记以及情形识别编号(编号2)，并且主控制单元101将该数据经由无线通信单元108传输至网络控制单元20(S1807)。

由网络控制单元20的无线通信单元203接收到的控制命令数据被传输至控制单元201。通过使用包含在控制命令数据中的表明关联控制模式的控制模式标记以及情形识别编号(编号2)，控制单元201搜索在存储器单元204中存储的控制情形，并且获取对应的控制情形(S1808)。

换言之，“DVD播放机”以及“电视”(以及其各自的地址及端口编号)被识别为控制对象设备。然后，作为要被执行的操作，识别出“向电视输出DVD播放机的视频及声音”、“打开DVD播放机”、“打开电视”以及“切换电视的输入源”。

在识别出的操作中，控制单元201执行在网络控制单元20中能够完成的操作，例如进行设备之间的连接设定(S1809)。例如，当可通过控制连接单元205来执行“向电视输出DVD播放机的视频及声音”的操作时，控制单元201命令连接单元205来执行相应的连接。

然后，控制单元201生成要被传输至各控制对象设备的控制命令数据，并且经由路由单元202及连接单元205从各设备连接的端口传输这些数据(S1810)。各控制命令数据分别包含表明要执行的操作的命令，以及用于路由操作的地址及端口信息。通过这些控制命令数据，将与要执行的操作相关的信息传输至对象设备。

在此情况下，包含“打开”命令的控制命令数据被传输至“DVD播放机”。包含“打开”命令并且包含“切换输入源”命令的控制命令数据被传输至“电视”。

各设备分别基于接收到的控制命令数据中包含的命令来执行操作(S1811)。

另一方面，在完成控制情形信息的传输之后，遥控设备10将操作单元104设定至用户能够输入关联控制的下一次控制的状态。

主控制单元101从存储器单元107获取与S1805处识别出的控制对象设备对应的界面程序(S1812)，并将其传输至界面控制单元106。在此情况下，获取了“DVD播放机”以及“电视”的界面程序。

以与基于传输界面程序的操作键设置类似的方式，界面控制单元106界定了操作单元104的键，并且将其描述显示在显示单元103上(S1813)。此外，在关联控制模式下，获取了与多个设备相关的界面程序，仅将其中一个界面显示在显示单元103上，但用户操作可切换要被显示的界面。

图19是示出在遥控设备10的显示单元103上显示的关联控制模式下的画面的示例的视图。图19示出了根据需要分别获取并切换四个界面程序“DVD播放机”、“音频设备”、“电视”以及“发光设备”的情况。

用户通过操作遥控设备10的操作单元104的键来完成希望的遥控(S1814)。例如，在通过上述关联控制、DVD播放机与电视彼此互连并且处于打开状态的情况下，假定操作单元104被设定为“DVD播放机”的操作界面。

在此情况下，用户可完成对应于“播放”的操作。

该用户操作从遥控设备10的操作单元104经由界面控制单元106被传输至主控制单元101。主控制单元101识别由用户执行的控制内容。主控制单元101生成识别控制内容的控制命令数据，并且经由无线通信单元108将其传输至网络控制单元20(S1815)。此时，传输至网络控制单元20的控制命令数据包含识别控制对象设备的地址信息。此外，附加了表明关联控制模式的控制模式标记。

该控制命令数据由网络控制单元20的无线通信单元203接收，并且被传输至控制单元201。

通过附加至控制命令数据的控制模式标记，网络控制单元20的控制单元201识别出当前控制处于关联控制模式下。此外，控制单元201通过控制命令数据中包含的地址信息来识别控制对象设备(S1816)。

然后，控制单元201经由路由单元202及连接单元205向要被控制的设备传输控制命令数据(S1817)。

控制对象设备执行在接收到的控制命令数据中指明的操作(S1818)。

每一次用户操作遥控设备10的操作单元104的键时，就重复上述从S1814至S1818的操作。

如上所述，在本示例性实施例的关联控制模式下，可以设定多个设备中的关联控制的情形。然后，作为遥控的对象设备，识别出其图像被用户(其将遥控设备10的照相机单元102指向设备)捕获的多个设备，并且可以完成基于设备的组合的关联控制。此外，如果照相机单元102设置有变焦功能，则可从远距离在图像中捕获对象设备。因此，也可在较大的会议室、小型礼堂以及活动场所等使用设备之间的上述关联控制。

此外，在本示例性实施例中，遥控设备10的构造可以使得，在用户将照相机单元102指向控制对象设备时于显示单元103上显示的图像中，例如使方形框叠加在被照相机单元102识别为捕获目标的图像上。此外，在通过其获取图像来识别作为控制对象设备的设备时，图18中的步骤S1805可包括点亮设备的显示装置(包括LED)的步骤。

下面将描述本发明的示例性实施例3。

图21是示出根据本发明的示例性实施例3的系统构造的框图。

在示例性实施例3中，尽管与示例性实施例2类似将控制对象设备连接至诸如局域网的内部网络，但遥控设备60呈被安装在诸如移动电话的移动通信终端内的形式。

因此，示例性实施例3的网络控制单元70无需直接与遥控设备60通信，并且至少经由移动通信网络来实现两者间的通信。

图22是示出根据本发明的示例性实施例3的网络控制单元的构造的示例的框图。网络控制单元70具有通过从图8所示的示例性实施例2的网络控制单元20移除无线通信单元203而获得的构造。然后，利用构成局域网的路由器80的协助，经由移动通信网络以及因特网完成其与遥控设备60的通信。因此，如图22所示，网络控制单元70配备有能够与路由器80通信的通信单元703。

其他构造及操作与针对示例性实施例2所描述的情况相同，并且提供了登记模式、单独控制模式以及关联控制模式。

此外，在本示例性实施例中，遥控设备60的构造可以使得，当用户将照相机单元102指向控制对象设备时，从显示单元103上显示的多个图像中，例如使方形框被叠加在被照相机单元102识别作为捕获目标的图像上。此外，或可确定点亮被捕获图像识别出的设备的显示装置(包括LED)。

本示例性实施例3使得能够利用移动电话通信来传输控制信息，并且使得能够利用照相机单元的变焦功能来识别出远距离安装的设备，因此其适用于开阔场地，例如临时室外活动场所以及主题公园。

虽然参考了其示例性实施例具体示了并描述了本发明，但本发明并不限于这些实施例。本领域的普通技术人员可以理解，在不脱离所附权利要求界定的本发明的精神及范围的前提下，可以对本发明的形式及细节完成各种改变。

本申请要求于2009年11月10日递交的日本专利申请号2009-256909的优先权，通过引用将其全部内容包含在本说明书中。

参考标号列表

遥控设备10，60

网络控制单元20，70

控制对象设备30，40

设备50

控制对象设备识别装置11

控制情形输出装置12

图像对比装置111

控制情形搜索装置121

通信装置13，21

用于对比的图像112

控制情形登记信息存储装置122，25

控制情形分析装置22

控制命令数据生成装置23

设备连接装置24

主控制单元101

照相机单元102

显示单元103

操作单元104

照相机控制单元105

界面控制单元106

存储器单元107，204

无线通信单元108，203

控制单元201，701

路由单元202，702

连接单元205，705

设备连接端口206，706

通信单元703，

路由器80

调制解调器90

Claims (10)

1.一种遥控系统，包括：

遥控设备，用于通过捕获连接至网络的多个设备各自的图像并将捕获到的图像与预先捕获并存储的比较图像进行比较来识别控制对象设备，并且用于传输与多个控制对象设备之间的协作操作相关的由识别出的所述控制对象设备的类型的组合来决定的控制情形信息；以及

网络控制单元，用于通过包含所述多个设备来构成所述网络，并且用于在从所述遥控设备接收到所述控制情形信息之后，向接收到的所述控制情形信息中规定的识别出的所述控制对象设备输出控制命令，以使识别出的所述控制对象设备执行接收到的所述控制情形信息中规定的操作，

其中，所述遥控设备包括：

图像登记装置，用于通过基于从所述网络控制单元获得的所述多个设备的连接设备信息从期望设备的不同角度捕获多个外观图像并将捕获的图像存储为所述比较图像来登记所述比较图像，所述期望设备为将被登记为所述控制对象设备的设备；以及

控制情形登记装置，用于通过选择与多个控制对象设备的关联控制模式中涉及的控制对象设备的类型的组合对应的将被设置的操作内容，来登记多个控制对象设备的关联控制模式的控制情形信息。

2.如权利要求1所述的遥控系统，其中，

所述遥控设备包括：

控制对象设备识别装置，用于通过将控制对象设备的捕获图像与事先存储的比较图像进行比较，来识别出所述控制对象设备；

界面控制装置，用于根据与控制对象设备识别装置识别出的控制对象设备对应的界面程序定义操作单元的键的操作键设置，并在显示单元上显示每个键的描述；以及

控制情形信息输出单元，用于获取由识别出的所述控制对象设备的类型的组合所决定的所述控制情形信息，并用于向网络控制单元传输获取的所述控制情形信息，

其中，当控制单元设备被识别出时，将指示被识别出的控制对象设备的控制信号发送到网络控制单元，以命令点亮安装在控制对象设备中的显示装置。

3.如权利要求2所述的遥控系统，其中，

所述网络控制单元包括：

通信单元，用于从外部接收所述控制情形信息；

控制情形分析单元，用于针对各控制对象设备，对由所述控制情形信息规定的所述控制对象设备以及由所述控制情形信息规定的操作内容进行分析，并且用于输出指定各控制对象设备的控制对象设备信息以及针对各控制对象设备的操作内容信息；

控制命令数据生成单元，用于基于从所述控制情形分析单元传输的所述控制对象设备信息以及所述操作内容信息，来生成并输出对应于各控制对象设备的控制命令数据；以及

设备连接单元，其配备有端口，用于连接多个所述设备中的各个设备，所述设备连接单元用于基于由所述控制命令数据生成单元输出的所述控制命令数据，来识别出连接所述控制对象设备中各个控制对象设备并且传输与所述控制对象设备中各个控制对象设备对应的控制命令数据的所述端口。

4.如权利要求2所述的遥控系统，其中，

所述遥控设备配备有控制情形登记控制单元，其中，针对各种控制情形，所述控制情形登记控制单元将关于参与相应控制的多个所述控制对象设备的设备类型信息以及针对各控制对象设备规定的操作信息，与用于识别对应控制情形的控制情形识别信息一起，登记作为所述控制情形登记信息，并且向所述网络控制单元传输登记的所述控制情形登记信息。

5.一种遥控设备，用于对网络控制单元中包含的多个设备进行遥控，所述遥控设备包括：

图像登记装置，用于通过基于从所述网络控制单元获得的所述多个设备的连接设备信息从期望设备的不同角度捕获多个外观图像并将捕获的图像存储为比较图像来登记所述比较图像，所述期望设备为将被登记为所述控制对象设备的设备；

控制对象设备识别单元，用于通过捕获多个所述设备各自的图像并将捕获的图像与事先存储的比较图像进行比较来识别控制对象设备；

控制情形登记装置，用于通过选择与多个控制对象设备的关联控制模式中涉及的控制对象设备的类型的组合对应的将被设置的操作内容，来登记多个控制对象设备的关联控制模式的控制情形信息；以及

控制情形输出单元，用于输出由识别出的所述控制对象设备的类型的组合所决定的与在多个控制对象设备之间的协作操作相关的控制情形信息，

其中，接收到所述控制情形信息后，所述网络控制单元使所述控制对象设备执行由所述控制情形信息规定的操作。

6.如权利要求5所述的遥控设备，还包括界面控制装置，用于根据与控制对象设备识别装置识别出的控制对象设备对应的界面程序定义操作单元的键的操作键设置，并在显示单元上显示每个键的描述，其中，当控制单元设备被识别出时，将指示被识别出的控制对象设备的控制信号发送到网络控制单元，以命令点亮安装在控制对象设备中的显示装置。

7.如权利要求6所述的遥控设备，其中，

针对各种控制情形，所述控制情形登记单元将参与相应控制的多个所述控制对象设备相关的设备类型信息以及针对各控制对象设备规定的操作信息，与用于识别对应控制情形的控制情形识别信息一起，登记作为所述控制情形登记信息，并且向所述网络控制单元传输被登记的所述控制情形登记信息。

8.一种遥控方法，使遥控设备对包含在网络控制单元中的多个设备进行遥控，所述方法包括以下步骤：

通过基于从所述网络控制单元获得的所述多个设备的连接设备信息从期望设备的不同角度捕获多个外观图像并将捕获的图像存储为比较图像来登记所述比较图像，所述期望设备为将被登记为所述控制对象设备的设备；

通过捕获连接至网络控制单元的多个设备各自的图像并将捕获的图像与事先存储的比较图像进行比较来识别控制对象设备；

通过选择与多个控制对象设备的关联控制模式中涉及的控制对象设备的类型的组合对应的将被设置的操作内容，来登记多个控制对象设备的关联控制模式的控制情形信息；

传输由识别出的所述控制对象设备的类型的组合所决定的与多个控制对象设备之间的协作操作相关的控制情形信息；以及

其中，所述网络控制单元在接收到所述控制情形信息时使所述控制对象设备执行由接收到的所述控制情形信息规定的操作。

9.如权利要求8所述的遥控方法，还包括：

根据与控制对象设备识别装置识别出的控制对象设备对应的界面程序定义操作单元的键的操作键设置，并在显示单元上显示每个键的描述；以及

当控制单元设备被识别出时，将指示被识别出的控制对象设备的控制信号发送到网络控制单元，以命令点亮安装在控制对象设备中的显示装置以确认该识别。

10.如权利要求9所述的遥控方法，其中，

所述登记步骤包括：

针对各种控制情形，将与参与相应控制的多个所述控制对象设备相关的设备类型信息以及针对各控制对象设备规定的操作信息，与用于识别对应控制情形的控制情形识别信息一起，登记作为所述控制情形登记信息；以及

向所述网络控制单元传输被登记的所述控制情形登记信息。