具体实施方式
将参考附图来描述本发明的示例性实施例。
图1是示出根据本发明的基本示例性实施例的系统构造的框图。
遥控设备10是用于对连接至网络的设备进行遥控的装置。在图1中,例如将要被遥控设备10控制的设备示出为控制对象设备A 30以及控制对象设备B 40。设备C 50也是连接至网络的设备,目前假定其并非控制对象设备。
通过包含控制对象设备A 30、控制对象设备B 40以及设备C 50,网络控制单元20构成网络。
遥控设备10捕获连接至网络的多个可选设备各自的图像,由此识别要被控制的设备。遥控设备10在多个控制对象设备之间传输与协作操作相关的控制情形信息,其由被识别的控制对象设备的类型组合来决定。
当从遥控设备10接收到控制情形信息时,网络控制单元20向由接收到的控制情形信息所规定的设备输出控制命令,以使设备执行由接收到的控制情形信息所规定的操作。
图1示意性地示出了上述情况,例如遥控设备10捕获设备各自的图像并且其传输控制情形信息。此外,图1还示出了以下情况,网络控制单元20对由接收到的控制情形信息所规定的设备(控制对象设备A 30以及控制对象设备B 40)发出命令,以执行由控制情形信息所规定的操作。
图2是示出根据本发明的基本示例性实施例的操作的时序图。
遥控设备10捕获连接至网络的多个可选设备各自的图像,由此识别控制对象设备(S201)。遥控设备10传输由控制对象设备的类型的组合所决定的控制情形信息(S202)。控制情形信息被发送至网络控制单元20。网络控制单元20向由控制情形信息所规定的设备输出由控制情形信息所规定的控制命令(S203)。控制命令被分别发送至各个控制对象设备。已经接收到控制命令的各个控制对象设备执行由各个控制命令所规定的操作(S204)。
图3是示出根据本发明的基本示例性实施例的遥控设备的构造的框图。
遥控设备10是对由网络控制单元包含的多个设备进行遥控的遥控设备。遥控设备10包括控制对象设备识别装置11,其捕获多个设备各自的图像,由此识别要控制的设备。遥控设备10还包括控制情形输出装置12,其输出控制情形信息,该信息规定了在多个控制对象设备之间的协作操作中各个设备的操作,其由识别的控制对象设备的类型的组合来决定。然后,上述网络控制单元接收控制情形信息,并且使控制对象设备执行由控制情形信息所规定的操作。
如上所述,在本发明的基本示例性实施例中,用户将遥控设备10指向希望成为协作操作的控制对象的设备,并且捕获设备的图像。该操作方式是用户已经习惯的遥控器操作的直觉化行为方式。由操作识别的控制对象设备的类型的组合决定了与多个控制对象设备之间的协作操作相关的控制情形信息。在控制情形信息规定了要被控制的设备及其操作的情况下,各个控制对象设备能够基于控制情形信息来执行协作控制操作。
下面将参考图4及图5来描述根据本发明的示例性实施例1的遥控设备及网络控制单元。
图4是示出根据本发明的示例性实施例1的遥控设备的构造的框图。与针对基本示例性实施例所描述的类似,用户通过将遥控设备10指向设备来捕获希望成为协作操作的控制对象的设备的图像。例如,假定用户捕获了电视以及DVD播放机各自的图像。
通过该操作获得的设备的图像被传输至控制对象设备识别装置11。通过利用图像对比装置111,控制对象设备识别装置11通过将设备的输入图像与预先存储的用于对比的图像112进行比较,来识别控制对象设备。被识别控制对象设备的信息被传输至控制情形输出装置12。
控制情形输出装置12基于被识别控制设备的类型的组合,并利用控制情形搜索装置121来进行搜索,以确定在控制情形登记信息存储装置122中预先存储的控制情形登记信息的哪一个控制情形与上述组合相对应。
虽然将在以下描述控制情形,但这里假定,执行以下控制操作例如被规定为在捕获了电视以及DVD播放机各自的图像的情况下的控制情形。
*将DVD播放机的视频及音频输出连接至电视的线路输入。
*打开电视以及DVD播放机。
*将电视的输入源切换至线路输入。
换言之,这是控制情形的这样一种示例,其命令将DVD播放机连接至电视,打开电视及DVD播放机,并且准备在电视上观看由DVD播放机播放的视频图像。
此时,从控制情形登记信息存储装置122获取的信息包括诸如上述对应于电视及DVD播放机的组合的控制情形,或者使得能够识别具有上述内容的情形的控制情形识别信息。
控制情形输出装置12经由通信装置123输出通过搜索而获得的控制情形信息。
如上所述,从遥控设备10输出的控制情形信息包括规定各设备的特定操作的控制情形自身,或使得能够识别具有该内容的控制情形的控制情形识别信息。在此情况下,可以附加用于表明输出了哪类控制情形信息的指示标志。
图5是示出根据本发明的示例性实施例1的网络控制单元的构造的框图。
由遥控设备10输出的控制情形信息被网络控制单元20的通信装置21接收,并且被传输至控制情形分析装置22。
当从遥控设备10输出的控制情形信息是控制情形识别信息时,控制情形分析装置22通过控制情形识别信息来搜索控制情形登记信息存储装置25。通过搜索,控制情形分析装置22针对由对应控制情形规定的各设备,获得与特定操作内容相关的信息。
另一方面,当由遥控设备10输出的控制情形信息是规定各设备的特定操作的控制情形自身时,就无需上述搜索操作。
当控制情形信息与指示标志一起被输出时,控制情形分析装置22能够通过指示标志来识别上述两种操作中要执行的操作。此外,即使在未附加指示标志时,通过观察接收的控制情形信息的数据量,控制情形分析装置22也能够识别出要接收两种控制情形信息中哪一种信息。
在获取控制对象设备以及由控制情形规定的特定操作的内容之后,控制情形分析装置22对其进行分析。通过分析,控制情形分析装置22识别各控制对象设备,并且为各控制对象设备来生成控制命令数据。具体而言,其输出包含控制对象设备信息的控制命令数据,其指明各控制对象设备,以及为各控制对象设备生成的控制命令的类型。此外,还可包含与控制对象设备之间的连接相关的信息。
控制情形分析装置22将分析结果数据发送至控制命令数据生成装置23,并且指示其以生成控制命令数据。
在从控制情形分析装置22接收到指示以为各控制对象设备生成控制命令数据之后,控制命令数据生成装置23基于发送的分析结果数据而生成对应于各控制对象设备的控制命令数据。然后,控制命令数据生成装置23将生成的控制命令数据发送至设备连接装置24。
设备连接装置24配备有用于连接各设备的端口,并且可识别各控制对象设备连接至哪些端口。
针对在网络控制单元内能够对设备之间的连接进行设定的控制操作,对设备连接装置24发出连接控制命令。例如,当能够通过设备连接装置24执行“将DVD播放机的视频及音频输出连接至电视的线路输入”的控制时,对设备连接装置24发出连接控制命令。
此外,针对要由各控制对象设备执行的操作,设备连接装置24向对应的控制对象设备发送控制命令数据。例如,其向电视发送“打开”以及“将输入源切换至线路输入”的控制命令数据,并且向DVD播放机发送“打开”的控制命令数据。
在本示例性实施例中,由于上述构造及操作,仅通过用户执行遥控操作,使得遥控设备10指向希望成为协作操作的控制对象设备的设备,每个控制对象设备均可执行协作操作。换言之,仅通过用户捕获电视及DVD播放机的图像,图像对比装置111可将设备的输入图像与预先存储的用于对比的图像112进行比较,由此识别出控制对象设备为电视及DVD播放机。在被告知对象控制设备为电视及DVD播放机之后,控制情形搜索装置121搜索控制情形登记信息存储装置122,以确定在控制情形登记信息存储装置122中预先存储的哪一个控制情形与控制对象设备的组合相对应。然后,获得的控制情形被发送至网络控制单元20,在此处通过控制情形分析装置22来分析控制情形的特定内容。通过分析,由控制命令数据生成装置23生成对各设备的操作做出规定的控制命令数据,并且控制命令数据被发送至各设备。由此,DVD播放机被连接至电视,并且电视以及DVD播放机被打开,由此完成在电视上观看由DVD播放机播放的视频图像的准备。
将基于示例性实施例2来描述更详细的示例性实施例。
图6是示出根据本发明的示例性实施例2的系统构造的框图。
示例性实施例2是将本发明应用至由无线LAN(局域网)或电力线通信网络等建立的内部网络的示例。
网络控制单元20配备有建立上述内部网络的控制设备,并且通过无线方式与遥控设备10通信。作为在此情况下的无线通信方法,可以使用无线LAN、蓝牙(登记商标)或低功率无线通信。因此,即使在遥控设备10与网络控制单元20之间的距离介于至少10米至100米时,也能够在两者之间实现通信。因此,本示例性实施例的应用并不限于家庭内,也可用于会议室、小型礼堂或活动场所等。
该系统构造的其他部分与以上参考图1所述的基本示例性实施例相同。网络控制单元20可包含多个设备。在图6中,作为示例示出了三个被包含的设备。假定网络控制单元20包含用户意图作为遥控对象的控制对象设备A 30以及控制对象设备B 40,以及目前并不意在成为遥控对象的设备C 50。
图7是示出根据本发明的示例性实施例2的遥控设备10的构造的框图。
如图9中示出的其外形,遥控设备10在其主体外表面配备有用于捕获要成为控制对象的设备的图像的照相机单元102、用于执行遥控的输入操作的操作单元104以及用于显示操作单元104的操作方式等的显示单元103。
在主体内包含有作为主要构件的主控制单元101、照相机控制单元105、界面控制单元106、存储器单元107以及无线通信单元108。
通过使用存储器单元107中存储的主程序,主控制单元101负责与遥控设备10的整体操作相关的控制。除了主程序之外,在存储器单元107中存储有各种其他应用程序。与主控制单元101以及诸如照相机控制单元105及界面控制单元106的其他控制单元协作,在存储器单元107中存储的应用程序执行遥控设备10的控制操作。这里,通过由主控制单元101执行的控制操作来实现参考示例性实施例1所描述的图像对比装置以及控制情形搜索装置。
除了这些程序之外,存储器单元107还设置有区域,用于存储以上参考示例性实施例1所描述的用于对比的图像信息以及控制情形登记信息。此外,在存储器单元107中还存储了将在以下描述的用于各控制对象设备的控制界面程序。
照相机控制单元105执行与利用照相机单元102的图像捕获操作相关的控制。界面控制单元106执行诸如在显示单元103上进行显示以及对通过操作单元104上的操作而输入的信息进行识别的控制。
无线通信单元108在遥控设备10与网络控制单元20之间实现无线通信。
图8是示出根据本发明的示例性实施例2的网络控制单元20的构造的框图。
在图8中,通过使用在存储器单元204中存储的程序,控制单元201负责与网络控制单元20的整体操作相关的控制。这里,通过由控制单元201执行的控制操作来实现参考示例性实施例1所描述的控制情形分析装置以及控制命令数据生成装置。
存储器单元204设置有区域,用于除了程序之外还存储以上参考示例性实施例1所描述的控制情形信息以及与包含的设备相关的各种数据。
连接单元205配备有用于连接包含的设备的设备连接端口206,并且执行控制以使得在网络控制单元内对设备之间的连接进行设定成为可能。
路由单元202针对连接单元205的对象端口执行对控制命令数据的路由操作,该数据从控制单元201输出并且将被传输至控制对象设备。
无线通信单元203在网络控制单元20与遥控设备10之间实现无线通信。
以下将描述本示例性实施例的操作。
图10是示出根据本发明的示例性实施例2的遥控设备10的显示单元103上显示的初始菜单画面的示例的视图。
如初始菜单画面中所示,遥控设备10具有三种操作模式。
登记模式是用于预先对意在成为遥控的对象的设备进行登记的操作模式。独立控制模式是用于独立地遥控设备的操作模式。此外,关联控制模式是用于以协作方式遥控多个设备的操作模式。通过用户选择任何一种模式并且利用执行用按钮来完成确定操作,来执行各个模式的操作。
图11是示出遥控设备10的初始菜单操作的流程图。
在紧在接通电源之后的初始状态下,图10所示的初始菜单画面在遥控设备10的显示单元103上出现,并且遥控设备10进入等待用户的控制输入的状态(S1101,在S1102为否)。
当用户选择了任何一种模式并且利用用于执行的按钮完成了确定操作时(在S1102为是),就识别出选择了哪一个菜单。
当选择了登记模式时,执行对登记模式的操作(S1104)。当选择了单独控制模式时,执行对单独控制模式的操作(S1105)。此外,当选择了关联控制模式时,执行对关联控制模式的操作(S1106)。
以下将依此对各模式的操作进行描述。
图12是示出在遥控设备10中的控制对象设备登记操作的流程图。
首先,将描述与包含的设备相关的信息,其由网络控制单元20管理。
当设备被连接至网络控制单元20的各设备连接端口206时,网络控制单元20的控制单元201通过与各设备的控制单元(图中未示出)进行通信来识别设备。然后,识别出与连接的设备相关的类型信息以及连接位置信息。此外,例如通过DHCP(动态主机配置协议)功能来为各设备赋予在内部网络中使用的地址。然后,在网络控制单元20的存储器单元204中,作为连接设备信息来存储这些与连接至网络控制单元20的各设备相关的信息。
当遥控设备10在该状态下开始对登记模式的操作时,遥控设备10与网络控制单元20通信,由此从网络控制单元20获取连接设备信息(S1201)。
如图13所示,在遥控设备10的显示单元103上显示从网络控制单元20获得的连接设备信息(S1202)。图13示出了对连接至网络控制单元20的设备的设备类型、端口编号以及地址进行显示的状态。
用户选择希望被登记的设备作为控制对象设备,并且完成确定操作(S1203)。该用户操作从遥控设备10的操作单元104经由界面控制单元106被传输至主控制单元101。在接收到用户操作的传输之后,主控制单元101命令照相机控制单元105启动照相机单元102。
利用启动的照相机单元102,用户捕获控制对象设备的外观图像,并且完成登记操作(S1204)。在对设备的外观进行图像捕获时,用户可从不同角度捕获多个外观图像。以此方式,在下述独立控制模式以及关联控制模式的情况下,可更精确地完成对比操作,其是识别要成为控制对象的设备的操作。
针对完成了其登记操作的设备,在显示单元103上显示表明完成登记的标记,并且在遥控设备10的存储器单元107中存储其图像作为用于对比的图像,其与包含设备类型、端口编号以及地址等的关联设备信息相关。
当用户继续登记操作时(在S1205为是),就再次重复从上述步骤S1203开始的操作。
当用户完成登记操作时(在S1205为否),登记模式操作结束。
下面,将描述在已经完成了上述登记模式操作的情况下,当用户在初始菜单画面上选择独立控制模式时的操作。
图14是示出与独立控制模式相关的操作的时序图。
作为第一步骤,用户在遥控设备10的显示单元103上的初始菜单画面上选择独立控制模式,并完成确定操作(S1401)。该用户操作从遥控设备10的操作单元104经由界面控制单元106传输至主控制单元101。在接收到用户操作的传输之后,主控制单元101命令照相机控制单元105启动照相机单元102。
用户通过将启动的照相机单元102指向控制对象设备来执行图像捕捉操作(S1402)。换言之,如果显示单元103已经被切换以显示监视器画面,则用户可在确认在监视器画面上显示了控制对象设备之后释放快门。
由用户捕获的图像从照相机控制单元105被发送至主控制单元101(S1403),并且与在登记模式下被登记的用于对比的图像进行比较(S1404)。通过该对比操作,可获取与用于对比的图像(其与当前捕获的图像相符)关联存储的设备信息,由此识别控制对象设备(S1405)。
当识别出控制对象设备时,主控制单元101从存储器单元107获得与设备对应的界面程序,并且将其传输至界面控制单元106。以与基于传输的界面程序的操作键类似的方式,界面控制单元106界定操作单元104的键,并且在显示单元103上显示其描述(S1407)。
图15是示出遥控设备10的显示单元103上显示的独立控制模式下的操作键描述画面的示例的视图。
当识别出控制对象设备是电视时,显示图15的(a)。示出了四向键被用于音量控制及频道切换、数字键用于直接输入频带编号、并且确定键用于打开及关闭的示例。当识别出控制对象设备是音频设备时,显示图15的(b)。示出了四向键被用于音量控制以及改变要播放的曲目、数字键用于直接规定要播放的曲目、并且确定键用于打开及关闭的示例。此外,当识别出控制对象设备是发光设备时,显示图15的(c)。示出了四向键被用于亮度控制并且确定键用于打开及关闭的示例。无需多言,这些视图仅是示例,设定并不限于此。
用户通过操作遥控设备10的操作单元104的键来完成希望的遥控(S1408)。
该用户操作从遥控设备10的操作单元104经由界面控制单元106被传输至主控制单元101。主控制单元101识别用户操作的控制内容,基于内容生成控制命令数据,并且将数据经由无线通信单元108传输至网络控制单元20(S1409)。这里,传输至网络控制单元20的控制命令数据包括规定控制对象设备的地址信息。此外,为了与下述关联控制模式相区别,附加表明独立控制模式的控制模式标记。
控制命令数据由网络控制单元20的设备连接端口206接收,并且被传输至控制单元201。
网络控制单元20的控制单元201从附加至控制命令数据的控制数据标记识别出正在独立控制模式下操作。此外,控制单元201从控制命令数据中包含的地址信息识别出控制对象设备(S1410)。
然后,控制单元201经由路由单元202并经由连接单元205将控制命令数据传输至控制对象设备(S1411)。
控制对象设备执行由接收到的控制对象数据所规定的操作(S1412)。
每一次用户操作遥控设备10的操作单元104的键时,就重复上述从S1408至S1412的步骤的操作。
如上所述,在本示例性实施例的独立控制模式下,通过用户将遥控设备10的照相机单元102指向设备而将其图像捕获的设备被识别作为遥控的对象设备,并且可实现基于设备类型的控制。此外,如果照相机单元102设置有变焦功能,因为可远距离在图像中捕获对象设备,故能够在较大的会议室、小型礼堂以及活动场所中使用。
此外,考虑到在诸如要控制的设备被密集安装的位置使用,可以采用以下构造。
作为示例,遥控设备10的构造可以使得,当用户将照相机单元102指向控制对象设备时,从显示单元103上显示的多个图像中,例如使方形框被叠加在照相机单元102识别作为捕获目标的图像上。作为另一示例,遥控设备10可被构造为,当在图5的步骤S1405通过捕获图像识别出设备时,向网络控制单元20发送表明识别出的控制对象设备的控制信号。在此情况下,基于从遥控设备10接收到的控制信号,网络控制单元20传输控制命令数据,以命令点亮安装在对象设备中的显示装置。LED(发光二极管)可作为显示装置的示例。
下面,将描述在已经完成了登记模式操作的情况下,在用户在初始菜单画面上选择关联控制模式时的操作。
如针对示例性实施例1的描述,关联控制模式是能够使多个控制对象设备以关联方式完成操作的操作模式。关联控制模式的操作包括用于登记控制情形的操作,以及在已经登记了控制情形的情况下用于以关联方式遥控多个设备的关联控制模式执行操作。
图16是示出根据本发明的示例性实施例2的关联控制模式下与控制情形登记相关的操作的时序图。
当用户在遥控设备10的初始菜单画面上选择关联控制模式并且完成确定操作时,显示单元103上的画面切换至图17的(a)所示的关联控制模式的菜单画面。在关联控制模式的该菜单画面上,能够在控制情形登记操作与关联控制模式执行操作之间进行选择。
当用户在关联控制模式的菜单画面上选择了控制情形登记操作时(在S1601登记),在显示单元103上显示图17的(b)所示的用于选择控制对象设备的画面。此时,在显示单元103上,还显示通过参考图12描述的登记操作而被登记为控制对象设备的设备列表。
例如,假定用户登记了“从电视输出由DVD播放机播放的视频图像及声音”的关联控制情形。
用户从登记设备列表的画面选择“DVD播放机”,并且完成其设定(S1602)。
然后,如图17的(c)所示,在显示单元103上,基于选择的设备类型显示操作登记画面,用于在能够被设定的操作内容中进行选择。这里,用户选择“视频输出”的操作并且完成其设定(S 1603)。当要设定进一步的操作时(在S1604为否),在返回操作登记画面之后,用户设定并登记下一次希望执行的操作。在此情况下,用户选择并设定“声音输出”,然后执行“打开”操作。
当完成了对“DVD播放机”的设定操作时(在S1604为是),用户返回至用于选择控制对象设备的画面,以关联方式选择作为要控制的设备的“电视”(在S1605为是)。在画面上选择“电视”以选择控制对象设备之后,用户进入操作登记画面并在此以与上述相同的方式来选择并设定希望的操作。在此情况下,用户选择并设定“视频输入”、“声音输入”、“打开”以及“切换输入源至线路输入”。
当用户已经完成了对控制情形的登记操作时(在S1605为否),登记的控制情形被存储在遥控设备10的存储器单元107中,并且相同的控制情形被传输至网络控制单元20(S1606)。
控制情形通过上述操作来建立,并且由遥控设备10以及网络控制单元20两者保持。
图20是示出根据本发明的示例性实施例2的关联控制模式的控制情形的示例的视图。在给定情形识别编号的情况下,各控制情形被分别存储在遥控设备10的存贮器单元107中以及网络控制单元20的存贮器单元204中。
这里,图20所示的控制情形分别规定了以下协作操作。情形识别编号1规定了“从音频设备输出电视的声音”。情形识别编号2规定了“从电视输出由DVD播放机播放的视频及声音”。情形识别编号3规定了“分别从电视及音频设备输出由DVD播放机播放的视频及声音”。情形识别编号4规定了“分别从电视及音频设备输出由DVD播放机播放的视频及声音,并且设定剧场模式下发光设备的亮度”。
这里,上述控制情形的登记方法仅是示例,并且方法并不限于此。方法可以构造使得可基于控制对象设备的选择顺序来登记不同控制内容的情形。例如,可以登记对“电视”的选择规定了“视频记录”的操作并且随后对“DVD”的选择规定了用于电视节目记录的操作的控制情形。在此情况下,当用户意在执行“从电视输出由DVD播放机播放的视频及声音”的控制情形时,要由用户完成的遥控操作为选择“DVD”并且随后选择“电视”。为了执行“在DVD记录机上记录电视节目”的控制情形,用户选择“电视”并且随后选择“DVD”。
下面,将描述在已经通过上述方式登记了控制情形的情况下,当用户在关联控制模式的菜单画面上选择了关联控制模式执行操作时的操作。在此情况下,在图16中的对应选择分支处(在S1601执行),操作被转换为关联控制模式操作执行(S1607)。
图18是示出基于关联控制模式的遥控的操作的时序图。
当选择了关联控制模式执行时(S1801),该用户操作从遥控设备10的操作单元104经由界面控制单元106被传输至主控制单元101。在接收到用户操作的传输之后,主控制单元101命令照相机控制单元105启动照相机单元102。
对于多个控制对象设备每一者,在照相机单元102指向设备的情况下,用户执行捕获控制对象设备的图像的操作(S1802)。换言之,为了完成“从电视输出由DVD播放机播放的视频及声音”的关联控制,用户仅需要捕获“DVD播放机”的图像,随后捕获“电视”的图像。
由用户捕获的图像从照相机控制单元105被逐一发送至主控制单元101(S1803),并且与在登记模式下被登记的用于对比的图像进行比较(S 1804)。通过该对比操作,可获取与捕获图像相符的用于对比的各图像相关地存储的各个设备信息,由此识别出控制对象设备(S1805)。在此情况下,识别出“DVD播放机”以及“电视”。
此外,此时,因为选择了关联控制模式执行,故主控制单元101从在存储器单元107中存储的登记控制情形中搜索由识别出的控制对象设备的组合所决定的控制情形(S1806)。例如,从图20所示的控制情形列表获取情形识别编号2。
然后,主控制单元101向网络控制单元20传输控制情形信息,以使其基于控制情形来执行操作。与已经参考示例性实施例1所描述的类似,从遥控设备10传输至网络控制单元20的控制情形信息可以是控制情形的内容本身,也可以是用于使得能够识别控制情形的内容的识别信息。在此情况下,假定传输了情形识别编号,以减少传输的信息量。
主控制单元101生成控制命令数据,其包含表明关联控制模式的控制模式标记以及情形识别编号(编号2),并且主控制单元101将该数据经由无线通信单元108传输至网络控制单元20(S1807)。
由网络控制单元20的无线通信单元203接收到的控制命令数据被传输至控制单元201。通过使用包含在控制命令数据中的表明关联控制模式的控制模式标记以及情形识别编号(编号2),控制单元201搜索在存储器单元204中存储的控制情形,并且获取对应的控制情形(S1808)。
换言之,“DVD播放机”以及“电视”(以及其各自的地址及端口编号)被识别为控制对象设备。然后,作为要被执行的操作,识别出“向电视输出DVD播放机的视频及声音”、“打开DVD播放机”、“打开电视”以及“切换电视的输入源”。
在识别出的操作中,控制单元201执行在网络控制单元20中能够完成的操作,例如进行设备之间的连接设定(S1809)。例如,当可通过控制连接单元205来执行“向电视输出DVD播放机的视频及声音”的操作时,控制单元201命令连接单元205来执行相应的连接。
然后,控制单元201生成要被传输至各控制对象设备的控制命令数据,并且经由路由单元202及连接单元205从各设备连接的端口传输这些数据(S1810)。各控制命令数据分别包含表明要执行的操作的命令,以及用于路由操作的地址及端口信息。通过这些控制命令数据,将与要执行的操作相关的信息传输至对象设备。
在此情况下,包含“打开”命令的控制命令数据被传输至“DVD播放机”。包含“打开”命令并且包含“切换输入源”命令的控制命令数据被传输至“电视”。
各设备分别基于接收到的控制命令数据中包含的命令来执行操作(S1811)。
另一方面,在完成控制情形信息的传输之后,遥控设备10将操作单元104设定至用户能够输入关联控制的下一次控制的状态。
主控制单元101从存储器单元107获取与S1805处识别出的控制对象设备对应的界面程序(S1812),并将其传输至界面控制单元106。在此情况下,获取了“DVD播放机”以及“电视”的界面程序。
以与基于传输界面程序的操作键设置类似的方式,界面控制单元106界定了操作单元104的键,并且将其描述显示在显示单元103上(S1813)。此外,在关联控制模式下,获取了与多个设备相关的界面程序,仅将其中一个界面显示在显示单元103上,但用户操作可切换要被显示的界面。
图19是示出在遥控设备10的显示单元103上显示的关联控制模式下的画面的示例的视图。图19示出了根据需要分别获取并切换四个界面程序“DVD播放机”、“音频设备”、“电视”以及“发光设备”的情况。
用户通过操作遥控设备10的操作单元104的键来完成希望的遥控(S1814)。例如,在通过上述关联控制、DVD播放机与电视彼此互连并且处于打开状态的情况下,假定操作单元104被设定为“DVD播放机”的操作界面。
在此情况下,用户可完成对应于“播放”的操作。
该用户操作从遥控设备10的操作单元104经由界面控制单元106被传输至主控制单元101。主控制单元101识别由用户执行的控制内容。主控制单元101生成识别控制内容的控制命令数据,并且经由无线通信单元108将其传输至网络控制单元20(S1815)。此时,传输至网络控制单元20的控制命令数据包含识别控制对象设备的地址信息。此外,附加了表明关联控制模式的控制模式标记。
该控制命令数据由网络控制单元20的无线通信单元203接收,并且被传输至控制单元201。
通过附加至控制命令数据的控制模式标记,网络控制单元20的控制单元201识别出当前控制处于关联控制模式下。此外,控制单元201通过控制命令数据中包含的地址信息来识别控制对象设备(S1816)。
然后,控制单元201经由路由单元202及连接单元205向要被控制的设备传输控制命令数据(S1817)。
控制对象设备执行在接收到的控制命令数据中指明的操作(S1818)。
每一次用户操作遥控设备10的操作单元104的键时,就重复上述从S1814至S1818的操作。
如上所述,在本示例性实施例的关联控制模式下,可以设定多个设备中的关联控制的情形。然后,作为遥控的对象设备,识别出其图像被用户(其将遥控设备10的照相机单元102指向设备)捕获的多个设备,并且可以完成基于设备的组合的关联控制。此外,如果照相机单元102设置有变焦功能,则可从远距离在图像中捕获对象设备。因此,也可在较大的会议室、小型礼堂以及活动场所等使用设备之间的上述关联控制。
此外,在本示例性实施例中,遥控设备10的构造可以使得,在用户将照相机单元102指向控制对象设备时于显示单元103上显示的图像中,例如使方形框叠加在被照相机单元102识别为捕获目标的图像上。此外,在通过其获取图像来识别作为控制对象设备的设备时,图18中的步骤S1805可包括点亮设备的显示装置(包括LED)的步骤。
下面将描述本发明的示例性实施例3。
图21是示出根据本发明的示例性实施例3的系统构造的框图。
在示例性实施例3中,尽管与示例性实施例2类似将控制对象设备连接至诸如局域网的内部网络,但遥控设备60呈被安装在诸如移动电话的移动通信终端内的形式。
因此,示例性实施例3的网络控制单元70无需直接与遥控设备60通信,并且至少经由移动通信网络来实现两者间的通信。
图22是示出根据本发明的示例性实施例3的网络控制单元的构造的示例的框图。网络控制单元70具有通过从图8所示的示例性实施例2的网络控制单元20移除无线通信单元203而获得的构造。然后,利用构成局域网的路由器80的协助,经由移动通信网络以及因特网完成其与遥控设备60的通信。因此,如图22所示,网络控制单元70配备有能够与路由器80通信的通信单元703。
其他构造及操作与针对示例性实施例2所描述的情况相同,并且提供了登记模式、单独控制模式以及关联控制模式。
此外,在本示例性实施例中,遥控设备60的构造可以使得,当用户将照相机单元102指向控制对象设备时,从显示单元103上显示的多个图像中,例如使方形框被叠加在被照相机单元102识别作为捕获目标的图像上。此外,或可确定点亮被捕获图像识别出的设备的显示装置(包括LED)。
本示例性实施例3使得能够利用移动电话通信来传输控制信息,并且使得能够利用照相机单元的变焦功能来识别出远距离安装的设备,因此其适用于开阔场地,例如临时室外活动场所以及主题公园。
虽然参考了其示例性实施例具体示了并描述了本发明,但本发明并不限于这些实施例。本领域的普通技术人员可以理解,在不脱离所附权利要求界定的本发明的精神及范围的前提下,可以对本发明的形式及细节完成各种改变。
本申请要求于2009年11月10日递交的日本专利申请号2009-256909的优先权,通过引用将其全部内容包含在本说明书中。
参考标号列表
遥控设备10,60
网络控制单元20,70
控制对象设备30,40
设备50
控制对象设备识别装置11
控制情形输出装置12
图像对比装置111
控制情形搜索装置121
通信装置13,21
用于对比的图像112
控制情形登记信息存储装置122,25
控制情形分析装置22
控制命令数据生成装置23
设备连接装置24
主控制单元101
照相机单元102
显示单元103
操作单元104
照相机控制单元105
界面控制单元106
存储器单元107,204
无线通信单元108,203
控制单元201,701
路由单元202,702
连接单元205,705
设备连接端口206,706
通信单元703,
路由器80
调制解调器90