CN1947410A - 遥控系统、远程命令器及遥控服务器 - Google Patents

遥控系统、远程命令器及遥控服务器 Download PDF

Info

Publication number
CN1947410A
CN1947410A CNA2005800124516A CN200580012451A CN1947410A CN 1947410 A CN1947410 A CN 1947410A CN A2005800124516 A CNA2005800124516 A CN A2005800124516A CN 200580012451 A CN200580012451 A CN 200580012451A CN 1947410 A CN1947410 A CN 1947410A
Authority
CN
China
Prior art keywords
described remote
equipment
remote control
remote commander
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800124516A
Other languages
English (en)
Other versions
CN100508554C (zh
Inventor
佐藤英树
中村顺一
汤浅直树
大津秀一
桥博纪
生井美衣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1947410A publication Critical patent/CN1947410A/zh
Application granted granted Critical
Publication of CN100508554C publication Critical patent/CN100508554C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Details Of Television Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及利用IP网络等的很少受到指向性或可通信范围上的限制的通信媒体进行遥控操作。本发明的装置可在遥控器和操作对象设备之间进行双向通信,因此能够通过送达确认来进行可靠的通信,能够处理基于GUI操作的复杂的命令体系,并能够利用较大带宽进行动图像流等大容量数据传送。作为遥控操作对象的电视接收机可将子画面等的动图像数据经由IP网络向IP遥控器发送,在IP遥控器侧收看。

Description

遥控系统、远程命令器及遥控服务器
技术领域
本发明涉及用远程命令器远程操作电视接收机及DVD播放机、其他各种AV设备及CE设备、信息设备等的遥控系统、远程命令器及遥控服务器,特别地涉及实现了不受远程命令器对操作对象设备的指向性和可发送距离上的限制条件约束的远程控制系统、远程命令器及遥控服务器。
更具体地,本发明涉及利用TCP/IP等网络的能够在远程命令器和操作对象设备之间双向通信的遥控系统、远程命令器及遥控服务器,特别是关于从对于指向性和可发送距离没有限制条件的多个设备出发、以用户面前的设备为操作对象进行遥控操作的遥控系统、远程命令器及遥控服务器。
背景技术
当前,电视接收机或录像重放装置,音像设备等各种各样的信息家电设备被开发与制造出来,已经在一般家庭和其他居住空间广泛普及。一般这些信息设备的基本操作方式是,通过操作按钮和音量开关等安装在设备本体上的的用户接口直接进行设备的操作,但最近几乎所有的设备都能够用遥控器进行远程操作了。
例如家电产品等的人们生活用的电气/电子设备领域,作为将用户操作命令远程地输入到设备的手段,开发了采用AM调制方式的「红外遥控」且已得到通用。
利用红外通信方式具有成本低、消耗功率少、且在各国几乎没有法律法规制约等优点。另外,不需要布线就意味着无需在电缆之间连接的连接器,成本也可以降低。也不用担心每次连接或切断插拔连接器带来的机械损耗。
可是,采用红外通信方式存在指向性的问题,若接收机的受光部不在发送机侧的视场角内,通信就不能创建,这构成了使用上大的限制(例如,参见专利文献1)。另外,由于红外通信方式基本上为单向通信,发送源不能接收来自对方的响应,存在不能进行送达确认的问题。
当然,若进行通信的双方的设备均设有红外发送功能和红外接收功能,就能够进行双向通信。但是,由于红外通信中存在指向性的问题,双方的用户必须相互对主对方的设备来发送操作,不太方便。
例如,提出了一种通信设备,该设备可将远程命令器向电子设备发出的红外操作信号中继,从而操作设在专用遥控器发出的红外操作信号不能直接到达处的电子设备(例如,参见专利文献2)。该通信装置从由远程命令器接收的红外操作信号除去载波分量后抽出脉冲波形分量,并将该脉冲波形分量经由网络传送,同时用脉冲波形分量调制红外光载波向作为操作对象的电子设备发送。
并且,提出了不使用中继器等的简单的装置结构构成的远程操作系统(例如,参见专利文献3)。控制装置将表示关于可能的输入操作的能力的能力信息向被控制装置发送,而在被控制装置侧在接收的能力信息的范围内创建并返送用以形成可实现的用户接口的遥控器处理信息。然后,控制装置利用遥控器处理信息来形成用户接口。
但是,红外通信方式中,由于其通信带宽的限制,难以进行如动图象或静止图像这样的大容量数据交换,这限制了进行遥控的终端设备的功能。
并且,提出了可用手机进行家电设备等的预约操作的手机遥控系统(例如,参见专利文献4)。依据该系统,遥控装置接收来自手机的信号,并根据接收的信号以光的形式发送对被控设备进行远程控制的远程控制信号。
但是,利用网络或移动电话网等的遥控系统中,虽然远程操作本身是可能的,但是遥控中的最后一段采用红外通信方式,因此与通常的遥控系统一样受到通信带宽的限制。
专利文献1:特开2002-165281号公报
专利文献2:特开2003-258464号公报
专利文献3:特开2003-143670号公报
专利文献4:特开平11-284757号公报
发明内容
发明要解决的课题
本发明的目的在于提供性能优越的遥控系统、远程命令器及遥控服务器,能够利用远程命令器适当地远程操作电视接收机及DVD播放机、其他各种AV设备及CE设备、信息设备等。
本发明的再一目的是提供性能优越的遥控系统、远程命令器及遥控服务器,能够实现不受关于从远程命令器对操作对象设备的指向性和可发送距离的限制条件的约束的远程控制。
本发明的再一目的是提供性能优越的遥控系统、远程命令器及遥控服务器,能够进行利用TCP/IP等网络的在远程命令器和操作对象设备之间的双向通信。
本发明的再一目的是提供性能优越的遥控系统、远程命令器及遥控服务器,能够从不存在关于指向性和可发送距离的限制条件的多个设备中指定用户面前的设备作为操作对象来进行遥控操作。
用以解决课题的装置
本发明是鉴于上述课题构思而成的、用远程命令器操作一台以上的控制对象设备的遥控系统,其特征在于:上述远程命令器及至少部分控制对象设备设有网络通信功能,响应上述远程命令器侧的用户输入,经由网络对控制对象设备进行命令操作。
这里所说的“系统”,是指多个装置(或实现特定功能的功能模块)逻辑地集合而成的结构,与各装置或功能模块是否在单一的框体内无关(下同)。
本发明的遥控系统中,上述控制对象设备经由网络响应上述远程命令器经由网络发送的命令。
并且,上述远程命令器向上述控制对象设备请求数据,上述控制对象设备将被请求的数据经由网络返送。然后,上述远程命令器将从上述控制对象设备接收的数据解码、重放并输出。
当前,基于红外的通信方式已被广泛用于设备的远程操作。利用红外通信方式具有成本低、消耗功率少、且在各国几乎没有法律法规制约等优点。可是,使用红外光的这些通信方式存在指向性的问题,若接收机的受光部不在发送机侧的视场角的范围内通信就不能创建,在使用上构成了大的限制。并且,由于红外通信方式基本上为单向通信,发送源不能接收来自对方的响应,因此不能进行送达确认。
而在本发明的遥控系统中,利用IP网络等在指向性或通信可能范围上很少受到限制的通信媒体进行遥控操作。
利用这样的IP网络的遥控系统能够在遥控器以及操作对象设备之间进行双向通信,因此能够通过送达确认(响应)来进行可靠的通信,可载入能够处理基于GUI操作的复杂的命令体系并能够用较大带宽进行动图像的流传送等大容量数据传送的技术效果。例如,作为遥控器的操作对象的电视接收机将被作了接收处理的子画面等的动图像数据经由IP网络向IP遥控器发送,从而可在IP遥控器的显示屏上观看子画面。
这里,控制对象设备被远程命令器请求数据时,将相应的数据内容变换成可在远程命令器侧重放并输出的格式,然后经由网络返送。例如,向作为控制对象设备的电视接收机请求了所想看的电视节目的图像输出时,或请求了硬盘录像机等录像设备的AV输出图像时,这些图像数据被变换成可在MPEG4等的IP遥控器侧接收并重放的低比特率的数据格式,经由局域网进行流传送。但是,本发明中所说的变换成可在远程命令器侧重放并输出的数据格式的的变换处理,并不仅限于从高比特率向低比特率的比特率变换。
并且,控制对象设备中,可包括传统的只能通过红外通信遥控操作的IR设备。这种场合,可在IP遥控器和IR设备之间设置具有网络通信功能和将经由网络接收的命令变换成红外命令的协议变换功能的遥控服务器。遥控服务器一旦经由IP网络从IP遥控器接收接收到对IR设备的操作命令,就将该命令变换成红外命令并转送给IR设备,因此,可用IP遥控器对IR设备进行操作。
遥控服务器可将远程命令器向IR设备请求的数据从IR设备中取出,并变换成可在远程命令器侧重放并输出的格式,然后经由网络返送到远程命令器。例如,遥控服务器将来自作为IR设备的录像设备的AV输出图像变换成可在MPEG4等IP遥控器侧接收并重放的低比特率的数据格式,并经由局域网进行流传送。
若控制对象设备为电视接收机,则可从接收的广播波中取出EPG数据并加以存储。这时,响应来自上述远程命令器的EPG数据请求,EPG数据经由网络返送。然后,上述远程命令器将接收的EPG数据显示并输出。
远程命令器可响应当前的EPG数据显示画面上的频道指定,向作为控制对象设备的电视接收机发送频道切换请求。
而在电视接收机侧,可将在远程命令器请求切换的频道接收的图像内容变换成可在远程命令器侧重放并输出的格式,并经由网络流传送。然后,上述远程命令器将接收的图像内容解码并显示图像。用户可在远程命令器上收看子画面。
并且,电视接收机可将显示图像切换道远程命令器请求切换的频道。这是将远程命令器上的显示图像投掷(throw)到电视屏幕的操作。
并且,远程命令器也可响应在预告EPG数据显示画面上的电视节目指定,向作为控制对象设备的录像设备发送该节目的录像预约请求。
这里,也可设置成让遥控服务器介入远程命令器对录像设备的录像预约操作。遥控服务器经由网络从远程命令器接收了录像预约请求时,将该录像预约请求基于EPG数据变换成红外预约数据,对只能经红外通信遥控操作的IR录像设备进行红外发送。然后,IR录像设备根据来自遥控服务器的红外预约数据执行录像预约。
并且,作为控制对象设备的录像设备响应来自远程命令器的图像内容请求,将该请求的图像内容变换成可在上述远程命令器侧重放并输出的格式后经由网络流传送。远程命令器将接收到的图像内容解码并进行图像显示。用户能够不切换电视机的显示图像而在远程命令器上确认录制的图像。
也可设置成让遥控服务器介入这样的远程命令器上的录像图像的操作。遥控服务器经由网络从远程命令器接收到图像内容请求时,就将该图像内容请求变换成红外命令,并向只能通过红外通信遥控操作的IR录像设备进行红外发送。而IR录像设备按照来自遥控服务器的红外命令将图像内容输出。然后,遥控服务器将IR录像设备输出的图像内容变换成可在远程命令器侧重放并输出的格式,再经由网络流传送到远程命令器。
并且,远程命令器可向作为控制对象设备的显示装置请求将图像显示切换到其自身显示的图像内容。显示装置响应该图像显示切换请求,将画面从例如电视接收图像切换到录像设备的输出图像。这是将远程命令器上的显示图像投掷(throw)到电视屏幕的操作。
并且,远程命令器可在启动时和其他任意定时向设有网络通信功能的控制对象设备经由网络请求设备信息。然后,显示对该请求作出设备信息响应的关于控制对象设备的设备列表。可将过去有设备信息响应而当前没有的控制对象设备在设备列表上灰化(grayedout)显示。并且,可将一定期间以上无设备信息响应的控制对象设备从设备列表删除。
远程命令器能够向在设备列表上选择的控制对象设备发送操作请求。这里,设备列表上灰化显示的控制对象设备被选择时,可在请求将该控制对象设备的电源接通后发送操作请求。
另外,遥控服务器可预先登记能够发送红外命令的各IR设备的信息,并响应来自远程命令器的请求而将IR设备信息返送到远程命令器。
这时,远程命令器显示IR设备列表。然后,对IR设备列表上选择的IR设备的操作请求可经由网络发送给遥控服务器。对此作出响应,遥控服务器将远程命令器对IR设备的操作请求变换成红外命令后转送给上述IR设备。
发明的效果
根据本发明,能够提供性能优越的遥控系统及遥控方法、远程命令器以及电子设备,可用远程命令器适当地远程操作电视接收机及DVD播放机、其他各种AV设备及CE设备、信息设备等。
并且,根据本发明,可提供性能优越的遥控系统、远程命令器及遥控服务器,能够实现不受远程命令器对操作对象设备的指向性和可发送距离上的限制条件的约束的远程控制。
并且,根据本发明,可提供性能优越的遥控系统、远程命令器及遥控服务器,能够进行利用TCP/IP等网络的、在远程命令器和操作对象设备之间的双向通信。
并且,根据本发明,可提供性能优越的遥控系统、远程命令器及遥控服务器,能够从不受关于指向性和可发送距离的限制条件约束的多个设备中指定用户面前的设备作为操作对象进行遥控操作。
通过对基于后述的本发明的实施方式及附图的详细说明,当会更深入地理解本发明的其他目的、特征和优点。
附图说明
图1是表示本发明一实施例的遥控系统的结构例的示意图。
图2是表示本发明遥控系统的另一实施例的示图。
图3是表示可用作IP遥控器的终端设备的硬件结构例的示图。
图4是表示可用作遥控服务器的装置的结构示意图。
图5表示IP遥控器取得电视机接收的EPG(当前)数据并在LCD 19上显示的情形。
图6表示通过IP遥控器上显示的EPG(当前)画面进行电视频道切换操作的情形。
图7表示IP遥控器取得电视机接收的EPG(未来)数据并在LCD 19上显示的情形。
图8表示通过IP遥控器上显示的EPG(未来)画面来进行节目的录像预约操作的情形。
图9表示为了将EPG(当前)数据在IP遥控器上显示的操作顺序。
图10是表示为了显示EPG(当前)数据、IP遥控器执行的处理过程的流程图。
图11表示一例利用EPG(未来)数据用IP遥控器在录像设备上进行节目的录像预约的操作顺序。
图12表示另一例利用EPG(未来)数据用IP遥控器在录像设备进行节目的录像预约的操作顺序。
图13表示又一例利用EPG(未来)数据用IP遥控器在录像设备上进行节目的录像预约的操作顺序。
图14表示在IP遥控器上收看电视机接收的地面波模拟广播的情形。
图15表示在IP遥控器上收看电视机接收的地面波模拟广播时进行频道切换操作的情形。
图16表示在IP遥控器上收看电视机接收的地面波模拟广播时进行频道切换操作的情形。
图17表示将电视机侧的频道切换到IP遥控器侧正在收看的电视节目的情形。
图18表示从IP遥控器上收看录像设备中保存的录像内容的状态变到也能在电视机上收看的情形。
图19表示在IP遥控器上收看录像设备中保存的录像内容的情形。
图20表示一例将AV内容从IR录像设备流传送到IP遥控器的操作顺序。
图21表示一例将AV内容从DLNA设备流传送到IP遥控器的操作顺序。
图22表示一例将IP遥控器上收看的IR设备的内容投掷到电视机的操作顺序。
图23表示一例将IP遥控器上收看的DLNA设备的内容投掷到电视机的操作顺序。
符号说明
11...CPU
12...总线
13...存储器装置
14...输入开关矩阵部
15...网络通信部
16...红外通信部
17...编解码处理部
18...图形显示处理器
19...液晶显示部(LCD)
20...数据输入输出接口
31...CPU
32...总线
33...存储器装置
34...有线局域网部
35...红外处理部
37...编解码处理部
38...硬盘驱动器
具体实施方式
以下,参照附图对本发明的实施方式进行详解。
本发明涉及用远程命令器远程操作电视接收机及DVD播放机、其他各种AV设备及CE设备、信息设备等的遥控系统。
设备的遥控操作一般都采用红外通信方式即红外遥控,但存在指向性的问题,若不将接收机的受光部朝向发送机侧的视场角范围就不能创建通信,这成为使用上大的限制。并且,由于红外通信方式基本上为单向通信,发送源不能接收来自对方的响应,因此不能进行送达确认。
因而,本发明构筑利用基于IP网络的远程命令器即IP遥控器的遥控系统来取代红外传送通路。该IP遥控器能够利用较少受限于指向性或通信可能范围的通信媒体来进行遥控操作。并可取得这样的技术效果:能够在IP网络上进行遥控器以及操作对象设备之间的双向通信,因此可借助于送达确认(响应)来进行可靠的通信,能够处理基于GUI操作的复杂的命令体系,并能够用较大的带宽进行动图像的流传送等大容量数据传送。例如,作为遥控器的操作对象的电视接收机,可将已被接收处理的子画面等的动图像数据经由IP网络向IP遥控器发送,从而可在IP遥控器的显示屏上收看子画面。
再有,对网络上的设备进行控制的IP遥控器无指向性,即具有透过性,因此存在不能对准用户面前的特定设备而进行操作的问题。因而,可利用TCP/IP网络进行遥控控制,但也可同时用传统的红外遥控器的功能来指定设备。
A.系统结构
图1示意表示本发明一实施例的遥控系统的结构例。图示的系统由用户进行设备操作用的IP遥控器和成为IP遥控器的操作对象的控制对象设备A及B构成,控制对象设备A及B分别设置在不同房间1和2,且两台设备不能同时处于红外光的到达范围。
控制对象设备A及B包括例如电视接收机及DVD播放机、其他各种AV设备及CE设备、信息设备等,它们各自具有接收处理红外命令的功能和网络接口,通过基于IEEE802.3(以太网(注册商标))等构筑的IP网络(局域网)相互连接。
依据DLNA(Digital Living Network Alliance)的家电设备是可从IP遥控器经由网络用命令操作的控制对象设备的一例,以下也称为「DLNA设备」。
IP遥控器具有按用户操作发送红外命令的功能以及无线网络接口,经由基于IEEE802.11a/b等构筑的无线网络与接入点(AP)进行通信。由于AP连接到IP网络,IP遥控器能够越过AP而与控制对象设备A及B进行双向通信,经由IP网络发送遥控命令,或从控制对象设备A及B接收数据。
并且,IP遥控器也可设有LCD等的显示器,将例如经由IP网络从控制对象设备A及B流传送的动图像数据重放并输出(后述)。
图2表示本发明遥控系统的其他实施例。与图1所示的系统结构的主要差别是遥控服务器介入在IP遥控器和控制对象设备之间。
遥控服务器通过与例如电视接收机等成为IP遥控器的主控制对象的DLNA设备连接来使用,或者与该种DLNA设备构成为一体。
遥控服务器具有以太网(注册商标)等的有线局域网通信功能,经由IP网络即局域网接收来自IP遥控器的命令,并向IP遥控器的控制对象设备转送操作命令。控制对象设备也具有局域网通信功能,遥控服务器将IP遥控器接收的操作命令经由局域网转送。
并且,由于遥控服务器不具有局域网通信功能,只能用旧有(传统)的红外(IR)遥控方式进行远程操作的控制对象设备(以下也称为「IR设备」),因此将经由局域网从IP遥控器接收的操作命令变换成SIRCS等红外通信用的命令格式,并进行光发送。发送红外命令时,若成为控制对象的IR设备处于遥控服务器的死角或两者相隔长距离时,可用AV滑鼠等的延长线,在IR设备的近处进行红外命令的光发送。再有,AV滑鼠在例如已转让于本申请人的特开2001-223955号公报作了记载。
并且,若遥控服务器连接到电视接收机和其他AV内容的源设备,或者构成为一体,它也可用作将这些AV内容(或其他形式的内容)发送给IP遥控器的发送服务器。
例如,遥控服务器与电视接收机连接时,将接收的声音信号及图像信号进行AV编解码变换,变换成可在MPEG4等的IP遥控器侧接收并重放的低比特率的数据格式,并经由局域网向IP遥控器流传送。或者,从经由局域网连接的硬盘录像机取出以MPEG1或MPEG2等的高比特率记录的录像内容,进行AV编解码变换而使之成为可在MPEG4等的IP遥控器侧接收并重放的低比特率的数据格式,再经由局域网向IP遥控器流传送。但是,作为向可在IP遥控器侧重放并输出的数据格式的变换处理,从高比特率向低比特率的比特率的变换仅是其中一例,并不以此为限。
图3表示本实施例的遥控系统中能够作为IP遥控器工作的终端设备的硬件结构例。图示的终端设备也能作为IP遥控器的专用终端制作,但也可设计成与PDA(Personal Digital Assistant)或游戏机等其他便携终端兼用。
图示的IP遥控器10构成为由CPU(Central Processing Unit)11通过总线12对各部分进行综合控制。
CPU 11具备由ROM或RAM组成的存储器装置13,它将存储于ROM的程序代码在RAM上展开,并执行预定处理。这里所说的预定处理是经由网络对控制对象设备进行控制信号的命令/响应的发送/接收、对控制对象设备进行内容的发送/接收、文件转送以及DLNA设备或IR设备等控制对象设备的远程操作等,按照用户输入的指示执行这些处理。关于各项处理的详细内容将在后文描述。
输入开关矩阵部14包含数字键或声音调节键、画质调节键、选台键等的键操作部,用户向成为遥控对象的设备输入操作内容。在输入开关矩阵部14上输入的控制对象设备操作用命令,从网络通信部15经由IP网络发送。
网络通信部15设有经由基于例如IEEE802.11a/b等构筑的无线网络与接入点(AP)进行通信的网络接口。在网络通信部15设定MAC地址或IP地址等网络上固有的识别信息。本实施例中,网络通信部15设置成将按照输入开关矩阵部14给出的指示的遥控请求经由网络转送给控制对象设备。
红外通信部16设置成将用以指定拥有IP遥控器的用户面前的设备的设备搜索请求作为红外光信号发送。红外通信部16也可兼有采用一般由AV设备的遥控器等广泛使用的红外通信标准即SIRCS(SerialInfrared Remote Control System)而发送通常的红外命令的功能。
编解码处理部17进行AV内容的编码和解码处理。本实施例中,能够将网络通信部15从控制对象设备接收的MPEG4等的AV内容解码,将声音和图像重放并输出。例如,作为遥控器的操作对象的电视接收机能够将被接收处理的子画面等的动图像数据经由IP网络向IP遥控器发送,在IP遥控器的显示屏上可观看子画面。若不从IP遥控器发送AV内容,编解码处理部17的编码功能就不是必要的。
图形显示处理器(GDP)18对输出到液晶显示部(LCD)19进行显示的图形数据执行处理并对LCD 19进行驱动控制。例如,经编解码处理部17解码的图像信号由GDP18从LCD 19的画面显示并输出。并且,基于从网络连接的控制对象设备载入的设备信息,将该控制对象设备操作用的用户接口在LCD 19上显示并输出。
IP遥控器设有如USB(Universal Serial Bus)那样的有线接口和由存储卡用的槽口等构成的数据输入输出用的接口20。经由USB接口转送的AV内容或者存储卡中存储的AV内容,可由编解码处理部17解码,然后重放并输出数据。或者,可将IP遥控器上处理的数据在编解码处理部17编码,然后从USB接口将数据转送或写入到存储卡中。
图4示意表示本实施例的遥控系统中作为遥控服务器工作的装置的结构。遥控服务器连接到例如电视接收机等成为IP遥控器的主控制对象的AV设备而使用,或者与该种AV设备构成为一体。
图示的遥控服务器30构成为CPU31经由总线32对各部分进行综合控制。
CPU31具备由ROM或RAM组成的存储器装置33,它将ROM中存储的程序代码在RAM上展开,并执行预定处理。
遥控服务器30设有以太网(注册商标)等有线局域网通信部34,经由局域网及AP接收来自IP遥控器的命令,并执行该操作命令的处理。
并且,遥控服务器30设有红外处理部35。为了只能以传统的红外遥控方式操作的IR设备,将经由局域网从IP遥控器接收的操作命令变换成SIRCS等的红外通信用的命令格式,以红外光作为媒体进行光发送。这时,若传统的控制对象设备处在遥控服务器的死角范围或两者相隔长距离时,则进行AV滑鼠输出,在传统的控制对象设备的近处将红外命令光发送。
编解码处理部37执行AV内容的编码和解码处理。本实施例中,编解码处理部37设有声音信号及图像信号的输入端子,将从电视接收机或模拟录像机等的控制对象设备输入的声音信号及图像信号编码成可在MPEG4等的IP遥控器上重放的数据格式,再经由IP网络向IP遥控器发送。或者,将以MPEG1或MPEG2等的高比特率记录的录像内容从作为控制对象设备的硬盘录像机经由局域网取出,变换成可在MPEG4等的IP遥控器侧接收并重放的低比特率的数据格式,再经由局域网进行流传送。
遥控服务器30也可设有硬盘驱动器等的大容量存储装置38,用以存储经编码或解码后的AV内容、从接收广播波分离的EPG数据以及其他庞大数据。但是,硬盘驱动器38不是遥控服务器30必需的构成要素。
B.遥控系统的功能
利用IP遥控器的遥控系统经由网络连接到IP遥控器和控制对象设备,从而能够在IP遥控器和控制对象设备间进行控制信号、内容和文件转送等的通信。而且,通过进行这些通信来实现以下所示的基本功能。
(1)控制信号(命令/响应)
提供交互操作环境,也就是通过设置成向控制对象设备发送命令并接收其响应(执行结果)反映遥控侧的显示等,或诱导下一个关联的动作。
(2)内容的发送/接收
作为控制的结果,提供将所期待的网络上的内容(动图象、静止图像)在身边的遥控器屏幕上显示等的重放功能。并且,实现利用内容的元信息的控制功能。例如,利用身边显示的EPG的信息进行选台(频道切换)或录像预约等。
(3)文件转送
IP遥控器侧设置可装入存储器件或存储卡等可插拔媒体用的槽口,将IP遥控器侧媒体的内容转送到网络上的内容重放装置来进行重放。例如,将插入遥控器的存储媒体内的照片在网络上的电视屏幕上显示。
(4)远程操作
即便是眼前没有的设备,只要它是与网络连接的设备,均可进行操作。因此,使得浏览处于不同房间的录像机等的内容成为可能。并且,将遥控器从外出地点连接到自家的网络,就能进行如在家里那样的操作。
(5)遥控器的统一
使得与控制对象设备相互通信成为可能。因此,通过从控制对象设备载入设备信息,能够切换到适合于各控制对象设备的用户接口,从而容易将按照各设备的各式各样的遥控器统一成一种。
作为IP遥控器的样式,有仅装有控制功能的遥控器和在控制功能上附加了内容重放功能的遥控器两大类,能够分别构成前者的廉价遥控器和具有高附加价值的遥控器。图3所示的IP遥控器与后者相当。
C.采用IP遥控器的遥控系统的高附加价值功能
此项用前项中说明的基本功能来实现,以下就遥控系统的高附加价值功能进行说明。
C-1.EPG功能
将电视广播的节目选择用的节目指南叠加在图像信号上进行传送并在接收侧的显示装置中进行显示的所谓电子节目指南(EPG:Electrical Program Guide)系统,已经为人所知。EPG系统中有VBI(Vertical Blanking Interval)方式的系统和数字卫星广播(DSS:Digital Satellite System(Hughes Communication公司的商标)所采用的数字卫星方式的系统。
无论何种方式,EPG系统都将电视机接收的EPG画面在屏幕上提示,用户能够根据EPG画面来确认想看的节目,并经由EPG画面来进行选台操作或节目录像预约操作。当前,已有许多广播服务提供了EPG。
依据本实施例的遥控系统,能够将电视机接收的EPG数据用于IP遥控器,能够经由IP遥控器的LCD 19上显示的EPG画面切换电视机的频道,还能够进行录像预约操作。
以下就本实施例的遥控系统提供的EPG功能的操作过程,参照图5~图8进行说明。假设系统中设有电视机和硬盘录像机,作为IP遥控器的控制对象设备。其中,电视机是具有以太网(注册商标)等的网络通信功能的DLNA设备,但硬盘录像机不具备网络通信功能而只是能以基于SIRCS的红外通信方式进行遥控的IR设备。并且,假设电视机可与遥控服务器(参照图4)连接或形成为一体,IP遥控器对硬盘录像机的操作命令一旦由遥控服务器经由网络接收,就被进行协议变换,然后通过红外通信方式转送给硬盘录像机。并且,还假设电视接收机和硬盘录像机通过AV输入输出端子连接。
图5表示IP遥控器载入电视机接收的EPG(当前)数据并在LCD 19上显示的情形。
在IP遥控器侧,经由输入开关矩阵部14输入对EPG显示的确定。对此作出响应,IP遥控器经由网络向DLNA设备即电视接收机发送EPG(当前)数据请求。
在电视接收机侧,将重叠在接收的广播波上的EPG(当前)数据分离,并经由网络转送给IP遥控器。
EPG数据用例如XML(eXtensible Markup Language)等的结构描述言语记述。在IP遥控器例,CPU 11对所接收的EPG(当前)进行分析,并创建EPG画面。然后,GDP18进行EPG(当前)画面的显示处理,如图所示在LCD 19上显示并输出EPG画面。
图6表示经由IP遥控器上显示的EPG(当前)画面进行电视频道切换操作的情形。
在IP遥控器侧,用户能够通过输入开关矩阵部14在EPG(当前)显示画面上进行频道选择。然后,频道一旦选定,就经由网络向电视接收机发送频道切换请求。
在电视接收机侧,调谐到接收的频道切换请求所指定的频道。然后,经由网络通知IP遥控器:频道切换结束。
然后,在IP遥控器侧,一旦接收到频道切换结束消息,LCD 19的显示画面就回复到EPG(当前)显示。
图7表示IP遥控器载入电视机接收的EPG(未来)数据并在LCD 19上显示的情形。
在IP遥控器侧,经由输入开关矩阵部14输入对EPG显示的确定。对此作出响应,IP遥控器向作为控制对象设备的电视接收机经由网络发送EPG(未来)数据请求。
在电视接收机侧,将与接收的广播波重叠的EPG(未来)数据分离,并经由网络转送给IP遥控器。
在IP遥控器侧,CPU 11将接收的EPG(未来)数据分析,并创建EPG画面。然后,GDP 18执行EPG(未来)画面的显示处理,如图所示在LCD 19上显示并输出EPG画面。
EPG(当前)数据提供各广播台当前广播中的节目信息,而EPG(未来)数据提供关于节目的录像预约的信息。图8表示用IP遥控器上显示的EPG(未来)画面来进行节目的录像预约操作的情形。
在IP遥控器侧,用户可通过输入开关矩阵部14在EPG(未来)显示画面上选择进行录像预约的电视节目。然后,频道一旦选定,就经由网络向与遥控服务器连接的电视接收机发送所选择的电视节目的录像预约请求。
图示的例中,作为控制对象设备的硬盘录像机是只能通过传统的红外遥控方式操作的IR设备。遥控服务器为了硬盘录像机将经由网络从IP遥控器接收的操作命令变换成SIRCS等的红外通信用的命令格式,并以红外光为媒体进行光发送。这时,若IR设备处在从遥控服务器看的死角或两者相隔长的距离,则进行AV滑鼠输出,在IR设备的近处将红外命令光发送。但是,若硬盘录像机位于IP遥控器的极近距离,从而能够被直接照射到红外光,则IP遥控器也可从红外通信部16发送录像预约请求用的SIRCS命令。
图9表示将EPG(当前)数据在IP遥控器显示的操作顺序。
与电视接收机连接的遥控服务器将周间SI(Servicc Information)数据作为EPG数据存储。并将与接收的广播波重叠的当前SI数据分离,作为EPG数据存储。
在IP遥控器侧,经由输入开关矩阵部14输入对EPG显示的确定。对此作出响应,IP遥控器经由网络向作为DLNA设备的电视接收机发送EPG(当前)数据请求。
遥控服务器将EPG(当前)数据经由网络转送给IP遥控器。在IP遥控器侧,CPU 11对所接收的EPG(当前)进行分析,并创建EPG画面。然后,GDP18进行EPG(当前)画面的显示处理,并在LCD 19上显示并输出EPG画面。
图10以流程图的形式表示为显示EPG(当前)数据而由IP遥控器执行的处理过程。
从输入开关矩阵部14输入EPG(当前)数据显示请求时,首先取得当前时刻(步骤S1)。
然后指定时段,并向遥控服务器发送EPG数据请求(步骤S2)。
IP遥控器一旦从遥控服务器接收到EPG数据(步骤S3),CPU 11就基于该数据构筑EPG画面的显示数据(步骤S4)。
然后,GDP18将生成的显示数据对LCD 19进行画面输出(步骤S5)。
另外,通过指定下一时段取代当前时刻来进行EPG数据请求,IP遥控器能够载入EPG(未来)数据。如上所述,通过EPG(未来)画面能够进行电视节目的录像预约操作。以下,用若干例子就利用EPG(未来)数据由IP遥控器在录像设备中进行节目录像预约的动作步骤进行说明。但是,在任一场合,均假设硬盘录像机等的录像设备是不具备网络通信功能而只能通过SIRCS等红外通信方式进行遥控操作的IR设备。
图11表示一例利用EPG(未来)数据由IP遥控器在IR录像设备中进行节目录像预约的操作顺序。但是,在图示的例中,假设遥控服务器对录像预约列表进行管理。
与电视接收机连接的遥控服务器将周间SI数据作为EPG数据存储。将与接收的广播波重叠的当前SI数据分离,作为EPG数据存储。
另一方面,假设在IP遥控器侧EPG(当前)画面正在被显示。这里,一旦经由输入开关矩阵部14输入对EPG下一时段显示的确定,IP遥控器就对此作出响应向与电视接收机成为一体的遥控服务器经由网络发送EPG(未来)数据请求。
遥控服务器经由网络将EPG(未来)数据转送给IP遥控器。然后,在IP遥控器侧,CPU 11对所接收的EPG(未来)数据进行分析,并创建EPG画面。然后,GDP18进行EPG(未来)画面的显示处理,并在LCD 19上显示并输出EPG画面。
然后,在IP遥控器侧,假设用户通过输入开关矩阵部14在EPG(未来)显示画面上作出对进行录像预约的电视节目的选择。对此作出响应,经由网络向遥控服务器发送录像预约请求以及预约数据。
遥控服务器对接收的录像预约请求进行分析,核对是否有相同节目的录像预约被重复请求。这里,发现有预约重复时,遥控服务器就将预约重复状态经由网络返送给IP遥控器。然后,在IP遥控器侧通过LCD 19进行出错显示。
若录像预约请求没有重复,则遥控服务器就在本装置内管理的录像预约列表中将该请求的录像预约作为新项登记。然后,经由网络将预约结束状态返送给IP遥控器。然后,在IP遥控器侧通过LCD 19进行预约结束显示。
之后,遥控服务器在录像预约的时刻到达之前待机。然后,录像预约时刻一旦到达,就向IR录像设备发送接通电源用的SIRCS命令,使录像预约的电视节目的录像动作开始。
然后,录像设定时间一旦经历完,遥控服务器就向IR录像设备发送录像动作停止用的SIRCS命令,接着发送电源停止用的SIRCS命令,使得该次录像预约动作全部结束。
图11所示的动作例中,在录像预约时刻,遥控服务器和IR录像设备需要同时通电。
图12表示另一例IP遥控器利用EPG(未来)数据对录像设备中进行节目的录像预约的操作顺序。在图示的例中,假设遥控服务器管理录像预约列表,并向录像设备转送预约数据。
与电视接收机连接的遥控服务器将周间SI数据作为EPG数据存储。与接收的广播波重叠的当前SI数据被分离,作为EPG数据存储。
另一方面,在IP遥控器侧,假设EPG(当前)画面正在被显示。这里,一旦通过输入开关矩阵部14输入了对EPG下一时段显示的确定,IP遥控器就对此作出响应向与电视接收机成为一体的遥控服务器经由网络发送EPG(未来)数据请求。
遥控服务器经由网络将EPG(未来)数据转送给IP遥控器。然后,在IP遥控器侧,CPU 11对接收的EPG(未来)数据作出分析,并创建EPG画面。然后,GDP18进行EPG(未来)画面的显示处理,在LCD 19上将EPG画面显示并输出。
然后,在IP遥控器侧,假设用户通过输入开关矩阵部14作出对在EPG(未来)显示画面上进行录像预约的电视节目的选择。对此作出响应,经由网络向遥控服务器发送录像预约请求以及预约数据。
遥控服务器对接收的录像预约请求作出分析,并核对是否有相同节目的录像预约被重复请求。这里,若发现有预约重复,遥控服务器就将预约重复状态经由网络返送给IP遥控器。然后,在IP遥控器侧通过LCD 19进行出错显示。
若录像预约请求没有重复,遥控服务器就在本装置内管理的录像预约列表中将该请求的录像预约作为新项登记。然后,经由网络将预约结束状态返送给IP遥控器。在IP遥控器侧通过LCD 19进行预约结束显示。
然后,录像设备为只能以红外通信方式遥控操作的IR设备时,经由IP网络转送来的录像预约请求命令经IP/IR协议变换而成为SIRCS等的红外通信命令,并将预约数据转送给录像设备。假设预约数据中包含:录像预约的电视节目的节目名、录像日期/时间、广播台等从EPG取得的元信息(meta-information)。
录像设备一旦接收到录像预约数据,就在本装置内管理的录像预约列表中将该请求的录像预约作为新项登记。然后,录像预约时刻一旦到达,就将本装置的电源接通,开始录像预约的电视节目的录像动作。
然后,录像设定时间一旦经历完,录像设备就停止录像动作,接着就停止电源,使得该次录像预约动作全部结束。
图12所示的动作例中,在录像预约时刻可仅给录像设备通电,在录像预约结束后将遥控服务器的电源停止。
图13表示又一例利用EPG(未来)数据由IP遥控器在录像设备中进行节目的录像预约的操作顺序。但是,图示的例中,假设录像设备对录像预约列表进行管理。
与电视接收机连接的遥控服务器将周间SI数据作为EPG数据存储。与接收的广播波重叠的当前SI数据被分离,作为EPG数据存储。
另一方面,在IP遥控器侧,假设EPG(当前)画面正在被显示。这里,一旦通过输入开关矩阵部14输入了对EPG下一时段显示的确定,IP遥控器就对此作出响应经由网络向与电视接收机成为一体的遥控服务器发送EPG(未来)数据请求。
遥控服务器经由网络将EPG(未来)数据转送给IP遥控器。然后,在IP遥控器侧,CPU 11对接收的EPG(未来)数据作出分析,并创建EPG画面。然后,GDP18进行EPG(未来)画面的显示处理,在LCD 19上EPG画面被显示并输出。
然后,在IP遥控器侧,假设用户通过输入开关矩阵部14在EPG(未来)显示画面上作出对进行录像预约的电视节目的选择。对此作出响应,经由网络向遥控服务器发送录像预约请求以及预约数据。
录像设备是仅能够以红外通信方式遥控操作的IR设备时,遥控服务器将经由IP网络转送过来的录像预约请求命令进行P/IR协议变换,变换成SIRCS等的红外通信命令,并将预约数据转送给录像设备。假设预约数据中包括:录像预约的电视节目的节目名、录像日期/时间、广播台等从EPG取得的元信息。并且,遥控服务器将录像预约请求的转送结束状态经由网络返送给IP遥控器。
在录像设备侧,一旦通过红外通信接收到预约数据,就对该数据作出分析,并核对是否有相同节目的录像预约被重复请求。这里,若发现有预约重复,就进行出错显示。若没有出现录像预约请求,就在本装置内管理的录像预约列表中将该请求的录像预约作为新项登记,并进行预约结束显示。
然后,录像预约时刻一旦到达,录像设备就将本装置的电源接通,使得录像预约的节目的录像动作开始。
然后,录像设定时间一旦经历完,录像设备就停止录像动作,接着停止电源,并使得该次录像预约动作全部结束。
C-2.动图象重放功能
如上所述,本实施例的IP遥控器具有编解码处理功能和图形显示功能,能够进行动图象重放。例如,将从作为控制对象设备的电视接收机或遥控服务器等发送的AV内容解码并输出声音和图像。
这时,遥控服务器等将作为模拟广播波接收的声音信号及图像信号编码成可在MPEG4等的IP遥控器上重放的数据格式,并经由IP网络向IP遥控器发送。或者,将经由局域网从硬盘录像机载入以MPEG1或MPEG2等的高比特率记录的录像内容变换成在可在MPEG4等的IP遥控器侧接收并重放的低比特率的数据格式,再经由局域网进行流传送。
关于本实施例的遥控系统实现的动图象重放功能的操作步骤,参照图14~图19进行说明。但是,假设作为IP遥控器的控制对象设备设有电视机和硬盘录像机。其中,电视机是具有以太网(注册商标)等的网络通信功能的DLNA设备,而硬盘录像机是不具备网络通信功能而只能以基于SIRCS的红外通信方式进行远程操作的IR设备。并且,还假设电视机与遥控服务器(参照图4)连接或形成为一体,一旦遥控服务器经由网络接收到IP遥控器对硬盘录像机的操作命令,就进行协议变换并通过红外通信方式向硬盘录像机转送。并且,遥控服务器和硬盘录像机通过AV输入输出端子连接。
图14表示用IP遥控器收看电视机接收的地面波模拟广播的情形。
在IP遥控器侧,通过输入开关矩阵部14选择电视机作为操作对象。IP遥控器向作为控制对象设备的电视接收机发送电源接入请求,对此作出响应而接通电视机的电源。
接着,在IP遥控器侧,通过输入开关矩阵部14进行频道选择操作,确定想看的频道,于是电视收看就设定。然后,IP遥控器向电视机发送动图象转送请求。
在电视机侧,响应动图象转送请求,用模拟广播波接收确定收看的频道。然后,将这些模拟图像及声音信号变换成可在MPEG4等的IP遥控器侧处理的数据格式,并流传送给IP遥控器。
在IP遥控器侧,将这样转送来的动图象数据解码,并在LCD 19上显示电视节目。
将电视机上正在收看的电视节目或来自录像设备的流传送图像在IP遥控器上显示的操作,在本说明书中也称为“抓取”(catch)。
图15~图16表示用IP遥控器收看电视机接收的地面波模拟广播时进行频道切换操作的情形。假设电视机具有可同时接收来自2个以上频道的广播波的多重调谐功能。
如上所述,将电视机侧接收的广播节目编码后流传送给IP遥控器,在IP遥控器侧将其接收并解码,并在LCD 19上显示电视节目。这时,电视屏幕和IP遥控器的LCD 19上显示相同的节目。
这里,在IP遥控器侧,通过输入开关矩阵部14进行频道选择操作。例如,若IP遥控器设有用户接口,则可进行选择电视机作为媒体并将光标位置对准所要频道的操作(未图示)。
然后,频道切换一旦被确定,就从IP遥控器向电视机发送频道切换请求。
在电视机侧,响应频道切换请求,在被确定的频道接收模拟广播波,同时变换成能够在MPEG4等的IP遥控器侧处理的数据格式,并流传送给IP遥控器。
由于在IP遥控器上进行频道切换,电视机本机在原来的频道上接收的节目照样进行显示。另一方面,在IP遥控器侧,将转送来的动图象数据解码并在LCD 19上显示,因此能够收看频道切换后的电视节目。
图17表示将电视机侧的显示图像切换到IP遥控器侧被收看的电视节目的情形。
如图所示,向电视机发送关于切换到IP遥控器侧正在收看的频道的画面切换请求。
在电视机侧,响应该请求而切换到指定的频道,并显示频道切换后的电视节目的图像。然后,将接收中的模拟图像及声音信号变换成可在MPEG4等的IP遥控器侧处理的数据格式,并流传送给IP遥控器。
在IP遥控器侧,将这样转送来的动图象数据解码,在LCD 19上显示电视节目。结果,电视屏幕和IP遥控器的LCD 19上显示相同的节目。
将IP遥控器上正在收看的电视节目或流传送图像转到电视上显示的操作,在本说明书中也称为“投掷”(throw)。
图18~图19表示IP遥控器上收看录像设备中保存的录像内容的情形。
在IP遥控器侧,用户通过输入开关矩阵部14指示进行硬盘录像机等的录像设备的启动和录像内容的发送。这些请求经由网络发送到与电视接收机成为一体的遥控服务器。
图示的例中,作为控制对象设备的硬盘录像机是只能以红外遥控方式操作的IR设备。遥控服务器为了硬盘录像机而对经由网络从IP遥控器接收的操作命令进行IP/IR变换,使之成为SIRCS等的红外通信用的命令格式,以红外光为媒体进行光发送。这时,若传统的控制对象设备处于从遥控服务器发出的死角或两者相隔的距离长,则可进行AV滑鼠输出,在IR设备的近处将红外命令进行光发送。但是,若硬盘录像机位于IP遥控器的极近距离而能够直接被照射到红外光,则IP遥控器也可从红外通信部16输出录像预约请求用的SIRCS命令。
硬盘录像机响应SIRCS命令而接通本装置的电源,并将指定的录像内容的AV输出图像提供给遥控服务器。
遥控服务器将硬盘录像机的AV输出图像编码成可在MPEG4等的IP遥控器上重放的数据格式,经由IP网络向IP遥控器发送。或者,从硬盘录像机载入以MPEG1或MPEG2等的高比特率记录的录像内容,再变换成可在MPEG4等的IP遥控器侧接收并重放的低比特率的数据格式,经由局域网进行流传送。
在IP遥控器侧,将转送来的动图象数据解码并在LCD 19上显示,因此能够收看录像内容。另一方面,电视机本机照样进行原来频道上接收的节目的显示。
而且,如图19所示,能够通过投掷操作(前述)将电视机侧的频道切换到IP遥控器侧正在收看的录像内容。
此时,向电视机发送用以切换到IP遥控器侧正在收看的录像内容的画面切换请求。
在电视机侧,响应该请求,将来自硬盘录像机的AV输出图像编码后向IP遥控器发送,同时也将显示画面从电视图像切换到该AV输出图像。
图20表示一例从只能以红外通信方式进行遥控操作的IR录像设备向IP遥控器流传送AV内容的操作顺序。
此时,设有具备网络连接功能和对红外命令的协议变换功能的遥控服务器。遥控服务器与例如电视机相连接或构成为一体。并且,假设遥控服务器预先登记了关于可从本装置发送红外命令的IR设备的信息。
IP遥控器一接通电源,就经由网络向遥控服务器请求关于IR设备的设备信息。
遥控服务器响应该设备信息请求,将关于IR设备的信息经由网络返送给IP遥控器。
IP遥控器的LCD 19上显示所接收的设备列表。用户一旦在该画面上选择了IR设备,就将对该IR设备的AV内容的流传送开始请求经由网络发送给遥控服务器。
遥控服务器一旦接收到流传送开始请求,就确认被请求的IR设备是否接通电源并在进行图像输出。若该IR设备的电源未接入,则接入电源而使之开始图像输出。
然后,遥控服务器将来自IR设备的AV输出图像编码成可在MPEG4等的IP遥控器上重放的数据格式,并经由IP网络向IP遥控器流传送。
在IP遥控器侧,将这样转送来的动图象数据解码,并在LCD 19上显示图像。
并且,IP遥控器侧即使在进行流传送显示,也能通过输入开关矩阵部14进行对IR设备的操作。这里所说的操作中包含输出图像的切换或频道切换等。
IP遥控器对IR设备的命令经由网络发送到遥控服务器。遥控服务器将经由网络从IP遥控器接收的操作命令变换成SIRCS等的红外通信用的命令格式,并以红外光为媒体进行光发送。
IR设备执行以红外接收的命令。然后,由遥控服务器进行反映了命令执行结果的图像的流传送。
如上所述,若IP遥控器的控制对象设备为只能以红外通信方式进行遥控操作的IR设备,则设置进行命令的协议变换的遥控服务器。而若控制对象设备本身是具有网络连接功能的DLNA设备,就无需遥控服务器的介入,因为IP遥控器可经由网络进行命令操作。
图21表示一例将AV内容从DLNA设备流传送到IP遥控器的操作顺序。
IP遥控器一接通电源,就经由网络向DLNA设备请求设备信息。
此时,已接通电源的DLNA设备响应对设备信息的请求,将设备信息经由网络返送给IP遥控器。
IP遥控器的LCD 19的画面上,显示关于已有响应的DLNA设备的设备列表。过去曾有过设备信息响应的DLNA设备被灰化显示。并且,在预定期间没有响应的DLNA设备被判定为已从网络撤下,从设备列表删除。
一旦用户选择了该画面上的DLNA设备,就确认该DLNA设备的电源是否接入,即设备信息是否有响应。若电源未被接入,则经由网络向该DLNA设备发送电源接入请求。
接到电源接入请求的DLNA设备一旦将电源接入,就将入网通知返送给IP遥控器。在IP遥控器侧,使得DLNA设备的启动在设备列表中得到反映,并将该DLNA设备的灰化显示改变为正常显示。
并且,若被选择的DLNA设备的电源已接入,就经由网络向该DLNA设备请求可提供的内容列表。作为响应,DLNA设备将内容列表发送给IP遥控器。例如,若DLNA设备是硬盘录像机那样的录像设备,则内容列表是录像内容的一览表,若DLNA设备是电视机,则内容列表是可接收频道的列表。
在IP遥控器的LCD 19的画面上,显示所接收的内容列表。用户一旦在该画面上选择了所想看的内容,就将该内容的流传送开始请求经由网络发送给遥控服务器。
DLNA设备一接收到流传送开始请求,就输出相应的图像,而且将该AV输出图像编码成可在MPEG4等的IP遥控器上重放的数据格式,经由IP网络向IP遥控器流传送。
在IP遥控器侧,将这样转送来的动图象数据解码,并在LCD 19上显示图像。
并且,在IP遥控器侧,即使正在进行流传送显示,也能通过输入开关矩阵部14进行内容操作。这里所说的内容操作包括输出图像的切换和频道切换等。
内容操作用的命令从IP遥控器经由网络发送给DLNA设备。DLNA设备执行所接收的命令,并进行反映了命令执行结果的图像的流传送。
按照图20所示的操作顺序,能够在IP遥控器上收看IR录像设备输出的图像内容。图22表示一例将IP遥控器上收看的IR设备的内容“投掷”到电视机上的操作顺序。这里,假设电视机搭载了遥控服务器功能。
AV图像从硬盘录像机和其他录像设备等的IR录像设备输出。然后,电视机利用遥控服务器功能将该AV输出图像编码成可在MPEG4等的IP遥控器上重放的数据格式,并经由IP网络向IP遥控器流传送。在IP遥控器侧,将转送来的动图象数据解码,在LCD 19上显示图像。
这里,假设在IP遥控器侧通过输入开关矩阵部14执行投掷操作。IP遥控器指示电视机停止流传送,电视机对此作出响应而停止对IP遥控器的流传送。
然后,IP遥控器指示电视机进行IR设备的内容的重放。此时,内容被指定并重放,而内容的指定方法有多种:比如利用内容提供方的设备及其显示目的地,利用电视机的AV输入端子名和显示目的地,以及利用电视机的功能名和显示目的地等。
在电视机侧,响应内容重放指示,将来自IR录像设备的AV输出图像显示并输出。
按照图21所示的操作顺序,能够将DLNA设备输出的图像内容在IP遥控器上直接收看。图23表示一例将IP遥控器上正在收看的DLNA设备的内容“投掷”到电视机上的操作顺序。
设有硬盘录像机和其他录像功能的DLNA设备,将AV输出图像编码成可在MPEG4等的IP遥控器上重放的数据格式,并经由IP网络流传送给IP遥控器。在IP遥控器侧,将转送来的动图象数据解码在LCD 19上显示图像。
这里,假设在IP遥控器侧通过输入开关矩阵部14执行投掷操作。IP遥控器指示DLNA设备停止向自身进行流传送。DLNA设备对此作出响应,停止向IP遥控器的流传送。
然后,IP遥控器经由网络发送内容重放指示。在该重放指示中,指定服务器、内容名、重放开始点及显示目的地。
对此作出响应,被指定为内容投掷目的地的电视机,向DLNA设备发出流传送请求。然后,DLNA设备将指定的内容从指定的重放开始点开始流传送。电视机将接收的流传送图像显示并输出。
产业上的可利用性
以上,参照特定的实施例就本发明作了详细说明。但是,在不背离本发明要旨的范围内本领域技术人员可对这些实施例作出修改和替换,这是不言而喻的。
本说明书中,作为IP遥控器的控制对象设备以电视接收机或硬盘录像机等录像设备为例作了说明,但本发明的范围并不以此为限。处理AV内容的其他设备或不处理AV内容的家电设备或信息设备均可作为IP遥控器的控制对象设备,同样可构筑本发明的遥控系统。总而言之,以例示的实施方式对本发明的公开,不应理解为对本说明书所述内容的限定。本发明的要旨应参照专利请求的范围加以确定。

Claims (41)

1.一种用远程命令器操作一台以上的控制对象设备的遥控系统,其特征在于:
所述远程命令器及至少部分控制对象设备具有网络通信功能,响应所述远程命令器侧的用户输入,经由网络对控制对象设备进行命令操作。
2.权利要求1所述的遥控系统,其特征在于,
所述控制对象设备经由网络对所述远程命令器经由网络发送的命令作出响应。
3.权利要求1所述的遥控系统,其特征在于,
所述远程命令器向所述控制对象设备请求数据,所述控制对象设备将被请求的数据经由网络返送。
4.权利要求3所述的遥控系统,其特征在于,
所述远程命令器是将从所述控制对象设备接收的数据重放并输出。
5.权利要求4所述的遥控系统,其特征在于,
所述控制对象设备将所述远程命令器请求的数据变换成可在所述远程命令器侧重放并输出的格式后经由网络返送。
6.权利要求1所述的遥控系统,其特征在于,
所述控制对象设备包括只能通过红外通信进行遥控操作的IR设备和具备网络通信功能和将经由网络接收的命令变换成红外命令的协议变换功能的遥控服务器,
所述遥控服务器经由网络从所述远程命令器接收对所述IR设备的操作命令,变换成红外命令后转送给所述IR设备。
7.权利要求6所述的遥控系统,其特征在于,
所述遥控服务器从所述IR设备取出所述远程命令器向所述IR设备请求的数据,变换成可在所述远程命令器侧重放并输出的格式后经由网络返送给所述远程命令器。
8.权利要求4所述的遥控系统,其特征在于,
所述控制对象设备存储EPG数据,响应来自所述远程命令器的EPG数据请求并经由网络返送EPG数据,
所述远程命令器将所接收的EPG数据显示并输出。
9.权利要求8所述的遥控系统,其特征在于,
所述远程命令器响应在当前EPG数据显示画面上作的频道指定,向作为控制对象设备的电视接收机发送频道切换请求。
10.权利要求9所述的遥控系统,其特征在于,
所述控制对象设备将在所述远程命令器请求切换的频道接收的图像内容变换成可在所述远程命令器侧重放并输出的格式后经由网络以流方式发送,
所述远程命令器将接收的图像内容解码并显示图像。
11.权利要求9所述的遥控系统,其特征在于,
作为所述控制对象设备的电视接收机将显示图像切换到所述远程命令器请求切换的频道。
12.权利要求8所述的遥控系统,其特征在于,
所述远程命令器响应在未来EPG数据显示画面上作的节目指定,向作为控制对象设备的录像设备发送对该节目的录像预约请求。
13.权利要求6所述的遥控系统,其特征在于,
所述遥控服务器经由网络从所述远程命令器接收到录像预约请求时,将该录像预约请求基于EPG数据变换成红外预约数据,并向只能通过红外通信进行遥控操作的IR录像设备红外发送,
所述IR录像设备按照来自所述遥控服务器的红外预约数据进行录像预约。
14.权利要求5所述的遥控系统,其特征在于,
作为所述控制对象设备的录像设备响应来自所述远程命令器的图像内容请求,将该请求的图像内容变换成可在所述远程命令器侧重放并输出的格式后经由网络以流方式发送,
所述远程命令器将所接收的图像内容解码并显示图像。
15.权利要求6所述的遥控系统,其特征在于,
所述遥控服务器经由网络从所述远程命令器接收到图像内容请求时,将该图像内容请求变换成红外命令,并向只能通过红外通信进行遥控操作的IR录像设备红外发送,
所述IR录像设备根据来自所述遥控服务器的红外命令输出图像内容,
所述遥控服务器将从所述IR录像设备输出的图像内容变换成可在所述远程命令器侧重放并输出的格式后,并经由网络以流方式发送到所述远程命令器。
16.权利要求14或15中的任一项所述的遥控系统,其特征在于,
所述远程命令器对作为所述控制对象设备的显示装置请求向自身显示中的图像内容的图像显示切换,
所述显示装置响应该图像显示切换请求,将画面切换到来自所述录像设备的输出图像。
17.权利要求1所述的遥控系统,其特征在于,
所述远程命令器经由网络向具有网络通信功能的控制对象设备请求设备信息,并显示关于对该请求作出设备信息响应的控制对象设备的设备列表。
18.权利要求17所述的遥控系统,其特征在于,
所述远程命令器将过去有设备信息响应而当前无响应的控制对象设备在所述设备列表上灰化显示,或将在一定期间以上无设备信息响应的控制对象设备从所述设备列表删除。
19.权利要求17所述的遥控系统,其特征在于,
所述远程命令器向在所述设备列表上选择的控制对象设备发送操作请求。
20.权利要求18所述的遥控系统,其特征在于,
所述远程命令器在所述设备列表上选择被灰化显示的控制对象设备时,在请求将该控制对象设备的电源接通后发送操作请求。
21.权利要求6所述的遥控系统,其特征在于,
所述遥控服务器登记能够发送红外命令的各IR设备的信息,并响应来自所述远程命令器的请求将IR设备信息返送给所述远程命令器,
所述远程命令器显示IR设备列表。
22.权利要求21所述的遥控系统,其特征在于,
所述远程命令器将对所述IR设备列表上选择的IR设备的操作请求经由网络发送给所述遥控服务器,
所述遥控服务器将来自所述远程命令器的对所述IR设备的操作请求变换成红外命令而转送给所述IR设备。
23.一种远程操作一个以上的控制对象设备的远程命令器,其特征在于包括:
经由网络进行通信动作的网络通信部;
接收来自用户的指示输入的用户输入部;以及
根据经由所述用户输入部来自用户的指示输入,经由网络对控制对象设备所发送和接收的数据进行处理的数据处理部。
24.权利要求23所述的远程命令器,其特征在于,
所述数据处理部经由网络对控制对象设备的命令发送及响应接收进行处理。
25.权利要求23所述的远程命令器,其特征在于,
还设有将经由网络接收的数据解码以重放并输出的数据重放输出部。
26.权利要求25所述的远程命令器,其特征在于,
所述数据重放输出部将接收的EPG数据显示并输出。
27.权利要求26所述的远程命令器,其特征在于,
响应在当前EPG数据显示画面上作的频道指定,向作为控制对象设备的电视接收机发送频道切换请求。
28.权利要求25所述的远程命令器,其特征在于,
所述数据重放输出部将接收的图像内容解码以进行图像显示。
29.权利要求26所述的远程命令器,其特征在于,
响应在未来EPG数据显示画面上作的节目指定,向作为控制对象设备的录像设备发送对该节目的录像预约请求。
30.权利要求25所述的远程命令器,其特征在于,
经由网络向具有网络通信功能的控制对象设备请求设备信息,
所述数据重放输出部显示关于对该请求作出设备信息响应的控制对象设备的设备列表。
31.权利要求30所述的远程命令器,其特征在于,
将过去有设备信息响应而当前无响应的控制对象设备在所述设备列表上灰化显示,或将一定期间以上无设备信息响应的控制对象设备从所述设备列表删除。
32.权利要求30所述的远程命令器,其特征在于,
向在所述设备列表上选择的控制对象设备发送操作请求。
33.权利要求31所述的远程命令器,其特征在于,
所述设备列表上被灰化显示的控制对象设备被选择时,在请求接入该控制对象设备的电源后发送操作请求。
34.一种在远程命令器经由网络操作一台以上的控制对象设备的通信环境中工作的遥控服务器,其特征在于,
设有经由所述网络执行通信动作的网络通信部;以及
将经由所述网络接收的命令变换成红外命令的协议变换部,
从所述远程命令器经由所述网络接收对只能通过红外通信遥控操作的IR设备的操作命令,变换成红外命令后转送给所述IR设备。
35.权利要求34所述的遥控服务器,其特征在于,
还设有将数据编码成可在所述远程命令器上重放并输出的格式的编解码处理部,
将所述远程命令器向所述IR设备请求的数据从所述IR设备取出并变换成可在所述远程命令器侧重放并输出的格式后,再经由所述网络返送给所述远程命令器。
36.权利要求35所述的遥控服务器,其特征在于,
与电视接收机连接或与电视接收机构成一体,
设有将从接收广播波分离的EPG数据存储的EPG存储部,
响应来自所述远程命令器的EPG数据请求而将EPG数据经由所述网络返送。
37.权利要求36所述的遥控服务器,其特征在于,
将在所述远程命令器请求切换的频道接收到的图像内容变换成可在所述远程命令器侧重放并输出的格式后,经由网络以流方式发送。
38.权利要求36所述的遥控服务器,其特征在于,
将显示图像切换到所述远程命令器所请求切换的频道。
39.权利要求36所述的遥控服务器,其特征在于,
经由所述网络从所述远程命令器接收到录像预约请求时,将该录像预约请求基于EPG数据变换成红外预约数据,并向只能通过红外通信遥控操作的IR录像设备红外发送。
40.权利要求36所述的遥控服务器,其特征在于,
经由所述网络从所述远程命令器接收到图像内容请求时,该图像内容请求被变换成红外命令,并向只能通过红外通信遥控操作的IR录像设备红外发送;同时
从所述IR录像设备输出的图像内容被变换成可在所述远程命令器侧重放并输出的格式,然后经由所述网络以流方式配送给远程命令器。
41.权利要求34所述的遥控服务器,其特征在于,
预先登记能够发送红外命令的各IR设备的信息,响应来自所述远程命令器的请求将IR设备信息返送给所述远程命令器。
CNB2005800124516A 2004-12-22 2005-12-06 遥控系统、远程命令器及遥控服务器 Expired - Fee Related CN100508554C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004372050 2004-12-22
JP372050/2004 2004-12-22
JP017439/2005 2005-01-25

Publications (2)

Publication Number Publication Date
CN1947410A true CN1947410A (zh) 2007-04-11
CN100508554C CN100508554C (zh) 2009-07-01

Family

ID=38045571

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005800124516A Expired - Fee Related CN100508554C (zh) 2004-12-22 2005-12-06 遥控系统、远程命令器及遥控服务器

Country Status (2)

Country Link
JP (3) JP4985592B2 (zh)
CN (1) CN100508554C (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102124728A (zh) * 2008-08-12 2011-07-13 索尼公司 使用a/v设备发送受控设备通信相关参数以编程遥控器
CN102223583A (zh) * 2011-06-28 2011-10-19 Tcl集团股份有限公司 一种电视机遥控方法、装置及系统
CN102378257A (zh) * 2010-08-10 2012-03-14 华宝通讯股份有限公司 具有遥控功能的无线通信系统及其无线通信模块
CN102713814A (zh) * 2009-11-23 2012-10-03 Lg电子株式会社 用于控制多媒体设备的装置和用于提供图形用户界面的方法
CN103226963A (zh) * 2012-01-30 2013-07-31 张治歉 多媒体系统和多媒体文件信息的管理方法
CN103281580A (zh) * 2013-05-31 2013-09-04 杨臧健 分离用户界面的电视机遥控方法及其系统
CN103634634A (zh) * 2012-08-22 2014-03-12 索尼公司 遥控器以及呈现受控设备显示器的快照的方法
CN108886632A (zh) * 2015-09-18 2018-11-23 Lg电子株式会社 数字装置以及在所述数字装置中处理数据的方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100508554C (zh) * 2004-12-22 2009-07-01 索尼株式会社 遥控系统、远程命令器及遥控服务器
JP4207900B2 (ja) 2004-12-22 2009-01-14 ソニー株式会社 リモコン・システム、リモート・コマンダ、並びにリモコン・サーバ
KR20110030908A (ko) * 2009-09-18 2011-03-24 삼성전자주식회사 리모컨의 설정방법 및 이를 적용한 리모컨
JP5607579B2 (ja) 2011-06-03 2014-10-15 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、およびコンテンツ再生制御方法
US20130031585A1 (en) 2011-07-29 2013-01-31 Hitachi Consumer Electronics Co., Ltd. Portable terminal, system, information processing method and program
JP5793039B2 (ja) * 2011-09-28 2015-10-14 日立マクセル株式会社 番組受信システム及び無線端末
JP5959276B2 (ja) * 2012-04-02 2016-08-02 シャープ株式会社 操作端末装置、コンテンツ保存方法、プログラム、コンテンツ表示装置及びコンテンツ転送システム
US8878994B2 (en) 2013-01-31 2014-11-04 Kabushiki Kaisha Toshiba Information processing apparatus, remote operation support method and storage medium
JP2014161166A (ja) * 2013-02-20 2014-09-04 Mitsubishi Electric Corp 遠隔操作表示装置
JP5763730B2 (ja) * 2013-11-01 2015-08-12 日立マクセル株式会社 テレビジョン受像機の操作を行うための手元端末、制御装置、及びシステム
JP2015204594A (ja) * 2014-04-16 2015-11-16 Necプラットフォームズ株式会社 放送受信制御装置、放送受信装置、外部表示装置および受信データ表示方法、並びにコンピュータ・プログラム
JP5807089B2 (ja) * 2014-05-22 2015-11-10 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、およびコンテンツ再生制御方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4208267B2 (ja) * 1993-07-30 2009-01-14 キヤノン株式会社 制御装置
US6496122B2 (en) * 1998-06-26 2002-12-17 Sharp Laboratories Of America, Inc. Image display and remote control system capable of displaying two distinct images
JP4543513B2 (ja) * 2000-07-17 2010-09-15 ソニー株式会社 双方向通信システム、表示装置、ベース装置および双方向通信方法
JP4752093B2 (ja) * 2000-08-16 2011-08-17 ソニー株式会社 情報処理装置及び情報処理方法
JP2003304477A (ja) * 2002-04-09 2003-10-24 Sharp Corp 映像音声再生装置
JP3925297B2 (ja) * 2002-05-13 2007-06-06 ソニー株式会社 映像表示システム及び映像表示制御装置
US20040004630A1 (en) * 2002-07-04 2004-01-08 Hari Kalva Interactive audio-visual system with visual remote control unit
JP3780982B2 (ja) * 2002-07-05 2006-05-31 ソニー株式会社 映像表示システム、映像表示方法及び表示装置
JP3735596B2 (ja) * 2002-09-27 2006-01-18 株式会社東芝 電子機器およびコンテンツデータの出力先切替え方法
JP2004120713A (ja) * 2002-09-30 2004-04-15 Toshiba Corp 映像再生装置および映像表示方法
JP2004128597A (ja) * 2002-09-30 2004-04-22 Victor Co Of Japan Ltd コンテンツ再生システム
JP4127053B2 (ja) * 2003-01-10 2008-07-30 ソニー株式会社 電子機器制御システム及び電子機器制御方法
JP2004295375A (ja) * 2003-03-26 2004-10-21 Sharp Corp 情報転送装置、情報受信装置および処理プログラム。
CN100508554C (zh) * 2004-12-22 2009-07-01 索尼株式会社 遥控系统、远程命令器及遥控服务器
JP2011139117A (ja) * 2009-12-25 2011-07-14 Fujitsu Toshiba Mobile Communications Ltd 録画再生システム、録画装置、携帯端末、及びこれらの録画再生システム、録画装置、携帯端末の録画再生方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102124728A (zh) * 2008-08-12 2011-07-13 索尼公司 使用a/v设备发送受控设备通信相关参数以编程遥控器
CN102124728B (zh) * 2008-08-12 2014-02-12 索尼公司 使用a/v设备发送受控设备通信相关参数以编程遥控器
CN102713814A (zh) * 2009-11-23 2012-10-03 Lg电子株式会社 用于控制多媒体设备的装置和用于提供图形用户界面的方法
CN102713814B (zh) * 2009-11-23 2015-05-13 Lg电子株式会社 用于控制多媒体设备的装置和用于提供图形用户界面的方法
CN102378257A (zh) * 2010-08-10 2012-03-14 华宝通讯股份有限公司 具有遥控功能的无线通信系统及其无线通信模块
CN102223583A (zh) * 2011-06-28 2011-10-19 Tcl集团股份有限公司 一种电视机遥控方法、装置及系统
CN102223583B (zh) * 2011-06-28 2015-04-22 Tcl集团股份有限公司 一种电视机遥控方法、装置及系统
CN103226963A (zh) * 2012-01-30 2013-07-31 张治歉 多媒体系统和多媒体文件信息的管理方法
CN103226963B (zh) * 2012-01-30 2016-06-08 歌尔声学股份有限公司 多媒体系统和多媒体文件信息的管理方法
CN103634634A (zh) * 2012-08-22 2014-03-12 索尼公司 遥控器以及呈现受控设备显示器的快照的方法
CN103634634B (zh) * 2012-08-22 2017-12-12 索尼公司 遥控器以及呈现受控设备显示器的快照的方法
CN103281580A (zh) * 2013-05-31 2013-09-04 杨臧健 分离用户界面的电视机遥控方法及其系统
CN108886632A (zh) * 2015-09-18 2018-11-23 Lg电子株式会社 数字装置以及在所述数字装置中处理数据的方法
US11546664B2 (en) 2015-09-18 2023-01-03 Lg Electronics Inc. Digital device transmitting menu data to an external device, and control method thereof
US11949955B2 (en) 2015-09-18 2024-04-02 Lg Electronics Inc. Digital device and method of processing data in said digital device

Also Published As

Publication number Publication date
CN100508554C (zh) 2009-07-01
JP5730800B2 (ja) 2015-06-10
JP4985592B2 (ja) 2012-07-25
JP2014132777A (ja) 2014-07-17
JP2012114956A (ja) 2012-06-14
JP5794332B2 (ja) 2015-10-14
JP2009055614A (ja) 2009-03-12

Similar Documents

Publication Publication Date Title
CN1947410A (zh) 遥控系统、远程命令器及遥控服务器
CN100352271C (zh) 用于处理图像的设备和方法
CN1293504C (zh) 信息记录设备和方法、信息处理终端、方法和设备以及记录介质
CN1197347C (zh) 电视接收系统、频道选择装置及显示装置
CN1263295C (zh) 信息处理装置
CN1914686A (zh) 用于存储与回放数字内容的设备和给数字内容加书签的方法
CN1744692A (zh) 信息处理系统、方法以及程序、记录装置、通信装置
CN1774899A (zh) 发送机、接收机、无线系统、控制方法、控制程序以及记录该程序的计算机可读取介质
CN1620121A (zh) 显示装置、双向通信系统和显示信息使用方法
CN101060553A (zh) 通信系统、信息处理设备、信息处理方法以及程序
CN1685716A (zh) 网络控制确认的系统和方法、控制通信终端、服务器装置
CN1578460A (zh) 信息处理系统、信息处理设备和方法、记录介质及程序
CN101060617A (zh) 一种视频点播控制方法、客户端设备和切换控制装置
CN1684423A (zh) 信息提供控制方法和信息再现系统
CN1852431A (zh) 实现实时视频信息共享的系统及方法
CN1466835A (zh) 无线通信控制装置和方法、存储介质以及程序
CN1777273A (zh) 信息处理装置,信息处理方法,记录介质以及程序
CN1209716A (zh) 网络控制系统,网络终端和控制终端
CN1685719A (zh) 广播系统、记录装置、记录方法、程序、记录媒体
CN1783897A (zh) 电子装置及状态信息提示装置
CN1830210A (zh) 实时流广播方法、实时流广播设备、实时流广播系统、程序、记录介质、广播方法和广播设备
CN1589570A (zh) 网络信息处理系统和信息处理方法
CN100343836C (zh) 信息获取装置和信息提供装置
CN1647517A (zh) 投机录像装置
CN1735061A (zh) 通信系统、电子设备及其控制方法、信息提供装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090701

Termination date: 20211206