具体实施方式
(实施例1)
现在将参考附图在下面解释本发明的实施例1。
首先,根据实施例1的通信网络的使用模式将用图3A到图3C来解释。图3A到图3C示出根据实施例1的一个媒体分配系统。
如图3A中所示,根据实施例1的媒体分配系统将从作为传输设备的服务器102所分配的内容通过通信网络101由接收终端104接收。
服务器102以为诸如视频、语音、音乐、文本、静止图像、布局信息和程序(program)之类的以不同媒体对象来传送内容。此外,服务器102把节目信息和节目数据作为内容来发送。
节目信息是描述接收情况的数据,比如节目摘要、广播开始/结束时间、广播所用的通信端口等等(其对应于电视广播中的频道、更确切地说指的是目标IP地址和端口号)。
此外,作为节目信息描述方法可以使用例如SDP(会话描述协议)。
此外,节目数据是诸如视频、语音、音乐、文本、静止图像、程序和用于显示这些组合项的布局信息之类的媒体。
作布局信息描述方法,有例如,SMIL(同步多媒体合成语言)或JAVA(R)。
SMIL的详细内容在http://www.w3.org/TR/smil20/中记叙,而SDP的详细内容在http://www.ietf.org/rfc/rfc2327.txt中记叙。
接收终端104是具有不同的显示分辨率或处理能力的终端,比如移动电话、电视、个人数字助理和电脑。接收终端104首先接收从服务器102发送的节目信息,然后开启一个用于来接收叙述了节目信息的节目数据的接收信道并接收节目数据。然后,接收终端104再现对应于该节目信息的节目。
接收终端104也可以同时从用于分配节目的多个服务器接收内容。此外,接收终端104还可以是具有可以不仅连接到单个传输路径而且可以同时连接到多个传输路径的能力终端。
通信网络101可以是有线网(例如ADSL、ISDN、ATM、FTTH)或无线网络(例如移动电话、无线局域网)。
此外,通讯装置经由诸如路由器或网关(GW)之类的中继节点103互相连接。
中继节点103具有广播或组播(multi-cast)功能,并且可以在中继节点103复制数据分组。
此外,内容传输方法可以包括服务器102和接收终端104之间的一对一通信或服务器102和使用广播或组播功能的接收终端104之间的一对N通信。
节目信息或节目数据可以用相同或不同的传输路径来发送。例如,节目信息可以用广播网来发送,而节目数据也可以用通信网络来发送。
此外,实施例1还可以配备有一个包括如图3B所示互相连接的有线网和无线网络的通信网络105。
如图3C中所示,实施例1可以具有这样的通信方式,服务器102位于不同的位置,数据被广播到邻域而且接收终端104接收数据。用这类通信模式时,作为传输协议可以利用蓝牙或无线局域网等等。
此外,服务器102和接收终端104之间的连接路径不仅可以是通信网络101,而且还可以是广播网(例如数字地面广播、数字卫星广播等)或由广播网和通信网络融为一体的系统构成。
如图3B所示,将内容广播到诸如移动电话之类的移动接收终端104的模式中,还有希望广播接收终端104所在的各区域不同的内容。然而,当从服务器102向多个接收终端104广播或组播内容时要根据它们的位置来改变广播内容是很不容易的。
因此,在实施例1中,为了实现根据位置进行广播,例如,在图3B中服务器102和中继节点103(有线网部分)之间以一对一通信,而在中继节点103和接收终端104之间则用无线网络的广播功能来分配内容。
这样,实现了广播功能的中继节点103并不跨越其它不同的中继节点103来广播分组。
其次,根据可以在接收终端104被接收的媒体的再现节目结果的不同将用图4A到图4D来说明。图4A到图4D根据在接收终端104中的、与中继节点103的物理或逻辑距离相应的节目的再现结果的不同进行说明。
在这个例子中,假定服务器102正在发送文本数据(201)、低分辨率静止图像数据1(202)、静止图像数据2(203)、MPEG4视频流数据(204、206)和高分辨率静止图像数据1(205)。
MPEG4视频数据流204、206是高分辨率和低分辨率的相同编码视频。MPEG4视频数据流204用低分辨率来编码,而MPEG4视频数据流206用高分辨率来编码。此外,假定服务器102正把MPEG4视频数据流204作为帧内编码帧(I帧)数据来发送,而把MPEG4视频数据流206作为帧间编码帧(P帧)数据来发送。
图4A中所示的显示结果是当接收终端104能够接收文字数据201和低分辨率静止图像数据1(202)时的显示结果。在这种情况下,文本数据201和低分辨率静止图像数据1(202)被显示在接收终端104上。
图4B中所示的显示结果是当接收终端104能够接收除了文字数据201和低分辨率静止图像数据1(202)之外的静止图像数据2(203)时的再现结果。在这种情况下,接收终端104采用适合于显示文字数据201、低分辨率静止图像数据1(202)和静止图像数据2(203)的布局。
图4C中所示的显示结果是当接收终端104能够接收除了文字数据201、低分辨率静止图像数据1(202)和静止图像数据2(203)之外的MPEG4视频数据流204时的再现结果。在这种情况下,接收终端104采用这样的布局,即,MPEG4视频数据流204被置于中心,而文本数据201、静止图像数据1(202)和静止图像数据2(203)以压缩尺寸被显示。
图4D中所示的显示结果是当接收终端104除了文字数据201、低分辨率静止图像数据1(202)、静止图像数据2(203)和MPEG4视频数据流204之外还能够接收MPEG4视频数据流206和高分辨率静止图像数据1(206)时的再现结果。在这种情况下,与图4C相比,接收终端104增加了静止图像数据1的分辨率,而且还增加了视频的帧率。
在本发明中,如图4中所示,当能够被接收的媒体很少时,接收终端104执行适用于媒体的布局并显示节目,而当能够用许多媒体来显示信息时,接收终端104执行适用于那些媒体的布局并显示节目。
在下文中,包括接收终端104在内的媒体分配系统的构成将用图5来解释,接收终端104如上所述地用适合于能够被接收的媒体的布局来显示媒体。图5是一个示意图,示出根据实施例1的媒体分配系统的总体图像。
作为内容传输设备的服务器102配备有数据控制部分301、节目广播控制部分314、传输控制部分304、节目信息生成部分312和传输部分305。
数据控制部分301由节目表301a、用于存储布局信息的布局信息存储部分301b、用于存储MPEG4视频数据流204、206的AV数据存储部分301c、用于存储静止图像数据202、203、205的静止图像存储部分301d以及用于存储文本数据201的文本存储部分301e构成。数据控制部分301是由硬盘驱动器表示的记录媒介。
节目表301a是用于在节目上存储信息的表。每个节目都基于这个节目表301a被广播。
节目表301a的详细内容将用图6来解释。图6示出存储在服务器102中的节目表301a。
节目表301a存储了一个节目的信息,并且服务器102存储与将被广播的节目同样数目的节目表301a。为简化附图,图5只示出了一个节目表301a。
节目表301a被分成会话信息401和媒体信息402。
会话信息401示出整个节目的相关信息,而媒体信息402示出组成该节目的各个媒体上的相关信息。
会话信息401存储标题403、会话号404、传输开始/结束时间405和目标地址406。
标题403示出这个节目的标题。
会话号404是唯一地识别这个节目的号码。
传输开始/结束时间405描述节目传输的开始和结束时间。
目标地址406示出数据的目标地址,表示节目数据将被发送到的地址。
此外,媒体信息402具有文件名407、传输名称408、媒体类型409、强制(mandatory)标记410和传输周期/重复次数411的相关信息。
文件名407描述媒体(节目)中存储的文件名。文件名407包括媒体数据和布局信息的名称。
传输名408表示在媒体数据发送时为使数据唯一地识别所赋予的标识符。这个信息被用来指定各个布局信息的媒体。此外,各个媒体的传输名被输入节目信息。
媒体类型409示出媒体的类型。这个信息被输入节目信息并且被发送到接收设备。
强制标记410是一个标记,其表示:当对应的媒体数据不能被再现时,接收终端104是否允许用作为媒体组件的媒体所具有的布局信息来再现该节目。即,强制标记410是表示该媒体是否为再现布局信息所必须的标记。
当强制标记410是1时,如果媒体不能被再现,则不允许用作为布局组件所具有的媒体的布局信息来再现节目。换言之,强制标记410表示媒体是否是其所对应的布局信息所必须的强制媒体(mandatory media)。
强制标记410在节目信息或布局信息中被描述并且被通知到接收设备。
当要发送的媒体数据是静止图像或文本数据时,传输周期/重复次数411表示媒体数据的传输重复周期,而当要发送的媒体数据是流数据时,它表示该流数据被重复地发送了多少次。
在图6的例子中,流数据是音频、视频,而重复次数是无限次(连续传输直到服务器102发出停止指令为止)。
节目表301a的构成如上所示。
在此,内容分配设备将再次用图5来继续说明。
节目广播控制部分314控制每个节目广播的开始/结束。节目广播控制部分314存储节目再现的开始/结束时间,当传输开始时间到来时开始节目的传输,而当结束时间到来时结束节目的传输。
更确切地说,节目广播控制部分314从每个节目的节目表301a读取会话信息401的相关信息,并且存储其中所记录的节目的广播开始时间/结束时间405。当每个节目的广播开始时间到来时,节目广播控制部分314指示传输控制部分304和节目信息生成部分312开始节目的广播。此外,当结束时间到来时,节目广播控制部分314指示传输控制部分304和节目信息生成部分312结束节目的广播。
传输控制部分304根据来自于节目广播控制部分314的广播开始指令读取被指示节目表301a的媒体信息402,并且基于媒体信息402的文件名407来读取组成节目数据的媒体数据和布局信息。传输控制部分304向传输部分305移交所读取的节目数据。此外,传输控制部分304基于来自于节目广播控制部分314的广播结束指令来停止被指示节目的广播。
节目信息生成部分312根据来自于节目广播控制部分314的广播开始指令从数据控制部分301读取被指示节目的节目信息。然后,如有必要,将节目数据的广播信道的相关信息(每个媒体数据的目标IP地址、端口号等等)追加到节目信息。然后,节目信息生成部分312在恒定周期把这个节目信息移交给传输部分305。此外,节目信息生成部分312根据来自节目广播控制部分314的广播结束指令结束向传输部分305移交被指示节目的节目信息。
当节目信息已经事先移交给接收终端104,而且节目信息没必要在节目广播的时候发送时,服务器102用不着配备这个节目信息生成部分312。
传输部分305是能够向IP网络传输数据的接口。此外,这个传输部分305还具有将从节目信息生成部分312和传输控制部分304接收的节目信息和节目数据进行分组化的功能。传输部分305还具有一个功能,即向预定的节目信息信道发送节目信息以及向基于节目信息确定的信道发送节目数据。
在上述系统中,节目信息可以实时或在广播之前产生。此外,节目信息并不一定总是和节目数据一起发送,也可以用其它方式来发送。
例如,也可以准备另一个用于传输节目信息的服务器,由接收设备用HTTP等等从服务器获取节目信息。
接下来将说明接收终端104。
接收终端104配备有终端控制部分310、接收控制部分307、节目选择部分317、再现控制部分308、显示部分316、接收数据控制部分318和传输部分315。
终端控制部分310控制整个接收终端104。在图5中,为简化附图,从终端控制部分310到其它处理部分的信号线从略,但是实际上所有的处理部分都存在信号线。
接收控制部分307把从传输部分315接收的数据存储在缓冲器320中。然后,接收控制部分307判别被存储数据的类型,并且当接收到的数据是节目信息时,数据被移交给节目选择部分317。
当接收数据是布局信息时,接收控制部分307分析布局信息的优先级、构成布局的媒体、并且分析各媒体的显示是否是必须的等等,分析结果被写入接收数据控制表319。
此外,当被接收数据是媒体数据时,接收控制部分307判定媒体再现准备是否已经完成并且将其结果记载到接收数据控制表319中。此外,接收控制部分307判定媒体数据是否能够连续地接收并且将判定结果记载到接收数据控制表319中。接收控制部分307具有上述的功能。
节目选择部分317在从接收控制部分307接收的节目信息中选择要接收的节目并且指示传输部分315接收该节目。节目选择部分317接收节目的选择可以根据来自收视者的指令进行,也可以是接收终端104自动地选择节目的做法。
作为自动选择节目的方法,例如,节目选择部分317从接收节目信息中随机选择一个节目。
节目选择部分317使显示部分316示出诸如节目标题之类的节目列表。然后,观众从在显示部分316上显示的节目表中选择一个任意的节目。
此外,节目选择部分317从节目信息得到为接收正在广播的节目的节目数据的信道。
在实施例1中,采用了节目信息从发送节目数据的服务器102发送的做法,但是节目信息也可以通过另一个方法获取。例如,使用HTTP从HTTP服务器获取节目信息的方法等等。
接收数据控制部分318存储接收数据控制表319、检测接收数据控制表319的更新,基于后述的表控制处理来确定应该使用的布局信息,把布局信息通知到再现控制部分308。
再现控制部分308从接收控制部分307获取由接收数据控制部分318确定的布局信息,并且基于该布局信息执行对节目数据的再现处理。
再现控制部分308根据用于解码以再现视频或语音的各种方式执行解码处理。这类方式,可以是诸如MPEG4和MPEG2之类的已标准化了的方式,也可以使用非标准化的方式。
此外,再现控制部分308确定文本和动画的显示位置和显示时间以合成已被解码的信息。媒体之间的同步可以使用诸如MPEG2、SMIL之类的已被标准化了的方式或使用非标准化方式。
传输部分315是能够从IP网络接收数据分组的接口。传输部分315具有这样的功能,即开启用于节目信息接收的信道并接收节目信息,或开启来自节目选择部分317的接收开始指示的信道并接收节目数据。
此外,传输部分315具有从接收的各数据分组取出数据并将其移交给接收控制部分307的功能。传输部分315还具有关闭来自节目选择部分317的接收结束指示的信道并停止接收节目数据的功能。
在实施例1中,节目信息和节目数据经由相同的传输路径被发送,但是当接收终端104具有连接多个传输路径的功能时,节目信息和节目数据可以各自由各自的传输路径接收。
显示部分316将由再现控制部分308解码的AV数据、文本、静止图像之类的不同媒体,在由再现控制部分308确定的时候呈现给观众。更确切地说是,使用诸如CRT和LCD之类的视频显示装置以及诸如扬声器之类的语音再现装置来执行呈现给观众。
接下来,接收控制表319的结构将用图7说明。图7表示了接收控制表319的结构。
数据接收控制表319由布局信息表901和媒体表902构成。
布局信息表901具有诸如优先级903、媒体组件(component media)904和强制标记905之类的字段。
优先字段903描述各块布局信息的优先级。优先级是表示哪个布局应该被优先采用的值。越能够详细地表达内容的布局则优先级就越高。这个优先级可以由作为发送终端的服务器102明确地或者是暗示地发送而来,也可为根据接收终端104的显示确定为传输终端。
关于优先级(字段)903的优先级,有从服务器102使用节目信息或分组报头明确地通知,并且使用所通知的值的方法,或者根据服务器102和接收终端104之间事先的约定暗示地通知的方法。
作为暗示地通知优先级的方法,可以有例如,有将在节目信息中所记载的顺序作为布局信息的优先级。
可以认为记载顺序早的布局信息是节目制作者最想表达的布局信息。从而,可以提高最优选地表达的布局信息的优先级。其结果是,当多块布局信息处于可以再现状态时,接收终端104可以选择最优选表达的布局信息。
此外,也可以提高具有长传输间隔的布局信息的优先级。
具有最长传输间隔的布局信息对应于使用该布局信息少的接收终端104,其包括信息量多的媒体。因此可以提高信息量多的布局信息的优先级。从而,当多块布局信息处于可再现的状态时,接收终端104可以选择信息量多的布局信息。
此外,也可以有如下的方法。即,并不是由服务器102确定优先级,而是在接收终端104中注册诸如″视频所包括的布局信息具有最高优先级″和″所使用的媒体的数最多的具有最高优先级″之类的方针并根据该方针再现媒体的方法。
这使得媒体数最多或包括视频媒体的、即应优选地表达的布局信息的优先级可以得到提高。从而,当多块布局信息处于可再现的状态时,接收终端104可以选择最优选表达的布局信息。
此外,接收终端104遵循一个规则,即在可以再现的布局信息中,优先级高的(在附图的例子中,值越小,优先级越高)的布局信息将优先再现。此处的″布局信息可再现″指的是构成布局的一部分的媒体数据处于可以再现状态。
″媒体数据处于可以再现″的状态指的是如果是流数据的话已经完成预先缓冲的状态,如果是文本或静止图像数据的话则已经接收了所有构成媒体的媒体数据的状态。
媒体组件字段904示出构成每个布局的媒体。接收终端104通过分析布局信息获取在媒体组件字段904所记载的媒体。
此外,当节目信息中记载了布局信息是由哪个的媒体构成的时,接收终端104还可以从节目信息中获取构成每个布局的媒体。
强制标记905是表示当使用布局信息进行再现时,媒体是否应该处于可以再现的状态的标记。
例如,优先级1的布局信息由文本1、图像1、图像2、音频1和视频1构成,但是当用这个布局来执行再现时,强制标记905为1的音频1和视频1必须处于可以再现的状态。对于其它媒体,即使不能被再现,也可以通过将要显示媒体的部分保持为空白来执行再现。
关于强制标记905的信息被存储在布局信息中,并且接收终端104获取该信息并将其输入布局信息表901。此外,当节目信息描述了强制标记905的相关信息时,则该信息也可以从节目信息获取并输入。
媒体表902由传输名(媒体名)906、优先级907、接收完成标记908和连续接收可能性标记909构成。
传输名(字段)906描述了从服务器102由节目信息通知的媒体传输名。
优先级(字段)907描述了优先级,其表示当存在用相同的传输名发送的媒体时,该优先使用哪些媒体。
例如,数据图像1作为发送数据发送包括高分辨率的数据和低分辨率的数据。因此,当可以接收高分辨率数据时,接收终端104必须用高于低分辨率数据的优先级来显示高分辨率数据。因此,高分辨率的图像1的优先级高于低分辨率的图像1。
这个优先级可以通过明确地存储在节目信息或分组报头中从服务器102发送,也可以根据服务器102和接收终端104之间事先的的约定暗示地通知。
可以有不同的情况,例如,设定在节目信息中所描述的顺序表示媒体的优先级,或设定传输间隔长的布局信息优先级高,或设定媒体数据量大的优先级高。
此外,在可分层媒体的情况下(例如当MPEG4的FGS、MPEG的I帧和P帧分别发送时),假定填写优先级(字段)907,以使只具有基础层的媒体的优先级则低,而组合了再现、基础层和扩展层的媒体的优先级则高。
接收完成标记(字段)908记载了表示媒体已经处于可以再现的状态接收完成标记。在流数据的情况下,当预缓冲完成时,接收完成标记则设置为1。此外在静止图像或文本数据的情况下,当构成媒体的所有媒体数据的接收完成时,接收完成标记被设置为1。
连续接收可能性标记(字段)909记载了表示媒体数据是否可以连续接收的连续接收可能性标记。媒体数据可以被连续接收指的是分组可以在一定程度上进行连续地接收。例如,连续接收可能性标记在分组损失率低于阈值时设置为1,而在分组损失率超过阈值时设置为0。
接收终端104的接收控制部分307在接收了节目信息或布局信息时,更新布局信息表901,而在接收了节目信息或媒体时,更新媒体表902。此外,由于更新的结果当要再现的布局信息发生变化时,接收终端104改变要再现的布局信息然后将其再现。
本发明从多块布局信息中通过选择和再现可以接收终端104再现的布局信息,从而可以根据可接收的数据实现适当的节目显示。
为了接收终端104能实现适当的布局信息选择,接收终端104必须以一定的形式确定1)布局信息的优先级,2)媒体数据的优先级,3)构成布局的媒体数据,4)为再现布局所必须的媒体数据,和5)媒体传输名。
为此,在实施例1中,从服务器102向接收终端104根据节目信息通知上述的1)到5)。
在下文中,根据实施例1的节目信息将用图8来说明。图8根据SDP(会话描述协议,IETF因特网草案RFC2327)描述了实施例1的节目信息。
图8中所示的节目信息1800省略了SDP的会话信息并只描述媒体信息部分。
此外,节目信息1800表示文本、静止图像、视频、音频、布局信息作为节目数据发送。
更确切地说,如1801中所示,节目信息1800表示文本经由m=field用RTP(实时传输协议,IETF因特网草案RFC1889)用有效负载型102发送到端口号49234。
此外,在节目信息1800中,节目数据的传输名a=namemap:记载于字段(field)中。这个字段为″a=namemap:<pT><transmission name>″格式,并且<PT>表示RTP的有效负载型。这意味着″RTP的有效负载型是作为<PT>的媒体的传输名是<transmissionname>″。
此外,在节目信息1800中1802所表示的部分描述了静止图像的媒体信息。这个例子描述了多个静止图像用相同的传输名来发送(它们分别用有效负载型104、105各自发送)。
由此可见,当多个媒体数据用相同的传输名来发送时,必须从服务器102通知在接收终端104应该优先使用哪个媒体数据。
在这个例子中,设″a=prioritymap:″字段定义了它。这个字段的格式是″a=prioritymap:<PT><priority>″并且意指″有效负载型为<PT>的媒体的优先级是<priority>″。
因此,节目信息1800示出用有效负载型104发送的数据的优先级是1,而用有效负载型105发送的数据的优先级是2。
此外,由节目信息1800的1804所表示的部分中描述了发送视频数据。对于视频数据设置为赋予MPEG4的I帧和P帧不同的有效负荷型发送。例如,″a=rtpmap:106MPEG4-ES/90000/I″的″I″部分表示有效负载型106的媒体只发送I帧。
节目信息1800的1806所表示的部分表示了布局信息被发送。对于布局信息,与1802所表示的部分同样,由a=priority:字段赋予了布局信息的优先级。此外,由a=mediamap:字段表示构成布局信息的媒体和该媒体是否为布局的再现所必须的。
这个字段的格式是″a=mediamap:<PT><mandatory component
media>;<not mandatory component media>″。<mandatory component media>和<not mandatory component media>由有效负载型来描述。
此外,当多个数据段用相同名发送的媒体是媒体组件时,接收其中的任意一个数据块都可以。在这种情况下,相关媒体用斜杠″<PT1>/<PT2>″来表达(其意指″<PT1>或<PT2>″的任意一个)。
根据具体的例子,例如,节目信息1800的1807所表示的,其表示:″有效负载型100的布局信息,具有将在‘;’之前的有效负载型109的媒体(图像2)作为必须构成媒体;将在‘;’之后的必须组件媒体和有效负载型102(文本1)和104或105(图像1)作为非必须媒体组件″。
这样,通过在节目信息1800中明确地示出构成布局信息的媒体的信息,从而使在接收终端104侧无需分析布局信息就可以知道媒体组件的信息并且可以降低终端的处理负荷。
接收终端104还可以采用通过分析布局信息来检测构成布局信息的媒体信息的方式。
此外,实施例1还可以用这样的形式,即由服务器向接收终端104通知4)借助于布局信息再现布局所必须的媒体数据。
接下来,关于再现布局所必须的媒体数据的通知布局信息将用图9来说明。图9示出实施例1中用SMIL来描述的布局信息。
图9中所示的布局信息1900描述了1901所表示的部分显示具有″文本1″传输名的数据和1902所表示的部分显示具有″图像1″传输名的数据。
从而,布局信息1900描述了这个布局中所包括的媒体数据。
此外,由各标记的″display=″示出媒体是否为再现这个布局信息所必须的。更确切地说,″display=″取″mandatory″或″optional″的其中之一的值。当″display=″是″mandatory″时,这表示是必须的。相反,当″display=″是″optional″时,这表示不是必须的。
接收终端104可以用这个信息(″display=″)来确定数据接收控制表319的强制标记905的值。
从而,通过在布局信息中描述4)再现布局所必须的媒体数据,就可以对接收终端104通知4)再现布局所必须的媒体数据。
此外,实施例1还可以是这样的方式,即从服务器102用分组报头向接收终端104通知1)布局信息的优先级和2)媒体数据的优先级。
用分组报头通知1)布局信息的优先级和2)媒体数据的优先级的格式用图10来说明。图10示出一个根据实施例1的分组报头的格式。
图10中所示的分组报头2000是一个例子,其中,数据分组用RTP发送。
因为由分组报头2000的2001表示的描述是在RTP的标准范围内,所以对其的说明将从略。
此外,由分组报头2000的2002表示的描述是扩展RTP的格式。
更确切地说,″length″是一个字段,其中,扩展字段的长度(由2002表示的部分)以字节为单位输入。″priority″是输入媒体的优先级的字段,并且用此字段赋予布局信息和媒体的优先级。此外,″reserved″是预约部分并且没有被使用。
通过以这种方法描述分组报头2000,接收终端104可以通过分析分组报头2000来识别1)布局信息的优先级和2)媒体数据的优先级。
此外,除了上述的在节目信息中描述多块布局信息和描述对应的优先级的方法之外,还有通知使用布局信息的优先级的方法,即,通过发送多块节目信息自身并且把优先级赋予给节目信息自身。
在下文中,发送多块节目信息本身并将优先级赋予到节目信息本身的节目信息将用图11来说明。图11说明了一个根据SDP来发送实施例1的节目信息的例子。
不同于上述的例子,这个例子假定对于一个节目发送多块节目信息,并且节目信息2101、2102被分别地发送。
此外,不同于图8中的例子,各节目信息中只记载了一块布局信息。更确切地说,在2105和2106中所示的部分为描述了布局信息的相关信息的字段。
通过使节目信息与布局信息一一对应,从而使得被赋予给节目信息的优先级能够表示布局信息使用的优先级。
在输入了会话信息的字段中如2103和2104所示,节目信息的优先级通过插入″a=priority:″字段来表达。
这个字段的格式是″a=priority:<priority>″,意味着″这个节目信息的优先级是<priority>″。
通过使用这类数据1800、1900、2000、2101和2102,接收终端104可以确定1)布局信息的优先级,2)媒体数据的优先级,3)构成布局的媒体数据,4)再现布局所必须的媒体数据,和5)媒体的传输名。
接下来,服务器102的操作将用图12来说明。图12是实施例1的服务器102的操作流程图。
服务器102在被启动后,在节目广播控制部分314首先读取并存储与要处理的节目对应的节目表301a的传输开始/结束时间405(步骤501)。
然后,节目广播控制部分314等候传输直到开始时间或结束时间的到来(步骤502)。当某个节目的传输开始时间到来时(步骤503),节目广播控制部分314提取该节目的节目表301a的媒体信息402并且存储将要发送的数据的相关信息(步骤504)。
接下来,服务器102的节目信息生成部分312参考由节目广播控制部分314存储的媒体信息402的文件名407,通过把传输信道分配给媒体信息402中所包括的媒体数据和布局信息(步骤505),从而产生节目信息并且经由传输部分305把该节目信息发送到接收终端104(步骤506)。
接下来,节目广播控制部分314指示传输控制部分304开始在步骤506中发送的节目信息中所包括的各媒体数据和各布局信息的数据的发送处理(媒体传输处理),并且传输控制部分304开始媒体传输处理(步骤507)。媒体传输处理的详细内容之后将被描述。
此外,当传输结束时间到来时(步骤503),节目广播控制部分314指示传输控制部分304结束节目的媒体传输处理。然后,传输控制部分304结束(停止)节目中所包括的各媒体数据和各布局信息的传输(步骤508)。接下来,节目广播控制部分314停止节目的节目信息的传输处理(步骤509)。
接下来,就服务器102的媒体传输处理用图13来说明。图13是实施例1中的服务器102的媒体传输处理流程图。
媒体传输处理对各媒体数据进行。
首先,传输控制部分304参考数据控制部分301的节目表301a中的媒体信息402,并提取节目中包括的文件名407。然后,传输控制部分304从布局信息存储部分301b、AV信息存储部分301c、静止图像存储部分301d和文本存储部分301e中读取对应于被提取文件名407的媒体数据和布局信息(步骤601)。
接下来,传输控制部分304分离读取的媒体数据和布局信息并将它们发送到传输部分305。
接下来,传输部分305将发送而来的数据各自分配分组报头并对其进行分组化(步骤602)。
然后,传输部分305定期地重复发送分组直到从传输控制部分304向产生分组的接收终端104给出传输停止指令为止(步骤604),并且当传输控制部分304给出传输停止指令时(步骤605),传输部分305结束数据发送处理。
这样,服务器102把媒体数据和布局信息发送到接收终端104。
接下来,用图14来说明接收终端104的操作将。图14说明了实施例1中的接收终端104的操作。
首先,当接收终端104被启动时,传输部分315开启预定的节目信息接收信道(步骤1001)。
其次,接收终端104启动之后将被描述的由接收控制部分307执行的接收处理(步骤1002),并且启动之后将被描述的由接收数据控制部分318来执行的表控制处理(步骤1003)。
然后接收终端104的各处理部分等候直到从终端控制部分310接收结束指令为止(步骤1004)。
当接收到结束指令时,传输部分315关闭节目信息接收信道(步骤1005),接收控制部分307停止接收处理(步骤1006)并且接收数据控制部分318停止表控制处理(步骤1007)。
接收终端104就这样开始操作和停止操作。
接下来,用图15说明由接收终端104执行的接收处理。图15是由接收终端104执行的接收处理的流程图。
接收处理是当节目信息或节目数据被接收时的操作,并且是当用户选择节目时的操作。
首先,接收终端104的接收控制部分307判定用户是否已经选择了节目(步骤1101),并且当用户已经选择了节目时执行之后将被描述的节目选择处理(步骤1102)。
当用户没有选择任何节目时,接收控制部分307判定是否已经从终端控制部分310接收了结束指令(步骤1120),并且当已经接收了结束指令时则结束接收处理。
当没有接收结束指令时,传输部分315则接收诸如节目信息和节目数据之类的数据,并且将该数据发送到接收控制部分307(步骤1103)。
然后,接收控制部分307判定被接收的数据是否是节目数据(步骤1104)。
当被接收数据不是节目数据时,接收控制部分307判定被接收数据是否是节目信息(步骤1105)。
当被接收数据是节目信息时,接收控制部分307指示节目选择部分317获取节目标题。对此,节目选择部分317获取节目标题(步骤1106)。然后,节目选择部分317将节目标题呈现给用户(步骤1107)然后回到步骤1101。
此外,当在步骤1104中被接收数据是节目数据时,接收控制部分307判定它是否是布局信息(步骤1108),当它是布局信息时,接收控制部分307执行之后将被描述的布局信息接收处理(步骤1109)然后回到步骤1101。
此外,当在步骤1108中被接收数据不是布局信息时,接收控制部分307判断它是否是AV数据(步骤1110)。当被接收数据是AV数据时,接收控制部分307执行一个之后将被描述的AV数据接收处理(步骤1111)然后回到步骤1101。
此外,当在步骤1111中被接收数据不是AV数据时,接收控制部分307判定被接收数据是否是文本/静止图像数据(步骤1112),当被接收数据是文本或静止图像数据时,接收控制部分307执行文本/静止图像数据接收处理(步骤1113)然后回到步骤1101。
接收终端104以这种方式执行接收处理。
接下来,用图16说明由接收终端104执行的节目选择处理。图16是说明了由接收终端104执行的节目选择处理的图。节目选择处理对应于图15中所示的步骤中1102中的处理。
在节目选择处理中,接收控制部分307首先判断接收终端104当前是否正在再现另一个节目(步骤1201)。
当没有别的节目正在被再现时,接收控制部分307从本次将要接收的节目信息的媒体信息中建立布局信息表901和媒体表902(步骤1205)。
接下来,接收控制部分307指示传输部分315开启节目接收信道,传输部分315开启节目的接收信道(步骤1206)然后结束处理。
相反,当在步骤1201中节目正在被再现时,接收控制部分307关闭正在被再现的节目的接收信道以处理本次接收的节目(步骤1202),停止当前正在被再现的节目再现(步骤1203)并删除被接收数据控制表319中存储的信息(步骤1204)。然后,接收控制部分307移动到步骤1205中的处理。
接收终端104以这种方式执行节目选择处理。
接下来,由接收终端104执行的布局信息接收处理将用图17说明。图17是说明由接收终端104执行的布局信息接收处理的图。这个处理对应于图15中所示的步骤中1109中的处理。
首先,从服务器102发送的数据是被分离/分组化后发送而来的,所以接收控制部分307确认被分离的数据是否已经接收齐了(步骤1301)。
当被分离的数据还没有全部接收时,接收控制部分307把数据存储在缓冲器320中然后返回(步骤1302)。
相反,当被分离的数据已经全部接收时,接收控制部分307读取存储在缓冲器320中的数据组成布局信息,然后分析组成布局信息的媒体(步骤1303)。
接下来,接收控制部分307获取媒体组件的强制标记(步骤1304)。接下来,接收控制部分307把优先级903、媒体组件904和强制标记905输入布局信息表901(步骤1305),保存这个布局信息表901然后结束处理(步骤1306)。
这样,接收控制部分307建立了布局信息表901。
接下来,用图18说明由接收终端104执行的AV数据接收处理。图18是由实施例1中的接收终端104来执行的AV数据接收处理的流程图。AV数据接收处理对应于图15中所示的步骤1111中的处理。
首先,接收控制部分307判断被接收数据是否是在接收节目之后第一次被接收的AV数据(步骤1401)。
当它是第一次接收的AV数据时,接收控制部分307开始预缓冲处理(步骤1402)。
预缓冲处理是在接收AV数据之后在一定时间内不进行再现而进行保存数据的处理。然后,接收控制部分307移动到步骤1406中的处理。
相反,当在步骤1401中接收数据不是第一次接收的AV数据时,接收控制部分307判断预缓冲是否已经完成(步骤1403),如果预缓冲没有完成,则移动到步骤1406的处理。
此外,如果预缓冲已经在步骤1403中被完成,则接收控制部分307把媒体的优先级输入媒体表902(当优先级的信息是被明确地通知时,它借助于节目信息或分组报头来通知,因此输入信息)(步骤1404)并且把对应的媒体表902的接收完成标记设置为1(步骤1405)。
接下来,接收控制部分307执行之后将被描述的连续接收可能性判定处理(步骤1406),把被接收的数据存储在缓冲器320中并且结束AV数据接收处理(步骤1407)。
这样,接收控制部分307执行了AV数据接收处理。
接下来,用图19说明由接收终端104执行的文本/静止图像数据接收处理。图19是文本/静止图像数据接收处理的流程图。文本/静止图像数据接收处理对应于图15中所示的步骤1113中的处理。
首先,从服务器102发送的数据是被分离/分组而发送的,所以接收控制部分307确认被分离的数据是否已经全部被接收(步骤1501)。
当被分离的数据还没有全部被接收时,接收控制部分307把数据保存在缓冲器320中然后移动到步骤1506中的处理。
当被分离的数据已经全部被接收时,接收控制部分307读取存储在缓冲器320中的媒体数据然后组成媒体。然后,接收控制部分307把优先级输入媒体表902的对应字段(当优先级信息是被明确地通知时,为通过节目信息或分组报头来通知,因此输入信息)(步骤1503)。接下来,接收控制部分307把媒体表902的对应的接收完成标记设置为1(步骤1504)。
然后,接收控制部分307把媒体数据的文本/静止图像数据保存在缓冲器320中(步骤1505)。
然后,接收控制部分307执行之后将被描述的连续接收可能性判定处理(步骤1506)然后结束处理。
这样,接收控制部分307执行AV文本/静止图像数据的接收处理。
接下来,用图20说明由接收终端104执行的连续接收可能性决定处理。图20是由实施例1中的接收终端104来执行的连续接收可能性决定处理的流程图。这个处理对应于图18中步骤1406和图19中步骤1506中的处理。
首先,接收控制部分307计算媒体数据的分组损失率L(步骤1601)。
分组损失率可以从过去被接收的分组历史记录中来计算。事先将序列号分配给分组,然后可以从其序列号的丢失来检测分组损失。例如,分组损失率可以通过这个表达式来计算,L=(最后5秒中丢失的分组数)/((最近接收的分组的序列号)-(5秒前接收的分组的序列号)。
接下来,接收控制部分307判断分组损失率L是否大于阈值L1(预先设置的固定值)(步骤1602),并且当分组损失率L大于阈值时,接收控制部分307判断为很难连续地接收分组然后把媒体的连续接收标记909设置为0(步骤1603)。
接下来,接收控制部分307判断分组损失率L是否小于阈值L2(预先设置的固定值,小于L1的值)(步骤1604),并且当分组损失率L小于阈值时,接收控制部分307判断为有可能连续地接收分组然后把媒体的连续接收可能性标记909设置为1并结束处理(步骤1605)。
从而,接收终端104设置连续接收标记909,并且当连续接收标记909是1时判断媒体可以被再现,并且从而可以防止位于地带边界的接收终端104的再现的不稳定。
接下来,用图21说明由接收终端104执行的表控制处理。图21是由实施例1中的接收终端104执行的表控制处理的操作流程图。
在表控制处理的过程中,接收数据控制部分318等候直到接收数据控制表319的内容被更新为止(步骤1701)。
然后,当被接收数据控制表319的内容被更新时,接收数据控制部分318参考布局信息表901并选择具有最高优先级903的布局信息,即可以显示处理目标最详细数据的布局信息(步骤1702)。
接下来,接收数据控制部分318从布局信息表901获取将要被处理的布局信息的媒体组件,并且对各媒体组件都执行以下的再现可能性判定处理。
接收数据控制部分318把作为处理对象的布局信息的各媒体组件表示为媒体组件1到N,其中,N是媒体组件数。
接收数据控制部分318从媒体表90参考媒体组件i的相关信息(步骤1704),并且当媒体组件i具有多个优先级时,接收数据控制部分318选择具有最高优先级的媒体组件i并执行以下处理(步骤1705)。
首先,接收数据控制部分318确认在步骤1705中选择的媒体的接收完成标记和连续接收可能性标记是否为1(步骤1706、步骤1707)。
然后,当接收完成标记和连续接收可能性标记都为1时,接收数据控制部分318判断媒体可以被再现并回到步骤1705然后继续下一个媒体的处理(媒体组件i+1)(步骤1708)。
从而,当基于媒体传输路径中的损失率的连续接收可能性标记为1时,即只有当媒体可以被连续地再现时才可以再现该媒体并防止分组损失很多的劣化信息被显示。
然后,接收数据控制部分318对所有的N个媒体都执行再现可能性判定处理(步骤1709)。
接下来,接收数据控制部分318判断一个或多个媒体是否可以被再现(步骤1710),并且当一个或多个媒体可以被再现时,接收数据控制部分318基于所选择的布局信息开始再现(步骤1711)。
然后,当从终端控制部分310没有接收到结束指令时(步骤1717),接收数据控制部分318返回到步骤1701中的处理,并且当接收到结束指令时结束处理。
相反,当在步骤1710中执行再现判定处理的结果可以被再现的媒体一个也不存在时,则接收数据控制部分318判断这个布局信息不能被再现然后移动到步骤1712。
在步骤1712中,接收数据控制部分318判断是否存在优先级比当前正在处理的布局信息低的布局信息,即判断是否存在其它的布局信息。
当存在具有较低优先级的布局信息时,接收数据控制部分318选择当前正在被处理的布局信息下一优先级的布局信息(步骤1713),然后移动到步骤1703。
相反,当在步骤1712中没有优先级较低的布局信息时,这意味着没有可以被再现的布局,因此接收数据控制部分318移动到步骤1701然后等候直到接收数据控制表319被更新。
此外,当步骤1706或1707中的接收完成标记或连续接收可能性标记为0时,在步骤1705中可以判断所选择的媒体不能被再现。因此,接收数据控制部分318为检测可被再现的媒体判断是否存在具有较低优先级的媒体组件i(步骤1714)。
当存在具有较低优先级的媒体组件i时,接收数据控制部分318选择下一个优先级的布局信息(步骤1715),然后移动到步骤1706中的处理。
相反,当在步骤1713中不存在较低优先级的媒体时,接收数据控制部分318确认媒体的强制标记905(步骤1716),并且如果强制标记为0,则媒体数据不一定被再现,因此接收数据控制部分318判断下一个媒体是否可以被再现。
相反,当强制标记为1时,接收数据控制部分318不能再现必须再现的媒体,因此接收数据控制部分318判断这个布局不能被再现然后移动到步骤1712。
用这种方法,接收终端104通过参考强制标记,一些媒体数据在不能再现的状态下决定其布局信息是否应该被再现。
接收终端104用这种方法来执行表控制处理。
如上所述,根据实施例1,接收终端104选择适合于可以被接收的媒体数据的布局信息,并且可以用所选择的布局信息来显示所接收的媒体数据。例如,当接收终端104只接收到文本或静止图像时,它执行只适合于文本或静止图像的布局,显示文本或静止图像,并且当它可以接收视频、语音、静止图像或文本时,接收终端104可以执行适合于这些媒体的布局并显示该媒体。即,当接收终端104显示所接收的由诸如视频、语音、静止图像或文本之类的不同媒体所组成的内容时,接收终端104可以用适合于可以被接收的媒体数据的模式来显示内容。
此外,根据实施例1,当多块布局信息处于可以被再现的状态时,可以根据优先级来决定应该选择哪块布局信息。
采用另一个模式也是可能的,即,实施例1中的服务器102和接收终端104的操作可以转换成程序,并将其存储在存储媒介中并由通用计算机来执行。
(实施例2)
本发明的实施例2将给出这种情况中的一个实施例,即,不是广播型的,而是用通信型来分配内容的实施例。
在通信型的情况下,由接收终端发送内容(在广播的情况下与节目数据相同)的分配请求这一点,并且在获取内容详细信息(在广播的情况下的节目信息)的方法上不同于广播型。而分配内容的方法与广播情况下的方法同等。
在实施例2中,作为对象通信网络的使用模式与图3中所示的相同。
实施例2将在下面用附图来详细地说明。首先,用图22说明实施例2的媒体分配系统。图22是是表示实施例2的内容的系统的总体图像的框图。图22与图5相比,其不同之处在于在服务器2206配置的是内容分布控制部分2204而不是节目广播控制部分314,并且在接收终端2211配置的是内容选择部分2207而不是节目选择部分317。其它部分是相同的,因此它们被赋予相同的附图标记并省略对它们的详细说明。
内容分配控制部分2204是从接收终端2211接收内容分配请求并且控制内容分配的部分。内容分配的控制使用诸如HTTP和RTSP之类的协议进行。
内容选择部分2207具有用于用户输入URL的接口和根据用户输入的URL来获取布局信息的功能。在这时候,假定内容选择部分2207获取多块布局信息。
此外,内容选择部分2207还具有基于布局信息中描述的URL使用HTTP和RTSP来获取内容的功能。在这时候,内容选择部分2207要求基于获取的布局信息获取多块布局信息中描述的所有媒体。
接下来,用图23说明实施例2的接收终端2211的操作。图23是根据实施例2的接收终端2211的操作流程图。
首先,接收终端2211获取由用户在内容选择部分2207输入的布局信息的URL(步骤2300)。
接下来,接收控制部分307基于步骤2300中获取的URL经由传输部分315从服务器2206获取布局信息(步骤2301)。
在这时候,假定接收控制部分307获取多块布局信息,和这些布局信息块的优先级在它们各自的布局信息块中被描述。
接下来,接收控制部分307获取每块布局信息中描述的媒体的URL(步骤2302)并基于该URL把对媒体的传输请求发送到传输部分315。然后,传输部分315请求服务器2206发送媒体(步骤2303)。
接下来,每块媒体数据经由传输部分315从服务器2206被发送,因此接收数据控制部分318基于可以被接收的媒体数据选择布局(步骤2304)并再现它(步骤2305)。
选择布局信息的方法与实施例1中描述的方法相同。
然后,根据来自于用户的再现停止指令,再现控制部分308停止并结束再现(步骤2306)。
如上所述,实施例2可以实现一个系统,即,将实施例1的媒体分配系统应用到通信型的系统。
本申请基于2003年3月10日申请的日本专利申请2003-064120,其全部内容在此被合并作为参考。
工业实用性
如上所述,通过由服务器102向接收终端104发送多块布局信息和媒体,当接收终端104显示传送而来的由诸如视频、语音、静止图像、文本之类的不同媒体组成的内容时,可以以适合于媒体接收状态的模式显示。