CN101715046A - 电子设备、内容再现方法和程序 - Google Patents

电子设备、内容再现方法和程序 Download PDF

Info

Publication number
CN101715046A
CN101715046A CN200910174541A CN200910174541A CN101715046A CN 101715046 A CN101715046 A CN 101715046A CN 200910174541 A CN200910174541 A CN 200910174541A CN 200910174541 A CN200910174541 A CN 200910174541A CN 101715046 A CN101715046 A CN 101715046A
Authority
CN
China
Prior art keywords
data
received
recovery
request
primary importance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910174541A
Other languages
English (en)
Other versions
CN101715046B (zh
Inventor
桝永慎哉
马沙姆·塞缪尔
武村知昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101715046A publication Critical patent/CN101715046A/zh
Application granted granted Critical
Publication of CN101715046B publication Critical patent/CN101715046B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提供一种电子设备、内容再现方法和程序。该电子设备包括接收部分、缓冲部分、再现部分、操作接收部分、发送部分和控制部分。接收部分接收从发送设备通过流送发送的内容的数据。缓冲部分缓冲所接收的数据。再现部分依次地读出并再现所缓冲的数据。操作接收部分接收关于数据再现的暂停操作和恢复操作。响应于暂停操作和恢复操作,发送部分向发送设备发送关于再现的暂停请求和恢复请求。控制部分控制缓冲装置执行以下操作,即丢弃在由所述缓冲装置缓冲的数据当中与在恢复请求之后接收的数据重复的数据,并且缓冲在恢复请求之后接收的、与丢弃的数据相同的数据。

Description

电子设备、内容再现方法和程序
技术领域
本发明涉及一种能够通过经由网络流送(streaming)来再现内容的电子设备、用于所述电子设备的内容再现方法及其程序。
背景技术
近年来,随着宽带网络的普及,对能够经由网络再现活动图像内容的业务的需要渐增。与之相关联,各种标准正被制定并且被提供业务。
作为用于这种业务的方法,存在一种下载方法和一种流送方法。其中,流送方法是当服务器按照需要向接收设备发送流送数据时、所述接收设备根据所接收的内容的流送数据来再现内容的方法。在这种情况下,使用者能够经由接收设备请求服务器对内容进行诸如快进、暂停和可变速度再现之类的技巧播放。
在接收设备通过流送方法再现内容的情况下,需要通过发送和接收分组在服务器和接收设备之间交换请求和数据。因此,通常会出现对应于网络环境的传播延迟。从而,在接收设备侧由使用者操作在其上进行请求的屏幕和实际上从服务器发送的数据之间会产生不可忽略的偏差。
关于这个问题,日本专利申请已公开号2008-022507(以下被称为专利文献1)公开了一种接收设备,当检测到已经进行了流送数据的切换请求操作时,所述接收设备通过快进在缓冲器中累积的流送数据来实现减少数据延迟。这里所使用的流送数据的切换请求操作例如是指诸如切换用于发送流送数据的设备、切换通道以及内容的回退、快进、暂停和停止之类的操作。
发明内容
顺便提及,在使用RTP(实时传输协议)作为传输协议的情况下,要由服务器发送到接收设备的数据通常以GOP(图片组)为单位发送,以便使数据能够作为具有意义的视频数据来处理。因此,在接收设备在内容再现中执行暂停处理和恢复(恢复再现)处理的情况下,当通过使用者操作来请求暂停的数据位置在GOP中间时,服务器在恢复再现时从GOP的头部发送数据。换句话说,并不保证接收设备中请求暂停的数据位置与恢复再现之后从服务器发送到接收设备的数据位置一致。因此,如果接收设备照原样处理从服务器所发送的数据,那么问题在于当恢复再现时可能出现内容的回退或跳跃,从而导致伴随的图像扰动。即便利用在专利文献1中所公开的技术也无法解决此问题。
在这方面,可以想到当恢复再现时接收设备使用暂停之后在缓冲器中累积的数据来执行再现的技术。然而在这种情况下,由于可能在缓冲器中另外累积暂停期间在网络上累积的数据,所以可能由于暂停处理和恢复处理的重复而导致出现缓冲器的上溢。
考虑到如上所述的情况,需要一种能够在不造成缓冲器上溢的情况下平滑地恢复已经暂停的流送数据的再现的电子设备、用于所述电子设备的内容再现方法及其程序。
依照本发明的一个实施例,提供了一种电子设备,其包括接收装置、缓冲装置、再现装置、操作接收装置、发送装置和控制装置。
接收装置接收从发送设备通过流送发送的内容的数据。
缓冲装置缓冲所接收的数据。
再现装置依次地读出并再现所缓冲的数据。
操作接收装置接收关于数据的再现的暂停操作和恢复操作。
发送装置响应于暂停操作和恢复操作向发送设备发送关于再现的暂停请求和恢复请求。
控制装置控制缓冲装置丢弃在由缓冲装置所缓冲的数据当中与在恢复请求后接收的数据重复的数据。控制装置还控制缓冲装置缓冲在恢复请求后接收的、与丢弃的数据相同的数据。
这里所使用的电子设备的例子包括电视接收机、诸如HDD(硬盘驱动器)/BD(蓝光盘片)/DVD记录器的再现设备、PC、游戏机、便携式AV设备、蜂窝式电话和汽车导航设备。数据再现包括解码处理和用于输出所解码数据的处理。
利用此结构,由于在缓冲的数据当中丢弃与在恢复请求之后接收的数据重复的数据,所以确保在暂停时的数据和恢复再现时的数据之间的连续性,并且可以平滑地恢复暂停后的内容的再现。同时,由于新近缓冲在恢复请求之后接收的数据来代替丢弃的数据,所以防止了缓冲装置的上溢。
在电子设备中,控制装置可以检测在暂停操作时接收的数据的第一位置和自从恢复操作以来最初接收的数据的第二位置,所述第一位置和第二位置位于内容的再现时间轴上。当第二位置位于第一位置之前时,控制装置可以控制缓冲装置丢弃从第二位置到第一位置的缓冲的数据。控制装置还可以控制缓冲装置缓冲在丢弃之后接收的从第二位置到第一位置的数据。
在这种情况下,当缓冲在丢弃之后接收的从第二位置到第一位置的数据时,控制装置可以控制再现装置恢复再现。
据此,通过检测第一位置和第二位置,控制装置可以掌握在已经缓冲的数据和恢复再现之后接收的数据之间的重复关系。由于从缓冲装置丢弃从第二位置到第一位置的数据并且缓冲在第二位置之后新近接收的数据,所以可以保持缓冲数据量恒定。因此,电子设备能够防止缓冲装置的上溢和下溢。尽管通过例如在数据分组中所包含的时间戳来掌握第一位置和第二位置,但是也可以根据其它信息来掌握它们。
在电子设备中,控制装置可以检测在暂停操作时由缓冲装置缓冲的数据当中最初接收的数据在再现时间轴上的第三位置。当第二位置位于第三位置之前时,控制装置可以控制缓冲装置丢弃所缓冲的从第三位置到第一位置的数据和接收的在第三位置之前的数据。控制装置还可以控制缓冲装置缓冲在丢弃之后接收的从第三位置到第一位置的数据。
在这种情况下,当缓冲在丢弃之后接收的从第三位置到第一位置的数据时,控制装置可以控制再现装置恢复再现。
据此,通过检测第三位置并且比较第三位置和第二位置,控制装置可以掌握其中在恢复再现之后所接收的数据并未缓冲的情况,即数据已经由再现装置读出的情况。在这种情况下,缓冲装置丢弃所缓冲的所有数据块并且进一步丢弃输入数据直到接收第三位置的数据。此外,缓冲装置缓冲从第三位置到第一位置的输入数据。因此,即使当自从恢复再现以来最初接收的数据已经被再现装置读出时,通过丢弃输入数据并且重新缓冲直到第一位置的输入数据,电子设备可以平滑地恢复再现同时防止上溢。
在电子设备中,控制装置可以检测在从暂停操作时到恢复操作时的时段期间最后接收的数据在再现时间轴上的第四位置。当第二位置位于第一位置和第四位置之间时,控制装置可以控制缓冲装置丢弃从第二位置到第四位置的缓冲的数据。
在这种情况下,当丢弃从第二位置到第四位置的数据时,控制装置可以控制再现装置恢复再现。
据此,通过检测第四位置并且把第四位置与第二位置和第一位置相比较,控制装置可以掌握其中第二位置位于第一位置和第四位置之间的情况,即在恢复再现之后接收的数据并不包含在暂停期间已经缓冲的数据的情况。在这种情况下,在从暂停操作时到恢复操作时的时段期间接收并缓冲的数据当中,缓冲装置丢弃与在恢复再现之后接收的数据重复的数据。在丢弃此数据时,再现装置恢复再现。因此,电子设备可以平滑地恢复再现,同时尽可能地抑制缓冲数据量的增加。
在电子设备中,当第二位置位于第四位置之后时,控制装置可以控制发送装置在下回发送恢复请求时向发送设备发送用于请求从第一位置发送数据的恢复请求。
据此,在暂停操作时接收的数据和恢复再现后接收的数据之间产生间隙的情况下,在下回发送恢复请求时,发送装置可以请求发送设备从在暂停操作时获得的输入数据恢复数据发送。因此,即使当在恢复发送时指定发送设备从GOP头部发送数据的情况下,在下回恢复发送时,也从至少包含暂停时的数据的GOP头部的数据恢复数据发送。当在恢复再现之后获得的输入数据与缓冲的数据重复时,执行上述处理。从而,电子设备可以平滑地恢复再现,同时防止在恢复再现时的数据跳跃。
在电子设备中,控制装置可以检测在从暂停操作时到恢复操作时的时段期间最后接收的数据在再现时间轴上的第四位置。当第二位置位于第一位置和第四位置之间时,控制装置可以控制发送装置在下回发送恢复请求时向发送设备发送用于请求从第一位置发送数据的恢复请求。
据此,在恢复再现之后的输入数据是在从暂停操作时到恢复操作时的时段期间接收的数据的情况下,在下回发送恢复请求时,发送装置可以请求发送设备从在暂停操作时接收的数据恢复数据发送。因此,即使当在恢复发送时指定发送设备从GOP头部发送数据的情况下,在下回恢复发送时,也从至少包含暂停时接收的数据的GOP头部的数据恢复数据发送。当在恢复再现之后获得的输入数据与缓冲的数据重复时,执行上述处理。从而,电子设备可以防止由于额外缓冲了在从暂停操作时至恢复操作时的时段期间接收的数据而造成的缓冲装置的上溢。
此外,在这种情况下,当由缓冲装置缓冲的数据量超过预定量时,控制装置可以控制发送装置向发送设备发送恢复请求,该恢复请求用于请求从第一位置发送数据。
据此,当缓冲装置的缓冲数据量在预定量以下并且不担心上溢时,控制装置可以控制发送装置不发送从第一位置开始的恢复请求。因此,通过动态地控制该恢复请求的发送,电子设备在防止缓冲装置上溢的同时可以防止由于在恢复操作之后该恢复请求的发送而造成使用者响应降低。
依照本发明的另一实施例,提供了一种内容再现方法,包括接收从发送设备通过流送发送的内容数据。
所接收的数据被缓冲。
所缓冲的数据被依次地读出并再现。
接收关于数据再现的暂停操作和恢复操作。
响应于暂停操作和恢复操作,向发送设备发送关于再现的暂停请求和恢复请求。
在缓冲的数据当中丢弃与在恢复请求之后接收的数据重复的数据,并且缓冲在所述恢复请求之后接收的、与丢弃的数据相同的数据。
利用此结构,由于在缓冲的数据当中丢弃与在恢复请求之后接收的数据重复的数据,因此确保在暂停时的数据和恢复再现时的数据之间的连续性,并且可以平滑地恢复暂停之后的内容再现。同时,由于新近缓冲在恢复请求之后接收的数据来代替丢弃的数据,所以防止了缓冲装置的上溢。
依照本发明的另一实施例,提供了一种用于使电子设备执行接收步骤、缓冲步骤、再现步骤、操作接收步骤、发送步骤和控制步骤的程序。
接收步骤包括接收从发送设备通过流送发送的内容的数据。
缓冲步骤包括缓冲接收的数据。
再现步骤包括依次地读出并再现缓冲的数据。
操作接收步骤包括接收关于数据再现的暂停操作和恢复操作。
发送步骤包括响应于暂停操作和恢复操作向发送设备发送关于再现的暂停请求和恢复请求。
控制步骤包括在缓冲的数据当中丢弃与在恢复请求之后接收的数据重复的数据。控制步骤还包括缓冲在恢复请求之后接收的、与丢弃的数据相同的数据。
依照本发明的另一实施例,提供了一种电子设备,包括接收部分、缓冲部分、再现部分、操作接收部分、发送部分和控制部分。
接收部分接收从发送设备通过流送发送的内容的数据。
缓冲部分缓冲所接收的数据。
再现部分依次地读出并再现所缓冲的数据。
操作接收部分接收关于数据再现的暂停操作和恢复操作。
发送部分响应于暂停操作和恢复操作向发送设备发送关于再现的暂停请求和恢复请求。
控制部分控制缓冲装置丢弃在由所述缓冲装置缓冲的数据当中与在恢复请求之后接收的数据重复的数据,并且缓冲在恢复请求之后接收的、与丢弃的数据相同的数据。
如上所述,依照本发明的实施例,可以在不导致缓冲器上溢的情况下平滑地恢复已经暂停的流送数据的再现。
如附图中所图示,参考其具体实施方式的以下详细描述,本发明的这些及其它目的、特征和优点将变得更加清楚。
附图说明
图1是示意地示出依照本发明实施例的包括TV的内容递送系统的图;
图2是示出依照本发明实施例的TV的硬件结构的图;
图3是示出依照本发明实施例的TV的软件结构的图;
图4是示出依照本发明实施例的从服务器发送的流送数据的GOP(图片组)结构的图;
图5是示出依照本发明实施例的从服务器发送的流送数据的MTU(最大传输单位)的结构例子的图;
图6是依照本发明实施例的说明图,示出所接收的RTP(实时传输协议)分组的结构例子;
图7是示出本发明实施例中在从暂停内容再现时到恢复再现时的时段期间、在TV和服务器之间粗略交换数据的顺序图;
图8是示出依照本发明实施例的TV的RTSP(实时流送协议)处理器的操作流的流程图;
图9是用于解释由依照本发明实施例的TV所接收并缓冲的数据的位置及其时间戳的图;
图10是示出依照本发明实施例的TV的RTP处理器的操作流的流程图;
图11是示出依照本发明实施例的TV的RTP处理器的操作流的流程图;
图12是示出依照本发明实施例的TV的RTP处理器的操作流的流程图;
图13是用于解释依照本发明实施例的用于调整再现恢复点的TV的处理的图;以及
图14是用于解释依照本发明实施例的用于调整再现恢复点的TV的处理的图。
具体实施方式
以下,将参考附图描述本发明的实施例。
(系统概要)
图1是示意地示出依照本发明实施例的包括电视接收机作为电子设备的内容递送系统的图。
如图所示,通过经由网络150连接多个电视接收机100(以下被称为TV 100)和服务器200来构造此实施例的内容递送系统。
服务器200存储内容数据,并且响应于来自经由网络150与其连接的TV 100的请求,通过流送递送内容数据。根据来自使用者的请求,TV 100相对于服务器200执行各种类型的处理,诸如请求发送内容数据和接收数据,并且再现所接收的流送数据。在此实施例中,流送数据的格式例如是附有时间戳的MPEG2-TS(传输流)。
网络150例如由服务器200和被授权访问服务器200的特定TV 100来构造。例如,使用UDP(用户数据报协议)和RTP(实时传输协议)来作为用于流送递送的传输协议。然而,网络150可以是任意的TV 100都能够使用的开放式网络,诸如因特网。作为传输协议,还可以使用HTTP(超文本传输协议)或TCP(传输控制协议)。作为传输通道,例如可以使用诸如光纤之类的有线线缆或诸如无线电波之类的无线传输通道。此外,网络150可以包括诸如路由器和基站之类的中继设备。内容的例子包括视频数据、音频数据和包括游戏程序的任意数据,所述视频数据包括电影、电视节目、文档、照片、图片和图表,所述音频数据包括音乐和无线电节目。
(TV的硬件结构)
图2是示出TV 100的硬件结构的框图。
如图所示,TV 100包括CPU(中央处理单元)1、闪速存储器2、DRAM(动态随机存取存储器)3、内部总线4、远程控制器光接收器5、数字天线输入终端6、数字调谐器7、通信部分8、MPEG解码器9、视频信号处理电路11、图形生成部分12、面板驱动电路13、显示面板14、音频信号处理电路15、音频信号放大器电路16和扬声器17。
数字天线输入终端6用来输入由数字天线(未示出)所接收的数字广播的广播信号。数字调谐器7从广播信号调谐到所选通道的信号并且向MPEG解码器9输出信号。通信部分8例如由网络接口卡构成,并且经由网络150相对于服务器200执行通信处理。
MPEG解码器9解码依照MPEG标准编码的广播信号或从服务器200所接收的流送数据,并且向视频信号处理电路11和音频信号处理电路15分别输出来自解码的信号中的视频信号和音频信号。
视频信号处理电路11针对输入的视频信号执行必要的视频处理,并且把处理的信号输出到图形生成部分12。图形生成部分12通过OSD(屏幕上显示)处理把输入的视频信号与GUI(图形用户界面)屏幕等结合,并且把结果输出到面板驱动电路13。面板驱动电路13对从图形生成部分12所提供的视频信号执行数字/模拟转换等,并且根据模拟视频信号来驱动显示面板14。显示面板14的例子包括LCD(液晶显示器)、PDP(等离子体显示板)和OEL(有机电致发光)显示器,并且所述显示面板14显示从面板驱动电路13所输入的模拟视频信号。
音频信号处理电路15对输入的音频信号执行必要的音频处理,并且把处理的信号输出到音频信号放大器电路16。音频信号放大器电路16把输入的音频信号的音量调整到必要的音量,并且把所述信号输出到扬声器17,使得从其再现所述信号。
CPU 1必要时访问DRAM 3等,并且统一控制TV 100的各功能块。闪速存储器2是非易失性存储器,用于固定地存储由CPU 1所执行的OS以及诸如包括用于接收和再现内容的应用的程序和各种参数的固件。DRAM 3被用作CPU 1的工作区并且临时存储OS、程序、处理数据等。CPU 1、闪速存储器2和DRAM 3被连接到内部总线4,并且根据CPU 1、闪速存储器2和DRAM 3的相互访问来控制整个TV 100。
远程控制器光接收器5通过来自远程控制器10的远程控制信号来接收使用者操作,并且向CPU 1输出远程控制信号。据此,对TV 100执行对应于使用者操作的控制处理,诸如内容的接收和再现等。远程控制器10包括各种操作部分,诸如分别对应于广播通道的数字键、菜单按钮、再现按钮、暂停按钮、快进按钮和回退按钮。除远程控制器10和远程控制器光接收器5之外,TV 100可以包括通过由使用者直接操作来接收各种操作的按钮、键、触摸面板等,或者可以从诸如鼠标和键盘之类的其它输入设备接收操作。
尽管将省略对服务器200的硬件结构的详细描述,不过服务器200包括作为计算机起作用所必须的最低限的硬件要素和软件要素,诸如CPU、RAM、HDD、通信部分和通信应用。
(TV的软件结构)
图3是示出TV 100的软件结构的图。
如图所示,TV 100包括通信接口(I/F)21、通信处理器22、流送处理器23、解密器26和CAS(条件访问系统)/DRM(数字版权管理)客户端27作为软件。TV 100还包括多路分解器28、再现处理器29、浏览器35、视频/音频输出处理器36、视频/音频输出接口37和远程控制器接口38作为软件。在附图中,粗线箭头表明内容流(流送数据),细线箭头表明其它数据流,以及虚线箭头表明来自远程控制器10的控制信号流。
通信接口(I/F)21控制通信部分8和通信处理器22与服务器200的分组通信处理。通信处理器22包括多个处理器(程序),用于使用OSI参考模型中的物理层、数据链路层、网络层、传输层和应用层中的各种协议来执行分组通信。网络层中起作用的是IP(因特网协议)和IGMP(因特网组管理协议)/MLD(组播侦听发现协议)。传输层中起作用的是UDP(用户数据报协议)和TCP(传输控制协议)。应用层中起作用的是作为UDP的高层协议的RTP和作为TCP的高层协议的RTSP(实时流送协议)和HTTP(超文本传输协议)/TLS(传输层安全)。在此实施例中,从服务器200通过流送递送的内容由RTP处理器221作为RTP分组处理。当再现作为RTP分组接收的内容时,RTSP处理器222向服务器发送播放、暂停等RTSP请求。
流送处理器23处理由通信处理器22使用RTP从服务器200接收的流送数据(RTP分组数据),并且把所述数据提供到解密器26。流送处理器23包括缓冲处理器24和FEC(前向纠错)处理器25。缓冲处理器24包括用于缓冲所接收的流送数据的缓冲器(以下被称为接收缓冲器)。通过流送处理器23把由接收缓冲器所缓冲的流送数据保持在既不上溢也不下溢的适当缓冲量,并且在适当的时间被提供到再现处理器29。稍后将详细地描述接收缓冲器的流控制。
FEC处理器25使用FEC来检测并校正流送数据中的错误,所述FEC被添加到由缓冲处理器24缓冲的流送数据。此外,流送处理器23例如消除在流送数据中所引起的抖动。
解密器26使用从CAS/DRM客户端27所获取的解密密钥来解密从流送处理器23提供的加密的流送数据。
CAS/DRM客户端27从网络150上的CAS/DRM服务器(未示出)接收关于CAS和DRM的许可信息并且分析它。然后,当判断TV 100具有观看由CAS和DRM加密的内容的合法权限时,CAS/DRM客户端27向解密器26提供解密密钥。
多路分解器28把从解密器26提供的多路复用的流送数据分离成视频、音频和字幕的基本流(ES:基本流),并且把它们提供到再现处理器29。视频ES、音频ES和字幕ES分别被输出到视频解码器30、音频解码器31和字幕解码器32。
再现处理器29包括视频解码器30、音频解码器31和字幕解码器32,并且与MPEG解码器9等合作,以便处理从多路分解器28所提供的ES。视频解码器30解码视频ES并且生成视频信号。音频解码器31解码音频ES并且生成音频信号。字幕解码器32解码字幕ES,生成字幕信号,并且把字幕信号叠加到视频信号上。所生成的视频信号和音频信号被提供到视频/音频输出处理器36。解码器30到32均包括内置缓冲器。解码器30到32在各自缓冲器中累积信号,并且调整用于向视频/音频输出处理器36提供信号的时间。
视频ES的压缩格式例如是MPEG-2。然而,作为替代可以使用诸如MPEG-4之类的其它压缩格式。音频ES的压缩格式例如是AAC(高级音频编码)。然而,作为替代可以使用诸如MPEG-2BC(回溯兼容)、MP-3(MPEG1层-3)、LPCM(线性PCM)、WMA9(Windows(注册商标)媒体音频9)、ATRAC(自适应变换声音编码)和ATRAC3之类的其它压缩格式。
此外,再现处理器29包括再现操作部分33和调谐操作部分34。在再现流送数据时,再现操作部分33根据来自远程控制器10的控制信号(远程控制信号)来执行各种类型的再现处理,诸如再现开始、暂停和可变速度再现。在再现由数字调谐器7接收的广播内容时,调谐操作部分34根据远程控制信号执行通道调谐(切换)处理。
远程控制器I/F 38接收根据使用者操作从远程控制器10发送的远程控制信号,并且把它提供到再现操作部分33和调谐操作部分34。
视频/音频输出处理器36对从再现处理器29提供的视频信号和音频信号执行输出必须的视频处理和音频处理,诸如D/A转换处理,并且向视频/音频输出I/F 37提供信号。
视频/音频输出I/F 37与视频信号处理电路11和音频信号处理电路15合作,并且向显示面板14输出从视频/音频输出处理器36所提供的视频信号以便显示,并且使扬声器17输出音频信号。
根据远程控制信号,与通信处理器22合作,浏览器35下载构成网页的HTML(超文本标记语言)文件或图像文件,分析其布局,并且向视频/音频输出处理器36提供所述文件以便输出。
(流送数据的结构)
接下来,将描述在此实施例中从服务器200发送的流送数据的结构。
图4是示出流送数据的GOP结构的图。
如图所示,构成流送数据的每个帧以GOP为单位被压缩并发送。每个GOP包含一个I帧以及多个P帧和B帧。
当TV 100在暂停再现之后恢复内容再现时,例如依照RTSP,发送播放请求并同时指定在暂停时从服务器200获取的暂停点。暂停点由NPT(正常播放时间)表示,用于表明在以标准速度再现的情况下的再现时间,并且其范围由范围值指定。
此外,依照由包括本发明申请人的日本消费电子设备制造商和通信事业者所设立的IPSP(IP服务工程)的规范,对于以100ms为单位的暂停点的指定,从包含该暂停点的数据的GOP的头部恢复数据发送。
例如,在GOP #n的GOP中间的点B由范围值或暂停点指定并且请求服务器200恢复再现的情况下,所述服务器200从其是GOP #n头部的点A的数据恢复数据发送。
因此,即便服务器200由于使用者所做出的暂停操作而已经停止发送的点为点B,在恢复再现后也依照重复方式发送从点A到点B的数据。在这种情况下,在常规的再现设备中,如果按照原样再现在恢复再现之后接收的数据,那么已经预想到出现内容回放以及图像和音频被干扰的问题。
此外,还存在根据服务器的规范从最接近于暂停点的GOP头部恢复发送的情况。例如,当暂停点是点C时,从作为最接近于点C的GOP #n+1头部的点D恢复数据发送。在这种情况下,由于并不发送从作为暂停点的点C到点D的数据,所以已经预想到在常规的再现设备中在输入数据中出现跳跃的问题。另外,还预想到例如当服务器200在恢复发送时由于某种异常而导致无法正确地发送数据时,或者当发送期间在网络150上丢失数据时,在输入数据中出现跳跃。
在这方面,此实施例的TV 100具有这样的功能:当在再现暂停之后恢复内容再现时,丢弃在暂停时接收缓冲器中所存储的数据和恢复再现后从服务器200发送的数据之间的重复(以下,被称为重复数据)。据此,可以平滑地恢复暂停后的流送数据再现。此外,由于接收缓冲器的数据量保持恒定,所以TV 100可以防止接收缓冲器的下溢和上溢。
图5是示出从服务器200发送的流送数据的MTU(最大传输单位)的结构例子的图。
MTU表明来自服务器200的流送数据的最大传输单位。MTU包括多个附有时间戳的TS(TTS)分组、RTP头部、UDP头部和IP分组。每个TTS分组在其头部附有例如用4个字节表示的时间戳。
由于时间戳单调增加,所以TV 100可以使用时间戳作为标识符来唯一地标识流送数据的TTS分组。
图6是示出RTP分组作为TTS分组的结构例子的说明图。
如图所示,RTP分组包括版本信息(V)51、填充信息(P)52、扩展信息(X)53、CSRC(贡献源)计数信息(CC)54、边界信息(M)55、有效载荷类型信息(PT)56、序列号57、时间戳58和SSRC(同步源)标识符59。
SSRC标识符59是用于标识流送数据会话的信息。例如,在暂停前由TV 100获取的流送数据中所包含的SSRC标识符59中描述的值和在恢复再现后由TV 100获取的流送数据中所包含的SSRC标识符59中描述的值是不同的。因此,TV 100可以使用SSRC标识符59来检测在暂停前的流和恢复再现后的流之间的切换。
RTP分组还包括CSRC标识符60、头部扩展61、有效载荷头部62、有效载荷数据63和填充64。
(系统操作)
接下来,将描述如上所述构造的内容递送系统的操作,同时集中于TV 100的操作。
首先,将描述用于操作系统的先决条件。对于系统操作来说,以下三个条件是必要的。
(1)流送数据需要包含用于唯一地标识构成流送数据的分组数据的信息。标识符例如是如上所述的时间戳。
(2)期望服务器200在内容暂停之前和在恢复再现之后依照重复方式发送数据。该表述“依照重复方式发送数据”意味着至少一种类型的标识符在内容再现暂停前发送的数据和恢复再现后发送的数据之间重复。在服务器200没有发送重复数据的情况下,在TV 100侧执行稍后要描述的调整再现恢复点的处理,结果是确保在恢复再现时发送重复数据。
(3)包括至少一个标识符的分组数据有必要存在于TV 100的流送处理器23的接收缓冲器中。
接下来,将描述TV 100和服务器200的操作的概要。
图7是示出在从再现暂停直到恢复内容再现的处理(恢复再现处理)中在TV 100和服务器200之间的粗略数据交换的顺序图。
如图所示,通过使用者操作,在通过流送再现内容期间,首先从远程控制器10向TV 100发送请求暂停的远程控制信号(步骤71)。当接收该信号时,TV 100在DRAM 3等中存储暂停请求被接收的点的时间戳Tp(步骤72),并且使MPEG解码器9响应于该暂停请求而迅速停止处理(步骤73)。然后,TV 100向服务器200发送用于停止发送流送数据的请求(步骤74)。
响应于该停止请求,服务器200发送已准备发送的最后流送数据(步骤75),继而停止发送流送数据(步骤75)。随同最后流送数据一起,TV 100接收服务器200的暂停点。该暂停点被结合作为在恢复再现时从TV 100发送到服务器200的播放请求中的再现恢复点。
此后,通过使用者操作,请求恢复被暂停的内容再现的远程控制信号从远程控制器10发送到TV 100(步骤76)。当接收再现恢复请求时,TV 100必要时调整再现恢复点,例如当在恢复再现之后在来自服务器200的输入数据中出现跳跃时(步骤77)。稍后描述此处理。然后,TV 100请求服务器200从再现恢复点恢复发送流送数据(步骤78)。
响应于再现恢复请求,服务器200恢复发送流送数据(步骤79)并且向TV 100发送新的流送数据(步骤80)。
当从服务器200接收在恢复发送之后的流送数据时,TV 100根据自恢复再现以来最初接收的数据的时间戳Tr来丢弃在接收缓冲器内的重复数据。然后,TV 100根据上述Tp来确定内容的再现(解码)时间并且恢复再现(步骤81)。
接下来,将描述TV 100从暂停内容再现到恢复再现的具体操作。在下面的描述中,将主要利用RTP处理器221和RTSP处理器222作为操作的对象来描述TV 100的操作。然而,RTP处理器221和RTSP处理器222的操作是与诸如流送处理器23之类的其它软件和诸如在图2中所示出的CPU 1之类的硬件合作来执行的。
图8是示出TV 100的RTSP处理器222的操作流的流程图。应当注意,在此实施例中,RTSP处理器222的处理是异步处理。换句话说,RTSP处理器222在不等待要在请求目的地侧实际上执行的处理或其结果的情况下前进到下一处理。
如图所示,RTSP处理器222首先判断在内容再现期间使用者是否已经进行暂停操作,即是否已经从远程控制器10接收了暂停内容再现的请求(步骤101)。当判断已经进行暂停操作时,RTSP处理器222指示MPEG解码器9停止解码在接收缓冲器中的分组数据并且暂停内容再现(步骤102)。
随后,RTSP处理器222向RTP处理器221发送暂停请求,请求停止分组数据接收处理(步骤103)。因而,在RTP处理器221中开始用于平滑地恢复内容再现的处理。
在给RTP处理器221的暂停请求之后,RTSP处理器222向服务器200发送用于请求停止发送分组数据的暂停请求(步骤104)。
随后,RTSP处理器222判断在暂停请求之后使用者是否已经进行再现恢复操作,即是否已经从远程控制器10接收内容的再现恢复请求(步骤105)。当判断已经进行再现恢复操作时,RTSP处理器222必要时判断再现恢复点(暂停点)调整处理是否是必要的(步骤106)。当判断再现恢复点调整处理是必要的时候(是),RTSP处理器222计算再现恢复点(步骤107)。稍后描述此处理。
然后,RTSP处理器222向服务器200发送播放请求,用于请求从在进行暂停请求时从服务器200获取的暂停点或从调整的再现恢复点恢复发送分组数据(步骤108)。
此后,RTSP处理器222等待由RTP处理器221指示恢复对已经暂停解码的数据的解码(步骤109)。当被指示恢复解码时(是),RTSP处理器222指示MPEG解码器9恢复解码,并且导致恢复内容的视频和音频再现(步骤110)。
接下来,将描述RTP处理器221用于平滑地恢复再现的处理,其从来自RTSP处理器222的暂停请求开始。
在描述中,将描述把时间戳值定义为分组数据的标识符,其在RTP处理器221的处理中是必要的。图9是用于解释由TV 100所接收并缓冲的分组数据的位置及其时间戳的图。
如图所示,在接收缓冲器中累积的分组数据由多路分解器28依次地读出以便解码(再现)。如上所述,当从使用者接收暂停操作时,通过RTSP处理器222向服务器200发送暂停请求,停止由服务器200发送分组数据。然而,在暂停请求到达服务器200之前从服务器200发送并在网络上累积的分组数据等在进行暂停操作之后被TV100接收并且在接收缓冲器中累积。然而,由于在暂停操作之后所接收的数据可能导致接收缓冲器的上溢,所以此实施例执行控制来使得尽可能地不把数据累积在接收缓冲器中。另外,如上所述,当从使用者接收再现恢复操作时,通过RTSP处理器222向服务器200发送播放请求,恢复来自服务器200的数据发送。
这里,在此实施例中,如下定义四个时间戳值To、Tp、Tl和Tr。
To:在接收缓冲器中的头部分组数据的时间戳
Tp:在进行暂停操作时的点最后接收的分组数据的时间戳
Tl:在恢复再现之前最后接收的分组数据的时间戳
Tr:自从恢复再现以来最初接收的分组数据的时间戳
根据四个时间戳,RTP处理器221执行恢复内容再现时的处理。
图10到12均是示出RTP处理器221的操作流的流程图。这里,为方便起见,“resume_mode”将被定义为用于表明需要哪种附加处理来从内容暂停处平滑地恢复内容再现的参数。作为resume_mode,定义0到2的以下三个模式,其初始值为0。
resume_mode=0:并不要求附加处理的模式,并且其中可以立即解码输入分组数据
resume_mode=1:在接收缓冲器中写入输入数据直到接收对应于Tp的分组数据的模式
resume_mode=2:丢弃输入数据直到接收对应于To的分组数据的模式
以下,将描述RTP处理器221的处理,一并说明模式的转变。
如图10所示,RTP处理器221首先等待输入某种信号(步骤121)。当输入信号时(是),RTP处理器221判断输入是来自RTSP处理器222的暂停请求和来自服务器200的分组数据中的哪个(步骤122)。
当输入是暂停请求时,RTP处理器221计算上面的Tp(步骤124)并且返回到步骤121。
当输入是分组数据的输入(接收)时,RTP处理器221检测所接收的分组数据的SSRC标识符59。然后,RTP处理器221把所接收的分组数据的SSRC标识符59与刚好在该数据之前接收的分组数据的SSRC标识符59相比较,并且判断SSRC标识符59在这两者之间是否已经改变(步骤123)。
当判断SSRC标识符59已经改变时(是),即所接收的分组数据是自从恢复再现以来最初接收的分组数据,RTP处理器221前进到在图11中所示出的处理。当判断SSRC标识符59没有改变时(否),即所接收的分组数据是迟于自从恢复再现以来最初接收的RTP分组的分组数据,RTP处理器221前进到在图12中所示出的处理。还包括其中所接收的分组数据是在暂停操作之后已经接收并且在网络150上累积的分组数据的情况。
首先,将描述在步骤123判断所接收的分组数据的SSRC标识符59已经改变的情况下所执行的处理。
如图11所示,当所接收的分组数据的SSRC标识符59已经改变时,RTP处理器221根据接收缓冲器中的数据和所接收的分组数据来计算上述To、Tl和Tr(步骤125)。
随后,RTP处理器221判断是否满足Tr<To(步骤126)。具体地是,其中满足Tr<To的情况是其中自从恢复再现以来最初接收的分组数据的同一数据已经被多路分解器28读出并且不存在于接收缓冲器中的情况(参见图9)。通常,此情况被认为是其中在接收缓冲器中缓冲分组数据不够的情况(产生下溢)。然而,在此实施例中,接收缓冲器被实现为使得此情况尽可能地不出现。
当判断满足Tr<To时(是),RTP处理器221丢弃在接收缓冲器中的所有数据段(重复数据)(步骤127)。然后,RTP处理器221把resume_mode切换到2(步骤128)并且返回到图10的步骤121。
当判断满足Tr≥To时(否),RTP处理器221另外判断是否满足To≤Tr≤Tp(步骤129)。
当判断满足To≤Tr≤Tp时(是),RTP处理器221丢弃在接收缓冲器中具有满足Tr≤Tx的时间戳Tx作为标识符的分组数据(重复数据)(步骤130)。然后,RTP处理器221把resume_mode切换到1(步骤131)并且返回到图10的步骤121。
当判断不满足To≤Tr≤Tp时,即满足Tp<Tr(否),RTP处理器221另外判断是否满足Tp<Tr≤Tl(步骤132)。具体地是,其中满足Tp<Tr≤Tl的情况是其中在暂停操作时接收的分组数据并不包含在恢复再现之后从服务器200最初发送的分组数据中的情况。在IPSP等的规范中,当在包括暂停操作时接收的分组数据的GOP和在此之前的GOP之间的边界存在于上述Tp和Tl之间时,出现此情况。
当判断满足Tp<Tr≤Tl时(是),RTP处理器221丢弃在接收缓冲器中具有满足Tr≤Tx的时间戳Tx作为标识符的分组数据(步骤133)。然后,RTP处理器221向正等待用于恢复解码的指示的RTSP处理器222(参见步骤109)发送用于指示恢复解码的通知(步骤134)。因而,恢复分组数据的解码,并且平滑地恢复内容的视频和音频再现。
在满足Tp<Tr≤Tl的情况下,由于并不丢弃在接收缓冲器中从Tp到Tr的分组数据,所以与其中满足To≤Tr≤Tp的情况相比较,把未丢弃的分组数据另外累积在接收缓冲器中(参见图9)。然而,一个分组接收处理所累积的额外的分组数据量非常小,从而不足以导致接收缓冲器上溢。然而,如果多次重复此情况,那么额外的分组数据量可能会增加,从而导致接收缓冲器上溢。因此,通过稍后将要描述的再现恢复点调整处理,RTSP处理器222可以避免出现这种情况。
当判断不满足Tp<Tr≤Tl时,即满足Tl<Tr(否),RTP处理器221向正等待用于恢复解码的指示(参见步骤109)的RTSP处理器222发送用于指示恢复解码的通知(步骤134)。
具体地是,此情况是其中在暂停操作时所接收的分组数据和恢复再现后所接收的分组数据之间产生间隙(跳跃)的情况。如上面参考图4所描述的,当在服务器200中已经出现异常时,或者当指定服务器200从最接近于暂停点的GOP头部而不是从包含所述暂停点的GOP头部恢复数据发送时,会出现这种情况。在此实施例中,设计服务器200以便使这种情况尽可能地不出现。然而即便出现这种情况,通过稍后描述的再现恢复点调整处理,也可以把它抑制在最小程度。
接下来,将描述在图10的步骤123中判断所接收的分组数据的SSRC标识符59没有改变的情况下所执行的处理。
如图12所示,当所接收的分组数据的SSRC标识符59没有改变时,RTP处理器221判断resume_mode是否为0(步骤135)。当判断resume_mode为0时,即不需要用于平滑地恢复再现的附加处理(是),那么RTP处理器221在接收缓冲器中写入所接收的分组数据(步骤140)并且返回到图10的步骤121。
当判断resume_mode不为0时(否),RTP处理器221判断resume_mode是否为1(步骤136)。当判断resume_mode为1时(是),RTP处理器221判断所接收的分组数据的时间戳Tx是否满足Tp≤Tx(步骤137)。
当判断满足Tp≤Tx时,即所接收的分组数据的时间戳等于或大于在暂停操作时所接收的分组数据的时间戳(是),RTP处理器221把resume_mode切换到0(步骤138)。随后,RTP处理器221向RTSP处理器222发送用于指示恢复解码的通知(步骤139)。然后,RTP处理器221把所接收的分组数据写入到接收缓冲器中(步骤140)并且返回到图10的步骤121。
当在步骤137判断不满足Tp≤Tx时(否),RTP处理器221把输入数据写入到接收缓冲器中(步骤140)并且返回到图10的步骤121。
当在步骤136判断resume_mode不为1时,即resume_mode为2(否),RTP处理器221判断所接收的分组数据的时间戳Tx是否满足To≤Tx(步骤141)。
当判断满足To≤Tx时,即所接收的分组数据的时间戳等于或大于在接收缓冲器中的头部分组数据的时间戳(是),RTP处理器221把resume_mode切换到1(步骤142)。然后,RTP处理器221把所接收的分组数据写入到接收缓冲器中(步骤140)并且返回到图10的步骤121。
当在步骤141判断不满足To≤Tx时,即所接收的分组数据的时间戳降低到To以下(否),RTP处理器221丢弃分组数据(步骤143)并且返回到图10的步骤121。
概括以上处理,RTP处理器221依照自从恢复再现以来最初接收的分组数据的时间戳Tr在与上述To、Tp和Tl相比时存在于哪个范围中来执行以下处理。
(Tr<To的情况)
RTP处理器221丢弃接收缓冲器中的所有分组数据段,并且丢弃在恢复再现之后所接收的分组数据直到接收包括对应于To的时间戳的分组数据。此外,RTP处理器221把包括To或更大时间戳的分组数据写入到接收缓冲器中。然后,RTP处理器221在接收包括对应于Tp的时间戳的分组数据的点恢复分组数据的解码。
据此,通过在等待包括对应于Tp的时间戳的分组数据被接收之后恢复解码,RTP处理器221可以确保在暂停时的分组数据和恢复再现时的分组数据之间的连续性,同时避免下溢。
(To≤Tr≤Tp的情况)
RTP处理器221丢弃接收缓冲器中包括Tr或更大时间戳的所有分组数据段。此外,在恢复再现之后,RTP处理器221在接收包括对应于Tp的时间戳的分组数据的点恢复分组数据的解码。
因而,RTP处理器221可以确保在暂停时的分组数据和恢复再现时的分组数据之间的连续性,同时保持接收缓冲器大小是恒定的。
(Tp<Tr≤Tl的情况)
RTP处理器221丢弃接收缓冲器中包括Tr或更大时间戳的分组数据并且在该点恢复解码。
因而,可以确保在暂停时的分组数据和恢复再现时的分组数据之间的连续性,同时尽可能地抑制在接收缓冲器中累积的额外的分组数据量。
(Tl<Tr的情况)
RTP处理器221按原样使用所接收的分组数据来恢复解码。在这种情况下,在暂停时的分组数据和恢复再现时的分组数据之间出现跳跃。
接下来,将描述再现恢复点调整处理。
如上所述,RTSP处理器222具有用于当向服务器200发送用于请求恢复再现的播放请求连同暂停点时、必要时调整再现恢复点(暂停点)的功能。
在下述情况下执行暂停点调整:(1)存在满足Tp<Tr≤Tl的可能性(在接收缓冲器中可能累积了额外的分组数据的可能性)的情况,或(2)存在满足Tl<Tr的可能性(在暂停时的分组数据和恢复再现时的分组数据之间可能出现跳跃的可能性)的情况,不过该处理并不是必须的。
具体地是,当在向服务器200发送播放请求并且接收了恢复再现后的输入分组时出现上面的情况(1)或(2)时,RTSP处理器222可以在下一次恢复再现处理时、在发送播放请求之前执行暂停点调整。这用于防止在下一次恢复再现时出现上面的情况(1)或(2),这是因为在它已经在前一次恢复再现时出现的情况下预计其会出现。
首先,将描述在已经出现上面的情况(1)的情形下执行的处理。
图13是用于解释用于调整暂停点的RTSP处理器222的处理的图。
如图所示,当进行暂停操作时,在停止解码器之后(图13中的1.),RTSP处理器222向RTP处理器221发送暂停请求(图13中的2.),并且服务器200响应于来自RTSP处理器222的暂停请求停止发送(图13中的3.)。在RTP处理器221接收暂停请求的点的时间戳为上述Tp,并且在服务器200停止发送的点的时间戳是上述Tl。
当进行再现恢复操作时,RTSP处理器222使用服务器200的暂停点Pl向服务器200发送播放请求。响应于该播放请求,服务器200从包括Pl的GOP#n+1的头部恢复发送分组数据。此时,当对应于服务器200的暂停点Pl的时间戳Tl相对接近于GOP#n+1的头部时,在恢复再现之后从服务器200发送的分组数据的重复数据减少。在这种情况下,自从恢复再现以来最初发送的分组数据的时间戳Tr位于上述Tp之后,从而导致上面的情况(1)。如果该情况继续,那么可能导致接收缓冲器的上溢。
在这方面,在已经出现上面的情况(1)的情形下,在发送下一播放请求时,RTSP处理器222请求服务器200从RTSP处理器222的暂停点Pp而不是服务器200的暂停点Pl恢复发送,如图所示。在已经出现上面的情况(1)的情形下,为此,随同例如在图11的步骤134中用于恢复解码的指示一起,RTP处理器221通知RTSP处理器222。
上述Pp不由服务器200给出,因此RTSP处理器222根据上述Pl、Tl和Tp计算Pp。具体地是,如图所示,RTSP处理器222通过把从对应于Pl的时间戳Tl中减去对应于Pp的时间戳Tp而获得的值除以27MHz并且以100ms对所得值进行四舍五入来获得Pp。这里,27MHz是系统时钟,作为用于在服务器200中生成时间戳的基准。
然后RTSP处理器222把算出的Pp结合到要发送到服务器200的下一播放请求中。据此,在恢复再现时由服务器200最初发送的数据的时间戳变为包括Tp的GOP#n的头部而不是GOP#n+1的头部。因此,在暂停时和在恢复再现时,在新近从服务器200发送的分组数据和接收缓冲器中的分组数据之间出现足够的重复,结果可能导致To≤Tr≤Tp的状态(其中resume_mode=1的情况)。此后,通过RTP处理器221执行图11中的步骤129和后续步骤的处理,可以把接收缓冲器的数据量保持恒定,从而防止上溢。
应当注意,由于考虑在上面(1)的情况下在接收缓冲器中累积的额外的分组数据量很小,所以即使当出现上面的情况(1),RTSP处理器222也不必调整暂停点。
此外,不仅当出现上面的情况(1)时,而且当在接收缓冲器中累积的分组数据量超过可能出现上溢的预定阈值时,RTSP处理器222也可以执行暂停点调整。
在这种情况下,RTP处理器221监视接收缓冲器中的分组数据量,并且当分组数据量超过预定值时,为此目的通知RTSP处理器222。然后,在下回恢复再现时,RTSP处理器222使用上述Pp来发送播放请求。
接下来,将描述在已经出现上面的情况(2)的情形下执行的处理。
图14是用于解释用于调整暂停点的RTSP处理器222的处理的图。
如上所述,当指定服务器200从包括暂停点Pl的GOP头部恢复发送分组数据时,只要TV 100使用从服务器200获取的暂停点来发送播放请求,通常就不会产生跳跃。因此,在这种规范的情况下,当服务器200没有正确地发送分组数据时,或者当出现诸如在网络150上丢失分组数据之类的异常时,出现数据跳跃。
因此,当指定服务器200从包括暂停点Pl的GOP头部恢复分组数据发送时,RTSP处理器222只需要按照与上面的情况(1)相同的处理来调整暂停点。在这种情况下,当在图11的步骤132判断满足Tl<Tr时,为此,随同例如在上述步骤134中的解码恢复指示一起,RTP处理器221通知RTSP处理器222。因而,RTSP处理器222可以防止在下回恢复再现时出现分组数据跳跃。
另一方面,当指定服务器200从最接近于暂停点的GOP头部(边界)而不是从包括暂停点Pl的GOP头部恢复分组数据发送时,即使当执行在图13中所示出的处理时也并不会改变Tr。换句话说,即便在图13中RTSP处理器222使用Pp而不是Pl来发送播放请求,最终从GOP #n+1的头部恢复发送,并且仍然出现跳跃。
在这方面,RTSP处理器222把从服务器200所获取的暂停点Pl回退仅GOP的一半,并且使用所获取的值来计算上述Pp。图14是在这种情况下的处理的说明图。
如图所示,RTSP处理器222从在服务器200所获取的暂停点Pl中减去MAX_GOP_TIME/2(其是最大GOP长度(时间)的一半时间),以便获得作为把Pl回退一半GOP长度的结果所获得的Pl’。然后,RTSP处理器222使用Pl’来计算上述Pp(Pp’)。从而,Pp’变得相比GOP#n+1的头部而言更接近于GOP#n的头部。据此,通过RTSP处理器222使用Pp’向服务器200发送播放请求,服务器200从GOP#n的头部恢复发送分组数据。
在这种情况下,即使当RTSP处理器222首先计算Pp继而把此Pp回退GOP长度的一半,当然也可以获得相同的效果。
通过上述处理,即使当指定服务器200从最接近于暂停点的GOP的头部(边界)恢复发送分组数据时,RTSP处理器222也可以防止在下回恢复再现时的分组数据跳跃。
如上所述,依照此实施例,通过在内容再现暂停之后在恢复内容再现时依照Tr的位置从接收缓冲器中删除重复数据,TV 100可以确保在暂停时和在恢复再现时的分组数据之间的连续性。据此,执行图像和音频不被干扰的平滑的恢复再现。此外,通过使接收缓冲器的分组数据量保持恒定,TV 100可以防止接收缓冲器的上溢和下溢。
(修改的例子)
本发明不限于以上实施例,并且在不脱离本发明要旨的情况下,当然可以增加各种修改。
在以上实施例中,图8和10到12的流程图没有描述异常的系统处理。然而,当出现异常时,适当执行处理停止、错误显示等处理。
在以上实施例中,已经描述了在从服务器发送的数据的流格式是附有时间戳的MPEG2-TS(TTS)的情况下使用时间戳作为标识符的例子。然而,通过根据格式把标识符置换为其它数据,本发明还可应用于各种其它流格式,诸如MPEG2-PS(节目流)和MPEG4。例如在MPEG2-PS中,通过使用在GOP头部的PES头部中包含的PTS(显现时间戳)值和基于该值的偏移值作为标识符,TV 100可以如在上述TTS的情况下那样唯一地标识重复数据。
在以上实施例中,RTSP处理器222的处理是异步处理。然而,RTSP处理器222的至少部分处理可以是同步处理。在这种情况下,可以适当改变在图8中所示出的RTSP处理器222的处理和在图10到12中所示出的RTP处理器221的处理的执行次序。
在以上实施例中,来自服务器200的流送数据的格式是附有时间戳的MPEG2-TS。然而,流送数据的格式可以是MPEG2-PS,或者可以使用诸如MPEG4之类的其它压缩格式。
在以上实施例中,作为举例已经给出了TV作为用于接收内容的电子设备。然而,该电子设备可以是其它电子设备,例如包括诸如HDD/BD/DVD之类的记录介质的记录/再现设备、诸如BD/DVD播放器之类的再现设备、PC、游戏机、便携式AV设备、蜂窝式电话、汽车导航设备和自动化设备。
本申请包含了与2008年9月29日在日本专利局中提交的日本在先专利申请JP 2008-250879中公开内容相关的主题,在此通过引用其全部内容而加以结合。
那些本领域技术人员应当理解,在附加权利要求及其等同物的范围内,根据设计要求及其它因素可以进行各种修改、组合、变形和变化。

Claims (10)

1.一种电子设备,包括:
接收装置,用于接收从发送设备通过流送发送的内容的数据;
缓冲装置,用于缓冲所接收的数据;
再现装置,用于依次地读出并再现所缓冲的数据;
操作接收装置,用于接收关于数据的再现的暂停操作和恢复操作;
发送装置,用于响应于所述暂停操作和所述恢复操作而向所述发送设备发送关于再现的暂停请求和恢复请求;以及
控制装置,用于控制所述缓冲装置执行以下操作,即丢弃在由所述缓冲装置缓冲的数据当中与在所述恢复请求之后所接收的数据重复的数据,并且缓冲在所述恢复请求之后所接收的与所丢弃的数据相同的数据。
2.如权利要求1所述的电子设备,
其中所述控制装置检测在所述暂停操作时所接收的数据的第一位置和自从所述恢复操作以来最初接收的数据的第二位置,所述第一位置和第二位置位于内容的再现时间轴上,当所述第二位置位于所述第一位置之前时,控制所述缓冲装置丢弃所缓冲的从所述第二位置到所述第一位置的数据并且缓冲在丢弃之后所接收的从所述第二位置到所述第一位置的数据,并且当在丢弃后所接收的从所述第二位置到所述第一位置的数据被缓冲时,控制所述再现装置恢复再现。
3.如权利要求2所述的电子设备,其中所述控制装置检测在所述暂停操作时由所述缓冲装置缓冲的数据当中最初接收的数据在所述再现时间轴上的第三位置,当所述第二位置位于所述第三位置之前时,控制所述缓冲装置丢弃所缓冲的从所述第三位置到所述第一位置的数据以及接收的在所述第三位置之前的数据,以及控制所述缓冲装置缓冲在丢弃后所接收的从所述第三位置到所述第一位置的数据,并且当在丢弃后所接收的从所述第三位置到所述第一位置的数据被缓冲时,控制所述再现装置恢复再现。
4.如权利要求3所述的电子设备,
其中所述控制装置检测在从暂停操作时至恢复操作时的时段期间最后接收的数据在所述再现时间轴上的第四位置,当所述第二位置位于所述第一位置和第四位置之间时,控制所述缓冲装置丢弃所缓冲的从所述第二位置到所述第四位置的数据,并且当从所述第二位置到所述第四位置的数据被丢弃时,控制所述再现装置恢复再现。
5.如权利要求4所述的电子设备,
其中当所述第二位置位于所述第四位置之后时,所述控制装置控制所述发送装置在下回发送所述恢复请求时向所述发送设备发送用于请求从所述第一位置发送数据的恢复请求。
6.如权利要求3所述的电子设备,
其中所述控制装置检测在从暂停操作时到恢复操作时的时段期间最后接收的数据在所述再现时间轴上的第四位置,并且当所述第二位置位于所述第一位置和第四位置之间时,控制所述发送装置在下回发送恢复请求时向所述发送设备发送用于请求从所述第一位置发送数据的恢复请求。
7.如权利要求6所述的电子设备,
其中当由所述缓冲装置缓冲的数据量超过预定量时,所述控制装置控制所述发送装置向所述发送设备发送用于请求从所述第一位置发送数据的恢复请求。
8.一种内容再现方法,包括:
接收从发送设备通过流送发送的内容的数据;
缓冲所接收的数据;
依次地读出并再现所缓冲的数据;
接收关于数据的再现的暂停操作和恢复操作;
响应于所述暂停操作和所述恢复操作,向所述发送设备发送关于再现的暂停请求和恢复请求;以及
丢弃在缓冲的数据当中与在所述恢复请求之后所接收的数据重复的数据,并且缓冲在所述恢复请求后所接收的与丢弃的数据相同的数据。
9.一种程序,用于使电子设备执行以下步骤:
接收从发送设备通过流送发送的内容的数据;
缓冲所接收的数据;
依次地读出并再现所缓冲的数据;
接收关于数据的再现的暂停操作和恢复操作;
响应于所述暂停操作和所述恢复操作,向所述发送设备发送关于再现的暂停请求和恢复请求;以及
丢弃在缓冲的数据当中与在所述恢复请求后所接收的数据重复的数据,并且缓冲在所述恢复请求后所接收的与丢弃的数据相同的数据。
10.一种电子设备,包括:
接收部分,用于接收从发送设备通过流送发送的内容的数据;
缓冲部分,用于缓冲所接收的数据;
再现部分,用于依次地读出并再现所缓冲的数据;
操作接收部分,用于接收关于数据的再现的暂停操作和恢复操作;
发送部分,用于响应于所述暂停操作和所述恢复操作而向所述发送设备发送关于再现的暂停请求和恢复请求;以及
控制部分,用于控制所述缓冲装置执行以下操作,即丢弃在由所述缓冲装置缓冲的数据当中与在所述恢复请求后所接收的数据重复的数据,并且缓冲在所述恢复请求后所接收的与丢弃的数据相同的数据。
CN2009101745415A 2008-09-29 2009-09-28 电子设备和内容再现方法 Expired - Fee Related CN101715046B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008250879A JP4735697B2 (ja) 2008-09-29 2008-09-29 電子機器、コンテンツ再生方法及びプログラム
JP2008-250879 2008-09-29

Publications (2)

Publication Number Publication Date
CN101715046A true CN101715046A (zh) 2010-05-26
CN101715046B CN101715046B (zh) 2012-07-18

Family

ID=42058774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101745415A Expired - Fee Related CN101715046B (zh) 2008-09-29 2009-09-28 电子设备和内容再现方法

Country Status (3)

Country Link
US (1) US8190762B2 (zh)
JP (1) JP4735697B2 (zh)
CN (1) CN101715046B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103908779A (zh) * 2012-12-28 2014-07-09 史克威尔·艾尼克斯控股公司 内容提供系统、内容提供设备、客户端设备及控制方法
CN114448954A (zh) * 2021-12-30 2022-05-06 普强时代(珠海横琴)信息技术有限公司 一种静音处理方法以及装置、存储介质、电子装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101459693A (zh) * 2008-12-29 2009-06-17 中兴通讯股份有限公司 一种流媒体下载方法及系统
JP2012060461A (ja) 2010-09-09 2012-03-22 Sony Corp 再生装置、再生方法、及びプログラム
US9450997B2 (en) * 2012-02-27 2016-09-20 Qualcomm Incorporated Dash client and receiver with request cancellation capabilities
US9374406B2 (en) 2012-02-27 2016-06-21 Qualcomm Incorporated Dash client and receiver with a download rate estimator
JP5591892B2 (ja) * 2012-09-14 2014-09-17 株式会社東芝 コンテンツ配信サーバ装置及びその制御方法
US9910896B2 (en) * 2013-03-15 2018-03-06 Cisco Technology, Inc. Suspending and resuming continuous queries over data streams
EP3125125A4 (en) * 2014-03-24 2018-07-25 Square Enix Co., Ltd. Interactive system, terminal device, server device, control method, program, and recording medium
US9959301B2 (en) 2014-07-25 2018-05-01 Cisco Technology, Inc. Distributing and processing streams over one or more networks for on-the-fly schema evolution
JP2016116065A (ja) * 2014-12-15 2016-06-23 日本放送協会 受信機、送信機、及びコンテンツの受信方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100957797B1 (ko) * 2002-11-13 2010-05-13 엘지전자 주식회사 대화형 광디스크 장치에서의 콘텐츠 정보 재생방법과,콘텐츠 제공서버에서의 콘텐츠 정보 제공방법
JP2004274619A (ja) * 2003-03-11 2004-09-30 Matsushita Electric Ind Co Ltd 動画配信サーバ、動画受信端末装置、画像パケット送信方法及び画像パケット受信方法
JP2004356829A (ja) * 2003-05-28 2004-12-16 Matsushita Electric Ind Co Ltd データ受信再生方法及びデータ受信再生装置
JP4039417B2 (ja) * 2004-10-15 2008-01-30 株式会社日立製作所 記録再生装置
JP2006211602A (ja) * 2005-01-31 2006-08-10 Toshiba Corp データ送信機及びプログラム
JP4613860B2 (ja) * 2005-04-13 2011-01-19 パナソニック株式会社 Mpeg符号化ストリーム復号装置
KR20070040285A (ko) * 2005-10-11 2007-04-16 엘지전자 주식회사 모바일 디지털 방송 수신기
JP4347322B2 (ja) 2006-07-14 2009-10-21 ソニー株式会社 受信装置および方法、並びにプログラム
JP2008139423A (ja) * 2006-11-30 2008-06-19 Sony Corp コンテンツ再生システム、再生装置、再生切替方法及びプログラム
JP2009044416A (ja) * 2007-08-08 2009-02-26 Sony Corp コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ再生システム
JP2009111917A (ja) * 2007-10-31 2009-05-21 Toshiba Corp 情報端末装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103908779A (zh) * 2012-12-28 2014-07-09 史克威尔·艾尼克斯控股公司 内容提供系统、内容提供设备、客户端设备及控制方法
JP2014130517A (ja) * 2012-12-28 2014-07-10 Square Enix Holdings Co Ltd コンテンツ提供システム、コンテンツ提供機器、クライアント機器、制御方法、及びプログラム
CN103908779B (zh) * 2012-12-28 2018-06-08 史克威尔·艾尼克斯控股公司 内容提供系统、内容提供设备、客户端设备及控制方法
CN114448954A (zh) * 2021-12-30 2022-05-06 普强时代(珠海横琴)信息技术有限公司 一种静音处理方法以及装置、存储介质、电子装置

Also Published As

Publication number Publication date
US8190762B2 (en) 2012-05-29
US20100082833A1 (en) 2010-04-01
CN101715046B (zh) 2012-07-18
JP2010087546A (ja) 2010-04-15
JP4735697B2 (ja) 2011-07-27

Similar Documents

Publication Publication Date Title
CN101715046B (zh) 电子设备和内容再现方法
JP7410107B2 (ja) 受信方法、及び、受信装置
US8244897B2 (en) Content reproduction apparatus, content reproduction method, and program
US7870281B2 (en) Content playback device, content playback method, computer-readable storage medium, and content playback system
US8300667B2 (en) Buffer expansion and contraction over successive intervals for network devices
US20100115575A1 (en) System and method for recording and distributing media content
US20140126653A1 (en) Preserving synchronized playout of auxiliary audio transmission
US20100111504A1 (en) System and method for recording and distributing media content
WO2013145419A1 (ja) コンテンツデータ記録装置、コンテンツデータ記録方法、制御プログラムおよび記録媒体
US20070286245A1 (en) Digital signal processing apparatus and data stream processing method
CN108810656B (zh) 一种实时直播ts流的去抖处理方法及处理系统
CN102845056A (zh) 移动电视的画中画
KR20090026068A (ko) 콘텐츠 재생장치, 콘텐츠 재생 방법, 프로그램, 및 콘텐츠 재생 시스템
JP2010021867A (ja) ストリーミング再生装置、ストリーミング配信再生システム、ストリーミング再生方法及びストリーミング再生プログラム
JP5278059B2 (ja) 情報処理装置及び方法、プログラム、並びに情報処理システム
US20110088069A1 (en) Network device, information processing apparatus, stream switching method, information processing method, program, and content distribution system
JP2010028232A (ja) 通信制御装置および通信制御方法
KR100880569B1 (ko) 모바일 아이피티브이의 이피지 환경에서 브이오디 컨텐츠의전송방법
KR20090076366A (ko) Iptv 재생 장치 및 그 배속 재생 방법
WO2013039042A1 (ja) 再生装置、再生方法、配信装置、配信システム、再生プログラムおよび記録媒体
KR101328339B1 (ko) 스트리밍 멀티미디어 재생을 위한 버퍼 관리 장치 및 방법
JP2011120016A (ja) 情報取得装置および情報取得方法
WO2016047475A1 (ja) 情報処理装置および情報処理方法
KR20060114898A (ko) 일시 정지 기능이 가능한 vod 스트림 데이터 재생 장치및 일시 정지 기능을 제공하는 방법
WO2013091010A1 (en) Media output methods and devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120718

Termination date: 20130928