CN101771865A - 影音控制响应及频宽调适方法、服务器、存储介质 - Google Patents

Abstract

本发明涉及一种应用于网络串流的影音控制响应及频宽调适方法、服务器及其存储介质。一服务器将收到的一控制命令传送给一串流控制器，同时令一播放器将其一缓冲区中已经过时的串流数据清除。令该串流控制器对一视频/音频撷取器的来源进行控制，并且估算该缓冲区中的串流数据量是否在一安全范围内，将估算结果与一频宽变化信息传送给一串流转换器。若该缓冲区中的串流数据量小于一临界值，则根据该估算结果与该频宽变化信息调整一串流时戳调整参数倍率以调整该缓冲区的串流数据的消耗速度以重新累积缓冲区数据。

Description

影音控制响应及频宽调适方法、服务器、存储介质

技术领域

本发明是有关于一种影音控制方法，且特别有关于一种应用于网络串流的影音控制响应及频宽调适方法与使用该方法的服务器、存储介质。

背景技术

一般透过网络收看影音串流，由于传输数据量庞大，为了因应频宽的变化，播放器必须累积一定长度的数据缓冲区来调适频宽的变化，以避免播放时中断或是顿挫等不顺畅的状况。然而，对于透过网络传送影音串流的应用来说，过长的缓冲区却会造成影音互动操控的反应延迟，造成使用者的不便。例如，对看电视时需要频繁选台的应用来说，使用者会觉得转台后显示下一节目的反应时间过长，即转台会不顺畅。

在监控应用来说，当镜头侦测到特殊事件时，必须让使用者接收到最新的画面，故需要服务器主动触发影音控制。为了能够因应频宽突然的变化，播放器需要准备足够的缓冲区。另一方面，快速的操作反应时间又不能有太长的缓冲区存在，两者需求相互冲突，因此需要设计一个能同时兼顾影音控制响应以及频宽调适的方法。

此外，在串流播放的过程中，当遇到频宽剧烈变化时，在目前普遍频宽调适的作法是继续播放串流数据，当缓冲区中的串流数据播放完毕后，播放器会暂时停止播放，然后重新累积缓冲区的数据。这样的作法会造成明显播放不顺畅的现象，对于使用缓冲区来做频宽调适具有许多改善的空间。

发明内容

因此，本发明提供了一种应用于网络串流的影音控制响应及频宽调适方法与使用该方法的服务器，其可同时达成影音控制响应并兼顾网络频宽调适的需求，并提供一种存储介质，用以储存可执行上述方法的程序。

基于上述目的，本发明实施例揭露了一种应用于网络串流的影音控制响应及频宽调适方法。当一服务器的一沟通器收到一来自播放器的控制命令，将该控制命令传送给该服务器的一串流控制器，同时令此播放器将其缓冲区中已经过时的串流数据清除。令该串流控制器对一视频/音频撷取器的来源进行控制，并且重置一品质控制器的一接收端缓冲长度评估器。令该接收端缓冲长度评估器估算该播放器的该缓冲区中的串流数据量是否在一安全范围内，并且将估算结果与该服务器的一拥塞侦测器得到的频宽变化信息传送给该服务器的一串流转换器。判断该播放器的该缓冲区中的串流数据量是否小于一临界值。若该缓冲区中的串流数据量小于该临界值，则令该串流转换器的一设定文件选择器与一时戳调整器根据该估算结果与该频宽变化信息，调整一串流时戳调整参数倍率以调整该播放器的该缓冲区中的串流数据的消耗速度以重新累积缓冲区数据。

本发明实施例还揭露了一种服务器，其至少包括一视频/音频撷取器、一品质控制器、一沟通器、一串流控制器与一串流转换器。该视频/音频撷取器用以选择串流数据的输入来源。该品质控制器还包括一接收端缓冲长度评估器与一拥塞侦测器。该沟通器自一播放器接收一控制命令。该串流控制器自该沟通器接收该控制命令，其中，当该串流控制器接收到该控制命令时，令该播放器将其缓冲区中已经过时的串流数据清除，对该视频/音频撷取器的来源进行控制，并且重置该接收端缓冲长度评估器。该串流转换器还包括一设定文件选择器、一品质设定文件与一时戳调整器。该接收端缓冲长度评估器估算该播放器的该缓冲区中的串流数据量是否在一安全范围内，该串流转换器自该接收端缓冲长度评估器取得估算结果与自该拥塞侦测器取得频宽变化信息，判断该播放器的该缓冲区中的串流数据量是否小于一临界值，若该缓冲区中的串流数据量小于该临界值，则该设定文件选择器利用该时戳调整器根据该估算结果与该频宽变化信息调整该品质设定文件中的一串流时戳调整参数倍率，以调整该播放器的该缓冲区中的串流数据的消耗速度而重新累积缓冲区数据。

本发明实施例又提供一种存储介质，用以储存一程序，上述程序包括多个程序代码片段，其用以加载至一计算机系统中并且使得上述计算机系统执行一种应用于网络串流的影音控制响应及频宽调适方法，包括：当一服务器收到一控制命令，将该控制命令传送给该服务器的一串流控制器，同时令一播放器将其一缓冲区中已经过时的串流数据清除；令该串流控制器对一视频/音频撷取来源进行控制；估算该缓冲区中的串流数据量是否在一安全范围内；将估算结果与该服务器侦测得到的频宽变化信息传送给该服务器的一串流转换器；判断该缓冲区中的串流数据量是否小于一临界值；以及若该缓冲区中的串流数据量小于该临界值，则令该串刘转换器根据该估算结果与该频宽变化信息，调整一串流时戳调整参数倍率以调整该缓冲区中的串流数据的消耗速度以重新累积缓冲区数据。

本发明实施例的应用于网络串流的影音控制响应及频宽调适方法提供快速的影音互动操作响应，大幅改善便利性与使用者观感，以及提供稳定的品质与频宽调适，故应用在多变的因特网环境仍然能够维持稳定的收看品质。

本发明的方法，或特定型态或其部分，可以以程序代码的型态存在。程序代码可以包含于实体媒体，如软盘、光盘片、硬盘、或是任何其它机器可读取(如计算机可读取)存储介质，其中，当程序代码被机器，如计算机加载且执行时，此机器变成用以参与本发明的装置。

附图说明

图1是显示本发明实施例的播放器的架构示意图；

图2是显示本发明实施例的服务器的架构示意图；

图3是显示本发明实施例的串流控制器的架构示意图；

图4是显示本发明实施例的应用于网络串流的快速影音控制响应及频宽调适方法的步骤流程图。

【主要组件符号说明】

100～播放器

110～控制器

120～接收器

130～缓冲控制器

135～缓冲区

140～译码器

150～呈现器

200～服务器

201～沟通器

202～串流控制器

203～串流发送器

204～视频/音频撷取器

205～串流编码器

206～品质控制器

207～接收端缓冲长度评估器

208～拥塞侦测器

209～串流转换器

210～设定文件选择器

211～品质设定文件

212～时戳调整器

213～音频重取样器

301～输入选择器

302～电视调谐器

303～视频输入端子

304～视频摄影机

305～摄影机动作控制器

S401..S407～流程步骤

具体实施方式

为了让本发明的目的、特征、及优点能更明显易懂，下文特举较佳实施例，并配合所附附图图1至图4，做详细的说明。本发明说明书提供不同的实施例来说明本发明不同实施方式的技术特征。其中，实施例中的各组件的配置是为说明之用，并非用以限制本发明。且实施例中附图标号的部分重复，是为了简化说明，并非意指不同实施例之间的关联性。

本发明实施例揭露了一种应用于网络串流的影音控制响应及频宽调适方法与使用该方法的服务器。

本发明实施例的应用于网络串流的影音控制响应及频宽调适方法是在服务器端实现，其可使播放器不中断实时影音播放，同时可重新累积缓冲区数据，并且可在变动频宽下达到最佳的频宽调适。因此，可以兼顾频宽调适并同时能够流畅地进行控制操作且获得快速响应。

利用本发明实施例的应用于网络串流的影音控制响应及频宽调适方法，在影音互动操控时，例如选择输入来源、切换电视调谐器频道、调整影音画面、控制拍摄镜头...等等，可以有效地控制传输数据量的机制，并兼顾网络频宽调适的方法，让使用者得以观赏画面流畅平顺且品质稳定的串流节目。当执行上述操作时，播放器可以不必暂停播放，也不必做额外的处理就可以自动重新累积缓冲所需的数据。

图1是显示本发明实施例的播放器的架构示意图。

本发明实施例的播放器100包括一控制器(Controller)110、一接收器(Receiver)120、一缓冲控制器(Buffer Controller)130、一译码器(Decoder)140与一呈现器(Renderer)150。播放器100透过接收器120从网络接收串流数据，并将接收到的串流数据存进缓冲区135中以由缓冲控制器130控制管理。缓冲控制器130依照每笔串流数据的时间戳记(Timestamp)信息，在适当的时间传送到译码器140进行译码，然后由呈现器150播放出来。当播放器100进行影音操作时，会透过控制器110将控制命令送到服务器200。此时，原有已存在缓冲区135中的串流数据将变得过期而没有意义。因此，在送出控制命令的同时，控制器110要求缓冲控制器130清除大部分已接收的串流数据而仅留下少量的串流数据用于缓冲。

图2是显示本发明实施例的服务器的架构示意图。

本发明实施例的服务器200包括一沟通器(Communicator)201、一串流控制器(Stream Controller)202、一串流发送器(Stream Sender)203、一视频/音频撷取器(Video/Audio Capturer)204、一串流编码器205(Stream Encoder)、一品质控制器(QoS Controller)206、一串流转换器(Stream Adaptor)209与一音频重取样器(Audio Resampler)213。品质控制器206还包括一接收端缓冲长度评估器(Receiver Buffer Estimator)207与一拥塞侦测器(CongestionDetector)208。串流转换器209还包括一设定文件选择器(Profile Selector)210、一品质设定文件(Quality Profile)211与一时戳调整器(TimestampAdjuster)212。

串流控制器202自沟通器201接收到来自播放器100的控制命令以直接对影音内容进行控制，例如，电视选台或是切换输入来源(例如，数字化视频光盘(Digital Video Disc，DVD))，同时送出一重置(Reset)命令，以要求接收端缓冲长度评估器207重置判断播放器100中的缓冲区135的参数，以在接下来处理影音内容的品质(QoS)调适时能够做出正确的判断。

图3是显示本发明实施例的串流控制器的架构示意图。

串流控制器202可以直接控制服务器200的模块，包括对串流编码器205设定它的编码参数、对视频/音频撷取器204设定撷取参数(例如，影像的亮度、彩度)或是对输入选择器(Input Switcher)301设定输入的来源。举例来说，可以选择电视调谐器(TV Tuner)302、视频输入端子303(例如，色差端子(S-video)或复合视频输入端子(Composite Video))或是外接的视频摄影机304。串流控制器202可以控制电视调谐器302的频道切换，并且可以控制摄影机动作控制器(Camera Motion Controller)305对视频摄影机304进行左右移动(Panning)、上下移动(Tilting)与变焦(Zooming)的操作。

品质控制器206是服务器200用来进行QoS调适的模块。品质控制器206的拥塞侦测器208接受串流发送器203传送串流数据所得到的回馈信息来判断网络状况是否拥塞。根据拥塞的情况，品质控制器会让串流转换器209选择一个适合的串流设定(Profile)来调适频宽。

品质控制器206也会利用接收端缓冲长度评估器207估测播放器100目前对于频宽变化的忍受度。若是发现播放器100的缓冲区135中的串流数据即将不足，则会指示串流转换器209选择出适合的调适方法。

因为播放器100在进行影音切换或网络状况不稳定时，都需要动态调整缓冲区135来因应上述状况。接收端缓冲长度评估器207负责估算出目前播放器100的缓冲区135的数据长度，由此可得知网络传输状况，来决定是否要做视频品质的调整以及时间戳记的调整，为的是让播放器100的收视状况能维持稳定，其优点是不需要播放器100回报任何讯息即可自行估算出来，可减少占用的网络频宽，估算的公式如下所示：

$R_{\mathrm{buf}}\left(t_p\right)=\mathrm{Min}[(\underset{t=0}{\overset{t_p}{\∫}}(r\left(t\right)-1)\mathrm{dt}-T_{\mathrm{sys}}-T_{\mathrm{app}}),T_{\max }],$

其中，t_p表示收到控制命令后经过的时间，T_max表示接收端预设最大的缓冲区的时间长度，r(t)表示时间t时的时间戳记的数量，T_sys表示在系统缓冲区中未送出的影音数据的时间长度，T_app表示在应用程序中的数据队列延迟时间，而R_buf(t_p)表示服务器端计算在t_p时间时，接收端累积的缓冲区的时间长度，亦即可忍受的网络拥塞时间。

需注意到，该估算方法仅为一实施例，其并非用以限制本发明。

串流转换器209的设定文件选择器210会依照从品质控制器206所得到的频宽拥塞状况与播放器100的缓冲区状况决定接下来频宽调适与串流数据调整的方法。品质设定文件211中可设定的项目包括编码位率(Encoding BitRate)、分辨率(Resolution)、帧频(Frame Rate)、丢帧(Frame Drop)与串流时戳调整参数倍率(Stream Timestamp Adjust Scalar)。

更具体的作法是，当可用频宽稍微变低时，可以小幅度的调降编码的品质，并且不会有明显的观感上的影响。若是估测到播放器100的缓冲区135的串流数据明显不足时(特别是在因为操作控制而清除缓冲区之后)，则优先选择调整串流时戳调整参数倍率的设定。

若选择要改变编码压缩的品质设定时，设定文件选择器210会从品质设定文件211选择合适的品质设定并套用至串流编码器。若是选择丢帧，则决定所要舍弃的帧的数量。若是选择调整串流时戳调整参数倍率，则会将选择的参数套用至时戳调整器212调整串流时戳。

串流时戳是播放器100在播放串流数据时用来决定每一个影音帧应该被播出时间的重要参考。在时戳调整器212会依照串流时戳调整参数倍率调整相邻帧之间的时间戳记间隔并同时确保影音播放的平顺与同步。

以一个具体的实施例来说，当透过时戳调整器212调整串流时戳后，会影响播放器端数据消耗的速度。若定义串流时戳调整参数倍率为r且假设r＝1.1，未调整前相邻两影像讯框的时间戳记间隔为20000，则经过调整之后，时间戳记间隔将变成22000。在这样的情况下，播放完这些调整过的串流数据所需的时间将变为原本的r倍。此一时戳调整倍率r的值仅为一实施例。

透过这样的调整的方法，可以得到下面的效果与好处：1)依照常理，当为了进行电视选台等控制操作时，原本操作前的数据便会变得没有意义而被清除，此时缓冲区也会仅剩少量的数据以达到快速的响应的需求。透过时戳调整器212的调整，播放器100不需额外的设计便可以重新累积缓冲所需的数据(当r＞1.0，数据累积的速度将为r-1)。2)在服务器端发现需要调适频宽变化时，多了丢帧、直接调整压缩编码率与帧频之外的方法。因为丢帧会明显影响视觉观感，而调整帧频亦无法弹性的做细微的调整，且往往会受到串流编码器205实作上的限制。

当时戳调整器212调整时间戳记过后，对于声音的串流数据，为了确保声音的取样点能够平均地分布于调整过后的时间区间，由视频/音频撷取器204撷取到的串流数据需要音频重取样器213对声音部份的串流数据重新取样。最后，影像数据与重新取样后的声音数据将会进入串流编码器205，并以先前在品质设定文件211所选择的设定进行编码。编码之后的帧会随着调整后的串流时戳由串流发送器203送至播放器100，并把串流发送器203得到的回馈(Feedback)送回至品质控制器206以作为下一次判断的依据。

图4是显示本发明实施例的应用于网络串流的影音控制响应及频宽调适方法的步骤流程图。

当一沟通器收到控制命令(例如，电视选台)，将该控制命令传送给一串流控制器，同时一播放器将其缓冲区中已经过时的串流数据清除(步骤S401)。该串流控制器对一视频/音频撷取器的来源进行控制，并且重置一品质控制器中的接收端缓冲长度评估器(步骤S402)。品质控制器的接收端缓冲长度评估器估算该播放器的该缓冲区中的缓冲数据量是否在安全范围，并且将估算结果与一拥塞侦测器得到的频宽变化信息传送给一串流转换器作为QoS调适的依据(步骤S403)。

判断播放器的缓冲区的串流数据量是否小于一临界值，即判断是否串流数据量足够播放(步骤S404)。若缓冲区的串流数据量小于该临界值(即，缓冲区中的串流数据量即将不够播放)，则串流转换器的设定文件选择器与时戳调整器依照接收端缓冲长度评估器的该估算结果与该拥塞侦测器的该频宽变化信息，调整串流时戳调整参数倍率以调整播放器缓冲区数据的消耗速度，借此重新累积缓冲区数据(步骤S405)，或者同时从品质设定文件中选取合适的设定来调整输出数据所占的频宽(步骤S406)。当接收端缓冲长度评估器估测播放器的缓冲区数据已经累积到预期或是理想的数据量T_max(即，预设最大串流缓冲区长度)时，便回复串流时戳调整参数倍率至一初始设定值(步骤S407)。调整缓冲区数据消耗速度的优点，是可以避免暂停播放以重新累积缓冲区数据，导致播放画面顿挫以致观感不佳的问题。

本发明实施例的应用于网络串流的影音控制响应及频宽调适方法提供快速的影音互动操作响应，大幅改善便利性与使用者观感，以及提供稳定的品质与频宽调适，故应用在多变的因特网环境仍然能够维持稳定的收看品质。

本发明的方法，或特定型态或其部分，可以以程序代码的型态存在。程序代码可以包含于实体媒体，如软盘、光盘片、硬盘、或是任何其它机器可读取(如计算机可读取)储存媒体，其中，当程序代码被机器，如计算机加载且执行时，此机器变成用以参与本发明的装置。程序代码也可以透过一些传送媒体，如电线或电缆、光纤、或是任何传输型态进行传送，其中，当程序代码被机器，如计算机接收、加载且执行时，此机器变成用以参与本发明的装置。当在一般用途处理单元实作时，程序代码结合处理单元提供一操作类似于应用特定逻辑电路的独特装置。

虽然本发明已以较佳实施例揭露如上，然其并非用以限制本发明，任何熟悉此项技术的人员，在不脱离本发明的精神和范围内，当可做更动与润饰，因此本发明的保护范围当视后附的权利要求书所界定的范围为准。

Claims (19)

1.一种应用于网络串流的影音控制响应及频宽调适方法，其特征在于，包括下列步骤：

当一服务器收到一控制命令，将该控制命令传送给该服务器的一串流控制器，同时令一播放器将其一缓冲区中已经过时的串流数据清除；

令该串流控制器对一视频/音频撷取来源进行控制；

估算该缓冲区中的串流数据量是否在一安全范围内；

将估算结果与该服务器侦测得到的频宽变化信息传送给该服务器的一串流转换器；

判断该缓冲区中的串流数据量是否小于一临界值；以及

若该缓冲区中的串流数据量小于该临界值，则令该串流转换器根据该估算结果与该频宽变化信息，调整一串流时戳调整参数倍率以调整该缓冲区中的串流数据的消耗速度以重新累积缓冲区数据。

2.根据权利要求1所述的应用于网络串流的影音控制响应及频宽调适方法，其特征在于，当估测该缓冲区中的串流数据已经累积到一预设串流数据量时，回复该串流时戳调整参数倍率至一初始设定值。

3.根据权利要求1所述的应用于网络串流的影音控制响应及频宽调适方法，其特征在于，若缓冲区的串流数据量小于该临界值，则根据该估算结果与该频宽变化信息，从一品质设定文件中选取其中一设定来调整输出该串流数据所占的频宽。

4.一种服务器，其特征在于，包括：

一视频/音频撷取器，其用以选择串流数据的输入来源；

一品质控制器，其还包括一接收端缓冲长度评估器与一拥塞侦测器；

一沟通器，其自一播放器接收一控制命令；

一串流控制器，其自该沟通器接收该控制命令，其中，当该串流控制器接收到该控制命令时，令该播放器将其缓冲区中已经过时的串流数据清除，对该视频/音频撷取器的来源以及串流内容进行控制，并且重置该接收端缓冲长度评估器；以及

一串流转换器，其还包括一设定文件选择器、一品质设定文件与一时戳调整器；

其中，该接收端缓冲长度评估器估算该播放器的该缓冲区中的串流数据量是否在一安全范围内，该串流转换器自该接收端缓冲长度评估器取得估算结果与自该拥塞侦测器取得频宽变化信息，判断该播放器的该缓冲区中的串流数据量是否小于一临界值，若该缓冲区中的串流数据量小于该临界值，则该设定文件选择器利用该时戳调整器根据该估算结果与该频宽变化信息调整该品质设定文件中的一串流时戳调整参数倍率，以调整该播放器的该缓冲区中的串流数据的消耗速度而重新累积缓冲区数据。

5.根据权利要求4所述的服务器，其特征在于，当该接收端缓冲长度评估器估测该播放器的该缓冲区中的串流数据已经累积到一预设串流数据量时，回复该串流时戳调整参数倍率至一初始设定值。

6.根据权利要求4所述的服务器，其特征在于，若缓冲区的串流数据量小于该临界值，则该设定文件选择器根据该估算结果与该频宽变化信息，从该品质设定文件中选取其中一设定来调整输出该串流数据所占的频宽。

7.根据权利要求4所述的服务器，其特征在于，当该串流控制器接收到该控制命令时，送出一重置命令以要求该接收端缓冲长度评估器重置判断该播放器中的该缓冲区的参数。

8.根据权利要求4所述的服务器，其特征在于，其还包括一串流编码器，其中该串流控制器对该串流编码器设定其编码设定，对该视频/音频撷取器设定其撷取设定，或是对一输入选择器设定一输入来源以及其它串流内容设定。

9.根据权利要求8所述的服务器，其特征在于，其还包括一串流发送器，其中该拥塞侦测器接受该串流发送器传送串流数据所得到的回馈信息来判断网络状况是否拥塞。

10.根据权利要求9所述的服务器，其特征在于，该品质控制器根据网络拥塞的情况令该串流转换器自该品质设定文件中选择其中一设定来调适频宽。

11.根据权利要求10所述的服务器，其特征在于，该品质控制器利用该接收端缓冲长度评估器估测该播放器目前对于频宽变化的忍受度。

12.根据权利要求11所述的服务器，其特征在于，该接收端缓冲长度评估器估算出目前该播放器的该缓冲区的数据长度，以决定是否要调整影音品质以及该串流时戳调整参数倍率。

13.根据权利要求12所述的服务器，其特征在于，该品质设定文件中可设定的项目包括编码位率、分辨率、帧频、丢帧与该串流时戳调整参数倍率。

14.根据权利要求13所述的服务器，其特征在于，其还包括一音频重取样器，其中当该时戳调整器调整该串流时戳调整参数倍率后，该音频重取样器对该视频/音频撷取器撷取到的串流数据的音频数据重新取样。

15.根据权利要求14所述的服务器，其特征在于，将该串流数据的影像数据与重新取样后的音频数据传送给该串流编码器，并以自该品质设定文件所选择的该设定对该串流数据进行编码。

16.根据权利要求15所述的服务器，其特征在于，该串流发送器将编码后并经过时戳倍率调整的该串流数据传送给该播放器，并将由该串流发送器得到的回馈信息传送回该品质控制器。

17.一种存储介质，其特征在于，用以储存一程序，上述程序包括多个程序代码片段，其用以加载至一计算机系统中并且使得上述计算机系统执行一种应用于网络串流的影音控制响应及频宽调适方法，包括：

当一服务器收到一控制命令，将该控制命令传送给该服务器的一串流控制器，同时令一播放器将其一缓冲区中已经过时的串流数据清除；

令该串流控制器对一视频/音频撷取来源进行控制；

估算该缓冲区中的串流数据量是否在一安全范围内；

将估算结果与该服务器侦测得到的频宽变化信息传送给该服务器的一串流转换器；

判断该缓冲区中的串流数据量是否小于一临界值；以及

若该缓冲区中的串流数据量小于该临界值，则令该串刘转换器根据该估算结果与该频宽变化信息，调整一串流时戳调整参数倍率以调整该缓冲区中的串流数据的消耗速度以重新累积缓冲区数据。

18.根据权利要求17所述的存储介质，其特征在于，估测该缓冲区中的串流数据已经累积到一预设串流数据量时，回复该串流时戳调整参数倍率至一初始设定值。

19.根据权利要求17所述的存储介质，其特征在于，若缓冲区的串流数据量小于该临界值，则根据该估算结果与该频宽变化信息，从一品质设定文件中选取其中一设定来调整输出该串流数据所占的频宽。

Images