CN101622873A - 由服务器播送音频和视频数据序列的方法 - Google Patents
由服务器播送音频和视频数据序列的方法 Download PDFInfo
- Publication number
- CN101622873A CN101622873A CN200880006309A CN200880006309A CN101622873A CN 101622873 A CN101622873 A CN 101622873A CN 200880006309 A CN200880006309 A CN 200880006309A CN 200880006309 A CN200880006309 A CN 200880006309A CN 101622873 A CN101622873 A CN 101622873A
- Authority
- CN
- China
- Prior art keywords
- server
- client computer
- sequence
- audio
- request message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000003993 interaction Effects 0.000 claims description 48
- 230000004044 response Effects 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000004321 preservation Methods 0.000 claims 1
- 238000007906 compression Methods 0.000 abstract description 8
- 230000006835 compression Effects 0.000 abstract description 8
- 230000005540 biological transmission Effects 0.000 abstract description 6
- 238000007726 management method Methods 0.000 abstract description 4
- 238000012546 transfer Methods 0.000 abstract description 3
- 230000000644 propagated effect Effects 0.000 abstract 1
- 230000001902 propagating effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 239000012190 activator Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
- H04N7/17309—Transmission or handling of upstream communications
- H04N7/17318—Direct or substantially direct transmission and handling of requests
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Traffic Control Systems (AREA)
- Circuits Of Receivers In General (AREA)
- Communication Control (AREA)
Abstract
本发明涉及一种由服务器设备播送音频视频数据的方法。网络(2)可以在其间连接同一家庭的各个不同的媒体元件。这样的网络包括一个服务器(1)(通常是一台计算机)、一些客户机(3)(例如一个解码器)。这种配置可以产生一个由服务器(1)管理、但由客户机(3)通过网络(2)遥控的桌面。这样的网络(2)应该传播并快速处理数据。当前的趋势是最大限度地压缩在网络(2)上传输的数据。然而，数据越压缩，处理起来就越耗时。本发明不考虑使数据传输更方便，而相反地，考虑只传送图形动画序列的第一个和最后一个图像，从而减少在网络(2)上传播的数据的处理时间。
Description
技术领域
本发明涉及一种由服务器播送音频和视频数据序列的方法。家庭中媒体的多样性开启了多种可能性。网络的存在为连接同一家庭的各个不同的媒体元件提供了可能性。这样的网络其形式表现为一个服务器设备或服务器(通常是一台计算机)和一些客户机设备或客户机(例如一些视频解码器)，其间通过网络连接，无论是HDMI、WIFI、以太网，甚至是通过载波电流的形式。
背景技术
这样的配置使得可以生成一个桌面(bureau)。这样的桌面包括在屏幕(通常为客户机的屏幕)上显示一个允许客户机用户实施控制的菜单。该桌面由服务器管理，但由客户机通过网络遥控。这种配置也允许在同样条件下使用一个远程媒体中心。
媒体中心是这样一个设备：该设备包括一个控制部件和一个考虑该控制的执行部件。通常，控制部件可以容许控制按钮在屏幕上的显示(例如桌面上的显示)。该控制部件包括一个用于启动所显示的控制按钮的设备，例如遥控器。媒体中心的执行部件管理由启动所显示的按钮而引起的操作，例如增大音量或从一个视频序列转到另一个视频序列。
例如，这样的媒体中心或桌面可以由客户机显示在客厅电视屏幕上或其它的形成用户接口的显示装置上。用户接口软件可以显示数据。用户可以借助于例如遥控器这样的控制设备来与数据互动。通常，如上文定义的媒体中心的控制部件也是用户接口的一部分。
用户对媒体中心的管理在客户机实现。用户接口可以定义为对于用户可能存在的命令的树。因此，用户借助于例如遥控器通过从用户接口上显示的可选项中给出执行命令来与该用户接口互动。这些命令被客户机接收到，并使客户机建立用户互动。
在生成了一个用户互动后，客户机给服务器发送一个请求消息，以使其处理所述用户互动任务。是服务器通过处理客户机发送的请求消息来处理用户的指令的。一旦该请求消息被处理，服务器就给客户机发送一个对该请求消息的回应。服务器的回应由对用户互动的处理产生，尤其是由客户机在此次用户互动以后要播送的视频音频和数据的编码产生。所述回应被客户机接收并被解码，处理的结果由客户机显示在用户接口上。
在这样的系统中，服务器在向客户机发送其播放的内容之前先对其进行编码，即压缩。如果服务器需要把播送的图像显示在自己的屏幕上，则不必压缩这些图像。服务器的内部总线中的转送部件支持高速率。为了压缩，服务器通常截图自己的显示，将其编码，然后通过网络将其发送到客户机，例如对于以太网而言的一个客户机IP地址。因此，编码开始于一个逐点顺序定义的、被称作位图格式的图像。这样的逐点顺序定义的图像非常适合于在显示器上显示。
服务器进行的编码是时空类型的，即，被压缩的数据包括视频、音频数据和为了正确地播送这些数据的一些信号(令)。这样的编码例如可以根据规范H264实施。这样的压缩编码允许在简化的通信链路(例如HDMI)上高速传输数据。对于同样的品质，H264协议允许以低于由MPEG2规范获得的流量两倍的流量来编码视频流。H264规范采用有损压缩方式。在编码时，一个图像被切割成多个大单元块。每个大块被编码。
在接收时，客户机应当对由服务器发送的音频/视频数据解码。客户机对这些数据的解码通常由客户机的图形/声卡的一个专用电路实施。一旦数据被解码，客户机通过其播送装置将这些数据播送在其自己的屏幕上。
不过，服务器编码数据需要大功率，或者，需要一个对数据进行实时编码不可能的实施时间。在实践中，编码对服务器要求的功率五倍大于解码对客户机要求的功率。传统的、家庭的服务器不能实时编码。
当前的媒体中心包含大量动画。例如，这些动画是关于按钮或图标的、关于反复(récurent)运动的屏幕背景或展开下拉菜单的。这些动画是一些小的视频序列。为了把这些动画传送给需要的客户机，服务器要对这些动画编码然后进行传送，以便这些动画通过用户接口播送。这样的视频序列被定义为以足够的速度播送的一组图像以便获得良好视频流畅度。许多这种动画在用户互动之后产生。然而，在这样的用户互动之后，客户机屏幕上显示的内容只有一部分发生改变。实际上，例如，在用户点击所显示的菜单的一个按钮之后，菜单展开，而只有菜单展开的部分发生变化，图像的其余部分保持不变。
当前，音频/视频协议只对整个图像编码。因此，编码发生在图像由于用户互动而变化了的部分，也发生在图像没有变化的部分。这种整体编码大大减慢了对要转送的音频/视频数据的编码时间。
在一些关于显示和远程管理的主要功能的有说服力的测试中，客户机显示音频/视频数据的时间被证实为过分的长。对于单独一个图像，该显示时间为几秒的数量级。因此该显示时间不允许就这样使用该功能。
过分长的显示时间由两个因素解释。第一，IP链路上的传输时间；第二，请求消息的处理时间。本发明的目的在于降低这两种时间。由于音频/视频数据被压缩而更加复杂，这些数据的编码和解码就更加耗时。当前，为了对这类应用进行图形解码，解码器需要集成一个可以对已压缩音频/视频数据解压缩的图形库。
有一个业内人士已知的解决方案，用来解决与网络数据传输时间相关的问题，该解决方案在于降低通过网络转运的数据量。这样，通过根据已知的压缩规范尽可能地压缩数据，所得到的音频/视频数据的体积(volumineuse)也就越小。这些被压缩的信息因此更快速地转运通过网络。不过，这样的解决方案使得音频/视频数据的压缩更加复杂。这种复杂增加了服务器的编码时间。这种复杂也增加了客户机为解码所接收到的数据所需的时间。而且，该解决方案依赖于集成一个与客户机所用的压缩格式对应的库。因此，该解决方案具有降低网络转送数据的时间的优点，却显著增加了服务器和客户机处理音频/视频数据的时间。
通过结合应用程序TightVNC和协议H264来屏幕截图，例如，整个图像的完全编码的问题就可以解决。这样，所有的运动检测和图像计算等功能(函数)都由H264库计算。于是，屏幕的完整视频图像被发送，并且只包括变化。该图像有高压缩比。而且图像的编码时间也少有变化。
不过，对于这种方法，必须完全重新采用服务器tightVNC码的结构。此外，服务器的编码时间也可能相对较长。对于一个2.8GHz双核处理器服务器，以最小的选择，以30.0Hz、150K字节/秒的比特率对每个分辨率为352x288的图像的编码耗时0.1秒以上。因此，为了对一个分辨率1280x720的图像编码，这种方法会耗时1秒左右。
因此，看来这些方案没有任何一个能有效地解决管理在网络中以可接受速度转送音频/视频数据的问题。
发明内容
为了解决该问题，本发明考虑以多种方式降低服务器的编码负荷。此外，本发明考虑保持高的数据压缩水平。在媒体中心或在菜单显示中，用户交互通常是重复性的。因此，在使用媒体中心或菜单的过程中，这些用户交互所产生的动画很可能多次发生。为了显著减少服务器的编码任务，本发明考虑使用服务器的存储器来保存以前已经编码过的音频/视频序列。更具体地说，本发明考虑这样一个步骤：其间服务器探求客户机发送的请求消息是否以前已经处理过。如果客户机发送的消息过去从未处理过，服务器就给客户机发送一个快速回应，并且并行地完整处理请求消息。一旦请求消息被完全处理，处理结果就由服务器保存在存储器中。以后，如果客户机重新发送同样的请求消息，可以再次使用该处理(结果)。如果消息已经由服务器以前处理过，服务器就给客户机发送存储在其存储器中的、该请求消息的处理结果。
本发明还考虑通过只对在用户互动以后发生变化的音频/视频数据进行编码来降低服务器的编码负担。为此，本发明计算图像的固定部分，并只对代表与用户交互相对应的动画或视频序列的数据进行编码。
另外，本发明在原始的、例如所显示的图像层次上处理数据。因此，本发明不依赖于限定的压缩类型。因此，无论为压缩音频/视频数据选择何种编码类型，本发明都在编码层次上节省时间。
因此，本发明的目的是提供一种由发送音频和视频数据序列的服务器播送音频视频和数据序列的方法，其中：逐点顺序定义类型的音频/视频数据序列通过网络在服务器和客户机之间传输；客户机接收到的音频/视频数据序列由客户机以交互的方式播送；客户机的用户通过客户机的用户接口给出播送序列的命令，该命令使得客户机产生至少一个请求消息并向服务器发送该至少一个请求消息；客户机传送给服务器的请求消息被服务器根据压缩格式以图像编码的形式处理，特征在于：服务器对请求消息的处理包括至少如下步骤：
-这样一个步骤：其中服务器在存储器中探究是否对该请求的处理已经发生过，以及是否该数据序列的压缩数据可随意使用以被发送给客户机；
-如果对该请求的处理以前未发生过：
-服务器给客户机发送一个快速回应消息，该快速回应消息包括一个音频/视频序列，该音频视频序列包括被压缩数据序列的第一个和最后一个图像；
-服务器完整地处理该请求，并将对该请求的完整处理的结果存入存储器，以便以后能够发送回应；
-如果该请求以前被处理过，那么服务器就直接把存储器中保存的序列的数据发送给客户机。
附图说明
在阅读了下文的描述及查阅相应的附图之后，可以更好地理解本发明。这些图只是用于非限制性地说明本发明。图中表明了：
图1：根据本发明的一个网络设备的布置。
图2：根据本发明的方法的实施示意图。
具体实施方式
图1表示根据本发明的一个网络设备的布置。这种布置包括通过一个网络2连接的一个服务器1和一个客户机3。网络2允许音频/视频数据在服务器1(例如一台计算机1)与客户机3(例如一个解码器)之间传输。用户接口5的播送装置4与客户机3连接。例如，这样的播送装置4是一台客厅电视机4。服务器1包括其自身的播送装置6，例如一台计算机显示器。另外，服务器1还包括自己的存储器7。服务器1可以集成例如H264的编码协议，以及服务器VNC类型的应用程序。用户可以通过例如遥控器8与用户接口5互动。这些互动11被客户机3接收到，客户机3向服务器1发送由这些用户互动11产生的命令。服务器1处理由这些用户互动11产生的命令，并向客户机3发送与执行由这些用户互动11给出的命令相应的音频/视频数据。
客户机3接收到的音频/视频数据被客户机3以事件的方式恢复。也就是说，客户机3允许用户与数据互动。通常，用户接口5允许用户按照一个可能的互动树11浏览。例如，用户接5可以表现为一个菜单9，用户可以通过借助于遥控器8启动菜单9的按钮10来浏览菜单9。启动这样的按钮10可以表现为与一个视频序列相对应的动画。例如，这些动画可以在激活按钮10、经过按钮10、或经过一个动画了的屏幕背景时出现。这样的动画就是根据用户互动11而显示的视频序列。不过，这些动画通常只改变用户接口5显示的图像12的一小部分，图像12的其余部分不发生任何改动。
图2是根据本发明的方法的实施示意图。用户互动11在客户机3产生一个请求消息13。客户机3一产生该请求消息，就把该请求消息发送给服务器1。该请求消息13通过网络2在客户机3和服务器1之间传送。根据当前技术，服务器1分析客户机3的请求，并在将该回应22发送给客户机3之前对回应22进行编码。于是，客户机3在通过用户接口5播送由该请求消息产生的变化之前对接收的回应22进行解码。
客户机3发送的请求消息13包括各种不同的信息。这些信息允许服务器1处理该消息13所包含的数据并将回应消息22发送给客户机3。该回应消息22允许客户机3通过用户接口5播送与用户引起的互动11相应的音频/视频数据。因此，请求消息13包括服务器1应该回应到的地址23(通常是客户机3的IP地址23)、一个用户互动11后要执行的命令24、一个与客户机3通过用户接口5播送的当前显示相对应的状态25。该当前状态25允许服务器1根据用户接口5的当前显示来处理所给的命令24，即，对从用户互动11后的当前显示开始要由客户机3通过用户接口5显示的音频/视频数据序列进行编码。
根据本发明，当一个用户互动11引发一个动画时，服务器1分别对动画和掩模进行编码。动画过程中保持不变的图像背景称为掩模。通过将例如应用程序TightVNC与协议H264在发送功能层次结合，服务器1只发送用户互动11后改变了的部分以及要放置该序列的位置。这种编码的分离允许不必在动画时对要显示的图像的全部进行编码。于是，对于包含动画的每个显示的图像，服务器1只对动画进行编码，而不对每个显示的图像整体重新编码。
此外，本发明考虑服务器1在存储器7中保存对应于所述动画的、被编码的音频/视频序列的压缩数据序列26。如果从同一掩模开始引起该动画的用户互动11以后再发生，服务器1不对该动画重新编码，而是直接发送相应的已编码并已存储在存储器7中的数据序列26。如此使用存储器7容许减轻服务器1的工作，而无论所选编码为何种类型。
不过，为了重新找出对应于一个掩模和一个给定的用户互动11的已编码数据序列26，必须能够寻找正确的数据序列26。为此，需要一个压缩数据序列26的索引系统。根据本发明，该索引27建立在音频/视频序列26的首个图像28上。这种只针对图像28的索引27不依赖于给定的压缩类型，因此可以适用于任何音频/视频编码类型。
因此，为了实施这些步骤，请求消息13包括与用户互动11对应的命令24、掩模29、掩模的索引30，以及关于网络2的信息23。对请求消息13的处理包括一个搜索阶段，以及在需要时的一个对音频/视频数据编码的阶段。例如，该编码可以根据规范H264实施。被编码的音频/视频数据序列26是服务器1正常显示的图像，也就是说，这些图像是服务器1的屏幕截图。因此这些图像是逐点顺序定义的类型的。
状态25定义为包括一个掩模29和一个掩模索引30。根据本发明，状态25可由索引30直接存取，以便迅速获知是否一个给定的已索引的图像与一个已知的状态25相对应。如果状态25已知，服务器1就搜索是否存在一个从对应于该状态25的掩模29开始的转变(transition)。掩模29是一个只包括图像不变部分的图像切割部分。通常，掩模29包括没有动画部分的所显示的图像。该动画部分例如为所显示图像的动画菜单或动画按钮。
一个转变包括用户互动11以及对应于该用户互动的视频序列26。因此，在引起从状态1过渡到状态2的用户互动11之后，通过一个包括音频/视频序列的转变从状态1过渡到状态2。各个转变在其包括的音频/视频数据序列26的第一个图像28上被索引。如果用户互动11和对应于初始状态25的掩模29已经发生过，则该索引27允许直接存取该序列26，掩模29和转变相互补充，形成一个完整的图像。
在首次启动(démarrage)时，服务器1实施多个步骤。在第一个步骤中，服务器1对要显示的启动序列的整体进行编码，并把该启动序列直接发送给客户机3。在第二个步骤中，服务器1确定对应于启动状态的第一个索引和第一个掩模。最后，在第三个步骤中，服务器1将拥有该索引的状态与相应的掩模关联。以后，当用户互动11引起一个状态变化时，请求消息13将包含与用户接口5的当前显示关联的状态的索引。为此，服务器1存储(例如在其缓存中)该状态及其索引。
在机器启动以后，本发明包括多个步骤。服务器1已经在存储器7中记录了一个或多个已经产生的状态25。当引起状态25变化的用户互动11发生时，客户机3向服务器1发送一个如上文所述的请求消息13。于是服务器1立即处理该请求消息13。在第一时间14，服务器1在其存储器7中搜索是否存在一个从索引状态25(该索引状态25由客户机3在其请求消息13中发送)开始的、由用户互动11索引的转变。
当在存储器7中有这样的被索引的转变的情况15下，服务器1直接发送相应的、已经被编码的音频/视频数据序列26。编码的省略可以使服务器1节省大量时间。服务器1不必对音频/视频数据序列26进行编码，从而可以执行其它任务。
当在存储器7中没有被索引的转变的情况16下，服务器1对音频/视频序列进行编码17。服务器1然后对该音频/视频序列进行索引，并将其与一个转变关联。不过，为了不在服务器1实施编码17时阻塞用户，服务器1执行一个与编码17并行的辅助任务18。该辅助任务18包括向客户机3发送一个快速回应消息31。为了让服务器1节省时间而不阻塞用户，作为回应，服务器1给客户机3发送一个只包括两个图像的音频/视频序列32。所述音频/视频序列32的两个图像是完整音频/视频数据序列26的第一个和最后一个图像。音频/视频数据序列的最后一个图像通常是直接在服务器1上显示的图像。因此，为了发送快速回应31，该最后图像是直接可以获得的。一旦对完整音频/视频数据序列26编码17完成，服务器1在其存储器7中保存与该音频/视频数据序列26和该用户互动11相对应的转变。
在首次发生所述用户互动11时，该快速回应31的发送并不能播送对应于用户互动11的音频/视频数据序列26。该快速回应31只允许显示所述音频/视频数据序列的第一个和最后一个图像。不过，服务器1的快速回应31使用户不会在服务器1对所述完整序列26进行编码17时被阻塞。
一旦序列或根据情况服务器1所发送的快速回应31被发送到客户机3，服务器1就计算掩模19和最后获得的图像的索引20。这些元素允许建立一个对应于该最后图像的新状态。在从第一状态25开始不存在对应于用户互动11的任何一个已索引的转变的情况下，该转变被自己的第一个图像28索引，并被保存于存储器7中。在已经存在一个从第一状态25开始的、由同一用户互动11索引的转变，并且由用户互动11获得的最终状态不同于存储器7中的由该已索引的转变获得的状态的最终状态的情况下，已经在存储器7中的转变被已编码的新转变替换21。
通常，每次都计算掩模和变化。在每一次用户互动11时，都计算所显示的图像和保存在存储器7中的影片(film)的最后一个图像之间的差异。如果这些图像不同，则在显示旧转变时重新编码该转变。然后，正确的图像，即当前图像就在播送旧的音频/视频序列之后显示。一个用户互动11只能产生用于音频和视频序列的起始图像和一个给定的用户互动11的唯一一个索引的视频序列26。
这种方法的优点在于为任何媒体中心节省执行时间，原因在于，该方法不采用特定的编码类型。这种用服务器1播送音频和视频数据序列的方法尤其适合于这样的用户接口5：可以在DVD上见到的菜单，或其它具有动画的精确变化的菜单9，在这些菜单上，用户只能从一个按钮10移动到具有预定的光标移位的另一个按钮。
Claims (9)
1、一种由发送音频和视频数据序列的服务器(1)播送音频和视频数据序列的方法，其中
逐点顺序定义类型的音频/视频数据序列(26)通过网络(2)在服务器和客户机(3)之间传输；
客户机(3)接收到的音频/视频数据序列(26)由客户机(3)以交互方式播送；
客户机(3)的用户通过客户机(3)的用户接口(5)发出播送序列(26)的命令(24)，该命令(24)使得客户机(3)产生至少一个请求消息(13)并向服务器(1)发送该至少一个请求消息(13)；
由客户机(3)传送给服务器(1)的请求消息(13)被服务器(1)根据一种压缩格式以图像编码的形式处理，
其特征在于：服务器(1)对请求消息(13)的处理包括至少如下步骤：
这样一个步骤：其中服务器(1)在存储器(7)中探究是否已发生过对该请求的处理，以及该数据序列(26)的压缩数据是否可随意使用以被发送给客户机(3)；
如果对该请求的处理以前没有发生过：
服务器(1)向客户机(3)发送一个快速回应消息(31)，该快速回应消息(31)包括一个音频/视频序列(32)，该音频视频序列(32)包括压缩数据序列(26)的第一个和最后一个图像；
服务器(1)完整地处理该请求，并将对该请求的完整处理的结果存入存储器(7)中，以便以后能够发送回应；
如果对该请求的处理以前已发生过，服务器(1)就直接将存储器(7)中保存的序列(26)的数据发送到客户机(3)。
2、根据权利要求1的方法，其特征在于：所述音频和/或视频数据由服务器(1)根据规范H264编码。
3、根据权利要求1或2的方法，其特征在于：如果对由客户机(3)发送到服务器(1)的消息(13)的处理以前没有发生过，则服务器(1)发送快速回应消息(31)，并且并行地完全处理该请求。
4、根据权利要求1至3中任一项的方法，其特征在于：对请求的处理包括对数据序列(26)的开头的被编码的图像(28)进行索引的步骤。
5、根据权利要求1至4中任一项的方法，其特征在于：对请求消息(13)的处理包括一个按索引搜索存储于存储器(7)中的压缩序列(26)的步骤。
6、根据权利要求1至5中任一项的方法，其特征在于：只对图像的被修改的区域进行编码。
7、根据权利要求1至6中任一项的方法，其特征在于：对请求消息(13)的处理包括：
建立代表图像的不变部分的掩模(29)的步骤；
对该掩模编制索引的步骤；
建立代表图像的动画部分的转变的步骤；
对该转变编制索引的步骤，
该索引是客户机(3)已知的并在该请求消息(13)中被发送。
8、根据权利要求1至7中任一项的方法，其特征在于：一个用户互动(11)引起发送一个视频序列(26)，
该互动(11)由用户从客户机(3)上显示的首个图像开始被操作；
该视频序列由服务器(1)的音频/视频数据库的状态或由该请求消息(13)来确定参数。
9、根据权利要求8的方法，其特征在于：
当服务器(1)的数据库的状态改变时，对请求消息(13)的处理包括这样一个步骤，其中与该用户互动(11)相对应的任何先前序列被与数据库新状态相对应的新序列(26)替换。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0753538A FR2913164B1 (fr) | 2007-02-27 | 2007-02-27 | Procede de diffusion de sequences de donnees audio et video par un serveur |
| FR0753538 | 2007-02-27 | ||
| PCT/FR2008/050319 WO2008119902A2 (fr) | 2007-02-27 | 2008-02-26 | Procede de diffusion de sequences de donnees audio et video par un serveur |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101622873A true CN101622873A (zh) | 2010-01-06 |
| CN101622873B CN101622873B (zh) | 2012-11-07 |
Family
ID=38596785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008800063094A Expired - Fee Related CN101622873B (zh) | 2007-02-27 | 2008-02-26 | 由服务器播送音频和视频数据序列的方法 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US8127044B2 (zh) |
| EP (1) | EP2127384B1 (zh) |
| CN (1) | CN101622873B (zh) |
| AT (1) | ATE475264T1 (zh) |
| BR (1) | BRPI0808113B1 (zh) |
| CO (1) | CO6170398A2 (zh) |
| DE (1) | DE602008001884D1 (zh) |
| ES (1) | ES2349003T3 (zh) |
| FR (1) | FR2913164B1 (zh) |
| WO (1) | WO2008119902A2 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2482548A1 (en) * | 2011-01-21 | 2012-08-01 | Alcatel Lucent | A method, a system, a server, a client, a computer program and a computer program product for determining a user guide in a computer network |
| WO2015157144A2 (en) * | 2014-04-08 | 2015-10-15 | Nexomni, Llc | System and method for multi-frame message exchange between personal mobile devices |
| WO2016045729A1 (en) | 2014-09-25 | 2016-03-31 | Huawei Technologies Co.,Ltd. | A server for providing a graphical user interface to a client and a client |
| CN115865909B (zh) * | 2023-01-13 | 2023-06-02 | 中科方德软件有限公司 | 一种基于spice协议的数据传输方法、装置和可读存储介质 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3282260B2 (ja) * | 1993-01-18 | 2002-05-13 | ソニー株式会社 | 画像再生装置及び方法 |
| US6484212B1 (en) * | 1999-04-20 | 2002-11-19 | At&T Corp. | Proxy apparatus and method for streaming media information |
| US20030058248A1 (en) * | 2001-09-21 | 2003-03-27 | Hochmuth Roland M. | System and method for communicating graphics over a network |
| US7171444B2 (en) * | 2001-11-14 | 2007-01-30 | Sharp Laboratories Of America, Inc. | Remote desktop protocol compression system |
| US20040010622A1 (en) * | 2002-07-11 | 2004-01-15 | O'neill Thomas G. | Method and system for buffering image updates in a remote application |
| US7606314B2 (en) * | 2002-08-29 | 2009-10-20 | Raritan America, Inc. | Method and apparatus for caching, compressing and transmitting video signals |
| US7039247B2 (en) * | 2003-01-31 | 2006-05-02 | Sony Corporation | Graphic codec for network transmission |
| JP4246528B2 (ja) * | 2003-03-26 | 2009-04-02 | 富士通コンポーネント株式会社 | 切替器 |
| CA2525587C (en) * | 2003-05-15 | 2015-08-11 | Comcast Cable Holdings, Llc | Method and system for playing video |
| US7603689B2 (en) * | 2003-06-13 | 2009-10-13 | Microsoft Corporation | Fast start-up for digital video streams |
| US7627186B2 (en) * | 2003-11-14 | 2009-12-01 | Avocent California Corporation | Compression systems and methods |
| US7430681B1 (en) * | 2005-03-30 | 2008-09-30 | Teradici Corporation | Methods and apparatus for interfacing a drawing memory with a remote display controller |
| US20060282855A1 (en) * | 2005-05-05 | 2006-12-14 | Digital Display Innovations, Llc | Multiple remote display system |
| AU2005202356B2 (en) * | 2005-05-31 | 2008-01-10 | Canon Kabushiki Kaisha | Frame scattering for video scrubbing |
| US8112513B2 (en) * | 2005-11-30 | 2012-02-07 | Microsoft Corporation | Multi-user display proxy server |
-
2007
- 2007-02-27 FR FR0753538A patent/FR2913164B1/fr not_active Expired - Fee Related
-
2008
- 2008-02-26 BR BRPI0808113-1A patent/BRPI0808113B1/pt not_active IP Right Cessation
- 2008-02-26 AT AT08775650T patent/ATE475264T1/de not_active IP Right Cessation
- 2008-02-26 DE DE602008001884T patent/DE602008001884D1/de active Active
- 2008-02-26 EP EP08775650A patent/EP2127384B1/fr not_active Not-in-force
- 2008-02-26 CN CN2008800063094A patent/CN101622873B/zh not_active Expired - Fee Related
- 2008-02-26 WO PCT/FR2008/050319 patent/WO2008119902A2/fr active Application Filing
- 2008-02-26 US US12/528,857 patent/US8127044B2/en not_active Expired - Fee Related
- 2008-02-26 ES ES08775650T patent/ES2349003T3/es active Active
-
2009
- 2009-08-18 CO CO09086160A patent/CO6170398A2/es active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| EP2127384A2 (fr) | 2009-12-02 |
| ES2349003T3 (es) | 2010-12-21 |
| DE602008001884D1 (de) | 2010-09-02 |
| ATE475264T1 (de) | 2010-08-15 |
| CN101622873B (zh) | 2012-11-07 |
| CO6170398A2 (es) | 2010-06-18 |
| BRPI0808113B1 (pt) | 2020-11-17 |
| FR2913164A1 (fr) | 2008-08-29 |
| FR2913164B1 (fr) | 2009-04-17 |
| WO2008119902A3 (fr) | 2008-11-20 |
| US8127044B2 (en) | 2012-02-28 |
| WO2008119902A2 (fr) | 2008-10-09 |
| BRPI0808113A2 (pt) | 2014-07-08 |
| US20100115136A1 (en) | 2010-05-06 |
| EP2127384B1 (fr) | 2010-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2506715C2 (ru) | Передача изменяющегося визуального контента | |
| EP1769318B1 (en) | Client-Server Architectures and Methods for a Zoomable User Interface | |
| US8438492B2 (en) | Apparatus and method for providing user interface service in a multimedia system | |
| US8892633B2 (en) | Apparatus and method for transmitting and receiving a user interface in a communication system | |
| CN111836076B (zh) | 视频分辨率切换方法及装置、电子设备 | |
| WO2009105465A2 (en) | Using triggers with video for interactive content identification | |
| US10819951B2 (en) | Recording video from a bitstream | |
| CN108574877B (zh) | 直播方法、主播端、观众端、设备、系统及存储介质 | |
| CN113424553A (zh) | 用于响应于用户选择而推进交互式媒体项目的重放的技术 | |
| CN101622873B (zh) | 由服务器播送音频和视频数据序列的方法 | |
| CN113132194A (zh) | 一种信息流转方法、装置、设备、服务器及存储介质 | |
| KR100254051B1 (ko) | 브이오디용 셋탑 유닛에서의 비디오 재생 방법 | |
| CN106937127A (zh) | 一种智能搜索准备的显示方法及其系统 | |
| CN113038137A (zh) | 视频数据的输出方法、系统、装置及计算机可读存储介质 | |
| CN101816176B (zh) | 一种用于服务器向客户端终端广播视频数据序列的方法 | |
| KR102497838B1 (ko) | 미디어 스트리밍 서버, 라이브 영상과 라이브 채팅을 스트리밍 동영상으로 제공하는 방법, 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램 | |
| CN111491182B (zh) | 用于视频封面存储解析的方法和装置 | |
| KR100776635B1 (ko) | Ｈ.264 코덱을 이용한 셋톱박스와 원격지 서버 시스템상호간의 원격접속 방법 및 이를 위한 장치 | |
| CN115801878A (zh) | 云应用画面传输方法、设备和存储介质 | |
| CN115269070A (zh) | 桌面的共享方法、装置、电子设备及计算机可读存储介质 | |
| CN118900332A (zh) | 视频处理方法 | |
| KR20110014342A (ko) | 서비스 영상 전송 시스템 및 방법 | |
| EP3300383A1 (en) | Method for converting a slideshow into a video | |
| CN114501166A (zh) | Dash点播快进快退方法及系统 | |
| CN116781977A (zh) | 基于网页的视频播放方法、装置、设备、存储介质及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121107 |