CN101867801A - 一种通信方法和通信系统 - Google Patents
一种通信方法和通信系统 Download PDFInfo
- Publication number
- CN101867801A CN101867801A CN201010119336A CN201010119336A CN101867801A CN 101867801 A CN101867801 A CN 101867801A CN 201010119336 A CN201010119336 A CN 201010119336A CN 201010119336 A CN201010119336 A CN 201010119336A CN 101867801 A CN101867801 A CN 101867801A
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- frames
- data
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 40
- 230000001419 dependent effect Effects 0.000 claims abstract description 48
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 9
- 238000005755 formation reaction Methods 0.000 abstract description 17
- 238000003780 insertion Methods 0.000 abstract description 9
- 230000037431 insertion Effects 0.000 abstract description 9
- 238000012546 transfer Methods 0.000 abstract description 7
- 230000005540 biological transmission Effects 0.000 description 22
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000007704 transition Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000019788 craving Nutrition 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种通信方法及通信系统。视频帧序列中的视频帧和对应的音频由客户端系统接收和处理。一部分视频帧在重建时依赖于一个或多个参考帧，另一部分是独立的。每个帧的参考帧的数量是有限的。存在依赖性的帧和独立的帧将区别对待。相比存在依赖性的帧，独立帧将以较低的数据率和以更高的安全级别接收，并以更为健壮的协议栈进行处理。存在依赖性的帧和独立的帧可存储在同一和/或不同的队列中。当重复和/或插入帧时，独立的帧数据用来补偿丢失的帧。收到的音频内容与对应的收到的帧、重复的帧和/或插入的帧同步。收到的、重复的和/或插入的帧将依照显示顺序进行组合和解码。音频内容会进行音频偏移。
Description
技术领域
本发明涉及通信系统，更具体地说，涉及一种应用于服务器和客户端可选视频帧路径的方法和系统。
背景技术
对于众多用户而言，多媒体通信技术已经成为其每日生活的一个部分。多媒体技术可应用于许多流行的便携或者固定设备中，例如，移动电话、数字手持音频和/或视频播放设备、笔记本计算机或者个人计算机、电视机、投影设备、视频和静止摄像显示器、电子游戏机、机顶盒、医用和科学设备，家庭或者商业娱乐中心。凭借通信技术的低成本，以及用户日益增长的对更高端媒体传送系统的渴求，多媒体通信和播放设备在市场上变得非常流行。
比较本发明后续将要结合附图介绍的系统，现有技术的其它局限性和弊端对于本领域的普通技术人员来说是显而易见的。
发明内容
本发明提供了一种应用于服务器和客户端可选视频帧路径的方法和系统，结合至少一幅附图做了清楚的描述，并在权利要求中进行了完整的定义。
根据本发明的一个方面，提供了一种通信方法，包括：
由客户端设备从媒体源接收视频帧序列，其中：
所述视频帧序列中的依赖于(depend on)一个或者多个其他视频帧的存在依赖性的视频帧通过第一通信路径接收；以及
所述视频帧序列中的独立于(independent of)一个或者多个其他视频帧的独立的视频帧通过第二通信路径接收；以及
所述客户端设备处理所述收到的视频帧序列和从所述媒体源接收到的对应的音频内容。
优选地，所述方法进一步包括，在所述客户端系统中，相比所述存在依赖性的视频帧，对所述独立的视频帧施加更为健壮的处理。
优选地，所述方法进一步包括，相比所述存在依赖性的视频帧，以更高的安全级别接收所述独立的视频帧。
优选地，所述方法进一步包括，在所述客户端系统中，将所述存在依赖性的视频帧和所述独立的视频帧分别存储在单独的队列中。
优选地，所述方法进一步包括，在所述客户端系统中，将所述存在依赖性的视频帧和所述独立的视频帧一同存储在单个队列中。
优选地，所述方法进一步包括，基于收到的独立的视频帧，生成重复的和/或插入的视频帧，以补偿所丢失的多个所述存在依赖性的视频帧。
优选地，所述方法进一步包括，使用所述生成的重复视频帧和/或插入视频帧来同步所述对应的音频内容。
优选地，所述方法进一步包括，依照显示顺序组合(assembing)所述重复视频帧、所述插入视频帧和/或所述收到的视频帧序列。
优选地，所述方法进一步包括，解码所述重复视频帧、所述插入视频帧和/或所述收到的视频帧序列。
优选地，所述方法进一步包括，对所述对应的音频内容进行音频偏移(toneshifting)。
优选地，在对所述视频帧序列中的视频帧进行编码时，所述视频源对所述视频帧序列中存在依赖性的视频帧的数量进行限制。
优选地，相比所述第二通信路径，所述第一通信路径具有更高的数据率。
根据本发明的一个方面，提供了一种通信系统，包括：
客户端设备中的一个或多个电路，所述一个或多个电路用于从媒体源接收视频帧序列，其中：
所述视频帧序列中的依赖于(depend on)一个或者多个其他视频帧的存在依赖性的视频帧通过第一通信路径接收；以及
所述视频帧序列中的独立于(independent of)一个或者多个其他视频帧的独立视频帧通过第二通信路径接收；以及
所述一个或多个电路用于处理所述收到的视频帧序列和从所述媒体源接收到的对应的音频内容。
优选地，所述一个或多个电路用于，在所述客户端系统中，相比所述存在依赖性的视频帧，对所述独立的视频帧施加更为健壮的处理。
优选地，所述一个或多个电路用于，相比所述存在依赖性的视频帧，以更高的安全级别接收所述独立的视频帧。
优选地，所述一个或多个电路用于，在所述客户端系统中，将所述存在依赖性的视频帧和所述独立的视频帧分别存储在单独(separate)的队列中。
优选地，所述一个或多个电路用于，在所述客户端系统中，将所述存在依赖性的视频帧和所述独立的视频帧一同存储在单个(single)队列中。
优选地，所述一个或多个电路用于，基于收到的独立的视频帧，生成重复的和/或插入的视频帧，以补偿所丢失的多个所述存在依赖性的视频帧。
优选地，所述一个或多个电路用于，使用所述生成的重复视频帧和/或插入视频帧来同步所述对应的音频内容。
优选地，所述一个或多个电路用于，依照显示顺序组合(assembing)所述重复视频帧、所述插入视频帧和/或所述收到的视频帧序列。
优选地，所述一个或多个电路用于，解码所述重复视频帧、所述插入视频帧和/或所述收到的视频帧序列。
优选地，所述一个或多个电路用于，对所述对应的音频内容进行音频偏移(tone shifting)。
优选地，在对所述视频帧序列中的视频帧进行编码时，所述视频源对所述视频帧序列中存在依赖性的视频帧的数量进行限制。
优选地，相比所述第二通信路径，所述第一通信路径具有更高的数据率。
本发明的各种优点、各个方面和创新特征，以及其中所示例的实施例的细节，将在以下的说明书和附图中进行详细介绍。
附图说明
图1A是依据本发明一较佳实施例的用于对多媒体数据进行选择性传送的示范性服务器和客户端系统的示意图；
图1B是依据本发明一较佳实施例的包括I帧、P帧和B帧的视频帧序列中的示范性参考视频帧的示意图；
图2是依据本发明一较佳实施例的用于选择性地处理和传送多媒体数据(通过多个路径)的示范性媒体源服务器的示意图；
图3是依据本发明一较佳实施例的用于实现对多媒体数据的选择性传送的示范性步骤的流程图。
具体实施方式
本发明的特定实施例涉及一种应用于将视频帧传送至媒体播放器的可选视频帧路径的方法和系统。在本发明的多个实施例中，视频帧序列和对应的音频是从媒体源接收到的，并且由客户端系统进行处理。在视频帧序列中，视频帧的一部分包括一些数据，这些数据用于以独立于其他视频帧中的数据的方式，在客户端系统中重建视频帧。视频帧中的独立部分通过第一通信路径以较低的数据率来接收。视频帧序列中的另一部分视频帧依赖于将要在客户端系统中重建的一个或多个其他帧中的数据。视频帧中的存在依赖性的部分通过第二通信路径以较高的数据率接收。在这点上，媒体源服务器用于在对视频帧序列中的视频帧进行编码时，对每个帧的依赖性进行限制。
相比于包含存在依赖性的视频帧数据的那一部分帧，包含独立视频帧数据的这一部分视频帧，在客户端系统中以较高的安全级别来接收，并被施加更为健壮的处理。在本发明的多个实施例中，客户端系统将独立的视频帧和存在依赖性的视频帧数据分别存储在不同的路径队列中。在本发明的其他实施例中，客户端系统将存在依赖性的视频帧数据和独立的视频帧数据存储在单个路径队列中。独立的视频帧数据用来补偿丢失的存在依赖性的视频帧，这是通过生成重复帧和/或插入帧来实现的。收到的音频内容将与对应的收到的视频帧、重复视频帧和/或插入视频帧进行同步。此外，收到的、重复的和/或插入的视频帧将依照显示顺序进行组合(assembled)及解码。在本发明的多个实施例中，音频内容将进行音频偏移。通过这种方式，所选择的视频帧便可依据该视频帧在提升视频帧重建和/或音频帧同步过程中的能力来在客户端系统中进行处理。
图1A是依据本发明一较佳实施例的用于对多媒体数据进行选择性传送的示范性服务器和客户端系统的示意图。如图1A所示，其中示出了多媒体通信系统103、媒体源服务器107、编码媒体121、偏置转码器(biased transcoder)123、未编码媒体125、偏置编码器(biased encoder)127、源编码媒体129、带时间戳非参考帧数据129a、带时间戳参考帧数据129b、带时间戳音频数据120c、协议栈路径137、支持更健壮的分组传送的栈路径137a、支持较低健壮性的分组传送的栈路径137b、物理接口(PHY)143、有线和/或无线通信网络160、客户端系统109、PHY 145、协议栈路径147、更为健壮的路径147a、较低健壮性的路径147b、双或集成的路径队列149、队列管理151、拼接(stitching)和丢帧处理153、视频图像恢复(restoration)和音频同步155、解码器157和未编码媒体159。
媒体源服务器107可包括适当的逻辑、电路和/或代码，用于存储、取回和/或捕捉多媒体数据，并且选择性地将多媒体数据传送到客户端系统109。在这点上，多媒体数据可以是音频和/或视频数据。媒体源服务器107用于分配优先级给多媒体分组数据，并可基于分配的优先级通过多个分组传送方法来传送多媒体分组数据。媒体源服务器107用于通过一个或多个无线和/或有线通信网络与客户端系统109通信。源服务器107可以是可处理多媒体数据的任何适当的计算和/或通信设备，例如视频服务器、电话、提供直播视频信道的网站、视频点播多播或者单播，或者可播放DVD或者蓝光碟片并将其通过互联网发往客户端设备的个人计算机(PC)。
编码媒体121可包括视频和/或音频数据，这些数据依照标准压缩方法(例如MPEG-1、MPEG-2、MPEG-4或H.264)压缩至指定格式和/或进行加密。编码媒体可从另一设备或者存储介质(例如DVD、硬盘或者蓝光碟片)接收，或者由视频源服务器107捕捉和编码。编码媒体121可存储在视频源服务器107上。
偏置转码器123可包括适当的逻辑、电路和/或代码，用于对编码媒体121进行解码，在解码视频帧上施加偏置和/或对视频帧进行编码。在这点上，对于视频帧序列中的每一目标帧，偏置转码器123用于识别与帧估计信息有关的帧数量。在这点上，帧估计可同时使用参考帧中的视频图像像素数据，和有关参考帧中的一些元素是如何变化从而构建另一相似帧的信息。示范性的帧估计方法包括帧重复(frame repetition)、运动矢量估计、运动矢量插值和/或各种图像转换例如色调、浓度和亮度变化。
在本发明的多个实施例中，对视频帧的偏置是通过降低帧的依赖性来实现的，例如从0到1。在这点上，视频帧序列中的一部分帧可能无需参考任何其他帧，但却可作为其他帧的参考。此外，偏置转码器123依据其所参考的其他帧的数量(number)设置视频帧序列中的帧的优先级。在对帧进行分类和设置优先级之后，偏置转码器基于应用于原始编码媒体121的方法来对帧进行编码，或者也可以依照其他方法来对帧进行编码。同理，在对帧进行分类、设置优先级和压缩之后，偏置帧数据的压缩比将比原始编码媒体121的压缩比差，这是因为帧参考的使用程度被降低了。
未编码媒体125包括未经压缩的视频和/或音频数据。未编码媒体125可由视频源服务器107捕捉并编码。例如，未编码媒体125可由源服务器107上的视频摄像头捕捉，或者从另一设备或者存储介质中读取。未编码媒体125可存储在视频源服务器107上。
偏置编码器127可包括适当的逻辑、电路和/或代码，用于对未编码媒体125进行编码，以及在视频帧上施加偏置。在这点上，对于视频帧序列中的每一目标帧，偏置编码器127用于识别目标帧所依赖的帧的数量，以便进行帧估计。例如，对目标帧的估计依赖于作为帧重复偏置的参考帧，用于预测运动或者其他图像转换。在本发明的多个实施例中，对帧进行的偏置是通过将帧的依赖性限制到例如0或1来实现的。视频帧序列中的一部分帧可无需参考任何其他帧。其他的多个帧可只参考一个其他帧，例如。此外，偏置编码器127依据每一帧所参考的其他帧的数量来设置视频帧序列中每一帧的优先级。在对帧进行分类和设置优先级之后，偏置编码器基于指定的格式对帧进行编码。通常，偏置编码帧数据的压缩比要低于未偏置编码数据，这是因为每一帧的依赖性降低了。
源编码媒体129是一种示范性帧数据，其由偏置转码器123和/或偏置编码器127输出。源编码媒体129可包括带时间戳音频数据129c、带时间戳非参考帧数据129a和/或带时间戳参考帧数据129b。在这点上，非参考帧数据129a包括一些视频帧，这些视频帧在估计非参考帧图像时，不依赖于其他帧。参考帧数据129b包括在估计视频图像时参考其他帧的帧数据。音频数据129c和视频帧129a和129b的时间戳可用于在客户端系统109上对音频和图像进行分类和同步。在本发明的各种实施例中，带时间戳非参考帧129a和带时间戳参考帧129b将依据每帧所参考的帧的数量进行分类。在这点上，相比在估计信息方面依赖于其他帧的帧而言，参考较少其他帧的帧，例如，非参考帧129a将通过不同路径传送到客户端系统109。
协议栈路径137可包括适当的逻辑、电路和/或代码，用于以各种级别安全性和/或健壮性来执行各种通信协议。在这点上，协议栈路径137使用一套协议来依据OSI模型(例如传输层、网络层、数据链路层和物理层)对源编码媒体129进行格式化。在本发明的多个实施例中，支持更加健壮的分组传送的栈路径137a可用于对来自源编码媒体129的高优先级帧数据进行格式化，并将其发往指定范围的端口(专用于进行可靠和/或安全传输，例如，通过传输控制协议(TCP))。在这点上，TCP可保证至少对非参考帧进行适当的顺序传送。尽管TCP传送不如一些其他传输层协议速度快，但只有一部分帧是通过这种方法传送的。低优先级帧是通过支持较低健壮性分组传送的栈路径137b进行传送的。在这点上，支持较低健壮性的分组传送的栈路径137b可通过指定范围的端口传送包含较低优先级的视频帧的分组，以便进行更快但可靠性较低的传送，例如，用户数据报协议(UDP)。
物理接口(PHY)143可包括适当的逻辑、电路和/或代码，用于通过有线和/或无线通信网络160从协议栈路径137向客户端系统109发送包含源编码媒体129的分组。此外，PHY 145可包括适当的逻辑、电路和/或代码，用于通过有线和/或无线网络160接收来自PHY 143的源编码媒体。无线和/或有线通信网络160包括一个或多个网络，这些网络适于传送多媒体数据。例如，有线和/或无线网络可包括WAN、LAN、WLAN、WiFi、WiMax、蓝牙和ZigBee网络中的一个或多个。
协议栈路径147可包括适当的逻辑、电路和/或代码，用于通过更为健壮的路径147a和/或较低健壮性的路径147b从单个PHY 145接收包含源编码媒体129的分组。协议栈路径移除低层协议层的封装。此外，协议栈路径147可将源编码媒体发往双或集成路径队列149。
队列管理151可包括适当的逻辑、电路和/或代码，用于从双或集成路径队列149接收源编码媒体129帧，并恢复视频帧中的图像，以及将音频和视频帧同步。视频恢复和音频同步模块155可用于以多种方式为丢失的视频帧提供补偿。在本发明的一个示范性实施例中，视频恢复和音频同步模块155可用于在前一或后一帧丢失的情况下，重复一个或多个帧。通过这种方式，音频将保持与视频图像同步。当丢失的一个或多个帧的数量少于指定阈值时，丢失的帧可通过插入帧来替代，音频可保持与插入帧同步。在其他情况下，当丢失的一个或多个帧的数量大于指定的阈值，则帧将被丢弃，音频播放速率将增加以跳过一定数量的帧从而赶上视频帧，以实现音频与视频图像的同步。在这点上，增加的音频速率将导致暂时的音频偏移，直到视频和音频实现同步。此外，拼接和丢帧处理153用于接收恢复和同步的帧，并基于时间戳和/或序列号对其进行重新组合，生成适当的序列。队列管理151用于转发包含源编码媒体129的组合的帧给解码器157。
解码器157可包括适当的逻辑、电路和/或代码，用于解码偏置视频帧。在多个实施例中，解码帧可无需偏置即进行编码，以便存储在客户端系统109上。在这点上，通过移除偏置，可提高压缩比，从而使得存储更为紧凑。在本发明的其他实施例中，解码器157可输出未编码媒体159，以便由客户端系统109使用。
在操作过程中，视频帧序列和对应的音频是从媒体源服务器107收到的，并由客户端系统109进行处理。在视频帧序列中，一部分视频帧包括一些数据，这些数据可用来在客户端系统109中独立于其他视频帧中的数据来重建视频帧。视频帧的独立部分是通过第一通信路径以较低数据率接收的。视频帧序列中的另一部分视频帧需要依赖于一个或多个其他视频帧才能在客户端系统109中重建。存在依赖性的这一部分视频帧通过第二通信路径以较高数据率接收。在这点上，媒体源服务器107在将视频帧编码到视频帧序列中时，会限制每一帧的依赖程度。
相比包含存在依赖性的帧数据的那一部分视频帧，包含独立帧数据的这一部分视频帧是由客户端系统109以较高的安全级别接收到的，并且施加更为健壮的处理。在本发明的多个实施例中，客户端系统109将独立的帧数据和存在依赖性的帧数据存储在各自的路径队列149中。在本发明的其他实施例中，客户端系统109将独立的帧数据和存在依赖性的帧数据存储在同一路径队列149中。独立的帧数据用来补偿所丢失的存在依赖性的视频帧，这是通过生成重复的视频帧和/或插入视频帧来实现的。收到的音频内容将与对应的收到的视频帧、重复视频帧和/或插入的视频帧同步。此外，收到的、重复和/或插入的视频帧将依照显示顺序进行组合和解码。在多个实施例中，音频内容将需要进行音频偏移。
图1B是依据本发明一较佳实施例的包括I帧、P帧和B帧的视频帧序列中的示范性参考视频帧的示意图。如图1B所示，其中示出了示范性视频帧序列102，其中包括I帧、B帧和P帧。视频帧序列102代表采用类似MPEG1或者MPEG2方法编码的示范性视频帧序列。尽管如此，依照本发明的实施例，任何其他适当的压缩标准也可适用，例如，MPEGv4部分10(AVC)或者H.264。视频帧序列102中示出的箭头的原点指示图像数据的参考帧，其用来与运动矢量数据或者其他图像转换信息一起使用，以估计箭头所指向的帧。在这点上，箭头起始于被参考帧(reference frame)，并指向参考帧(referencing frame)。I帧、B帧和P帧是以显示顺序展示的，这些帧是以被参考帧居前、参考帧随后、再次参考帧再随后的顺序进行编码的。在这点上，客户端系统在解码参考帧(其依赖于一个或多个被参考帧)之前接收用于重建多个图像的数据。
I帧为帧内编码视频帧。例如，I帧中的图像数据是从编码像素数据中生成的，其中这些像素横跨(span)图像或者一部分图像的尺寸。在解码像素数据时，其可用来重建I帧，也可以用作参考数据来构建P帧和/或B帧。P帧为预测视频帧，其可通过使用来自另一图像或帧的参考解码像素数据以及用来描述图像数据应如何转换为P帧的信息来生成。例如，可对参考帧应用运动矢量、色调或亮度偏移，以生成P帧。在视频帧序列102中，在显示顺序上，P帧的显示将在其参考的I帧之后，一些P帧参考之前的P帧。B帧为双向预测帧，其参考两个先前解码的视频帧。此外，B帧也可作为再次参考帧，其中B帧可参考一参考过另一帧的帧。例如，B帧可参考P帧，该P帧参考I帧。在未偏置视频帧序列102中，参考在视频帧序列中的多个帧之间创建依赖性。当一个或多个参考帧所依赖的I帧或者另一帧的信息在传输(媒体源服务器107和客户端系统109之间)过程中发生丢失或者损坏时，多个帧将发生丢失，并且无法有效的重建。这将导致同步性的丢失和/或可察觉的视频帧中断。
示范性的视频帧序列104代表采用偏置的编码帧方法的结果，其中，用来构建图像的帧的数量降至一个或两个。当I帧(例如视频帧序列104中依照显示顺序的最后一个I帧)中的图像数据与在前的B帧非常不同时，可使用重建B帧的第二选项，如虚线参考箭头所示。此外，当参考的P帧在传输过程中发生丢失时，也可使用第二选项。在本发明的多个实施例中，I帧之间的P帧和B帧可能很少，以此来降低到一个级别的依赖性的参考。因此，与使用由视频帧序列102所标识的编码方法所压缩的数据相比，视频帧序列104中使用采用了偏置的编码方法所压缩的数据可包括数量更多的数据，其压缩比也更低。然而，处理视频帧序列104时所使用的编码方法在客户端系统109中重建视频帧时提供了更大的可靠性，并且提供了更高的同步性能。
在操作过程中，媒体源服务器107捕获多媒体数据，例如，未编码媒体数据125，或者读取存储的多媒体数据，例如编码媒体121。在使用未编码媒体125时，源服务器107支持在媒体上添加偏置，以限制每一视频帧的依赖性。在使用编码媒体121时，媒体将由转码器123进行解码，然后采用偏置进行编码，以限制帧的依赖性。在这点上，转码器123所输出的编码媒体可能遵循也可能不遵循编码媒体121所采用的相同标准。源编码媒体129将由转码器123和/或编码器127输出。源编码媒体129标记了时间戳，以生成带时间戳非参考帧数据129a、带时间戳参考帧数据129b和带时间戳音频数据129c。带时间戳的数据将发往协议栈路径137，在这里，分类后的和标记了时间戳的视频帧129a和129b将进行打包，然后通过支持更健壮的分组传送的栈路径137a和/或支持更低健壮性的分组传送的栈路径137b进行发送。打包后的源编码媒体129将通过双路径或者通过一条集成的路径发往单个PHY 143。PHY 143将打包的带时间戳源编码媒体129通过物理介质发往客户端系统109中的单个PHY 145。PHY 145发送打包的源编码非参考帧129a给更加健壮的路径147a，将打包的源编码参考帧129b发往更低健壮性路径147b。协议栈路径147用于传送源编码媒体129给双或者集成路径队列149。队列管理151中的视频图像恢复和音频同步155，以及拼接和丢帧处理153对丢失或者损坏的视频帧进行补偿，例如，使用帧丢弃、帧重复和/或丢帧插入和重组估计帧方法。将带时间戳的源编码帧和估计帧与带时间戳的音频进行同步，并发往解码器157。未编码媒体159将由客户端系统109使用。在本发明的多个实施例中，未编码媒体159可采用更高级压缩比进行编码，以便进行随后的存储。
图2是依据本发明一较佳实施例的用于选择性地处理以及通过多个路径来传送多媒体数据的示范性媒体源服务器的示意图。如图2所示，其中示出了媒体源服务器207、媒体捕捉设备217、应用层处理219、可选的编码媒体121、可选的偏置转码器123、未编码媒体125、偏置编码器127、带时间戳非参考帧数据129a、带时间戳参考帧数据129b、带时间戳音频数据129c、传输层路径231、传输路径一231a、传输路径二231b、互联网协议(IP)路径237、健壮IP路径一237a、较低健壮性IP路径二237b、链路层路径239、链路路径一239a、链路路径二239b和PHY 143。
媒体源服务器207类似于或者与图1A中描述的媒体源服务器107完全相同。
媒体捕捉设备217可以是能够捕捉多媒体数据的任何适当的设备，例如视频摄像机和麦克风、蜂窝电话或安装有摄像头和麦克风的笔记本计算机。在本发明的多个实施例中，存储设备用于存储信息，包括由视频源服务器107分发的多媒体数据。
应用层219可包括适当的逻辑、电路和/或代码，用于使用偏置来编码视频帧，以及基于每一帧所依赖的帧的数量来分析和对编码视频帧进行分类。可选的编码媒体121、可选的偏置转码器123、未编码媒体125、偏置编码器127、带时间戳非参考帧数据129a、带时间戳参考帧数据129b、带时间戳音频数据129c类似于图1A中对应编号的器件，或者与其完全相同。在这点上，可选的编码媒体121、可选的偏置转码器123可应用在多个实施例中，用来分发从存储设备中取回的多媒体数据。
传输层路径231可包括适当的逻辑、电路和/或代码，用于为编码媒体数据(应用层219所输出的)实现传输层服务。在这点上，传输层路径231包括双路径，其可提供的可靠性级别是可变的。例如，更具健壮性的传输路径一231a可依据TCP/IP协议来封装带时间戳非参考帧数据129a。通过这种方式，对于健壮帧的重建和客户端系统109上的音频和视频数据的同步来说更为重要的帧数据将以最可靠的方式传送。尽管TCP/IP传送比其他传输层方法要慢，但通过TCP/IP传送的分组将得到保证，并且分组是按顺序传送的。此外，健壮性较差但速度更快的传送路径二231b可依据UDP协议来封装带时间戳参考数据129b。通过这种方式，健壮性较差的传输路径二231b负责传送对于健壮帧的重建和客户端系统109上的同步而言重要性较低的帧数据。例如，在重建视频帧和在客户端系统109上进行音频同步时，丢失的参考帧将得到补偿。例如，客户端系统109中的拼接和丢帧处理153和视频图像恢复和音频同步155模块可较容易地恢复丢失或损坏的参考帧129b(与这些帧所参考且丢失的帧相比)。
IP路径237可包括适当的逻辑、电路和/或代码，用于实现不同安全级别的互联网协议。例如，TCP/IP传输路径-1 231a所输出的带时间戳非参考帧数据129a可由健壮互联网路径-1 237a进行高级安全性加密。在这点上，可使用IPsec来加密和/或验证通过健壮互联网路径-1 237a传送的每一分组。通过这种方式，关键的视频帧129a将受到保护，防止被未授权实体截获。尽管如此，由UDP处理的重要性较低的带时间戳参考帧数据129b可由较低健壮性IP路径-2 237b进行处理。较低健壮性IP路径-2 237b可使用IPv4或者IPv6协议，这些协议不对帧数据进行加密。IPv4或者IPv6将足以完成129b的传送，因为在不使用非参考帧129a来恢复视频帧时，参考帧129b是无用的。
链路层路径239可包括适当的逻辑、电路和/或代码，用于基于向PHY 143传送时的优先级来对帧分组进行分类，以及在有线和/或无线通信网络160中执行路由操作。在这点上，链路路径-1 239a处理非参考帧数据分组，这些分组由健壮IP路径-1 237a输出。链路路径-2 239b处理参考帧数据分组，这些分组由较低健壮性IP路径-2 237b输出。链路层路径239可基于分组所属的视频帧序列以及分组是否包含非参考或参考帧来设置队列中分组的传送优先级。例如，一视频帧序列中的非参考帧首先发送。随后，同一视频帧序列中的参考帧进行发送。在一个视频帧序列中的所有帧发送完毕后，下一视频帧序列开始进行处理。
在操作过程中，媒体由视频源服务器207中的媒体捕捉设备217捕捉，并由编码器127采用偏置方式来进行编码，以限制参考帧的依赖性。编码视频帧将依据目标帧所依赖的帧的数量来进行分析和分类。视频和音频帧是标记了时间戳的，相比所依赖的帧的数量较多的帧而言，依赖性较低的视频帧将分配到较高的优先级。同理，还可为高优先级帧分配可确保分组传送的高级外部服务质量(QoS)。高优先级帧例如来自帧数据129a的帧将发往传输路径-1 231a，用于通过TCP/IP传输服务传送，随后发往健壮IP路径-1 237a进行加密，然后发送到链路路径-1 239a中的队列中。此外，低优先级帧，例如来自帧数据129b的帧将发往传输路径-2 231b进行UDP传输服务，随后发往IP路径-2237b，然后发往链路路径-2 239b中的队列中。PHY 143在传送来自第二视频帧的所有分组之前，先传送包含来自第一视频帧序列中的帧的所有分组。此外，PHY143在传送视频帧序列中的包含低优先级帧数据的分组之前，先传送同一视频帧序列中包含高优先级帧数据的分组。
图3是依据本发明一较佳实施例的用于实现对多媒体数据的选择性传送的示范性步骤的流程图。步骤300为开始步骤。在步骤302，在媒体源服务器107中，取回或者捕捉视频帧和/或音频。在步骤304，如果视频帧未进行编码，则执行步骤306。在步骤306，在应用层219中，对于视频帧序列，带有偏置的帧将进行编码，这是通过分析视频帧以及基于该视频帧所参考的帧的数量来设置每一帧的优先级的方式来进行的。最高的优先级将分配给独立帧，该独立帧不参考其他帧。每个帧可参考的帧的数量是有限的或者可以调整的。在步骤308，在应用层219中，非参考帧129a、参考帧129b和音频帧129c将标记时间戳。在步骤310，帧将依据其优先级来传送到客户端系统109，其中通过健壮和安全路径137a发送高优先级帧，通过快速但健壮性较低的路径发送低优先级帧。在步骤312，在客户端系统109中，接收通过多个路径发送的帧并将其组合为视频帧序列。丢失帧可通过跳过帧、重复帧或者插入丢失帧并调整对应的音频时间或音频偏移的方式来进行补偿。在步骤314中，对视频帧进行解码。步骤316为示范性结束步骤。在步骤304，如果视频帧进行了编码，则转到步骤318，在步骤318，对视频帧进行解码。
在本发明的一个实施例中，客户端系统109从媒体源服务器107接收视频帧序列和对应的音频并对其进行处理。在视频帧序列中，一部分视频帧包含一些数据，这些数据可用来在客户端系统109中独立于其他视频帧中的数据来重建视频帧。视频帧的独立部分通过第一通信路径以低数据率接收。来自视频帧序列的另一部分视频帧在重建过程中依赖于一个或多个其他的视频帧。存在依赖性的视频帧通过第二通信路径以较高的数据率接收。在这点上，媒体源服务器107在对视频帧序列中的视频帧进行编码时，限制每一帧的依赖性。此外，媒体源服务器107为存在依赖性的视频帧、独立视频帧和/或对应的音频数据标记时间戳。媒体源服务器107在更为健壮的协议栈中对独立视频帧应用更为健壮的处理，对存在依赖性的视频帧执行健壮性较低的处理。此外，媒体源服务器107对独立视频帧进行加密。与传送存在依赖性的视频帧相比，媒体源服务器107采用更为可靠的方法传送独立视频帧。媒体源服务器107可通过更快和/或可靠性更低的方法来传送存在依赖性的视频帧。
与包含存在依赖性的帧数据的视频帧相比，包含独立帧数据的视频帧将由客户端系统109采用更高的安全级别进行接收，并以更为健壮的方式进行处理。然而，包含存在依赖性的帧数据的视频帧将以更高的数据率接收。在本发明的多个实施例中，客户端系统109将独立的帧数据和存在依赖性的帧数据存储在不同的路径队列149中。在本发明的其他实施例中，客户端系统109将独立的帧数据和存在依赖性的帧数据存储在同一路径队列149中。独立帧数据用来补偿丢失的存在依赖性的视频帧，这是通过生成重复的视频帧和/或插入视频帧来实现的。将收到的音频内容与对应的收到的视频帧、重复视频帧和/或插入视频帧同步。此外，收到的、重复的和/或插入的视频帧将依照显示顺序进行组合和解码。在本发明的多个实施例中，音频内容可进行音频偏移。
本发明的另一实施例提供了一种机器和/或计算机可读存储器和/或介质，其中存储有机器码和/或计算机程序，其中包含可由机器和/或计算机执行的至少一个代码段，用于控制机器和/或计算机执行本文描述的一种应用于服务器和客户端可选视频帧路径的方法和系统。
因此，本发明可以通过硬件、软件，或者软、硬件结合来实现。本发明可以在至少一个计算机系统中以集中方式实现，或者由分布在几个互连的计算机系统中的不同部分以分散方式实现。任何可以实现所述方法的计算机系统或其它设备都是可适用的。常用软硬件的结合可以是安装有计算机程序的通用计算机系统，通过安装和执行所述程序控制计算机系统，使其按所述方法运行。在计算机系统中，利用处理器和存储单元来实现所述方法。
本发明还可以通过计算机程序产品进行实施，所述程序包含能够实现本发明方法的全部特征，当其安装到计算机系统中时，通过运行，可以实现本发明的方法。本申请文件中的计算机程序所指的是：可以采用任何程序语言、代码或符号编写的一组指令的任何表达式，该指令组使系统具有信息处理能力，以直接实现特定功能，或在进行下述一个或两个步骤之后，a)转换成其它语言、编码或符号；b)以不同的格式再现，实现特定功能。
本发明是通过几个具体实施例进行说明的，本领域技术人员应当明白，在不脱离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或具体情况，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。
Claims (10)
1.一种通信方法，其特征在于，包括：
由客户端设备从媒体源接收视频帧序列，其中：
所述视频帧序列中的依赖于一个或者多个其他视频帧的存在依赖性的视频帧通过第一通信路径接收；以及
所述视频帧序列中的独立于一个或者多个其他视频帧的独立的视频帧通过第二通信路径接收；以及
所述客户端设备处理所述收到的视频帧序列和从所述媒体源接收到的对应的音频内容。
2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括，在所述客户端系统中，相比所述存在依赖性的视频帧，对所述独立的视频帧施加更为健壮的处理。
3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括，相比所述存在依赖性的视频帧，以更高的安全级别接收所述独立的视频帧。
4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括，在所述客户端系统中，将所述存在依赖性的视频帧和所述独立的视频帧分别存储在单独的队列中。
5.根据权利要求1所述的方法，其特征在于，所述方法进一步包括，在所述客户端系统中，将所述存在依赖性的视频帧和所述独立的视频帧一同存储在单个队列中。
6.根据权利要求1所述的方法，其特征在于，所述方法进一步包括，基于收到的独立的视频帧，生成重复的和/或插入的视频帧，以补偿所丢失的多个所述存在依赖性的视频帧。
7.一种通信系统，其特征在于，包括：
客户端中的一个或多个电路，所述一个或多个电路用于从媒体源接收视频帧序列，其中：
所述视频帧序列中的依赖于一个或者多个其他视频帧的存在依赖性的视频帧通过第一通信路径接收；以及
所述视频帧序列中的独立于一个或者多个其他视频帧的独立的视频帧通过第二通信路径接收；以及
所述一个或多个电路用于处理所述收到的视频帧序列和从所述媒体源接收到的对应的音频内容。
8.根据权利要求7所述的系统，其特征在于，所述一个或多个电路用于，在所述客户端系统中，相比所述存在依赖性的视频帧，对所述独立的视频帧施加更为健壮的处理。
9.根据权利要求7所述的系统，其特征在于，所述一个或多个电路用于，相比所述存在依赖性的视频帧，以更高的安全级别接收所述独立的视频帧。
10.根据权利要求7所述的系统，其特征在于，所述一个或多个电路用于，在所述客户端系统中，将所述存在依赖性的视频帧和所述独立的视频帧分别存储在单独的队列中。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/365,045 US20100199322A1 (en) | 2009-02-03 | 2009-02-03 | Server And Client Selective Video Frame Pathways |
| US12/365,045 | 2009-02-03 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101867801A true CN101867801A (zh) | 2010-10-20 |
| CN101867801B CN101867801B (zh) | 2012-12-12 |
Family
ID=41698265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010101193361A Expired - Fee Related CN101867801B (zh) | 2009-02-03 | 2010-01-29 | 一种通信方法和通信系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20100199322A1 (zh) |
| EP (1) | EP2214413A3 (zh) |
| CN (1) | CN101867801B (zh) |
| HK (1) | HK1149403A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156867A (zh) * | 2010-12-27 | 2011-08-17 | 汉王科技股份有限公司 | 图像序列拼接方法和装置 |
| CN108282670A (zh) * | 2017-01-05 | 2018-07-13 | 纳宝株式会社 | 用于实时影像合成的代码转换器 |
| CN111556334A (zh) * | 2020-03-27 | 2020-08-18 | 李惠芳 | 一种互联网视频平滑方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8861570B2 (en) * | 2010-02-03 | 2014-10-14 | Qualcomm Incorporated | Methods and apparatuses for beacon transmission |
| US20110307631A1 (en) * | 2010-06-09 | 2011-12-15 | Sangbong Park | System and method for providing asynchronous data communication in a networked environment |
| EP3232667A1 (en) * | 2016-04-12 | 2017-10-18 | EVS Broadcast Equipment SA | Modular software based video production server, method for operating the video production server and distributed video production system |
| US10623830B1 (en) * | 2018-12-13 | 2020-04-14 | Facebook, Inc. | Dual-representation streaming frames |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4040088A (en) * | 1974-01-10 | 1977-08-02 | Rca Corporation | Adaptor for inter-relating an external audio input device with a standard television receiver, and an audio recording for use therewith |
| US6104441A (en) * | 1998-04-29 | 2000-08-15 | Hewlett Packard Company | System for editing compressed image sequences |
| US6499060B1 (en) * | 1999-03-12 | 2002-12-24 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
| KR20010053814A (ko) * | 1999-12-01 | 2001-07-02 | 윤종용 | 영상 부호화 시스템의 부호화방식 선택장치 및 방법 |
| JP2001202698A (ja) * | 2000-01-19 | 2001-07-27 | Pioneer Electronic Corp | オーディオ及びビデオ再生装置 |
| FI120125B (fi) * | 2000-08-21 | 2009-06-30 | Nokia Corp | Kuvankoodaus |
| EP1313318A1 (en) * | 2000-08-25 | 2003-05-21 | Matsushita Electric Industrial Co., Ltd. | Data transmission method and data relay method |
| EP1725038A3 (en) * | 2001-03-12 | 2009-08-26 | Polycom, Inc. | A low-delay video encoding method for concealing the effects of packet loss in multi-channel packet switched networks |
| US20050152397A1 (en) * | 2001-09-27 | 2005-07-14 | Junfeng Bai | Communication system and techniques for transmission from source to destination |
| US20040016000A1 (en) * | 2002-04-23 | 2004-01-22 | Zhi-Li Zhang | Video streaming having controlled quality assurance over best-effort networks |
| US20030236904A1 (en) * | 2002-06-19 | 2003-12-25 | Jonathan Walpole | Priority progress multicast streaming for quality-adaptive transmission of data |
| US20030235249A1 (en) * | 2002-06-25 | 2003-12-25 | Chengji Zhao | Video encoder and method for encoding video frames |
| JP4355659B2 (ja) * | 2002-10-21 | 2009-11-04 | パナソニック株式会社 | データ処理装置 |
| US20040154041A1 (en) * | 2003-01-24 | 2004-08-05 | Zhang Gary Xiao-Liang | Optimized data streaming and uses thereof |
| JP2004294474A (ja) * | 2003-03-25 | 2004-10-21 | Pioneer Electronic Corp | コンテンツ提供システム、方法およびプログラム |
| SE526415C2 (sv) * | 2003-07-10 | 2005-09-13 | Telia Ab | Metod och system för ojämn distribution av data |
| US20050175085A1 (en) * | 2004-01-23 | 2005-08-11 | Sarnoff Corporation | Method and apparatus for providing dentable encoding and encapsulation |
| KR100615698B1 (ko) * | 2004-07-22 | 2006-08-25 | 삼성전자주식회사 | 무선환경하에서 프레임 전송 방법 및 시스템 |
| KR20060114080A (ko) * | 2005-04-27 | 2006-11-06 | 삼성전자주식회사 | 멀티미디어 스트리밍 서비스 시스템 및 방법 |
| US8134644B2 (en) * | 2005-10-15 | 2012-03-13 | Cooper J Carl | Audio synchronizer control and communications method and apparatus |
| US20070091926A1 (en) * | 2005-10-21 | 2007-04-26 | Apostolopoulos John G | Method for optimizing portions of data from a plurality of data streams at a transcoding node |
| US20070097205A1 (en) * | 2005-10-31 | 2007-05-03 | Intel Corporation | Video transmission over wireless networks |
| US20070154185A1 (en) * | 2006-01-04 | 2007-07-05 | Wade Wan | Method and system for transcoding video information to enable digital video recording (DVR) trick modes |
| US8214516B2 (en) * | 2006-01-06 | 2012-07-03 | Google Inc. | Dynamic media serving infrastructure |
| JP4730183B2 (ja) * | 2006-04-17 | 2011-07-20 | 株式会社日立製作所 | 映像表示装置 |
| US7895341B2 (en) * | 2007-04-11 | 2011-02-22 | The Directv Group, Inc. | Method and apparatus for file sharing between a group of user devices with separately sent crucial portions and non-crucial portions |
| CN101312536B (zh) * | 2007-05-24 | 2011-03-02 | 中兴通讯股份有限公司 | 一种用于视频传输差错控制的视频编码方法及装置 |
| KR20090002939A (ko) * | 2007-07-05 | 2009-01-09 | 삼성전자주식회사 | 디지털 방송 서비스에 있어서 비디오 데이터 송수신 장치및 방법 |
| US8798150B2 (en) * | 2008-12-05 | 2014-08-05 | Motorola Mobility Llc | Bi-directional video compression for real-time video streams during transport in a packet switched network |
| US8364024B2 (en) * | 2009-02-03 | 2013-01-29 | Broadcom Corporation | Constructing video frames and synchronizing audio data in a media player from data received via a plurality of diverse protocol stack paths |
-
2009
- 2009-02-03 US US12/365,045 patent/US20100199322A1/en not_active Abandoned
-
2010
- 2010-01-25 EP EP10000713A patent/EP2214413A3/en not_active Withdrawn
- 2010-01-29 CN CN2010101193361A patent/CN101867801B/zh not_active Expired - Fee Related
-
2011
- 2011-04-01 HK HK11103314.0A patent/HK1149403A1/xx not_active IP Right Cessation
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156867A (zh) * | 2010-12-27 | 2011-08-17 | 汉王科技股份有限公司 | 图像序列拼接方法和装置 |
| CN102156867B (zh) * | 2010-12-27 | 2013-02-20 | 汉王科技股份有限公司 | 图像序列拼接方法和装置 |
| CN108282670A (zh) * | 2017-01-05 | 2018-07-13 | 纳宝株式会社 | 用于实时影像合成的代码转换器 |
| CN111556334A (zh) * | 2020-03-27 | 2020-08-18 | 李惠芳 | 一种互联网视频平滑方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| HK1149403A1 (en) | 2011-09-30 |
| EP2214413A2 (en) | 2010-08-04 |
| CN101867801B (zh) | 2012-12-12 |
| US20100199322A1 (en) | 2010-08-05 |
| EP2214413A3 (en) | 2013-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101867692B (zh) | 一种通信方法和通信系统 | |
| CN101867801B (zh) | 一种通信方法和通信系统 | |
| Wang et al. | 4G wireless video communications | |
| JP5141197B2 (ja) | 符号化装置 | |
| CN100550999C (zh) | 一种数字频道快速切换方法和系统以及辅助频道生成设备 | |
| US10609420B2 (en) | Reducing visible artifacts during playback of a video file for recorded real-time video communications | |
| US8311092B2 (en) | Network packet aware data encoding | |
| JP2012505569A (ja) | 多視点メディアデータ | |
| US20100238792A1 (en) | Information acquisition system, transmit apparatus, data obtaining apparatus, transmission method, and data obtaining method | |
| CN105429983B (zh) | 采集媒体数据的方法、媒体终端及音乐教学系统 | |
| JP2005229587A (ja) | 多重化方式変換装置 | |
| CN106791997B (zh) | 一种在接收端的流媒体数据的处理方法及系统、电视终端 | |
| CN101193311A (zh) | 一种p2p系统中音视频数据的同步方法 | |
| CN103916714A (zh) | 一种无线网络视频流抗丢包预处理及恢复方法 | |
| KR101584111B1 (ko) | 클라우드 컴퓨팅을 이용한 멀티미디어 서비스 품질 향상 방법 및 이를 위한 기기 | |
| JP6451629B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| WO2023273535A1 (zh) | 视频码流的处理方法、介质、程序产品和电子设备 | |
| JP2003230136A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP6197708B2 (ja) | 動画像伝送システム、動画像符号化装置、動画像復号装置及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム | |
| CA3071560C (en) | Transmission apparatus, transmission method, reception apparatus, and reception method | |
| WO2023078048A1 (zh) | 视频比特流封装、解码、访问方法及装置 | |
| US8571392B2 (en) | Apparatus for video recording and reproducing, and method for trick play of video | |
| KR20170077907A (ko) | 통신 시스템에서 데이터 송수신 장치 및 방법 | |
| JP2006229618A (ja) | 映像通信システム、映像通信装置、プログラム、及び映像通信方法 | |
| WO2023170679A1 (en) | Synchronization of multiple content streams |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1149403 Country of ref document: HK |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1149403 Country of ref document: HK |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20180503 Address after: Singapore Singapore Patentee after: Avago Technologies Fiber IP Singapore Pte. Ltd. Address before: Park Road, Irvine, California, USA, 16215, 92618-7013 Patentee before: Zyray Wireless Inc. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121212 Termination date: 20180129 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |