CN101313536A - 视频电话的视频包成形 - Google Patents

视频电话的视频包成形 Download PDF

Info

Publication number
CN101313536A
CN101313536A CNA2006800437110A CN200680043711A CN101313536A CN 101313536 A CN101313536 A CN 101313536A CN A2006800437110 A CNA2006800437110 A CN A2006800437110A CN 200680043711 A CN200680043711 A CN 200680043711A CN 101313536 A CN101313536 A CN 101313536A
Authority
CN
China
Prior art keywords
video
video packets
size
audio pack
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800437110A
Other languages
English (en)
Other versions
CN101313536B (zh
Inventor
李彦辑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101313536A publication Critical patent/CN101313536A/zh
Application granted granted Critical
Publication of CN101313536B publication Critical patent/CN101313536B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0006—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission format
    • H04L1/0007—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission format by modifying the frame length
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0014—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0015—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867—Arrangements specially adapted for the transmitter end
    • H04L1/1874—Buffer management
    • H04L1/1877—Buffer management for semi-reliable protocols, e.g. for less sensitive applications like streaming video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2416—Real-time traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2425—Traffic characterised by specific attributes, e.g. priority or QoS for supporting services specification, e.g. SLA
    • H04L47/2433—Allocation of priorities to traffic types
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/36—Flow control; Congestion control by determining packet size, e.g. maximum transfer unit [MTU]
    • H04L47/365—Dynamic adaptation of the packet size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H04N21/23655—Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/148—Interfacing a video terminal to a particular transmission medium, e.g. ISDN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0231—Traffic management, e.g. flow control or congestion control based on communication conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/02—Processing of mobility data, e.g. registration information at HLR [Home Location Register] or VLR [Visitor Location Register]; Transfer of mobility data, e.g. between HLR, VLR or external networks
    • H04W8/04—Registration at HLR or HSS [Home Subscriber Server]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L2001/0092—Error control systems characterised by the topology of the transmission link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/12—Wireless traffic scheduling

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及用于视频电话(VT)的视频包成形技术。所述技术可用来将音频包列入优先，以便减少音频延迟。信道条件、过多的视频内容或两者均可导致音频传输中的延迟。当减少反向链路(RL)处理量时，视频包大小可占满所述RL并增加音频延迟。所述视频包可消耗过多数目的MAC RLP包，从而导致连续音频包之间的延迟。对每个视频包的大小进行调整，以便将音频包列入优先以无实质延迟地进行传输。可基于信道条件来控制所述视频包大小。可无实质延迟地传送音频，即使视频可能因信道条件而遭受延迟。虽然视频可能会受信道条件损害，但视频包成形确保VT方能够流畅地进行口头会话。

Description

视频电话的视频包成形
技术领域
本发明涉及视频电话(VT)，且更确切地说，涉及在VT系统中组装音频和视频包以供传输的技术。
背景技术
视频电话(VT)涉及对载运音频和视频数据的包进行实时传送。每个VT装置包含视频编码器，其从例如摄像机或视频档案等视频捕获装置获得视频，并产生视频包。类似地，每个VT装置中的音频编码器从例如麦克风或语音合成器等音频捕获装置获得音频，并产生音频包。将所述视频包和音频包放置在无线电链路协议(RLP)队列中。媒体接入控制(MAC)层模块从RLP队列的内容产生媒体接入控制(MAC)层包。将MAC层包转换成物理(PHY)层包，以供经由通信信道传输到另一VT装置。
在移动VT应用中，VT装置经由从基站到无线终端的无线前向链路(FL)(或“下行链路”)接收物理层包。VT装置经由从无线终端到基站的无线反向链路(RL)(或“上行链路”)传输PHY层包。每个VT装置包含PHY和MAC层，以便转换接收到的PHY和MAC层包，并将所述包有效负载重新组装成音频包和视频包。VT装置内的视频解码器对视频数据进行解码，以便经由显示装置呈现给用户。VT装置内的音频解码器对音频数据进行解码，以便经由音频扬声器呈现。
无线环境下的移动VT可具有挑战性。无线信道上的数据速率受到限制且随着时间而变动。举例来说，在CDMA2000 1x EV-DO 0版网络中，数据速率可能会因无线覆盖区域内的条件或多个VT用户间的业务拥塞而变动。此外，当数据速率下降到零时，例如当没有数据要发送时，恢复成合理数据速率可能需要时间。结果，移动VT可易于遭受不合意的视频和音频延迟，这会削弱实时地执行流畅的视频会议的能力。
发明内容
一般来说，本发明针对VT应用的视频包成形技术。所述视频包成形技术可用来将音频包列入优先，以便减少音频延迟。信道条件、过多的视频内容或两者可导致音频包传输的显著延迟。当反向链路(RL)处理量减少时，视频包大小可占满RL且增加音频延迟。确切地说，视频包可填充RLP队列并消耗过多数目的MAC层包，从而导致载运音频包的MAC层包的连续传输之间出现延迟。
根据所揭示的技术，对每个视频包的大小进行调整，以便将音频包列入优先以用于无实质延迟地传输。确切地说，对提交给RLP队列的每个视频包的大小进行控制，以确保及时地传输音频。举例来说，可将视频包的大小确定为使得每个音频包可与从RLP队列取出的下一可用MAC层包一起发送。以此方式，可在应用层处为音频包提供服务质量(QoS)。
可基于例如无线信道等信道的估计处理量来控制视频包大小。可基于信道条件来估计处理量，所述信道条件由当前的无线信道传输速率、无线基站活动性或传输功率限制来表示。可无实质延迟地传送VT会议的音频部分，即使视频部分可能会因信道条件遭受延迟。虽然视频可能会受信道条件损害，但视频包成形确保VT会议各方仍然能够流畅地执行口头会话。
此外，在有些实施例中，视频包成形技术可进一步包含基于视频缓冲占用率的自适应源速率控制。在此情况下，如果信道条件不支持视频编码速率，则考虑到列入优先的音频包化的需要，可降低源视频编码速率。举例来说，可基于驻存在视频缓冲器中的未包化视频帧数据的量来调整视频编码速率。
在一个实施例中，本发明提供一种方法，其包括：产生音频包、估计无线信道的处理量，以及产生具有基于估计的处理量而确定的视频包大小的视频包。
在另一实施例中，本发明提供一种系统，其包括：音频编码器，其产生音频数据；音频缓冲器，其接收音频数据并输出音频包；视频编码器，其产生视频数据；包化器，其估计无线信道的处理量，从视频数据产生具有基于估计的处理量而确定的视频包大小的视频包。
在额外的实施例中，本发明提供一种计算机可读媒体，其包括致使处理器执行以下操作的指令：产生音频包、估计无线信道的处理量，并产生具有基于估计的处理量而确定的视频包大小的视频包。
在有些实施例中，基于估计的处理量、音频包的大小和在将视频包放置在输出队列中之前含有所述音频包的输出队列中的经缓冲数据的大小，来确定视频包大小。可将视频包的大小确定为使得可将音频包放置在从输出队列的内容产生的下一可用MAC层包中。
在附图和以下描述中阐述一个或一个以上实施例的细节。从描述和图式中且从权利要求书中将容易明白其它特征、目的和优点。
附图说明
图1是说明用于VT应用的视频/音频编码和解码系统的方框图。
图2是说明由于过多视频内容、较差的信道条件或两者而导致的音频延迟的方框图。
图3是说明用于固定长度的视频包成形的技术的方框图。
图4是说明用于信道自适应视频包成形的技术的方框图。
图5是说明实施信道自适应视频包成形技术的视频/音频编码系统的方框图。
图6是说明在一定范围信道条件下的信道自适应视频包成形的方框图。
图7是更详细地说明在一定范围信道条件下的信道自适应视频包成形的方框图。
图8是说明信道自适应视频包成形的技术的流程图。
具体实施方式
图1是说明视频编码和解码系统10的方框图。如图1所示，系统10包含编码器系统12和解码器系统14，其由传输信道16连接。编码器系统12与第一视频通信装置相关联，且包含视频编码器20、音频编码器22、视频包化器24、实时传输协议(PTR)/用户数据报协议(UDP)/因特网协议(IP)/点对点协议(PPP)转换模块26、无线电链路协议(RLP)队列28、MAC层模块30和PHY层模块32。解码器系统14与另一视频通信装置相关联，且包含PHY层模块34、MAC层模块36、RLP队列38、RTP/UDP/IP/PPP转换模块40、视频解码器42和音频解码器44。如将描述，包化器24基于信道条件执行视频包成形，以便将音频包传输列入优先并进而避免过多的音频延迟。
系统10可经由传输信道16(例如)为视频电话提供双向视频和音频传输。相应地，可在信道16的相反端提供一般相反的编码、解码和转换模块。在有些实施例中，编码器系统12和解码器系统14可包含在视频通信装置内，例如装备用于视频串流传输、视频电话或两者的无线移动终端。移动终端可根据例如RTP、LDP、IP或PPP等包交换标准支持VT。RTP/UDP/IP/PPP转换模块向从音频编码器22和视频包化器24接收的音频和视频数据添加适当的RTP/UDP/IP/PPP标头数据，且将所述数据放置在RLP队列28中。RTP在UDP上运行，而UDP在IP上运行，且IP在PPP上运行。MAC层模块30从RLP队列28的内容产生MAC RLP包。PHY层模块30将MAC RLP包转换成PHY层包以以用于在信道16上传输。
解码系统14的PHY层模块34和MAC层模块36以相反方式操作。PHY层模块34将从信道16接收的PHY层包转换成MAC RLP包。MAC层模块36将MAC RLP包放置到RLP队列38中。RTP/UDP/IP/PPP转换模块40从RLP队列38中的数据中剥离标头信息，并重新组装视频和音频数据以供分别传递到视频解码器42和音频解码器44。
系统10可经设计以支持一种或一种以上无线通信技术，例如码分多址(CDMA)、频分多址(FDMA)、时分多址(TDMA)或正交频分多路复用(OFDM)或另一合适的无线技术。以上无线通信技术可根据多种无线电接入技术中的任一者来传递。举例来说，可根据cdma2000或宽带CDMA(WCDMA)标准来传递CDMA。可根据全球移动通信系统(GSM)标准来传递TDMA。通用移动电信系统(UMTS)标准准许GSM或WCDMA操作。通常对于VT应用来说，系统10将经设计以支持例如cdma2000 1x EV-DO 0版本等高数据速率(HDR)技术。
视频编码器20根据例如MPEG-4等视频压缩方法来产生编码的视频数据。可使用其它视频压缩方法，例如国际电信联盟(ITU)H.263、ITU H.264或MPEG-2方法。音频编码器22编码将伴随视频数据的音频数据。可从例如摄像机或视频档案等视频捕获装置获得视频。可根据例如自适应多速率窄带(AMR-NB)或其它技术等音频压缩方法来编码音频数据。可从例如麦克风或语音合成器装置等音频捕获装置获得音频。对于VT应用，视频将准许一方观看VT会议，且音频将准许听到所述方的讲话声音。
在操作中，RTP/UDP/IP/PPP转换模块26从视频编码器20和音频编码器22获得视频和音频数据包。RTP/UDP/IP/PPP转换模块26向音频包添加适当的标头信息，并将所得数据插入在RLP队列28内。同样，RTP/UDP/IP/PPP转换模块26向视频包添加适当的标头信息，并将所得数据插入在RLP队列28内。MAC层模块30从RLP队列28中检索数据，并形成MAC层包。每个MAC层包载运RTP/UDP/IP/PPP标头信息和RLP队列28内含有的音频或视频包数据。
独立于视频包将音频包插入在RLP队列28中。然而，包化器24控制添加到RLP队列28的视频包的大小，使得每个音频包均可由下一可用MAC层包载运。在有些情况下，从RLP队列28的内容产生的MAC层包将只载运标头信息和视频包数据。在其它情况下，MAC层包将只载运标头信息和音频包数据。在许多情况下，MAC层包将载运标头信息、音频包数据和视频包数据，这取决于RLP队列28的内容。MAC层包可根据无线电链路协议(RLP)来配置，且可称为MAC RLP包。PHY层模块32可包含将MAC RLP音频-视频包转换成PHY层包以供经由信道16传输。
信道16将PHY层包载运到解码器系统14。信道16可为编码器系统12与解码器系统14之间的任何物理连接。举例来说，信道16可以是有线连接，例如局域或广域有线网络。或者，如本文中描述，信道16可以是无线连接，例如蜂窝式、卫星或光学连接。信道条件可能是有线和无线信道的关注因素，而且对于经由无线信道16执行的移动VT应用尤其成问题。
根据本发明，视频包化器24控制提供到RTP/UDP/IP/PPP转换模块26的每个视频包的大小，以便将音频的传输列入优先。确切地说，将视频包的大小确定为使得每个包均可由下一可用的MAC层包容纳。对视频包的大小进行控制防止了因信道条件、较大的视频包或两者导致的音频延迟。当有音频包可用时，将其放置在RLP队列中以包含在MAC层模块30所产生的下一可用MAC RLP包中。音频包可与大小已经过确定而准许将音频包放置在MAC RLP包内的空间的视频包组合。
视频包化器24经配置以在其能够基于信道条件来调整视频包大小的意义上成为信道自适应的。以此方式，编码器系统12可将音频包的传输列入优先，以避免在信道条件较差时发生音频延迟。同时，视频包化器24可确保将音频列入优先不会导致视频包被包化不足。换句话说，视频包化器24将视频包的大小确定得足够小而准许将一个或一个以上音频包包含在下一可用MAC RLP包中，但并未小到使MAC RLP包中的多余空间浪费。因此，视频包化器24可既支持将音频包列入优先，又支持对视频包的有效传输。
解码器系统14的PHY层模块34从PHY层包中识别出MAC层包，并将内容重新组装到MAC RLP包中。MAC层模块36接着对MAC RLP包的内容重新组装，以便提供视频和音频包以供插入在RLP队列38内。RTP/UDP/EP/PPP模块40剥离伴随的标头信息，并将视频包提供到视频解码器42，且将音频包提供到音频解码器44。视频解码器42解码视频数据帧，以产生视频数据的流以用于驱动显示装置。音频解码器44解码音频数据，以产生音频信息以例如经由音频扬声器呈现给用户。
如上所述，提供视频包化器24，用其来控制提交给RTP/UDP/IP/PPP转换模块26的视频包的大小。视频包化器24控制视频包的大小，以便将MAC RLP包中的音频包的传输列入优先，并防止视频包占满RLP队列28。以此方式，可无实质延迟地传送VT会议的音频部分，即使视频部分可能因信道条件遭受延迟。虽然视频可能会受信道条件损害，但视频包化器24确保参加VT会议的各方仍然能够流畅地执行口头会话。
由视频包化器24应用的包成形技术可应用一个或一个以上原则，以便确保将音频包的传输列入优先。根据一个原则，举例来说，应当在从RLP队列28的内容产生的紧接的下一个可用的MAC RLP包中发送音频包。音频编码器22以第一周期性间隔产生音频帧。MAC层模块30以第二周期性间隔产生MAC RLP包。应当将以给定间隔产生的音频帧放置在由MAC层模块30产生的下一可用MAC RLP包中。在有些实施例中，作为一个选项，RLP队列28的总输出队列大小连同音频包大小应当能够在一个MAC RLP包中载运。
可相对于VT序列的每个包应用各种原则。虽然有些视频包的大小可固有地用确保音频和视频可在单个MAC RLP包中载运的方式确定，但其它视频包可能较大且需要减小大小，以便确保音频和视频可在MAC RLP包中载运，特别是在信道条件恶化的时候。通过相对于VT序列的每个包应用所述技术，即使视频的内容庞大或信道带宽大致有限也可确保令人满意的语音通信。
对包化器24提交给RTP/UDP/IP/PPP转换模块26以供插入在RLP队列28中的每个视频包的大小进行控制。以上原则确保不会因庞大的视频内容消耗了连续的MAC RLP包而导致音频包延迟。而是，当音频可用时，将来自视频编码器20的视频划分成具有经选择以准许每个MAC RLP包载运音频和视频的大小的包。每个音频帧可用作提供到RLP队列28的音频包。或者，在有些实施例中，音频包可捆扎以连续间隔提供的多个音频帧。
在有些实施例中，视频包化器24可基于在连续音频帧之间产生的MAC层包的估计的信道处理量来为每个MAC层包确定视频包大小。可基于信道条件来估计处理量，所述信道条件由当前无线信道传输速率、无线基站活动性和传输功率限制中的一者或一者以上来表示。举例来说，可基于当前MAC层数据速率、反向活动(RA)位和功率放大器(PA)限制来确定信道条件。此外，在有些实施例中，视频编码器20可进一步包含基于视频缓冲器占用率的自适应源速率控制。在此情况下，如果信道条件不支持视频编码速率，则考虑到列入优先的音频包化的需要，可由视频编码器20降低源视频编码速率。
图2是说明因过多视频内容或较差的信道条件导致的音频延迟的图。如图2所示，音频编码器22产生音频帧46A、46B、46C(统称为帧46)，且视频编码器20产生视频帧48A、48B、48C(统称为帧48)。一系列连续的MAC RLP包50A-50F(统称为MAC RLP包50)可用来载运从帧46和48导出的音频包和视频包，将所述包在RLP队列28中缓冲。在音频编码器22产生了第一音频帧46A之后，MAC层模块30产生的下一可用MACRLP包是包50B。如果必要的话，包50C也可用来载运第一音频帧46A。然而，如果视频包占满RLP队列28的内容，则可能长时期内不传递音频帧46A。
每个MAC RLP包50具有从RL信道条件信息导出的相关联数据速率。在良好的RL条件下，每个MAC RLP包50载运每秒76.8千比特(76.8Kbps)的数据速率。然而，在较差的RL信道条件下，数据速率发生波动且通常较低，例如19.2Kbps或38.4Kbps。过多的视频内容、较差的信道条件或两者均可导致音频包的传输出现显著延迟。过大的视频包大小可占满RL并增加音频延迟，特别是在RL处理量因数据速率较低而减少的时候。
视频包如果不受控制，则可能会消耗过多量的MAC RLP包空间，从而导致音频包的连续传输之间出现延迟。在有些情况下，视频可能会消耗若干个连续的MAC RLP包50，从而使音频无法迅速传输。每个MAC RLP包50提供大约26.67ms的空间以供并入音频和视频包信息。在图2的实例中，大致与音频帧46A同时产生较大的视频帧48A。在此情形下，连续视频帧48A、48B彼此以133ms的时间间隔产生。然而，音频帧46B、46C彼此以仅60ms的时间间隔产生。
即使在良好的RL条件下，也可能没有足够的空间以并入音频帧46A以及音频帧46B和46C的音频包。而是，与视频帧48A相关联的视频包可能会消耗大部分MAC RLP包50B-50F，从而导致显著的音频延迟。在信道条件恶化时(如图2所示的较差的RL条件的情况下)，这个问题特别具有挑战性。为了在各种信道条件下缓解音频延迟，图1的系统10并入有视频包化器24，其控制从视频帧36导出的视频包的大小。通过相对于VT序列的每个包应用视频限制，视频包化器24可确保与VT序列相关联的音频不受损害。
图3是说明固定长度的视频包成形技术的图。固定长度的视频包成形提供了对音频延迟问题的部分解决方案。然而，固定长度的视频包成形并未考虑到信道条件。因此，视频可仍然在RL处理量减少时占满信道。此外，固定长度的包成形并未考虑到连续两个音频包之间的处理量，从而导致视频数据包化过度或包化不足。
在图3的实例中，通过每60ms将视频帧分段成固定大小的300字节包52A、52B、52C(统称为视频包52)来控制视频包的大小。将音频帧每60ms分段成固定大小的93字节包54A、54B、54C(统称为音频包54)。紧接在MAC RLP包56内的音频数据包54之后传输视频包52。在正常操作条件下，固定长度的视频包化会促进及时地传输MACRLP包56内的音频包54。
图3中说明的方法确保在良好的RL条件下无延迟地传输音频包。然而，如果RL条件恶化，则固定的300字节视频包52可占满RL，从而导致连续音频包54之间出现延迟。由于视频包52的长度固定，所以不能对RL条件的变化作出反应。在有些例子中，在良好的RL条件下，视频数据可能会包化不足，从而导致对每个MAC RLP包56提供的空间利用不足，并导致一般的带宽低效。在较差的RL条件下，固定大小的视频包52可能对于RL来说过大而难以处理，从而导致音频延迟。出于此原因，本发明提出可调整长度的视频包，其大小可响应于视频内容或带宽而自适应，以便为整个VT序列提供高质量的音频。
图4是说明信道自适应视频包成形技术的图。在图4的实例中，基于信道条件来调整视频包大小，以便可无实质延迟地传输音频包。视频包的大小不是固定的，而是每个视频包的大小基于音频包大小和信道条件来动态调整。在良好的RL条件下，可增加视频包大小，但不会大到使视频包会占满RL和引入音频延迟的程度。在较差的RL条件下，减小视频包的大小以便提供将音频帧包化并将其放置在下一可用的MAC RLP包中的空间。
如图4所示，当音频帧58A、58B、58C(统称为音频帧58)可用时，将视频帧60A、60B、60C(统称为视频帧48)的大小确定为可将相应音频帧放置在下一可用MAC RLP包62A、62B、62C(统称为MAC RLP包62)中。如图4中的箭头所指示，将每个音频帧58包化并接着放置在RLP队列28中以供包含在MAC层模块30所产生的下一可用MAC RLP包中，从而消除了音频包传输之间的过多延迟。参考数字64A、64B、64C(统称为64)表示放置在相应MAC RLP包62内的音频包，连同视频包数据。参考数字66A-66F(统称为66)表示放置在相应MAC RLP包62内的视频包，带有或不带有音频包。如图4所示，每个MAC RLP包62可只载运音频、只载运视频、或载运音频与视频两者，这取决于RLP队列28的内容。然而，在每个音频包间隔处，将视频包62的大小确定为准许将音频包64并入在下一可用的MAC RLP包62中。
值得注意的是，当可用的RL速率(例如)因信道条件而降低时，音频包58的大小相对于MAC RLP包62的大小而增加。换句话说，随着RL速率降低，每个音频包58消耗MAC RLP包62的较大部分，因为视频包的大小减小。相反，对每个视频包60的大小进行动态调整，使其随着RL速率的降低而消耗MAC RLP包62的较比例。以此方式，将视频包60的大小确定为准许将每个音频包58放置在下一可用的MAC RLP包62内。结果是，给予音频高于视频的优先级，以便减少音频延迟。
图5是说明实施根据本发明一实施例的信道自适应视频包成形技术的视频/音频编码系统12的方框图。如图5所示，编码系统12包含视频编码器20、音频编码器22、视频缓冲器68、音频缓冲器70、视频包化器24，包含有效负载大小估计器72和带宽有效包化器74、RTP/UDP/IP/PPP转换模块26、RLP队列28和反向业务信道(RTC)MAC单元76。RTC MAC单元76实施RTC MAC协议314，以便提供通信装置在RL上传输所遵循的程序。为了方便起见，在图5中未展示MAC层模块30和PHY层模块32。如将描述，有效负载大小估计器72基于一个或一个以上输入来控制每个视频包的大小。所述输入可能关于信道条件、RLP队列特征和音频包大小及状态。带宽有效包化器74基于有效负载大小估计器72所规定的估计的有效负载大小来产生视频包，其受到最小视频包大小的限制。
视频缓冲器68缓冲从视频编码器20接收的视频信息，并将所述视频信息传递到视频包化器24。音频缓冲器70缓冲从音频编码器22接收到的音频帧信息，并将所述信息传递到RTP/UDP/IP/PPP转换模块26。将音频和视频包彼此独立地插入在RLP队列29中。由视频包化器24产生的视频包的大小确保MAC层模块30(图5中未展示)所产生的下一可用MAC RLP包中将有充分的空间供音频包使用。确切地说，视频包未占满RLP队列28，从而确保RLP队列中的音频包可与下一MAC RLP包一起发送。
在图5的实例中，有效负载大小估计器72接收若干输入，其中包含音频包定时器、音频优先级值MACPredNumberPlus、RLP队列大小和信道信息。音频包定时器指示音频缓冲器70中目前是否有音频信息可用，且如果有的话，则是否有用于传递每个音频帧的时序。举例来说，如果以每20ms的间隔传递音频帧，则当音频帧可用时音频包定时器将被设定成20ms。在有些实施例中，音频缓冲器70可经配置以捆扎连续的音频帧以供并入在单个IP包中。在此情况下，音频包定时器可对应于捆扎到音频包中的帧数为多个。换句话说，音频包定时器可具有与捆扎的帧数成比例或以其它方式相关的值。举例来说，如果捆扎了三个音频帧，则可将音频定时器设定成60ms。因此，音频包定时器也指示由音频缓冲器70产生以供经由RTP/UDP/IP/PPP模块26插入在RLP队列28中的音频包的大小。
音频优先级值MACPredNumberPlus定义音频和视频的相对优先级，且因此会影响与音频和视频相关联的延迟。举例来说，将MACPredNumberPlus确立为使得优先级值越小，音频延迟就越低。相应地，随着MACPredNumberPlus增加，音频延迟增加且视频延迟减小。相反，随着MACPredNumberPlus减小，音频延迟减小且视频延迟增加。因此音频延迟遵循音频优先级值MACPredNumberPlus。有效负载大小估计器72使用MACPredNumberPlus值来控制每个视频包的大小，从而导致规定的音频包延迟，如同下文将更详细描述。
由有效负载大小估计器72接收到的RLP队列大小表示在RLP队列28中缓冲的当前数据的大小。有效负载大小估计器72使用RLP队列大小来控制视频包的大小。如果RLP队列28相对较满，则有效负载大小估计器72可调小视频包的大小，以避免占满RL和导致过多的音频延迟。如果RLP队列28较不满，则有效负载大小估计器72可增加视频包的大小，同时仍然提供充分的空间以供音频包使用。通过RLP队列大小，有效负载大小估计器72能够作为RLP队列28的充满度的函数来动态地调整视频包的大小。队列充满度可能指示视频内容过多、信道条件恶化或两者。使用RLP队列大小是有效负载大小估计器72可对视频内容过载或信道条件变化作出反应的方式之一。
有效负载大小估计器72也可通过监视RTC MAC单元76所提供的信道信息来更加直接地对信道条件的变化作出反应。RTC MAC单元76产生关于信道特征的信息，所述信道特征例如是当前MAC RL速率、组合RA位和净空限制。MAC RL速率指示RL上可用的当前传输速率。RA位是反向活动位，其指示相关无线基站是否繁忙。净空限制可指示基于当前传输功率而允许在传输时使用的最大速率。RA位指示RL何时因基站不活动而拥塞或不可用。PA限制表示传输功率净空，且指示何时信道条件已恶化。
有效负载大小估计器72基于各种输入来产生有效负载大小估计。如果MACPredNumberPlus优先级值指示应给予音频高优先级，则将有效负载大小估计选择为准许将音频包包含在下一可用MAC RLP包中。带宽有效包化器74从视频缓冲器68接收视频，且基于有效负载大小估计器72所规定的有效负载大小估计和最小视频包大小来将视频包化。最小视频包大小表示将要由包化器24产生的视频包的最小大小。实际上，最小视频包大小控制视频包大小的粒度和带宽效率。对于较小的最小视频包大小值，视频包成形在容纳音频方面更加有效，且进而避免音频延迟，但带宽效率较低。对于较大的最小视频包大小值，视频包成形在避免音频延迟方面效果较差，但提供较大的带宽效率。
如图5中进一步展示，视频编码器20可经配置以响应于来自视频缓冲器68的视频缓冲器占用率值。确切地说，在有些实施例中，视频编码器20基于视频缓冲器占用率而提供自适应的源速率控制特征。当视频缓冲器68相对较满时，视频编码器20通过减小视频编码速率来作出响应。当视频缓冲器68较不满时，视频编码器20提高源视频编码速率。以此方式，如果信道条件无法支持当前的视频编码速率，则减小视频编码速率。此自适应的源速率控制特征是可选的，但在有些应用中可能是合意的。
为了说明目的将描述额外的实施细节。这些细节应被视为是示范性的，而不限制本发明中广泛实施和描述的技术。对于cdma2000 1x EV-DO 0版本实施方案，可基于信道条件来估计RL处理量。3GPP2规范C.S0024-A(也称为TIAIS-856-A)、第11-143页、表11.9.6.1规定了在以Kbps计的传输速率方面表达的不同信道条件下对于MAC RLP包的以字节计的最小和最大有效负载大小。将表11.9.6.1再现如下：
表
  传输速率(Kbps)   最小有效负载大小(字节)   最大有效负载大小(字节)
  9.6Kbps   1   29
  19.2Kbps   30   61
  38.4Kbps   62   125
  76.8Kbps   126   253
  153.6Kbps   254   509
如果将上表中的每个传输级别表达为指数值，那么每个MAC RLP包的最大有效负载大小(包含音频和视频两者)如下：
最大有效负载大小＝2指数+4-3。
对于以上表达式，分别向9.6、19.2、38.4、76.8和153.6Kbps的传输速率级别指派指数值1、2、3、4和5。
图6是说明在一定范围信道条件下的信道自适应视频包成形的图。如图6所示，音频帧58A、58B、58C(统称为音频帧58)和视频帧60A、60B、60C(统称为视频帧60)、MAC RLP包62A-62F(统称为MAC RLP包62)每一者具有相关联的RL传输速率，且能够载运对应于那些传输速率的不同最大有效负载大小。举例来说，MAC RLP包62A、62C和62D具有38.4Kbps的RL传输速率，且每一者能够载运125字节的最大有效负载大小。MAC RLP包62B具有76.8Kbps的RL传输速率，且能够载运253字节的最大有效负载大小。MAC RLP包62E和62F具有19.2Kbps的RL传输速率，且每一者能够载运61字节的最大有效负载大小。
在示范性实施例中，可将有效负载大小估计器72的操作用伪码表达为算法。所述算法依赖于以下输入：RA位、PA限制、RL速率、RLPQueueSize、AudioPacketSize和MACPredNumberPlus。图5中也展示了这些输入。可从应用于有效负载大小估计器72的音频包定时器导出AudioPacketSize。如先前所提到，组合的RA位是指示基站活动状态的反向活动位，PA限制表示功率要求所强加的传输功率净空限制，且指示何时信道条件已经恶化，RL速率是RL的传输速率，RLPQueueSize指示RLP队列28的充满度，且AudioPacketSize指示当前音频包(即，将要添加到下一可用MAC RLP包的音频包)的大小。MACPredNumberPlus指示相对于视频包而应给予音频包的相对优先级。算法的输出是VideoPayloadSize。
为了初始化算法，将MACPredNumberPlus值设定如下：MACPredNumber＝floor((AudioFramesBundled*AudioFrameInterval)/26.67)+1+MACPredNumberPlus。
MACPredNumber表示载运含有单个音频帧或一组捆扎的音频帧的MAC RLP包所必需的MAC RLP包的数目。AudioFramelnterval表示音频帧之间的时间间隔。值26.67是为每个MAC RLP包分配的时间。因此，如果捆扎三个音频帧且音频帧间隔是20ms，且MACPredNumberPlus是零(这指示高音频优先级)，那么MACPredNumber是3。这意味着针对其将估计视频有效负载大小的MAC RLP包的预测数目是3。
对于每个捆扎的音频包，在发送捆扎的音频包之后，有效负载大小估计器72进行MAC音频处理量确定。MAC处理量确定可如以下伪码指示的那样进行：
Figure A20068004371100181
在以上MAC处理量确定中，MACThroughput是音频传输所需的处理量值，MACRateIncrease指示是否将基于反向活动来提高MAC RL速率，CurRate是当前的MACRL速率，MACPredRate是MAC RL速率的表达为指数值的提高量。如上文所指示，MACThroughput是可用于三个预测的MAC RLP包中的每一者的最大有效负载大小。
假定有每个MAC RLP包的最大有效负载大小MACThroughput，视频有效负载大小估计器72如下估计最大视频有效负载大小(VideoPayloadSize)：
其中RLPQueueSize指示RLP队列28的充满度，且AudioPacketSize表示将要添加到下一MAC RLP包的音频包的大小。值45是考虑到RTP/UDP/IP/PPP转换模块26引入的标头信息的RTP/UDP/IP/PPP额外开销的以字节计的固定数目。此固定额外开销数目的值可能在其它实施方案中是不同的。
图7是更详细说明在一定范围信道条件下的信道自适应视频包成形的图。有效负载大小估计器72适应于变化的信道条件(部分由RL传输速率来表示)，以便调整经呈现以并入在MAC层模块30从RLP队列28的内容产生的MAC RLP包中的视频包有效负载的大小。在图7的实例中，以60ms的间隔产生音频帧。在此情况下，每60ms作出关于接下来的三个MAC RLP包中的可用有效负载大小的决策。
如图7所示，在第一决策点78，在3处索引当前MAC RL速率以表示38.4Kbps，将RA位设定为零，PA限制等于4且RLP队列含有X1个字节。在此情况下，根据以上公式，将接下来的三个MAC RLP包中的每一者的处理量估计为253个字节。相应地，接下来的三个MAC RLP包上的总处理量是253+253+253个字节减去已放置在RLP队列28中的内容X1。因此，第一决策点50处的MACThroughput值是253+253+253-X1个字节。
在第二决策点80处、在60ms之后，再次在3处索引当前RL速率且PA限制是4，但将RA位设定成1而不是0。在此情况下，RA位指示基站繁忙且导致预测接下来的三个MAC RLP包上的处理量减少。确切地说，所估计的处理量MACThroughput是125+125+125-X2个字节，其中X2表示在第二决策点80之时RLP队列28的内容。
在第三决策点82处、在第二决策点78之后60ms，RA位是0，但RL速率已下降到2的指数值(19.2Kbps)且PA限制已下降到2的指数值。因此，在接下来的三个MACRLP包上的总处理量MACThroughput减少到61+61+61-X3个字节，其中X3表示在第三决策点82时RLP队列28的内容。
在MACThroughput减小时，可用于视频包的空间也因为将音频包列入优先而减小。在此情况下，有效负载大小估计器72减小视频有效负载的估计大小以供包化。然而，当MACThroughput增加时，有效负载大小估计器72通过增加估计的视频有效负载大小来作出响应。以此方式，视频包化器24不但将音频包列入优先，而且支持带宽有效的视频包化。
在图7的实例中，每次针对三个MAC RLP包作出决策。然而，在其它实施例中，可应用更加积极的决策过程。举例来说，可每20ms作出对MACThroughput的估计决策。在第一20ms间隔中，可针对三个MAC RLP包作出决策。接着，在第二20ms间隔中，可针对一组三个连续MAC RLP包中的剩余两个MAC RLP包作出决策。最终，在接下来的20ms间隔期间针对三个包的组中的最后一个MAC RLP包作出决策。在此情况下，在60ms间隔的过程中作出决策，且每20ms进行更新以便获得可能已经在信道条件或RLP队列充满度方面发生的任何变化。在60ms之后，所述过程在接下来的60ms期间针对接下来的三个MAC RLP包重复，且以迭代的方式继续。
一旦估计了MACThroughput，视频有效负载大小估计器72便考虑到MACThroughput值来估计可容纳的视频有效负载大小，如上文所解释。接着，带宽有效包化器74使用估计的视频有效负载大小和最小视频包大小值来产生视频包以供提交给RTP/UDP/TP/PPP转换模块26。现在将更详细地描述带宽有效包化器74的操作。
一般来说，如果使用MPEG4视频编码，则视频包化应符合网络工作组请求注解(RFC)3016(日期为2000年11月)，而如果使用ITU H.263视频编码，则视频包化应符合RFC 2190(日期为1997年9月)或RFC 2429(日期为1998年10月)。RFC 3016概括了MPEGE4流的RTP有效负载格式。RFC 2429概括了ITU H.263流的1998版本的RTP有效负载格式，且RFC 2190概括了ITU H.263流的原始版本的RTP格式。
RFC 3016规定视频包：(a)必须用视频对象平面(VOP)标头或视频包(VP)标头开头，如果其中任一者存在的话；(b)如果满足了先前原则，则可含有一个以上VP标头；(c)可只含有视频数据而其中没有任何VOP和VP标头；以及(d)不能含有跨越两个视频帧的数据。RFC 2190规定视频包：(a)必须用图片开始码(PSC)或区块组(GOB)开头；(b)无须具有GOB标头或完整的GOB；以及(c)GOB的字节无须对准。RFC 2429规定视频包：(a)可用字节对准的PSC、GOB标头、条标头和条结尾(EOS)标记开头，且(b)可以是后续的包，其并不用任何同步码开头，但允许在视频包的中间有同步码。
考虑到以上要求，视频编码器20可经配置以将视频数据以VOP和VP(对于MPEG4)或PSC、GOB和SSC(对于H.263)插入在视频缓冲器68中。与MPEG4兼容的编码器以VOP或VP为单位产生数据。H.263编码器以PSC、GOB或SSC为单位产生数据，其中GOB的字节是对准的。当使用RFC 2190时，模式A是默认的。
在示范性实施例中，可将带宽有效包化器60的操作表达成利用以下输入的算法：VideoDataInBuffer、EstimatedVideoPayloadSize、minVPSize。VideoDataInBuffer表示视频缓冲器68中的视频的大小。EstimatedVideoPayloadSize表示由有效负载大小估计器72确定的估计的视频有效负载大小。minVPsize值是将要由包化器60产生的最小视频包大小，且用以控制粒度和带宽效率。带宽有效包化算法的输出是供提交给RTP/UDP/IP/PPP转换模块26的一个或一个以上视频包。在一示范性实施例中，带宽有效包化器74的操作由以下伪码来表达：
Figure A20068004371100211
Figure A20068004371100221
如以上伪码所表示，带宽有效包化器74基于由有效负载大小估计器72和minVPSize所提供的EstimatedVideoPayloadSize而产生视频包。RemainingVideoPayloadSize表示在产生视频包期间的任何点处仍然可用的有效负载的量。起初，RemainingVideoPayloadSize等于视频有效负载大小估计器74所提供的整个EstimatedVideoPayloadSize。VideoPayloadSize表示包中的视频有效负载的实际大小，且起初设定成零。VideoPayloadData[]识别视频缓冲器68中的视频数据段的阵列。
包化器74首先确定RemainingVideoPayloadSize是否小于最小VP大小/2。如果是的话，将RemainingVideoPayloadSize设定成零。或者，如果RemainingVideoPayloadSize小于minVPSize，那么将RemainingVideoPayloadSize的值设定成等于minVPSize。接着，如果RemainingVideoPayloadSize等于零或VideoDataInBuffer为空，则所述过程重设，因为下一可用MAC RLP包中没有剩余空间，或视频缓冲器68中没有剩余视频。
如果VideoInBuffer的大小大于或等于RemainingVideoPayloadSize加上minVPSize，则包化器74接下来确定剩余的VideoPayloadSize是否大于或等于minVPSize/2。如果是的话，包化器74便确定RFC3016或RFC2429是否可适用。如果RFC3016或RFC2429均不适用，那么包化器74确定RFC2190是否可适用，即ITU H.263的初始版本的RTP有效负载格式是否适用。
如果RFC3016或RFC2429适用，那么包化器74将视频从视频缓冲器68(由开始地址VideoPayloadData和偏移VideoPayloadSize来确定)复制(memcpy)到由VideoDataInBuffer识别的输入缓冲器。起初，将VideoPayloadSize设定成零。从视频缓冲器68复制的视频的量等于RemainingVideoPayloadSize，其起初被设定成估计的VideoPayloadSize。包化器74接着将VideoPayloadSize调整成等于RemainingVideoPayloadSize。接下来，包化器74将视频数据从输入缓冲器复制到偏移剩余VideoPayloadSize所识别的地址，复制的量由RemainingVideoPayloadSize来确定。接着将VideoDataInBuffer的内容分段以供包化。
如果RFC2190适用，那么包化器74将视频从视频缓冲器68(由开始地址VideoPayloadData和偏移VideoPayloadSize来确定)复制(memcpy)到由VideoDataInBuffer识别的输入缓冲器。同样，起初将VideoPayloadSize设定成零。从视频缓冲器68复制的视频的量等于VideoDataInBuffer的大小。接着，使VideoPayloadSize等于VideoDataInBuffer的大小。
一旦退出RFC3016/RFC2429操作或RFC2190操作，包化器74接下来便从VideoPayloadData中产生VideoPacket，所述VideoPacket的有效负载大小等于VideoPayloadSize的当前值。接着，将RemainingVideoPayloadSize的值设定成零。在此点处，已由包化器74产生视频包以供提交给RTP/UDP/IP/PPP转换模块26。如果RemainingVideoPayloadSize不小于minVPSize，则RemainingVideoPayloadSize不等于零，VideoDataInBuffer不为空，且VideoDataInBuffer的大小不大于或等于RemainingVideoPayloadSize+minVPSize，那么包化器74使用地址VideoPayloadData加上VideoPayloadSize的偏移将数据从缓冲器68复制到VideoDataInBuffer。在此情况下，所复制的数据的量等于VideoPayloadSize。接着，包化器74将VideoPayloadSize设定成等于VideoDataInBuffer的大小。
包化器74接下来将RemainingVideoPayloadSize设定成等于RemainingVideoPayloadSize的最大值减去视频缓冲器大小和零。VideoBufferSize表示视频缓冲器68的大小。如果在视频缓冲器68中不再有数据，或者当前时戳(TS)不等于下一TS，或RemainingVideoPayloadSize等于零，或VideoDataInBuffer经过分段，则包化器74从VideoPayloadData中产生一个有效负载大小为VideoPayloadSize的VideoPacket，并将VideoPayloadSize设定成零。否则，包化器74设定VideoDataInBuffer，以获得视频缓冲器68中的下一帧、GOB或条单位(如果存在的话)，或者如果视频缓冲器中不再有数据的话，则将其设定为空。
图8是说明根据本发明一实施例的信道自适应视频包成形技术的流程图。如图8所示，音频缓冲器70产生音频包(84)。RTP/UDP/IP/PPP模块26将音频包添加到RLP队列28(86)。有效负载大小估计器72确定RLP队列大小(88)，音频-视频优先级值(90)和信道条件(92)。基于那些确定，有效负载大小估计器72估计将要产生的下一视频包的有效负载大小(94)。带宽有效包化器74产生视频包(96)，并基于估计的有效负载大小和最小视频包大小来确定视频包的大小(98)。带宽有效包化器74将视频包添加到RLP队列28(100)。MAC层模块30从RLP队列28的内容产生MAC RLP包(102)。
本发明中所描述的信道自适应视频包成形支持较高的音频数据优先级。如果没有信道自适应视频包成形，则音频通常会延迟较大的视频包。根据本发明所描述的包成形技术的视频帧分段在下一可用MAC RLP包中为将要传输的音频包提供空间。虽然将视频包大小确定为固定长度在许多例子中可减少音频延迟，但此方法并不适于信道条件，且可在带宽消耗方面较低效。信道自适应视频包成形提供将音频和视频数据列入优先的灵活性。可规定音频-视频优先级值(MACPREDNUMBERPLUS)与最小视频包大小(minVPSize)的不同值以实现音频与视频优先级之间的所需折衷。
此外，信道自适应包成形可提供几乎恒定的音频延迟性能，从而即使在较差的信道条件下也能产生流畅的音频会话。在有些情况下，音频延迟性能可与没有视频的性能相当。视频处理量可适于音频处理量和信道条件。确切地说，可根据可用带宽自适应地改变视频处理量，且当音频处理量减少时可增加视频处理量。有利的是，信道自适应视频包成形可易于低复杂度地实施，从而在有些实施例中只需要若干行代码，正如本发明中所阐述。此外，在大多实施例中，不需要修改解码系统14。
本发明所描述的技术可在通用微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)或其它等效的逻辑装置内实施。举例来说，视频编码器系统12及其组件和模块可实施为在数字信号处理器(DSP)或其它处理装置上运行的编码过程或编码/解码(CODEC)过程的部分。相应地，描述成模块的组件可形成此过程的可编程特征或形成单独过程。视频编码器系统12可具有用于存储指令和数据的专用存储器，以及专用的硬件、软件、固件或其组合。如果是用软件实施的，则所述技术可实施成计算机可读媒体上的指令，所述媒体例如是随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器或类似装置。所述指令致使一个或一个以上处理器执行本发明描述的功能性的特定方面。
已经描述了各种实施例。这些和其它实施例处于所附权利要求书的范围内。

Claims (44)

1.一种方法，其包括：
产生音频包；
估计无线信道的处理量；以及
产生视频包，其具有基于所述估计的处理量而确定的视频包大小。
2.根据权利要求1所述的方法，其中基于所述估计的处理量和所述音频包的大小而确定所述视频包大小。
3.根据权利要求1所述的方法，其进一步包括将所述音频包和所述视频包放置在输出队列中，其中基于所述估计的处理量、所述音频包的大小和在将所述视频包放置在所述输出队列中之前所述输出队列中经缓冲数据的大小来确定所述视频包大小。
3.根据权利要求1所述的方法，其进一步包括将所述音频包和所述视频包放置在输出队列中，以及基于所述输出队列的内容中的至少一些内容来产生媒体存取控制(MAC)层包。
4.根据权利要求1所述的方法，其进一步包括以第一周期性间隔接收音频帧，以及以第二周期性间隔产生媒体存取控制(MAC)层包，其中产生音频包包含针对所述音频帧中的每一者产生音频包，以及将所述音频包添加到下一可用MAC层包。
5.根据权利要求1所述的方法，其进一步包括以第一周期性间隔接收音频帧，以及以第二周期性间隔产生媒体存取控制(MAC)层包，其中产生音频包包含产生捆扎所述音频帧中的至少两者的音频包，并将所述音频包添加到下一可用MAC层包。
6.根据权利要求1所述的方法，其进一步包括将所述音频包和所述视频包放置在输出队列中，以及基于所述输出队列的内容中的至少一些内容来产生媒体存取控制(MAC)层包，其中所述视频包大小是基于所述音频包的所述大小、所述估计的处理量和在将所述视频包放置在所述输出队列中之前所述输出队列中经缓冲数据的大小。
7.根据权利要求1所述的方法，其进一步包括基于当前无线信道传输速率、无线基站活动性和传输功率限制中的一者或一者以上来估计所述处理量。
8.根据权利要求1所述的方法，其中所述视频包大小充分地小，以避免在经由所述无线信道传输所述音频包的过程中发生实质性延迟。
9.根据权利要求1所述的方法，其进一步包括接收多个视频帧，以及基于未包化视频帧数据的量来调整视频编码速率。
10.根据权利要求1所述的方法，其中至少部分基于向所述音频包指派优于所述视频包的优先级的优先级值来确定所述视频包大小，且其中针对给定的估计的处理量的所述视频包大小随着所述优先级值的减小而增加。
11.根据权利要求1所述的方法，其中所述视频包大小大于或等于最小视频包大小。
12.根据权利要求1所述的方法，其进一步包括基于所述音频包和所述视频包来产生物理层包，并将所述物理层包传输到远程装置以支持移动无线视频电话会议。
13.根据权利要求12所述的方法，其中所述物理层包大致符合cdma2000lx EV-DO版本0标准。
14.一种系统，其包括：
音频编码器，其产生音频数据；
音频缓冲器，其接收所述音频数据并输出音频包；
视频编码器，其产生视频数据；
包化器，其估计无线信道的处理量，并从所述视频数据中产生视频包，所述视频包具有基于所述估计的处理量而确定的视频包大小。
15.根据权利要求14所述的系统，其中所述视频包大小是基于所述估计的处理量和所述音频包的大小而确定。
16.根据权利要求14所述的系统，其进一步包括输出队列，所述输出队列接收所述音频包和所述视频包，其中所述视频包大小是基于所述估计的处理量、所述音频包的大小和在将所述视频包放置在所述输出队列中之前所述输出队列中经缓冲数据的大小而确定。
17.根据权利要求14所述的系统，其进一步包括：输出队列，其接收所述音频包和所述视频包；以及媒体存取控制(MAC)层模块，其基于所述输出队列的内容中的至少一些内容来产生MAC层包。
18.根据权利要求14所述的系统，其中所述音频缓冲器以第一周期性间隔接收音频帧，并针对所述音频帧中的每一者产生音频包，且所述MAC层模块以第二周期性间隔产生媒体存取控制(MAC)层包，将所述音频包添加到下一可用MAC层包。
19.根据权利要求14所述的系统，其中所述音频缓冲器以第一周期性间隔接收音频帧，并捆扎所述音频帧中的至少两者以形成所述音频包，且所述MAC层模块以第二周期性间隔产生媒体存取控制(MAC)层包，并将所述音频包添加到下一可用的MAC层包。
20.根据权利要求14所述的系统，其中所述包化器基于当前无线信道传输速率、无线基站活动性和传输功率限制中的一者或一者以上来估计所述处理量。
21.根据权利要求14所述的系统，其中所述视频包大小充分地小，以避免在经由所述无线信道传输所述音频包的过程中发生实质性延迟。
22.根据权利要求14所述的系统，其中所述视频编码器产生多个视频帧，并基于未包化视频帧数据的量来调整视频编码速率。
23.根据权利要求14所述的系统，其中所述包化器至少部分基于向所述音频包指派优于所述视频包的优先级的优先级值来确定所述视频包大小，其中针对给定的估计的处理量的所述视频包大小随着所述优先级值的减小而增加。
24.根据权利要求14所述的系统，其中所述视频包大小大于或等于最小视频包大小。
25.根据权利要求1所述的系统，其进一步包括物理层模块，所述物理层模块基于所述音频包和所述视频包而产生物理层包，并将所述物理层包传输到远程装置以支持移动无线视频电话会议。
26.根据权利要求25所述的系统，其中所述物理层包大致符合cdma20001x EV-DO版本0标准。
27.一种计算机可读媒体，其包括致使处理器执行以下操作的指令：
产生音频包；
估计无线信道的处理量；以及
产生视频包，其具有基于所述估计的处理量而确定的视频包大小。
28.根据权利要求27所述的计算机可读媒体，其进一步包括致使处理器基于所述估计的处理量和所述音频包的大小来确定所述视频包大小的指令。
29.根据权利要求27所述的计算机可读媒体，其进一步包括致使处理器将所述音频包和所述视频包放置在输出队列中的指令，其中所述视频包大小是基于所述估计的处理量、所述音频包的大小和在将所述视频包放置在所述输出队列中之前所述输出队列中经缓冲数据的大小而确定。
30.根据权利要求27所述的计算机可读媒体，其进一步包括致使处理器将所述音频包和所述视频包放置在输出队列中并基于所述输出队列的内容中的至少一些内容来产生媒体存取控制(MAC)层包的指令。
31.根据权利要求27所述的计算机可读媒体，其进一步包括致使处理器以第一周期性间隔接收接收的音频帧并以第二周期性间隔产生媒体存取控制(MAC)层包的指令，其中产生音频包包含针对所述音频帧中的每一者产生音频包，并将所述音频包添加到下一可用MAC层包。
32.根据权利要求27所述的计算机可读媒体，其进一步包括致使处理器以第一周期性间隔接收音频帧并以第二周期性间隔产生媒体存取控制(MAC)层包的指令，其中产生音频包包含产生捆扎所述音频帧中的至少两者的音频包，并将所述音频包添加到下一可用MAC层包。
33.根据权利要求27所述的计算机可读媒体，其进一步包括致使所述处理器基于当前无线信道传输速率、无线基站活动性和传输功率限制中的一者或一者以上来估计所述处理量的指令。
34.根据权利要求27所述的计算机可读媒体，其中所述视频包大小充分地小，以避免在经由所述无线信道传输所述音频包的过程中发生实质性延迟。
35.根据权利要求27所述的计算机可读媒体，其进一步包括致使所述处理器接收多个视频帧并基于未包化视频帧数据的量来调整视频编码速率的指令。
36.根据权利要求27所述的计算机可读媒体，其中所述视频包大小至少部分是基于向所述音频包指派优于所述视频包的优先级的优先级值而确定，且其中针对给定的估计的处理量的所述视频包大小随着所述优先级值的减小而增加。
37.根据权利要求27所述的计算机可读媒体，其中所述视频包大小大于或等于最小视频包大小。
38.根据权利要求27所述的计算机可读媒体，其进一步包括致使处理器基于所述音频包和所述视频包来产生物理层包并将所述物理层包传输到远程装置以支持移动无线视频电话会议的指令。
39.根据权利要求38所述的计算机可读媒体，其中所述物理层包大致符合cdma20001xEV-DO版本0标准。
40.一种系统，其包括：
用于产生音频包的装置；
用于估计无线信道的处理量的装置；以及
用于产生视频包的装置，所述视频包具有基于所述估计的处理量而确定的视频包大小。
41.根据权利要求40所述的系统，其中所述视频包的大小是基于所述估计的处理量和所述音频包的大小而确定。
42.根据权利要求40所述的系统，其进一步包括将所述音频包和所述视频包放置在输出队列中的装置，其中所述视频包大小是基于所述估计的处理量、所述音频包的大小和在将所述视频包放置在所述输出队列中之前所述输出队列中经缓冲数据的大小而确定。
43.根据权利要求40所述的系统，其进一步包括将所述音频包和所述视频包放置在输出队列中并基于所述输出队列的内容中的至少一些内容来产生媒体存取控制(MAC)层包。
CN2006800437110A 2005-09-29 2006-09-29 视频电话的视频包成形 Expired - Fee Related CN101313536B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/240,133 US8102878B2 (en) 2005-09-29 2005-09-29 Video packet shaping for video telephony
US11/240,133 2005-09-29
PCT/US2006/038107 WO2007041319A2 (en) 2005-09-29 2006-09-29 Video packet shaping for video telephony

Publications (2)

Publication Number Publication Date
CN101313536A true CN101313536A (zh) 2008-11-26
CN101313536B CN101313536B (zh) 2013-06-05

Family

ID=37836953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800437110A Expired - Fee Related CN101313536B (zh) 2005-09-29 2006-09-29 视频电话的视频包成形

Country Status (6)

Country Link
US (1) US8102878B2 (zh)
EP (1) EP1929720B1 (zh)
JP (2) JP2009510942A (zh)
KR (1) KR100982155B1 (zh)
CN (1) CN101313536B (zh)
WO (1) WO2007041319A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110213549A (zh) * 2019-07-03 2019-09-06 成都汇纳智能科技有限公司 一种基于libRTMP的推流方法及系统
CN116074464A (zh) * 2023-01-16 2023-05-05 石家庄纵宇科技有限公司 一种在线视频通讯系统及其通讯方法

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7965736B2 (en) * 2005-08-24 2011-06-21 Qualcomm Incorporated Transmission of multiplex protocol data units in physical layer packets
US8102878B2 (en) 2005-09-29 2012-01-24 Qualcomm Incorporated Video packet shaping for video telephony
US7864777B1 (en) * 2005-09-30 2011-01-04 Nortel Networks Limited Transmission format selection for optimizing transmission of delay sensitive traffic
US8578046B2 (en) * 2005-10-20 2013-11-05 Qualcomm Incorporated System and method for adaptive media bundling for voice over internet protocol applications
US8406309B2 (en) * 2005-10-21 2013-03-26 Qualcomm Incorporated Video rate adaptation to reverse link conditions
US8842555B2 (en) * 2005-10-21 2014-09-23 Qualcomm Incorporated Methods and systems for adaptive encoding of real-time information in packet-switched wireless communication systems
US8548048B2 (en) * 2005-10-27 2013-10-01 Qualcomm Incorporated Video source rate control for video telephony
US8514711B2 (en) * 2005-10-21 2013-08-20 Qualcomm Incorporated Reverse link lower layer assisted video error control
US7965650B2 (en) * 2006-05-18 2011-06-21 Cisco Technology, Inc. Method and system for quality monitoring of media over internet protocol (MOIP)
KR20120034084A (ko) 2007-01-10 2012-04-09 콸콤 인코포레이티드 멀티미디어 전화 통신을 위한 컨텐트- 및 링크-의존 코딩 적응 구조
US7807915B2 (en) * 2007-03-22 2010-10-05 Qualcomm Incorporated Bandwidth control for retrieval of reference waveforms in an audio device
US7984177B2 (en) * 2007-04-30 2011-07-19 Vixs Systems, Inc. Multimedia client/server system with adjustable packet size and methods for use therewith
US8797850B2 (en) * 2008-01-10 2014-08-05 Qualcomm Incorporated System and method to adapt to network congestion
WO2009132169A1 (en) * 2008-04-25 2009-10-29 Interdigital Patent Holdings, Inc. Methods to implement transmission time interval bundling
US20100027524A1 (en) * 2008-07-31 2010-02-04 Nokia Corporation Radio layer emulation of real time protocol sequence number and timestamp
KR100966467B1 (ko) * 2008-09-23 2010-06-28 한국전자통신연구원 영상 전송 시 플레이 타임을 이용한 버퍼 컨트롤 장치 및 방법
US20100118837A1 (en) 2008-11-11 2010-05-13 Qualcomm Incorporated Using synchronization frames for mesh networking with piconets
KR101636258B1 (ko) 2009-03-20 2016-07-05 삼성전자 주식회사 이동통신시스템에서 네트워크의 ｒａｃｈ 관련 시스템 자원자동적 최적화 방법
US20110205894A1 (en) * 2010-02-24 2011-08-25 Microsoft Corporation Traffic shaping for real time media streams
US20120243602A1 (en) * 2010-09-23 2012-09-27 Qualcomm Incorporated Method and apparatus for pipelined slicing for wireless display
JP2012089961A (ja) * 2010-10-18 2012-05-10 Tohoku Univ 情報転送システム
FR2967543A1 (fr) * 2010-11-16 2012-05-18 France Telecom Procedes et dispositifs d'evaluation et d'adaptation de codage, procede et terminal de communication
US8520523B2 (en) * 2011-02-11 2013-08-27 Telefonaktiebolaget L M Ericsson (Publ) Devices and methods for managing quality of service for bearers depending on utilization
US9148379B1 (en) * 2013-01-09 2015-09-29 “Intermind” société à responsabilité limitée Method and system for prioritizing audio traffic in IP networks
KR20140117995A (ko) * 2013-03-27 2014-10-08 한국전자통신연구원 다중 사용자 영상 전송 장치 및 방법
US9407563B2 (en) 2013-08-12 2016-08-02 Qualcomm Incorporated Methods and apparatuses for adapting application uplink rate to wireless communications network
US9374281B2 (en) * 2014-01-06 2016-06-21 Cisco Technology, Inc. Learning machine-based mechanism to improve QoS dynamically using selective tracking of packet retransmissions
JP6462423B2 (ja) * 2015-03-03 2019-01-30 株式会社日立情報通信エンジニアリング 伝送装置、伝送プログラムおよび伝送方法
US9445051B1 (en) * 2015-08-14 2016-09-13 Qualcomm Incorporated Sender side video telephony downgrade
WO2017074811A1 (en) * 2015-10-28 2017-05-04 Microsoft Technology Licensing, Llc Multiplexing data
GB201519090D0 (en) * 2015-10-28 2015-12-09 Microsoft Technology Licensing Llc Multiplexing data
US10454877B2 (en) 2016-04-29 2019-10-22 Cisco Technology, Inc. Interoperability between data plane learning endpoints and control plane learning endpoints in overlay networks
US10091070B2 (en) 2016-06-01 2018-10-02 Cisco Technology, Inc. System and method of using a machine learning algorithm to meet SLA requirements
US10963813B2 (en) 2017-04-28 2021-03-30 Cisco Technology, Inc. Data sovereignty compliant machine learning
US10477148B2 (en) 2017-06-23 2019-11-12 Cisco Technology, Inc. Speaker anticipation
JP6598310B2 (ja) * 2017-07-07 2019-10-30 Ｎｅｃプラットフォームズ株式会社 無線通信装置、通信制御方法および通信制御プログラム
US10608901B2 (en) 2017-07-12 2020-03-31 Cisco Technology, Inc. System and method for applying machine learning algorithms to compute health scores for workload scheduling
US10091348B1 (en) 2017-07-25 2018-10-02 Cisco Technology, Inc. Predictive model for voice/video over IP calls
US10560357B2 (en) 2017-11-28 2020-02-11 Marvell World Trade Ltd. Distributed checksum calculation for communication packets
US10320705B1 (en) * 2018-02-28 2019-06-11 Verizon Patent And Licensing Inc. Identifying video data included in network packets
US10673994B2 (en) 2018-03-29 2020-06-02 Marvell International Ltd. Network packet generator employing multiple header templates and configurable hardware registers
US10469633B2 (en) * 2018-03-29 2019-11-05 Marvell World Trade Ltd. Low-latency pipeline for media-to-ethernet frame packaging
US10867067B2 (en) 2018-06-07 2020-12-15 Cisco Technology, Inc. Hybrid cognitive system for AI/ML data privacy
GB2574614B (en) * 2018-06-12 2020-10-07 Advanced Risc Mach Ltd Error detection in an interconnection network for an integrated circuit
US10446170B1 (en) 2018-06-19 2019-10-15 Cisco Technology, Inc. Noise mitigation using machine learning
CN109743528A (zh) * 2018-12-29 2019-05-10 广州市保伦电子有限公司 一种视频会议的音频采集与播放优化方法、装置及介质
CN112400290B (zh) * 2019-05-12 2024-04-05 阿密蒙有限公司 经由用户数据报协议(udp)通信链路传输视频的方法
EP4145732A1 (en) * 2021-09-02 2023-03-08 Rohde & Schwarz GmbH & Co. KG Device and method for cooperative relaying of voice traffic in mobile ad-hoc networks
US20240107623A1 (en) * 2022-09-23 2024-03-28 Qualcomm Incorporated Transmission packet bundling for voice over network communications

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1372304A2 (en) * 2002-06-14 2003-12-17 Matsushita Electric Industrial Co., Ltd. Method, transmitter and receiver for adapting the encoding rate to a varying transport rate

Family Cites Families (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4774587A (en) 1987-06-02 1988-09-27 Eastman Kodak Company Still video transceiver processor
US5341374A (en) 1991-03-01 1994-08-23 Trilan Systems Corporation Communication network integrating voice data and video with distributed call processing
JP2861518B2 (ja) * 1991-09-03 1999-02-24 日本電気株式会社 適応多重化方式
JP3002348B2 (ja) * 1992-11-30 2000-01-24 シャープ株式会社 画像通信システム
US5367523A (en) 1993-08-26 1994-11-22 International Business Machines Corporation Adaptive rate-based congestion and flow control in packet communications networks
EP0676756B1 (en) * 1993-09-21 2001-06-27 Sony Corporation Method and device for transmitting data, data decoder, and data recording medium
US5541919A (en) 1994-12-19 1996-07-30 Motorola, Inc. Multimedia multiplexing device and method using dynamic packet segmentation
US5802068A (en) * 1995-06-30 1998-09-01 Nippon Steel Corporation Multiplexing apparatus of a plurality of data having different bit rates
US5768533A (en) 1995-09-01 1998-06-16 National Semiconductor Corporation Video coding using segmented frames and retransmission to overcome channel errors
JP3068002B2 (ja) 1995-09-18 2000-07-24 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
TW305043B (zh) * 1995-09-29 1997-05-11 Matsushita Electric Ind Co Ltd
JP3651706B2 (ja) 1995-10-27 2005-05-25 株式会社東芝 動画像符号化装置
US6002802A (en) 1995-10-27 1999-12-14 Kabushiki Kaisha Toshiba Video encoding and decoding apparatus
US5790538A (en) 1996-01-26 1998-08-04 Telogy Networks, Inc. System and method for voice Playout in an asynchronous packet network
JP3499670B2 (ja) 1996-02-02 2004-02-23 株式会社東芝 無線通信方法、無線基地局装置及び無線端末装置
SG71709A1 (en) * 1996-05-08 2000-04-18 Matsushita Electric Ind Co Ltd Multiplex transmission method and system and audio jitter absorbing method used therein
CN1126374C (zh) 1996-07-05 2003-10-29 日本电信电话株式会社 图象通信系统及方法
US5838678A (en) * 1996-07-24 1998-11-17 Davis; Joseph W. Method and device for preprocessing streams of encoded data to facilitate decoding streams back-to back
US6366614B1 (en) 1996-10-11 2002-04-02 Qualcomm Inc. Adaptive rate control for digital video compression
JPH10164533A (ja) 1996-11-26 1998-06-19 Canon Inc 画像通信方法及び装置
US6633609B1 (en) * 1996-12-24 2003-10-14 Intel Corporation Method and apparatus for bit rate control in a digital video environment for arbitrary bandwidth
US5969764A (en) 1997-02-14 1999-10-19 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method
US6404776B1 (en) * 1997-03-13 2002-06-11 8 × 8, Inc. Data processor having controlled scalable input data source and method thereof
JPH10322673A (ja) 1997-05-15 1998-12-04 Canon Inc 通信装置及び方法及び記憶媒体
JPH10341217A (ja) 1997-06-09 1998-12-22 Kokusai Electric Co Ltd マルチメディア多重化通信システム
EP0935363A4 (en) 1997-06-19 2005-09-07 Toshiba Kk TRANSMISSION SYSTEM WITH INFORMATION MULTIPLEXING, MULTIPLEXER AND DEMULTIPLEXER USED FOR THE SAME, AND ENCODER AND DECODER FOR ERROR CORRECTION
US6377809B1 (en) 1997-09-16 2002-04-23 Qualcomm Incorporated Channel structure for communication systems
US6154489A (en) 1998-03-30 2000-11-28 Motorola, Inc. Adaptive-rate coded digital image transmission
US6396956B1 (en) 1998-03-31 2002-05-28 Sharp Laboratories Of America, Inc. Method and apparatus for selecting image data to skip when encoding digital video
US6421387B1 (en) 1998-05-15 2002-07-16 North Carolina State University Methods and systems for forward error correction based loss recovery for interactive video transmission
TW376497B (en) 1998-05-26 1999-12-11 Koninkl Philips Electronics Nv Transmission system for transmitting a main signal and an auxiliary signal
CA2238795A1 (en) 1998-05-28 1999-11-28 Newbridge Networks Corporation Er information acceleration in abr traffic
US6584509B2 (en) * 1998-06-23 2003-06-24 Intel Corporation Recognizing audio and video streams over PPP links in the absence of an announcement protocol
JP2000023240A (ja) 1998-06-30 2000-01-21 Matsushita Electric Ind Co Ltd 無線通信装置及び無線通信方法
US6389034B1 (en) 1998-09-04 2002-05-14 Nortel Networks Limited System for providing stream based and packet based services
US6629318B1 (en) 1998-11-18 2003-09-30 Koninklijke Philips Electronics N.V. Decoder buffer for streaming video receiver and method of operation
CA2257007A1 (en) 1998-12-24 2000-06-24 Newbridge Networks Corporation Explicit rate flow control for multicast connections
US6704359B1 (en) * 1999-04-15 2004-03-09 Diva Systems Corp. Efficient encoding algorithms for delivery of server-centric interactive program guide
JP3841256B2 (ja) 2000-02-15 2006-11-01 三菱電機株式会社 通信システム及び通信方法及び送信端末
EP1130921B1 (en) 2000-03-02 2005-01-12 Matsushita Electric Industrial Co., Ltd. Data transmission in non-reliable networks
KR100833222B1 (ko) 2000-03-29 2008-05-28 삼성전자주식회사 멀티미디어 송수신 장치 및 방법
US6694469B1 (en) 2000-04-14 2004-02-17 Qualcomm Incorporated Method and an apparatus for a quick retransmission of signals in a communication system
US6747991B1 (en) 2000-04-26 2004-06-08 Carnegie Mellon University Filter and method for adaptively modifying the bit rate of synchronized video and audio streams to meet packet-switched network bandwidth constraints
CN1322759C (zh) 2000-04-27 2007-06-20 三菱电机株式会社 编码装置和编码方法
JP3669281B2 (ja) 2000-04-27 2005-07-06 三菱電機株式会社 符号化装置および符号化方法
US6999432B2 (en) 2000-07-13 2006-02-14 Microsoft Corporation Channel and quality of service adaptation for multimedia over wireless networks
US6862298B1 (en) 2000-07-28 2005-03-01 Crystalvoice Communications, Inc. Adaptive jitter buffer for internet telephony
US6891822B1 (en) * 2000-09-08 2005-05-10 Sharewave, Inc. Method and apparatus for transferring isocronous data within a wireless computer network
EP1233594B1 (en) 2000-10-13 2011-12-07 Sony Corporation Data communication quality control system, transmitter system and receiver
US7304951B2 (en) 2000-11-21 2007-12-04 North Carolina State University Methods and systems for rate-based flow control between a sender and a receiver
US7006510B2 (en) 2001-01-17 2006-02-28 Optibase Ltd. Method of clock mismatch and drift compensation for packet networks
GB2398975B (en) 2001-02-01 2005-02-23 Fujitsu Ltd Communications systems
US7058085B2 (en) 2001-03-14 2006-06-06 Nortel Networks Limited Method and apparatus for transmitting data over a network within a specified time limit
KR100800884B1 (ko) * 2001-03-29 2008-02-04 삼성전자주식회사 이동통신 시스템에서 역방향 링크의 송신 제어 방법
KR100425253B1 (ko) 2001-04-18 2004-03-30 주식회사 현대시스콤 무선통신 시스템에서의 순방향 패킷 송수신 방법
US7054316B2 (en) 2001-04-25 2006-05-30 Nokia Corporation Method and system for interlayer control between re-sequencing and retransmission entities
US7342901B1 (en) 2001-05-01 2008-03-11 Nortel Networks Limited Medium access control (MAC) protocol for a wireless communication system
US6920598B2 (en) 2001-05-21 2005-07-19 Lucent Technologies Inc. System and method for error recovery using NAKs
US7193966B2 (en) 2001-06-25 2007-03-20 Telefonakitebolaget Lm Ericsson (Publ) Triggered packet data rate change in a communication system
US7269139B1 (en) 2001-06-27 2007-09-11 Cisco Technology, Inc. Method and apparatus for an adaptive rate control mechanism reactive to flow control messages in a packet switching system
US6741603B2 (en) 2001-07-09 2004-05-25 Overture Networks, Inc. Use of a circular buffer to assure in-order delivery of packets
US7068086B2 (en) 2001-07-27 2006-06-27 Advantest Corp. Phase correction circuit
US7206285B2 (en) 2001-08-06 2007-04-17 Koninklijke Philips Electronics N.V. Method for supporting non-linear, highly scalable increase-decrease congestion control scheme
US6865374B2 (en) 2001-09-18 2005-03-08 Koninklijke Philips Electronics N.V. Video recovery system and method
US7356079B2 (en) * 2001-11-21 2008-04-08 Vixs Systems Inc. Method and system for rate control during video transcoding
US20050013244A1 (en) 2001-12-14 2005-01-20 Parlos Alexander G System for actively controlling distributed applications
AU2002353343A1 (en) * 2002-01-18 2003-07-30 Koninklijke Philips Electronics N.V. Audio coding
US7483489B2 (en) * 2002-01-30 2009-01-27 Nxp B.V. Streaming multimedia data over a network having a variable bandwith
EP1335289A1 (en) 2002-02-07 2003-08-13 Siemens Aktiengesellschaft Method for software downloads in a radio communications system
JP3900413B2 (ja) 2002-02-14 2007-04-04 Ｋｄｄｉ株式会社 映像情報伝送方式およびプログラム
JP4116470B2 (ja) 2002-03-06 2008-07-09 ヒューレット・パッカード・カンパニー メディア・ストリーミング配信システム
JP3490425B2 (ja) 2002-03-14 2004-01-26 松下電器産業株式会社 受信装置及び受信方法
EP1359722A1 (en) * 2002-03-27 2003-11-05 BRITISH TELECOMMUNICATIONS public limited company Data streaming system and method
JP3730974B2 (ja) 2002-06-14 2006-01-05 松下電器産業株式会社 メディア伝送方法及びその送信装置
US7020484B2 (en) * 2002-10-29 2006-03-28 Qualcomm Incorporated Controlling multiple modems in a wireless terminal using energy-per-bit determinations
GB0229396D0 (en) 2002-12-17 2003-01-22 British Telecomm Signal processing
JP2006511124A (ja) 2002-12-18 2006-03-30 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ディジタル・マルチメディア情報の適応符号化
JP2004253883A (ja) 2003-02-18 2004-09-09 Nec Corp 音声・画像リアルタイム通信におけるビットレート制御を実行するデータ通信装置
US7551588B2 (en) 2003-03-06 2009-06-23 Nortel Networks Limited Autonomous mode transmission from a mobile station
JP2004297186A (ja) * 2003-03-25 2004-10-21 Matsushita Electric Ind Co Ltd 送信装置および送信方法
SE0301048D0 (sv) 2003-04-07 2003-04-07 Ericsson Telefon Ab L M RLC window reconfiguration
JPWO2004093446A1 (ja) 2003-04-17 2006-07-13 富士通株式会社 圧縮データと非圧縮データを同時転送する場合のタスクスケジューリング方法
US7477604B2 (en) 2003-05-14 2009-01-13 Ntt Docomo, Inc. Packet communications system
JP3943558B2 (ja) 2003-05-14 2007-07-11 株式会社エヌ・ティ・ティ・ドコモ パケット通信方法及びパケット通信システム。
JP2004350227A (ja) 2003-05-26 2004-12-09 Ntt Communications Kk ビデオ会議システムにおける会議クライアント装置及びそのプログラム
US20040252761A1 (en) 2003-06-16 2004-12-16 Dilithium Networks Pty Limited (An Australian Corporation) Method and apparatus for handling video communication errors
US7050397B2 (en) 2003-07-02 2006-05-23 Nokia Corporation Apparatus, and associated method, for facilitating retransmission of data packets in a packet radio communication system that utilizes a feedback acknowledgement scheme
US7263067B2 (en) 2003-07-15 2007-08-28 Nokia Siemans Networks Oy Method and apparatus for accelerating throughput in a wireless or other telecommunication system
EP1670266B1 (en) 2003-09-30 2009-07-01 Mitsubishi Denki Kabushiki Kaisha Communication mode control method
US20050249231A1 (en) 2003-11-25 2005-11-10 Asif Khan Methods and systems for reliable distribution of media over a network
US7197026B2 (en) 2003-12-23 2007-03-27 Nokia Corporation Method and system for RLP optimization
JP2005192073A (ja) 2003-12-26 2005-07-14 Matsushita Electric Ind Co Ltd マルチメディアデータ通信方法および装置
US7453938B2 (en) 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
JP4562402B2 (ja) 2004-02-20 2010-10-13 アルパイン株式会社 音声データの非同期通信システムおよびその通信方法
JP2005244908A (ja) * 2004-02-27 2005-09-08 Kyocera Corp 通信システム、通信装置及び通信制御方法
WO2005094020A1 (en) 2004-03-19 2005-10-06 Telefonaktiebolaget Lm Ericsson (Publ) Higher layer packet framing using rlp
KR100550567B1 (ko) 2004-03-22 2006-02-10 엘지전자 주식회사 무선 네트워크망을 통해 통신하는 서버 시스템 및 그동작방법
JP3950865B2 (ja) 2004-03-30 2007-08-01 Ｎｅｃアクセステクニカ株式会社 Ａｔｍ通信システム
US7424026B2 (en) 2004-04-28 2008-09-09 Nokia Corporation Method and apparatus providing continuous adaptive control of voice packet buffer at receiver terminal
CN1985477B (zh) * 2004-05-13 2012-11-07 高通股份有限公司 用于分配信息到通信系统的信道的方法和设备
EP1769399B1 (en) 2004-06-07 2020-03-18 Sling Media L.L.C. Personal media broadcasting system
KR20050121067A (ko) 2004-06-21 2005-12-26 삼성전자주식회사 무선 채널에 의한 무선 통신 시스템 및 그의 무선 통신 방법
US7606427B2 (en) 2004-07-08 2009-10-20 Qualcomm Incorporated Efficient rate control techniques for video encoding
KR100608061B1 (ko) * 2004-07-12 2006-08-02 삼성전자주식회사 전송 스트림 생성을 위한 다중화 방법 및 그 장치
US7551647B2 (en) 2004-07-19 2009-06-23 Qvidium Technologies, Inc. System and method for clock synchronization over packet-switched networks
EP1628446B1 (en) 2004-08-18 2007-11-14 Infineon Technologies AG Method for transmitting information through a communication link and respective transmitting device and communication system
CA2691762C (en) 2004-08-30 2012-04-03 Qualcomm Incorporated Method and apparatus for an adaptive de-jitter buffer
US7606303B2 (en) 2004-09-28 2009-10-20 General Instrument Corporation Method and apparatus to detect anchor frames from digital video streams
US7925271B2 (en) 2004-11-09 2011-04-12 Spyder Navigations L.L.C. Apparatus and method for arbitrary data rate ramp up after overload on wireless interface
US7492710B2 (en) 2005-03-31 2009-02-17 Intel Corporation Packet flow control
US20070019931A1 (en) * 2005-07-19 2007-01-25 Texas Instruments Incorporated Systems and methods for re-synchronizing video and audio data
US7701851B2 (en) 2005-07-20 2010-04-20 Vidyo, Inc. System and method for the control of the transmission rate in packet-based digital communications
CA2620544C (en) 2005-09-21 2015-04-14 Lg Electronics Inc. Method and apparatus for multiplexing multiple reverse feedback channels in multi-carrier wireless networks
US8102878B2 (en) 2005-09-29 2012-01-24 Qualcomm Incorporated Video packet shaping for video telephony
US8548048B2 (en) * 2005-10-27 2013-10-01 Qualcomm Incorporated Video source rate control for video telephony
US8842555B2 (en) 2005-10-21 2014-09-23 Qualcomm Incorporated Methods and systems for adaptive encoding of real-time information in packet-switched wireless communication systems
US8406309B2 (en) 2005-10-21 2013-03-26 Qualcomm Incorporated Video rate adaptation to reverse link conditions
US20080056125A1 (en) 2006-09-06 2008-03-06 Nokia Corporation Congestion control in a wireless network
KR100787314B1 (ko) 2007-02-22 2007-12-21 광주과학기술원 미디어내 동기화를 위한 적응형 미디어 재생 방법 및 장치
JP5339697B2 (ja) 2007-08-14 2013-11-13 キヤノン株式会社 送信装置、送信方法、及びコンピュータプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1372304A2 (en) * 2002-06-14 2003-12-17 Matsushita Electric Industrial Co., Ltd. Method, transmitter and receiver for adapting the encoding rate to a varying transport rate

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110213549A (zh) * 2019-07-03 2019-09-06 成都汇纳智能科技有限公司 一种基于libRTMP的推流方法及系统
CN116074464A (zh) * 2023-01-16 2023-05-05 石家庄纵宇科技有限公司 一种在线视频通讯系统及其通讯方法
CN116074464B (zh) * 2023-01-16 2023-12-15 深圳普汇智为科技有限公司 一种在线视频通讯系统及其通讯方法

Also Published As

Publication number Publication date
US8102878B2 (en) 2012-01-24
KR20080066002A (ko) 2008-07-15
US20070071030A1 (en) 2007-03-29
WO2007041319A2 (en) 2007-04-12
WO2007041319A3 (en) 2007-05-24
EP1929720B1 (en) 2013-03-13
JP2012170120A (ja) 2012-09-06
JP2009510942A (ja) 2009-03-12
EP1929720A2 (en) 2008-06-11
CN101313536B (zh) 2013-06-05
JP5661678B2 (ja) 2015-01-28
KR100982155B1 (ko) 2010-09-14

Similar Documents

Publication Publication Date Title
CN101313536B (zh) 视频电话的视频包成形
US8548048B2 (en) Video source rate control for video telephony
US10034198B2 (en) Delivery of information over a communication channel
RU2414091C2 (ru) Адаптация скорости видео к состояниям обратной линии связи
US7194000B2 (en) Methods and systems for provision of streaming data services in an internet protocol network
EP1535419B1 (en) Method and devices for controlling retransmissions in data streaming
CN113099310A (zh) 基于安卓平台的实时媒体内视音频协调法
EP2159976A1 (en) Relay device and relay method
CN101997729A (zh) 网络控制方法和装置
Baldo et al. RTCP feedback based transmission rate control for 3G wireless multimedia streaming
CN101341756A (zh) 用于视频电话的视频源速率控制
JP2004120479A (ja) Ｌａｎ通信方法及びこの方法を実行するためのｌａｎ通信システム
JP5477475B2 (ja) ゲートウェイ装置、携帯端末、無線通信方法およびプログラム
JP3952037B2 (ja) データ伝送システム
Abd El Salaam et al. A PROPOSED AGGREGATION SCHEME TO IMPROVE THE PERFORMANCE OF VOIP OVER WLAN

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130605

Termination date: 20190929