CN107079132A - 在视频电话中的端口重配置之后馈送经帧内译码的视频帧 - Google Patents

在视频电话中的端口重配置之后馈送经帧内译码的视频帧 Download PDF

Info

Publication number
CN107079132A
CN107079132A CN201580056142.2A CN201580056142A CN107079132A CN 107079132 A CN107079132 A CN 107079132A CN 201580056142 A CN201580056142 A CN 201580056142A CN 107079132 A CN107079132 A CN 107079132A
Authority
CN
China
Prior art keywords
picture
bit rate
request
video
intraframe decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580056142.2A
Other languages
English (en)
Other versions
CN107079132B (zh
Inventor
桑吉弗·米塔尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107079132A publication Critical patent/CN107079132A/zh
Application granted granted Critical
Publication of CN107079132B publication Critical patent/CN107079132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1016—IP multimedia subsystem [IMS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/148—Interfacing a video terminal to a particular transmission medium, e.g. ISDN

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种经配置以用于视频电话的设备包含：接收装置，其经配置以便以第一位速率接收视频数据；发送使所述第一位速率改变为第二位速率的请求；响应于使第一位速率改变为所述第二位速率的所述请求，接收第一经帧内译码的图片；响应于检测到所述第二位速率，从图片缓冲器冲洗所述第一经帧内译码的图片；以及响应于从图片缓冲器冲洗所述第一经帧内译码的图片，发送对第二经帧内译码的图片的请求。

Description

在视频电话中的端口重配置之后馈送经帧内译码的视频帧
技术领域
本发明涉及视频电话，且更明确地说，涉及译码和发射视频电话会话中的视频数据。
背景技术
例如移动电话等的通信装置可包含音频捕获装置，例如麦克风或语音合成器；用于产生音频包(或帧)的音频编码器；视频捕获装置，例如，相机；以及用于产生视频帧的视频编码器。通信装置可使用通信协议层，例如实时传输协议(RTP)、无线电链路协议(RLP)、媒体接入控制(MAC)和物理(PHY)层。在视频电话应用中，通信装置可将视频和音频RTP包放置于RLP队列中。MAC层模块可从RLP队列的内容中产生MAC层包。MAC层包可转换成PHY层包，以在通信信道上发射到另一通信装置。
发明内容
本发明涉及视频电话(VT)，且更明确地说，设计用于在VT会话期间实施位速率适应的技术。
在一个实例中，一种视频电话方法包含：以第一位速率接收视频数据，作为作用中视频电话会话的一部分；发送使第一位速率改变为第二位速率的请求；响应于使第一位速率改变为第二位速率的所述请求，接收第一经帧内译码的图片；响应于检测到第二位速率，从图片缓冲器冲洗所述第一经帧内译码的图片；以及响应于从图片缓冲器冲洗所述第一经帧内译码的图片，发送对第二经帧内译码的图片的请求。
在另一实例中，一种经配置以执行视频电话的设备包含：用于以第一位速率接收视频数据作为作用中视频电话会话的一部分的装置；用于发送使第一位速率改变为第二位速率的请求的装置；用于响应于使第一位速率改变为第二位速率的所述请求而接收第一经帧内译码的图片的装置；用于响应于检测到所述第二位速率从图片缓冲器冲洗所述第一经帧内译码的图片的装置；以及用于响应于从所述图片缓冲器冲洗所述第一经帧内译码的图片而发送对第二经帧内译码的图片的请求的装置。
在另一实例中，一种经配置以用于视频电话的设备包含：接收装置，其经配置以便以第一位速率接收视频数据，作为作用中视频电话会话的一部分；发送使第一位速率改变为第二位速率的请求；响应于使第一位速率改变为第二位速率的所述请求，接收第一经帧内译码的图片；响应于检测到第二位速率，从图片缓冲器冲洗所述第一经帧内译码的图片；以及响应于从图片缓冲器冲洗所述第一经帧内译码的图片，发送对第二经帧内译码的图片的请求。
在另一实例中，一种存储指令的计算机可读存储媒体，所述指令在由一或多个处理器执行时致使所述一或多个处理器进行以下操作：以第一位速率接收视频数据，作为作用中视频电话会话的一部分；发送使第一位速率改变为第二位速率的请求；响应于使第一位速率改变为第二位速率的所述请求而接收第一经帧内译码的图片；响应于检测到所述第二位速率，从图片缓冲器冲洗所述第一经帧内译码的图片；以及响应于从所述图片缓冲器冲洗所述第一经帧内译码的图片而发送对第二经帧内译码的图片的请求。
附图和以下描述中陈述一或多个实例的细节。将从所述描述和图式以及从所附权利要求书明白其它特征、目标和优点。
附图说明
图1说明可在通信装置内提供以支持视频电话的视频和音频编码和解码系统。
图2描绘经由通用包交换(PS)网络的双向VT通话的简化框图。
图3是示出根据本发明的技术的用于VT会话的一部分的信号流的概念图。
图4是示出根据本发明的技术的实例视频电话方法的流程图。
具体实施方式
本发明涉及视频电话(VT)，且更明确地说，设计用于在VT会话期间实施位速率适应的技术。VT通常是指包含视频和音频两者的实时通信，与仅音频的传统电话形成对比。在VT会话期间，不同位置处的通信装置经由例如因特网等网络发射和接收运载音频和视频数据的包。
通信装置，其可替代地被称作VT裝置，可经装备以用于有线和/或无线通信。VT裝置可专用于VT应用程序，或经装备以支持广泛多种其它计算应用程序中的任一者，例如网络浏览、游戏、文字处理、图形处理、视频和/或音频娱乐，以及位置跟踪，例如除VT应用程序之外。在一些实例中，VT裝置可为所谓的智能电话、平板计算机或可穿戴智能装置。
VT装置所产生的包可例如根据定义标准化包格式的实时传输协议(RTP)来发射。此外，VT裝置可根据RTP控制协议(RTCP)来发射和接收信息包，所述协议定义用于发射RTP会话的带外统计和控制信息的标准化包格式。
为了减少需要经由网络发射的数据的量，VT裝置包含音频和视频编码器和解码器。第一VT装置的视频编码器通常使用多种视频压缩工具来压缩相机所捕获的视频数据，而第二VT装置的视频解码器通常执行与视频编码器的那些技术互逆的技术，以便解码经编码视频数据以供在第二VT装置处重放。
VT装置的视频编码器将所捕获的视频编码为一系列图片，其中图片可指视频数据帧，或在经交错视频的情况下，可指视频数据的字段。所述视频编码器产生一系列经帧内译码的图片(I图片)和所预测的图片(P或B图片)。可不参考其它图片来解码I图片，但通常提供比P和B图片少的压缩。相比之下，P和B图片利用先前经解码图片的信息，且因此可较容易发生错误，但与I图片相比提供较多压缩。相对于另一图片来预测P图片。相对于两个其它图片来预测B图片。对于编码P或B图片，与当编码I图片时相比，较大数目的译码工具可视频编码器供使用。作为一个实例，P图片的块可基于已经解码图片中的块来预测，基于P图片中的其它像素值来预测，或根本不预测。因为I图片并不依靠先前经解码图片，所以相比之下，无法基于已经解码图片的块来预测I图片中的块。实情为，基于I图片内已经解码的像素来解码I图片中的块。较少译码工具的可用通常导致与P图片和B图片相比，产生提供较少压缩的I图片。
连续P或B图片可导致错误从一个图片传播到下一图片，直到视频解码器接收到I图片为止。此外，因为P或B图片是使用先前经解码图片来解码的，所以如果P或B图片所依靠的图片例如归因于丢包而未恰当地解码，那么视频解码器可能不能够恰当地解码P或B图片。在这些情况下，视频解码器可在几秒内产生不可辨识的视频，或可能根本不能够产生任何视频直到接收到另一I图片为止。此较少秒数的差视频或无视频可能削弱用户体验。为了改进视频质量且为了改进错误恢复性，视频编码器通常经配置以在经编码视频位流中周期性地包含I图片，其中较多I图片通常改进视频质量，但减少总视频压缩，且较少I图片降低视频质量，但改进总视频压缩。
视频编码器通常经配置以响应于在正编码的图片中检测到大量改变而产生I图片。图片中的大量改变可例如在相机移动时出现，且一个图片的整个场景不同于最近译码的图片的场景。相比之下，当相机处于聚焦在仅稍微移动的物体上的固定位置时，图片中可出现较低量的改变。举例来说，在其中相机聚焦在固定个人或人群的VT会话中，人的移动通常较小，且背景的部分可稍微或根本不改变。在此情形中，VT装置可增加I图片之间的时间量。即使在其中图片中不存在改变或几乎无改变的情形中，VT裝置仍可周期性地发送I图片，以便改进视频质量且改进错误恢复性。
原始设备制造商(OEM)正向市场引入高清视频电话(HDVT)裝置，其支持比前代VT裝置高分辨率的视频。为了支持HDVT，这些HDVT裝置通常以与前代VT裝置相比较高的位速率，经由网络发送和接收经编码的音频和视频数据。当网络条件或其它系统条件并不准许HDVT所必需的位速率时，HDVT裝置通常经配置以实施速率适应协议，其致使所述裝置将作用中VT会话改变为较低位速率。作为切换到较低位速率的一部分，HDVT裝置通常从较高分辨率视频切换到较低分辨率视频，以及潜在地降低音频取样速率，降低帧速率，或对音频和视频数据执行其它此类修改，以便减少正发射的数据的量。
视频分辨率的实例包含QVGA(320x240分辨率)、VGA(640x480分辨率)和SVGA(800x600分辨率)，以及高清分辨率，例如HD(1280x720分辨率)和全HD(1920x1080分辨率)。这些仅为广泛使用的视频分辨率中的几个。作为切换到较低位速率的一部分，视频编码器可例如停止以SVGA编码视频数据，且开始以VGA或QVGA编码视频数据。HDVT装置可例如停止以全HD编码视频数据，且开始以HD编码视频数据，或在位速率较大降低的情况下，可开始以SVGA、VGA或QVGA分辨率编码所述视频数据。应理解，这些分辨率仅为实例，且经配置以实施本发明的技术的VT装置不限于任何特定分辨率。此外，尽管通常参考正被编码的视频的分辨率的降低来描述本发明的技术，但应理解，本发明的技术也与正被编码的视频的分辨率的增加兼容。
如上文所介绍，参与VT会话中的两个裝置可交换关于所述VT会话的状态的RTCP消息。所述RTCP消息可例如包含具有编码器-解码器(“编解码器”)控制信息的带反馈视听简档(AVPF)消息。AVPF是指基于RTCP的反馈的经扩展RTP简档。编解码器通常是指经配置以实施特定视频译码标准(例如根据所述标准来编码和/或解码视频数据)的软件、硬件或其组合，下文提供其若干实例。因此，具有编解码器控制信息的RTCP消息可例如影响视频编码器编码视频数据的方式。举例来说，第一VT装置可从第二VT装置接收具有编解码器控制信息的RTCP消息，且响应于接收具有编解码器控制信息的RTCP消息，第一VT装置可更改其编码视频数据的方式。如下文将更详细地解释，具有编解码器控制信息的RTCP消息的实例包含对经帧内译码的图片、图片损失指示(PLI)消息和全帧内请求(FIR)消息的请求。
第一VT装置可向第二VT装置发送指示第一VT装置已发送了多少包的发送器报告，作为一或多个RTCP消息。如果第二VT装置确定第一VT装置所发送的包的数目与第二VT装置所接收到的包的数目之间存在不符，那么第二VT装置可发送临时最大媒体流位速率请求(TMMBR)RTCP消息，其指令第一VT装置开始以较低位速率发射。第二VT装置可将TMMBR RTCP消息发送到第一VT装置，以便限制从第一VT装置接收到的媒体流(包含音频和视频数据两者)的最大位速率。响应于接收到TMMBR RTCP消息，第一VT装置可开始以较低位速率产生A/V数据，且为了实现较低位速率，可降低正作为VT会话的一部分发送的视频的分辨率。
当从较高位速率切换到较低位速率时，第一VT装置的视频编码器可为视频编码器所产生的视频数据产生新的序列参数集(SPS)信息和图片参数集(PPS)信息，以及新I图片。PPS包含在译码与PPS相关联的图片时保持不变的信息，且SPS包含在译码与SPS相关联的图片序列时保持不变的信息。可包含于PPS或SPS中的类型的信息的实例是分辨率信息、所启用的任选译码模式、图片的块结构信息，以及关于经编码视频的其它此类信息。
第一VT装置可发送分别来自所述I图片的新SPS和PPS，以便改进错误恢复性。当第二VT装置的视频解码器剖析在新SPS和PPS中接收到的信息时，视频解码器可确定正接收到的视频的分辨率将要改变，且响应于所述新SPS和PPS，第二VT装置的视频解码器可执行端口重配置。端口重配置可例如涉及冲洗包含分别发送的I图片的缓冲器。如果从所述缓冲器冲洗I图片，那么第二VT装置可能无法恰当地解码随后发送的P图片和B图片，直到接收到新的I图片为止，从而产生差视频或无视频的周期。差视频可起因于P图片和B图片取决于经冲洗的I图片，归因于第二VT装置冲洗经译码图片缓冲器，作为端口重配置操作的一部分，第二VT装置不再将所述I图片存储在所述缓冲器中。在此类情形中，第一VT装置并不知晓第二VT装置从缓冲器冲洗了I图片，且因此，第一VT装置可继续发送B图片和P图片持续若干秒，从而导致那些若干秒期间的不良用户体验。
根据本发明的技术，为了避免或减少差或无视频的此周期，第二VT装置可经配置以响应于检测端口重配置来发送I图片请求消息。另外或替代地，第二VT装置可经配置以响应于检测到存储经解码图片的经译码图片缓冲器的冲洗来发送I图片请求消息。I图片请求消息可例如为经由RTCP的图片损失指示(PLI)消息、经由RTCP的全帧内请求(FIR)消息，或一些其它此类类型的I图片请求消息。在不发送I图片请求消息的情况下，在第二VT装置存储有经冲洗的I图片的假定下，第一装置将继续译码视频数据，且因此可使用所存储的I图片来预测后续P和B图片。因此，第二装置将不接收另一I图片，直到第一装置基于正编码的视频中的I图片或检测到的改变之间的时间而发送另一I图片为止，在一些情况下，所述时间可为若干秒或甚至至多达十秒。通过响应于冲洗其经译码图片缓冲器而发送I图片请求消息，第二VT装置可减少不具有I图片的此时间，从而通过减少具有差视频质量的时间量来改进总体用户体验。
在本发明的上下文中，端口是指充当到数据流的接口的软件建构。所述端口唯一地识别在VT装置上运行的不同应用程序或进程。端口配置参数定义将在组件端口上传送的数据的格式。改变这些参数的过程通常被称作端口重配置。
图1说明可利用本发明的技术的视频编码和解码系统10。系统10包含在发射信道16上将数据发送到解码器系统14的编码器系统12。编码器系统12可在第一视频通信装置中，且包含音频源17、视频源18、视频编码器20、音频编码器22、IP多媒体子系统(IMS)VT应用程序模块24、实时传输协议(RTP)/RTCP/用户数据报协议(UDP)/因特网协议(IP)/点对点协议(PPP)转换模块26、无线电链路协议(RLP)队列28、MAC层模块30和物理(PHY)层模块32。在其它实例中，代替图1中所示的元件或除了图1中所示的元件之外，编码器系统12可包含其它元件。编码器系统12的其它实例可包含比图1中所示的元件少的元件。
解码器系统14可在另一视频通信装置中，且可包含PHY层模块34、MAC层模块36、RLP队列38、RTP/RTCP/UDP/IP/PPP转换模块40、IMS VT应用程序模块42、视频解码器44、音频解码器46、音频输出单元48和视频输出单元50。在其它实例中，代替图1中所示的元件或除了图1中所示的元件之外，解码器系统14可包含其它元件。解码器系统14的其它实例可包含比图1中所示的元件少的元件。
系统10可经由发射信道16提供双向视频和音频发射，例如用于VT会话。互逆编码、解码和转换模块可提供于信道16的相对端上。在一些实施例中，编码器系统12和解码器系统14可实施于视频通信装置内，例如经装备以用于视频流式传输、VT或两者的无线移动终端。移动终端可根据例如RTP、RTCP、UDP、IP或PPP的包交换标准来支持VT。
RTP/RTCP/UDP/IP/PPP转换模块26将适当的RTP/RTCP/UDP/IP/PPP标头数据添加到从音频编码器22和视频编码器20接收到的音频和视频数据，且添加到从IMS VT应用程序模块24接收到的控制信息，并将数据放入RLP队列28中。RTP在UDP之上运行，而UDP在IP之上运行，且IP在PPP之上运行。MAC层模块30从RLP队列28的内容产生MAC RLP包。PHY层模块32将MAC RLP包转换成PHY层包以经由信道16发射。
解码系统14的PHY层模块34和MAC层模块36以互逆方式操作。PHY层模块34将从信道16接收到的PHY层包转换成MAC RLP包。MAC层模块36将MAC RLP包放入RLP队列38中。RTP/RTCP/UDP/IP/PPP转换模块40将标头信息从RLP队列38中的数据剥离，并且重新组合视频和音频数据以分别递送到视频解码器44和音频解码器46。RTP/RTCP/UDP/IP/PPP转换模块40同样地将标头信息从RLP队列38中的数据剥离，并且重新组合控制信息以递送到IMS VT应用程序模块42。视频解码器44和音频解码器46可结合IMS VT应用程序模块42，基于所述接收到的控制信息作出视频和音频解码决策。所述控制信息可例如包含发送者报告，IMS VT应用程序模块42可基于此来确定装置12的发射位速率是否应更改。作为更改位速率的一部分，IMS VT应用程序模块42可调整正编码视频数据的分辨率。
系统10可经设计以支持一或多个无线通信技术，例如码分多址(CDMA)、频分多址(FDMA)、时分多址(TDMA)，或正交频分多路复用(OFDM)或另一合适的无线技术。以上无线通信技术可根据各种无线电接入技术中的任一者递送。举例来说，可根据cdma2000、宽带CDMA(WCDMA)标准、3G、4G、LTE或任何其它基于CDMA的空中接口来执行无线通信。TDMA可根据全球移动通信系统(GSM)标准来递送。全球移动电信系统(UMTS)标准准许GSM或WCDMA操作。对于VT应用，系统10可经设计以支持高数据速率(HDR)技术，例如cdma2000 1x EV-DO、版本0、修订版A或后续EV-DO版本。
视频源18可为视频捕获装置，例如一或多个摄像机、一或多个视频存档，或摄像机与视频存档的组合。视频源18可进一步包含捕获、产生和/或包含计算机所产生的图形的能力。视频编码器20根据视频压缩方法产生经编码视频数据，所述方法例如为MPEG-4、ITU-TH.264/AVC(高级视频译码(AVC))或ITU-T H.265(高效视频译码(HEVC))。还可使用其它视频压缩方法，例如国际电信联盟(ITU)H.263、VP9、MPEG-2，或其它标准化或专用方法。视频编码器20可提供大体上CODEC相关的视频源速率控制方案。举例来说，视频编码器20可适用于根据HEVC、MPEG4、ITU H.263、ITU H.264或另一标准或技术的视频编码。在一个实例中，视频编码器20可由DSP或嵌入的逻辑核心实施。
音频源17可为例如麦克风等的音频捕获装置或语音合成器装置。音频编码器22可对音频数据进行编码以伴随视频数据。音频数据可根据例如自适应多速率窄带(AMR-NB)或其它技术等的音频压缩方法进行编码。对于VT应用，视频将准许一方观看VT会议，且音频将准许该方的说话声被听到。
在操作中，RTP/RTCP/UDP/IP/PPP转换模块26从视频编码器20和音频编码器22获得视频和音频数据包。RTP/UDP/IP/PPP转换模块26将合适的标头信息添加到音频包，且将所得数据插入RLP队列28内。同样地，RTP/RTCP/UDP/IP/PPP转换模块26将适当的标头信息添加到视频包，并将所得数据插入RLP队列28内。MAC层模块30从RLP队列28检索数据并且形成MAC层包。每一MAC层包运载包含于RLP队列28内的RTP/RTCP/UDP/IP/PPP标头信息和音频或视频包数据。
音频包可独立于视频包插入到RLP队列28中。在一些情况下，从RLP队列28的内容中产生的MAC层包将仅运载标头信息和视频包数据。在其它情况下，MAC层包将仅运载标头信息和音频包数据。
在一些情况下，MAC层包将取决于RLP队列28的内容而运载标头信息、音频包数据和视频包数据。MAC层包可根据无线电链路协议(RLP)进行配置，并且可称为MAC RLP包。PHY层模块32将MAC RLP音频-视频包转换成PHY层包以经由信道16发射。
信道16将PHY层包运载到解码器系统14。举例来说，信道16可为有线连接，例如局域或广域有线网络。或者，如本文所描述，信道16可为无线信道，例如蜂窝式、卫星或光信道。通道16还可为无线和有线信道的组合。
信道条件可为有线和无线信道的关注点，但对于在无线信道16上执行的移动VT应用尤其存在问题，其中信道条件可归因于衰减或拥塞而受损。举例来说，信道16的特征可在于具有根据信道条件变化的吞吐量的反向链路(RL)。可基于如通过当前无线信道发射速率、无线基站活动和发射功率限制中的一或多者表示的信道条件来估计吞吐量。举例来说，可基于当前MAC层数据速率、反向活动位(RAB)和功率放大器(PA)限制来确定信道条件。
视频编码器20可保持表示相对于目标编码速率的经编码视频的量的虚拟视频缓冲器。目标编码速率可为指定用于经由信道16发射的视频包的最大编码速率。视频编码器20可控制视频从视频源18的实际编码速率。
解码器系统14的PHY层模块34从PHY层包识别MAC层包，并且将内容重新组合到MACRLP包中。MAC层模块36接着重新组合MAC RLP包的内容，以提供视频和音频包以供插入到RLP队列38内。RTP/RTCP/UDP/IP/PPP模块40去除伴随的标头信息，并且将视频包提供到视频解码器44，且将音频包提供到音频解码器46。
视频解码器44对视频数据帧进行解码，以产生用于驱动形成视频输出装置50的一部分的显示装置的视频数据流。音频解码器46对所述音频数据进行解码，以产生音频信息以供呈现给用户，例如经由形成音频输出装置48的一部分的音频扬声器。
视频电话是指运载音频和视频数据的包在至少两个裝置(例如系统12和14)之间的实时通信。第一VT装置12包含从可例如为摄像机或视频存档的视频源18中获得视频的视频编码器20，并且产生视频包。类似地，VT装置12中的音频编码器22从可例如为麦克风或语音合成器等的音频源17中获得音频，并且产生音频包。将视频包和音频包放入RLP队列28中。MAC层模块30从RLP队列28的内容产生MAC层包。将MAC层包转换成PHY层包，以在通信信道16上发射到第二VT装置14。
在移动VT应用程序中，VT装置(无线终端)经由无线前向链路(FL)(即，“下行链路”)从基站接收PHY层包。VT装置经由无线反向链路(RL)(即，“上行链路”)将PHY层包发射到基站。每一VT装置包含PHY和MAC层以转换接收到的PHY和MAC层包，且将包有效负载重新组合到音频包和视频包中。VT装置内的视频解码器44对视频数据进行解码，以经由显示装置(视频输出)50呈现给用户。VT装置内的音频解码器46对音频数据进行解码，以经由音频扬声器(音频输出)48输出。
图2描绘经由通用包交换(PS)网络52的双向VT通话的简化框图。PS网络52可为LTE、HSPA、(e)HRPD、WiFi、卫星、同轴电缆、电力线通信，以及其类似物，或以上各者中的任一者的组合。图2的装置A和装置B可通常经配置以符合图1的裝置12和14。在装置A的发射侧上，VT通话的音频/视频在麦克风/扬声器56和相机/显示器54处捕获、通过处理单元58预处理(如果适用)、编码/压缩、RTP/UDP/IP包化且传递到调制解调器。在装置A的接收侧上，接收到的音频/视频包在发送到麦克风/扬声器56和相机/显示器54之前，通过处理单元58(如果适用)解调、去包化、去抖动、解码、AV同步和后处理。
同样地，在装置B的发射侧上，VT通话的音频/视频在麦克风/扬声器66和相机/显示器64处捕获、通过处理单元68预处理(如果适用)、编码/压缩、RTP/RTCP/UDP/IP包化且传递到调制解调器。在装置B的接收侧上，接收到的音频/视频包在发送到麦克风/扬声器66和相机/显示器64之前，通过处理单元68(如果适用)解调、去包化、去抖动、解码、AV同步和后处理。
音频/视频RTCP包也与音频/视频RTP包一起发送，以用于AV同步、媒体性能相关统计、速率适应及其类似者。RTCP包与RTP包相比较少出现。也就是说，RTCP包的控制信息通常每隔500毫秒到每隔2秒发信号通知，而RTP包更频繁出现。
在典型的两方VT会话期间，视频可由于用户动作在一或两个方向上暂停一或多次。举例来说，两侧上的用户可将VT应用程序移动到装置上的后台，以简单执行一些其它任务。举例来说，在VT通话当中，用户中的一者可使用手机摄像头来拍摄图片、快速检查电子邮件或执行另一任务。因此，VT通话的相机资源可释放，且在此情况下，没有视频发送到对等方。也就是说，当用户将VT应用程序移动到后台时，视频通常不再发送到VT通话中的另一方。因为后台中的VT应用程序的用户不再可看到指示传输了多少视频的预览窗口，所以视频可停止。为了提供增加的私密性，且为了避免在不通知的情况下发送视频，VT应用程序将通常停止发送视频RTP包。然而，音频包将继续且VT不终止。视频流停止在一或多个方向上流动而话音对话持续的现象通常被称为视频暂停。
图1和2示出可实施本发明的视频电话技术的系统的实例。举例来说，第一VT装置(例如图1的装置12或装置14中的一者，或图2的装置A或装置B中的一者)可经配置以便以第一位速率从第二VT装置(例如图1的装置12或装置14中的另一者，或图2的装置A或装置B中的另一者)接收视频电话数据。第一VT装置可向第二VT装置发送使第一位速率改变为第二位速率的请求。VT装置可响应于使第一位速率改变为第二位速率的请求，从第二VT装置接收第一经帧内译码的图片。响应于检测到第二位速率，第一VT装置可从图片缓冲器冲洗第一经帧内译码的图片。响应于从图片缓冲器冲洗第一经帧内译码的图片，第一VT装置可向第二VT装置发送对第二经帧内译码的图片的请求。
图3是示出根据本发明的技术的用于动态分辨率改变的信号流的概念图。将参考装置A和装置B描述图3的实例，其可大体上对应于图2的装置A和装置B，以及图1的装置12和装置14。尽管图3中未明确示出，但装置A和装置B可经配置以在例如分组交换网络等网络上通信。在图3的实例中，装置A和装置B已建立了作用中视频电话会话，且正经由RTP交换音频和视频数据，以及经由RTCP交换会话信息(图1中示出为包100)。在事件1处，装置B检测正接收到的位速率的降低。装置B可例如接收发送器报告RTCP包作为包100的一部分，所述发送器报告RTCP包包含发送器信息，例如从开始发射起，装置A已经发送了多少RTP包的指示。响应于确定装置B正接收包的速率低于装置A正发送包的速率，装置B可向装置A发送TMMBRRTCP消息102，其请求装置A切换到较低位速率。举例来说，如果装置A正以1000kbps发射，但装置B仅接收400kbps，那么装置B可在TMMBR RTCP消息中请求装置A将其发射速率降低到400kbps或更低。
在事件2处，装置A从装置B接收TMMBR RTCP消息，且作为响应，装置A将其发射位速率降低到例如400kbps。为了实现较低位速率，装置A可进行以下各项中的一或多者：降低正发射的视频的帧速率；降低正发射的视频的分辨率；减少正发射的I图片的数目；或减少正发射的音频的取样速率。如果装置A降低正发射的视频的分辨率，那么装置A可向装置B发射I图片，以及所述视频的新PPS和SPS。PPS和SPS可例如作为RTP包104的一部分发射，而I图片单独地作为RTP包106的一部分发射。在事件3处，响应于接收到指示降低的视频分辨率的PPS和SPS，装置B可执行端口重配置，其包含冲洗存储参考图片的缓冲器。从所述缓冲器冲洗的参考图片可包含作为包106的一部分接收的I图片。装置B可能无法恰当地解码在经冲洗的I图片之后且在另一I图片之前发送的P或B图片，从而潜在地导致差或五视频质量的周期。为乐防止此差视频质量周期，根据本发明的技术，装置B可经配置以响应于检测到存储参考图片的缓冲器的冲洗，而发送对第二经帧内译码(I)图片108的请求。对第二经帧内译码的图片108的请求可例如为经由RTCP的PLI消息或经由RTCP的FIR消息。这些是此类请求的实例。可使用其它类型的请求。
响应于接收到对第二经帧内译码的图片108的请求，装置一产生I图片110，并将其发射到装置B。在装置B接收到I图片110之后，接着装置A和装置B可再次经由RTP交换音频和视频数据，且经由RTCP但以较低位速率交换会话信息(图1中示出为包112)。
图4是示出根据本发明的技术的实例VT方法的流程图。将参考图1的装置14描述图4的技术，但图4的技术不一定限于任何特定类型的VT装置。装置14以第一位速率接收视频数据，作为作用中视频电话(VT)会话的一部分(142)。装置14发送使第一位速率改变为第二位速率的请求(144)。使第一位速率改变为第二位速率的请求可例如为经由RTCP的TMMBR消息，且可响应于以小于所指示的包发射速率的速率接收包而发送使第一位速率改变为第二位速率的请求。第二位速率可高于或低于第一位速率。
装置14响应于使第一位速率改变为第二位速率的请求而接收第一经帧内译码的图片(即I图片)(146)。响应于检测到第二位速率，装置14从图片缓冲器冲洗第一经帧内译码的图片(148)。装置14可例如通过接收指示第二位速率得PPS或SPS中的一者或两者，来检测第二位速率。装置14可例如从图片缓冲器冲洗第一经帧内译码的图片，作为端口重配置操作的一部分。响应于从图片缓冲器冲洗第一经帧内译码的图片，装置14发送对第二经帧内译码的图片的请求(150)。对经帧内译码的图片的请求可例如为经由RTCP的PLI消息或经由RTCP的FIR消息。
在一或多个实例中，所描述的功能可用硬件、软件、固件或其任何组合来实施。如果用软件实施，那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含促进将计算机程序从一处传送到另一处(例如，根据通信协议)的任何媒体的通信媒体。以此方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的期望程序代码并且可由计算机存取的任何其它媒体。并且，任何连接被恰当地称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。但是，应理解，所述计算机可读存储媒体和数据存储媒体并不包括连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合式编解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或IC的集合(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所公开的技术的装置的功能方面，但未必需要由不同硬件单元实现。实际上，如上文所描述，各种单元可结合合适的软件和/或固件组合在编码解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述了各种实例。这些和其它实例在所附权利要求的范围内。

Claims (30)

1.一种用于视频电话的方法，所述方法包括：
以第一位速率接收视频数据，作为作用中视频电话会话的一部分；
发送使所述第一位速率改变为第二位速率的请求；
响应于使所述第一位速率改变为所述第二位速率的所述请求，接收第一经帧内译码的图片；
响应于检测到所述第二位速率，从图片缓冲器冲洗所述第一经帧内译码的图片；以及，
响应于从所述图片缓冲器冲洗所述第一经帧内译码的图片，发送对第二经帧内译码的图片的请求。
2.根据权利要求1所述的方法，其进一步包括：
接收所述第二经帧内译码的图片。
3.根据权利要求1所述的方法，其中对所述经帧内译码的图片的所述请求包括经由实时传输协议RTP控制协议RTCP的图片损失指示PLI消息。
4.根据权利要求1所述的方法，其中对所述经帧内译码的图片的所述请求包括经由实时传输协议RTP控制协议RTCP的全帧内请求FIR消息。
5.根据权利要求1所述的方法，其中从所述图片缓冲器冲洗所述第一经帧内译码的图片包括端口重配置操作。
6.根据权利要求1所述的方法，其中使所述第一位速率改变为所述第二位速率的所述请求包括经由实时传输协议RTP控制协议RTCP的临时最大媒体流位速率请求TMMBR消息。
7.根据权利要求1所述的方法，其中检测所述第二位速率包括接收指示所述第二位速率的图片参数集或序列参数集中的一者或两者。
8.根据权利要求1所述的方法，其中响应于以低于所指示的包发射速率的速率接收包，而发送使所述第一位速率改变为所述第二位速率的所述请求。
9.根据权利要求1所述的方法，其中所述第二位速率大于所述第一位速率。
10.根据权利要求1所述的方法，其中所述第二位速率低于所述第一位速率。
11.一种经配置以用于视频电话的设备，所述设备包括：
接收装置，其经配置以：
以第一位速率接收视频数据，作为作用中视频电话会话的一部分；
发送使所述第一位速率改变为第二位速率的请求；
响应于使所述第一位速率改变为所述第二位速率的所述请求，接收第一经帧内译码的图片；
响应于检测到所述第二位速率，从图片缓冲器冲洗所述第一经帧内译码的图片；以及，
响应于从所述图片缓冲器冲洗所述第一经帧内译码的图片，发送对第二经帧内译码的图片的请求。
12.根据权利要求11所述的设备，其中所述接收装置进一步经配置以：
接收所述第二经帧内译码的图片。
13.根据权利要求11所述的设备，其中对所述经帧内译码的图片的所述请求包括经由实时传输协议RTP控制协议RTCP的图片损失指示PLI消息。
14.根据权利要求11所述的方法，其中对所述经帧内译码的图片的所述请求包括经由实时传输协议RTP控制协议RTCP的全帧内请求FIR消息。
15.根据权利要求11所述的设备，其中所述接收装置进一步经配置以从所述图片缓冲器冲洗所述第一经帧内译码的图片，作为端口重配置操作的一部分。
16.根据权利要求11所述的设备，其中使所述第一位速率改变为所述第二位速率的所述请求包括经由实时传输协议RTP控制协议RTCP的临时最大媒体流位速率请求TMMBR消息。
17.根据权利要求11所述的设备，其中为了检测所述第二位速率，所述接收装置进一步经配置以接收指示所述第二位速率的图片参数集或序列参数集中的一者或两者。
18.根据权利要求11所述的设备，所述接收装置进一步经配置以响应于以低于所指示的包发射速率的速率接收包，发送使所述第一位速率改变为所述第二位速率的所述请求。
19.根据权利要求11所述的设备，其中所述第二位速率大于所述第一位速率。
20.根据权利要求11所述的设备，其中所述第二位速率低于所述第一位速率。
21.根据权利要求11所述的设备，其中所述设备包括无线装置。
22.一种经配置以执行视频电话的设备，所述设备包括：
用于以第一位速率接收视频数据作为作用中视频电话会话的一部分的装置；
用于发送使所述第一位速率改变为第二位速率的请求的装置；
用于响应于使所述第一位速率改变为所述第二位速率的所述请求接收第一经帧内译码的图片的装置；
用于响应于检测到所述第二位速率从图片缓冲器冲洗所述第一经帧内译码的图片的装置；以及，
用于响应于从所述图片缓冲器冲洗所述第一经帧内译码的图片发送对第二经帧内译码的图片的请求的装置。
23.根据权利要求22所述的设备，其中对所述经帧内译码的图片的所述请求包括经由实时传输协议RTP控制协议RTCP的图片损失指示PLI消息。
24.根据权利要求22所述的设备，其中对所述经帧内译码的图片的所述请求包括经由实时传输协议RTP控制协议RTCP的全帧内请求FIR消息。
25.根据权利要求22所述的设备，其中所述用于从所述图片缓冲器冲洗所述第一经帧内译码的图片的装置包括用于执行端口重配置操作的装置。
26.一种存储指令的计算机可读存储媒体，所述指令在由一或多个处理器执行时，致使所述一或多个处理器：
以第一位速率接收视频数据，作为作用中视频电话会话的一部分；
发送使所述第一位速率改变为第二位速率的请求；
响应于使所述第一位速率改变为所述第二位速率的所述请求，接收第一经帧内译码的图片；
响应于检测到所述第二位速率，从图片缓冲器冲洗所述第一经帧内译码的图片；以及，
响应于从所述图片缓冲器冲洗所述第一经帧内译码的图片，发送对第二经帧内译码的图片的请求。
27.根据权利要求26所述的计算机可读存储媒体，其中对所述经帧内译码图片的所述请求包括经由实时传输协议RTP控制协议RTCP的图片损失指示PLI消息。
28.根据权利要求26所述的计算机可读存储媒体，其中对所述经帧内译码的图片的所述请求包括经由实时传输协议RTP控制协议RTCP的全帧内请求FIR消息。
29.根据权利要求26所述的计算机可读存储媒体，其中为了从所述图片缓冲器冲洗所述第一经帧内译码的图片，所述指令致使所述一或多个处理器执行端口重配置操作。
30.根据权利要求26所述的计算机可读存储媒体，其中为了检测所述第二位速率，所述指令致使所述一或多个处理器接收指示所述第二位速率的图片参数集或序列参数集中的一者或两者。
CN201580056142.2A 2014-10-29 2015-10-19 在视频电话中的端口重配置之后馈送经帧内译码的视频帧 Active CN107079132B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/527,626 US9313508B1 (en) 2014-10-29 2014-10-29 Feeding intra-coded video frame after port reconfiguration in video telephony
US14/527,626 2014-10-29
PCT/US2015/056224 WO2016069309A1 (en) 2014-10-29 2015-10-19 Feeding intra-coded video frame after port reconfiguration in video telephony

Publications (2)

Publication Number Publication Date
CN107079132A true CN107079132A (zh) 2017-08-18
CN107079132B CN107079132B (zh) 2018-11-02

Family

ID=54365411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580056142.2A Active CN107079132B (zh) 2014-10-29 2015-10-19 在视频电话中的端口重配置之后馈送经帧内译码的视频帧

Country Status (4)

Country Link
US (1) US9313508B1 (zh)
EP (1) EP3213506A1 (zh)
CN (1) CN107079132B (zh)
WO (1) WO2016069309A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109982023A (zh) * 2017-12-28 2019-07-05 成都鼎桥通信技术有限公司 一种视频会话中的分辨率调整方法
CN111050108A (zh) * 2019-12-19 2020-04-21 维沃移动通信有限公司 多路视频通话的实现方法、装置及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11107038B2 (en) 2015-02-03 2021-08-31 PEOZZLE Corporation Multimedia resume distribution system
KR101770070B1 (ko) * 2016-08-16 2017-08-21 라인 가부시키가이샤 비디오 컨퍼런스를 위한 비디오 스트림 제공 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080259796A1 (en) * 2008-04-17 2008-10-23 Glen Patrick Abousleman Method and apparatus for network-adaptive video coding
CN101316357A (zh) * 2008-06-30 2008-12-03 华为技术有限公司 一种频道切换的方法、终端和媒体服务器
CN101326830A (zh) * 2005-10-21 2008-12-17 高通股份有限公司 无线网络中用于实时信息的自适应编码的方法及系统
US20140118462A1 (en) * 2012-10-29 2014-05-01 Qualcomm Incorporated Methods to enhance videotelephony to achieve local qos

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6754241B1 (en) * 1999-01-06 2004-06-22 Sarnoff Corporation Computer system for statistical multiplexing of bitstreams
US20100085959A1 (en) 2008-10-01 2010-04-08 Avistar Communications Corporation System and method for achieving interoperability between endpoints operating under different protocols
WO2010150470A1 (ja) 2009-06-23 2010-12-29 パナソニック株式会社 動画像符号化方法、動画像符号化装置、プログラム、および集積回路
US8896652B2 (en) * 2011-02-28 2014-11-25 Soryn Technologies Llc System and method for real-time video communications
US10244257B2 (en) 2011-08-31 2019-03-26 Nokia Technologies Oy Video coding and decoding
CN109905728A (zh) 2012-01-19 2019-06-18 Vid拓展公司 使用移动设备接收多媒体内容的方法及该移动设备
US9756142B2 (en) 2013-03-14 2017-09-05 The Regents Of The University Of California System and method for delivering video data from a server in a wireless network by caching the video data
US20150103885A1 (en) * 2013-10-11 2015-04-16 Oovoo Llc Real time ip video transmission with high resilience to network errors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101326830A (zh) * 2005-10-21 2008-12-17 高通股份有限公司 无线网络中用于实时信息的自适应编码的方法及系统
US20080259796A1 (en) * 2008-04-17 2008-10-23 Glen Patrick Abousleman Method and apparatus for network-adaptive video coding
CN101316357A (zh) * 2008-06-30 2008-12-03 华为技术有限公司 一种频道切换的方法、终端和媒体服务器
US20140118462A1 (en) * 2012-10-29 2014-05-01 Qualcomm Incorporated Methods to enhance videotelephony to achieve local qos

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109982023A (zh) * 2017-12-28 2019-07-05 成都鼎桥通信技术有限公司 一种视频会话中的分辨率调整方法
CN109982023B (zh) * 2017-12-28 2020-11-13 成都鼎桥通信技术有限公司 一种视频会话中的分辨率调整方法
CN111050108A (zh) * 2019-12-19 2020-04-21 维沃移动通信有限公司 多路视频通话的实现方法、装置及电子设备

Also Published As

Publication number Publication date
US9313508B1 (en) 2016-04-12
WO2016069309A1 (en) 2016-05-06
EP3213506A1 (en) 2017-09-06
CN107079132B (zh) 2018-11-02
US20160127732A1 (en) 2016-05-05

Similar Documents

Publication Publication Date Title
CN110430441B (zh) 一种云手机视频采集方法、系统、装置及存储介质
WO2018010662A1 (zh) 视频文件的转码方法，装置及存储介质
US9014277B2 (en) Adaptation of encoding and transmission parameters in pictures that follow scene changes
US20110002376A1 (en) Latency Minimization Via Pipelining of Processing Blocks
CN105359515B (zh) 视频电话中的视频暂停指示
KR20180031016A (ko) 전송기측 화상 전화 다운그레이드
CN107079132B (zh) 在视频电话中的端口重配置之后馈送经帧内译码的视频帧
US10123040B2 (en) Intra-coded video frame caching for video telephony sessions
US9306987B2 (en) Content message for video conferencing
CN108476176A (zh) 在视频电话中的实时传输协议拥塞控制技术
CN107852479A (zh) 在视频电话中切换显示装置
CN110996122B (zh) 视频帧传输方法、装置、计算机设备及存储介质
US9936266B2 (en) Video encoding method and apparatus
CN108540745A (zh) 高清双流视频的传输方法、发送端、接收端及传输系统
KR20130124348A (ko) 협업 미디어 시스템에서 다수의 단말 디바이스에 대한 콘텐트 분배를 관리하기 위한 방법 및 장치
CN101540871B (zh) 基于电路域可视电话同步录制对端声音图像的方法和终端
US20190089755A1 (en) Multiplexing data
EP4383735A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN104702970A (zh) 一种同步视频数据的方法、设备及系统
CN117979093A (zh) 一种基于live555和FFmpeg框架的无线自组网视频传输系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant