CN109068187B - 实时流量传送系统和方法 - Google Patents

实时流量传送系统和方法 Download PDF

Info

Publication number
CN109068187B
CN109068187B CN201811128235.3A CN201811128235A CN109068187B CN 109068187 B CN109068187 B CN 109068187B CN 201811128235 A CN201811128235 A CN 201811128235A CN 109068187 B CN109068187 B CN 109068187B
Authority
CN
China
Prior art keywords
frame
frames
real
encoded
late
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811128235.3A
Other languages
English (en)
Other versions
CN109068187A (zh
Inventor
恩科·敦·道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN109068187A publication Critical patent/CN109068187A/zh
Application granted granted Critical
Publication of CN109068187B publication Critical patent/CN109068187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2416—Real-time traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/28—Flow control; Congestion control in relation to timing considerations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本文提供的实施例为一种例如用于蜂窝或无线网络的实时视频(或其他实时流量)传送的系统和方法。本文的方案通过在网络侧无线资源调度器和视频编码器的联合设计以及用户终端处的解码器解决了实时视频传送。该系统设计降低了帧的丢失，因此提高了用户体验质量。在一个实施例中，无线节点检测实时业务流的帧。在确定与实时业务流速率对应的传输最终期限不支持帧的大小时，根据帧的大小以及下一帧的大小，延长传输最终期限。在延长的传输最终期限内，为转发帧以及下一帧进行调度。

Description

实时流量传送系统和方法
相关申请的交叉引用
本申请要求Ngoc Dung Dao于2013年10月11日提交的申请号为61/890,011、发明名称为“实时流量传送系统和方法”的美国临时申请的权益，以及Ngoc Dung Dao于2013年11月27日提交的申请号为14/092,607、发明名称为“实时流量传送系统和方法”的美国专利申请的权益，其均以引用方式并入本文，就如同将其内容全文复制在此一样。
技术领域
本发明涉及网络通信领域，并且在具体实施例中，涉及实时流量传送系统和方法。
背景技术
语音电话、视频会议呼叫、电视(TV)广播和在线TV等实时通信业务在网络中占据主导流量。用户经常将有线网络中的体验与无线运营商提供的类似业务相比较。因此，有线网络中服务质量(QoS)标准可成为无线网络的基准。由于实时流量对数据包传送有严格的延迟限制，满足用户期望对于无线网络运营商来说更具挑战性。与语音业务相比，实时视频业务由于速率波动处理起来更加困难。实时视频流量的突发性可在网络的某个点，尤其是无线节点上引起短时拥塞。短时拥塞可导致较大视频帧的延迟或丢失。因此需要一种处理实时流量传送的有效系统和方法。
发明内容
根据一个实施例，一种网络组件进行实时流量传送(traffic delivery)的方法，包括：在无线节点处，检测实时业务流(traffic flow)的帧。在确定与实时业务流速率对应的传输最终期限不支持帧的大小时，根据帧的大小以及下一帧的大小，延长传输最终期限。该方法进一步包括：在延长的传输最终期限内，为转发该帧以及下一帧进行调度。
根据另一个实施例，一种终端设备支持实时流量传送的方法，包括：在允许的帧延迟最终期限内，从无线节点接收用于实时业务流的一组帧中的帧。该帧依赖于一组帧中的尚未接收到的迟到帧。该方法进一步包括：在终端设备的第一解码器处，解码帧，以及超过允许的帧延迟最终期限之后，从无线节点接收一组帧中的迟到帧。接着，在终端设备的第二解码器处解码迟到帧，发送已解码的迟到帧到第一解码器。该方法进一步包括：在允许的帧延迟最终期限内，接收一组帧中的一个或多个后续帧。一个或多个后续帧依赖于迟到帧。在第一解码器处，根据已解码的迟到帧解码一个或多个后续帧。
根据另一个实施例，一种网络组件进行实时流量传送的方法，包括：编码用于实时业务流一组帧中的第一帧；以及使用已编码的第一帧，编码用于实时业务流一组帧中的第二帧。在已编码的第一帧中，指示已编码的第二帧的大小。该方法进一步包括：在第一帧之后，发送第二帧。
根据另一个实施例，一种用于实时流量传送的网络组件，包括：至少一个处理器，以及存储用于至少一个处理器执行的程序的非瞬态计算机可读存储介质。程序包括用于在无线节点处检测实时业务流的帧的指令。在确定实时业务流速率对应的传输最终期限不支持该帧的大小时，根据该帧的大小以及下一帧的大小，网络组件延长传输最终期限；以及在延长的传输最终期限内，为转发该帧以及下一帧进行调度。
根据另一个实施例，一种支持于实时流量传送的终端通信设备，包括：至少一个处理器，以及存储用于至少一个处理器执行的程序的非瞬态计算机可读存储介质。程序包括在允许的帧延迟最终期限内，从无线节点接收用于实时业务流的一组帧中的帧。该帧依赖于一组帧中的尚未接收到的迟到帧。该程序包括：在终端设备的第一解码器处，解码帧，以及超过允许的帧延迟最终期限之后，从无线节点接收一组帧中的迟到帧的进一步指令。在终端设备的第二解码器处，解码迟到帧，接着发送到第一解码器。该终端通信设备进一步用于在允许的帧延迟最终期限内，接收一组帧中的一个或多个后续帧。一个或多个后续帧依赖于迟到帧。在第一解码器处，根据已解码的迟到帧解码一个或多个后续帧。
根据再一个实施例，一种用于实时流量传送的网络组件，包括：至少一个处理器，以及存储用于至少一个处理器执行的程序的非瞬态计算机可读存储介质。程序包括编码用于实时业务流的一组帧中的第一帧，以及使用已编码的第一帧，编码用于实时业务流的一组帧中的第二帧。在已编码的第一帧中，指示已编码的第二帧的大小。接着，在第一帧之后，发送第二帧。
前述内容已经相当宽泛地概述了本发明一个实施例的特征，从而能够更好地理解接下来对本发明的详细说明。下文将描述本发明实施例的另外特征和优点，这些构成本发明的主题。本领域技术人员应理解，所公开的构思和具体实施例可被很容易地用作修改或设计用于实现本发明的相同目的的其他结构或过程的基础。本领域技术人员也应该认识到，这类等同结构没有偏离所阐述的本发明的精神和范围。
附图说明
为了更全面地理解本发明及其优点，现在结合附图参考下面的说明，附图中：
图1示出了实时流量传送系统的实施例；
图2示出了视频帧流量的实例；
图3示出了实时流量传送方法的实施例；
图4示出了用于解码实时流量的方法的实施例；以及
图5为可用于实现各个实施例的处理系统的示意图。
除非另外指明，不同附图中对应编号和符号一般表示对应部件。附图的绘制清楚地示出了实施例的相关方面，并不必是按比例绘制。
具体实施方式
下面将更详细地讨论当前优选实施例的实现和运用。然而，应理解，本发明提供了可以体现在多种特定语境中的许多可应用的发明构思。所讨论的具体实施例仅仅说明了实现和运用本发明的特定方式，并不限制本发明的范围。
视频流由可以以不同方式被编码的视频帧组成。周期性地生成独立编码视频帧(I帧)，以提供随机访问并提高压缩视频的质量。使用来自I帧的信息进行编码的其他依赖视频帧，包括预测编码帧(P帧)和双向预测帧(B帧)，可以显著降低编码比特数。由于I帧的大小可以是P帧和B帧的大小的20倍或更大，视频流的瞬时速率可发生显著变化。有时，如果在P帧的时刻发生场景变化，P帧的大小可以比平均编码速率大很多。如果I帧丢失，不能够对依赖视频帧适当地解码，并且几秒的视频可能丢失。这是实时视频传送的基本问题，在无线网络中由于用户移动性和信道衰落导致的无线链路的频谱效率不稳定，该问题甚至更加严重。
本文提供的实施例为一种可在蜂窝无线网络中使用的实时视频传送的系统和方法。实时视频传送的问题通过在网络侧无线资源调度器和视频编码器的联合设计以及用户终端处的解码器得到解决。本文的系统和方法也可用于语音电话流量等任何实时流量。
在典型的实时视频通信中，每个媒体数据包具有传输的最终期限，例如为了满足传输速率并满足使用体验质量(QoE)要求。如果没有在最终期限前传送数据包，由于解码器忽略迟到数据包而丢弃该数据包。先前的策略尽力地解决视频数据包传送的延迟约束。然而，由于视频瞬时速率的较大变化，很难保证按时传送视频数据包。此外，由于通常假定延迟数据包对于实时视频服务是无用的而丢掉延迟数据包。这意味着如果大的I帧不能按时被发送给用户，则被丢弃。结果，依赖于I帧的帧由于丢失参考的I帧而变得无用。因而，丢失了依赖于I帧的整个组的画面帧，例如长达一秒或几秒。丢失这种数据包可导致长达几秒的屏幕定格，因此影响用户体验。
图1示出了能够解决上述问题的实时流量传送系统100的实施例。系统100包括无线网络的调度器110，调度器110包括无线节点120，以及位于对应用户终端130的视频解码器132。用户终端130可为移动用户设备(UE)或能够与无线节点120进行无线通信的任何终端设备。用户终端130的实例包括智能电话、平板电脑、手提电脑、传感器设备或任何无线、个人或移动通信设备。无线节点120的实例包括基站、演进型节点B(eNB)、中继器或任何无线技术接入节点。调度器110可位于无线网络处并与无线节点120通信。可替代地，调度器110可位于无线节点120处。
视频解码器132包括缓冲器，其能够存储至少一个画面组(GoP)，例如延续一秒或更长时间的一组视频/画面帧。因此，视频解码器132保留了至少一个GoP的所有视频帧。视频解码器132在不完整的GoP中不丢弃视频帧，例如迟到帧或依赖于迟到帧的帧。例如，在I帧迟到的情况下，仍然缓冲其他的依赖P帧，因而当I帧延迟到达时仍然使用该迟到的I帧用于解码。
在一个实施例中，视频解码器132或用户终端130包括两个并行运行的解码器功能或模块。第一解码器功能/模块执行典型的解码，例如解码接收到的传入帧。第二解码器功能/模块解码迟到的传入帧，例如，在新放宽的或延长的最终期限接收的帧。当迟到帧到达时，第二解码器功能/模块再次解码依赖于迟到帧的先前接收到和解码的帧(在第一解码器功能/模块处)，以提高视频帧的质量。新解码的帧接着被发送到第一解码器功能/模块的参考存储器，以便进一步新到达的帧能够在第一解码器功能/模块处被更好地解码。
调度器110例如经由用户终端130的QoE反馈执行用户QoE监控和管理。调度器110也包括用于无线节点协调和QoE调度的功能112。这些功能使得调度器110根据为无线节点120建立的数据速率设定适当的传送最终期限，以便根据用户QoE信息服务相应的用户终端132。具体来说，调度器110指导无线节点120按时向用户终端130发送实时视频数据包。可经由IP网络104从实时视频源101向无线节点120发送视频数据包。可调度每个数据包的传送最终期限，以便在无线节点120处匹配瞬时速率，用于服务用户终端130。然而，在某些情况下，例如每当无线节点120处接收到太大I/P帧或无线节点120断电时，在调度的最终期限内不能传送帧。在这种情况下，调度器110可在无线节点120处放宽或延长延迟限制(传送最终期限)，同时仍然在无线节点120处匹配瞬时速率，用于服务用户终端130。例如，如果在无线节点120处接收到的帧为I帧，下一个预期帧为大小更小的P帧。P帧所需要的传送时间可明显小于向当前接收到的I帧传送的时间。因此，调度器110延长延迟限制至单个视频帧的延迟限制的两倍，以便发送I帧和随后的P帧的组合，从而保持传输速率。由于用户终端130处的视频解码器132被配置为不丢弃迟到I帧及其依赖帧(如上所述)，当接收到迟到I帧时，可适当地解码其他依赖P帧。
当例如I帧等当前帧在无线节点120处被调度时，例如P帧等下一帧可能尚未到达。因此，无线节点120尚不能得知关于下一帧的大小信息。调度器110需要下一帧的大小以便确定数据速率，并因此例如根据用户QoE确定帧的传送最终期限或延迟限制。在系统100中，有两种提供下一视频帧的大小信息的方式。在第一种实现方式中，例如在源节点101处的视频解码器在当前视频帧中，例如当前被发送的帧的帧头中，嵌入比特预算或下一个或多个帧的大小。因此，当无线节点120接收到当前帧时，可从帧头信息中获得下一个或多个帧的大小。在另一种实现方式中，调度器110或无线节点120实现估计视频数据包的统计量的功能，以便获得下一个画面帧可接受的大小估计。
当计算不同数据流(例如在无线节点120处)的调度优先级时，调度器110为每个数据流计算所需要的传输速率。在视频流的情况下，可基于视频帧的大小和传输最终期限，计算当前帧所需要的传输速率。所需要的速率与无线节点120的可用带宽进行比较，并假设当前速率提供给其他流，以确定调度器110是否能够支持该特定的最终期限。如果最终期限不能被满足，假设新放宽的(或延长的)最终期限，调度器110随后检查是否支持新放宽的所需要的数据速率。
图2示出了具有放宽的延迟限制(或最终期限)的视频帧的实例。视频GoP包括一个I帧和三个P帧。画面帧的到达间隔时间为0.1秒。如果延迟限制为0.1秒，例如正如实时视频服务所需要的那样，于是I帧和P帧通常需要在0.1秒内被发送。如果I帧的大小为0.1兆比特(Mbit)，瞬时比特速率为1Mbit/s(0.1Mbit/0.1s)。在典型的调度方法中，如果I帧的大小(0.1Mbit)不支持该速率，接着在无线节点处丢弃该I帧，这会导致0.4的丢失，不考虑是否能够按时传送下面三个依赖P帧。0.4s的丢失对应I帧和下面三个依赖P帧的整个延迟限制，每个需要0.1秒的延迟限制。
然而，根据系统100，调度器110放宽I帧的延迟限制。因此，联合考虑I帧和随后的P1帧的延迟限制，以便设定0.2毫秒(ms)的放宽的延迟限制，这是视频帧最初延迟限制的两倍。如果I帧的大小为0.1Mbit，下一个P1帧的大小为0.01Mbit(通常比I帧的大小小很多)，例如，正如I帧帧头所指示或一些估计机制所获得的，于是传送I帧和P1帧的瞬时速率为0.55Mbit/s。这会降低所需要或允许的瞬时速率(1Mbit/s)的45％，因而是可行的解决方案。通过计算传送I帧，以及P1和P2两个帧等的速率，可进一步放宽延迟限制。像这样延长延迟限制可能是受限的以便，例如基于全部可用带宽和/或用户QoE，匹配视频帧允许的瞬时或传输速率(1Mbit/s)或进一步可接受的放宽的速率。
为了实现系统100的调度方案，需要在放宽延迟限制帧，例如I帧之后的视频帧的大小。如上所述，通过I帧的帧头中承载的显式信令或无线接入点120处后续帧的大小的统计估计获得该信息。在一个实施例中，可设计视频解码器的速率控制模块，以便在I帧中指示比特预算或后续帧的大小，例如仅P1帧或进一步地，上述实例中P2/P3帧等。
系统100和上述的方案也可支持可伸缩视频编码器编码的视频。例如在源101处的SVC编码器生成帧的基本层(层0)和增强层(层1)。视频帧在时域(时间可伸缩性)或空域(空间可伸缩性)中可伸缩。根据接收到的视频帧速率，解码器使用层0和层1，在例如全通用中间格式(QCIF)、CIF、标清(SD)和高清(HD)等不同清晰度水平的其中一个上解码视频帧。如果视频帧太大而不能满足最终期限，先发送调度器110调度的基本层。通过例如为下一帧的增强层帧延长如上所述的延迟限制，增强层不被丢弃而是被调度以便连同下一个视频帧被稍后发送。用户终端130处的视频解码器132解码基本层并等待接收增强层。当增强层到达时，视频帧可被再次解码，接着用于以改善的清晰度解码(尚未解码的)其他依赖帧。
上述系统100的方案可扩展至语音电话等其他实时流量。例如，无线节点120和用户终端130不丢弃迟到的语音数据包。相反，利用上述放宽的最终期限，从无线节点120向用户终端130转发这些数据包。当迟到的数据包到达用户终端130时，其可以被解码并用来增强其他(依赖)语音数据包的解码质量。
图3示出了实时流量传送方法300的实施例。例如，该方法300可由系统100的调度器110或无线节点120实现。在步骤301，接收到实时流量流中的下一帧。例如，在实时视频流量的情况下，接收到的帧为I帧。在步骤310，调度器确定例如在无线节点处用于转发接收到的帧的规定延迟限制(传输最终期限)是否足以处理接收到的帧的大小。如果步骤310的条件成立，例如该大小的帧的传输时间小于或等于延迟限制，则方法300继续至步骤320。在步骤320，在规定延迟限制内发送接收到的帧。方法300接着返回步骤310，以便处理下一帧。
否则，当当前帧大小的传输时间大于延迟限制时，方法300继续至步骤325。在步骤325，延长延迟限制，并且相应地延迟当前帧。例如，通过另外或等同规定的延迟限制来增加延迟限制。利用一个或多个先前接收到的帧来延迟当前帧。接下来，在步骤330，该方法确定用于转发接收到但尚未发送的(待处理的)帧以及下一个预期的帧的延长的延迟限制是否足以处理待处理的帧以及下一个预期的帧的组合大小。例如，在实时视频流量的情况下，待处理的帧包括I帧或具有至少一个下一个P帧的I帧，下一个预期的帧为第二P帧。如上所述，由于下一个预期的帧尚未到达，在待处理的帧中，例如在最后接收到的帧或I帧的帧头中，可指示或基于历史统计信息估计下一个预期的帧的大小。在其他场景中，P帧可在I帧之前到达。例如，在多路径转发的情况下，首先生成较大的I帧并在第一路径中以较大的延迟发送。可稍后(例如30毫秒ms之后)生成P帧并以较小的延迟在第二路径中发送。如果P帧已经到达并且部分被发送，则连同P帧的剩余(尚未发送的)部分调度当前I帧。
如果步骤330的条件成立，例如待处理的帧和预期的下一帧的组合大小小于或等于延长的延迟限制，方法300继续至步骤340。在步骤340，在延长的规定延迟限制内，发送待处理的帧以及下一个预期的帧。例如，在等于一个视频帧的规定延迟限制的两倍的延长的延迟限制内发送的延迟的I帧和下一个预期的P帧。在另一个实例中，在等于一个视频帧的规定延迟限制的三倍的延长的延迟限制内发送延迟的I帧、下一个延迟的P帧和第二个下一个预期的P帧。根据用于传输的组合帧的数量(在延长的延迟限制内)延长一个帧的延迟限制保证了相同的瞬时传输速率。例如，I帧的规定延迟限制为100ms。然而，从源向无线节点传输该帧需要的时间为30ms。在这种情况下，无线节点有70ms向UE发送该帧。因此，当前I帧和下一个P帧的延长的最终期限或延迟限制设定为70+100＝170ms。方法300接着返回步骤310，以便接收和处理下一帧。否则，当待处理的帧的组合大小大于延长的延迟限制时，方法300返回步骤325。
进一步地，在帧的接收器侧，例如，用户终端130的解码器132处，帧在被解码之前，根据延长的延迟时间或适当规定的缓冲器窗口时间被缓冲适当的时间。例如，缓冲器时间至少对应GoP大小，例如I帧和随后3个P帧的缓冲器时间至少为0.4s。这使得解码器等待足够的时间来解码延迟帧(在延长的延迟限制内)，从而适当地解码下一个接收到的依赖帧。这避免了例如在规定的延迟限制对应的短暂延迟之后，延迟帧被丢掉的情况，并且解码器因此不能够解码下一个依赖帧，导致了多个帧的丢失。例如，在实时视频流量的情况下，解码器避免丢失GoP或几秒的视频。
图4示出了用于解码实时流量的方法400的实施例。例如，系统100的解码器132或用户终端130可实现该方法400。在步骤410，在允许帧延迟最终期限内，从无线节点接收一组用于实时业务流的帧。例如P帧的帧依赖于一组帧的尚未接收到的迟到帧(例如I帧)。在步骤420，在终端设备的第一解码器处，解码该帧。在步骤430，超过允许帧延迟最终期限之后，从无线节点接收迟到帧。在步骤440，在终端设备的第二解码器处，解码迟到帧。帧在第一解码器处被解码与迟到帧在第二解码器处被解码并行或几乎同时进行。例如，用户终端可用于将按时或在允许帧延迟最终期限内接收的帧引导至第一解码器处，以及将在超过允许帧延迟最终期限之后接收的帧引导至第二解码器处。在步骤450，发送已解码迟到帧到第一解码器的存储器。在步骤460，在允许帧延迟最终期限内，接收一组帧的一个或多个后续帧。一个或多个后续帧(例如，一个或多个额外的P帧)也依赖于迟到帧(例如I帧)。在步骤470，在第一解码器处，根据已解码的迟到帧解码一个或多个后续帧。
图5为可用于实现各个实施例的示例性处理系统500的方框图。特定设备可使用示出的所有组件，或组件的仅仅一个子集，集成水平可随不同设备而变化。例如，设备包括用户终端或无线节点。此外，设备可含有组件的多个实例，例如，多个的处理单元、处理器、存储器、发送器、接收器等。处理系统500可包括处理单元501，该处理单元配备501有一个或多个输入设备、例如，麦克风、鼠标、触摸屏、小键盘、键盘等。同样，处理系统500可配备一个或多个输出设备，例如扬声器、打印机、显示器等。处理单元可包括连接到总线595的中央处理单元(CPU)510、存储器520、大容量存储设备530、视频适配器540，以及I/O接口590。
总线595可为任何类型的几个总线架构中的一个或多个，总线架构包括存储器总线或存储器控制器，外围总线、视频总线等。CPU510可包括任何类型的电子数据处理器。存储器520可包括任何类型的系统存储器，诸如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、只读存储器(ROM)或其组合等。在一个实施例中，存储器520可包括启动使用的ROM，执行程序使用的用于程序和数据存储的DRAM。大容量存储设备530可包括配置成存储数据、程序和其他信息的任何类型的存储设备，使得数据、程序和其他信息经由总线595能够被存取。例如，大容量存储设备530可包括一个或多个固态驱动器、硬盘驱动器、磁盘驱动器、光盘驱动器等。
视频适配器540以及I/O接口590提供接口，以将外部输入和输出设备耦合到处理单元。如上所述，输入和输出设备的实例包括耦合至视频适配器540的显示器560，以及耦合至I/O接口590的鼠标/键盘/打印机570。其他设备可耦合至处理单元501，可使用附加的或更少的接口卡。例如，串行接口卡(未示出)可用于提供打印机的串行接口。
处理单元501也包括一个或多个网络接口550，这些网络接口可包括诸如以太网线缆之类的有线连接，和/或接入节点或不同网络的无线连接。网络接口550使得处理单元501经由一个或多个网络580与远程单元进行通信。例如，网络接口550可经由一个或多个发送器/发送天线和一个或多个接收器/接收天线提供无线通信。在一个实施例中，处理单元501耦合至局域网或广域网以便与远程设备进行数据处理和通信，远程设备例如其他处理单元、互联网、远程存储设施等。
尽管本公开已经提供了几个实施例，应理解，公开的系统和方法可以多种其他方式实施，而不偏离本公开的精神和范围。本实例是说明性的，而不是限制性的，意图不在于限制这里给出的细节。例如，各种元件或组件可以结合或者集成到另一个系统，或一些特征可以忽略，或不执行。
在不偏离本公开的范围的情况下，在各种实施例中不连续地或单独地描述和示出的技术、系统、子系统和方法可与其他系统、模块、技术或方法组合或集成。示出或讨论的彼此耦合或直接耦合或通信的其他项可通过不管是电子的、机械的或其他的某个接口、设备或中间组件间接耦合或通信。本领域技术人员可以在不偏离此处公开的精神和范围的情况下确定并且可以作出改变、替代以及变更的其他实例。

Claims (10)

1.一种终端设备支持实时流量传送的方法，所述方法包括：
在允许的帧延迟最终期限内，从无线节点接收用于实时业务流的一组帧中的帧，所述帧依赖于所述一组帧中的尚未接收到的迟到帧；
在所述终端设备的第一解码器处，解码所述帧；
超过所述允许的帧延迟最终期限之后，从所述无线节点接收所述一组帧中的所述迟到帧；
在所述终端设备的第二解码器处，解码所述迟到帧；
向所述第一解码器发送已解码的迟到帧；
在所述允许的帧延迟最终期限内，接收所述一组帧中的一个或多个后续帧，所述一个或多个后续帧依赖于所述迟到帧；以及
在所述第一解码器处，根据所述已解码的迟到帧解码所述一个或多个后续帧。
2.根据权利要求1所述的方法，其中所述帧在第一解码器处被解码和所述迟到帧在所述第二解码器处并行或几乎同时进行解码。
3.根据权利要求1所述的方法，其中所述实时业务流为视频流，所述帧为P帧，所述迟到帧为I帧，所述一个或多个后续帧包括依赖于所述I帧的一个或多个后续P帧。
4.一种网络组件进行实时流量传送的方法，所述方法包括：
编码用于实时业务流的一组帧的第一帧；
使用已编码的第一帧，编码所述用于实时业务流的一组帧的第二帧；
在所述已编码的第一帧中，指示已编码的第二帧的大小；
发送所述第一帧；以及
在所述第一帧之后，发送所述第二帧；
其中，在所述已编码的第一帧中，指示已编码的第二帧的大小包括：在编码所述第二帧之后，在所述已编码的第一帧的帧头中，加入所述已编码的第二帧的总比特大小；
或者，
其中，在所述已编码的第一帧中，指示已编码的第二帧的大小包括：在所述已编码第一帧的帧头中，加入预先分配给帧的比特大小的预算。
5.根据权利要求4所述的方法，其中所述实时业务流为视频流，所述第一帧为I帧，所述第二帧为依赖于所述I帧的P帧。
6.一种支持实时流量传送的终端设备，所述终端设备包括：
至少一个处理器；以及
存储用于所述至少一个处理器执行的程序的非瞬态计算机可读存储介质，所述程序包括下述指令：
在允许的帧延迟最终期限内，从无线节点接收用于实时业务流的一组帧中的帧，所述帧依赖于所述一组帧中的尚未接收到的迟到帧；
在所述终端设备的第一解码器处，解码所述帧；
超过所述允许的帧延迟最终期限之后，从所述无线节点接收所述一组帧中的所述迟到帧；
在所述终端设备的第二解码器处，解码所述迟到帧；
向所述第一解码器发送已解码的迟到帧；
在所述允许的帧延迟最终期限内，接收所述一组帧中的一个或多个后续帧，所述一个或多个后续帧依赖于所述迟到帧；以及
在所述第一解码器处，根据所述已解码的迟到帧解码所述一个或多个后续帧。
7.根据权利要求6所述的终端设备，其中所述程序进一步包括将按时或在所述允许帧延迟最终期限内接收到的帧引导至所述第一解码器处，以及将在超过所述允许帧延迟最终期限之后接收到的迟到帧引导至所述第二解码器处的指令。
8.根据权利要求6所述的终端设备，其中所述实时业务流为视频流，所述帧为P帧，所述迟到帧为I帧，所述一个或多个后续帧包括依赖于所述I帧的一个或多个后续P帧。
9.一种用于实时流量传送的网络组件，所述网络组件包括：
至少一个处理器；以及，存储用于所述至少一个处理器执行的程序的非瞬态计算机可读存储介质，所述程序包括用于执行下述步骤的指令：
编码用于实时业务流的一组帧中的第一帧；
使用已编码的第一帧，编码所述用于实时业务流帧的一组中的第二帧；
在所述已编码的第一帧中，指示已编码的第二帧的大小；
发送所述第一帧；以及
在所述第一帧之后，发送所述第二帧；
其中，
在所述已编码的第一帧中，指示已编码的第二帧的大小包括：在编码所述第二帧之后，在所述已编码的第一帧的帧头中，加入所述已编码的第二帧的总比特大小；或者，在所述已编码的第一帧中，指示已编码的第二帧的大小包括：在所述已编码第一帧的帧头中，加入预先分配给帧的比特大小的预算。
10.根据权利要求9所述的网络组件，
其中，所述实时业务流为视频流，所述第一帧和所述第二帧分别为I帧和P帧，或所述第一帧和所述第二帧分别为P帧和第二P帧。
CN201811128235.3A 2013-10-11 2014-09-28 实时流量传送系统和方法 Active CN109068187B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361890011P 2013-10-11 2013-10-11
US61/890,011 2013-10-11
US14/092,607 2013-11-27
US14/092,607 US9537779B2 (en) 2013-10-11 2013-11-27 System and method for real-time traffic delivery
CN201480052066.3A CN105579998B (zh) 2013-10-11 2014-09-28 实时流量传送系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480052066.3A Division CN105579998B (zh) 2013-10-11 2014-09-28 实时流量传送系统和方法

Publications (2)

Publication Number Publication Date
CN109068187A CN109068187A (zh) 2018-12-21
CN109068187B true CN109068187B (zh) 2021-04-09

Family

ID=52809611

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480052066.3A Active CN105579998B (zh) 2013-10-11 2014-09-28 实时流量传送系统和方法
CN201811128235.3A Active CN109068187B (zh) 2013-10-11 2014-09-28 实时流量传送系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480052066.3A Active CN105579998B (zh) 2013-10-11 2014-09-28 实时流量传送系统和方法

Country Status (4)

Country Link
US (2) US9537779B2 (zh)
EP (1) EP3042301B1 (zh)
CN (2) CN105579998B (zh)
WO (1) WO2015051719A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9537779B2 (en) * 2013-10-11 2017-01-03 Huawei Technologies Co., Ltd. System and method for real-time traffic delivery
JP2015136060A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
US9826541B1 (en) * 2014-08-19 2017-11-21 University Of South Florida System and method for user-specific quality of service scheduling in wireless systems
US10506257B2 (en) 2015-09-28 2019-12-10 Cybrook Inc. Method and system of video processing with back channel message management
US10756997B2 (en) 2015-09-28 2020-08-25 Cybrook Inc. Bandwidth adjustment for real-time video transmission
US10516892B2 (en) 2015-09-28 2019-12-24 Cybrook Inc. Initial bandwidth estimation for real-time video transmission
US10506283B2 (en) 2015-11-18 2019-12-10 Cybrook Inc. Video decoding and rendering using combined jitter and frame buffer
US10506245B2 (en) * 2015-11-18 2019-12-10 Cybrook Inc. Video data processing using a ring buffer
CN105681931B (zh) * 2016-01-12 2018-12-28 清华大学 一种基于无线网络的视频数据包传输方法及系统
US10439947B2 (en) * 2016-11-17 2019-10-08 Cisco Technology, Inc. Method and apparatus for providing deadline-based segmentation for video traffic
CN107222715A (zh) * 2017-06-15 2017-09-29 杭州联吉技术有限公司 一种远程播放视频的方法、装置及计算机可读存储介质
CN109348233B (zh) * 2018-07-23 2020-11-13 浙江工业大学 一种层间回填自适应svc-dash播放方法
US20230101262A1 (en) * 2021-09-29 2023-03-30 At&T Intellectual Property I, L.P. Application-level network slicing for high quality of experience
US20230188810A1 (en) * 2021-12-09 2023-06-15 Synamedia Vividtec Holdings, Inc. Systems and methods for transporting data over content delivery networks

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104757A (en) * 1998-05-15 2000-08-15 North Carolina State University System and method of error control for interactive low-bit rate video transmission
US6700895B1 (en) * 2000-03-15 2004-03-02 3Com Corporation Method and system for computationally efficient calculation of frame loss rates over an array of virtual buffers
CN101518092A (zh) * 2006-09-26 2009-08-26 高通股份有限公司 用于包交换视频电话应用的有效视频包化方法
CN101682515A (zh) * 2008-03-20 2010-03-24 联发科技股份有限公司 用于确定多媒体序列的帧尺寸的方法
CN102055727A (zh) * 2009-10-30 2011-05-11 华为技术有限公司 多业务传送网中的数据封装方法、封装设备和支路单元
CN102572362A (zh) * 2010-12-15 2012-07-11 盛乐信息技术（上海）有限公司 视频信号传输方法
CN102892004A (zh) * 2012-10-16 2013-01-23 天津大学 一种多视点视频编码码率控制方法
CN103227926A (zh) * 2013-05-27 2013-07-31 合肥优尔电子科技有限公司 适用于低带宽无线通信信道的视频编码装置及其编码方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
US6609149B1 (en) 1999-04-12 2003-08-19 International Business Machines Corporation Method and apparatus for prioritizing video frame retrieval in a shared disk cluster
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US7161957B2 (en) * 2003-02-10 2007-01-09 Thomson Licensing Video packets over a wireless link under varying delay and bandwidth conditions
KR100930770B1 (ko) * 2003-06-04 2009-12-09 미쓰비시덴키 가부시키가이샤 송신기 및 통신 방법
EP1551185A1 (en) * 2004-01-05 2005-07-06 Thomson Licensing S.A. Encoding method, decoding method, and encoding apparatus for a digital picture sequence
US7447983B2 (en) * 2005-05-13 2008-11-04 Verizon Services Corp. Systems and methods for decoding forward error correcting codes
US20070002740A1 (en) * 2005-06-30 2007-01-04 Scott Evans Biasing of network node prioritization to improve per-hop behavior based on performance necessary for a packet to meet end-to-end QoS goals
US7733773B2 (en) * 2006-10-18 2010-06-08 Telefonaktiebolaget Lm Ericsson (Publ) Playout based delay scheduler
EP2123040B1 (en) * 2006-12-12 2017-12-06 Vantrix Corporation An improved video rate control for video coding standards
US7877514B2 (en) * 2007-05-03 2011-01-25 Samsung Electronics Co., Ltd. System and method for time-constrained transmission of video in a communication system
CN101321275B (zh) * 2007-06-06 2012-08-08 华为技术有限公司 视频流的处理系统和处理方法
US7881340B2 (en) * 2007-10-22 2011-02-01 The Johns Hopkins University Decentralized media access control for ad-hoc mobile wireless network
EP2279590A1 (en) 2008-04-10 2011-02-02 Time-Critical Networks AB Calculating packet delay in a multihop ethernet network
GB0809014D0 (en) * 2008-05-17 2008-06-25 Slever Solutions Ltd Improvements in and relating to the management of data congestion in a data network
US8094624B2 (en) * 2008-07-30 2012-01-10 Aruba Networks Cayman Method and apparatus for minimizing packet transmission loss in a wireless network
CN101662677B (zh) * 2008-08-29 2011-08-10 华为终端有限公司 码流转换系统及方法、码流识别单元和方案确定单元
US8159952B2 (en) * 2009-02-10 2012-04-17 New Jersey Institute Of Technology Data packet traffic scheduling
WO2010112074A1 (en) * 2009-04-02 2010-10-07 Nokia Siemens Networks Oy Method and device for data processing in a communication network
KR101676310B1 (ko) * 2009-04-27 2016-11-16 엘지전자 주식회사 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
KR101372376B1 (ko) * 2009-07-07 2014-03-14 경희대학교 산학협력단 디지털 방송 시스템의 스테레오스코픽 비디오 수신 방법
CN101729892B (zh) * 2009-11-27 2011-07-27 宁波大学 一种非对称立体视频编码方法
EP2405661B1 (en) * 2010-07-06 2017-03-22 Google, Inc. Loss-robust video transmission using two decoders
CN102098542A (zh) * 2010-12-15 2011-06-15 中兴通讯股份有限公司 一种多媒体数据传输的方法、系统和装置
KR101803970B1 (ko) * 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
CN102215265B (zh) * 2011-06-14 2013-12-18 杭州思福迪信息技术有限公司 实现远程虚拟桌面访问统一管理和监控的系统及方法
CN102984548B (zh) 2011-09-05 2014-12-31 中国移动通信集团公司 3d立体视频编码传输方法及装置
US9537779B2 (en) * 2013-10-11 2017-01-03 Huawei Technologies Co., Ltd. System and method for real-time traffic delivery

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104757A (en) * 1998-05-15 2000-08-15 North Carolina State University System and method of error control for interactive low-bit rate video transmission
US6700895B1 (en) * 2000-03-15 2004-03-02 3Com Corporation Method and system for computationally efficient calculation of frame loss rates over an array of virtual buffers
CN101518092A (zh) * 2006-09-26 2009-08-26 高通股份有限公司 用于包交换视频电话应用的有效视频包化方法
CN101682515A (zh) * 2008-03-20 2010-03-24 联发科技股份有限公司 用于确定多媒体序列的帧尺寸的方法
CN102055727A (zh) * 2009-10-30 2011-05-11 华为技术有限公司 多业务传送网中的数据封装方法、封装设备和支路单元
CN102572362A (zh) * 2010-12-15 2012-07-11 盛乐信息技术（上海）有限公司 视频信号传输方法
CN102892004A (zh) * 2012-10-16 2013-01-23 天津大学 一种多视点视频编码码率控制方法
CN103227926A (zh) * 2013-05-27 2013-07-31 合肥优尔电子科技有限公司 适用于低带宽无线通信信道的视频编码装置及其编码方法

Also Published As

Publication number Publication date
US20170099225A1 (en) 2017-04-06
CN105579998B (zh) 2018-10-19
US20150103846A1 (en) 2015-04-16
CN105579998A (zh) 2016-05-11
CN109068187A (zh) 2018-12-21
EP3042301B1 (en) 2020-02-05
US10193813B2 (en) 2019-01-29
WO2015051719A1 (en) 2015-04-16
EP3042301A4 (en) 2017-01-18
EP3042301A1 (en) 2016-07-13
US9537779B2 (en) 2017-01-03

Similar Documents

Publication Publication Date Title
CN109068187B (zh) 实时流量传送系统和方法
US8443097B2 (en) Queue management unit and method for streaming video packets in a wireless network
US10887151B2 (en) Method for digital video transmission adopting packaging forwarding strategies with path and content monitoring in heterogeneous networks using MMT protocol, method for reception and communication system
US20130290492A1 (en) State management for video streaming quality of experience degradation control and recovery using a video quality metric
US20140146677A1 (en) Dynamic determination of transmission parameters based on packet priority and network conditions
Hsiao et al. H. 264 video transmissions over wireless networks: Challenges and solutions
US20110067072A1 (en) Method and apparatus for performing MPEG video streaming over bandwidth constrained networks
WO2014209493A1 (en) State management for video streaming quality of experience degradation control and recovery using a video quality metric
CN107210843B (zh) 使用喷泉编码的实时视频通信的系统和方法
US20230231787A1 (en) Communication method and an apparatus
JP5676781B2 (ja) マルチメディアストリーミング向けのビデオパケットスケジューリング方法
WO2014209494A1 (en) Video streaming quality of experience degradation control using a video quality metric
US10341047B2 (en) Method and system for controlling the forwarding of error correction data
Chen et al. Buffer-driven rate control and packet distribution for real-time videos in heterogeneous wireless networks
Karimi et al. Improving video delivery over wireless multimedia sensor networks based on queue priority scheduling
WO2014209495A1 (en) Video streaming quality of experience recovery using a video quality metric
EP2348730B1 (en) Method, device and system for video stream transmission
Sutinen et al. Towards ubiquitous video services through scalable video coding and cross-layer optimization
Ahmedin et al. A survey of multimedia streaming in LTE cellular networks
Wu et al. Adaptive source-FEC coding for energy-efficient surveillance video over wireless networks
Baccaglini et al. Efficient slice‐aware H. 264/AVC video transmission over time‐driven priority networks
Rahimi et al. A QoE-aware transmission mechanism for interactive IPTV over IEEE 802.16 networks
Amir et al. Enterprise solution of bandwidth optimization for multimedia transmission
Patel et al. Adroit buffer augmentation for reliable video trans-mission over WLAN
WO2023168133A2 (en) Packet wash of rtp aggregation packets in a video stream

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant