CN109937578B - 用于视频流的方法和系统 - Google Patents

用于视频流的方法和系统 Download PDF

Info

Publication number
CN109937578B
CN109937578B CN201780036440.4A CN201780036440A CN109937578B CN 109937578 B CN109937578 B CN 109937578B CN 201780036440 A CN201780036440 A CN 201780036440A CN 109937578 B CN109937578 B CN 109937578B
Authority
CN
China
Prior art keywords
video
packet
packets
bitstream
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780036440.4A
Other languages
English (en)
Other versions
CN109937578A (zh
Inventor
许梓俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vishare Technology Ltd
Original Assignee
Vishare Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vishare Technology Ltd filed Critical Vishare Technology Ltd
Publication of CN109937578A publication Critical patent/CN109937578A/zh
Application granted granted Critical
Publication of CN109937578B publication Critical patent/CN109937578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/24—Multipath
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/38—Flow control; Congestion control by adapting coding or compression rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/402—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel non-real time sessions, e.g. downloading a file in a parallel FTP session, initiating an email or combinational services
    • H04L65/4025—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel non-real time sessions, e.g. downloading a file in a parallel FTP session, initiating an email or combinational services where none of the additional parallel sessions is real time or time sensitive, e.g. downloading a file in a parallel FTP session, initiating an email or combinational services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Abstract

一种执行视频流的电子系统，其包括视频发送器。视频发送器将视频数据转换成具有不同的传输优先级的多层比特流分组。多层比特流分组的较低层的比特流分组在被传输到视频接收器时具有较高的优先级。

Description

用于视频流的方法和系统
技术领域
本发明涉及视频处理，尤其涉及执行视频流的方法和系统。
背景技术
流式视频或流式媒体是在提供者传送同时，持续地由最终用户或客户接收或呈现给最终用户或客户的视频或媒体。视频数据可以通过互联网进行编码和传输。不用等待整个文件被下载以供观看，电子装置可以在传输视频图像和音频信号被传输时，通过访问数据流来重新生成视频图像和音频信号。流媒体技术在电话会议、体育赛事、无线电广播、电视广播等中特别有用。
需要有助于推进视频处理(例如视频流)的技术需求和工业应用的新方法和系统。
发明内容
一个示例性实施例是一种执行视频流的电子或计算机系统。系统包括视频发送器，其将视频数据转换成具有不同的传输优先级的多层比特流分组。多层比特流分组的较低层的比特流分组在被传输到视频接收器时具有较高的优先级。
本文讨论了其他示例性实施例。
附图说明
图1示出了根据示例性实施例的执行视频流的系统。
图2示出了根据示例性实施例的视频发送器。
图3示出了根据示例性实施例的视频接收器。
图4示出了根据示例性实施例的视频发送器的网络适配器。
图5示出了根据示例性实施例的自适应编码方法。
图6示出了根据示例性实施例的自适应编码方案。
图7A示出了根据示例性实施例的自适应解码方案。
图7B示出了根据另一示例性实施例的自适应解码方案。
图8示出了根据示例性实施例的执行视频流的电子或计算机系统，其包含自适应通信装置。
图9示出了图示根据示例性实施例的两个自适应通信装置如何为分组传输进行通信的图。
图10示出了根据示例性实施例的执行视频流的设备。
图11示出了根据示例性实施例的自适应通信装置的接收子系统。
图12示出了图示根据示例性实施例的通过多个信道分发低级分组的图。
图13示出了根据示例性实施例的执行视频流的方法。
图14示出了根据另一示例性实施例的执行视频流的方法。
具体实施方式
示例性实施例涉及新方法和系统，其以非传统方式执行视频流，以提高视频相关技术和应用领域中的视频处理的性能。
视频流，尤其是通过网络的实时视频流，需要低延迟或等待时间、高视频质量和高可靠性。良好性能的一个重大障碍是物理信道的操作条件波动。当网络带宽突然下降或存在高分组错误率(PER)时，要求视频流系统适应分组丢失并降低数据速率。同时，希望视频质量下降不太明显，并且不应存在压缩伪像。期望视频回放流畅而不会出现卡顿。实时视频流需要更准确的视频比特率控制和错误恹复能力，以在信道条件波动或变化的情况下允许低等待时间和视觉无损质量。
传统的视频流传输方案在各个方面都存在问题。例如，许多传统方案的一个缺陷是它们没有考虑网络流的实时要求，因此由于分组丢失而具有错误传播问题。传统方案不足以隐藏错误而不留下一些视觉伪像。作为另一个示例性缺陷，传统方案不能有效地适应通信信道的可用数据速率的连续变化，因此不能满足诸如游戏流和视频会议之类的应用的要求(例如等待时间、可靠性等)。此外，由于数据分组的保护不足，传统方案在视频流所需的稳健性方面不令人满意。
示例性实施例解决了上述与用于视频流的传统方案相关联的一个或多个技术问题。示例性实施例提供了新方法和系统中的技术解决方案，在各个方面提高视频流的性能。示例性实施例通过提供以非传统方式操作以有助于视频相关技术的新技术解决方案，在执行视频流中实现改进的性能，例如改进的等待时间、可靠性、稳健性和图像质量。
示例性实施例包括视频流系统，其将原始视频或视频数据转换成多层比特流分组以进行传输。针对分组调度、调制、分组长度选择等，对不同视频分组层采用不同的策略。示例性系统通过以较可靠的方法发送较重要的层的分组，并以较高数据速率的方法发送较不重要的层的分组，从而执行非平等视频流。每层比特流对流视频具有不同的影响。例如，示例性电子系统通过保证对解码视频流所必需的和对图像质量具有最大影响的最低层的传输，同时传输尽可能多的较高层分组，从而改进可靠性和图像质量。
一个或多个示例性实施例使用确认分组来改进可靠性和稳健性，所述确认分组指示分组接收状态，使得传输错误被适应，并改进了错误恹复能力。作为示例，示例性实施例在检测到传输失败时重新发送具有较高优先级的较重要的视频分组，并且在视频分组被肯定确认或变得过时丢弃视频分组。
示例性实施例包括一个或多个自适应通信装置，其被并入和采用为通过使用较高可靠性的信道来发送较高重要性的分组，并且使用较高数据速率的信道来发送较低重要性的分组，从而改进视频流的执行。作为示例，自适应通信装置包括至少一个网络接口以提供最少一个通信信道。在识别要传输的视频分组的服务要求之后，自适应通信装置确定如何将视频分组转换成至少一个低级分组，并选择一个或多个最佳信道以进行传输。例如，可以由另一自适应通信装置通过一个或多个信道接收低级分组，以重现原始视频分组。
一个或多个示例性实施例分别采用错误恹复编码和解码方法来执行视频帧的块级自适应编码和解码。在这些示例中的一些中，视乎比特流分组的接收状态，视频接收器自适应地确定是否使用较高层比特流分组来解码每个图像块。视频接收器将确认分组发回视频发送器以通知每个比特流分组的接收。视频发送器的自适应视频编码器基于最新的确定信息估计由视频接收器观察到的错误传播。视频发送器基于估计的解码错误标志确定参考帧重建，从而消除自适应视频编码器的参考帧和视频接收器的自适应视频解码器的解码帧之间的差异，并相应地改进性能，例如可靠性、稳健性和图像质量。
一个或多个示例性实施例通过提供非传统方案来促进同步，减少等待时间。作为示例，视频接收器基于源视频输入接口的估计的vsync时间来控制其视频输出接口的垂直同步(vsync)信号的时间，从而减少由于视频输入和输出接口的两个时钟的异步性而导致的显示等待时间。
图1示出了根据示例性实施例的执行视频流的系统100。
如图所示，系统100包括视频发送器110，其通过一个或多个网络与视频接收器150通信。系统100通过克服传统方案的一个或多个缺陷，以改进的性能执行视频流。
作为示例，视频发送器110将视频数据转换或变换成具有不同的传输优先级的多层比特流分组，使得所述多层比特流分组的较低层的比特流分组在被传输到视频接收器150时具有较高的优先级。
作为示例，视频发送器110通过执行非平等视频流达至具有高可靠性和低等待时间的视频流。“非平等”指不同层的比特流分组被不同地划分优先级和处理以用于传输。出于说明的目的，视频发送器110生成不同类型的比特流分组或不同重要性的视频分组，并且将重点放在发送较重要的视频分组，而利用剩余带宽来发送具有较低优先级的较不重要的视频分组。当检测到传输错误时(例如，当视频接收器150未成功接收到视频分组时)，视频发送器110发送具有较高优先级的较重要的视频分组。可以使用各种通信协议来管理数据或分组传输。作为示例，使用面向连接的协议，例如传输控制协议(TCP)。
在示例性实施例中，视频发送器110连接到诸如摄像机的视频源装置，并且通过诸如原始视频输出接口的接口接收视频数据或原始视频。“原始视频”表示在进一步处理(例如压缩)之前由视频源装置捕获、存储或输出的视频数据。例如，原始视频可以是YUV或RGB(红色、绿色、蓝色)格式。在传输到视频接收器150以进行解码和显示之前，处理(例如压缩或编码)原始视频。视频发送器110将视频数据编码成具有多个层的压缩或编码视频比特流，其被进一步转换成多层比特流分组以通过一个或多个有线或无线网络进行传输。
作为示例，视频发送器110和视频源装置是两个单独的装置，例如独立视频传输盒和BluRay播放器，其中视频传输盒是专门设计的。作为另一示例，视频发送器110和视频源装置被集成为实现两种功能的单个装置，例如具有专门设计的集成视频发送器模块的膝上型计算机。
在示例性实施例中，视频接收器150连接到诸如电视(TV)的接收显示装置(sinkdisplay device)。视频接收器150对接收到的比特流分组进行解码，并通过接口(例如原始视频输出接口)将解码的视频发送到接收接收显示装置。
作为示例，视频接收器150和接收显示装置是两个单独的装置，例如独立视频接收器盒和TV，其中视频接收器盒是专门设计的。另一个例子，视频接收器150和接收显示装置被集成为实现两种功能的单个装置，例如具有专门设计的视频接收器模块的头戴式显示器和有机发光二极管(OLED)。
在示例性实施例中，当视频数据从视频发送器110传输到视频接收器150时，通过交换vsync分组来同步视频发送器110和视频接收器150之间的垂直同步(vsync)时间，从而减少等待时间和改进视频流的性能。
图2示出了根据示例性实施例的视频发送器210。如图所示，视频发送器210包括自适应视频编码器212、网络适配器214和传输(TX)同步器216。
作为示例，自适应视频编码器212将视频数据编码成多层视频比特流。网络适配器214将从自适应视频编码器212接收到的多层视频比特流转换成具有不同传输优先级的多层比特流分组，与视频接收器交换网络管理分组以估计可用网络带宽，以及确定自适应视频编码器212的多层视频比特流的多个编码比特率。TX同步器216记录原始视频输入的垂直同步(vsync)时间，并通过vsync分组将vsync时间传输到视频接收器。
在示例性实施例中，自适应视频编码器212从视频源装置接收原始视频或视频数据221，然后压缩视频数据221以生成多层视频比特流(也称为多层比特流)，其中使用诸如可适性视频编码(SVC)的编码算法。例如，多层视频比特流包括作为最低层的基层和作为较高层的一个或多个增强层。基层对解码视频比特流是必需的，并且对视频流或图像质量具有最大影响。增强层被用来改善流质量。作为示例，出于传输目的，将基层比特流编码为基层比特流分组，并且将增强层比特流编码为增强层比特流分组。较低层比特流分组对图像质量具有更高的影响，因此被分配有更高的传输优先级。
在一个示例性实施例中，自适应视频编码器212将多层视频比特流222(例如基层比特流和/或增强层比特流)转发到网络适配器214以进行进一步处理。在另一个示例性实施例中，自适应视频编码器212通过网络适配器214从网络接收数据223(例如确认分组、比特率估计信息等)。作为示例，确认分组可以是肯定确认或否定确认。当接收到肯定确认(即，肯定地确认)时，这指示视频接收器正确接收到比特流分组。当接收到否定确认(即，否定地确认)时，这指示视频接收器未接收到比特流分组。在一些示例中，自适应视频编码器212在预定义时段内没有接收到确认分组。基于在超时内的肯定确认、否定确认和/或缺少确认分组，自适应视频编码器212适应于损坏的视频比特流。如本文所用，损坏的视频比特流指的是其中一个或多个比特丢失或损坏的比特流。
作为示例，网络适配器214从自适应视频编码器212接收多层视频比特流222，并将比特流放入多个分组中以进行传输。例如，网络适配器214知道每个比特流的层，使得网络适配器214对于不同层的分组采用不同的策略来进行分组调度、调制、分组长度选择和丢弃。这样，属于较低层的较重要的比特流分组(例如基层分组)比较不重要的比特流分组具有较高的概率被传输到视频接收器。
在示例性实施例中，网络适配器214通过网络接收数据或反馈225(例如，确认分组、其他网络管理分组等)，然后将确认状态转发给自适应视频编码器212。作为示例，如果在超时内接收到否定确认或没有接收到肯定确认，则网络适配器214重新发送具有高优先级的较重要的分组以改进可靠性和错误恹复能力。在另一示例性实施例中，网络适配器214周期性地执行信道比特率估计，并且向自适应视频编码器221通知可以使用的最新比特率。
作为示例，TX同步器216跟踪指示视频发送器210的当前发送器系统时间的时间器计数器。例如，计数器在每个发送器系统周期更新，使得发送器系统周期由嵌入在视频发送器210内的晶体确定。视频发送器210周期性地记录其vsync信号的上升沿时间，其是当视频发送器210从视频源装置检测到视频输入的vsync信号226的上升沿时由定时器计数器报告的计数器值。
在示例性实施例中，TX同步器216通过vsync分组227将其vsync时间周期性地发送到视频接收器(例如参考图1的视频接收器150)的接收(RX)同步器，使得RX同步器存储和更新与实际发送器系统时间非常接近的估计的发送器系统时间。作为示例，TX同步器216接收估计的接收器系统时间228，从而确定是否过了分组期限和相应的分组是否过时。
图3示出了根据示例性实施例的视频接收器350。如图所示，视频接收器350包括网络适配器352、自适应视频解码器354和RX同步器356。
作为示例，网络适配器352从视频发送器(例如参考图1的视频发送器110和参考图2的视频发送器210)接收多层比特流分组，并生成确认分组，所述确认分组被传回视频发送器以指示多层比特流分组的比特流分组的接收状态，使得视频发送器适应于传输错误。自适应视频编码器354与网络适配器352通信，并对多层比特流分组进行解码，以生成解码的视频数据。RX同步器356与视频发送器交换一个或多个vsync分组，以同步视频发送器和视频接收器350的时间。
在示例性实施例中，在视频解码开始之前，RX同步器356与视频发送器的自适应视频发送器交换vsync分组365，以同步估计的发送器系统时间与发送器系统时间。例如，RX同步器356将其本地时间(例如接收器系统时间)发送到视频发送器，以促进视频发送器的接收器时间或接收器系统时间估计。作为示例，RX同步器356持续地调整vsync信号366的时间，从而将接收显示装置的vsync信号和视频源装置的vsync信号之间的等待时间保持小而有界。
作为示例网络适配器352从视频发送器接收比特流分组361(例如基层比特流分组和增强层比特流分组)，并基于所接收的比特流分组的序列号生成肯定或否定确认分组。网络适配器352利用稳健且低等待时间的方法(例如sub-GHz工业科学医学频段(ISM)频段)发回诸如确认分组362的反馈。基于比特流分组接收状态，自适应视频解码器354自适应地对编码的视频数据(例如视频帧的每个块的视频数据)执行解码，并输出解码或解压缩的视频364以进行显示。
图4示出了根据示例性实施例的视频发送器的网络适配器414。
如图所示网络适配器414包括分组管理器415和网络接口416。作为一个示例性优点，网络适配器414通过最小化分组错误率，并通过支持非平等流来划分传输比特流分组的优先级，其中较重要的分组被赋予较高的传输优先级，从而有助于改进性能，例如改进可靠性和视频或图像质量。
作为示例，分组管理器415接收由自适应视频编码器(例如参考图2的自适应视频编码器212)输出的多层视频比特流，从多层视频比特流生成多层比特流分组，以及通知自适应视频编码器基于从视频接收器接收到的确认分组适应于传输错误。网络接口416通过网络将具有不同优先级的多层比特流分组发送到视频接收器。作为示例，多层比特流分组被划分传输优先级，使得多层比特流分组的较低层的比特流分组在被传输到视频接收器时具有较高的优先级。
一个或多个示例性实施例包括与分组管理器415相关的至少三种类型的数据流，如下所示：
1.分组管理器415从自适应视频编码器接收多层视频比特流(例如基层视频流431和增强层视频比特流432)，生成不同层的比特流分组，以及执行非平等流来通过网络接口416将这些分组433(例如基层比特流分组和/或增强层比特流分组)发送到网络。
2.分组管理器415通知自适应视频编码器基于所接收的确认分组436和439适应于传输错误。
3.分组管理器415通过网络接口416与视频接收器交换网络管理分组434和435来估计可用网络带宽，然后基于估计的可用网络带宽确定编码比特率，并且将这些编码比特率(例如基层编码比特率437和增强层编码比特率438)通知给自适应视频编码器。
在示例性实施例中，分组管理器415从不同层的传入比特流(例如由自适应视频编码器输出的多层视频比特流)生成比特流分组或视频分组。作为示例，传入比特流包括基层比特流和增强层比特流，所述增强层比特流的层比基层比特流的层高。基层比特流具有较低的数据速率，但是基层比特流分组(或简称为基层分组)的丢失对图像质量具有较大的影响。因此，即使在一些示例中传输效率受到损害，使用更稳健的传输方法来发送这些基层分组也是可以承受的。通过降低基层分组的分组错误率，正确传输基层分组的概率增加，从而提高了可靠性。增强层比特流具有高得多的数据速率，但是这些增强层比特流分组(或简称为增强层分组)的丢失对图像质量的影响较小。因此，即使在一些示例中稳健性受到损害，传输层越高，使用具有越高数据速率和越高传输效率的分组生成方法。
在示例性实施例中，将较稳健的调制方案、较长的前向纠错码和较短的分组长度应用于多层比特流分组的较低层。较低层还分配有服务质量(QoS)标签，使得较低层获得更好的网络服务。
另一示例性实施例包括以下方案，用于分组管理器415为不同层的比特流分组应用各种程度的稳健性、数据速率和传输效率：
1.分组管理器415提供具有不同级别的稳健性和数据速率的不同调制方法，例如保护间隔、二进制相移键控(BPSK)、正交相移键控(QPSK)和64正交幅度调制(QAM)等。分组的视频层越低，分组管理器415使用越稳健的调制方法。
2.分组管理器415添加不同长度的前向纠错(FEC)码，以允许视频接收器利用FEC码来校正比特错误。分组的视频层越低，分组管理器415使用的FEC码越长。
3.如果分组中的一个或多个比特丢失或损坏，则该分组会损坏。分组错误率随着分组长度而增加。同时，由于固定长度的分组头，较短的分组长度具有较高的开销百分比，因此降低了传输效率。因此，分组的视频层越低，分组管理器415选择的视频分组长度越短。
4.服务质量(QoS)：较重要的视频分组被分配有Qos标签以获得更好的网络服务，例如较低的错误率、较高的吞吐量、较低的延迟、较低的抖动等。
示例性实施例还包括分组调度，其通过对优先传输较重要的视频或比特流分组来支持非平等流。当利用确认分组检测到传输失败时，视频发送器(例如视频发送器110和210)重新发送具有较高优先级的较重要的分组。作为示例，所生成的视频分组首先被存储在一个或多个分组缓冲器中以获得缓冲的视频分组(或称为缓冲比特流分组或缓冲分组)。分组管理器415将缓冲分组分组为多个队列，使得相同视频层的比特流分组被放入相同的队列中。出于说明目的，每个视频分组被分配有显示期限。
作为示例，如果以下任一情况为真，则缓冲分组有资格被调度以进行传输或重传(有资格被调度的缓冲分组也称为合格的缓冲比特流分组，或者合格的缓冲分组，或者合格的分组)：
1.网络接口416尚未选择缓冲分组进行传输；
2.网络接口416已选择了缓冲分组以进行传输或重传，但是网络接口416已接收到指示视频接收器还未接收到缓冲分组的否定确认分组；和
3.网络接口416已选择了缓冲分组以进行传输或重传，但网络接口416在预定义或用户定义的超时后仍未从视频接收器接收到肯定确认。
在示例性实施例中，分组管理器415采用双层调度方法来确定要发送哪个视频分组或分组。分组管理器415从与最低视频层(例如基层)的分组队列或队列扫描到与最高视频层(例如最高增强层)相关联的分组队列或队列。选择具有至少一个合格的分组的第一扫描队列以作进一步考虑。因此，视频层越低，视频层具有的调度优先级越高。在所选队列中的合格的分组中，分组管理器415还选择具有最早传输期限的分组以进行传输。
在示例性实施例中，当不能发送视频分组时，或者当发送了视频分组但在传输期限之后未确认视频分组时，由于视频流的实时要求，视频分组变得无用。作为示例，定义了如果层L的视频接收器在与视频分组相关联的显示期限之前未成功传输到视频接收器，则将导致层L解码中的错误。在这种情况下，不被传送的视频分组被认为是过时的，这表明该视频分组可以因为它对解码没有用而被丢弃。作为示例，视频分组的显示期限大致等于视频分组的传输期限，因为期望视频分组在显示期限前被传输以确保良好的视频质量或图像质量。视频发送器的分组管理器通过与视频接收器交换网络管理分组来估计接收器系统时间。当确定视频分组是否过时时，分组管理器检查估计的接收器系统时间是否已超过了与视频分组相关联的显示期限。如果是，则丢弃视频分组。在示例中，如果视频分组被肯定确认，则丢弃该视频分组。在另一示例中，如果视频分组已过时或肯定确认，则从队列中移除该视频分组。
在示例性实施例中，视频发送器的分组管理器通过与视频接收器交换网络管理分组确定用于传输多层比特流分组的可用网络带宽。作为示例，可用网络带宽是最小网络带宽。作为另一示例，可用网络带宽是平均网络带宽。在示例中，基于可用网络带宽，分组管理器确定视频发送器的自适应视频编码器的多层比特流的多个编码比特率，使得以下条件(1)和(2)中的至少一个被满足：(1)基层比特率小于最小网络带宽；以及(2)总编码比特率小于平均网络带宽。因此，可靠性和等待时间得到改进。
作为示例，分组管理器通过监视网络状态和与视频接收器交换管理分组来收集信道状态统计，例如分组间等待时间、信道信号强度、比特错误率和网络传播等待时间等，从而持续地估计有效可用的网络带宽(即，可用于发送视频的比特率)。例如，分组管理器能够以高得多的置信度估计最坏情况下的最小网络带宽和预期的平均网络带宽：
1.预期的平均网络带宽Navg
2.预期的最小带宽Nmin，即可以高置信度(比如99.999％的概率)提供的网络带宽，其中Nmin＜Navg。作为示例，当视频发送器发现由于观察到一些诸如信号强度较弱或分组错误率较高等异常情况而使网络变得更不稳时间，将Nmin的估计调整为更保守，以保持较高的置信水平。
在示例性实施例中，基于Nmin和Navg，分组管理器向自适应视频编码器通知不同视频层的允许的比特率。比特流分组的等待时间取决于流量负载，而流量负载又与编码比特率和有效网络带宽密切相关。视频发送器确保编码比特率小于有效网络带宽，以使等待时间较小或最小。视频发送器对信道容量的控制相对较少。可以控制等待时间的一个重要参数是编码比特率。估计Navg和Nmin后，分组管理器确定不同层的比特流的编码比特率。作为示例，为了保证基层比特流的传送，预期基层比特流的比特率小于Nmin。因此，即使网络带宽突然下降，视频发送器也至少可以使用最小带宽Nmin来发送基层比特流以保证在最坏情况下传送基层分组。如果基层比特流的比特率不限于Nmin以下，即使非平等流也不能避免基层比特流过载网络信道，并损害流性能。在示例中，增强层比特率限制低于(Navg-Nmin)，使得使用剩余带宽尽可能地提高图像质量。在示例中，当带宽下降至低于Navg时，由于瞬时编码比特率大于预期带宽，因此必须丢弃一些增强层分组。丢弃增强层分组的影响相对不太重大。确定了不同层的目标比特率时，分组管理器将目标比特率发送到自适应视频编码器以选择由自适应视频编码器使用的编码参数。基于目标比特率和原始视频输入，自适应视频编码器为不同层选择适合的编码参数，使得每层的编码的比特率小于每层的允许的编码率。在一些示例中，由于Navg和Nmin的估计随着时间持续地变化，分组管理器相应地调整不同层的编码比特率。
对于许多传统方案，解码器必须接收编码的视频比特流的所有视频分组，才能正确地解码视频。由于这些方案的低等待时间约束，发送器不能按时重新发送丢失或损坏的分组，因此接收器必须解码具有不完整或损坏的比特流的帧，这是不稳健的，而且降低了视频质量。
一个或多个示例性实施例通过提供技术解决方案来解决传统方案的这些技术问题，其中基于分组接收状态做出自适应编码决定。作为示例，自适应视频编码器和自适应视频解码器分别采用多层编码和解码算法。未压缩的原始视频被转换成多层视频比特流，其进一步转换成具有传输优先级的多层比特流分组。
在示例性实施例中，视频接收器的自适应视频解码器根据是否接收到增强层块段自适应地对视频帧的每个像素块进行解码。接收到的增强层分组越多，图像质量越高。作为示例，视频接收器持续地向视频发送器报告分组接收状态。基于所确认的最新的接收错误，自适应视频编码器估计经过每一片增强层的解码错误传播。因此，自适应视频编码器以与解码器对相应帧进行解码相同的方式重建参考帧。即使存在分组接收错误，在执行帧间预测时，自适应视频编码器也如自适应视频解码器自适应视频解码器参考相同的像素块。
在示例性实施例中，定义了每个帧由多个像素块组成。块比特流段(blockbitstream segment)是呈现第L层比特流的像素块所需的编码的比特。假设Bf，b，L是对第f帧的第b块的第L层像素相关数据进行解码所需的块比特流段。视乎编码方法，第L层像素相关数据可以是执行帧间预测块的运动补偿后的第L层残差、执行i块的帧内预测后的第L层残差或其他适当信息。完整的块段可以在一个分组中携带，或者可以分成多个部分段，由多个分组携带。视频分组包含指示每个完整或部分的块段与哪些层、哪些块和哪些帧相关联的附加信息。
接收到比特流分组时，自适应视频解码器检查接收到哪些块段，并且如果接收到块段的所有比特，则将每个对应的块段接收标志设置为“1”，否则设置为“0”。视频接收器持续地向视频发送器确认分组接收状态。如果视频接收器确认接收到块段的所有比特，则自适应视频编码器将每个块段的确认标志设置为“1”，否则设置为“0”。
作为示例，基于接收标志，视频接收器如下为每个块确定解码错误标志。假设rf，b，L 是指示是否正确地接收到Bf，b，L的接收标志。如果满足以下所有条件，则将Bf，b，L的解码错误标志df，b，L设置为“0”。否则，将df，b，L设置为“1”：
1.rf，b，L＝1，即接收到s；和
2.所有被依赖的块段(即Bf，b，L所依赖的其他块段)的解码错误标志必须是“0”。这条件还意味着所有被依赖的块段的接收标志为“1”。
作为示例，即使增强层L的一些分组丢失或未及时接收，自适应视频解码器仍然可以使用其他第L层块段来恹复尽可能多的图像细节，相应的解码错误标志设置为“0”。
作为示例，基于确认接收到Bf，b，L的确认标志af，b，L，自适应视频编码器估计在自适应视频解码器的错误传播，并确定每个块的估计的解码错误标志ef，b，L。如果满足以下所述条件，则将由自适应视频编码器估计的估计的解码错误标志ef，b，L设置为“0”，否则设置为“1”：
1.af，b，L＝1，即确认了Bf，b，L；
2.所有被依赖的块段(即Bf，b，L所依赖的其他块段)的估计的解码错误标志必须是“0”。这条件还暗示所有被依赖的块段的确认标志是“1”。
图5示出了根据示例性实施例的自适应编码方法500。作为示例，方法500可以由电子装置或计算机系统执行，例如参考图1的包括自适应视频编码器212的视频发送器210。方法500例如通过在重构参考帧时自适应地决定是否结合每个块的增强层像素相关数据与基层像素相关数据组合来改进视频流。
框502表示对从视频源接收到的视频数据进行编码以获得重建的基层数据。作为示例，这由自适应视频编码器或基层编码器执行。框504表示对视频数据进行编码以获得重建的增强层数据。作为示例，这由自适应视频编码器或增强层编码器执行。框506表示当重建参考帧时，确定是否使用重建的增强层数据来与重建的基层数据组合。作为示例，在生成参考帧时根据估计的解码错误标志来决定是否使用重建的增强层数据。
图6示出了根据示例性实施例的自适应编码方案600。自适应编码方案600示出了在重构参考帧时如何将估计的解码错误标志集成到自适应决策中。
作为示例，自适应视频编码器或编码器基于接收器确认来执行自适应参考帧重建。由于网络适配器的非平等流策略，保证接收到基层分组，但不保证接收到增强层分组。因此，编码器在重构参考帧时确定是否组合每个块的增强层像素相关数据与基层像素相关数据。
在示例性实施例中，通过将参考帧618与输入帧或源帧611进行比较，运动估计模块602在参考帧618中找到最佳匹配参考块。基层编码器608对基层视频比特流进行编码以生成重构的基层像素或残差616。基层编码器608的输出用于生成基层比特流分组624。在一些示例中，执行帧间编码，将运动向量613输入到基层编码器608。在一些其他示例中，基层视频比特流对源视频帧的缩减版本进行编码，在输入到基层编码器608之前，帧内块像素中的基层像素相关数据或帧间块残差612由缩减模块或缩减器603缩减。
增强层编码器606对增强层比特流进行编码，以生成重构的增强层像素或残差621。增强层编码器606的输出还用于生成增强层比特流分组623。在一些示例中，执行帧间编码，使用运动向量。在一些其他示例中，增强层编码器606参考基层编码结果615以执行层间预测。
在一些示例中，基层比特流对源视频帧的缩减版本进行编码，基层像素相关数据(即重建的基层像素或残差)616在被用于重建参考帧之前由放大模块或放大器604放大。
在一些示例中，如果增强层块段的估计的解码错误标志是“0”，当重建参考帧的块以获得重建的帧619时，则做出决定625以在数字组合器622组合重建的增强层数据621与重建的基层数据616。否则，仅使用重建的基层数据616来重建参考帧。重构的帧619存储在帧存储610中。在一些示例中，做出帧内/帧间块决定617，以确定是否将运动补偿像素614发送到数字组合器622以生成重建的帧619。
图7A示出了根据示例性实施例的自适应解码方案700。作为示例，自适应解码方案700可以由电子装置或计算机系统执行，例如参考图3的自适应视频解码器354。
作为示例，框770表示对基层视频比特流进行解码以获得解码的基层数据。作为示例，这由自适应视频解码器或基层解码器执行。框780表示对增强层视频比特流进行解码以获得解码的增强层数据。作为示例，这由自适应视频解码器或增强层解码器执行。框790表示在生成解码帧时确定是否使用解码的增强层数据来与解码的基层数据组合。作为示例，在生成解码帧时根据解码错误标志来决定是否使用解码的增强层数据。
图7B示出了根据另一示例性实施例的自适应解码方案750。为了说明的目的，自适应解码方案750示出如何将解码错误标志集成到解码过程中以做出自适应编码决定。
如图7B所示，基层解码器702接收基层比特流分组711，并生成解码的基层数据，例如基层像素或残差714。在一些示例中，当基层比特流分组丢失时，在基层解码器702执行错误隐藏。方案750检查增强层块段的解码错误标志。如果解码错误标志是“0”，则增强层解码器704接收增强层比特流分组712和生成解码的增强层数据，例如增强层像素或残差717。在一些示例中，当增强层比特流分组丢失时，在增强层解码器704执行错误隐藏。
作为示例，运动补偿模块708接收嵌入在比特流中的运动向量716，并利用参考帧中的另一块执行运动补偿以预测像素。在一些示例中，基层视频比特流对源视频帧的缩减版本进行编码。基层残差714由放大模块或放大器706放大，并且输出数据719进入数字组合器720。当不需要放大处理时基层残差714直接进入数字组合器720。
作为示例，当增强层块段的解码错误标志是“0”时，做出决定718，在数字组合器720组合解码的增强层数据(例如增强层像素或残差717)和解码的基层数据(例如基层像素或残差714或719)，以生成解码帧721。当增强层块段的解码错误标志是“1”，仅使用解码的基层数据来生成解码帧721。
作为示例，解码帧721存储在帧存储710中。可以将新参考帧722发送到运动补偿模块708以执行运动补偿。作为另一示例，运动补偿模块708的输出723根据帧内或帧间块决定715输入到数字组合器720。
对于传统方案，如果视频源通过视频电缆直接与接收显示器连接，则视频同步信号(例如像素时钟、vsync和水平同步(hsync))直接从源装置传输到显示装置。然而，在视频流的情况下，流系统可以流传输压缩的像素数据而不是同步信号。源装置的视频输出时钟和接收显示器的视频输入时钟不同步，其由嵌入在两个单独装置中的两个单独的晶体驱动。因此，即使系统能够减少比特流等待时间，两个时钟之间的微小差异也可导致实际显示等待时间随时间将变得与一帧等待时间一样大。发送器不可能通过网络向接收器发送像素时钟。
一个或多个示例性实施例通过以下方式解决这些技术问题：允许视频发送器或发送器和视频接收器或接收器彼此交换管理分组，以确保源装置的vsync时间和接收显示器的vsync时间之间的差异是小而有界的，其中术语vsync时间指检测到vsync上升沿的时间。在两个vsync时间同步之前，在发送器的TX同步器将其系统时间与在接收器的RX同步器的系统时间同步。之后，TX同步器执行vsync同步操作，包括以下两个步骤：
1.持续监视输入视频接口的vsync信号，并在检测到vsync上升沿时记录系统定时器的值。
2.将定时器值放入vsync分组中，并将定时器值发送到接收器。
发送器的分组管理器以每两个连续操作之间的一些时间间隔持续地重复上述操作。因此，即使两个vsync之间的时间间隔随着时间而增加，也可以在接收到最新的vsync分组时对其进行校正和最小化。
示例性实施例提供了一种以改进的等待时间加速执行视频流的方法。当视频数据从视频发送器传输到视频接收器时，示例性方法通过在视频发送器和视频接收器之间交换vsync分组，同步视频输出接口和视频输入接口的垂直同步(vsync)时间，从而减少视频流的等待时间。
在一些示例中，视频输出接口以规则的时间间隔生成vsync上升沿，其中该间隔由本地晶体驱动的电子计数器确定。在一些其他示例中，RX同步器基于预期时间间隔和vsync分组来确定下一个上升沿。在视频流开始之前，视频发送器向RX同步器通知两个连续的vsync上升沿之间的预期时间间隔，表示为T。RX同步器将下一个vsync的时间(表示为VR)初始化为-1，这意味着下一个vsync的时间尚未定义。在接收器系统的每个时钟周期，接收器检查接收器是否已接收到新的vsync分组，其携带最新的发送器vsync时间，表示为Vs。如果接收到vsync分组，则接收器设置VR＝Vs+T。每当当前接收器系统时间等于VR，RX同步器将输出vsync上升沿，并更新VR，使得VR＝VR+T。
一个或多个示例性实施例包括自适应通信装置，其具有至少一个网络接口以发送和接收视频分组，就像仅使用了单个网络接口。
不同的网络接口使用相同或不同类型的物理收发器。例如，网络接口可以是2.4GHz 802.11n无线保真(WiFi)、5GHz 802.11ac WiFi、4G基带、以太网端口、HomePlug、LiFi等。每个网络接口支持至少一个信道，并配置为在给定时间使用可用信道之一。例如，2.4GHz 802.11n WiFi接口11个具有不同频率的可用信道，并且在给定时间选择一个信道。每个网络接口持续地监视所选信道的最新条件，例如比特错误率、接收信号强度指示(RSSI)和媒体访问延迟等，并将这些条件报告给信道管理器。如果条件恶化太多，则信道管理器指示网络接口扫描其他可用的信道，并切换到具有更有利条件的另一信道以获得更好的通信性能。
示例性自适应通信装置对于通过允许信道分集来允许高度可靠的通信(例如无线通信)是有用的。自适应通信装置允许使用多个网络接口来建立具有不同特性的多个信道。作为示例，自适应通信装置具有以多个射频(RF)频率操作的多个无线接口。当在一个频率的无线通信在特定时间受到干扰时，很可能仍然能够在使用不同频率的另一个信道中发送视频分组。
示例性自适应通信装置与主机装置(例如如上所述的视频发送器或视频接收器)连接，以向主机装置提供通信服务。主机装置定义多个服务类别的服务要求以及如何将每个传出分组映射到服务类别。如本文所用，传出分组是由主机装置输出并由自适应通信装置接收的分组。在从主机装置接收到传出分组时，自适应通信装置识别服务类别并生成至少一个低级视频分组，并动态地选择由一个或个网络接口设置的至少一个最合适的信道来发送低级分组。低级分组生成方法和信道选择都取决于服务类别的要求。在一些示例中，自适应通信装置向网络接口通知关于每个低级分组的分组长度、最佳调制参数、信道编码参数和服务质量(QoS)设置。在一些其他示例中，当从至少一个通信信道接收到低级分组时，第二自适应通信装置重新生成原始主机分组(即，由主机装置输出的分组)，然后将原始主机分组转发到第二自适应通信装置的主机装置。
图8示出了根据示例性实施例的包含执行视频流的自适应通信装置的计算机或电子系统800。
如图所示，系统800包括视频发送器810、视频接收器850、与视频发送器810连接的自适应通信装置820，以及与视频接收器750连接的自适应通信装置840。自适应通信装置820通过一个或多个网络830与自适应通信装置840通信。
在示例性实施例中，视频发送器810和视频接收器850分别使用自适应通信装置820和自适应通信装置840来代替诸如WiFi的标准网络接口。自适应通信装置820和840中的每一个至少提供快速数据信道和至少提供稳健反向信道。在另一示例中，在系统800中仅使用一个自适应通信装置(自适应通信装置820或自适应通信装置840)。
作为示例，视频发送器810和视频接收器850为非平等视频流定义至少以下三个分组服务类别，即：
1.基层视频类别，
2.增强层视频类别，以及
3.稳健类别。
作为示例，基层视频分组被映射到基层视频类别，而增强层视频分组被映射到增强层视频类别。基层视频类别要求具有高稳健性和较低的数据速率。增强层视频类别要求具有最低的稳健性和最高的数据速率。基于基层视频类别要求，分组仲裁器输出参数集以指示至少一个网络接口以高稳健性生成视频分组。基于增强层视频要求，分组仲裁器输出参数集以指示至少一个网络接口以最高数据速率生成分组。确认和管理数据分组被映射到稳健类别，并通过稳健信道被发送，其支持最高的稳健性和最低的数据速率。例如，以下列表按降序显示每个类别的稳健性要求：
1.稳健类别，
2.基层视频类别，和
3.增强层视频类别。
作为另一个示例，以下列表按降序显示每个类别的数据速率要求：
1.增强层视频类别，
2.基层视频类别，和
3.稳健类别。
图9示出了图表900，其图示了根据示例性实施例的两个自适应通信装置如何为分组传输进行通信。
仅出于描述的目的，该两个自适应通信装置分别被称为发送装置和接收装置。作为示例，发送装置接收主机分组或分组910，其包括两个服务类别A的主机分组(示为A1和A2)和一个服务类别B的主机分组(示为B1)。发送装置发现在长期演进(LTE)接口上建立的信道1最适合服务于类别B分组，因此发送装置将B1转换为低级分组B’1，并通过信道1发送B’1。发送装置发现在802.11ac接口上建立的信道2最适合服务于类别A分组，因此发送装置将A1和A2转换为低级分组A’1和A’2，并通过信道2发送它们。接收装置通过信道1和信道2接收这些低级分组以进行解码，以获得解码或重建的主机分组920，其包括与主机分组910的那些相同的主机分组。
一个或多个示例性实施例包括执行具有改进性能的视频流的设备。该设备包括具有传输子系统的自适应通信装置。传输子系统包括分组仲裁器、信道管理器和至少一个网络传输接口。作为示例，信道管理器基于从视频发送器接收到的分组服务类别配置信息和从至少一个网络传输接口接收到的信道状态统计，为分组仲裁器生成指令。分组仲裁器从视频发送器接收多层比特流分组，从多层比特流分组的每个比特流分组生成至少一个低级分组，以及选择一个或多个通信信道以传输至少一个低级分组。
图10示出了根据示例性实施例的执行视频流的设备1000。
如图所示，设备1000包括具有传输子系统1010的自适应通信装置1001。传输子系统1010包括分组仲裁器1012、信道管理器1014、解复接器(DEMUX)1016，以及至少一个网络传输接口Tx#11018-1......Tx#n 1018-n。
作为示例，信道管理器1014从主机装置(例如视频发送器)接收分组服务类别配置信息1021和从各个网络接口Tx#1 1018-1......Tx#n 1018-n接收信道状态统计1022。基于信息，信道管理器1014发送命令1023以指示分组仲裁器1012如何处理分组仲裁器1012从主机装置接收的传出主机分组或主机分组1024。
作为示例，分组仲裁器1012监视多个信道中的瞬时条件。基于分组服务类别和各种信道条件1025，分组仲裁器1012从每个主机分组(例如，多层比特流分组的每个比特流分组)生成至少一个低级分组。在一些示例中，分组仲裁器1012确定每个低级分组的信道参数集，并选择一个或多个最佳信道来发送分组。信道参数包括但不限于信道调制方法和参数、信道编码方法和参数，以及QoS参数等。分组仲裁器1012将低级分组和参数集1026转发到DEMUX 1016，其选择与所选信道相对应的至少一个网络传输接口。
图11示出了根据示例性实施例的自适应通信装置的接收子系统1120。
如图所示，接收子系统1120包括分组再生器1122、MUX 1126和至少一个网络接收接口Rx#1128-1......Rx#n 1128-n。作为示例，所述至少一个网络接收接口Rx#1128-1......Rx#n 1128-n从传输子系统接收至少一个低级分组，并且将所述至少一个低级分组转发到分组再生器1122。分组再生器1122通过MUX 1126从不同网络接口接收一个或多个低级分组以生成主机分组(例如，存在于多层比特流分组的原始比特流分组)，并将重新生成的主机分组转发到主机装置(例如视频接收器)。
在一些示例中，主机分组由多个低级分组携带，分组再生器1122等待接收到所有低级分组以生成原始高级分组(即主机分组)。在一些其他示例中，当确定之前接收到主机分组的相同副本时，分组再生器1122丢弃重新生成的主机分组。
作为示例，主机装置(例如视频发送器、视频接收器等)定义如何识别每个主机分组的服务类别的分组分类方式，以及每个服务类别的服务要求。分组仲裁器(例如分组仲裁器1012)使用由信道管理器(例如信道管理器1014)指示的分类方法来检查分组头，以实时确定每个传出主机分组的服务类别。例如，具有特定端口号的分组被映射到视频服务类别，而相应的服务要求保证了20Mbps的吞吐量和5ms的等待时间。在另一示例中，具有另一端口号的分组被映射到用于网络服务和检查电子邮件的网结服务类型。对性能保证没有要求，但要求最小化功耗和通信服务费。作为示例，服务要求包括但不限于：
-平均分组延迟
-最大分组延迟
-持续的吞吐量
-预期的分组错误率
-用于分组传输或接收的功率
-网络服务费
-安全要求：例如，主机装置或主机可以禁止通过任何公共WiFi网络发送信用卡号。它可以要求自适应通信装置仅通过移动电话网络或可信WiFi网结发送分组。
作为示例，在确定服务类别时，分组仲裁器生成低级分组并选择信道以实时发送低级分组以优先服务类别所需的性能。在一些示例中，信道管理器将以下信息发送到分组仲裁器以支持这些操作：
1.每个网络接口的可用调制和编码方法以及每种调制和编码方法相应的比特错误率和物理数据速率。
2.如何基于即时信道条件选择至少一个信道来发送特定服务类别的分组的方法。例如，如果要求是高可靠性，则选择噪声最小的信道。
3.每个服务类别的QoS设置或参数。
作为示例，分组仲裁器基于瞬时信道条件和分组服务类别的要求，动态地选择至少一个信道，其是最合适每个分组的信道。当一个信道明显优于其他信道时，分组仲裁器使用该最佳信道。在一些示例中，多个合适的信道具有服务类别的类似的期望状况，发送器使用多个合适的信道发送分组以平衡流量负载。使用多个物理信道的示例性优点是分散分组丢失的风险。不同信道的信道条件不可能同时恶化，因此很可能在给定时间仅影响其中一个信道上的传输，从而提高传输可靠性。
使用多个信道的一个示例性方法是分组仲裁器以循环(round robin)方式在多个合适的信道中选择信道。在这示例中，表示为D1的自适应通信装置具有两个WiFi接口并且分别使用两个非重叠的WiFi信号A和B。还有另一个使用WiFi信道A的WiFi装置D2，但其不连接与D1相同的接入点。当WiFi装置D2空闲时，D1发现信道A和B都是合适的，因此D1通过该两个信道分发分组传输。如果WiFi装置D2稍后发送数据并且干扰信道A上的D1，则信道B中的其他分组不受影响，因此丢失所有分组的风险降低。
在示例性实施例中，自适应通信装置(例如参考图9的发送装置)将传出主机分组分解为多个低级分组，将序列号附加到每个低级分组，以及通过至少一个最适合于满足分组服务要求的信道发送它们。用作接收装置的另一自适应通信装置从不同信道接收低级分组，并按照序列顺序重新生成原始分组，然后将原始分组转发到其主机。
在示例中，服务类别需要异常低的分组错误率，并且分组仲裁器复制低级分组的多个副本，并通过多个信道发送分组的每个副本。每个复制的低级分组都具有相同的序列号。接收装置稍后丢弃复制的低级分组。
图12示出了图示根据示例性实施例的通过多个信道分发低级分组的图1200。
如图所示，传出主机分组1210被分解为三个低级分组。分组1通过信道1发送，而分组2和3通过信道2发送。然后，接收装置从两个信道接收由相同的三个分组组成的分组1220。
作为示例，给定了所选信道的操作状况和与分组相关联的服务要求，分组仲裁器确定用于低级分组生成的最佳参数集，即分组长度、网络接口所使用的调制方案和前向纠错编码方法和服务质量(QoS)设置。存在许多参数集的组合，每个参数集导致不同的传输速率和分组错误率。一些调制方案(例如64正交幅度调制(QAM))具有较高的传输速率和较高的分组错误率，而其他调制方案(例如二进制相移键控(BPSK))具有较低的物理传输速率和较低的分组错误率。当无线电信号衰减或受到来自其他射频(RF)装置的干扰时，错误率将增加。在那些更糟糕的情况下，分组适配器请求网络接口使用具有较低比特错误率的调制方法，即使其效率较低。在其他情况下，应该使用具有更高物理速率的调制方案。较长的前向纠错码降低了分组错误率，但也增加了传输开销。较长的分组长度会提高传输效率，但也会增加分组错误率。因此，基于当前信道条件，分组仲裁器自适应地选择最佳参数集以优化每个分组的服务要求。如果最佳分组长度小于原始分组，则分组仲裁器将原始分组分解为具有最佳长度的多个较短的低级分组。在一些示例中，为了决定最佳参数集，主机装置需要定义分组参数成本函数。假设有两个优化目标，即传输速率和分组错误率。成本函数表示为F(t，e)，其中t和e是预期的传输速率和分组错误率。假设T(p)是使用在特定网络接口上的参数集p的传输速率，而E(p)是使用相同参数集p的分组错误率。基于成本函数，分组仲裁器可以找到最佳参数集p’，使得F(T(p’)，E(p’))是最佳的。分组仲裁器将低级分组和最佳分组参数集p’发送到与p’相关联的网络接口以相应地在物理介质中生成和发送低级分组。
作为示例，信道条件定义为包括但不限于以下的信息：信噪比、物理层(PHY)层、比特错误率、传输延迟、持续的吞吐量和其他特性等。某些通道条件取决于接口类型和/或接口配置，并且不会随时间而变化。例如，由于波长较长，使用900MHz ISM频带的通信装置具有较长的传输范围，但具有比5GHz WiFi更低的带宽。其他信道条件(例如信噪比和比特错误率等)将动态地变化，并且每个接口必须持续地检查每个信道的变化条件。可以使用不同的方法来确定这些条件。例如，具有WiFi接口的装置可以监视RSSI。某些用户级应用例如ping也可用于检查通道条件，例如往返等待时间。
作为示例，如果信道的操作条件比最小期望要求差，则信道管理器主动切换到不同信道以搜索更好的信道。由于网络接口不能同时改变信道和执行分组传输/接收，因此在改变信道时网络接口不可用于服务主机装置，并且对于大多数网络接口，这持续时间可能相当长。在自适应通信装置具有多个网络接口的情况下，分组仲裁器可以将分组重定向到不受信道切换影响的另一个最佳操作信道。在信道切换之后，如果新设置信道优于现有信道，则分组仲裁器将切换为再次使用新信道。
作为示例，信道的可靠性不仅取决于分组错误率，还取决于检测分组传输错误和重新发送分组所需的时间。在一个示例中，包括具有多样化物理属性的多个网络接口的自适应通信装置与面前连接协议组合，以通过提高重传效率来进一步提高可靠性。使用面向连接协议例如传输控制协议(TCP)的接收装置使用确认分组来通知发送装置重新发送损坏的数据分组。重传延迟在很大程度上取决于发送装置接收确认分组的速度。在一个示例中，自适应通信装置提供支持高传输速率的至少一个高速信道(表示为快速数据信道)，以及支持具有低分组错误率的稳健分组传输的至少一个较慢但较稳健的信道(表示为稳健反向信道)。自适应通信装置的主机定义至少两个分组服务类别，即稳健服务类别和快速服务类别。面向连接的协议的数据分组属于快速类型。由接收器发送以确认数据分组接收的确认分组属于稳健服务类别。两个自适应通信装置，每个设置快速数据信道和稳健反向信道，分别通过数据信道和稳健信道相互交换数据分组和确认分组。快速服务类别的服务要求是相对于稳健服务类别较高的数据速率。稳健服务的服务要求是高可靠性。实现稳健信道的物理网络收发器或接口应具有允许稳健分组传输的物理特性，例如较低的比特错误率、较长的范围或使用较少拥挤的RF频率等。
作为示例，用于实现稳健信道的网络收发器的一种类型是sub-GHz收发器，例如sub-GHz ISM收发器或802.11ah装置。这种类型的分组适合于通过sub-GHz信道传输。例如，稳健类别的服务要求是：
1.至多每秒几百千比特的带宽
2.～1ms的低和可预测的延迟。
作为示例，sub-GHz信道通常提供1～2Mbps的带宽。虽然数据速率对于其他常见应用(例如网络浏览和视频流)来说太低，但足够于发送确认分组。sub-GHz信道比WiFi等其他高速收发器更强大，其对较高的物理速率进行了优化。用于sub-GHz信道的sub-GHz波长较长，因此它可以传播较长的距离，因此即使在较远的距离也允许低分组错误。作为另一示例，网络接口(例如WiFi、正交频分复用(OFDM)、移动基带等)是实现快速数据信道的合适选择。
作为示例，在一些视频流应用中，例如游戏流、无人机摄像机视频流和家庭视频流，视频接收器提供反回信道以发送交互信号以允许用户远程控制输出源视频的装置。例如，游戏流系统的反回信道携带来自鼠标、键盘或游戏手柄的控制信号以与游戏控制台交互。在无人机流中，反回信道携带信号以远程控制无人机飞行操作。在将机顶盒视频流传输到另一台电视的家庭视频流系统中，反回信道携带红外遥控信号来控制机顶盒。交互分组的服务要求与确认分组的服务要求非常相似。两者都需要低的分组错误率，但不需要高数据速率。结果，自适应通信装置将确认分组和交互分组都映射到稳健服务类别，并使用稳健信道来发送和接收这两种类型的分组。通常，自适应通信装置可以将所有类型的分组分配给稳健服务类别，这些分组需要低分组错误率，但不需要高数据速率。
为了进一步提高可靠性，示例性实施例复制确认和交互分组。接收器和发送器通过数据和稳健信道同时发送和接收这些分组，从而进一步增加通过任一信道成功接收的概率。视频发送器通过低级分组的序列号识别复制的分组接收，并相应地丢弃复制的那个。
图13示出了根据示例性实施例的执行视频流的方法1300。方法1300执行具有改进的性能的视频流，例如改进的可靠性和错误恹复能力。
框1302表示发送从视频数据生成并被划分传输优先级的多层比特流分组。作为示例，多层比特流分组包括基层分组和增强层分组。基层分组属于较低层，具有较高的传输优先级，增强层分组属于高层，具有较低的传输优先级。
框1304表示通过接收确认来通知视频发送器比特流分组的接收状态，从而改进错误恹复能力以执行视频流。例如，当观察特定比特流分组的传输失败或错误时，视频接收器产生确认分组以通知视频发送器该错误。基于这种最新的确认信息，视频发送器估计错误传播并相应地采取动作，例如将比特流分组重新发送到视频接收器，使得较低层分组具有较高优先级。
图14示出了根据另一示例性实施例的执行视频流的方法1400。
作为示例，方法1400可以由自适应通信装置执行，例如参考图8的自适应通信装置820或840，或参考图10的自适应通信装置1001。仅出于说明目的，自适应通信装置包括多个网络接口以促进自适应信道传输。例如，当一个网络接口正在发送数据(例如视频分组)时，另一个网络接口正在切换到更好的信道。完成信道切换后，两个网络接口都可用于发送数据。
框1410表示利用多个网络接口的第一网络接口，通过通信信道将由自适应通信装置生成的低级分组传输到第二装置。例如，由自适应通信装置从视频分组或比特流分组转换成低级分组。第二装置可以是接收器，例如参考图3的视频接收器350。
框1420表示利用多个网络接口的第二网络接口，并根据信道条件，切换到另一通信信道以进行低级分组的传输。第二网络接口与第一网络接口不同。作为示例，信道条件是包括但不限于以下的信息：信噪比、物理层(PHY)速率、比特错误率、传输延迟、持续的吞吐量和其他特性等。当通过其发送分组的通信信道的信道条件不符合要求时，第二网络接口切换到具有更好信道条件的另一个通信信道，以利用改进的可靠性来进行分组传输。
框1430表示利用第一网络接口和第二网络接口，通过另一通信信道传输低级分组。例如，在完成信道切换之后，两个网络接口用于通过具有更好的信道条件的信道发送低级分组。
根据示例性实施例的方法提供为示例，并且来自一种方法的示例不应被解释为限制来自另一方法的示例。附图和其他信息示出了示例性数据和示例性结构；其他数据和其他数据库结构可以与示例性实施例一起实现。此外，不同附图中讨论的方法可以添加到其他图中的方法或与其他图中的方法交换。此外，具体的数字数据值(例如特定的数量、数目、类别等)或其他特定信息应该被解释为用于讨论示例性实施例的说明。这样的特定信息不是提供来限制示例性实施例。
如本文所用，术语“视频分组”和“比特流分组”可互换使用，并且指从视频比特流或比特流编码或生成的分组。
如本文所用，术语“视频发送器”是将音频和/或视频信号或数据从一个位置传输到另一个位置的装置。例如，“视频发送器”从源装置(例如摄像机)和对数据进行编码以进行传输。
如本文所用，“视频接收器”是从另一装置(例如视频发送器)接收音频和/或视频信号或数据的装置。
如本文所用，“vsync分组”是当视频发送器观察到vsync上升沿时携带系统时间的分组。
如本文所用，“确认分组”是网络分组，其包括指示是否接收到分组、消息或分段的信息。
如本文所用，“系统时间”指的是计算机系统对时间经过的概念。例如，系统时间可以通过系统时钟来测量，该系统时钟通常被实现为自某个任意开始日期以来已经发生的滴答数(tick)的简单计数。
如本文所用，“发送器系统时间”指的是视频发送器的系统时间。“接收器系统时间”是指视频接收器的系统时间。
如本文所用，利用基于所请求的服务类别优化比特率和可靠性的参数来生成“低级分组”。
如本文所用，“显示期限”指的是用分组数据对一些原始像素进行解码并且应该将其发送到视频输出接口的时间。
如本文所用，“分组期限”等于“显示期限减去预期的分组传输等待时间”。
如本文所用，“视频质量”和“图像质量”可互换使用。“视频质量”是通过视频传输/处理系统的视频的特征，是对感知视频降级的正式或非正式测量(通常与原始视频相比)。
如本文所用，“可用网络带宽”是可用于数据传输的网络带宽。

Claims (22)

1.一种执行视频流的系统，包括：
视频发送器，其包括自适应视频编码器，并将视频帧转换成多个块，每个所述块具有多层比特流分组；
视频接收器，其包括自适应视频解码器，并对所述多层比特流分组进行解码，检查接收到哪个块，以及为每个块生成指示是否接收到所述块中的所有比特的接收标志和为每个块生成解码错误标志，所述解码错误标志指示所述块中是否有解码错误；
其中所述自适应视频编码器估计在所述自适应视频解码器的错误传播，为每个块确定估计的解码错误标志，以及基于所述估计的解码错误标志重建参考帧，从而消除所述自适应视频编码器的参考帧与所述视频接收器的所述自适应视频解码器的解码帧之间的差异。
2.根据权利要求1所述的系统，其中所述视频发送器包括：
网络适配器，其将从所述自适应视频编码器接收到的多层视频比特流转换成所述多层比特流分组，与所述视频接收器交换网络管理分组以估计可用网络带宽，以及确定所述自适应视频编码器的所述多层视频比特流的多个编码比特率；和
传输TX同步器，其记录所述视频发送器的垂直同步vsync时间，并通过vsync分组将所述vsync时间传输到所述视频接收器。
3.根据权利要求1所述的系统，其中所述视频发送器包括：
网络适配器，其与所述自适应视频编码器通信，并包括分组管理器和网络接口，所述分组管理器从从所述自适应视频编码器接收到的多层视频比特流生成所述多层比特流分组，并通知所述自适应视频编码器基于从所述视频接收器接收到的确认分组以适应传输错误，所述网络接口通过网络向所述视频接收器传输具有不同优先级的所述多层比特流分组；和
传输TX同步器，其与所述视频接收器交换一个或多个vsync分组，以同步所述视频发送器和所述视频接收器之间的时间。
4.根据权利要求1所述的系统，其中所述视频接收器包括：
网络适配器，其从所述视频发送器接收所述多层比特流分组，并生成确认分组，所述确认分组被传回所述视频发送器以指示所述多层比特流分组的比特流分组的接收状态，使得所述视频发送器适应于传输错误；和
接收RX同步器，其与所述视频发送器交换一个或多个vsync分组，以同步所述视频发送器和所述视频接收器的时间，
其中所述视频接收器基于所述视频发送器的估计时间控制所述视频接收器的时间，以与所述视频发送器同步，从而减少等待时间和改进性能以用于 视频流。
5.根据权利要求1所述的系统，其中所述多层比特流分组包括具有较高传输优先级的基层分组和具有较低传输优先级的增强层分组，其中所述自适应视频编码器向所述比特流分组编码不同长度的前向纠错FEC码，其中所述基层分组与所述增强层分组相比具有较长的FEC码，并且其中所述自适应视频解码器包括基层解码器和增强层解码器，所述基层解码器对所述基层分组进行解码以获得解码的基层数据，所述增强层解码器对所述增强层分组进行解码以获得解码的增强层数据。
6.根据权利要求1所述的系统，还包括：
自适应通信装置，其包括传输子系统，所述传输子系统包括：
分组仲裁器，其从所述视频发送器接收所述多层比特流分组，从所述多层比特流分组的每个比特流分组生成至少一个低级分组，并选择一个或多个通信信道以传输所述至少一个低级分组；
至少一个网络传输接口，其与所述分组仲裁器通信；和
信道管理器，其通过发送可用调制、编码方法以及相应的比特错误率与所述分组仲裁器和所述至少一个网络传输接口通信，基于从所述视频发送器接收到的分组服务类别配置信息和从所述至少一个网络传输接口接收到的信道状态统计，为所述分组仲裁器生成指令。
7.根据权利要求6所述的系统，其中所述自适应通信装置还包括接收子系统，所述接收子系统与所述传输子系统通信，并且包括：
至少一个网络接收接口，其从所述传输子系统接收所述至少一个低级分组；和
分组再生器，其通过所述至少一个网络接收接口接收所述至少一个低级分组，从所述至少一个低级分组生成存在于所述多层比特流分组中的原始比特流分组，以及将所述原始比特流分组传输到所述视频接收器。
8.根据权利要求6所述的系统，还包括另一自适应通信装置，其包括至少一个网络接口以提供至少一个通信信道，使得所述另一自适应通信装置从所述自适应通信装置接收所述至少一个低级分组，并且将所述低级分组重建为存在于所述多层比特流分组中的原始比特流分组。
9.一种执行视频流的方法，包括：
由视频发送器向视频接收器发送多层比特流分组，所述多层比特流分组从视频数据生成，其中所述视频发送器包括将视频帧的视频块编码成多层比特流的自适应视频编码器，所述视频接收器包括自适应视频解码器；
从所述视频接收器接收确认分组，所述确认分组被传输到所述视频发送器以通知所述视频发送器比特流分组的接收状态；
基于最新的确认信息，估计在所述视频接收器处观察到的错误传播；
针对每个视频块确定估计的解码错误标志；以及
基于所述估计的解码错误标志重建参考帧，从而消除所述自适应视频编码器的参考帧与所述自适应视频解码器的解码帧之间的差异。
10.根据权利要求9所述的方法，还包括：
由所述自适应视频解码器检查接收到哪个视频块；以及
针对每个视频块，由所述自适应视频解码器生成指示是否接收到该视频块中的所有比特的接收标志并且生成指示该视频块中是否有解码错误的解码错误标志。
11.根据权利要求9所述的方法，还包括：
由所述视频发送器中的基层编码器对从视频源接收到的视频数据进行编码，以获得重建的基层数据；
由所述视频发送器中的增强层编码器对所述视频数据进行编码，以获得重建的增强层数据；
当重建参考帧时，由所述视频发送器确定是否使用所述重建的增强层数据来与所述重建的基层数据组合；
由所述视频解码器中的基层解码器对基层视频比特流进行解码，以获取解码的基层数据；
由所述视频解码器中的增强层解码器对增强层视频比特流进行解码，以获取解码的增强层数据；以及
当生成解码帧时，由所述视频接收器根据解码错误标志确定是否使用所述解码的增强层数据来与所述解码的基层数据组合。
12.根据权利要求9所述的方法，还包括：
当从确认分组检测到传输错误时，由所述视频发送器将所述多层比特流分组的比特流分组重新发送到所述视频接收器，其中较低层分组具有较高传输优先级；
当比特流分组被确定为过时时，由所述视频发送器丢弃所述比特流分组；和
当比特流分组被肯定地确认时，由所述视频发送器丢弃所述比特流分组。
13.根据权利要求9所述的方法，还包括：
由所述视频发送器通过与所述视频接收器交换网络管理分组确定用于传输所述多层比特流分组的可用网络带宽，其中所述可用网络带宽包括最小网络带宽和平均网络带宽；以及
由所述视频发送器并基于所述可用网络带宽，通过确定所述视频发送器的自适应视频编码器的多个编码比特率，使得以下条件中的至少一个被满足，从而改进可靠性和等待时间：
基层比特率小于所述最小网络带宽；以及
总编码比特率小于所述平均网络带宽。
14.根据权利要求9所述的方法，还包括：
将所述多层比特流分组存储在所述视频发送器的一个或多个分组缓冲器中，以获得缓冲比特流分组；
将所述缓冲比特流分组组成多个队列，使得同一层的缓冲比特流分组被放入同一队列中；
为每个缓冲比特流分组分配显示期限；
从与最低层比特流分组相关联的队列扫描到与最高层比特流分组相关联的队列；
确定具有至少一个合格的缓冲比特流分组的第一队列；和
从所述第一队列选择具有最早传输期限的合格的缓冲比特流分组以进行传输。
15.根据权利要求9所述的方法，还包括：
由所述视频发送器将更稳健的调制方案应用于所述多层比特流分组的较低层；
由所述视频发送器将较长的前向纠错码应用于所述多层比特流分组的所述较低层；
由所述视频发送器为所述多层比特流分组的所述较低层选择较短的分组长度；和
由所述视频发送器向所述多层比特流分组的所述较低层分配服务质量标签，使得所述较低层获得更好的网络服务。
16.根据权利要求9所述的方法，还包括：
通过在将视频数据从视频发送器传输到视频接收器时，在所述视频发送器和所述视频接收器之间交换vsync分组，以同步视频输出接口和视频输入接口的垂直同步vsync时间，从而改进视频流的等待时间，
其中所述视频接收器通过估计所述视频发送器的时间控制所述视频接收器的时间，以与所述视频发送器同步，从而减少等待时间和改进性能以用于视频流传输。
17.根据权利要求16所述的方法，还包括：
由所述视频接收器接收vsync信号的两个连续vsync上升沿之间的预期时间间隔；
由所述视频接收器初始化下一个vsync信号的时间；
由所述视频接收器和在每个时钟周期检查是否接收到携带更新的视频发送器vsync时间的新vsync分组；和
由所述视频接收器更新所述视频输出接口的所述vsync时间，从而改进等待时间。
18.根据权利要求9所述的方法，还包括：
由自适应通信装置从所述视频发送器接收所述多层比特流分组；
由所述自适应通信装置从所述多层比特流分组生成优化数据速率和可靠性的至少一个低级分组；以及
由所述自适应通信装置选择一个或多个通信信道以传输所述至少一个低级分组。
19.根据权利要求18所述的方法，还包括：
由所述自适应通信装置将序列号与每个低级分组相关联；
由所述自适应通信装置为所述每个低级分组复制一个或多个副本，每个副本具有相同的序列号；和
由所述自适应通信装置选择最佳地满足分组服务要求的多个通信信道，用于传输所述每个低级分组和所述序列号的所述一个或多个副本的每个副本。
20.根据权利要求18所述的方法，还包括：
由所述自适应通信装置确定用于生成低级分组的最佳参数集，所述自适应通信装置具有支持较高数据传输速率的第一通信信道和支持具有较低分组错误率的稳健数据传输的第二通信信道。
21.根据权利要求18所述的方法，还包括：
向所述自适应通信装置提供多个网络接口，所述多个网络接口包括第一网络接口和第二网络接口；
利用所述多个网络接口的所述第一网络接口，通过通信信道将由所述自适应通信装置生成的低级分组传输到第二装置；
利用与所述第一网络接口不同的所述多个网络接口的所述第二网络接口，并根据信道条件，切换到另一通信信道以进行所述低级分组的传输；和
在切换之后，利用所述第一网络接口和所述第二网络接口，通过所述另一通信信道传输所述低级分组。
22.根据权利要求9所述的方法，还包括：
由所述视频发送器划分所述多层比特流的优先级，使得所述多层比特流分组的较低层的比特流分组在被传输到所述视频接收器时具有较高的优先级。
CN201780036440.4A 2016-07-05 2017-07-03 用于视频流的方法和系统 Active CN109937578B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662358206P 2016-07-05 2016-07-05
US62/358,206 2016-07-05
PCT/CN2017/091423 WO2018006771A1 (en) 2016-07-05 2017-07-03 Methods and systems for video streaming

Publications (2)

Publication Number Publication Date
CN109937578A CN109937578A (zh) 2019-06-25
CN109937578B true CN109937578B (zh) 2022-01-21

Family

ID=60912340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780036440.4A Active CN109937578B (zh) 2016-07-05 2017-07-03 用于视频流的方法和系统

Country Status (6)

Country Link
US (2) US10951954B2 (zh)
EP (1) EP3482569A4 (zh)
JP (1) JP2019527943A (zh)
KR (1) KR20190022514A (zh)
CN (1) CN109937578B (zh)
WO (1) WO2018006771A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10148989B2 (en) 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content
EP3393129A1 (en) * 2017-04-21 2018-10-24 Alcatel-Lucent España, S.A. Multimedia content delivery with reduced delay
JP7333825B2 (ja) * 2019-03-21 2023-08-25 ジェームス フィオレンティーノ，マイケル 階層化メディアを生成すること、分配すること、及び階層化メディアと対話することのためのプラットフォーム、システム及び方法
US11470514B2 (en) * 2019-05-30 2022-10-11 Apple Inc. Mitigating the degradation of quality of a multimedia data stream at a remote endpoint
US20230121046A1 (en) * 2020-03-31 2023-04-20 Sony Interactive Entertainment Inc. Transmission device, transmission method, and program
KR20220039114A (ko) * 2020-09-21 2022-03-29 삼성전자주식회사 전자 장치 및 그 동작 방법
US11438627B2 (en) * 2020-12-22 2022-09-06 GM Global Technology Operations LLC Rate adaptive encoding decoding scheme for prioritized segmented data
US20210120232A1 (en) * 2020-12-23 2021-04-22 Intel Corporation Method and system of video coding with efficient frame loss recovery
US11589100B1 (en) * 2021-03-31 2023-02-21 Amazon Technologies, Inc. On-demand issuance private keys for encrypted video transmission
CN112804264B (zh) * 2021-04-01 2021-06-22 北京小鸟科技股份有限公司 多种编码标准与传输接口自适应切换方法、系统及设备
CN113098642B (zh) * 2021-04-22 2023-05-09 浙江万里学院 基于北斗卫星定位技术的物流管理方法
CN112995542B (zh) * 2021-05-11 2021-09-07 苏州华兴源创科技股份有限公司 数据传输方法、装置、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1736107A (zh) * 2003-02-28 2006-02-15 松下电器产业株式会社 视频发送系统、视频发送装置、视频接收装置和视频发送方法
CN101595733A (zh) * 2006-11-30 2009-12-02 韩国电子通信研究院 用于分级视频比特流的分层调制的发送和接收的装置和方法
CN101686360A (zh) * 2008-09-26 2010-03-31 索尼株式会社 接口电路和视频设备
CN102640508A (zh) * 2009-11-30 2012-08-15 阿尔卡特朗讯公司 基于优先级的无线视频传输的方法
CN102742245A (zh) * 2010-01-28 2012-10-17 汤姆森许可贸易公司 用于解析网络抽象层以实现可靠数据通信的方法和设备

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8929152D0 (en) 1989-12-22 1990-02-28 Gen Electric A digital augmentation system for actv-ii
US5532837A (en) * 1992-12-18 1996-07-02 Matsushita Electric Industrial Co., Ltd. Digital video signal processing apparatus
JP3068002B2 (ja) 1995-09-18 2000-07-24 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
KR100374245B1 (ko) * 1996-04-19 2003-05-09 오끼 덴끼 고오교 가부시끼가이샤 화상부호화장치,화상복호화장치및화상전송시스템
JP3606306B2 (ja) * 1998-10-08 2005-01-05 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
US7165207B2 (en) 2002-01-18 2007-01-16 Koninklijke Philips Electronics N.V. Robust signal coding
US8737219B2 (en) * 2004-01-30 2014-05-27 Hewlett-Packard Development Company, L.P. Methods and systems that use information about data packets to determine an order for sending the data packets
US7685498B2 (en) * 2004-05-31 2010-03-23 Panasonic Corporation Digital broadcasting system and digital broadcast transmission and reception method
AU2006330074B2 (en) * 2005-09-07 2009-12-24 Vidyo, Inc. System and method for a high reliability base layer trunk
US8072943B2 (en) * 2005-12-09 2011-12-06 Samsung Electronics Co., Ltd. Wireless communication system and methodology for communicating via multiple information streams
KR100961743B1 (ko) * 2005-12-09 2010-06-07 삼성전자주식회사 다중 홉 중계방식의 광대역 무선 접속통신시스템에서 중계서비스를 지원하기 위한 장치 및 방법
JPWO2007083636A1 (ja) * 2006-01-17 2009-06-11 パナソニック株式会社 無線送信装置および無線送信方法
JP4832450B2 (ja) * 2006-01-19 2011-12-07 パナソニック株式会社 無線通信基地局装置およびパイロット送信方法
CN101043619A (zh) * 2006-03-24 2007-09-26 华为技术有限公司 视频编码的误差控制系统和方法
CN100584026C (zh) * 2006-03-27 2010-01-20 华为技术有限公司 交织模式下的视频分层编码方法
RU2372741C2 (ru) 2006-05-16 2009-11-10 Сони Корпорейшн Система передачи данных, устройство передачи, устройство приема, способ передачи данных и программа
US8467457B2 (en) * 2007-01-16 2013-06-18 Mobixell Networks (Israel) Ltd System and a method for controlling one or more signal sequences characteristics
US8589578B2 (en) 2007-06-29 2013-11-19 Toshiba America Research, Inc. Streaming video over multiple network interfaces
CN100544447C (zh) * 2007-07-11 2009-09-23 中兴通讯股份有限公司 一种移动多媒体广播业务数据流的传输方法
US20090168680A1 (en) * 2007-12-27 2009-07-02 Motorola, Inc. Multiple multicast data stream delivery in a communication network
CN101945261B (zh) * 2009-07-07 2014-03-12 中兴通讯股份有限公司 移动多媒体广播系统中分级传送、接收方法与装置
IN2012DN03416A (zh) * 2010-04-30 2015-10-23 Nokia Siemens Networks Oy
WO2013145225A1 (ja) * 2012-03-29 2013-10-03 富士通株式会社 エレメンタリストリームをエンコードし、多重し、またはデコードするための方法、装置、およびプログラム
US20150373075A1 (en) * 2014-06-23 2015-12-24 Radia Perlman Multiple network transport sessions to provide context adaptive video streaming
CN106233693B (zh) * 2014-11-13 2020-01-03 Lg 电子株式会社 广播信号发送设备、广播信号接收设备、广播信号发送方法和广播信号接收方法
US9843825B1 (en) * 2016-06-10 2017-12-12 Apple Inc. Distributed and synchronized media switching
US10499278B2 (en) * 2016-08-31 2019-12-03 Qualcomm Incorporated Header compression for reduced bandwidth wireless devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1736107A (zh) * 2003-02-28 2006-02-15 松下电器产业株式会社 视频发送系统、视频发送装置、视频接收装置和视频发送方法
CN101595733A (zh) * 2006-11-30 2009-12-02 韩国电子通信研究院 用于分级视频比特流的分层调制的发送和接收的装置和方法
CN101686360A (zh) * 2008-09-26 2010-03-31 索尼株式会社 接口电路和视频设备
CN102640508A (zh) * 2009-11-30 2012-08-15 阿尔卡特朗讯公司 基于优先级的无线视频传输的方法
CN102742245A (zh) * 2010-01-28 2012-10-17 汤姆森许可贸易公司 用于解析网络抽象层以实现可靠数据通信的方法和设备

Also Published As

Publication number Publication date
CN109937578A (zh) 2019-06-25
EP3482569A1 (en) 2019-05-15
KR20190022514A (ko) 2019-03-06
US20200322691A1 (en) 2020-10-08
WO2018006771A1 (en) 2018-01-11
US11297395B2 (en) 2022-04-05
JP2019527943A (ja) 2019-10-03
US10951954B2 (en) 2021-03-16
US20210168463A1 (en) 2021-06-03
EP3482569A4 (en) 2020-01-15

Similar Documents

Publication Publication Date Title
CN109937578B (zh) 用于视频流的方法和系统
KR101007793B1 (ko) 무선 네트워크를 통한 데이터 방송 시스템 및 방법
EP2061174B1 (en) Data communication system, data transmitting device and method, using probe packets and having a transmission buffer control
US10887151B2 (en) Method for digital video transmission adopting packaging forwarding strategies with path and content monitoring in heterogeneous networks using MMT protocol, method for reception and communication system
CA2842098A1 (en) A system and method for transmission of data signals over a wireless network
US10616383B2 (en) System and method for electronic data communication
JP5207895B2 (ja) 送信装置、受信装置、及び方法、プログラム
US10594977B2 (en) System and method for electronic data communication
Song et al. Multipath based adaptive concurrent transfer for real-time video streaming over 5G multi-RAT systems
Soltani et al. Delay constraint error control protocol for real-time video communication
JP2005184662A (ja) データ伝送装置、データ受信装置、および通信システム
KR20060016809A (ko) 미디어 신호의 수신장치, 송신장치 및 송수신 시스템
Takahata et al. QoS control for real time video stream over hybrid network by wired and wireless LANs
Koli et al. A survey on video transmission using wireless technology
Chan et al. Wireless video broadcasting to diverse users
US20230231787A1 (en) Communication method and an apparatus
Fracchia et al. System architecture for multimedia streaming optimisation
Seferoglu et al. Video streaming to multiple clients overwireless local area networks
JP2003273922A (ja) 無線通信装置および無線パケット通信方法
JP2004048450A (ja) ストリーム配信方法、クライアント端末、装置、システム及びプログラム並びに該プログラムを記録した記録媒体
Yang et al. An adaptive multi-layer low-latency transmission scheme for H. 264 based screen sharing system
Chan et al. Optimal scheduling of media packets with multiple distortion measures
Zheng et al. Qos aware mobile video communications
Ma et al. A cross-layer QoS scheme for MPEG-4 streams
Meggers et al. A new feedback error control scheme for block based video communication in packet switched wireless networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant