CN109150876A - 一种视频无线传输的qos方法、装置及系统 - Google Patents
一种视频无线传输的qos方法、装置及系统 Download PDFInfo
- Publication number
- CN109150876A CN109150876A CN201810950643.0A CN201810950643A CN109150876A CN 109150876 A CN109150876 A CN 109150876A CN 201810950643 A CN201810950643 A CN 201810950643A CN 109150876 A CN109150876 A CN 109150876A
- Authority
- CN
- China
- Prior art keywords
- critical data
- conversion coefficient
- data
- channel
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
- H04L1/1607—Details of the supervisory signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提供一种视频无线传输的QOS方法、装置及系统，将编码后的数据分流打包成关键数据和非关键数据；将所述关键数据和非关键数据分别通过可靠信道和不可靠信道传输给目标接收端；以使目标接收端将接收到的所述关键数据和非关键数据按照序列号排序组包后解码，其中，所述可靠信道基于存在重传和ACK机制的传输协议建立，所述不可靠信道基于不存在重传和ACK机制的传输协议建立。通过这种方法，可优先保证关键数据安全到达接收端，避免视频延时，保证视频传输质量。
Description
技术领域
本申请涉及无线传输领域，尤其涉及一种视频无线传输的QOS方法、装置及系统。
背景技术
随着无线传输技术的发展，无线视频传输应用范围也越来越广泛，如影视拍摄、赛事直播、监控、边防检查等都需要使用无线视频传输，同时人们对无线传输的视频的清晰度、帧率和延时也提出了更高的要求。无线视频传输最大的问题就是网络波动带来的丢包和误码问题，目前常用的QOS(Quality Of Service)机制主要有重传、前向纠错、动态码率控制、I帧刷新等，重传机制的实现方式为：接收端反馈丢包序号-发送端重新发送-接收端解码，这个过程会带来视频的延时；I帧刷新的实现方式为：接收端发送请求I帧消息-发送端编码I帧并发送-接收端解码，这个过程也会带来视频的延时；前向纠错则需要发送端消耗很多的资源运行FEC算法，同时占用10％到30％不等的无线带宽，增大了视频码流，甚至可能进一步造成无线网络状况的恶化。
发明内容
有鉴于此，本申请提供了一种视频无线传输的QOS方法、装置和视频传输系统。
具体地，本申请是通过如下技术方案实现的：
本申请的第一方面提供了一种视频无线传输的QOS方法，所述方法包括：
将编码后的数据分流打包成关键数据和非关键数据；
将所述关键数据和非关键数据分别通过可靠信道和不可靠信道传输给目标接收端；以使目标接收端将接收到的所述关键数据和非关键数据按照序列号排序组包后解码，其中，所述可靠信道基于存在重传和ACK机制的传输协议建立，所述不可靠信道基于不存在重传和ACK机制的传输协议建立。
在一实施中，当所述视频数据是基于H/264或H/265标准编码时，则所述关键数据包括关键帧I帧、即时解码器刷新IDR、序列参数集SPS、图像参数集PPS、增强信息SEI和/或视频参数集VPS；所述非关键数据包括B帧和/或P帧。
在一实施例中，所述方法还包括：
接收目标接收端发送的反馈数据包；
将所述反馈数据包中的反馈参数换算成转换系数，其中，同一反馈参数的不同区间值分别对应不同的转换系数，各转换系数基于不同的加权值获得；
根据所述转换系数计算目标码率和目标帧率；
将编码器的码率和帧率设置成所述目标码率和目标帧率。
在一实施例中，所述反馈数据包中的反馈参数包括以下至少之一：丢包率、延时、抖动和无线信号强度。
在一实施例中，根据所述转换系数计算目标码率和目标帧率的步骤包括：先由丢包率转换系数、延时转换系数、抖动转换系数计算得到码率和帧率；再由无线信号强度转换系数及所述计算得到的码率和帧率确定目标码率和目标帧率。
在一实施例中，所述先由丢包率转换系数、延时转换系数、抖动转换系数计算得到码率和帧率，再由无线信号强度转换系数及所述计算得到的码率和帧率确定目标码率和目标帧率的步骤具体包括：
先根据丢包率转换系数、抖动转换系数和延时转换系数计算得到网络特征；
根据所述丢包率转换系数和所述网络特征得到码率帧率调整策略；
根据所述码率帧率调整策略得到码率M1和帧率Z1；
再根据无线信号强度转换系数得到码率M2和帧率Z2；
比较M1与M2的大小，若M1<M2，则目标码率和目标帧率分别为M1和Z1，若M1≥M2,则目标码率和目标码率分别为M2和Z2。
本申请的第二方面提供了一种视频无线传输的QOS方法，所述方法包括：
接收发送端通过可靠信道和不可信道分别发送的关键数据和非关键数据，所述关键数据和非关键数据通过将编码器编码后的数据分流打包得到，其中，所述可靠信道基于存在重传和ACK机制的传输协议建立，所述不可靠信道基于不存在重传和ACK机制的传输协议建立。
将所述关键数据和非关键数据按照序列号排序组包后解码。
在一实施例中，所述方法还包括：
统计反馈参数并打包成反馈数据包；
向发送端发送所述反馈参数包，以使发送端将所述反馈参数包中的反馈参数换算成转换系数；并根据所述转换系数计算目标码率和帧率；以便将编码器的码率和帧率设置成所述目标码率和帧率。
本申请的第三方面提供了一种视频无线传输的QOS装置，所述装置包括：
数据分流打包模块，用于将编码后的数据分流打包成关键数据和非关键数据；
发送模块，用于将所述关键数据和非关键数据分别通过可靠信道和不可靠信道传输给目标接收端；以使目标接收端将接收到的所述关键数据和非关键数据按照序列号排序组包后解码；其中，所述可靠信道基于存在重传和ACK机制的传输协议建立，所述不可靠信道基于不存在重传和ACK机制的传输协议建立。
本申请的第四方面提供了一种视频无线传输的QOS装置，所述装置包括：
接收模块，接收发送端通过可靠信道和不可信道分别发送的关键数据和非关键数据，所述关键数据和非关键数据通过将编码器编码后的数据分流打包得到；其中，所述可靠信道基于存在重传和ACK机制的传输协议建立，所述不可靠信道基于不存在重传和ACK机制的传输协议建立；
数据解析模块，将所述关键数据和非关键数据按照序列号排序组包后解码。
本申请的第五方面提供了一种视频传输系统，包括编码器，解码器，QOS发送装置和QOS接收装置
所述QOS发送装置将编码器编码后的数据分流打包成关键数据和非关键数据；将所述关键数据和非关键数据分别通过可靠信道和不可靠信道传输给QOS接收装置，其中，所述可靠信道基于存在重传和ACK机制的传输协议建立，所述不可靠信道基于不存在重传和ACK机制的传输协议建立；QOS接收装置将接收到的所述关键数据和非关键数据按照序列号排序后组包发送给解码器解码。
本申请通过将待传输的视频数据分为关键数据和非关键数据，关键数据使用可靠信道传输，非关键数据使用不可靠信道传输，优先保证关键数据安全到达接收端，避免视频延时，保证视频传输质量。
附图说明
图1是本申请一示例性实施例示出的一种视频无线传输QOS方法流程图；
图2是本申请一示例性实施例示出的发送端将视频数据分流打包发送的过程示意图；
图3是本申请一示例性实施例示出的接收端将接收数据排序组包的过程示意图；
图4是本申请一示例性实施例示出的一种视频无线传输QOS方法流程图；
图5是本申请一示例性实施例示出的接收端统计反馈参数并打包的过程示意图；
图6是本申请一示例性实施例示出的一种视频无线传输QOS方法流程图；
图7是本申请一示例性实施例示出的网络特征图；
图8是本申请一示例性实施例示出的一种视频无线传输QOS方法流程图；
图9是本申请一示例性实施例示出的一种视频无线传输QOS方法流程图；
图10A是本申请一示例性实施例示出的一种视频无线传输QOS装置的逻辑框图；
图10B是本申请一示例性实施例示出的一种视频无线传输QOS装置的逻辑框图；
图11A是本申请一示例性实施例示出的一种视频无线传输QOS装置的逻辑框图；
图11B是本申请一示例性实施例示出的一种视频无线传输QOS装置的逻辑框图；
图12是本申请一示例性实施例示出的一种视频传输系统的逻辑框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
随着无线传输技术的发展，无线视频传输应用范围也越来越广泛，如影视拍摄、赛事直播、监控、边防检查等都需要使用无线视频传输，由于无线传输在各领域都有应用，人们对无线传输的视频清晰度、帧率和延时也提出了更高的要求。无线视频传输最大的问题就是网络波动带来的丢包和误码问题，目前常用的QOS(quality of service)机制主要有重传、前向纠错、动态码率控制、I帧刷新等，重传机制的实现方式为：接收端反馈丢包序号-发送端重新发送-接收端解码，这个过程会带来视频的延时；I帧刷新的实现方式为：接收端发送请求I帧消息-发送端编码I帧并发送-接收端解码，这个过程也会带来视频的延时；前向纠错则需要发送端消耗很多的资源运行FEC算法，同时占用10％到30％不等的无线带宽，增大了视频码流，甚至可能进一步造成无线网络状况的恶化。
为了解决视频传输中的丢包和延时问题，保证视频传输的质量和实时性，本申请提供了一种视频无线传输的QOS方法。在一个应用场景中，所述方法包含至少一个发送端和目标接收端，发送端将编码器编码后的视频数据传输给接收端，接收端接收数据处理后发送给解码器。本申请的第一方面提供了一种视频无线传输的QOS方法，如图1所示，具体的所述方法包括：
S101、将编码后的数据分流打包成关键数据和非关键数据；
S102、将所述关键数据和非关键数据分别通过可靠信道和不可靠信道传输给目标接收端，以使目标接收端将接收到的所述关键数据和非关键数据按照序列号排序组包后解码；其中，所述可靠信道基于存在重传和ACK机制的传输协议建立，所述不可靠信道基于不存在重传和ACK机制的传输协议建立。
本申请的视频数据编码可以是基于H/264和H/265视频编码标准编码的，也可以基于其他编码标准编码，本申请不作限制。以视频数据基于H264/H265标准编码为例，编码后的数据包括关键帧I帧、序列参数集SPS、图像参数集PPS、P帧、B帧等，其中I帧是包含完整画面的独立帧，无需参考其他图像便可独立进行解码。P帧为帧间预测编码帧，需要参考前面的I帧才能进行编码。B帧为双向预测编码帧，记录的是本帧与前后帧的差别，也需要获取前后画面的与本帧数据才能解码。因此，如果在传输过程中，B帧、P帧等数据丢失了，解码器还可以正常解码，对视频传输的影响不大，但是如果关键帧I帧、序列参数集SPS、图像参数集PPS等数据丢失会造成GOP内其他B帧和P帧都解码失败，严重影响视频传输质量。
为了保证视频传输质量，优先传输对视频传输质量影响较大的数据，在一实施例中，我们把视频数据分为关键数据和非关键数据，以视频数据编码基于H/264和H/265视频编码标准编码为例，所述关键数据包括I帧、即时解码器刷新IDR、序列参数集SPS、图像参数集PPS、增强信息SEI和/或视频参数集VPS；所述非关键数据包括B帧和/或P帧。
同样的，我们可以把传输数据的信道划分为可靠性信道和非可靠信道，其中，可靠信道存在重传机制和ACK(Acknowledgement)机制，可使用TCP或者UDP可靠传输协议(如UDT/KCP/QUIC)实现。在数据传输过程中，当接收端接收到发送端发送的数据包，接收端会反馈一个ACK信号给发送端，表示已经收到数据包，如果发送端没有收到所述ACK信号，那么发送端会重新传输当前数据包，在传输过程中不会出现丢包和误码，以保证数据传输的可靠性。不可靠信道不存在ACK机制和重传机制，在传输过程中可能存在丢包或误码，但是将不可靠信道利用起来可以节约无线空口资源，提高传输效率。不同的信道对应不同的软件接口，可通过调用不同的软件接口去选择信道。如图2所示，在数据传输时，可先将编码器编码后(S201)的视频数据分流打包(S202)，再判断所述数据包是否为关键数据(S203)，如果是关键数据则选择可靠信道传输(S204)，如果是非关键数据则选择不可靠信道传输(S205)，采用这种方式可以优先保证关键数据的正常传输，以保证视频传输的实时性。所述视频数据打包可基于RTP协议和RFC3984协议实现，也可基于其他协议实现，本申请不作限制。另外，在网络资源非常恶劣的情况下，还可以在发送端丢弃部分非关键数据，从而最大限度的保护关键数据以及视频质量。
由于关键数据和非关键数据是分别通过可靠信道和不可靠信道传输的，接收端接收数据后，对数据进行解析，然后重新排序组包后发送给解码器解码，以便解码器接收到完整的视频帧。以下举一个具体的例子，请参考图3，目标接收端在收到上述数据后(S301和S302)，需先对数据进行解析，然后按照打包数据的序列号对数据进行重新排序(S303)，并根据RFC3984协议将数据组包(S304)，将视频数据整合成完整的视频帧，再发送给编码器编码(S305)。
为了进一步地提升视频传输质量，保证视频数据的稳定性，还可以通过实时监控传输过程中的丢包、延时、抖动及无线信号强度，根据上述参数来给编码器设定最合理的编码参数。在一实例中，如图4所示，可通过如下方法来给编码器设置目标码率和目标帧率，具体包括以下步骤：
S401、接收目标接收端发送的反馈数据包；
S402、将所述反馈数据包中的反馈参数换算成转换系数，其中，同一反馈参数的不同区间值分别对应不同的转换系数，各转换系数基于不同的加权值获得；
S403、根据所述转换系数计算目标码率和目标帧率；
S404、将编码器的码率和帧率设置成所述目标码率和目标帧率。
目标接收端在接收到发送端发送的视频数据后，可以对数据进行分析和统计，将统计好的反馈参数打包成反馈数据包，周期性的发送给发送端，在一实施例中，所述反馈数据包中的反馈参数可以包括以下一种或多种参数：丢包率、延时、抖动和无线信号强度。以下用一个具体的例子来说明接收端统计反馈参数并打包发送给发送端的过程，请参考图5。
接收端接收到发送端发送的RTP包，并得到RTP序列号和时间戳(S501)。假设一个周期的时间为T1、视频帧率为F1，以下为各参数的具体统计方法。
统计收包数和丢包数，计算丢包率L1(S502)，具体方法为：根据序列号，统计T1时间内收到的包数N1和丢掉的包数N2，计算出丢包率L1＝(N1*1000/(N1+N2))，单位千分之一。
和上一包比较计算实际延时RT2，计算累计延时RT(S503)，具体方法如下：假设T1内总时延为RT，根据视频帧率计算两个视频帧之间的理论时延R1＝1000/F1，再根据RTP包的mark位或时间戳计算相邻两帧之间的实际时延R2(RTP的mark位表示一帧的结束，同一帧的RTP时间戳相同)，则RT＝R2-R1；RT在当前周期T1内一直累加。
计算累计抖动DT(S504)，具体方法为：假设T1内总抖动为DT，则DT＝ABS(R2-R1)，DT的在当前周期T1内一直累加。
统计好丢包率、延时和抖动后，判断与上一次发送数据包的间隔时间是否到了一个周期的时间T1，如果没有，则继续统计，如果已到达一个周期时间T1(S505)，则获取当前无线信号强度S1(S506)。然后将丢包率L1、延时RT、抖动DT、无线信号强度S1打包成反馈数据包发送给发送端(S507)。
发送端收到反馈数据包后，将反馈数据包中的反馈参数换算成转换系数。表1-表4列举本申请中各反馈参数的一种可选的换算方式，其中，同一反馈参数的不同区间值分别对应不同的转换系数，各转换系数基于不同的加权值获得。以上反馈参数换算成转换系数的方式仅为本申请中的一种可选方式，本申请对转换方式不作限制。
表1延时与转换系数的换算关系
| 延时(RT) | RT<R1 | R1<RT<2×R1 | 2×R1<RT<4×R1 | 其他 |
| 转换系数 | 0 | 1 | 2 | 5 |
注：R1为理论延时
表2抖动与转换系数的换算关系
| 抖动(DT) | DT<R1 | R1<DT<3×R1 | 3×R1<DT<R1×6 | 其他 |
| 转换系数 | 0 | 1 | 2 | 5 |
注：R1为理论延时
表3无线信号强度与转换系数的换算关系(以WIFI为例)
表4丢包率与转换系数的换算关系
| 丢包率(L1) | 0 | 1-19 | 20-39 | 40-59 | 60-79 | 其他 |
| 转换系数 | 0 | 1 | 2 | 3 | 4 | 5 |
得到各反馈参数的转换系数后，可根据转换系数来计算目标码率和目标帧率。当然所述计算目标码率和目标帧率的方法只是本申请的一种可选方式，本申请对计算方式不作限制。
由于无线信号强度在很大程度上影响了了无线的传输能力，在一实施例中，可先通过丢包率转换系数、延时转换系数、抖动转换系数计算得到码率和帧率；再由无线信号强度转换系数及所述计算得到的码率和帧率确定目标码率和目标帧率。
在一实施例中，如图6所示，所述由丢包率转换系数、延时转换系数、抖动转换系数计算得到码率和帧率，再由无线信号强度转换系数及所述计算得到的码率和帧率确定目标码率和目标帧率的步骤具体包括：
S601、先根据丢包率转换系数、抖动转换系数和延时转换系数计算得到网络特征；
S602、根据所述丢包率转换系数和所述网络特征得到码率帧率调整策略；
S603、根据所述码率帧率调整策略得到码率M1和帧率Z1；
S604、再根据无线信号强度转换系数得到码率M2和帧率Z2；
S605、比较M1与M2的大小，若M1<M2，则目标码率和目标帧率分别为M1和Z1，若M1≥M2,则目标码率和目标码率分别为M2和Z2。
在得到丢包率转换系数、抖动转换系数和延时转换系数后，通过QOS算法来预测网络特征，首先记录最近的N次反馈参数转换系数，根据丢包率转换系数、抖动转换系数和延时转换系数的变化情况预测网络趋势，假设以N＝3次为例，使用的包率转换系数、抖动转换系数和延时转换系数平均值即平均转换系数预测，网络变化情况会有如图7所示的以下几种预测结果，其中，图中的各网络特征图代表的含义如下：
网络特征1:平均转换系数维持不变，说明网络情况平稳。
网络特征2和3：平均转换系数在上升、下降后保持不变，说明网络逐渐稳定。
网络特征4：平均转换系数持续上升，说明网络在迅速恶化。
网络特征5和6：平均转换系数振动上升，说明网络在逐步恶化。
网络特征7：平均转换系数持续降低，说明网络正在好转。
网络特征8和9：平均转换系数振动降低，说明网络正在好转。
得到网络特征以后，再结合丢包率系数和网络特征得到码率帧率调整策略表，如表5所示。
表5码率帧率调整策略表
其中，表5中的策略一和策略四中的小幅提升和小幅降低一般建议升高或降低1Mbps。例如，根据丢包率转换系数、抖动转换系数和延时转换系数经QOS算法得到此时的网络特征为网络特征2，而丢包率转换系数为0，此时根据码率帧率调整策略表得知此时应该采用策略一，小幅提升码率，我们就在当前码率的基础上将码率增大1Mbps。
策略二大幅提升码率和策略五中的大幅降低码率和帧率一般建议参照经多次试验得到的码率帧率分段表来设置，针对不同的视频图像分辨率，其码率和帧率的合理范围值不一样。以分辨率为1080P60为例，我们可以根据多次实验值的到一个与丢包率转换系数对应的帧率和码率分段表，如表6所示，然后根据丢包率转换值对应的码率和帧率对编码器的码率和帧率进行设置。例如，根据丢包率转换系数、抖动转换系数和延时转换系数经QOS算法得到的此时的网络特征为网络特征1，而丢包率转换系数为0，则此时可将当前的码率设置为16-20Mbps，帧率60FPS。
表6帧率和码率分段表(以1080P60为例)
| 丢包率转换系数 | 0 | 1 | 2 | 3 | 4 | 5 |
| 码率(Mbps) | 16-20 | 13-16 | 10-13 | 7-10 | 4-7 | 2-4 |
| 帧率(FPS) | 60 | 60 | 60 | 45 | 30 | 24 |
通过上述码率帧率调整策略我们可以得到一个初步的码率M1和帧率Z1，但是由于无线信号强度才是最重要的网络指标，为了确定最合理的目标码率和目标帧率，可以再通过无线信号强度转换系数计算得到码率M2和帧率Z2，根据多次试验可以得到无线信号强度转换系数与码率和帧率的对应关系，根据所述对应关系可以由当前的线信号强度转换系数计算得到码率M2和帧率Z2。比较M1与M2的大小，若M1<M2，则目标码率和目标帧率分别为M1和Z1，若M1≥M2,则目标码率和目标码率分别为M2和Z2。
本申请的第二方面提供了一种视频无线传输的QOS方法，所述方法应用于接收端，如图8所示，所述方法包括：
S801、接收发送端通过可靠信道和不可信道分别发送的关键数据和非关键数据，所述关键数据和非关键数据通过将编码器编码后的数据分流打包得到；其中，所述可靠信道基于存在重传和ACK机制的传输协议建立，所述不可靠信道基于不存在重传和ACK机制的传输协议建立；
S802、将所述关键数据和非关键数据按照序列号排序组包后解码。
通过将关键数据用可靠信道传输，非关键数据用不可靠信道传输，可以优先保证关键数据的正常传输，以保证视频传输的稳定性。
为了进一步地提升视频传输质量，保证视频数据的稳定性，还可以通过实时监控传输过程中的丢包、延时、抖动及无线信号强度，根据上述参数来给编码器设定最合理的编码参数，在一实施例中，所述计算目标码率和目标帧率的步骤如图9所示，具体包括：
S901、统计反馈参数并打包成反馈数据包；
S902、向发送端发送所述反馈参数包，以使发送端将所述反馈参数包中的反馈参数换算成转换系数；并根据所述转换系数计算目标码率和帧率；以便将编码器的码率和帧率设置成所述目标码率和帧率。
根据当前传输情况和无线信号强度计算得到合理的目标帧率和码率，可以进一步提高视频传输质量。
本申请的第三方面提供了一种视频无线传输的QOS装置，如图10A所示，所述装置1000包括：
数据分流打包模块(1010)，用于将编码后的数据分流打包成关键数据和非关键数据；
发送模块(1020)，用于将所述关键数据和非关键数据分别通过可靠信道和不可靠信道传输给目标接收端；以使目标接收端将接收到的所述关键数据和非关键数据按照序列号排序组包后解码；其中，所述可靠信道基于存在重传和ACK机制的传输协议建立，所述不可靠信道基于不存在重传和ACK机制的传输协议建立。
在一实例中，如图10B所示，所述QOS装置还包括：
接收模块(1030)，用于接收目标接收端发送的反馈数据包；
计算模块(1040)，用于将所述反馈数据包中的反馈参数换算成转换系数，其中，同一反馈参数的不同区间值分别对应不同的转换系数，各转换系数基于不同的加权值获得；还可用于根据所述转换系数计算目标码率和目标帧率；
设置模块(1050)，用于将编码器的码率和帧率设置成所述目标码率和目标帧率。
本申请的第四方面提供了一种视频无线传输的QOS装置，如图11A所示，所述装置1100包括
其特征在于，所述装置包括：
接收模块(1110)，接收发送端通过可靠信道和不可信道分别发送的关键数据和非关键数据，所述关键数据和非关键数据通过将编码器编码后的数据分流打包得到；其中，所述可靠信道基于存在重传和ACK机制的传输协议建立，所述不可靠信道基于不存在重传和ACK机制的传输协议建立。
数据解析模块(1120)，将所述关键数据和非关键数据按照序列号排序组包后解码。
在一实例中，如图11B所示，所述QOS装置还包括：
统计模块(1130)，统计反馈参数并打包成反馈数据包；
发送模块(1140)，向发送端发送所述反馈参数包，以使发送端将所述反馈参数包中的反馈参数换算成转换系数；并根据所述转换系数计算目标码率和帧率；以便将编码器的码率和帧率设置成所述目标码率和帧率。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本申请的第五方面提供了一种视频传输系统，如图12所示，所述视频传输系统(1200)包括编码器(1210)，QOS发送装置(1220)和QOS接收装置(1230)和解码器(1240)，QOS发送装置将编码器编码后的数据分流打包成关键数据和非关键数据；将关键数据和非关键数据分别通过可靠信道和不可靠信道传输给QOS接收装置；其中，可靠信道基于存在重传和ACK机制的传输协议建立，不可靠信道基于不存在重传和ACK机制的传输协议建立；QOS接收装置将接收到的关键数据和非关键数据按照序列号排序后组包发送给解码器。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (11)
1.一种视频无线传输的QOS方法，其特征在于，所述方法包括：
将编码后的数据分流打包成关键数据和非关键数据；
将所述关键数据和非关键数据分别通过可靠信道和不可靠信道传输给目标接收端；以使目标接收端将接收到的所述关键数据和非关键数据按照序列号排序组包后解码，其中，所述可靠信道基于存在重传和ACK机制的传输协议建立，所述不可靠信道基于不存在重传和ACK机制的传输协议建立。
2.如权利要求1所述的一种视频无线传输的QOS方法，其特征在于，所述关键数据包括关键帧I帧、即时解码器刷新IDR、序列参数集SPS、图像参数集PPS、增强信息SEI和/或视频参数集VPS；所述非关键数据包括B帧和/或P帧。
3.如权利要求1所述的一种视频无线传输的QOS方法，其特征在于，所述方法还包括：
接收目标接收端发送的反馈数据包；
将所述反馈数据包中的反馈参数换算成转换系数，其中，同一反馈参数的不同区间值分别对应不同的转换系数，各转换系数基于不同的加权值获得；
根据所述转换系数计算目标码率和目标帧率；
将编码器的码率和帧率设置成所述目标码率和目标帧率。
4.如权利要求3所述的一种视频无线传输的QOS方法，其特征在于，所述反馈数据包中的反馈参数包括以下至少之一：丢包率、延时、抖动和无线信号强度。
5.如权利要求4所述的一种视频无线传输的QOS方法，其特征在于，根据所述转换系数计算目标码率和目标帧率包括：先由丢包率转换系数、延时转换系数、抖动转换系数计算得到码率和帧率；再由无线信号强度转换系数及所述计算得到的码率和帧率确定目标码率和目标帧率。
6.如权利要求5所述的一种视频无线传输的QOS方法，其特征在于，所述由先丢包率转换系数、延时转换系数、抖动转换系数计算得到码率和帧率，再由无线信号强度转换系数及所述计算得到的码率和帧率确定目标码率和目标帧率的步骤具体包括：
先根据丢包率转换系数、抖动转换系数和延时转换系数计算得到网络特征；
根据所述丢包率转换系数和所述网络特征得到码率帧率调整策略；
根据所述码率帧率调整策略得到码率M1和帧率Z1；
再根据无线信号强度转换系数得到码率M2和帧率Z2；
比较M1与M2的大小，若M1<M2，则目标码率和目标帧率分别为M1和Z1，若M1≥M2,则目标码率和目标码率分别为M2和Z2。
7.一种视频无线传输的QOS方法，其特征在于，所述方法包括：
接收发送端通过可靠信道和不可信道分别发送的关键数据和非关键数据，所述关键数据和非关键数据通过将编码器编码后的数据分流打包得到，其中，所述可靠信道基于存在重传和ACK机制的传输协议建立，所述不可靠信道基于不存在重传和ACK机制的传输协议建立；
将所述关键数据和非关键数据按照序列号排序组包后解码。
8.如权利要求7所述的一种视频无线传输的QOS方法，其特征在于，所述方法还包括：
统计反馈参数并打包成反馈数据包；
向发送端发送所述反馈参数包，以使发送端将所述反馈参数包中的反馈参数换算成转换系数；并根据所述转换系数计算目标码率和帧率；以便将编码器的码率和帧率设置成所述目标码率和帧率。
9.一种视频无线传输的QOS装置，其特征在于，所述装置包括：
数据分流打包模块，用于将编码后的数据分流打包成关键数据和非关键数据；
发送模块，用于将所述关键数据和非关键数据分别通过可靠信道和不可靠信道传输给目标接收端；以使目标接收端将接收到的所述关键数据和非关键数据按照序列号排序组包后解码；其中，所述可靠信道基于存在重传和ACK机制的传输协议建立，所述不可靠信道基于不存在重传和ACK机制的传输协议建立。
10.一种视频无线传输的QOS装置，其特征在于，所述装置包括：
接收模块，接收发送端通过可靠信道和不可信道分别发送的关键数据和非关键数据，所述关键数据和非关键数据通过将编码器编码后的数据分流打包得到；其中，所述可靠信道基于存在重传和ACK机制的传输协议建立，所述不可靠信道基于不存在重传和ACK机制的传输协议建立；
数据解析模块，将所述关键数据和非关键数据按照序列号排序组包后解码。
11.一种视频传输系统，包括编码器，解码器，其特征在于，所述视频传输系统还包括：QOS发送装置和QOS接收装置；
所述QOS发送装置将编码器编码后的数据分流打包成关键数据和非关键数据；将所述关键数据和非关键数据分别通过可靠信道和不可靠信道传输给QOS接收装置；其中，所述可靠信道基于存在重传和ACK机制的传输协议建立，所述不可靠信道基于不存在重传和ACK机制的传输协议建立；QOS接收装置将接收到的所述关键数据和非关键数据按照序列号排序后组包发送给解码器解码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810950643.0A CN109150876B (zh) | 2018-08-20 | 2018-08-20 | 一种视频无线传输的qos方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810950643.0A CN109150876B (zh) | 2018-08-20 | 2018-08-20 | 一种视频无线传输的qos方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109150876A true CN109150876A (zh) | 2019-01-04 |
| CN109150876B CN109150876B (zh) | 2021-06-29 |
Family
ID=64790245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810950643.0A Active CN109150876B (zh) | 2018-08-20 | 2018-08-20 | 一种视频无线传输的qos方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109150876B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110366003A (zh) * | 2019-06-24 | 2019-10-22 | 北京大米科技有限公司 | 视频数据的抗抖动处理方法、装置、电子设备和存储介质 |
| CN110519632A (zh) * | 2019-07-30 | 2019-11-29 | 华为技术有限公司 | 投屏方法及设备 |
| CN111464817A (zh) * | 2020-03-12 | 2020-07-28 | 视联动力信息技术股份有限公司 | 码率控制方法、装置及可读存储介质 |
| CN111741013A (zh) * | 2020-07-21 | 2020-10-02 | 炬芯（珠海）科技有限公司 | 数据传输方法及装置 |
| CN113645192A (zh) * | 2021-07-16 | 2021-11-12 | 青岛小鸟看看科技有限公司 | Rtp数据包处理方法及装置 |
| CN113872733A (zh) * | 2021-09-29 | 2021-12-31 | 天翼物联科技有限公司 | 报文重发方法、装置、计算机设备及计算机可读存储介质 |
| WO2022011574A1 (zh) * | 2020-07-14 | 2022-01-20 | 华为技术有限公司 | 数据传输方法、发送设备及接收设备 |
| CN114285472A (zh) * | 2021-12-20 | 2022-04-05 | 北京邮电大学 | 一种基于手机摄像头具有前向纠错的upsook调制方法 |
| CN114979793A (zh) * | 2022-05-11 | 2022-08-30 | 北京字节跳动网络技术有限公司 | 一种直播数据传输方法、装置、系统、设备和介质 |
| CN115103226A (zh) * | 2022-06-16 | 2022-09-23 | 慧之安信息技术股份有限公司 | 基于kcp协议的视频流传输方法 |
| WO2022206016A1 (zh) * | 2021-03-31 | 2022-10-06 | 华为技术有限公司 | 一种数据分层传输方法、装置及系统 |
| CN115720257A (zh) * | 2022-10-13 | 2023-02-28 | 华能信息技术有限公司 | 一种视频会议系统的通信安全管理方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7327694B2 (en) * | 2001-07-31 | 2008-02-05 | Sasken Communication Technologies Ltd. | Adaptive radio link protocol (RLP) to improve performance of TCP in wireless environment for CDMAone and CDMA2000 systems |
| CN101222296A (zh) * | 2008-01-31 | 2008-07-16 | 上海交通大学 | 上行蜂窝视频通信中自适应的传输方法及系统 |
| CN102694791A (zh) * | 2012-04-17 | 2012-09-26 | 清华大学 | 基于喷泉码的实时tcp传输协议 |
| CN102075312B (zh) * | 2011-01-10 | 2013-03-20 | 西安电子科技大学 | 基于视频服务质量的混合选择重传方法 |
| CN103580773A (zh) * | 2012-07-18 | 2014-02-12 | 中兴通讯股份有限公司 | 数据帧的传输方法及装置 |
| CN106792263A (zh) * | 2016-12-09 | 2017-05-31 | 东方网力科技股份有限公司 | 一种视频数据传输方法、装置及系统 |
| CN104618337B (zh) * | 2014-12-31 | 2018-01-02 | 浙江理工大学 | 一种基于tcp/udp混合协议的流媒体无线自适应传输方法 |
-
2018
- 2018-08-20 CN CN201810950643.0A patent/CN109150876B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7327694B2 (en) * | 2001-07-31 | 2008-02-05 | Sasken Communication Technologies Ltd. | Adaptive radio link protocol (RLP) to improve performance of TCP in wireless environment for CDMAone and CDMA2000 systems |
| CN101222296A (zh) * | 2008-01-31 | 2008-07-16 | 上海交通大学 | 上行蜂窝视频通信中自适应的传输方法及系统 |
| CN102075312B (zh) * | 2011-01-10 | 2013-03-20 | 西安电子科技大学 | 基于视频服务质量的混合选择重传方法 |
| CN102694791A (zh) * | 2012-04-17 | 2012-09-26 | 清华大学 | 基于喷泉码的实时tcp传输协议 |
| CN103580773A (zh) * | 2012-07-18 | 2014-02-12 | 中兴通讯股份有限公司 | 数据帧的传输方法及装置 |
| CN104618337B (zh) * | 2014-12-31 | 2018-01-02 | 浙江理工大学 | 一种基于tcp/udp混合协议的流媒体无线自适应传输方法 |
| CN106792263A (zh) * | 2016-12-09 | 2017-05-31 | 东方网力科技股份有限公司 | 一种视频数据传输方法、装置及系统 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110366003A (zh) * | 2019-06-24 | 2019-10-22 | 北京大米科技有限公司 | 视频数据的抗抖动处理方法、装置、电子设备和存储介质 |
| CN110519632A (zh) * | 2019-07-30 | 2019-11-29 | 华为技术有限公司 | 投屏方法及设备 |
| WO2021018187A1 (zh) * | 2019-07-30 | 2021-02-04 | 华为技术有限公司 | 投屏方法及设备 |
| US11997153B2 (en) | 2019-07-30 | 2024-05-28 | Huawei Technologies Co., Ltd. | Screen projection method and device |
| CN111464817A (zh) * | 2020-03-12 | 2020-07-28 | 视联动力信息技术股份有限公司 | 码率控制方法、装置及可读存储介质 |
| CN115380487B (zh) * | 2020-07-14 | 2024-08-13 | 华为技术有限公司 | 数据传输方法、发送设备及接收设备 |
| WO2022011574A1 (zh) * | 2020-07-14 | 2022-01-20 | 华为技术有限公司 | 数据传输方法、发送设备及接收设备 |
| EP4184829A4 (en) * | 2020-07-14 | 2023-08-02 | Huawei Technologies Co., Ltd. | DATA TRANSMISSION METHOD, TRANSMITTER AND RECEIVER |
| CN115380487A (zh) * | 2020-07-14 | 2022-11-22 | 华为技术有限公司 | 数据传输方法、发送设备及接收设备 |
| CN111741013A (zh) * | 2020-07-21 | 2020-10-02 | 炬芯（珠海）科技有限公司 | 数据传输方法及装置 |
| WO2022206016A1 (zh) * | 2021-03-31 | 2022-10-06 | 华为技术有限公司 | 一种数据分层传输方法、装置及系统 |
| CN113645192A (zh) * | 2021-07-16 | 2021-11-12 | 青岛小鸟看看科技有限公司 | Rtp数据包处理方法及装置 |
| CN113872733B (zh) * | 2021-09-29 | 2024-01-05 | 天翼物联科技有限公司 | 报文重发方法、装置、计算机设备及计算机可读存储介质 |
| CN113872733A (zh) * | 2021-09-29 | 2021-12-31 | 天翼物联科技有限公司 | 报文重发方法、装置、计算机设备及计算机可读存储介质 |
| CN114285472A (zh) * | 2021-12-20 | 2022-04-05 | 北京邮电大学 | 一种基于手机摄像头具有前向纠错的upsook调制方法 |
| CN114979793A (zh) * | 2022-05-11 | 2022-08-30 | 北京字节跳动网络技术有限公司 | 一种直播数据传输方法、装置、系统、设备和介质 |
| WO2023217188A1 (zh) * | 2022-05-11 | 2023-11-16 | 北京字节跳动网络技术有限公司 | 一种直播数据传输方法、装置、系统、设备和介质 |
| CN114979793B (zh) * | 2022-05-11 | 2024-09-03 | 北京字节跳动网络技术有限公司 | 一种直播数据传输方法、装置、系统、设备和介质 |
| CN115103226A (zh) * | 2022-06-16 | 2022-09-23 | 慧之安信息技术股份有限公司 | 基于kcp协议的视频流传输方法 |
| CN115103226B (zh) * | 2022-06-16 | 2023-03-24 | 慧之安信息技术股份有限公司 | 基于kcp协议的视频流传输方法 |
| CN115720257A (zh) * | 2022-10-13 | 2023-02-28 | 华能信息技术有限公司 | 一种视频会议系统的通信安全管理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109150876B (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109150876A (zh) | 一种视频无线传输的qos方法、装置及系统 | |
| US9306708B2 (en) | Method and apparatus for retransmission decision making | |
| JP5588019B2 (ja) | 信頼性のあるデータ通信のためにネットワーク抽象化レイヤを解析する方法および装置 | |
| US8005028B2 (en) | Data communication system, data transmitting device, data transmitting method, data receiving device, and data receiving method | |
| KR100941562B1 (ko) | 미디어 스트리밍 분배 시스템, 패킷 분석 장치, 네트워크 중계 장치, 미디어 분배 장치, 중계 장치 및 미디어 스트림 분배 시스템 | |
| RU2305908C2 (ru) | Адаптивный способ оценивания скорости передачи мультимедийных данных | |
| US7756127B2 (en) | Mobile terminal | |
| CN101552660B (zh) | 对流媒体数据进行重传、播放的方法、装置及通信系统 | |
| US9781488B2 (en) | Controlled adaptive rate switching system and method for media streaming over IP networks | |
| EP2849393B1 (en) | Method and device for transmitting video data | |
| US8395990B2 (en) | Method and apparatus for streaming scalable multimedia data streams | |
| US10320520B2 (en) | Communication device, system and method | |
| US20050036546A1 (en) | Video data transmission method and apparatus | |
| CN106658223B (zh) | 一种长期演进lte网络下的视频上行传输方法及装置 | |
| CN106973066A (zh) | 一种实时通讯中h264编码视频数据传输方法以及系统 | |
| JP5117512B2 (ja) | 再送回数を動的に適合させる方法及び装置 | |
| CN109525858A (zh) | 视频编码电路以及无线视频传输装置与方法 | |
| JP2012244566A (ja) | 伝送ビットレートに基づいて映像フレームレートを制御させる受信装置、システム、プログラム及び方法 | |
| CN101753447A (zh) | 通信系统、通信方法、通信装置和程序 | |
| JP5523163B2 (ja) | 送信装置、送信方法、プログラム | |
| CN106100803A (zh) | 用于作出重发决定的方法和装置 | |
| Xu et al. | Development of a network adaptive H. 264/AVC medical video transmission system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |