CN107592540A - 一种视频数据处理方法及装置 - Google Patents

一种视频数据处理方法及装置 Download PDF

Info

Publication number
CN107592540A
CN107592540A CN201610531620.7A CN201610531620A CN107592540A CN 107592540 A CN107592540 A CN 107592540A CN 201610531620 A CN201610531620 A CN 201610531620A CN 107592540 A CN107592540 A CN 107592540A
Authority
CN
China
Prior art keywords
frame
present frame
hpp
redundancy
present
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610531620.7A
Other languages
English (en)
Other versions
CN107592540B (zh
Inventor
时永方
吕静
戴超
高安林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610531620.7A priority Critical patent/CN107592540B/zh
Priority to EP17823673.3A priority patent/EP3484155B1/en
Priority to PCT/CN2017/092178 priority patent/WO2018006861A1/zh
Publication of CN107592540A publication Critical patent/CN107592540A/zh
Priority to US16/204,546 priority patent/US10652580B2/en
Application granted granted Critical
Publication of CN107592540B publication Critical patent/CN107592540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data

Abstract

本申请公开了一种视频数据处理方法及装置，方法包括：编码端按照分层预测编码结构HPP，对获取的原始视频数据进行编码，得到HPP码流，按照前向纠错编码FEC，对HPP码流进行冗余编码，其中，HPP码流中各帧的冗余包数量按照各帧在HPP中所处时间层由低至高的顺序递减，最后将冗余编码后的HPP码流中的各帧，顺序发送给解码端。本申请将HPP编码结构与FEC冗余编码相结合，对按照HPP编码结构编码后的HPP码流添加冗余包。通过这种方式，即便数据传输过程出现部分丢包，解码端也可以通过冗余包进行丢包恢复，大大提高了解码成功率，减少视频卡顿时间。

Description

一种视频数据处理方法及装置
技术领域
本申请涉及视频数据处理技术领域，更具体地说，涉及一种视频数据处理方法及装置。
背景技术
近年来，随着智能手机和移动互联网的发展，VoIP(Video/voice over InternetProtocol，一种基于IP网络的音、视频数据实时传输应用)视频通话应用给人们提供了全新的沟通体验。而由于信号衰落、突发丢包等原因，会导致视频卡顿、抖动等现象，影响视频质量。
传统的视频压缩编码标准一般采用IPPP编码架构。该架构下，视频数据的帧分为两种，一种是I帧(I frame，又称为帧内编码帧)；另一种是P帧(P frame，又称为帧间编码帧或者前向预测编码帧)。参见图1，图1为IPPP编码结构示意图。IPPP编码架构为链式参考结构，视频数据的各帧能否成功解码不仅取决于该帧自身数据的完整性，还取决于参考帧是否已解出。在IPPP编码架构中，I帧不参考任何帧能够独立解码，P帧需要结合其参考帧才能成功解码。IPPP编码架构中，GOP(Group of Picture，视频编码的最小重复单元)以I帧为分隔，GOP中任意一帧解码失败会导致GOP中该帧后面的所有帧均无法成功解码，造成视频卡顿现象。
为此现有技术提出了一种HPP(Hierarchical P-frame Prediction,分层预测编码结构)编码方式，参考图2所示的HPP编码结构，处于不同TL(Temporal Layer，时间层)的帧的重要性不同，能在一定程度上减少相邻帧间的参考耦合关系。如图2所示，HPP采用高TL的帧参考低TL的帧，相邻帧的TL不同，所以只要不是TL级别最低的帧丢了，后面的帧都有可能成功解码。举例如，P5帧丢了，不会影响后面的P6、P7、P8帧的成功解码。
但是，HPP编码方式虽然在一定程度上减少了相邻帧间的参考耦合关系，但是在出现丢包时，解码端仍会出现部分帧无法成功解码，导致视频卡顿的问题。
发明内容
有鉴于此，本申请提供了一种视频数据处理方法及装置，用于解决现有HPP编码方式在出现数据传输丢包时，解码端对部分帧无法解码，导致视频卡顿的问题。
为了实现上述目的，现提出的方案如下：
一种视频数据处理方法，应用于编码端，该方法包括：
获取原始视频数据；
按照分层预测编码结构HPP，对所述原始视频数据进行编码，得到HPP码流；
按照前向纠错编码FEC，对所述HPP码流进行冗余编码，其中，所述HPP码流中各帧的冗余包数量按照各帧在HPP中所处时间层由低至高的顺序递减；
将冗余编码后的HPP码流中的各帧，顺序发送给解码端。
一种视频数据处理方法，应用于解码端，该方法包括：
接收编码端发送的当前帧，所述当前帧为编码端按照分层预测编码结构HPP进行编码后的HPP码流中的帧；
在确定所述当前帧为帧间编码帧P帧时，判断当前帧的参考帧是否完整；
若所述当前帧的参考帧不完整，将所述当前帧丢弃，以放弃对当前帧进行解码；
根据所述当前帧在分层预测编码结构HPP中所处位置，确定以所述当前帧为参考帧的目标帧；
将所述目标帧的参考状态标记为，参考帧不完整。
一种视频数据处理装置，应用于编码端，该装置包括：
原始视频数据获取单元，用于获取原始视频数据；
HPP编码单元，用于按照分层预测编码结构HPP，对所述原始视频数据进行编码，得到HPP码流；
冗余编码单元，用于按照前向纠错编码FEC，对所述HPP码流进行冗余编码，其中，所述HPP码流中各帧的冗余包数量按照各帧在HPP中所处时间层由低至高的顺序递减；
帧发送单元，用于将冗余编码后的HPP码流中的各帧，顺序发送给解码端。
一种视频数据处理装置，应用于解码端，该装置包括：
当前帧接收单元，用于接收编码端发送的当前帧，所述当前帧为编码端按照分层预测编码结构HPP进行编码后的HPP码流中的帧；
参考帧判断单元，用于在确定所述当前帧为帧间编码帧P帧时，判断当前帧的参考帧是否完整；
第一帧丢弃单元，用于在所述参考帧判断单元判断当前帧的参考帧不完整时，将所述当前帧丢弃，以放弃对当前帧进行解码；
目标帧确定单元，用于根据所述当前帧在分层预测编码结构HPP中所处位置，确定以所述当前帧为参考帧的目标帧；
第一参考状态标记单元，用于将所述目标帧的参考状态标记为，参考帧不完整。
本申请实施例提供的视频数据处理方法，编码端按照分层预测编码结构HPP，对获取的原始视频数据进行编码，得到HPP码流，按照前向纠错编码FEC，对HPP码流进行冗余编码，其中，HPP码流中各帧的冗余包数量按照各帧在HPP中所处时间层由低至高的顺序递减，最后将冗余编码后的HPP码流中的各帧，顺序发送给解码端。由此可见，本申请将HPP编码结构与FEC冗余编码相结合，对按照HPP编码结构编码后的HPP码流添加冗余包，并且在添加冗余包时按照HPP中所处时间层越低的帧，其添加的冗余包数量越多，对重要度高的处于低时间层的帧重点进行保护。通过这种方式，即便数据传输过程出现部分丢包，解码端也可以通过冗余包进行丢包恢复，大大提高了解码成功率，减少视频卡顿时间。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为IPPP编码结构示意图；
图2为HPP编码结构示意图；
图3为本申请实施例从编码端公开的一种视频数据处理方法流程图；
图4为本申请实施例从编码端公开的另一种视频数据处理方法流程图；
图5为本申请实施例从编码端公开的又一种视频数据处理方法流程图；
图6为本申请实施例从解码端公开的一种视频数据处理方法流程图；
图7为本申请实施例从解码端公开的另一种视频数据处理方法流程图；
图8为本申请实施例从解码端公开的又一种视频数据处理方法流程图；
图9为本申请实施例从解码端公开的又一种视频数据处理方法流程图；
图10为本申请实施例从解码端公开的又一种视频数据处理方法流程图；
图11为本申请实施例从编码端公开的一种视频数据处理装置结构示意图；
图12为本申请实施例从解码端公开的一种视频数据处理装置结构示意图；
图13为本申请实施例提供的一种终端硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的视频数据处理方案中，解码端接收视频编码端发送的视频包，进而进行视频数据的处理。其中，视频编码端采用HPP编码结构。视频编码端采集原始视频裸流，以图像序列的形式进行信源压缩编码，最终生成HPP码流。视频编码端在进行HPP编码时，可以根据编码端的硬件性能及使用场景配置HPP的最大层数M+1，最大参考距离为L＝2^M。如图2中，M＝2，即3层HPP参考结构，处于高时间层TL的帧参考低时间层TL的帧。L＝4，最长参考距离对应P4参考P0、P8参考P4。
进一步地，视频编码端在信源HPP视频编码的基础上，为了应对丢包，通过前向纠错编码FEC对HPP码流进行冗余编码，将冗余编码后的HPP码流中的各帧，顺序发送给解码端。
在HPP码流中增加冗余包的方法可以是这样的，首先，对HPP码流的每个帧进行分包，每个帧的数据被分为p个视频包，然后，利用FEC(ForwardError Correction，前向纠错)编码，为该帧增加q个冗余包，最后，将该帧的视频包和冗余包一起向解码端传输；该种方法可以抵抗q个视频包的丢包，当有丢包时，就可以利用冗包将丢失的视频包恢复出来。其中，q和p均为正整数。需要说明的是，增加的冗余包的个数的多少，决定了抗丢包能力的强弱。对于重要的，需要多保护的帧，可以增加较多的冗余包。
基于HPP编码结构，高时间层TL的帧参考低TL的帧，因此时间层越低的帧的重要级别越高，本申请可以设置低时间层帧的冗余包多余高时间层帧的冗余包。举例如，TL0层的帧设置100％冗余包，即视频包和冗余包的个数相等，TL1层的帧设置50％冗余包，……，最高TL层的帧不设置冗余包。
接下来，本申请以编码端角度对视频数据处理过程进行介绍，参见图3，图3为本申请实施例从编码端公开的一种视频数据处理方法流程图。
如图3所示，该方法包括：
步骤S100、获取原始视频数据；
步骤S110、按照分层预测编码结构HPP，对所述原始视频数据进行编码，得到HPP码流；
具体地，可以根据编码端的硬件性能及使用场景配置HPP的最大时间层数M+1，最大参考距离为L＝2^M。
步骤S120、按照前向纠错编码FEC，对所述HPP码流进行冗余编码；
具体地，在对HPP码流进行冗余编码时，HPP码流中各帧的冗余包的数量可以按照，各帧在HPP中所处时间层由低至高的顺序递减。
由于HPP中低时间层的帧的重要度高于高时间层的帧，因此低时间层的帧的冗余包的数量多于高时间层的帧的冗余包的数量。以便利用有限的冗余包资源保护重要度高的帧，提升冗余利用率。
步骤S130、将冗余编码后的HPP码流中的各帧，顺序发送给解码端。
编码端按照HPP码流中各帧的时间顺序，依次向解码端发送各帧。
本申请实施例提供的视频数据处理方法，编码端按照分层预测编码结构HPP，对获取的原始视频数据进行编码，得到HPP码流，按照前向纠错编码FEC，对HPP码流进行冗余编码，其中，HPP码流中各帧的冗余包数量按照各帧在HPP中所处时间层由低至高的顺序递减，最后将冗余编码后的HPP码流中的各帧，顺序发送给解码端。由此可见，本申请将HPP编码结构与FEC冗余编码相结合，对按照HPP编码结构编码后的HPP码流添加冗余包，并且在添加冗余包时按照HPP中所处时间层越低的帧，其添加的冗余包数量越多，对重要度高的处于低时间层的帧重点进行保护。通过这种方式，即便数据传输过程出现部分丢包，解码端也可以通过冗余包进行丢包恢复，大大提高了解码成功率，减少视频卡顿时间。
参见图4，图4为本申请实施例从编码端公开的另一种视频数据处理方法流程图。
如图4所示，该方法包括：
步骤S200、获取原始视频数据；
步骤S210、按照分层预测编码结构HPP，对所述原始视频数据进行编码，得到HPP码流；
步骤S220、按照前向纠错编码FEC，对所述HPP码流进行冗余编码；
具体地，在对HPP码流进行冗余编码时，HPP码流中各帧的冗余包的数量可以按照，各帧在HPP中所处时间层由低至高的顺序递减。
步骤S230、将冗余编码后的HPP码流中的各帧，顺序发送给解码端；
步骤S240、在收到所述解码端发送的冗余等级调整请求时，按照设定调整策略，动态调整所述HPP码流中后续发送帧的冗余包数量。
其中，所述冗余等级调整请求为所述解码端在对接收的当前帧的视频包进行完整性检查，并根据检查结果确定当前帧不能解码时，由解码端生成的请求。
本实施例中，如果网络状态差，导致解码端接收的各帧的数据包丢失严重，解码端可以向编码端发送冗余等级调整请求，由编码端提高所述HPP码流中后续发送的各帧的冗余包数量。
其中可选的，上述按照设定调整策略，动态调整所述HPP码流中后续发送帧的冗余包数量的过程，具体可以包括：
对所述HPP码流中处于设定时间层的各帧调整冗余包数量；
或，
按照各时间层对应的冗余包调整比例，对所述HPP码流中处于各时间层的各帧调整冗余包数量。
具体地，编码端可以仅对设定时间层的帧提高冗余包数量，如对时间层小于某个阈值的时间层的帧提高冗余包数量。除此之外，还可以按照相同或不同的调整比例，对各时间层的帧提高冗余包数量。
举例如，初始时视频编码端对TL0层的帧设置50％冗余包，TL1层的帧设置20％冗余包，TL3层的帧设置5％冗余包。
某一时刻视频编码端收到冗余等级调整请求，进而提高冗余包设置数量，将TL0层的帧设置70％冗余包，TL1层的帧设置40％冗余包，TL3层的帧设置20％冗余包。
参见图5，图5为本申请实施例从编码端公开的又一种视频数据处理方法流程图。
如图5所示，该方法包括：
步骤S300、获取原始视频数据；
步骤S310、按照分层预测编码结构HPP，对所述原始视频数据进行编码，得到HPP码流；
步骤S320、按照前向纠错编码FEC，对所述HPP码流进行冗余编码；
具体地，在对HPP码流进行冗余编码时，HPP码流中各帧的冗余包的数量可以按照，各帧在HPP中所处时间层由低至高的顺序递减。
步骤S330、将冗余编码后的HPP码流中的各帧，顺序发送给解码端；
步骤S340、在收到所述解码端发送的I帧请求时，在所述HPP码流中未发送的帧中查找最近一个帧内编码帧I帧；
具体地，编码端如果确定当前帧处于最低时间层且不完整，则意味着参考结构产生断裂，当前I帧间隔里后面的帧由于失去参考帧无法解码，这种极端情况下视频卡顿已经不可避免，为了缩短卡顿时间，可以直接向视频编码端发送I帧请求，以请求所述视频编码端立即发送下一I帧。
编码端在收到请求时，在HPP码流中未发送的帧中查找最近一个I帧。
步骤S350、向所述解码端发送查找到的最近一个I帧，并顺序发送该I帧之后的帧。
解码端在查找到最近的一个I帧之后，放弃发送该最近一个I帧之前的各帧，直接跳转到发送最近的一个I帧，后续顺序发送该最近的一个I帧之后的各帧。
本实施例中，编码端在收到I帧请求时，立即在HPP码流中未发送的帧中查找最近一个I帧，并跳转发送该最近一个I帧及后续各帧，最大可能缩短解码端视频卡顿时间。
接下来，本申请以接收端角度对视频数据处理过程进行介绍。参见图6，图6为本申请实施例从接收端角度公开的一种视频数据处理方法流程图。
如图6所示，该方法包括：
步骤S400、接收编码端发送的当前帧；
其中，所述当前帧为编码端按照分层预测编码结构HPP进行编码后的HPP码流中的帧。
可以理解的是，一帧包含若干个视频包，每个视频包的包头信息中都可以记录该视频包所属的帧，以及属于该帧总n个视频包的第i个。本步骤中确定接收到当前帧可以是，确定收到当前帧的第一个视频包，或者是确定收到当前帧的最后一个视频包。
具体地，确定收到当前帧的最后一个视频包的具体实施方式可以是：
根据已收到当前帧的视频包中包头记录的当前帧的总视频包的个数n，在收到第n个当前帧的视频包时确定该视频包为当前帧的最后一个视频包。或者是，在收到下一帧的视频包时，将前一个收到的视频包确定为当前帧的最后一个视频包。
步骤S410、在确定所述当前帧为帧间编码帧P帧时，判断当前帧的参考帧是否完整；若否，执行步骤S420-S440；
具体地，若当前帧的参考帧无法完整组包，或无法解码，或者其参考帧不完整，则均意味着当前帧也无法成功解码。
步骤S420、将所述当前帧丢弃，以放弃对当前帧进行解码；
步骤S430、根据所述当前帧在分层预测编码结构HPP中所处位置，确定以所述当前帧为参考帧的目标帧；
具体地，根据HPP编码结构以及当前帧在HPP中所处位置，可以确定以当前帧为参考帧的目标帧。参见图2所示，假设当前帧为P2，则由于P3参考P2，因此可以设置P2为目标帧。再比如，当前帧为P4，则由于P5、P6、P8参考P4，因此可以设置P5、P6、P8为目标帧。
步骤S440、将所述目标帧的参考状态标记为，参考帧不完整。
具体地，由于确定了当前帧的参考帧不完整，也就意味着当前帧无法成功进行解码。因此，以当前帧为参考的目标帧也就无法成功解码，设置目标帧的参考状态为，参考帧不完整。
可选的，本申请可以设置不同标识代表不同的参考状态，如“1”表示参考帧不完整，“0”表示参考帧完整。当然，还可以用其它标识来表示不同的参考状态。
可选的，步骤S420和S430的执行顺序可以相互颠倒或并列执行，图6仅仅示例了一种可选方式。
本实施例中，解码端对于接收当的当前帧，若确定其为P帧，则根据HPP编码结构可知，P帧需要参考之前的帧，因此本申请可以判断当前帧的参考帧是否完整，在其参考帧不完整时，意味着当前帧无法成功解码，因此直接丢弃当前帧，不对其进行解码处理，节省了解码时间，减少了视频卡顿时间。进一步，本申请在确定当前帧的参考帧不完整时，进一步将以当前帧我参考帧的目标帧的参考状态标记为，参考帧不完整，后续在接收到目标帧时，可以直接通过目标帧的参考状态来确定其参考帧是否完整，更加方便。
可选的，上述判断当前帧的参考帧是否完整的过程，可以包括：
1、获取所述当前帧的参考状态，所述参考状态用于表示当前帧的参考帧是否完整；
其中，当前帧的参考状态为在先对其参考帧进行检查时所确定，若参考帧成功解码，则可以设置当前帧的参考状态为，参考帧完整，否则，设置参考状态为，参考帧不完整。
2、根据所述当前帧的参考状态确定所述当前帧的参考帧是否完整。
参见图7，图7为本申请实施例从解码端公开的另一种视频数据处理方法流程图。
如图7所示，该方法包括：
步骤S500、在确定收到当前帧的最后一个视频包，且所述当前帧为帧间编码帧P帧时，获取所述当前帧的参考状态；
其中，所述参考状态用于表示当前帧的参考帧是否完整。
步骤S510、判断所述当前帧的参考状态是否表示参考帧不完整；若是，执行步骤S520-S540，若否，执行步骤S550-S570；
步骤S520、将所述当前帧丢弃，以放弃对当前帧进行解码；
步骤S530、根据所述当前帧在分层预测编码结构HPP中所处位置，确定以所述当前帧为参考帧的目标帧；
步骤S540、将所述目标帧的参考状态标记为，参考帧不完整；
步骤S550、判断当前帧是否可解码，若否，执行步骤S520，若是，执行步骤S560；
具体地，在确定当前帧的参考状态表示参考帧完整时，可以对已缓存的当前帧的视频包的完整性进行检查，并根据检查结果确定所述当前帧是否可解码。
若判断当前帧不可解码，则可以返回执行步骤S520-S540的操作。
步骤S560、对所述当前帧进行解码处理，并判断是否成功解码；若是，执行步骤S570，若否，执行步骤S520；
步骤S570、对解码处理后的当前帧进行显示。
具体地，在判断当前帧可解码时，对当前帧进行解码处理。并根据解码结果判断是否成功解码，如果成功解码，则可以对解码处理后的当前帧进行显示，如果未成功解码，则可以返回执行步骤S520-S540的操作。
相比于上一实施例，本实施例中进一步增加了在判断当前帧的参考状态表示参考帧完整时的处理流程。本实施例中在确定当前帧的参考状态表示参考帧完整时，进一步判断当前帧是否可解码，只有判断为可解码时才会对当前帧进行解码处理，进一步减少了对不可解码的帧的解码处理，减少了视频卡顿时间。
可选的，上述步骤S550中，对已缓存的当前帧的视频包的完整性进行检查，并根据检查结果确定所述当前帧是否可解码的过程，可以包括：
1)根据所述当前帧的视频包的包头信息，判断已缓存的当前帧的视频包能否完整组帧，以及在确定不能完整组帧时丢包能否恢复；
2)若判断能够完整组帧，或判断不能完整组帧时丢包能够恢复，则确定所述当前帧可解码。
可以理解的是，若判断不能够完整组帧，且丢包不能够恢复时，则可以确定当前帧不可解码。
具体地，前文已经介绍，一帧包括若干视频包，每个视频包的包头信息中可以记录该视频包所属的帧，以及属于该帧总n个视频包的第i个。进一步，包头信息中还可以记录该帧有几个冗余包。基于此，根据当前帧收包结束时已经缓存的当前帧的视频包，以及包头信息，可以确定缓存的视频包能否完整组帧。如，包头信息记录当前帧共有n个视频包，而缓存的视频包如果小于n个，则表示当前帧的数据包存在丢包，确定无法完整组帧。
在确定无法完整组帧时，可以进一步判断丢包能否恢复。具体地，如果确定当前帧丢包个数小于等于包头信息中记录的该帧的冗余包的个数，则可以确定丢包能够恢复，否则，确定丢包无法恢复。
进一步地，对比图7和图8可知，在图7对应实施例的基础上，若确定当前帧不可解码时，可以进一步增加步骤S580、向视频编码端发送冗余等级调整请求。通过发送冗余等级调整请求，以请求所述视频编码端提高发送的冗余包的数量。
具体地，如果确定当前帧不可解码，则表示丢包严重，超出现有冗余包的恢复能力，因此可以向视频编码端发送冗余等级调整请求，以请求提高发送的冗余包的数量。
编码端在收到冗余等级调整请求后的调整策略可以参照前文相关介绍，此处不再赘述。
参见图9，图9为本申请实施例从解码端公开的又一种视频数据处理方法流程图。
如图9所示，该方法包括：
步骤S600、在确定收到当前帧的最后一个视频包，且所述当前帧为处于HPP中最低时间层的P帧时，获取所述当前帧的参考状态；
其中，所述参考状态用于表示当前帧的参考帧是否完整。
本步骤中，当前帧为P帧且处于HPP编码结构的最低时间层。参考图2所示，其中P4、P8均为最低时间层的P帧。
步骤S610、判断所述当前帧的参考状态是否表示参考帧不完整；若是，执行步骤S620-S650，若否，执行步骤S650-S680；
步骤S620、将所述当前帧丢弃，以放弃对当前帧进行解码；
步骤S630、根据所述当前帧在分层预测编码结构HPP中所处位置，确定以所述当前帧为参考帧的目标帧；
步骤S640、将所述目标帧的参考状态标记为，参考帧不完整；
步骤S650、向视频编码端发送I帧请求，以请求所述视频编码端立即发送下一I帧；
具体地，由于HPP中最低时间层TL0的帧不可解码，导致参考结构断裂，当前I帧间隔里后面的帧由于失去参考帧无法解码，这种极端情况下视频卡顿已经不可避免，为了缩短卡顿时间，可以直接向视频编码端发送I帧请求，以请求所述视频编码端立即发送下一I帧。
通过该处理手段，能够最大可能的减少视频卡顿的时间。
步骤S660、判断当前帧是否可解码，若否，执行步骤S620，若是，执行步骤S670；
具体地，在确定当前帧的参考状态表示参考帧完整时，可以对已缓存的当前帧的视频包的完整性进行检查，并根据检查结果确定所述当前帧是否可解码。
若判断当前帧不可解码，则可以返回执行步骤S620-S650的操作。
步骤S670、对所述当前帧进行解码处理，并判断是否成功解码；若是，执行步骤S680，若否，执行步骤S620；
具体地，若判断未成功解码，则可以执行步骤S620-S640的操作。
步骤S680、对解码处理后的当前帧进行显示。
本实施例中介绍了在当前帧为处于HPP中最低时间层的P帧时的视频数据处理流程。相比于上述各实施例，在确定所述当前帧的参考状态表示所述参考帧不完整，或，确定所述当前帧不可解码，或，确定所述当前帧解码不成功时，增加了向视频编码端发送I帧请求，以请求所述视频编码端立即发送下一I帧的操作，通过这种处理方式，最大限度的减少了视频卡顿的时间。
参见图10，图10为本申请实施例从解码端公开的又一种视频数据处理方法流程图。
如图10所示，该方法包括：
步骤S700、在确定收到当前帧的最后一个视频包时，判断当前帧是否为I帧；若是，执行步骤S710-S760，若否，执行步骤S770-S800；
具体地，如果当前帧为I帧，则当前帧无参考帧，可以执行步骤S710，判断其是否可解码。如果当前帧不是I帧，则当前帧为P帧，可以执行步骤S770，获取其参考状态。
步骤S710、判断当前帧是否可解码，若否，执行步骤S720-S740，若是，执行步骤S750；
具体地，对已缓存的当前帧的视频包的完整性进行检查，并根据检查结果确定所述当前帧是否可解码。
详细检查过程可以参照上文相关介绍，此处不再赘述。
步骤S720、将所述当前帧与下一I帧间的各帧的参考状态标记为，参考帧不完整；
具体地，如果判断当前I帧不可解码，则意味着参考结构断裂，当前I帧与下一I帧间的各P帧均无法成功解码，因此将当前帧与下一I帧间的各帧的参考状态标记为，参考帧不完整。
步骤S730、将所述当前帧丢弃，以放弃对当前帧进行解码；
步骤S740、向视频编码端发送I帧请求，以请求所述视频编码端立即发送下一I帧；
具体地，由于I帧不可解码，导致参考结构断裂，当前I帧间隔里后面的帧由于失去参考帧无法解码，这种极端情况下视频卡顿已经不可避免，为了缩短卡顿时间，可以直接向视频编码端发送I帧请求，以请求所述视频编码端立即发送下一I帧。
通过该处理手段，能够最大可能的减少视频卡顿的时间。
步骤S750、对所述当前帧进行解码处理，判断解码是否成功，若成功，执行步骤S760，若不成功，执行步骤S720-S740；
具体地，在步骤S710判断可解码的情况下，对当前帧进行解码处理，并根据解码结果判断解码是否成功。
步骤S760、对解码处理后的当前帧进行显示；
步骤S770、获取所述当前帧的参考状态，并判断参考状态是否表示参考帧不完整，若是，执行步骤S780；
具体地，在步骤S700判断当前帧不是I帧时，代表当前帧存在参考帧。本步骤中获取当前帧的参考状态。其中，所述参考状态用于表示当前帧的参考帧是否完整。
步骤S780、将所述当前帧丢弃，以放弃对当前帧进行解码；
步骤S790、根据所述当前帧在分层预测编码结构HPP中所处位置，确定以所述当前帧为参考帧的目标帧；
步骤S800、将所述目标帧的参考状态标记为，参考帧不完整。
相比于上述各实施例，本实施例中增加了对当前帧为I帧或P帧的判断，以及在判断当前帧为I帧时的执行流程，也即，直接判断其是否可解码，以及解码是否成功，在判断不可解码或解码不成功时，将当前帧与下一I帧间各帧的参考状态标记为，参考帧不完整，将当前帧丢弃，并向视频编码端发送I帧请求，以请求立即发送下一I帧，最大可能的减少视频卡顿的时间。
下面对本申请实施例提供的视频数据处理装置进行描述，下文描述的视频数据处理装置与上文描述的视频数据处理方法可相互对应参照。
参见图11，图11为本申请实施例从编码端角度公开的一种视频数据处理装置结构示意图。
如图11所示，该装置包括：
原始视频数据获取单元11，用于获取原始视频数据；
HPP编码单元12，用于按照分层预测编码结构HPP，对所述原始视频数据进行编码，得到HPP码流；
冗余编码单元13，用于按照前向纠错编码FEC，对所述HPP码流进行冗余编码，其中，所述HPP码流中各帧的冗余包数量按照各帧在HPP中所处时间层由低至高的顺序递减；
帧发送单元14，用于将冗余编码后的HPP码流中的各帧，顺序发送给解码端。
本申请实施例提供的视频数据处理装置，编码端按照分层预测编码结构HPP，对获取的原始视频数据进行编码，得到HPP码流，按照前向纠错编码FEC，对HPP码流进行冗余编码，其中，HPP码流中各帧的冗余包数量按照各帧在HPP中所处时间层由低至高的顺序递减，最后将冗余编码后的HPP码流中的各帧，顺序发送给解码端。由此可见，本申请将HPP编码结构与FEC冗余编码相结合，对按照HPP编码结构编码后的HPP码流添加冗余包，并且在添加冗余包时按照HPP中所处时间层越低的帧，其添加的冗余包数量越多，对重要度高的处于低时间层的帧重点进行保护。通过这种方式，即便数据传输过程出现部分丢包，解码端也可以通过冗余包进行丢包恢复，大大提高了解码成功率，减少视频卡顿时间。
可选的，本申请的装置还可以包括：
冗余调整单元，用于在收到所述解码端发送的冗余等级调整请求时，按照设定调整策略，动态调整所述HPP码流中后续发送帧的冗余包数量；
其中，所述冗余等级调整请求为所述解码端在对接收的当前帧的视频包进行完整性检查，并根据检查结果确定当前帧不能解码时，由解码端生成的请求。
可选的，所述冗余调整单元可以包括：
冗余调整子单元，用于对所述HPP码流中处于设定时间层的各帧调整冗余包数量；或，按照各时间层对应的冗余包调整比例，对所述HPP码流中处于各时间层的各帧调整冗余包数量。
可选的，本申请的装置还可以包括：
I帧查找单元，用于在收到所述解码端发送的I帧请求时，在所述HPP码流中未发送的帧中查找最近一个帧内编码帧I帧；
I帧发送单元，用于向所述解码端发送查找到的最近一个I帧，并顺序发送该I帧之后的帧。
参见图12，图12为本申请实施例从解码端角度公开的一种视频数据处理装置结构示意图。
如图12所示，该装置包括：
当前帧接收单元21，用于接收编码端发送的当前帧，所述当前帧为编码端按照分层预测编码结构HPP进行编码后的HPP码流中的帧；
参考帧判断单元22，用于在确定所述当前帧为帧间编码帧P帧时，判断当前帧的参考帧是否完整；
第一帧丢弃单元23，用于在所述参考帧判断单元判断当前帧的参考帧不完整时，将所述当前帧丢弃，以放弃对当前帧进行解码；
目标帧确定单元24，用于根据所述当前帧在分层预测编码结构HPP中所处位置，确定以所述当前帧为参考帧的目标帧；
第一参考状态标记单元25，用于将所述目标帧的参考状态标记为，参考帧不完整。
本申请实施例提供的视频数据处理装置，编码端按照分层预测编码结构HPP，对获取的原始视频数据进行编码，得到HPP码流，按照前向纠错编码FEC，对HPP码流进行冗余编码，其中，HPP码流中各帧的冗余包数量按照各帧在HPP中所处时间层由低至高的顺序递减，最后将冗余编码后的HPP码流中的各帧，顺序发送给解码端。由此可见，本申请将HPP编码结构与FEC冗余编码相结合，对按照HPP编码结构编码后的HPP码流添加冗余包，并且在添加冗余包时按照HPP中所处时间层越低的帧，其添加的冗余包数量越多，对重要度高的处于低时间层的帧重点进行保护。通过这种方式，即便数据传输过程出现部分丢包，解码端也可以通过冗余包进行丢包恢复，大大提高了解码成功率，减少视频卡顿时间。
可选的，所述参考帧判断单元可以包括：
参考状态获取单元，用于获取所述当前帧的参考状态，所述参考状态用于表示当前帧的参考帧是否完整；
参考状态判断单元，用于根据所述当前帧的参考状态确定所述当前帧的参考帧是否完整。
可选的，所述当前帧接收单元具体可以用于，确定接收到当前帧的最后一个视频包。
基于此，该装置还可以包括：
第一视频包检查单元，用于若所述当前帧的参考状态表示所述参考帧完整，对已缓存的当前帧的视频包的完整性进行检查，并根据检查结果确定所述当前帧是否可解码；若确定所述当前帧不可解码，执行所述第一帧丢弃单元。
进一步地，本申请的装置还可以包括：
第一解码处理单元，用于若确定所述当前帧可解码，对所述当前帧进行解码处理；若解码成功，执行第一显示单元，若解码不成功，执行所述第一帧丢弃单元；
第一显示单元，对解码后的当前帧进行显示。
可选的，若所述当前帧处于所述HPP中最低时间层，则本申请的装置还可以包括：
第一I帧请求单元，用于在确定所述当前帧的参考状态表示所述参考帧不完整，或，确定所述当前帧不可解码，或，确定所述当前帧解码不成功时，向视频编码端发送I帧请求，以请求所述视频编码端立即发送下一I帧。
可选的，本申请的装置还可以包括：
冗余等级调整发送单元，用于在根据检查结果确定所述当前帧不可解码时，向视频编码端发送冗余等级调整请求，以请求所述视频编码端提高发送的冗余包的数量。
可选的，本申请的装置还可以包括：
第二视频包检查单元，用于在确定收到当前帧的最后一个视频包，且所述当前帧为帧内编码帧I帧时，对已缓存的当前帧的视频包的完整性进行检查，并根据检查结果确定所述当前帧是否可解码；
第二参考状态标记单元，用于若确定所述当前帧不可解码，将所述当前帧与下一I帧间的各帧的参考状态标记为，参考帧不完整；
第二帧丢弃单元，用于将所述当前帧丢弃，以放弃对当前帧进行解码；
第二I帧请求单元，用于向视频编码端发送I帧请求，以请求所述视频编码端立即发送下一I帧。
可选的，本申请的装置还可以包括：
第二解码处理单元，用于若所述当前帧为I帧且确定其可解码时，对所述当前帧进行解码处理；若解码成功，执行第二显示单元，若解码不成功，执行所述第二参考状态标记单元；
第二显示单元，用于对解码后的当前帧进行显示。
可选的，上述第一视频包检查单元可以包括：
组帧及恢复判断单元，用于若所述当前帧的参考状态表示所述参考帧完整，根据所述当前帧的视频包的包头信息，判断已缓存的当前帧的视频包能否完整组帧，以及在确定不能完整组帧时丢包能否恢复；
解码判断单元，用于若判断能够完整组帧，或判断不能完整组帧时丢包能够恢复，则确定所述当前帧可解码。
对于编码端和解码端的硬件结构，参照图13，图13为本申请实施例提供的一种终端硬件结构示意图。
如图13所示，终端可以包括：
处理器1，通信接口2，存储器3，通信总线4，和显示屏5；
其中处理器1、通信接口2、存储器3和显示屏5通过通信总线4完成相互间的通信；
可选的，通信接口2可以为通信模块的接口，如GSM模块的接口；
处理器1，用于执行程序；
存储器3，用于存放程序；
程序可以包括程序代码，所述程序代码包括处理器的操作指令。
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
其中，程序具体可以用于：
获取原始视频数据；
按照分层预测编码结构HPP，对所述原始视频数据进行编码，得到HPP码流；
按照前向纠错编码FEC，对所述HPP码流进行冗余编码，其中，所述HPP码流中各帧的冗余包数量按照各帧在HPP中所处时间层由低至高的顺序递减；
将冗余编码后的HPP码流中的各帧，顺序发送给解码端。
或者，
接收编码端发送的当前帧，所述当前帧为编码端按照分层预测编码结构HPP进行编码后的HPP码流中的帧；
在确定所述当前帧为帧间编码帧P帧时，判断当前帧的参考帧是否完整；
若所述当前帧的参考帧不完整，将所述当前帧丢弃，以放弃对当前帧进行解码；
根据所述当前帧在分层预测编码结构HPP中所处位置，确定以所述当前帧为参考帧的目标帧；
将所述目标帧的参考状态标记为，参考帧不完整。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (26)

1.一种视频数据处理方法，其特征在于，应用于编码端，该方法包括：
获取原始视频数据；
按照分层预测编码结构HPP，对所述原始视频数据进行编码，得到HPP码流；
按照前向纠错编码FEC，对所述HPP码流进行冗余编码，其中，所述HPP码流中各帧的冗余包数量按照各帧在HPP中所处时间层由低至高的顺序递减；
将冗余编码后的HPP码流中的各帧，顺序发送给解码端。
2.根据权利要求1所述的方法，其特征在于，还包括：
在收到所述解码端发送的冗余等级调整请求时，按照设定调整策略，动态调整所述HPP码流中后续发送帧的冗余包数量；
其中，所述冗余等级调整请求为所述解码端在对接收的当前帧的视频包进行完整性检查，并根据检查结果确定当前帧不能解码时，由解码端生成的请求。
3.根据权利要求2所述的方法，其特征在于，所述按照设定调整策略，动态调整所述HPP码流中后续发送帧的冗余包数量，包括：
对所述HPP码流中处于设定时间层的各帧调整冗余包数量；
或，
按照各时间层对应的冗余包调整比例，对所述HPP码流中处于各时间层的各帧调整冗余包数量。
4.根据权利要求1所述的方法，其特征在于，还包括：
在收到所述解码端发送的I帧请求时，在所述HPP码流中未发送的帧中查找最近一个帧内编码帧I帧；
向所述解码端发送查找到的最近一个I帧，并顺序发送该I帧之后的帧。
5.一种视频数据处理方法，其特征在于，应用于解码端，该方法包括：
接收编码端发送的当前帧，所述当前帧为编码端按照分层预测编码结构HPP进行编码后的HPP码流中的帧；
在确定所述当前帧为帧间编码帧P帧时，判断当前帧的参考帧是否完整；
若所述当前帧的参考帧不完整，将所述当前帧丢弃，以放弃对当前帧进行解码；
根据所述当前帧在分层预测编码结构HPP中所处位置，确定以所述当前帧为参考帧的目标帧；
将所述目标帧的参考状态标记为，参考帧不完整。
6.根据权利要求5所述的方法，其特征在于，所述判断当前帧的参考帧是否完整，包括：
获取所述当前帧的参考状态，所述参考状态用于表示当前帧的参考帧是否完整；
根据所述当前帧的参考状态确定所述当前帧的参考帧是否完整。
7.根据权利要求6所述的方法，其特征在于，所述接收编码端发送的当前帧，包括：
确定接收到当前帧的最后一个视频包；
该方法还包括：
若所述当前帧的参考状态表示所述参考帧完整，对已缓存的当前帧的视频包的完整性进行检查，并根据检查结果确定所述当前帧是否可解码；
若确定所述当前帧不可解码，执行所述将所述当前帧丢弃，以放弃对当前帧进行解码的操作。
8.根据权利要求7所述的方法，其特征在于，还包括：
若确定所述当前帧可解码，对所述当前帧进行解码处理；
若解码成功，进行显示；
若解码不成功，执行所述将所述当前帧丢弃，以放弃对当前帧进行解码的操作。
9.根据权利要求8所述的方法，其特征在于，所述当前帧处于所述HPP中最低时间层，该方法还包括：
在确定所述当前帧的参考状态表示所述参考帧不完整，或，确定所述当前帧不可解码，或，确定所述当前帧解码不成功时，向视频编码端发送I帧请求，以请求所述视频编码端立即发送下一I帧。
10.根据权利要求7所述的方法，其特征在于，还包括：
在根据检查结果确定所述当前帧不可解码时，向视频编码端发送冗余等级调整请求，以请求所述视频编码端提高发送的冗余包的数量。
11.根据权利要求6所述的方法，其特征在于，还包括：
在确定收到当前帧的最后一个视频包，且所述当前帧为帧内编码帧I帧时，对已缓存的当前帧的视频包的完整性进行检查，并根据检查结果确定所述当前帧是否可解码；
若确定所述当前帧不可解码，将所述当前帧与下一I帧间的各帧的参考状态标记为，参考帧不完整；
将所述当前帧丢弃，以放弃对当前帧进行解码；
向视频编码端发送I帧请求，以请求所述视频编码端立即发送下一I帧。
12.根据权利要求11所述的方法，其特征在于，还包括：
若所述当前帧为I帧且确定其可解码时，对所述当前帧进行解码处理；
若解码成功，进行显示；
若解码不成功，执行所述将所述当前帧与下一I帧间的各帧的参考状态标记为，参考帧不完整的操作。
13.根据权利要求7所述的方法，其特征在于，所述对已缓存的当前帧的视频包的完整性进行检查，并根据检查结果确定所述当前帧是否可解码，包括：
根据所述当前帧的视频包的包头信息，判断已缓存的当前帧的视频包能否完整组帧，以及在确定不能完整组帧时丢包能否恢复；
若判断能够完整组帧，或判断不能完整组帧时丢包能够恢复，则确定所述当前帧可解码。
14.一种视频数据处理装置，其特征在于，应用于编码端，该装置包括：
原始视频数据获取单元，用于获取原始视频数据；
HPP编码单元，用于按照分层预测编码结构HPP，对所述原始视频数据进行编码，得到HPP码流；
冗余编码单元，用于按照前向纠错编码FEC，对所述HPP码流进行冗余编码，其中，所述HPP码流中各帧的冗余包数量按照各帧在HPP中所处时间层由低至高的顺序递减；
帧发送单元，用于将冗余编码后的HPP码流中的各帧，顺序发送给解码端。
15.根据权利要求14所述的装置，其特征在于，还包括：
冗余调整单元，用于在收到所述解码端发送的冗余等级调整请求时，按照设定调整策略，动态调整所述HPP码流中后续发送帧的冗余包数量；
其中，所述冗余等级调整请求为所述解码端在对接收的当前帧的视频包进行完整性检查，并根据检查结果确定当前帧不能解码时，由解码端生成的请求。
16.根据权利要求15所述的装置，其特征在于，所述冗余调整单元包括：
冗余调整子单元，用于对所述HPP码流中处于设定时间层的各帧调整冗余包数量；或，按照各时间层对应的冗余包调整比例，对所述HPP码流中处于各时间层的各帧调整冗余包数量。
17.根据权利要求14所述的装置，其特征在于，还包括：
I帧查找单元，用于在收到所述解码端发送的I帧请求时，在所述HPP码流中未发送的帧中查找最近一个帧内编码帧I帧；
I帧发送单元，用于向所述解码端发送查找到的最近一个I帧，并顺序发送该I帧之后的帧。
18.一种视频数据处理装置，其特征在于，应用于解码端，该装置包括：
当前帧接收单元，用于接收编码端发送的当前帧，所述当前帧为编码端按照分层预测编码结构HPP进行编码后的HPP码流中的帧；
参考帧判断单元，用于在确定所述当前帧为帧间编码帧P帧时，判断当前帧的参考帧是否完整；
第一帧丢弃单元，用于在所述参考帧判断单元判断当前帧的参考帧不完整时，将所述当前帧丢弃，以放弃对当前帧进行解码；
目标帧确定单元，用于根据所述当前帧在分层预测编码结构HPP中所处位置，确定以所述当前帧为参考帧的目标帧；
第一参考状态标记单元，用于将所述目标帧的参考状态标记为，参考帧不完整。
19.根据权利要求18所述的装置，其特征在于，所述参考帧判断单元包括：
参考状态获取单元，用于获取所述当前帧的参考状态，所述参考状态用于表示当前帧的参考帧是否完整；
参考状态判断单元，用于根据所述当前帧的参考状态确定所述当前帧的参考帧是否完整。
20.根据权利要求19所述的装置，其特征在于，所述当前帧接收单元具体用于，确定接收到当前帧的最后一个视频包；
该装置还包括：
第一视频包检查单元，用于若所述当前帧的参考状态表示所述参考帧完整，对已缓存的当前帧的视频包的完整性进行检查，并根据检查结果确定所述当前帧是否可解码；若确定所述当前帧不可解码，执行所述第一帧丢弃单元。
21.根据权利要求20所述的装置，其特征在于，还包括：
第一解码处理单元，用于若确定所述当前帧可解码，对所述当前帧进行解码处理；若解码成功，执行第一显示单元，若解码不成功，执行所述第一帧丢弃单元；
第一显示单元，对解码后的当前帧进行显示。
22.根据权利要求21所述的装置，其特征在于，所述当前帧处于所述HPP中最低时间层，该装置还包括：
第一I帧请求单元，用于在确定所述当前帧的参考状态表示所述参考帧不完整，或，确定所述当前帧不可解码，或，确定所述当前帧解码不成功时，向视频编码端发送I帧请求，以请求所述视频编码端立即发送下一I帧。
23.根据权利要求20所述的装置，其特征在于，还包括：
冗余等级调整发送单元，用于在根据检查结果确定所述当前帧不可解码时，向视频编码端发送冗余等级调整请求，以请求所述视频编码端提高发送的冗余包的数量。
24.根据权利要求19所述的装置，其特征在于，还包括：
第二视频包检查单元，用于在确定收到当前帧的最后一个视频包，且所述当前帧为帧内编码帧I帧时，对已缓存的当前帧的视频包的完整性进行检查，并根据检查结果确定所述当前帧是否可解码；
第二参考状态标记单元，用于若确定所述当前帧不可解码，将所述当前帧与下一I帧间的各帧的参考状态标记为，参考帧不完整；
第二帧丢弃单元，用于将所述当前帧丢弃，以放弃对当前帧进行解码；
第二I帧请求单元，用于向视频编码端发送I帧请求，以请求所述视频编码端立即发送下一I帧。
25.根据权利要求24所述的装置，其特征在于，还包括：
第二解码处理单元，用于若所述当前帧为I帧且确定其可解码时，对所述当前帧进行解码处理；若解码成功，执行第二显示单元，若解码不成功，执行所述第二参考状态标记单元；
第二显示单元，用于对解码后的当前帧进行显示。
26.根据权利要求20所述的装置，其特征在于，所述第一视频包检查单元，包括：
组帧及恢复判断单元，用于若所述当前帧的参考状态表示所述参考帧完整，根据所述当前帧的视频包的包头信息，判断已缓存的当前帧的视频包能否完整组帧，以及在确定不能完整组帧时丢包能否恢复；
解码判断单元，用于若判断能够完整组帧，或判断不能完整组帧时丢包能够恢复，则确定所述当前帧可解码。
CN201610531620.7A 2016-07-07 2016-07-07 一种视频数据处理方法及装置 Active CN107592540B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610531620.7A CN107592540B (zh) 2016-07-07 2016-07-07 一种视频数据处理方法及装置
EP17823673.3A EP3484155B1 (en) 2016-07-07 2017-07-07 Method and device for processing video data
PCT/CN2017/092178 WO2018006861A1 (zh) 2016-07-07 2017-07-07 一种视频数据处理方法及装置
US16/204,546 US10652580B2 (en) 2016-07-07 2018-11-29 Video data processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610531620.7A CN107592540B (zh) 2016-07-07 2016-07-07 一种视频数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN107592540A true CN107592540A (zh) 2018-01-16
CN107592540B CN107592540B (zh) 2020-02-11

Family

ID=60912363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610531620.7A Active CN107592540B (zh) 2016-07-07 2016-07-07 一种视频数据处理方法及装置

Country Status (4)

Country Link
US (1) US10652580B2 (zh)
EP (1) EP3484155B1 (zh)
CN (1) CN107592540B (zh)
WO (1) WO2018006861A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149491A (zh) * 2018-02-11 2019-08-20 腾讯科技（深圳）有限公司 视频编码方法、视频解码方法、终端及存储介质
CN111277864A (zh) * 2020-02-18 2020-06-12 北京达佳互联信息技术有限公司 直播数据的编码方法、装置、流转系统及电子设备
CN111428560A (zh) * 2020-02-20 2020-07-17 重庆创通联达智能技术有限公司 视频图像处理方法、装置、电子设备及存储介质
CN112820306A (zh) * 2020-02-20 2021-05-18 腾讯科技（深圳）有限公司 语音传输方法、系统、装置、计算机可读存储介质和设备
CN113259673A (zh) * 2021-07-05 2021-08-13 腾讯科技（深圳）有限公司 伸缩性视频编码方法、装置、设备及存储介质
CN114079534A (zh) * 2020-08-20 2022-02-22 腾讯科技（深圳）有限公司 编码、解码方法、装置、介质和电子设备
CN114079535A (zh) * 2020-08-20 2022-02-22 腾讯科技（深圳）有限公司 转码方法、装置、介质和电子设备
CN114900716A (zh) * 2022-05-11 2022-08-12 中国电信股份有限公司 云视频数据的传输方法、云平台、云终端及介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862440A (zh) * 2019-02-22 2019-06-07 深圳市凯迪仕智能科技有限公司 音视频传输前向纠错方法、装置、计算机设备及存储介质
JP7269112B2 (ja) * 2019-06-26 2023-05-08 日本放送協会 受信装置及びプログラム
CN112583524B (zh) * 2019-09-30 2022-08-05 杭州海康威视数字技术股份有限公司 数据包恢复方法及装置
CN111741276B (zh) * 2020-08-28 2020-12-04 浙江大华技术股份有限公司 一种视频设备发送关键帧的方法、视频设备和存储装置
CN114554198B (zh) * 2022-04-27 2022-08-26 广州番禺职业技术学院 基于纠删码的视频关键帧冗余传输方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101668158A (zh) * 2008-09-05 2010-03-10 中兴通讯股份有限公司 视频切换处理方法和多点控制单元
CN101729910A (zh) * 2008-10-15 2010-06-09 国家广播电影电视总局广播科学研究院 一种基于可分级比特流的数据传输方法和装置
CN103139559A (zh) * 2011-11-30 2013-06-05 中国电信股份有限公司 多媒体信号传输方法和装置
CN103260033A (zh) * 2013-04-26 2013-08-21 西安交通大学 一种联合端系统和中继节点网络编码的鲁棒视频传输方法
US20130346831A1 (en) * 2012-06-21 2013-12-26 Industrial Cooperation Foundation Halla University Method of generating forward error correction packet and server and client apparatus employing the same
CN104125464A (zh) * 2005-12-08 2014-10-29 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
CN104620525A (zh) * 2012-07-09 2015-05-13 瑞典爱立信有限公司 用于在广播递送期间分发信息的方法和装置
CN104641638A (zh) * 2012-06-28 2015-05-20 阿克西斯股份公司 使用虚拟帧内帧对视频内容进行编码的系统和方法
US20150244650A1 (en) * 2014-02-21 2015-08-27 Kyeong Ho Yang Efficient packet processing at video receiver in multimedia communications over packet networks
US20160142746A1 (en) * 2014-11-14 2016-05-19 Thales Avionics, Inc. Method of encrypting, streaming, and displaying video content using selective encryption

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1130921B1 (en) * 2000-03-02 2005-01-12 Matsushita Electric Industrial Co., Ltd. Data transmission in non-reliable networks
US7957307B2 (en) * 2007-03-14 2011-06-07 Microsoft Corporation Reducing effects of packet loss in video transmissions
US9143731B2 (en) * 2008-01-02 2015-09-22 Broadcom Corporation Mobile video device for use with layered video coding and methods for use therewith
US8745677B2 (en) * 2009-06-12 2014-06-03 Cygnus Broadband, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
US20110299591A1 (en) * 2009-09-21 2011-12-08 Mediatek Inc. Video processing apparatus and method
US8621313B2 (en) * 2010-04-06 2013-12-31 Canon Kabushiki Kaisha Method and a device for adapting error protection in a communication network, and a method and device for detecting between two states of a communication network corresponding to different losses of data
CA2824027C (en) * 2011-01-14 2017-11-07 Vidyo, Inc. High layer syntax for temporal scalability
US9591318B2 (en) * 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
TW201415893A (zh) * 2012-06-29 2014-04-16 Vid Scale Inc 以預測資訊為基礎之訊框優先
WO2014042460A1 (ko) * 2012-09-13 2014-03-20 엘지전자 주식회사 영상 부호화/복호화 방법 및 장치
KR101812218B1 (ko) * 2013-01-18 2018-01-30 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 데이터스트림들 중에서 동기화된 시작 심벌 식별자들을 갖는 적어도 두 개의 데이터스트림으로부터의 심벌들을 갖는 소스 블록들을 사용하는 순방향 오류 정정
JP6463041B2 (ja) * 2014-08-28 2019-01-30 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10506245B2 (en) * 2015-11-18 2019-12-10 Cybrook Inc. Video data processing using a ring buffer

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104125464A (zh) * 2005-12-08 2014-10-29 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
CN101668158A (zh) * 2008-09-05 2010-03-10 中兴通讯股份有限公司 视频切换处理方法和多点控制单元
CN101729910A (zh) * 2008-10-15 2010-06-09 国家广播电影电视总局广播科学研究院 一种基于可分级比特流的数据传输方法和装置
CN103139559A (zh) * 2011-11-30 2013-06-05 中国电信股份有限公司 多媒体信号传输方法和装置
US20130346831A1 (en) * 2012-06-21 2013-12-26 Industrial Cooperation Foundation Halla University Method of generating forward error correction packet and server and client apparatus employing the same
CN104641638A (zh) * 2012-06-28 2015-05-20 阿克西斯股份公司 使用虚拟帧内帧对视频内容进行编码的系统和方法
CN104620525A (zh) * 2012-07-09 2015-05-13 瑞典爱立信有限公司 用于在广播递送期间分发信息的方法和装置
CN103260033A (zh) * 2013-04-26 2013-08-21 西安交通大学 一种联合端系统和中继节点网络编码的鲁棒视频传输方法
US20150244650A1 (en) * 2014-02-21 2015-08-27 Kyeong Ho Yang Efficient packet processing at video receiver in multimedia communications over packet networks
US20160142746A1 (en) * 2014-11-14 2016-05-19 Thales Avionics, Inc. Method of encrypting, streaming, and displaying video content using selective encryption

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149491B (zh) * 2018-02-11 2021-09-28 腾讯科技（深圳）有限公司 视频编码方法、视频解码方法、终端及存储介质
CN110149491A (zh) * 2018-02-11 2019-08-20 腾讯科技（深圳）有限公司 视频编码方法、视频解码方法、终端及存储介质
CN111277864A (zh) * 2020-02-18 2020-06-12 北京达佳互联信息技术有限公司 直播数据的编码方法、装置、流转系统及电子设备
US11908481B2 (en) 2020-02-18 2024-02-20 Beijing Dajia Internet Information Technology Co., Ltd. Method for encoding live-streaming data and encoding device
CN111277864B (zh) * 2020-02-18 2021-09-10 北京达佳互联信息技术有限公司 直播数据的编码方法、装置、流转系统及电子设备
CN112820306B (zh) * 2020-02-20 2023-08-15 腾讯科技（深圳）有限公司 语音传输方法、系统、装置、计算机可读存储介质和设备
CN111428560A (zh) * 2020-02-20 2020-07-17 重庆创通联达智能技术有限公司 视频图像处理方法、装置、电子设备及存储介质
CN112820306A (zh) * 2020-02-20 2021-05-18 腾讯科技（深圳）有限公司 语音传输方法、系统、装置、计算机可读存储介质和设备
CN111428560B (zh) * 2020-02-20 2023-09-12 重庆创通联达智能技术有限公司 视频图像处理方法、装置、电子设备及存储介质
CN114079534A (zh) * 2020-08-20 2022-02-22 腾讯科技（深圳）有限公司 编码、解码方法、装置、介质和电子设备
CN114079535B (zh) * 2020-08-20 2023-02-17 腾讯科技（深圳）有限公司 转码方法、装置、介质和电子设备
CN114079535A (zh) * 2020-08-20 2022-02-22 腾讯科技（深圳）有限公司 转码方法、装置、介质和电子设备
US11831430B2 (en) 2020-08-20 2023-11-28 Tencent Technology (Shenzhen) Company Limited Methods and apparatuses for encoding and decoding signal frame
US11855775B2 (en) 2020-08-20 2023-12-26 Tencent Technology (Shenzhen) Company Limited Transcoding method and apparatus, medium, and electronic device
CN113259673B (zh) * 2021-07-05 2021-10-15 腾讯科技（深圳）有限公司 伸缩性视频编码方法、装置、设备及存储介质
CN113259673A (zh) * 2021-07-05 2021-08-13 腾讯科技（深圳）有限公司 伸缩性视频编码方法、装置、设备及存储介质
CN114900716A (zh) * 2022-05-11 2022-08-12 中国电信股份有限公司 云视频数据的传输方法、云平台、云终端及介质
CN114900716B (zh) * 2022-05-11 2023-09-26 中国电信股份有限公司 云视频数据的传输方法、云平台、云终端及介质

Also Published As

Publication number Publication date
EP3484155A1 (en) 2019-05-15
US20190098339A1 (en) 2019-03-28
CN107592540B (zh) 2020-02-11
WO2018006861A1 (zh) 2018-01-11
EP3484155A4 (en) 2020-04-15
US10652580B2 (en) 2020-05-12
EP3484155B1 (en) 2023-10-18

Similar Documents

Publication Publication Date Title
CN107592540A (zh) 一种视频数据处理方法及装置
JP5847577B2 (ja) より低いレベルのパケット構造から導かれる記号識別子を用いた放送チャネル上の高品質ストリーム保護
CN101155311B (zh) 一种视频通信中的视频码流错误检测和处理方法
CN102075312B (zh) 基于视频服务质量的混合选择重传方法
Aramvith et al. Wireless video transport using conditional retransmission and low-delay interleaving
CN1218493C (zh) 编码数据流的发射机和发射方法以及接收机和接收方法
US8971415B2 (en) Video communication system, device and method based on feedback reference frames
US5844918A (en) Digital transmission/receiving method, digital communications method, and data receiving apparatus
CN107196746A (zh) 实时通信中的抗丢包方法、装置和系统
JP4321284B2 (ja) ストリーミングデータ送信装置、および情報配信システム
US7003710B2 (en) Communications method, communications apparatus and communications system using same communications apparatus
CN100512446C (zh) 一种基于自适应时域亚采样的多描述视频编解码方法
CN101562512B (zh) 基于fec的选择重传系统及其重传方法
CN107231328A (zh) 实时视频传输方法、装置、设备及系统
JP2001501789A (ja) Ａｒｑシステムの誤り検出方式
US7505465B2 (en) Packet transmission method with packet retransmission requests and a control mechanism relating to the transmission of such requests
CN103686221A (zh) 一种适应公用无线网络实现音视频流畅播出的方法
CN105681342A (zh) 一种基于h264的多路视频会议系统的抗误码方法及系统
CN1178517C (zh) 发送和恢复视频信号的方法和装置
CN101272339A (zh) 一种数据帧收发的方法、系统、终端和服务器
WO2003061179A1 (en) Unequal error protection using forward error correction based on reed-solomon codes
CN111935550A (zh) 一种基于时效性的数据包调度方法、装置及电子设备
US9191696B2 (en) Reception device and program for reception device
CN108429921A (zh) 一种视频编解码方法及装置
WO2002093820A1 (fr) Procede de communication, dispositif de transmission, dispositif de reception, et systeme de communication equipe de ces dispositifs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant