CN104410864B - Hevc中基于残差能量的错误隐藏方法 - Google Patents

Hevc中基于残差能量的错误隐藏方法 Download PDF

Info

Publication number
CN104410864B
CN104410864B CN201410623381.9A CN201410623381A CN104410864B CN 104410864 B CN104410864 B CN 104410864B CN 201410623381 A CN201410623381 A CN 201410623381A CN 104410864 B CN104410864 B CN 104410864B
Authority
CN
China
Prior art keywords
vector
piece
uncorrelated
reference frame
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410623381.9A
Other languages
English (en)
Other versions
CN104410864A (zh
Inventor
高文华
张义云
王海东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Science and Technology
Original Assignee
Taiyuan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Science and Technology filed Critical Taiyuan University of Science and Technology
Priority to CN201410623381.9A priority Critical patent/CN104410864B/zh
Publication of CN104410864A publication Critical patent/CN104410864A/zh
Application granted granted Critical
Publication of CN104410864B publication Critical patent/CN104410864B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种HEVC中基于残差能量的错误隐藏方法，采用矢量外推法获得运动补偿矢量对受损的解码图像进行恢复，属于图像解码技术领域，其特征是包括下列步骤：根据参考帧残差信息计算4×4块及8×8块残差能量大小，与设定阈值进行比较，判断该块是否具有相关性；对不相关块进行融合后采用矢量外推法获得运动补偿矢量，在外推矢量及运动补偿矢量计算时利用修正系数λ得到最佳运动矢量，然后根据得到的最佳运动矢量进行图像恢复。其有益效果是能够得到较为精确的运动补偿矢量，对受损解码图像的恢复性能有明显提高，间接提高了带宽利用率，节约了时间，提高了工作效率。

Description

HEVC中基于残差能量的错误隐藏方法
技术领域
本发明属于视频传输解码领域，具体涉及一种HEVC中基于残差能量的错误隐藏方法。
背景技术
目前，新一代视频编码技术标准HEVC（High Efficiency Video Coding）已由ITU-T的视频编码专家组联合项目和ISO/IEC运动图像专家组共同成立的工作小组JCT-VC提出，作为H.264/AVC的继任者，HEVC旨在减少传输和存储成本而不降低视频质量。在网络传输过程中，由于网络传输的延迟、拥塞、带宽限制等多种原因导致视频数据包不可避免的出现丢包现象。HEVC的最大编码块尺寸相较于H.264提高了16倍，数据包丢失将涉及到大面积的恢复误差，为了提高带宽利用率可采用错误隐藏方法，在不进行重传的情况下对丢失信息进行恢复，然而现有的错误隐藏方式在HEVC的应用性能却有待提高。此外，由于在传输过程中，为防止关键帧I帧丢失会添加更多保护，所以错误隐藏算法一般基于帧内编码的P帧进行错误隐藏。
发明内容
本发明所要解决的技术问题是：在网络传输过程中，由于网络传输的延迟、拥塞、带宽限制等多种原因导致视频数据包的丢包现象，目前所使用的错误隐藏方式在HEVC中应用性能欠佳，而重新传输虽可以保证视频质量，却又存在花费时间长，工作量增大的问题。
针对所要解决的技术问题本发明所采取的技术方案是：采用一种新的错误隐藏方式，对存在丢包的P帧进行恢复以提高解码视频的恢复质量，本发明算法主要适用于需要实时播放的视频流解码算法中，对丢包图像帧可进行实时恢复而无需重传丢包数据，具体操作包括如下步骤。
首先，对丢包后的视频流进行解码并检错：若发现当前帧存在丢包时，首先确定解码后的图像丢失位置，然后查找当前帧的参考帧并获取参考帧中与存在丢包帧同一位置的运动矢量信息及残差信息。
其次，将参考帧编码单元Coding Unit, 简称CU，划分为8×8的块，再对每个CU下的预测单元Prediction Unit, 简称PU，进行对称划分。将PU划分为4×4的块后，通过公式1计算每个块的亮度残差能量E1，然后将残差能量E1与阈值Th1进行比较：若残差能量E1小于阈值Th1，将4×4块作为一个相关块；若残差能量E1大于阈值Th1，则认为4×4块为不相关块。
式中，rY代表4×4块中每个像素点的亮度值，i、j代表像素点位置。
对得到的相关块、不相关块进行处理：对于相关块，直接拷贝参考帧同一位置的图像信息，即运动矢量为0；对于不相关块,将相邻的不相关块进行融合，得到尺寸为8×8以内的不相关块，然后对得到的不相关块再次进行融合。通过公式1计算每个不相关块的亮度残差能量E2，然后将残差能量E2与阈值Th2进行比较：若残差能量E2小于阈值Th2，将8×8以内的不相关块作为一个新的相关块；若残差能量E2大于阈值Th2，则认为8×8以内的不相关块作为新的不相关块。此时，对于第二次得到的相关块的运动矢量通过对参考帧同一位置的运动矢量求均值获得，对于不相关块的运动矢量采用矢量外推法来获得。
不相关块进行块融合时，首先对CU划分为16×16的融合范围，每次融合在同一16×16尺寸范围内进行；阈值Th1、Th2的取值采用启发式搜索法获得，即设定初始值及循环步长，通过循环执行解码过程来寻求最优解。
再次，对于第二次融合所得到的不同尺寸的不相关块通过矢量外推法获得运动矢量，其中外推矢量大小等于当前帧内的不相关块在参考帧相应位置的运动矢量求均值。
所述求均值过程是分别对不相关块内的4×4块运动矢量的水平方向矢量MVhor和垂直方向矢量MVver求矢量平均值，然后对所求平均值的运动矢量乘以参数λ。以相邻4个4×4块为例，其矢量均值化处理通过公式2进行。
式中，λ取值的获取方式采用启发式搜索法，即设定初始值及循环步长通过循环执行解码过程来寻求最优解。
最后，根据所获得的运动矢量在参考帧中寻找当前丢失块的匹配块，对匹配块的亮度及色度信息进行直接拷贝。
本发明的有益效果是：在需要实时播放的视频流的解码过程中，对丢包图像帧进行实时恢复而无需重传丢包数据，间接提高了带宽利用率，节约了时间，提高了工作效率；具体操作中利用参考帧残差能量来预测当前丢失帧的块划分模式，并通过残差能量对相似块进行融合以降低块效应，从而提高了恢复性能；在预测当前丢失帧的划分模式后，融合块的运动补偿矢量采用矢量外推法进行获取，使得到的运动补偿矢量更加精确；在矢量计算中采用矢量修正因子λ使得计算得出的运动补偿矢量更接近真值。
附图说明
图1是本发明的系统实施框图；
图2是本发明所采用的矢量外推法示意图；
图3是本发明方案与直接拷贝法对于测试序列SteamLocomotiveTrain恢复质量PSNR对比图；
图中：MV(1)、MV(2)、MV(3)、MV(4)分别表示参考帧中与投影重叠的四个块的运动矢量；w(1)、w(2)、w(3)、w(4)分别表示投影与参考帧的各个重叠块中重叠部分所占的权重值；
f r 表示参考帧；
f c 表示当前存在丢包帧；
坐标轴x表示丢包率；
坐标轴y表示峰值信噪比PSNR；
曲线A表示本发明所提出方法的效果曲线；
曲线B表示HM中的基本方法拷贝法的效果曲线。
具体实施方式
本算法在具体操作中，采用测试序列为SteamLocomotiveTrain，在HM10中设置参数GOP为8，QP为32，40个LCU为一个Slice，参考帧设置为前一帧，以IPPP帧的编码方式对整个序列进行编码，生成视频流。丢包方式为自行编码实现，将一个Slice作为一个数据包进行丢包，然后对丢包后的测试序列进行恢复。
按照图1中给出的本发明算法流程图，具体步骤如下所述。
步骤一、对丢包后的视频流进行解码并检错：若发现当前帧存在丢包时，首先确定解码后的图像丢失位置，然后查找当前帧的参考帧并获取参考帧中与存在丢包帧同一位置的运动矢量信息及残差信息。
步骤二、对CU划分为16×16的融合范围，每次融合在同一16×16尺寸内进行。然后将参考帧CU划分为8×8的块，再对每个CU下的PU进行对称划分。划分为4×4的块后利用公式（1）计算每个块的亮度残差能量，然后将残差能量E1与阈值Th1=50进行比较：若E1小于阈值Th1，将4×4块作为一个相关块；若E1大于阈值Th1，则认为4×4块为不相关块。
对得到的相关块及不相关块进行处理：对于相关块，直接拷贝参考帧同一位置的图像信息；对于不相关块,将相邻的不相关块进行融合，得到尺寸为8×8以内的不相关块。然后对得到的尺寸为8×8以内的不相关块再次进行融合：通过公式（1）计算每个不相关块的亮度残差能量E2，然后将残差能量E2与阈值Th2=200进行比较：若残差能量E2小于阈值Th2，将8×8以内的不相关块作为一个新的相关块；若残差能量E2大于阈值Th2，则认为8×8以内的不相关块作为新的不相关块。此时，对于第二次得到的相关块的运动矢量通过对参考帧同一位置的运动矢量求均值获得，对于不相关块的运动矢量采用矢量外推法来获得。
步骤三、对所得到的不同尺寸的不相关块通过矢量外推法获得运动矢量，其中外推矢量大小等于对应的参考帧不相关块位置运动矢量求均值。其中，求均值过程是分别对不相关块内的4×4块运动矢量的水平方向矢量MVhor均值和垂直方向矢量MVver均值求矢量平均值，然后对求平均后的运动矢量乘以参数λ，其中λ=0.55。
由于在融合区域范围内直接对矢量求平均值会使得区域内的运动矢量具有一致性，如果在融合范围内各个块之间的运动矢量差异较大，则直接求平均值会使得恢复效果变差。因此，需要对矢量求平均值后进行小幅度的调整：对于整体运动性较小的视频序列，采用较大的λ；而对于整体运动性较强的视频序列，采用较小的λ；其中，当λ=0时，运动矢量均值为0，此时相当于直接拷贝法；当λ=1时，运动矢量相当于求平均值获得。
矢量外推法如图2所示，将当前帧f c 的错误宏块在参考帧f r 上进行投影，分别计算与参考帧重叠部分所占的权重值w(i)，其中权重值为投影宏块面积在其重叠宏块中所占的比例。根据权重值及重叠宏0块的运动矢量MV(i)权值计算得到当前帧错误宏块的运动矢量MVpred，如公式3所示。
以上所述为8×8块的矢量获取方式。由于在本发明中，进行融合处理后可能存在多种形式的块，对非标准尺寸块仍按照标准尺寸块进行矢量投影，投影矢量为融合块在参考帧中相应块的运动矢量均值，对求得运动矢量进行矢量均值计算，然后通过矢量投影法获得运动补偿矢量。
步骤四、根据不同类型的块所获得的运动补偿矢量，分别在参考帧中寻找当前丢失块的匹配块，对匹配块的亮度及色度信息进行直接拷贝。
在实验中，我们使用了峰值信噪比(PSNR)作为实验结果的客观质量评价测度。对于SteamLocomotiveTrain测试序列，设定融合阈值Th1=50，Th2=200，修正参数λ取值为0.55。图3所示为本发明方案与直接拷贝法对丢包测试序列在不同丢包率下的客观恢复质量对比，可以看出，本发明方案的PSNR值比拷贝法有明显提高。在丢包率为1%时，整体测试序列恢复效果提高0.8dB；而且，随着丢包率的增加，本发明算法与直接拷贝法相比，恢复效果PSNR的增益也在逐步提高。

Claims (1)

1.一种HEVC中基于残差能量的错误隐藏方法，其特征在于，包括以下步骤：
(1) 对丢包后的视频流进行解码并检错：若发现当前帧存在丢包，首先确定解码后的图像丢失位置，然后查找当前帧的参考帧并获取参考帧中与存在丢包帧同一位置的运动矢量信息及残差信息；
(2) 将参考帧编码单元Coding Unit, 简称CU，划分为16×16的融合范围，每次融合在同一16×16尺寸范围内进行；然后将参考帧CU划分为8×8的块，再对每个CU下的预测单元Prediction Unit, 简称PU，进行对称划分；根据参考帧残差信息通过公式（1）计算每个4×4块残差能量E1，分别与设定阈值Th1进行比较，判断该块是否具有相关性：若E1<Th1，将该块作为一个相关块，否则认为该4×4块为不相关块；
式中，rY代表4×4块中每个像素点的亮度值，i、j代表像素点位置；
对相邻的不相关块进行融合，成为一个尺寸在8×8块范围以内的不相关块；对所得尺寸为8×8以内的不相关块进行第二次融合：通过公式（1）计算每个不相关块的亮度残差能量E2，然后将残差能量E2与即定阈值Th2进行比较：若E2<Th2，将8×8以内的不相关块作为一个新的相关块，否则将8×8以内的不相关块作为新的不相关块；此时，对于第二次得到的相关块的运动矢量，通过对参考帧同一位置的运动矢量求均值获得，对于不相关块的运动矢量采用矢量外推法来获得；
（3) 矢量外推法所采用的外推矢量，是分别对不相关块内的4×4块运动矢量的水平方向矢量和垂直方向矢量求矢量平均值，然后对矢量平均值乘以参数λ，得到最佳外推矢量；
（4) 根据不同类型的块所获得的运动补偿矢量，分别在参考帧中寻找当前丢失块的匹配块，对匹配块的亮度及色度信息进行直接拷贝。
CN201410623381.9A 2014-11-07 2014-11-07 Hevc中基于残差能量的错误隐藏方法 Expired - Fee Related CN104410864B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410623381.9A CN104410864B (zh) 2014-11-07 2014-11-07 Hevc中基于残差能量的错误隐藏方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410623381.9A CN104410864B (zh) 2014-11-07 2014-11-07 Hevc中基于残差能量的错误隐藏方法

Publications (2)

Publication Number Publication Date
CN104410864A CN104410864A (zh) 2015-03-11
CN104410864B true CN104410864B (zh) 2018-08-14

Family

ID=52648448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410623381.9A Expired - Fee Related CN104410864B (zh) 2014-11-07 2014-11-07 Hevc中基于残差能量的错误隐藏方法

Country Status (1)

Country Link
CN (1) CN104410864B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105163126B (zh) * 2015-09-06 2018-05-25 福州瑞芯微电子股份有限公司 一种基于hevc协议的硬件解码方法和装置
CN105245908B (zh) * 2015-10-27 2018-06-29 大连海事大学 一种基于错误修正优先值反馈的视频容错编码方法
CN105791878B (zh) * 2016-03-04 2019-04-05 广东顺德中山大学卡内基梅隆大学国际联合研究院 图像错误隐藏方法与系统
CN107197298B (zh) * 2017-06-27 2019-06-25 郑州师范学院 一种基于多元组的无失真漂移的hevc视频可逆隐写方法
CN107333139B (zh) * 2017-06-27 2019-12-13 郑州师范学院 一种基于帧内预测模式的h.265半可逆视频隐写信息方法
CN107172434B (zh) * 2017-06-27 2019-06-18 郑州师范学院 一种对h.265视频进行内置式隐写的方法
CN107318022B (zh) * 2017-06-27 2019-12-17 郑州师范学院 一种基于h.265标准无失真漂移的视频隐写方法
CN108024114B (zh) * 2017-11-23 2020-01-14 华南理工大学 一种基于标志位参数修改的大容量无损hevc信息隐藏方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984525A (zh) * 2012-12-18 2013-03-20 北京大学 一种视频码流错误隐藏方法
CN103313064A (zh) * 2013-06-07 2013-09-18 国家广播电影电视总局广播科学研究院 基于帧间模式和运动修补的时域错误隐藏方法
CN103329528A (zh) * 2011-01-12 2013-09-25 佳能株式会社 错误恢复改进的视频编码和解码
CN103428504A (zh) * 2007-08-15 2013-12-04 汤姆森许可贸易公司 在多视图编码的视频中进行错误隐藏的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8768079B2 (en) * 2011-10-13 2014-07-01 Sharp Laboratories Of America, Inc. Tracking a reference picture on an electronic device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103428504A (zh) * 2007-08-15 2013-12-04 汤姆森许可贸易公司 在多视图编码的视频中进行错误隐藏的方法和装置
CN103329528A (zh) * 2011-01-12 2013-09-25 佳能株式会社 错误恢复改进的视频编码和解码
CN102984525A (zh) * 2012-12-18 2013-03-20 北京大学 一种视频码流错误隐藏方法
CN103313064A (zh) * 2013-06-07 2013-09-18 国家广播电影电视总局广播科学研究院 基于帧间模式和运动修补的时域错误隐藏方法

Also Published As

Publication number Publication date
CN104410864A (zh) 2015-03-11

Similar Documents

Publication Publication Date Title
CN104410864B (zh) Hevc中基于残差能量的错误隐藏方法
CN101355708B (zh) 一种自适应误码掩盖方法
CN110493603B (zh) 一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法
AU2011367779B2 (en) Method and device for estimating video quality on bitstream level
CN101242540B (zh) 用于视频解码器芯片的差错控制方法
CN101188772A (zh) 一种视频解码的时域错误隐蔽方法
US8275033B2 (en) Picture mode selection for video transcoding
CN108206956A (zh) 一种视频解码错误的处理方法及装置
CN101193313A (zh) 一种视频解码的时域错误隐蔽方法
CN1302668C (zh) 一种隐藏错误的视频译码方法
CN102055987A (zh) 一种解码错误宏块的错误隐蔽方法及装置
CN115002482A (zh) 使用结构性保持运动估计的端到端视频压缩方法及系统
KR101307682B1 (ko) Ｈ.264／ａｖｃ 베이스라인 프로파일에서의 ｒｄｏ에 기반한 움직임 벡터 숨김 정보 삽입을 이용한 에러 검출 방법
Yan et al. Efficient error concealment for the whole-frame loss based on H. 264/AVC
CN116916029A (zh) 一种帧间预测方法、编码器、解码器及存储介质
CN110446042A (zh) 一种提升h.264中p帧质量的编码方法
CN109274965A (zh) Hevc中基于像素值统计特性的快速预测模式选择方法
Fowdur et al. An enhanced framework for H. 264 video transmission with joint prioritisation of retransmission and concealment order
CN108737824A (zh) 一种用于高效视频编码的编码单元快速深度选择方法
Liu et al. New method for concealing entirely lost frames in H. 264 video transmission over wireless networks
CN104519358B (zh) 一种对i条带丢失或误码进行恢复的方法和装置
Sui et al. Whole-frame error concealment with improved backward motion estimation for H. 264 decoders
Xiang et al. A high efficient error concealment scheme based on auto-regressive model for video coding
Zhang et al. Spatial correlation and texture-based fast Adaptive Loop Filter for HEVC
Yu et al. Video error concealment via total variation regularized matrix completion

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180814

Termination date: 20181107