CN116723330A - 一种自适应球域失真传播链长度的全景视频编码方法 - Google Patents
一种自适应球域失真传播链长度的全景视频编码方法 Download PDFInfo
- Publication number
- CN116723330A CN116723330A CN202310309263.XA CN202310309263A CN116723330A CN 116723330 A CN116723330 A CN 116723330A CN 202310309263 A CN202310309263 A CN 202310309263A CN 116723330 A CN116723330 A CN 116723330A
- Authority
- CN
- China
- Prior art keywords
- coding
- distortion
- spherical
- ctu
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 108091026890 Coding region Proteins 0.000 claims description 8
- 238000013139 quantization Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 3
- 108700026244 Open Reading Frames Proteins 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims 1
- 238000013441 quality evaluation Methods 0.000 abstract description 5
- 230000006835 compression Effects 0.000 abstract 1
- 238000007906 compression Methods 0.000 abstract 1
- 238000013507 mapping Methods 0.000 abstract 1
- 230000002123 temporal effect Effects 0.000 abstract 1
- 238000005457 optimization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明属于全景视频编码技术领域,具体涉及一种自适应球域失真传播链长度的全景视频编码方法。本发明通过分析球面图像投影到正六面体过程中,出现图像拉伸形变,并使得编码性能降低,同时提出一种球面映射模型,该模型使得球面图像的主观质量评价与平面压缩编码的客观质量评价更加一致,从而提升编码性能。同时,通过分析低延时编码结构下的帧间参考关系并建立对应的球域失真传播链,将当前编码单元的失真影响因子用于调整编码参数,以达到优化编码的目标。由于不同类型图像的时域相关性不同,根据图像类型来自适应选择球域失真传播链长度。本发明能够极大提升编码率失真性能,同时显著降低编码时间。
Description
技术领域
本发明属于全景视频编码技术领域,具体涉及一种自适应球域失真传播链长度的全景视频编码方法。
背景技术
全景视频是一种使用相机阵列或3D摄像机进行全方位360度进行拍摄的视频,用户在观看视频的时候,可以随意调节视频上下左右方位进行观看,全景视频具有高帧率、高分辨率(至少4K)、宽视域的特征,存储和传输全景视频非常消耗资源。低延时层次编码结构采用循环GOP(GroupOfPictures)结构,一个GOP分为3层,每一层的编码帧采用相同的量化参数,每一帧有多个参考帧,分别为时域上的前一帧,以及已经编码的邻近3个关键帧。H.266/VVC中GOP大小增大至8,编码帧的播放顺序POC(PictureOrderCount)与编码顺序EOC(EncodingOrderCount)相同。
全景视频编码中,在帧间预测过程中,当前编码帧的编码质量受到参考帧质量的影响,也就是说参考帧的失真会影响后续编码帧的失真,从而球域失真在时域上进行传播。
全景视频图像需要投影到二维平面上后,再通过传统编码器进行编码。正六面体投影是当前最常用的投影方式之一,球面图像会投影到包围球体地六个面上。
H.266/VVC中的编码过程为:
1)编码单元划分
2)预测模式选择,假设各编码单元间相互独立
式中λi为第i个编码单元对应的拉格朗日乘子,Pi为编码参数(比如量化参数,编码模式等),Ji为第i个编码单元的率失真代价,编码器通过最小率失真代价Ji来进行编码模式选择,这里的编码模式主要指帧内及帧间预测模式。
3)变换:预测残差进行哈达玛变化
3)量化:对变换后的残差进行量化,引入量化失真
QSTEP=2(QP-4)/6
QSTEP为量化步长,与量化参数的关系式为上式。
4)熵编码。
现有的基于360Lib的VTM编码器没有考虑全景视频投影失真带来的过采样问题,全景视频编码的主观质量评价在球面域,而客观质量评价却在平面域,这种主客观质量评价的脱节使得编码性能大打折扣。同时VTM编码器为了简化问题,没有考虑编码单元间的时域相关性,而且球面域的失真影响大小不仅跟编码参考帧结构有关,还与球面投影失真有关,所以率失真性能还有较大的提升空间。另一方面,现有时域依赖率失真优化技术,没有考虑图像类型与失真传播链长度间的关系,编码性能还要极大的提升空间。
发明内容
针对上述问题,本发明提供一种自适应球域失真传播链长度的全景视频编码方法。
本发明的技术方案为:
一种自适应球域失真传播链长度的全景视频编码方法,其特征在于,包括以下步骤:
S1、向编码器输入待编码序列;
S2、判断当前是否为第一帧,若是,则执行:
帧内编码
编码完当前帧,输入下一张图片重复S2;
否则,进入步骤S3;
S3、将当前编码帧划分为6个相同分辨率的区域,计算当前编码帧每个CTU像素均值和方差;
S4、按顺序编码CTU;
S5、确定当前CTU所在编码区域,并根据编码区域确定球面失真投影权重,判断当前帧数是否大于等于3,若是,则进入S6,否则进入S7;
S6、判断当前CTU的像素方差与前一CTU的像素方差差值是否大于10,若是,则进入S8,否则进入S9;
S7、编码器默认算法编码,并进入S12;
S8、建立球域失真传播链模型,并令时域失真传播链长度为1,计算拉格朗日乘子,并进入S11;
S9、判断当前帧数是否大于等于6,若是,则进入S10,否则进入S8;
S10、建立球域失真传播链模型,并令时域失真传播链长度为4,计算拉格朗日乘子;
S11、计算当前CTU的量化参数并编码CTU;
S12、判断是否是最后一个CTU,若是,则编码完当前帧,进入步骤S13,否则,回到步骤S4;
S13、获取当前帧保存的每个CTU的编码失真和运动补偿预测误差,计算当前帧内各个CTU的时域失真影响因子;
S14、判断是否是最后一帧,若是,则进入S13,否则输入下一张图片并回到S2;
S15、当前全景视频序列编码完成。
进一步的,S8和S10中采用的球域失真传播模型为:
其中pi为第i个编码单元的编码参数,wi为该单元对应的球面失真投影权重,ωm为第m个编码单元对应的球面失真投影权重。βt为该单元的失真对传播链上第t个编码单元失真的影响因子。
进一步的,S5中,第i个编码区域的球面失真权重计算方式为:
其中,Ssphere(i)为当前编码CTU所在的编码区域(图2a)对应的球面区域(图2b)面积,SCMP(i)为当前编码CTU所在的编码区域面积,r为CTU的像素宽度。
所述时域相关性的计算方式为:
其中,失真传播链上第i个编码块的失真为Di,该编码块的运动补偿预测误差N为失真时域传播链的长度。
进一步的,S8中,时域失真传播链长度为1,计算拉格朗日乘子的方式为:
其中λ为帧级拉格朗日乘子。
进一步的,S10中,时域失真传播链长度为4,计算拉格朗日乘子的方式为:
本发明的有益效果为:根据全景视频的球面图像在投影过程中在不同纬度区域发生不同程度的几何变形,通过插值填充导致像素冗余,进而破坏熵分布的问题,根据码率控制模型来调整编码参数,能极大的提升编码性能能够极大提升编码率失真性能,同时显著降低编码时间。
附图说明
图1是全景视频CMP投影。
图2是编码区域划分示意图。
图3是本发明的流程示意图。
具体实施方式
下面结合附图来对本发明进行详细描述。
编码器通过率失真优化(RDO)技术为输入视频选择一组最优的编码参数以及率失真代价最小的编码模式,其目标是在一定码率限制条件下尽可能降低编码失真或者在一定编码失真限定条件下尽可能减少编码比特。本发明所提出的编码方法具体实现方式如图3所示。
球面失真投影权重的计算方法是
其中,Ssphere(i)为当前编码CTU所在的编码区域(图2a)对应的球面区域(图2b)面积,SCMP(i)为当前编码CTU所在的编码区域面积,r为CTU的像素宽度。这里是球面投影到正六面体的6个面(图1),每个面划分为5个编码区域(图2))
对于第二帧及以后的编码帧图像,先将编码帧划分为6个相同分辨率的区域,计算当前编码帧每个CTU像素均值和方差:
其中,P、D分别表示均值和方差,Pi,j表示每一个像素点的像素值,分辨率为n*m。
建立球域失真传播模型:
其中pi为第i个编码单元的编码参数,wi为该单元对应的球面失真投影权重,ωm为第m个编码单元对应的球面失真投影权重。βt为该单元的失真对传播链上第t个编码单元失真的影响因子。
利用当前编码帧以及每个编码树单元的重建误差以及运动补偿预测误差来计算编码帧以及编码树单元的时域相关性大小
其中,失真传播链上第i个编码块的失真为Di,该编码块的运动补偿预测误差N为失真时域传播链的长度。
下面使用实验结果说明本发明方案的有效性,全景视频码率控制算法集成到基于360lib的H.266/VVC参考软件VTM14.0中,编码器配置为LOW-DELAY,实验条件遵守国际编码标准组织JCT-VC建议的标准全景视频序列作为测试视频,包括8K、6K和4K三类中的全部14个视频序列,对比的指标有BD-Rate,及编码时间。其中当BD-Rate为负值时,代表相同重建质量下码率减少,技术具有增益,当BD-Rate为正值时,代表相同重建质量下码率增加,技术存在损失。此处分别以给定QP时VVC编码器的编码质量为对比的基准。
表1对比了本发明算法和基准的率失真性能对比,可以看出本发明平均BD-RATE节省6.3%左右。
表1与360lib vtm14.0基准率失真性能对比(BDBR%)
Claims (5)
1.一种自适应球域失真传播链长度的全景视频编码方法,其特征在于,包括以下步骤:
S1、向编码器输入待编码序列;
S2、判断当前是否为第一帧,若是,则执行:
帧内编码;
编码完当前帧,输入下一张图片重复S2;
否则,进入步骤S3;
S3、将当前编码帧划分为6个相同分辨率的区域,计算当前编码帧每个CTU像素均值和方差;
S4、按顺序编码CTU;
S5、确定当前CTU所在编码区域,并根据编码区域确定球面失真投影权重,判断当前帧数是否大于等于3,若是,则进入S6,否则进入S7;
S6、判断当前CTU的像素方差与前一CTU的像素方差差值是否大于10,若是,则进入S8,否则进入S9;
S7、编码器默认算法编码,并进入S12;
S8、建立球域失真传播模型,并令时域失真传播链长度为1,计算拉格朗日乘子,并进入S11;
S9、判断当前帧数是否大于等于6,若是,则进入S10,否则进入S8;
S10、建立球域失真传播模型,并令时域失真传播链长度为4,计算拉格朗日乘子;
S11、计算当前CTU的量化参数并编码CTU;
S12、判断是否是最后一个CTU,若是,则编码完当前帧,进入步骤S13,否则,回到步骤S4;
S13、获取当前帧保存的每个CTU的编码失真和运动补偿预测误差,计算当前帧内各个CTU的时域失真影响因子;
S14、判断是否是最后一帧,若是,则进入S13,否则输入下一张图片并回到S2;
S15、当前全景视频序列编码完成。
2.根据权利要求1所述的一种自适应球域失真传播链长度的全景视频编码方法,其特征在于,S8和S10中所述球域失真传播模型为:
其中pi为第i个编码单元的编码参数,ωi为该单元对应的球面失真投影权重,ωm为第m个编码单元对应的球面失真投影权重,βt为该单元的失真对传播链上第t个编码单元失真的影响因子。
3.根据权利要求2所述的一种自适应球域失真传播链长度的全景视频编码方法,其特征在于,S5中,第i个编码区域的球面失真权重计算方式为:
其中,Ssphere(i)为当前编码CTU所在的编码区域(图2a)对应的球面区域(图2b)面积,SCMP(i)为当前编码CTU所在的编码区域面积,r为CTU的像素宽度;
时域相关性的计算方式为:
其中,失真传播链上第i个编码块的失真为Di,该编码块的运动补偿预测误差N为失真时域传播链的长度。
4.根据权利要3所述的一种自适应球域失真传播链长度的全景视频编码方法,其特征在于,S8中,时域失真传播链长度为1,计算拉格朗日乘子的方式为:
其中λ为帧级拉格朗日乘子。
5.根据权利要3所述的一种自适应球域失真传播链长度的全景视频编码方法,其特征在于,S10中,时域失真传播链长度为4,计算拉格朗日乘子的方式为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310309263.XA CN116723330B (zh) | 2023-03-28 | 2023-03-28 | 一种自适应球域失真传播链长度的全景视频编码方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310309263.XA CN116723330B (zh) | 2023-03-28 | 2023-03-28 | 一种自适应球域失真传播链长度的全景视频编码方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116723330A true CN116723330A (zh) | 2023-09-08 |
CN116723330B CN116723330B (zh) | 2024-02-23 |
Family
ID=87866660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310309263.XA Active CN116723330B (zh) | 2023-03-28 | 2023-03-28 | 一种自适应球域失真传播链长度的全景视频编码方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116723330B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110493603A (zh) * | 2019-07-25 | 2019-11-22 | 南京航空航天大学 | 一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法 |
CN111314703A (zh) * | 2020-03-31 | 2020-06-19 | 电子科技大学 | 一种基于失真类型传播分析的时域率失真优化方法 |
CN113489981A (zh) * | 2021-07-06 | 2021-10-08 | 电子科技大学 | 一种考虑时域率失真优化的零延迟码率控制方法 |
WO2022021422A1 (zh) * | 2020-07-31 | 2022-02-03 | Oppo广东移动通信有限公司 | 视频编码方法、编码器、系统以及计算机存储介质 |
WO2022027881A1 (zh) * | 2020-08-05 | 2022-02-10 | 电子科技大学 | 基于视频序列特征和QP-λ修正的时域率失真优化方法 |
CN114567776A (zh) * | 2022-02-21 | 2022-05-31 | 宁波职业技术学院 | 一种基于全景视觉感知特性的视频低复杂度编码方法 |
CN115022638A (zh) * | 2022-06-30 | 2022-09-06 | 电子科技大学 | 一种面向全景视频编码的率失真优化方法 |
CN115668952A (zh) * | 2021-04-30 | 2023-01-31 | 腾讯美国有限责任公司 | 在神经图像压缩中使用图像替换的内容自适应在线训练 |
WO2023009459A1 (en) * | 2021-07-26 | 2023-02-02 | Beijing Dajia Internet Information Technology Co., Ltd. | Video coding using multi-direction intra prediction |
CN115695799A (zh) * | 2022-10-18 | 2023-02-03 | 电子科技大学 | 一种考虑时域失真传播的零时延全景视频码率控制方法 |
CN115695801A (zh) * | 2022-10-18 | 2023-02-03 | 电子科技大学 | 一种考虑时域失真传播的低复杂度全景视频编码方法 |
-
2023
- 2023-03-28 CN CN202310309263.XA patent/CN116723330B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110493603A (zh) * | 2019-07-25 | 2019-11-22 | 南京航空航天大学 | 一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法 |
CN111314703A (zh) * | 2020-03-31 | 2020-06-19 | 电子科技大学 | 一种基于失真类型传播分析的时域率失真优化方法 |
WO2021196682A1 (zh) * | 2020-03-31 | 2021-10-07 | 电子科技大学 | 一种基于失真类型传播分析的时域率失真优化方法 |
US20220007031A1 (en) * | 2020-03-31 | 2022-01-06 | University Of Electronic Science And Technology Of China | Temporal domain rate distortion optimization considering coding-mode adaptive distortion propagation |
WO2022021422A1 (zh) * | 2020-07-31 | 2022-02-03 | Oppo广东移动通信有限公司 | 视频编码方法、编码器、系统以及计算机存储介质 |
WO2022027881A1 (zh) * | 2020-08-05 | 2022-02-10 | 电子科技大学 | 基于视频序列特征和QP-λ修正的时域率失真优化方法 |
CN115668952A (zh) * | 2021-04-30 | 2023-01-31 | 腾讯美国有限责任公司 | 在神经图像压缩中使用图像替换的内容自适应在线训练 |
CN113489981A (zh) * | 2021-07-06 | 2021-10-08 | 电子科技大学 | 一种考虑时域率失真优化的零延迟码率控制方法 |
WO2023009459A1 (en) * | 2021-07-26 | 2023-02-02 | Beijing Dajia Internet Information Technology Co., Ltd. | Video coding using multi-direction intra prediction |
CN114567776A (zh) * | 2022-02-21 | 2022-05-31 | 宁波职业技术学院 | 一种基于全景视觉感知特性的视频低复杂度编码方法 |
CN115022638A (zh) * | 2022-06-30 | 2022-09-06 | 电子科技大学 | 一种面向全景视频编码的率失真优化方法 |
CN115695799A (zh) * | 2022-10-18 | 2023-02-03 | 电子科技大学 | 一种考虑时域失真传播的零时延全景视频码率控制方法 |
CN115695801A (zh) * | 2022-10-18 | 2023-02-03 | 电子科技大学 | 一种考虑时域失真传播的低复杂度全景视频编码方法 |
Non-Patent Citations (3)
Title |
---|
TIANWU YANG; CE ZHU; XIAOJIU FAN SCHOOL OF INFORMATION SCIENCE AND TECHNOLOGY, SOUTHWEST JIAOTONG UNIV, CHENGDU, CHINA ; QIANG PEN: "Source Distortion Temporal Propagation Model for Motion Compensated Video Coding Optimization", 《2012 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO》 * |
费马燕;彭宗举;李持航;陈芬;郁梅;蒋刚毅;: "融合视觉感知特性的HEVC率失真优化", 中国图象图形学报, no. 07, 16 July 2015 (2015-07-16) * |
郭红伟;朱策;杨栩;罗雷: "基于失真反向传播的时域依赖率失真优化", 《通信学报》 * |
Also Published As
Publication number | Publication date |
---|---|
CN116723330B (zh) | 2024-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8144770B2 (en) | Apparatus and method for encoding moving picture | |
CN100401789C (zh) | H.264/avc帧内预测模式的快速选择方法 | |
KR20130045152A (ko) | 인트라 예측 모드 복호화 방법 및 장치 | |
US9094687B2 (en) | Video encoder and video decoder | |
WO2024082580A1 (zh) | 一种考虑时域失真传播的低复杂度全景视频编码方法 | |
CN110933430B (zh) | 二次编码优化方法 | |
US20130235938A1 (en) | Rate-distortion optimized transform and quantization system | |
KR20190122615A (ko) | 영상 부호화 방법 및 장치 | |
CN108235025B (zh) | 自适应帧间参考结构的拉格朗日乘子优化方法 | |
CN111970511A (zh) | 一种基于vmaf的感知视频率失真编码优化方法及装置 | |
KR100905059B1 (ko) | 동영상 부호화에 있어서 비트 발생 가능성 예측을 이용한블록 모드 결정 방법 및 장치 | |
WO2024082579A1 (zh) | 一种考虑时域失真传播的零时延全景视频码率控制方法 | |
CN114915789B (zh) | 一种帧间的拉格朗日乘子优化方法、系统、设备及介质 | |
CN115118976A (zh) | 一种图像编码方法、可读介质及其电子设备 | |
US20090041119A1 (en) | Method and Device for Coding a Video Image | |
Bao et al. | Mdvsc—wireless model division video semantic communication for 6g | |
CN116670686A (zh) | 用于以低比特精度进行基于dnn的交叉分量预测的内容自适应在线训练 | |
EP2076047A2 (en) | Video motion estimation | |
CN116016927A (zh) | 一种考虑时域相关性和熵平衡的低延时全景视频编码方法 | |
CN113079376A (zh) | 对静止区域的视频编码方法和装置 | |
CN116723330B (zh) | 一种自适应球域失真传播链长度的全景视频编码方法 | |
JP4532607B2 (ja) | ブロック・ベースのコード化システムにおいてコード化モードを選択するための装置および方法 | |
CN114143537B (zh) | 一种基于可能性大小的全零块预测方法 | |
CN100568978C (zh) | 一种帧间与帧内编码模式的选择方法 | |
WO2022140905A1 (zh) | 预测方法、编码器、解码器以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |