CN108924554B - 一种球形加权结构相似度的全景视频编码率失真优化方法 - Google Patents

一种球形加权结构相似度的全景视频编码率失真优化方法 Download PDF

Info

Publication number
CN108924554B
CN108924554B CN201810768508.4A CN201810768508A CN108924554B CN 108924554 B CN108924554 B CN 108924554B CN 201810768508 A CN201810768508 A CN 201810768508A CN 108924554 B CN108924554 B CN 108924554B
Authority
CN
China
Prior art keywords
coding
cur
frame
ctu
panoramic video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810768508.4A
Other languages
English (en)
Other versions
CN108924554A (zh
Inventor
郁梅
周瑜锋
蒋刚毅
彭宗举
陈芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201810768508.4A priority Critical patent/CN108924554B/zh
Publication of CN108924554A publication Critical patent/CN108924554A/zh
Application granted granted Critical
Publication of CN108924554B publication Critical patent/CN108924554B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种球形加权结构相似度的全景视频编码率失真优化方法，其通过计算球形全景视频经过等矩形投影后得到的平面全景视频中的每帧B帧和每帧P帧中的每个编码树单元以结构相似度SSIM作为失真度量对HEVC编码平台的原始率失真模型中的拉格朗日因子带来的变化因子和失真权重，获得每个编码树单元的基于球形加权结构相似度的率失真优化模型；并根据每个编码树单元的失真权重，计算每个编码树单元的量化参数；再根据每个编码树单元的基于球形加权结构相似度的率失真优化模型和量化参数，编码对应的编码树单元；优点是其率失真性能更好，编码效果更佳。

Description

一种球形加权结构相似度的全景视频编码率失真优化方法
技术领域
本发明涉及一种全景视频编码压缩技术，尤其是涉及一种球形加权结构相似度(Weighted-to-Spherically-uniform Structural Similarity，WS-SSIM)的全景视频编码率失真优化方法。
背景技术
360度的球形全景视频是通过专门的全景相机拍摄或者多个普通相机拍摄后进行拼接形成的具有大视场、高分辨率和沉浸式特点的视频。通过佩戴头戴式显示器(Head-Mounted Display，HMD)，观看者可以移动他们的头部和身体来自由地选择他们的观看内容。球形全景视频的处理系统通常包括视频的成像、投影、编码、逆投影和交互显示等环节。由于当前编解码器的限制，因此通常球形全景视频需要通过不同的投影方式转换到2D平面上，经过编码压缩，再逆投影回球形全景视频，最后通过头戴式显示器进行显示。经过投影的平面全景视频的分辨率往往是4K、8K，甚至更高，其高分辨率特点决定了编码后的码率要远远高于普通视频，因此提高编码效率是实现球形全景视频系统流媒体应用的关键环节。
现有的全向视频编码方案可分为两类：基于用户观看视口(Viewport)的实时编码方案，以及针对投影方式进行高效压缩的编码方案。由于球形全景视频观看设备的限制，一般的头戴式显示器的显示视场通常为96度至110度，因此这决定了不可见区域占到360度视频播放消耗的网络带宽的绝大多数，造成了网络带宽的极大浪费。Feng等人提出将等矩形全景图像在编码端分成若干个大小相等的tile，通过对观看者的头部运动进行预测，对包含下一时刻可见视口的tile以及周边的tile进行编码传输，但由于其预测方式仅采用简单的加权线性回归预测，因此往往会造成较大的预测误差。Robert等人提出基于tile的变化分辨率的全景视频编码，通过降低可见视口外tile的分辨率来降低传输码率，但是所提出的方法还是需要传输整个视频帧，对于用户完全不可见的tile进行编码仍造成了不必要的开销。
不同于基于用户观看视口的实时编码方案，针对投影方式进行高效压缩的编码方案因投影方式的不同而各有差异。对于各个面互不相关的立方体投影，Tang等人提出对不同的运动强度，对立方体投影的不同面分配不同的时间分辨率，即帧率，从而降低码率的消耗。对于等矩形投影两极的像素插值情况，Ramin等人提出区域下采样方法，将等矩形平面帧分为不同的条带，根据纬度信息进行下采样并编码，但是考虑到复杂度，该方法只分为3个条带，其中上和下两个条带进行1/2下采样，中间条带不采样，该过程不符合等矩形投影像素插值规律，不能很好地去除两极冗余。同样针对等矩形投影，Hendry等人提出基于纬度因素的自适应量化参数(Quantization Parameter，QP)编码，根据纬度因素对于高纬度区域采用较高的QP值去除像素的拉伸冗余，但是该方法仅仅考虑了QP与纬度因素的关系，而没有考虑率失真模型中失真定义的不合理性。
虽然上述相关研究已经取得了较好的编码效果，但在提高球形全景视频编码的效率上，仍存在较大的改进空间。
发明内容
本发明所要解决的技术问题是提供一种球形加权结构相似度的全景视频编码率失真优化方法，其率失真性能更好，编码效果更佳。
本发明解决上述技术问题所采用的技术方案为：一种球形加权结构相似度的全景视频编码率失真优化方法，其特征在于包括以下步骤：
步骤一：将球形全景视频经过等矩形投影后得到的平面全景视频作为HEVC编码平台的输入信号；
步骤二：将平面全景视频中当前待编码的帧定义为当前编码帧；
步骤三：将当前编码帧记为Fcur，判断Fcur是否为I帧，若Fcur为I帧，则使用HEVC编码平台中的原始编码方案对Fcur进行编码，然后执行步骤八；若Fcur为B帧或P帧，则执行步骤四；
步骤四：对Fcur以尺寸大小为64×64的编码树单元为单位进行划分；
步骤五：将Fcur中当前待编码的第i个编码树单元定义为当前单元；其中，i为正整数，1≤i≤Numcur，Numcur表示Fcur中包含的编码树单元的总个数；
步骤六：将当前单元记为CTUi；然后计算CTUi以结构相似度SSIM作为失真度量对HEVC编码平台的原始率失真模型中的拉格朗日因子λ带来的变化因子，记为
Figure BDA0001729637780000031
Figure BDA0001729637780000032
并计算CTUi的失真权重，记为wi，
Figure BDA0001729637780000033
接着建立CTUi的基于球形加权结构相似度的率失真优化模型，记为Ji，Ji＝Di+λi×Ri；再计算对CTUi进行编码所采用的量化参数，记为QPi，
Figure BDA0001729637780000034
最后根据Ji和QPi，对CTUi进行编码；其中，
Figure BDA0001729637780000035
表示CTUi的亮度通道的方差，c为常数，exp()为以自然基数e为底的指数函数，j为正整数，1≤j≤Numcur，ln()为以自然基数e为底的对数函数，
Figure BDA0001729637780000041
表示Fcur中的第j个编码树单元的亮度通道的方差，cos()为余弦函数，yi表示CTUi的中心像素点在Fcur中的纵坐标，yi∈[0,H-1]，CTUi的中心像素点设定为CTUi中第33行第33列所对应的像素点，H表示Fcur的高度，Di表示CTUi的预测残差，CTUi的预测残差以误差平方和来表述，Ri表示CTUi的编码码率，λi表示Ji中的拉格朗日因子，
Figure BDA0001729637780000042
Figure BDA0001729637780000043
表示在HEVC编码平台下编码CTUi所采用的原始量化参数，ΔQPi表示CTUi的量化参数调整量，
Figure BDA0001729637780000044
Si和Sj为引入的中间变量，
Figure BDA0001729637780000045
步骤七：令i＝i+1；然后将Fcur中下一个待编码的编码树单元作为当前单元，返回步骤六继续执行，直至Fcur中的所有编码树单元完成编码；再执行步骤八；其中，i＝i+1中的“＝”为赋值符号；
步骤八：将平面全景视频中下一帧待编码的帧作为当前编码帧，然后返回步骤三继续执行，直至平面全景视频中的所有帧完成编码。
与现有技术相比，本发明的优点在于：
1)原始HEVC编码平台的率失真模型仅考虑了像素级失真，与人眼感知存在较大的差异，本发明方法在等矩形全景视频编码中通过考虑投影平面内部的纹理结构失真，改变原始率失真模型中的拉格朗日因子，使率失真代价的计算更加合理。
2)本发明方法针对等矩形投影平面的特点，根据逆投影时的面积比例引入失真权重，在率失真优化过程中对不同区域的失真度量值乘以不同的失真权重，建立基于球形加权结构相似度的率失真优化模型，使不同区域的基于球形加权结构相似度的率失真优化模型反映出该区域的结构失真情况以及逆投影时的失真对应关系，使得本发明方法的率失真性能更好，编码效果更佳。
附图说明
图1为本发明方法的流程框图；
图2a为原始Dancing序列中的第2帧；
图2b为原始Dancing序列中的第2帧中的局部区域放大图；
图2c为使用原始HM16.9编码平台重建第2帧中的局部区域放大图，编码量化参数为27、码率为2375.18kbps、解码重建帧的WS-SSIM评价指标为0.9797、解码重建帧的局部区域SSIM评价指标为0.9638；
图2d为使用本发明方法重建第2帧中的局部区域放大图，编码量化参数为24、码率为2183.90kbps、解码重建帧的WS-SSIM评价指标为0.9808、解码重建帧的局部区域SSIM评价指标为0.9724；
图2e为使用原始HM16.9编码平台重建第2帧中的局部区域放大图，编码量化参数为37、码率为644.99kbps、解码重建帧的WS-SSIM评价指标为0.9628、解码重建帧的局部区域SSIM评价指标为0.9080；
图2f为使用本发明方法重建第2帧中的局部区域放大图，编码量化参数为33、码率为568.91kbps、解码重建帧的WS-SSIM评价指标为0.9670、解码重建帧的局部区域SSIM评价指标为0.9360。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
由于编码器的限制，全景视频的编码只能在2D平面上进行，最常用的等矩形投影需要对图像进行延伸，并且随着纬度的升高，插值的像素点越多，即不同的纬度区域，等矩形平面与球面之间有不同的面积比例关系，因此本发明方法首先考虑经过等矩形投影后的平面全景视频内部的纹理结构失真情况，以此改善率失真优化模型；由于全景视频最终以球形的方式提供给观看者，而等矩形平面与球面之间存在失真非线性关系，因此以该失真非线性关系再次对率失真优化模型进行优化，建立基于球形加权结构相似度的率失真优化模型，并自适应调整量化参数。
本发明提出的一种球形加权结构相似度的全景视频编码率失真优化方法，其流程框图如图1所示，其包括以下步骤：
步骤一：将球形全景视频经过等矩形投影后得到的平面全景视频作为HEVC编码平台的输入信号。
步骤二：将平面全景视频中当前待编码的帧定义为当前编码帧。
步骤三：将当前编码帧记为Fcur，判断Fcur是否为I帧，若Fcur为I帧，则使用HEVC编码平台中的原始编码方案对Fcur进行编码，然后执行步骤八，即本发明方法不涉及I帧编码的改进；若Fcur为B帧或P帧，则执行步骤四。
步骤四：对Fcur以尺寸大小为64×64的编码树单元(Coding Tree Unit，CTU)为单位进行划分。
步骤五：将Fcur中当前待编码的第i个编码树单元定义为当前单元；其中，i为正整数，1≤i≤Numcur，Numcur表示Fcur中包含的编码树单元的总个数。
步骤六：HEVC编码平台的原始率失真模型中的失真度量为误差平方和(Sum ofSquare Error，SSE)，其仅仅考虑了像素级失真，与人眼感知存在一定的差异，而结构相似度(Structural Similarity，SSIM)则考虑了图像内部的纹理结构失真情况，被认为是一种更符合人眼感知的评价方式，因此，本发明方法通过考虑投影平面内部的纹理结构失真，改变HEVC编码平台的原始率失真模型中的拉格朗日因子，以使率失真代价的计算更加合理。将当前单元记为CTUi；然后计算CTUi以结构相似度SSIM(Structural Similarity Index)作为失真度量对HEVC编码平台的原始率失真模型中的拉格朗日因子λ带来的变化因子，记为
Figure BDA0001729637780000071
Figure BDA0001729637780000072
此外，由于全景视频最终以球面的形式在头戴式显示器上显示，而编码过程中的等矩形平面失真与观看的球面失真存在失真非线性关系，考虑到此失真非线性关系，将等矩形平面逆投影时不同区域的面积比例作为不同区域的失真权重，因此计算CTUi的失真权重，记为wi，
Figure BDA0001729637780000073
接着建立CTUi的基于球形加权结构相似度的率失真优化模型，记为Ji，Ji＝Di+λi×Ri；为了达到最优的编码效果，必须对量化参数进行相应的调整，即再计算对CTUi进行编码所采用的量化参数，记为QPi，
Figure BDA0001729637780000074
最后根据Ji和QPi，对CTUi进行编码；其中，
Figure BDA0001729637780000075
表示CTUi的亮度通道的方差，c为常数，在本实施例中c取值为58.5225，exp()为以自然基数e为底的指数函数，j为正整数，1≤j≤Numcur，ln()为以自然基数e为底的对数函数，
Figure BDA0001729637780000076
表示Fcur中的第j个编码树单元的亮度通道的方差，cos()为余弦函数，yi表示CTUi的中心像素点在Fcur中的纵坐标，yi∈[0,H-1]，CTUi的中心像素点设定为CTUi中第33行第33列所对应的像素点，H表示Fcur的高度，Di表示CTUi的预测残差，CTUi的预测残差以误差平方和(Sum of Square Error，SSE)来表述，Ri表示CTUi的编码码率，λi表示Ji中的拉格朗日因子，
Figure BDA0001729637780000081
Figure BDA0001729637780000082
表示在HEVC编码平台下编码CTUi所采用的原始量化参数，ΔQPi表示CTUi的量化参数调整量，
Figure BDA0001729637780000083
Si和Sj为引入的中间变量，
Figure BDA0001729637780000084
步骤七：令i＝i+1；然后将Fcur中下一个待编码的编码树单元作为当前单元，返回步骤六继续执行，直至Fcur中的所有编码树单元完成编码；再执行步骤八；其中，i＝i+1中的“＝”为赋值符号。
步骤八：将平面全景视频中下一帧待编码的帧作为当前编码帧，然后返回步骤三继续执行，直至平面全景视频中的所有帧完成编码。
为进一步说明本发明方法的可行性和有效性，进行如下实验。
本发明方法在HEVC编码标准的HM16.9编码测试平台上实施。编码方式采用典型的低延时P帧(Low-delay P，LDP)方式，量化参数分别选取22、27、32和37。使用的测试序列包含镜头移动和镜头固定两种情况，测试序列基本情况如表1所列。
表1全景视频序列信息
序列名称 分辨率 位深 镜头是否固定
ballooning_vr_25p_2880x2160.yuv 4096×2048 8 否
Dancing360.yuv 4096×2048 8 是
DrivingInCountry_3840x1920_30fps_8bit_420_erp.yuv 3840×1920 8 否
Drive360.yuv 4096×2048 8 否
PoleVault_le_3840x1920_30fps_8bit_420_erp.yuv 3840×1920 8 是
paramotor_training_vr_25p_2880x2160.yuv 4096×2048 8 是
为了说明本发明方法对于提高平面全景视频编码效果的显著性，将本发明方法与原始HM16.9编码平台进行了对比。实验中分别采用了球形加权峰值信噪比(Weighted-to-Spherically-uniform Peak Signal to Noise Ratio，WS-PSNR)和球形加权结构相似度(Weighted-to-Spherically-uniform Structural Similarity，WS-SSIM)两种图像质量客观评价指标来评价解码重建的视频序列质量。表2给出了本发明方法与原始HM16.9编码平台的编码结果对比。表2中BD-WS-PSNR表示在相同码率情况下，以WS-PSNR为图像质量客观评价指标，本发明方法相比于HM16.9编码平台其解码重建的视频序列图像帧质量的提升情况，越大表示提升的质量越多；BD-WS-SSIM表示在相同码率情况下，以WS-SSIM为图像质量客观评价指标，本发明方法相比于HM16.9编码平台其解码重建的视频序列图像帧质量的提升情况，越大表示提升的质量越多；BD-Rate表示在相同解码重建图像质量情况下，本发明方法相比于原始HM16.9编码平台节省的码率，越小表示节省的码率越多。从表2所列的数据可见，当使用WS-PSNR图像质量客观评价指标对解码重建的视频序列质量进行评价时，在相同的码率下，本发明方法相比于原始HM16.9编码平台最多可以提升质量0.84dB，平均提升质量0.45dB；在相同质量情况下，最多可以节省26.5％的码率，平均节省13.61％；当使用WS-SSIM图像质量客观评价指标对解码重建的视频序列质量进行评价时，在相同码率下，质量最多提升0.0101dB，平均提升0.0055dB；在相同质量下，码率最多节省40.16％，平均节省24.48％。值得一提的是，无论是镜头固定还是镜头移动的全景视频序列，本发明方法都可以取得比较好的编码效果。
表2本发明方法与原始HM16.9平台编码结果对比
Figure BDA0001729637780000101
图2a给出了原始Dancing序列中的第2帧；图2b给出了原始Dancing序列中的第2帧中的局部区域放大图；图2c给出了使用原始HM16.9编码平台重建第2帧中的局部区域放大图，编码量化参数为27、码率为2375.18kbps、解码重建帧的WS-SSIM(Weighted-to-Spherically-uniform Structural Similarity，球形加权结构相似度)评价指标为0.9797、解码重建帧的如图2c所示的局部区域SSIM(Structural Similarity，结构相似度)评价指标为0.9638；图2d给出了使用本发明方法重建第2帧中的局部区域放大图，编码量化参数为24、码率为2183.90kbps、解码重建帧的WS-SSIM评价指标为0.9808、解码重建帧的如图2d所示的局部区域SSIM评价指标为0.9724；图2e给出了使用原始HM16.9编码平台重建第2帧中的局部区域放大图，编码量化参数为37、码率为644.99kbps、解码重建帧的WS-SSIM评价指标为0.9628、解码重建帧的如图2e所示的局部区域SSIM评价指标为0.9080；图2f给出了使用本发明方法重建第2帧中的局部区域放大图，编码量化参数为33、码率为568.91kbps、解码重建帧的WS-SSIM评价指标为0.9670、解码重建帧的如图2f所示的局部区域SSIM评价指标为0.9360。图2c至图2f显示了本发明方法的编码结果与原始HM16.9编码平台的编码结果的主观质量对比，图2c至图2f中WS-SSIM评价指标和SSIM评价指标是两种图像质量客观评价指标，其值在0～1之间，值越高说明图像客观质量越好。为了更加全面地评判本发明方法，对2个不同码率级别下重建帧的质量进行了比较。首先比较重建图像整体质量，本实施例中，本发明方法重建图像的码率均低于原始HM16.9编码平台重建图像的码率，并且当采用WS-SSIM图像质量客观评价指标来评价解码重建的视频序列质量时本发明方法的结果均优于原始HM16.9编码平台，实现了相比于原始HM16.9编码平台更低码率和更高质量的编码效果；分析局部区域放大图，本发明方法重建图像质量相比于原始HM16.9编码平台在纹理结构上保留得更好，主观质量更佳，并且从局部区域的SSIM图像质量客观评价指标可以看到，本发明方法的评价结果明显优于原始HM16.9编码平台的评价结果。
本发明提出的球形加权结构相似度(Weighted-to-Spherically-uniformStructural Similarity，WS-SSIM)的全景视频编码率失真优化方法的创新性主要体现如下：在传统视频编码中，率失真模型的失真定义仅仅考虑像素级失真，该失真定义与人眼感知存在一定差异，而本发明方法将结构相似度SSIM引入全景视频编码的率失真优化过程，对率失真模型进行校正，使率失真代价计算更符合人眼感知；同时针对等矩形投影的特点，根据逆投影时的失真非线性关系，投影平面不同区域的失真应该具有不同的权重，从而将逆投影时不同区域的面积比例引入作为失真权重，在率失真优化过程中对不同区域的失真度量值乘以不同的权重，定义基于球形加权结构相似度的率失真优化模型，使不同区域的率失真模型更具有针对性。

Claims (1)

1.一种球形加权结构相似度的全景视频编码率失真优化方法，其特征在于包括以下步骤：
步骤一：将球形全景视频经过等矩形投影后得到的平面全景视频作为HEVC编码平台的输入信号；
步骤二：将平面全景视频中当前待编码的帧定义为当前编码帧；
步骤三：将当前编码帧记为Fcur，判断Fcur是否为I帧，若Fcur为I帧，则使用HEVC编码平台中的原始编码方案对Fcur进行编码，然后执行步骤八；若Fcur为B帧或P帧，则执行步骤四；
步骤四：对Fcur以尺寸大小为64×64的编码树单元为单位进行划分；
步骤五：将Fcur中当前待编码的第i个编码树单元定义为当前单元；其中，i为正整数，1≤i≤Numcur，Numcur表示Fcur中包含的编码树单元的总个数；
步骤六：将当前单元记为CTUi；然后计算CTUi以结构相似度SSIM作为失真度量对HEVC编码平台的原始率失真模型中的拉格朗日因子λ带来的变化因子，记为
Figure FDA0001729637770000011
Figure FDA0001729637770000012
并计算CTUi的失真权重，记为wi，
Figure FDA0001729637770000013
接着建立CTUi的基于球形加权结构相似度的率失真优化模型，记为Ji，Ji＝Di+λi×Ri；再计算对CTUi进行编码所采用的量化参数，记为QPi，
Figure FDA0001729637770000014
最后根据Ji和QPi，对CTUi进行编码；其中，
Figure FDA0001729637770000015
表示CTUi的亮度通道的方差，c为常数，exp()为以自然基数e为底的指数函数，j为正整数，1≤j≤Numcur，ln()为以自然基数e为底的对数函数，
Figure FDA0001729637770000016
表示Fcur中的第j个编码树单元的亮度通道的方差，cos()为余弦函数，yi表示CTUi的中心像素点在Fcur中的纵坐标，yi∈[0,H-1]，CTUi的中心像素点设定为CTUi中第33行第33列所对应的像素点，H表示Fcur的高度，Di表示CTUi的预测残差，CTUi的预测残差以误差平方和来表述，Ri表示CTUi的编码码率，λi表示Ji中的拉格朗日因子，
Figure FDA0001729637770000021
Figure FDA0001729637770000022
表示在HEVC编码平台下编码CTUi所采用的原始量化参数，ΔQPi表示CTUi的量化参数调整量，
Figure FDA0001729637770000023
Si和Sj为引入的中间变量，
Figure FDA0001729637770000024
步骤七：令i＝i+1；然后将Fcur中下一个待编码的编码树单元作为当前单元，返回步骤六继续执行，直至Fcur中的所有编码树单元完成编码；再执行步骤八；其中，i＝i+1中的“＝”为赋值符号；
步骤八：将平面全景视频中下一帧待编码的帧作为当前编码帧，然后返回步骤三继续执行，直至平面全景视频中的所有帧完成编码。
CN201810768508.4A 2018-07-13 2018-07-13 一种球形加权结构相似度的全景视频编码率失真优化方法 Expired - Fee Related CN108924554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810768508.4A CN108924554B (zh) 2018-07-13 2018-07-13 一种球形加权结构相似度的全景视频编码率失真优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810768508.4A CN108924554B (zh) 2018-07-13 2018-07-13 一种球形加权结构相似度的全景视频编码率失真优化方法

Publications (2)

Publication Number Publication Date
CN108924554A CN108924554A (zh) 2018-11-30
CN108924554B true CN108924554B (zh) 2020-07-24

Family

ID=64412578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810768508.4A Expired - Fee Related CN108924554B (zh) 2018-07-13 2018-07-13 一种球形加权结构相似度的全景视频编码率失真优化方法

Country Status (1)

Country Link
CN (1) CN108924554B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109889829B (zh) * 2019-01-23 2022-08-09 北方工业大学 360度视频的快速样点自适应补偿
CN110545429B (zh) * 2019-09-26 2021-08-31 福州大学 一种基于全景视频纬度特性的复杂度优化方法及设备
CN110677692B (zh) * 2019-09-27 2022-12-06 腾讯科技（深圳）有限公司 视频解码方法及装置、视频编码方法及装置
CN110944200B (zh) * 2019-12-10 2022-03-15 南京大学 一种评估沉浸式视频转码方案的方法
CN113596483B (zh) * 2021-08-20 2024-03-12 红河学院 一种编码树单元的参数确定方法及系统
CN113938685B (zh) * 2021-09-26 2023-04-11 中国科学院计算技术研究所 面向大规模图像存储的认知型软件可调整图像编码装置
CN115022638A (zh) * 2022-06-30 2022-09-06 电子科技大学 一种面向全景视频编码的率失真优化方法
CN117036154B (zh) * 2023-08-17 2024-02-02 中国石油大学(华东) 一种无头显和无失真的全景视频注视点预测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771878B (zh) * 2010-01-14 2011-05-25 广西大学 面向全景视频编码的自适应选择全局运动估计方法
CN103188500B (zh) * 2011-12-31 2015-04-08 中国科学院深圳先进技术研究院 多视点视频信号的编码方法
CN103702120B (zh) * 2013-12-11 2017-02-15 四川九洲电器集团有限责任公司 一种合成视点主观失真估计方法
US10419737B2 (en) * 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback

Also Published As

Publication number Publication date
CN108924554A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
CN108924554B (zh) 一种球形加权结构相似度的全景视频编码率失真优化方法
US8311097B2 (en) Image processing method for adaptive spatial-temporal resolution frame
US9313526B2 (en) Data compression for video
US5815601A (en) Image encoder and image decoder
TWI743919B (zh) 視訊處理裝置及視訊串流的處理方法
JP2818340B2 (ja) モーション・ビデオ圧縮システムおよび方法
US8406297B2 (en) System and method for bit-allocation in video coding
US7162096B1 (en) System and method for dynamic perceptual coding of macroblocks in a video frame
US20090034612A1 (en) Quantization method and apparatus in encoding/decoding
CN106937116B (zh) 基于随机训练集自适应学习的低复杂度视频编码方法
KR20050105271A (ko) 비디오 인코딩
CN107211145A (zh) 几乎视觉无损的视频再压缩
CN108200431B (zh) 一种视频编码码率控制帧层比特分配方法
CN108900838B (zh) 一种基于hdr-vdp-2失真准则的率失真优化方法
Zhu et al. SJTU 4K video subjective quality dataset for content adaptive bit rate estimation without encoding
Xu et al. Consistent visual quality control in video coding
Chien et al. Quality driven frame rate optimization for rate constrained video encoding
CN112839234B (zh) 屏幕内容编码标准帧内图像码率的估计方法
CN105578185B (zh) 一种网络视频流的无参考图像质量在线估计方法
CN100469143C (zh) 一种视频数据压缩量化和反量化的方法
CN114205586A (zh) 基于多色彩空间进行率失真优化的视频处理方法及应用
KR20040107850A (ko) 동영상 압축 부호화기의 왜곡 최적화 장치 및 방법
KR20150096353A (ko) 이미지 인코딩 시스템, 디코딩 시스템 및 그 제공방법
EP2536144A1 (en) Method and device of lossy compress-encoding an image
CN116708933B (zh) 一种视频编码方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220830

Address after: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen dragon totem technology achievement transformation Co.,Ltd.

Address before: 315211, Fenghua Road, Jiangbei District, Zhejiang, Ningbo 818

Patentee before: Ningbo University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220921

Address after: 350000 floors 18-23, building 1, No. 68, Chayuan Road, Jin'an District, Fuzhou City, Fujian Province

Patentee after: INFORMATION AND COMMUNICATION BRANCH OF STATE GRID FUJIAN ELECTRIC POWER Co.,Ltd.

Address before: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen dragon totem technology achievement transformation Co.,Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200724