CN108063944A - 一种基于视觉显著性的感知码率控制方法 - Google Patents
一种基于视觉显著性的感知码率控制方法 Download PDFInfo
- Publication number
- CN108063944A CN108063944A CN201711335032.7A CN201711335032A CN108063944A CN 108063944 A CN108063944 A CN 108063944A CN 201711335032 A CN201711335032 A CN 201711335032A CN 108063944 A CN108063944 A CN 108063944A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- lcu
- mfrac
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种基于视觉显著性的感知码率控制方法，涉及视频技术领域，本发明计算每个像素点的显著值并计算LCU的显著值，将LCU的显著值作为该LCU失真的权重，之后计算λ，并由λ计算QP。由于采用了视觉显著性作为权重进行码率分配，显著区域的PSNR得到提高，使得重建视频显著区域的主观质量更好，本发明码率失配较低；显著区域的PSNR得到提高，显著区域的主观质量得到提高；非显著区域的PSNR略有下降，但由于人眼对非感兴趣区域的关注程度较低，所以非显著区域的主观质量改变基本可以忽略。
Description
技术领域
本发明涉及视频技术领域，尤其是一种感知码率控制方法
背景技术
新一代高效视频编码HEVC(High Efficiency Video Coding)是最新的视频编码标准。码率控制就是通过选择一系列的编码参数，使视频编码后的实际码率满足目标码率的限制，并且使编码失真最小。HEVC的码率控制算法由比特分配和量化参数确定两部分组成，其中，确定量化参数是码率控制算法的核心。比特分配采用分级策略为不同级别的编码单元分配比特。量化参数QP(Quantization Parameter)由R-λ模型的λ直接确定，R-λ模型即λ＝α·Rβ，α和β是与输入视频内容相关的编码参数，R表示码率，λ的物理意义为rate-distortion(R-D)曲线的负斜率。R-λ模型是HEVC码率控制算法中的一个非常重要的模型，λ的值是获得优化参数的关键。λ的值用于率失真优化，码率控制和率失真优化过程无依赖关系且λ可取小数，它解决了以往R-Q模型中蛋鸡悖论以及QP为整数存在误差等问题，使得码率控制更为精确，比特波动更小。但HEVC利用R-λ模型进行最大编码单元LCU(LargestCoding Unit)级比特分配时未考虑人眼视觉系统，如图像的颜色、亮度、纹理等信息，由于视频客观质量曲线与主观质量曲线严重不合，所以未考虑人眼视觉系统的码率控制算法重建视频主观质量不一定好。
当前的HEVC码率控制算法主要提高视频的客观质量而未考虑主观质量。ShengxiLi等人提出了一种编码树单元CTU(Coding Tree Unit)级的最优比特分配方法。他们提出了一种新的R-D估计算法代替现有的R-λ模型，并提出了一种递归泰勒展开式方法迭代求解，得到近似的封闭解，从而达到最优比特分配。该方法的优点是收敛速度快，计算时间短，但在编码时未考虑人眼视觉系统。Kim M等人针对HEVC在进行码率控制时未考虑人眼视觉系统中的图像纹理结构这一问题，提出了一种基于纹理和非纹理模型的帧级码率控制方法。由于HEVC的编码结构更加复杂，不同深度水平编码单元CU(Coding Unit)的变换残差统计特征显著不同。该方法利用转换残差将CU分为三类，分别为低纹理CU、中纹理CU和高纹理CU，在进行码率控制时对这三类CU采用不同的处理方法。实验结果表明该方法在信号特征突变时表现得更出色，该方法的缺点是在进行码率控制时未考虑图片的颜色、亮度等信息。
视觉显著性指智能算法通过模拟人眼视觉特点，标注图片的显著区域。Seo等人2009年在期刊《Journal of Vision》上发表的文章《Static and space-time visualsaliency detection by self-resemblance》中提出了一种视觉显著性模型，该模型即可用于时间域的计算，又可用于空间域的计算。
现有码率控制技术已经取得了很多成果，但现有技术仍不能很好地满足人眼视觉系统，还有待进一步研究。
发明内容
为了克服现有技术的不足，本发明提出一种基于视觉显著性的感知码率控制算法VSPRC(Visual Saliency Based Perception Rate Control Algorithm)，VSPRC算法中引入视觉显著性作为判断图像区域显著程度的方法。本发明计算每个像素点的显著值并计算LCU的显著值，将LCU的显著值作为该LCU失真的权重，之后计算λ，并由λ计算QP。
本发明解决其技术问题所采用的技术方案包括以下步骤：
第一步：计算像素点及LCU的显著值
采用显著性模型计算视频帧中像素点的显著值并进一步得到LCU的显著值，详细步骤如下：
①计算像素点的显著值：
第pi个像素点的显著值使用如下公式计算：
其中，SPpi为第pi个像素点的显著值；Fpi表示第pi个像素点的特征矩阵，为中心特征矩阵；Fpj表示像素点pi周围相邻像素点pj的特征矩阵，为邻域特征矩阵，ρ(Fpi,Fpj)是矩阵余弦相似度，为Fpi和Fpj的弗罗贝纽斯内积；Num是中心特征矩阵和邻域特征矩阵的个数之和，σ是局部权重参数，SPpi的值域为[0,1]；
②计算LCU的显著值：
由公式(1)得到像素点的显著值，LCU的显著值用该LCU所有像素点的显著值之和表示，设LCU中第pi个像素点的坐标为(m，n)，LCU的显著值用公式(2)进行计算；
其中，Si表示按编码顺序的第i个LCU的显著值；SPpi表示第i个LCU中像素坐标为(m，n)的像素点显著值，W表示LCU的宽度，H表示LCU的高度；
第二步：计算基于视觉显著性的加权失真
首先估算第i个LCU的失真Di，再引入第i个LCU的显著值Si作为权重对Di进行有侧重的考量；
失真Di用原始像素值和重建像素值之间的均方误差(Mean Square Error，MSE)表示，本发明用R-λ模型进行估算，估算方法如公式(3)所示：
其中，α和β为和输入视频内容相关的参数，α和β的初始值设置及更新方法通过HEVC参考软件获得，将第i个LCU的显著值Si作为Di的权重，得到基于视觉显著性的加权失真，λi表示第i个LCU的λ，如公式(4)所示：
Diweight＝Si·Di (4)
其中，Diweight表示第i个LCU的加权失真；
第三步：计算λi
失真加权后的率失真优化表示为：
其中，ni表示第i个LCU包含的像素数，N表示一帧图片中LCU的个数，R为当前帧的目标码率，bppi表示第i个LCU的每像素消耗比特，其中bppi的计算方法如下：
λi用公式(7)进行计算：
第四步：计算量化参数
量化参数是码率控制的核心，根据第三步公式(7)所得的λi计算第i个LCU的量化参数QPi，计算方法如下：
QPi＝4.2005lnλi+13.7122 (8)
通过λi确定QPi，即可实现码率控制的目标。
本发明的有益效果是由于采用了视觉显著性作为权重进行码率分配，VSPRC算法与HM-13.0中的码率控制算法相比，显著区域的PSNR得到提高，使得重建视频显著区域的主观质量更好，作为代价非显著区域的PSNR略有下降，但人眼对非显著区域关注程度低，所以重建视频非显著区域的主观质量改变基本可以忽略。本发明码率失配较低；显著区域的PSNR得到提高，显著区域的主观质量得到提高；非显著区域的PSNR略有下降，但由于人眼对非感兴趣区域的关注程度较低，所以非显著区域的主观质量改变基本可以忽略。
附图说明
图1是本发明VSPRC算法的流程图。
图2是本发明中心+邻域特征矩阵示意图。
图3是本发明BasketballDrill显著图及区域划分，图3(a)是第9帧RGB图，图3(b)是根据公式(1)计算的显著值，图3(c)为显著区域和非显著区域，其中，白色区域为显著区域，黑色区域为非显著区域。
图4是本发明Kimono1_1920x1080_24序列中的第20帧主观质量对比，图4(a)为HM-13.0算法重建视频帧，图4(b)为本发明算法重建视频帧，图4(c)为HM-13.0算法人脸部分，图4(d)为本发明算法人脸部分。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
在HEVC参考软件HM-13.0中测试VSPRC算法，并与HM-13.0的码率控制算法性能进行对比。选取BQSquare、ParkScene、PartyScene这3个序列进行码率失配的测试，选取BlowingBubbles、Cactus、Kimono1、ParkScene、PartyScene、PeopleOnStreet、RaceHorses、RaceHorsesC、Traffic这9个官方视频序列进行PSNR的测试。对每个序列设定了若干不同的目标码率进行比较，编码结构采用Low Delay编码结构。对两种算法的实际码率以及PSNR进行统计。
本发明包括以下步骤：
第一步：计算像素点及LCU的显著值
本发明采用显著性模型计算视频帧中像素点的显著值并进一步得到LCU的显著值，详细步骤如下：
①计算像素点的显著值：
本发明采用背景技术中提到的Seo等人的视觉显著性模型计算像素点的显著值。第pi个像素点的显著值使用如下公式计算：
其中，SPpi为第pi个像素点的显著值；Fpi表示第pi个像素点的特征矩阵，为中心特征矩阵；Fpj表示像素点pi周围相邻像素点pj的特征矩阵，为邻域特征矩阵，ρ(Fpi,Fpj)是矩阵余弦相似度，为Fpi和Fpj的弗罗贝纽斯内积；Num是中心特征矩阵和邻域特征矩阵的个数之和，σ是局部权重参数，根据Seo等人的模型，σ取0.07，SPpi的值域为[0,1]，SPpi越接近1表示显著性越强。
②计算LCU的显著值：
由公式(1)得到像素点的显著值，LCU的显著值用该LCU所有像素点的显著值之和表示，设LCU中第pi个像素点的坐标为(m，n)，那么LCU的显著值用公式(2)进行计算；
其中，Si表示按编码顺序的第i个LCU的显著值；SPpi表示第i个LCU中像素坐标为(m，n)的像素点显著值，W表示LCU的宽度，H表示LCU的高度；
第二步：计算基于视觉显著性的加权失真
首先估算第i个LCU的失真Di，再引入第i个LCU的显著值Si作为权重对Di进行有侧重的考量；
失真Di用原始像素值和重建像素值之间的均方误差(Mean Square Error，MSE)表示，本发明用R-λ模型进行估算，估算方法如公式(3)所示：
其中，α和β为和输入视频内容相关的参数，α和β的初始值设置及更新方法通过HEVC参考软件获得，将第i个LCU的显著值Si作为Di的权重，得到基于视觉显著性的加权失真，λi表示第i个LCU的λ，如公式(4)所示：
Diweight＝Si·Di (4)
其中，Diweight表示第i个LCU的加权失真；
第三步：计算λi
失真加权后的率失真优化表示为：
其中，ni表示第i个LCU包含的像素数，N表示一帧图片中LCU的个数，R为当前帧的目标码率，bppi表示第i个LCU的每像素消耗比特，其中bppi的计算方法如下：
λi用公式(7)进行计算：
第四步：计算量化参数
量化参数是码率控制的核心，根据第三步公式(7)所得的λi计算第i个LCU的量化参数QPi，计算方法如下：
QPi＝4.2005lnλi+13.7122 (8)
通过λi确定QPi，即可实现码率控制的目标。
本发明提出的VSPRC算法的流程如图1所示，主要内容概括为：计算了像素点和LCU的显著值，将LCU的显著值作为该LCU失真的权重，之后计算λ，并由λ计算QP，进行编码。
实验结果采用码率失配以及显著区域及非显著区域的PSNR对算法性能进行评估。根据每一LCU的显著值来对其进行显著区域和非显著区域的划分，划分步骤分为两步：
1)将输入待编码视频序列的每一帧图像所有LCU显著值的和进行降序排序。
2)确定阈值，本发明的阈值选择为降序排序中1/4处位置的值，大于该阈值LCU的为显著区域，小于该阈值LCU的为非显著区域。
图2是本发明中心+邻域特征矩阵示意图。图3是本发明BasketballDrill显著图及区域划分，图3(a)是第9帧RGB图，图3(b)是根据公式(1)计算的显著值，图3(c)为显著区域和非显著区域，其中，白色区域为显著区域，黑色区域为非显著区域。
码率失配(bit rate error，BRE)为目标码率和实际使用码率的相对误差，计算方法如(9)所示，显著区域的PSNR用PSNR-S表示，计算如(10)所示，非显著区域的PSNR用PSNR-N表示，计算如(11)所示：
其中，Rtarget和RActual分别表示给定目标码率和实际使用码率，MSES和MSEN分别表示显著区域和非显著区域的均方误差；
表1LD编码结构下的BRE对比结果
(Target Bit单位为kbps,BRE(％)，ΔBRE＝BREproposed-BREHM(％))
表2：PSNR对比结果
(目标码率，单位(kpbs)，PSNR-R、PSNR-N单位(dB))
码率失配的测试结果如表1所示，HM-13.0码率控制算法的码率失配平均为0.266％，而VSPRC算法的码率失配平均为0.156％，VSPRC算法将码率失配控制在了0.5％以内。从Avg2的数据可以看出，这三个序列相比HM-13.0的编码失配都有降低，所以VSPRC算法性能较为稳定。
PSNR对比结果如表2所示，VSPRC算法相比HM-13.0码率控制算法，参加对比的9个视频序列△PSNR-N均略有下降，但△PSNR-R均有所提升，VSPRC算法性能较为稳定。相比HM-13.0码率控制算法，VSPRC算法的△PSNR-N平均降低了0.5563dB，△PSNR-R平均提升了0.4621dB。本发明提出的VSPRC算法在PSNR-N略有降低的情况下提高了PSNR-R。因此，VSPRC算法有一定优势。
图4为官方测试序列Kimono1_1920x1080_24中的第20帧主观质量对比，图4(a)为HM-13.0算法重建视频帧，图4(b)为本发明算法重建视频帧，图4(c)为HM-13.0算法人脸部分，图4(d)为本发明算法人脸部分，可以看出本发明提出的VSPRC算法第20帧人脸部分尤其是鼻子部分的处理较HM-13.0算法第20帧人脸部分尤其是鼻子部分更为精细，同时背景部分的主观质量几乎无改变。
Claims (1)
1.一种基于视觉显著性的感知码率控制方法，其特征在于包括下述步骤：
第一步：计算像素点及LCU的显著值
采用显著性模型计算视频帧中像素点的显著值并进一步得到LCU的显著值，详细步骤如下：
①计算像素点的显著值：
第pi个像素点的显著值使用如下公式计算：
<mrow>
<msub>
<mi>SP</mi>
<mrow>
<mi>p</mi>
<mi>i</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>p</mi>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>N</mi>
<mi>u</mi>
<mi>m</mi>
</mrow>
</msubsup>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mo>-</mo>
<mn>1</mn>
<mo>+</mo>
<mi>&rho;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>F</mi>
<mrow>
<mi>p</mi>
<mi>i</mi>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>F</mi>
<mrow>
<mi>p</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，SPpi为第pi个像素点的显著值；Fpi表示第pi个像素点的特征矩阵，为中心特征矩阵；Fpj表示像素点pi周围相邻像素点pj的特征矩阵，为邻域特征矩阵，ρ(Fpi,Fpj)是矩阵余弦相似度，为Fpi和Fpj的弗罗贝纽斯内积；Num是中心特征矩阵和邻域特征矩阵的个数之和，σ是局部权重参数，SPpi的值域为[0,1]；
②计算LCU的显著值：
由公式(1)得到像素点的显著值，LCU的显著值用该LCU所有像素点的显著值之和表示，设LCU中第pi个像素点的坐标为(m，n)，LCU的显著值用公式(2)进行计算；
<mrow>
<msub>
<mi>S</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>W</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>H</mi>
</munderover>
<msub>
<mi>SP</mi>
<mrow>
<mi>p</mi>
<mi>i</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Si表示按编码顺序的第i个LCU的显著值；SPpi表示第i个LCU中像素坐标为(m，n)的像素点显著值，W表示LCU的宽度，H表示LCU的高度；
第二步：计算基于视觉显著性的加权失真
首先估算第i个LCU的失真Di，再引入第i个LCU的显著值Si作为权重对Di进行有侧重的考量；
失真Di用原始像素值和重建像素值之间的均方误差(Mean Square Error，MSE)表示，本发明用R-λ模型进行估算，估算方法如公式(3)所示：
<mrow>
<msub>
<mi>D</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mfrac>
<mi>&alpha;</mi>
<mrow>
<mn>1</mn>
<mo>+</mo>
<mi>&beta;</mi>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<msub>
<mi>&lambda;</mi>
<mi>i</mi>
</msub>
<mi>&alpha;</mi>
</mfrac>
<mo>)</mo>
</mrow>
<mfrac>
<mrow>
<mn>1</mn>
<mo>+</mo>
<mi>&beta;</mi>
</mrow>
<mi>&beta;</mi>
</mfrac>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，α和β为和输入视频内容相关的参数，α和β的初始值设置及更新方法通过HEVC参考软件获得，将第i个LCU的显著值Si作为Di的权重，得到基于视觉显著性的加权失真，λi表示第i个LCU的λ，如公式(4)所示：
Diweight＝Si·Di (4)
其中，Diweight表示第i个LCU的加权失真；
第三步：计算λi
失真加权后的率失真优化表示为：
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>n</mi>
<mi>i</mi>
</msub>
<msub>
<mi>D</mi>
<mrow>
<mi>i</mi>
<mi>w</mi>
<mi>e</mi>
<mi>i</mi>
<mi>g</mi>
<mi>h</mi>
<mi>t</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mi>s</mi>
<mi>u</mi>
<mi>b</mi>
<mi>j</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
<mi> </mi>
<mi>t</mi>
<mi>o</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>n</mi>
<mi>i</mi>
</msub>
<msub>
<mi>bpp</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mi>R</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，ni表示第i个LCU包含的像素数，N表示一帧图片中LCU的个数，R为当前帧的目标码率，bppi表示第i个LCU的每像素消耗比特，其中bppi的计算方法如下：
<mrow>
<msub>
<mi>bpp</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<msub>
<mi>&lambda;</mi>
<mi>i</mi>
</msub>
<mi>&alpha;</mi>
</mfrac>
<mo>)</mo>
</mrow>
<mfrac>
<mn>1</mn>
<mi>&beta;</mi>
</mfrac>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
λi用公式(7)进行计算：
<mrow>
<msub>
<mi>&lambda;</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mi>&alpha;</mi>
<mo>&times;</mo>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mfrac>
<mi>R</mi>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>n</mi>
<mi>j</mi>
</msub>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>S</mi>
<mi>j</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mfrac>
<mn>1</mn>
<mi>&beta;</mi>
</mfrac>
</msup>
</mrow>
</mfrac>
<mo>&CenterDot;</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>S</mi>
<mi>i</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mfrac>
<mn>1</mn>
<mi>&beta;</mi>
</mfrac>
</msup>
<mo>&rsqb;</mo>
</mrow>
<mi>&beta;</mi>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
第四步：计算量化参数
量化参数是码率控制的核心，根据第三步公式(7)所得的λi计算第i个LCU的量化参数QPi，计算方法如下：
QPi＝4.2005lnλi+13.7122 (8)
通过λi确定QPi，即可实现码率控制的目标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711335032.7A CN108063944B (zh) | 2017-12-14 | 2017-12-14 | 一种基于视觉显著性的感知码率控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711335032.7A CN108063944B (zh) | 2017-12-14 | 2017-12-14 | 一种基于视觉显著性的感知码率控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108063944A true CN108063944A (zh) | 2018-05-22 |
| CN108063944B CN108063944B (zh) | 2021-07-13 |
Family
ID=62138646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711335032.7A Active CN108063944B (zh) | 2017-12-14 | 2017-12-14 | 一种基于视觉显著性的感知码率控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108063944B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109309834A (zh) * | 2018-11-21 | 2019-02-05 | 北京航空航天大学 | 基于卷积神经网络和hevc压缩域显著信息的视频压缩方法 |
| CN109451316A (zh) * | 2018-11-21 | 2019-03-08 | 北京航空航天大学 | 一种基于cu显著性的qp选择算法 |
| CN109451310A (zh) * | 2018-11-21 | 2019-03-08 | 北京航空航天大学 | 一种基于显著性加权的率失真优化方法及装置 |
| CN110062236A (zh) * | 2019-05-10 | 2019-07-26 | 上海大学 | 基于空时域恰可感知失真的码率分配方法、系统及介质 |
| CN111696081A (zh) * | 2020-05-18 | 2020-09-22 | 南京大学 | 一种由视野视频质量推理全景视频质量的方法 |
| CN112055263A (zh) * | 2020-09-08 | 2020-12-08 | 西安交通大学 | 基于显著性检测的360°视频流传输系统 |
| CN112738518A (zh) * | 2019-10-28 | 2021-04-30 | 北京博雅慧视智能技术研究院有限公司 | 一种基于感知的ctu级视频编码的码率控制方法 |
| WO2021093059A1 (zh) * | 2019-11-15 | 2021-05-20 | 网宿科技股份有限公司 | 一种感兴趣区域的识别方法、系统及设备 |
| CN113630619A (zh) * | 2021-08-12 | 2021-11-09 | 三星电子（中国）研发中心 | 节目录制方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010029472A1 (en) * | 2008-09-11 | 2010-03-18 | Koninklijke Philips Electronics N.V. | Inserting advertisements in connection with user-created content |
| CN101827267A (zh) * | 2010-04-20 | 2010-09-08 | 上海大学 | 基于视频图像分割技术的码率控制方法 |
| CN103873876A (zh) * | 2014-03-17 | 2014-06-18 | 天津大学 | 基于显著性的多视点彩色加深度视频编码方法 |
| US20160063821A1 (en) * | 2011-08-30 | 2016-03-03 | Digimarc Corporation | Methods and arrangements for identifying objects |
| CN105847807A (zh) * | 2011-10-17 | 2016-08-10 | 谷歌公司 | 由视频描述长度引导的视频编码的速率-失真-复杂性优化 |
| CN106303530A (zh) * | 2016-10-20 | 2017-01-04 | 北京工业大学 | 一种融合视觉感知特性的码率控制方法 |
| CN106358040A (zh) * | 2016-08-30 | 2017-01-25 | 上海交通大学 | 一种基于显著性的码率控制比特分配方法 |
-
2017
- 2017-12-14 CN CN201711335032.7A patent/CN108063944B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010029472A1 (en) * | 2008-09-11 | 2010-03-18 | Koninklijke Philips Electronics N.V. | Inserting advertisements in connection with user-created content |
| CN101827267A (zh) * | 2010-04-20 | 2010-09-08 | 上海大学 | 基于视频图像分割技术的码率控制方法 |
| US20160063821A1 (en) * | 2011-08-30 | 2016-03-03 | Digimarc Corporation | Methods and arrangements for identifying objects |
| CN105847807A (zh) * | 2011-10-17 | 2016-08-10 | 谷歌公司 | 由视频描述长度引导的视频编码的速率-失真-复杂性优化 |
| CN103873876A (zh) * | 2014-03-17 | 2014-06-18 | 天津大学 | 基于显著性的多视点彩色加深度视频编码方法 |
| CN106358040A (zh) * | 2016-08-30 | 2017-01-25 | 上海交通大学 | 一种基于显著性的码率控制比特分配方法 |
| CN106303530A (zh) * | 2016-10-20 | 2017-01-04 | 北京工业大学 | 一种融合视觉感知特性的码率控制方法 |
Non-Patent Citations (3)
| Title |
|---|
| HENGLU WEI: "Visual saliency based perceptual video coding in HEVC", 《2016 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS)》 * |
| RUAN RUOLIN: "A novel rate control algorithm of video coding based on visual perceptual characteristic", 《 2011 6TH INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE & EDUCATION (ICCSE)》 * |
| 罗晓林: "基于视觉显著性的多视点纹理视频编码算法", 《计算机科学》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109451316A (zh) * | 2018-11-21 | 2019-03-08 | 北京航空航天大学 | 一种基于cu显著性的qp选择算法 |
| CN109451310A (zh) * | 2018-11-21 | 2019-03-08 | 北京航空航天大学 | 一种基于显著性加权的率失真优化方法及装置 |
| CN109309834A (zh) * | 2018-11-21 | 2019-02-05 | 北京航空航天大学 | 基于卷积神经网络和hevc压缩域显著信息的视频压缩方法 |
| CN109451310B (zh) * | 2018-11-21 | 2020-10-09 | 北京航空航天大学 | 一种基于显著性加权的率失真优化方法及装置 |
| CN109451316B (zh) * | 2018-11-21 | 2020-11-24 | 北京航空航天大学 | 一种基于cu显著性的qp选择算法 |
| CN109309834B (zh) * | 2018-11-21 | 2021-01-05 | 北京航空航天大学 | 基于卷积神经网络和hevc压缩域显著信息的视频压缩方法 |
| CN110062236A (zh) * | 2019-05-10 | 2019-07-26 | 上海大学 | 基于空时域恰可感知失真的码率分配方法、系统及介质 |
| CN110062236B (zh) * | 2019-05-10 | 2021-04-23 | 上海大学 | 基于空时域恰可感知失真的码率分配方法、系统及介质 |
| CN112738518B (zh) * | 2019-10-28 | 2022-08-19 | 北京博雅慧视智能技术研究院有限公司 | 一种基于感知的ctu级视频编码的码率控制方法 |
| CN112738518A (zh) * | 2019-10-28 | 2021-04-30 | 北京博雅慧视智能技术研究院有限公司 | 一种基于感知的ctu级视频编码的码率控制方法 |
| WO2021093059A1 (zh) * | 2019-11-15 | 2021-05-20 | 网宿科技股份有限公司 | 一种感兴趣区域的识别方法、系统及设备 |
| CN111696081A (zh) * | 2020-05-18 | 2020-09-22 | 南京大学 | 一种由视野视频质量推理全景视频质量的方法 |
| CN111696081B (zh) * | 2020-05-18 | 2024-04-09 | 南京大学 | 一种由视野视频质量推理全景视频质量的方法 |
| CN112055263B (zh) * | 2020-09-08 | 2021-08-13 | 西安交通大学 | 基于显著性检测的360°视频流传输系统 |
| CN112055263A (zh) * | 2020-09-08 | 2020-12-08 | 西安交通大学 | 基于显著性检测的360°视频流传输系统 |
| CN113630619A (zh) * | 2021-08-12 | 2021-11-09 | 三星电子（中国）研发中心 | 节目录制方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108063944B (zh) | 2021-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108063944A (zh) | 一种基于视觉显著性的感知码率控制方法 | |
| CN104539962B (zh) | 一种融合视觉感知特征的可分层视频编码方法 | |
| CN109559276B (zh) | 一种基于质量评价和特征统计的图像超分辨率重建方法 | |
| CN103124347B (zh) | 利用视觉感知特性指导多视点视频编码量化过程的方法 | |
| CN106604031A (zh) | 一种基于兴趣区域的h.265视频质量提升方法 | |
| CN103634601B (zh) | 基于结构相似度的高效视频编码感知码率控制优化方法 | |
| CN108681991A (zh) | 基于生成对抗网络的高动态范围反色调映射方法及系统 | |
| CN101325711A (zh) | 基于时空掩盖效应的自适应码率控制方法 | |
| Tian et al. | Just noticeable difference level prediction for perceptual image compression | |
| CN103957410B (zh) | 一种基于残差频域复杂度的i帧码率控制方法 | |
| CN109831664B (zh) | 基于深度学习的快速压缩立体视频质量评价方法 | |
| Jiang et al. | Toward top-down just noticeable difference estimation of natural images | |
| CN101404766B (zh) | 一种多视点视频信号的编码方法 | |
| CN110324618A (zh) | 基于vmaf准则的提高视频质量的优化编码方法 | |
| CN109997360A (zh) | 基于感知度量分类对视频进行编码和解码的方法和装置 | |
| CN107959848A (zh) | 基于三维卷积神经网络的通用型无参考视频质量评价算法 | |
| CN105120290A (zh) | 一种深度视频快速编码方法 | |
| CN105120295A (zh) | 一种基于四叉树编码分割的hevc复杂度控制方法 | |
| CN107454413A (zh) | 一种保留特征的视频编码方法 | |
| CN109922346A (zh) | 一种用于压缩感知图像信号重构的卷积神经网络 | |
| CN109146061A (zh) | 神经网络模型的处理方法和装置 | |
| CN105654465A (zh) | 一种采用视差补偿视点间滤波的立体图像质量评价方法 | |
| CN104992419A (zh) | 基于jnd因子的超像素高斯滤波预处理方法 | |
| CN111447446A (zh) | 一种基于人眼视觉区域重要性分析的hevc码率控制方法 | |
| CN108447101B (zh) | 一种基于jnd模型的图像压缩感知方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |