CN107592533A - 一种低复杂度虚拟现实设备的屏幕内容编码算法 - Google Patents
一种低复杂度虚拟现实设备的屏幕内容编码算法 Download PDFInfo
- Publication number
- CN107592533A CN107592533A CN201711037018.9A CN201711037018A CN107592533A CN 107592533 A CN107592533 A CN 107592533A CN 201711037018 A CN201711037018 A CN 201711037018A CN 107592533 A CN107592533 A CN 107592533A
- Authority
- CN
- China
- Prior art keywords
- mrow
- coding unit
- msub
- coding
- virtual reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种低复杂度虚拟现实设备的屏幕内容编码算法，包括如下步骤：(1)对编码单元的分类器特征进行计算；(2)选择决策树分类算法，基于编码单元的类别和计算出的分类特征，对其进行训练；(3)在编码时，使用训练好的决策树对编码单元进行预分类，代替穷举编码选择来选择帧内编码模式。本发明提出来一种低复杂度虚拟现实设备的屏幕内容编码算法，降低了虚拟现实头戴式显示设备的屏幕内容视频的编码复杂度。
Description
技术领域
本发明涉及屏幕内容视频通信领域，尤其是一种低复杂度虚拟现实设备的屏幕内容编码算法。
背景技术
头戴式虚拟现实设备由于价格及便利性的优势受到了普通消费者的欢迎。随着虚拟现实用户和应用内容的不断增加及云技术的兴起，虚拟现实设备之间进行屏幕内容分享的需求也在急剧增加，并相应的产生了如云游戏、无线屏幕显示、镜像屏幕、以及屏幕虚拟化等应用。在这些应用中，屏幕分享通常需要以屏幕内容视频的形式在虚拟现实设备之间进行实时地传输，因此对于传输的时延有很高的要求。屏幕内容视频编码是屏幕内容视频通信中决定系统性能的核心技术之一。
目前，已有的屏幕内容编码方法主要专注于提高压缩性能、降低编码复杂度等方面，并已经在这些方面取得了很大进展。然而，上述屏幕内容编码方法在针对虚拟现实头戴式设备的屏幕内容视频编码方面仍存在如下缺点：虚拟头戴式设备屏幕内容视频中有左、右眼视图，在编码时不但要进行传统的时域帧间预测、还要进行视点间预测及时域加视点间预测，编码过程比普通屏幕内容编码更为复杂；单从帧内模式选择来说，一个编码单元需要从多种帧内编码模式、调色板模式以及帧内块复制模式中进行选择，同时递归分解编码结构使得每个编码单元(除了最小的单元之外)面临了是否要进一步分解成更小的单元的选择。已有的高效率视频编码(HEVC)标准中的屏幕内容编码标准(HEVC-SCC)参考软件模型使用了穷举搜索的方法，为当前编码单元的每一个可能的模式计算率失真代价以及分解成更小的单元后每种模式的率失真代价，从中选择最优的模式，对编码器的要求较高。
发明内容
本发明所要解决的技术问题在于，提供一种低复杂度虚拟现实设备的屏幕内容编码算法，能够降低虚拟现实头戴式显示设备的屏幕内容视频的编码复杂度。
为解决上述技术问题，本发明提供一种低复杂度虚拟现实设备的屏幕内容编码算法，包括如下步骤：
(1)对编码单元的分类器特征进行计算；
(2)选择决策树分类算法，基于编码单元的类别和计算出的分类特征，对其进行训练；
(3)在编码时，使用训练好的决策树对编码单元进行预分类，代替穷举编码选择来选择帧内编码模式。
优选的，步骤(1)中，编码单元的分类器特征包括编码单元的大小、量化步长值、编码单元及子编码单元的颜色数目，编码单元及子编码单元的方差，编码单元及子编码单元的峰度。
优选的，编码单元及子编码单元的方差用σ表示，可用如下公式计算：
其中x(i,j)为当前编码单元CU中位于坐标(i,j)的一个样本值，μ为样本均值，N为该编码单元的样本总数。
优选的，编码单元及子编码单元的峰度用下面的公式进行计算
峰度用于衡量样本值分布偏离情况，正态分布的峰度为3，当时间序列的曲线峰值比正态分布的高时，峰度大于3；当比正态分布的低时，峰度小于3。
优选的，步骤(2)中，在决策树的构建中，选择步骤(1)中的特征作为分类属性，分类属性的阈值由样本编码单元的类别和分类特征数值训练而成。
本发明的有益效果为：本发明提出来一种低复杂度虚拟现实设备的屏幕内容编码算法，降低了虚拟现实头戴式显示设备的屏幕内容视频的编码复杂度。
附图说明
图1为本发明的虚拟现实头戴式显示设备的编码模式选择示意图。
具体实施方式
如图1所示，一种低复杂度虚拟现实设备的屏幕内容编码算法，包括如下步骤：
(1)对编码单元的分类器特征进行计算；
(2)选择决策树分类算法，基于编码单元的类别和计算出的分类特征，对其进行训练；
(3)在编码时，使用训练好的决策树对编码单元进行预分类，代替穷举编码选择来选择帧内编码模式。
首先对编码单元的多个分类器特征进行计算，包括以下特征：
特征1：编码单元的大小。
特征2：量化步长值。
特征3：编码单元及子编码单元的颜色数目。由于屏幕内容编码在颜色数目有限的区域使用调色板模式，因此每个单元的颜色数目是非常重要的特征之一。
特征4：编码单元及子编码单元的方差。一个编码单元的方差用σ表示，可用如下公式计算
其中x(i,j)为当前编码单元CU中位于坐标(i,j)的一个样本值，μ为样本均值，N为该编码单元的样本总数。
特征5：编码单元及子编码单元的峰度(kurtosis)。峰度是对于分布的标准四阶中心距,可用下面的公式进行计算
峰度用于衡量样本值分布偏离情况。正态分布的峰度为3。当时间序列的曲线峰值比正态分布的高时，峰度大于3；当比正态分布的低时，峰度小于3。
然后选择决策树分类算法，基于编码单元的类别和分类特征，生成决策树；在决策树的构建中，选择步骤(1)中的特征作为分裂属性，分类属性的阈值由样本编码单元的类别和分类特征数值训练而成。
在编码时，使用决策树对编码单元进行预归类，减少每个编码单元帧内编码需要搜索的编码选项。除了编码模式选择，其它编码环节与普通的虚拟现实设备屏幕内容编码相同。
与现有技术相比，本发明提出来一种低复杂度虚拟现实设备的屏幕内容编码算法，降低了虚拟现实头戴式显示设备的屏幕内容视频的编码复杂度。
尽管本发明就优选实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。
Claims (5)
1.一种低复杂度虚拟现实设备的屏幕内容编码算法，其特征在于，包括如下步骤：
(1)对编码单元的分类器特征进行计算；
(2)选择决策树分类算法，基于编码单元的类别和计算出的分类特征，对其进行训练；
(3)在编码时，使用训练好的决策树对编码单元进行预分类，代替穷举编码选择来选择帧内编码模式。
2.如权利要求1所述的低复杂度虚拟现实设备的屏幕内容编码算法，其特征在于，步骤(1)中，编码单元的分类器特征包括编码单元的大小、量化步长值、编码单元及子编码单元的颜色数目，编码单元及子编码单元的方差，编码单元及子编码单元的峰度。
3.如权利要求2所述的低复杂度虚拟现实设备的屏幕内容编码算法，其特征在于，编码单元及子编码单元的方差用σ表示，可用如下公式计算：
<mrow>
<mi>&sigma;</mi>
<mo>=</mo>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>-</mo>
<mi>&mu;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>&Sigma;</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
<mo>&Element;</mo>
<mi>C</mi>
<mi>U</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<mi>&mu;</mi>
<mo>)</mo>
</mrow>
</mrow>
<mi>N</mi>
</mfrac>
</mrow>
其中x(i,j)为当前编码单元CU中位于坐标(i,j)的一个样本值，μ为样本均值，N为该编码单元的样本总数。
4.如权利要求2所述的低复杂度虚拟现实设备的屏幕内容编码算法，其特征在于，编码单元及子编码单元的峰度用下面的公式进行计算
<mrow>
<mi>k</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>E</mi>
<msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>-</mo>
<mi>&mu;</mi>
<mo>)</mo>
</mrow>
<mn>4</mn>
</msup>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>4</mn>
</msup>
</mfrac>
<mo>=</mo>
<mfrac>
<mrow>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<msub>
<mi>&Sigma;</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
<mo>&Element;</mo>
<mi>C</mi>
<mi>U</mi>
</mrow>
</msub>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<mi>&mu;</mi>
<mo>)</mo>
</mrow>
<mn>4</mn>
</msup>
</mrow>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<msub>
<mi>&Sigma;</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
<mo>&Element;</mo>
<mi>C</mi>
<mi>U</mi>
</mrow>
</msub>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<mi>&mu;</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mfrac>
</mrow>
峰度用于衡量样本值分布偏离情况，正态分布的峰度为3，当时间序列的曲线峰值比正态分布的高时，峰度大于3；当比正态分布的低时，峰度小于3。
5.如权利要求1所述的低复杂度虚拟现实设备的屏幕内容编码算法，其特征在于，步骤(2)中，在决策树的构建中，选择步骤(1)中的特征作为分类属性，分类属性的阈值由样本编码单元的类别和分类特征数值训练而成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711037018.9A CN107592533A (zh) | 2017-10-30 | 2017-10-30 | 一种低复杂度虚拟现实设备的屏幕内容编码算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711037018.9A CN107592533A (zh) | 2017-10-30 | 2017-10-30 | 一种低复杂度虚拟现实设备的屏幕内容编码算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107592533A true CN107592533A (zh) | 2018-01-16 |
Family
ID=61044147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711037018.9A Pending CN107592533A (zh) | 2017-10-30 | 2017-10-30 | 一种低复杂度虚拟现实设备的屏幕内容编码算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107592533A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108495135A (zh) * | 2018-03-14 | 2018-09-04 | 宁波大学 | 一种屏幕内容视频编码的快速编码方法 |
| CN109040764A (zh) * | 2018-09-03 | 2018-12-18 | 重庆邮电大学 | 一种基于决策树的hevc屏幕内容帧内快速编码算法 |
| CN109089114A (zh) * | 2018-09-28 | 2018-12-25 | 河海大学 | 一种复杂度自适应的虚拟现实设备的屏幕内容编码算法 |
| CN109889831A (zh) * | 2019-02-18 | 2019-06-14 | 北方工业大学 | 基于cu尺寸的360度视频帧内模式选择 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105306947A (zh) * | 2015-10-27 | 2016-02-03 | 中国科学院深圳先进技术研究院 | 基于机器学习的视频转码方法 |
| CN106096652A (zh) * | 2016-06-12 | 2016-11-09 | 西安电子科技大学 | 基于稀疏编码和小波自编码器的极化sar图像分类方法 |
| CN106488243A (zh) * | 2016-11-03 | 2017-03-08 | 河海大学 | 一种多描述屏幕内容视频编码方法 |
-
2017
- 2017-10-30 CN CN201711037018.9A patent/CN107592533A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105306947A (zh) * | 2015-10-27 | 2016-02-03 | 中国科学院深圳先进技术研究院 | 基于机器学习的视频转码方法 |
| CN106096652A (zh) * | 2016-06-12 | 2016-11-09 | 西安电子科技大学 | 基于稀疏编码和小波自编码器的极化sar图像分类方法 |
| CN106488243A (zh) * | 2016-11-03 | 2017-03-08 | 河海大学 | 一种多描述屏幕内容视频编码方法 |
Non-Patent Citations (1)
| Title |
|---|
| FANYI DUANMU: "Fast Mode and Partition Decision Using Machine Learning for Intra-Frame Coding in HEVC Screen Content Coding Extension", 《IEEE JOURNAL ON EMERGING AND SELECTED TOPICS IN CIRCUITS AND SYSTEMS》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108495135A (zh) * | 2018-03-14 | 2018-09-04 | 宁波大学 | 一种屏幕内容视频编码的快速编码方法 |
| CN108495135B (zh) * | 2018-03-14 | 2020-11-10 | 宁波大学 | 一种屏幕内容视频编码的快速编码方法 |
| CN109040764A (zh) * | 2018-09-03 | 2018-12-18 | 重庆邮电大学 | 一种基于决策树的hevc屏幕内容帧内快速编码算法 |
| CN109040764B (zh) * | 2018-09-03 | 2021-09-28 | 重庆邮电大学 | 一种基于决策树的hevc屏幕内容帧内快速编码算法 |
| CN109089114A (zh) * | 2018-09-28 | 2018-12-25 | 河海大学 | 一种复杂度自适应的虚拟现实设备的屏幕内容编码算法 |
| CN109089114B (zh) * | 2018-09-28 | 2022-01-28 | 河海大学 | 一种复杂度自适应的虚拟现实设备的屏幕内容编码方法 |
| CN109889831A (zh) * | 2019-02-18 | 2019-06-14 | 北方工业大学 | 基于cu尺寸的360度视频帧内模式选择 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107592533A (zh) | 一种低复杂度虚拟现实设备的屏幕内容编码算法 | |
| CN103124347B (zh) | 利用视觉感知特性指导多视点视频编码量化过程的方法 | |
| CN106131547B (zh) | 视频编码中帧内预测模式的快速决策方法 | |
| CN107454405A (zh) | 包括图像编码方法和图像解码方法的图像显示方法 | |
| CN110139109A (zh) | 图像的编码方法及相应终端 | |
| CN104247422A (zh) | 用于改进帧内预测的新的角度表 | |
| CN106170092A (zh) | 用于无损编码的快速编码方法 | |
| CN107852495A (zh) | 低时延两次视频代码化 | |
| CN102427530A (zh) | 帧内预测方法 | |
| CN115190312B (zh) | 一种基于神经网络的跨分量色度预测方法及装置 | |
| CN106559671B (zh) | 一种显示图像压缩方法及系统 | |
| CN103702122B (zh) | 编码模式选择方法、装置及编码器 | |
| CN106937112A (zh) | 基于h.264视频压缩标准的码率控制方法 | |
| US20240104784A1 (en) | Entropy encoding method and apparatus, and entropy decoding method and apparatus | |
| CN106303521A (zh) | 一种基于感知敏感度的hevc率失真优化方法 | |
| US9998753B1 (en) | Prediction dependent transform coding | |
| CN112104867B (zh) | 一种视频处理方法、视频处理装置、智能设备及存储介质 | |
| CN107018412A (zh) | 一种基于关键帧编码单元划分模式的dvc‑hevc视频转码方法 | |
| CN101710985A (zh) | 一种用于图像编码的图像亮度补偿方法 | |
| CN101895753B (zh) | 基于网络拥塞程度的视频传输方法、系统及装置 | |
| Alam et al. | An improved JPEG image compression algorithm by modifying luminance quantization table | |
| CN113822954A (zh) | 一种面向资源约束下人机协同场景的深度学习图像编码方法 | |
| CN103596003A (zh) | 高性能视频编码的帧间预测快速模式选择方法 | |
| CN101895752A (zh) | 基于图像视觉质量的视频传输方法、系统及装置 | |
| CN106170081A (zh) | 一种无线虚拟现实服务器、系统及其数据压缩传输方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180116 |