CN104754360B - 用于自由视点视频编码过程中的负载预测方法及装置 - Google Patents
用于自由视点视频编码过程中的负载预测方法及装置 Download PDFInfo
- Publication number
- CN104754360B CN104754360B CN201510137212.9A CN201510137212A CN104754360B CN 104754360 B CN104754360 B CN 104754360B CN 201510137212 A CN201510137212 A CN 201510137212A CN 104754360 B CN104754360 B CN 104754360B
- Authority
- CN
- China
- Prior art keywords
- viewpoint video
- mrow
- load
- frame
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了用于自由视点视频编码过程中的负载预测方法及装置，该方法包括如下步骤：输入独立视点视频的纹理图像和深度图像序列，以及非独立视点视频的纹理图像和深度图像序列；对所述独立视点视频进行编码；根据所述非独立视点视频与独立视点视频之间的相关性，利用所述非独立视点视频与独立视点视频之间的视差向量、以及所述独立视点视频的编码结果，找到与所述独立视点视频的编码单元对应的非独立视点视频的对应帧的对应编码单元，确定对应的第n帧的理论编码负载；确定马尔科夫模型系数；计算所述非独立视点视频的第n帧的实际编码负载。本发明能够有效的提高负载预测的准确度，促进了分布式计算方法在多视点视频编码方法中的应用。
Description
【技术领域】
本发明涉及视频编码技术，尤其涉及一种用于自由视点视频编码过程中的负载预测方法及装置。
【背景技术】
随着分布式计算、并行计算的普遍与流行，支持3D视频格式(如“多视点视频”和“多视点视频+深度图”格式)的编码标准在编码同一视频多个视点过程中也引入了并行编码。而对于分布式计算及并行处理过程中，平衡各个服务器之间的负载，使并行过程效率最大化的要求越来越强烈。
而负载预测算法则在平衡各个服务器之间的负载的过程中具有至关重要的作用。传统的负载预测算法，如PAST(利用当前负载的前一负载来预测当前负载的算法)，MA(利用过去N个负载的平均值来预测当前负载)，EWA(由过去N个负载指数加权得到当前负载)等算法在视频编码并行计算过程中的效果不尽如人意。
【发明内容】
由于视频中的内容可以看作为一个马尔可夫随机场，同时同一视频的不同视点中，其视频内容有很大的相似性，因此如能将这两者结合起来对视频编码负载进行预测，将会得大大提高负载预测的准确率，使并行计算在视频编码过程中得以有效的发挥作用。
为了克服现有技术的不足，本发明提供了一种一种用于自由视点视频编码过程中的负载预测方法及装置。
一种用于自由视点视频编码过程中的负载预测方法，包括如下步骤：
A1，输入独立视点视频的纹理图像和深度图像序列，以及非独立视点视频的纹理图像和深度图像序列；
A2，对所述独立视点视频进行编码；
A3，根据所述非独立视点视频与独立视点视频之间的相关性，利用所述非独立视点视频与独立视点视频之间的视差向量、以及所述独立视点视频的编码结果，找到与所述独立视点视频的编码单元对应的非独立视点视频的对应帧的对应编码单元，确定对应的第n帧的理论编码负载Wp(n)；
A4，通过如下算法确定马尔科夫模型系数hn(k)：
其中，hn(k)表示第n帧与所述第n帧的前k个帧的理论编码负载相关；
A5，计算所述非独立视点视频的第n帧的实际编码负载W(n)：
其中，N为正整数。
在一个实施例中，在步骤A5之后还包括如下步骤：
A6，计算所述非独立视点视频中各帧的实际编码负载；
A7，根据各帧的实际编码负载和服务器的负载，分配对应的帧给对应的服务器进行编码。
在一个实施例中，在步骤A2中，采用HEVC对所述独立视点视频进行编码。
本发明还提供了一种用于自由视点视频编码过程中的负载预测装置，包括：
第一处理单元，用于输入独立视点视频的纹理图像和深度图像序列，以及非独立视点视频的纹理图像和深度图像序列；
第二处理单元，用于对所述独立视点视频进行编码；
第三处理单元，用于根据所述非独立视点视频与独立视点视频之间的相关性，利用所述非独立视点视频与独立视点视频之间的视差向量、以及所述独立视点视频的编码结果，找到非独立视点视频的对应帧的对应编码单元，确定对应的第n帧的理论编码负载Wp(n)；
第四处理单元，用于通过如下算法确定马尔科夫模型系数hn(k)：
其中，hn(k)表示第n帧与所述第n帧的前k个帧的理论编码负载相关；
第五处理单元，用于计算所述非独立视点视频的第n帧的实际编码负载W(n)：
其中，N为正整数。
在一个实施例中，还包括：
第六处理单元，用于计算所述非独立视点视频中各帧的实际编码负载；
第七处理单元，用于根据各帧的实际编码负载和服务器的负载，分配对应的帧给对应的服务器进行编码。
在一个实施例中，第二处理单元采用HEVC对所述独立视点视频进行编码。
本发明的有益效果是：本发明一个实施例的通过建立了马尔可夫负载预测模型，其负载变化更符合实际情况，同时得用同一视频不同视点间的相关性来对其它视点中的负载进行理论值预测，在此基础上计算当前负载理论值与历史负载理论值的差值，从而生成马尔可夫预测模型中实际负载的马尔可夫系数，有效的利用了各个历史负载实际值对当前负载值的影响，利用本发明，能够有效的提高负载预测的准确度，促进了分布式计算方法在多视点视频编码方法中的应用。
【附图说明】
图1是本发明一种实施例的自由视点视频编码过程中的负载预测方法流程图。
【具体实施方式】
以下对发明的较佳实施例作进一步详细说明。
如图1所示，是本发明一个实施例的用于自由视点视频编码过程中的负载预测方法流程图，包括如下步骤：
A1，输入两个以上视点视频的纹理图像和深度图像序列。一些视点视频可以作为独立视点视频，另一些视点视频可以作为非独立视点视频。输入的多视点立体视频序列可以通过如下方式获得：通过摄像机、照相机采集所得，或者通过计算机工具所得的视频序列，数据格式不限，该序列可用于立体观看。
A2，对独立视点视频进行编码。可以利用原始编码器进行编码，如原始编码器为HEVC中所包含编码算法。
A3，根据所述非独立视点视频与独立视点视频之间的相关性，利用所述非独立视点视频与独立视点视频之间的视差向量、以及所述独立视点视频的编码结果，找到非独立视点视频的对应帧的对应编码单元，确定对应的第n帧的理论编码负载Wp(n)。
运用所述非独立视点视频与独立视点视频之间的相关性，通过统计学习独立视点视频中编码单元的划分与非独立视点视频中的编码单元的划分，并通过视差向量寻找两个视频中编码单元的对应关系，以此来预测非独立视点中的编码单元的划分(例如独立视点视频中第n帧的第k个编码单元与非独立视点视频中第n帧的第k+1个编码单元对应)，从而判断其理论编码负载Wp(n)，划分信息是以各最大编码单元内信息的存储单元为单位记录的，计算视差向量可采用HEVC标准中所列方法。本领域技术人员熟知，编码单元越大，理论编码负载越大。这样可以代替蛮力算法，加速编码过程。
A4，通过如下算法确定马尔科夫模型系数hn(k)：
其中，hn(k)表示第n帧与所述第n帧的前k个帧的理论编码负载相关；
上述算法中，Wp(n-k)表示历史理论负载预测值，Wp(n)表示当前第n帧的理论负载预测值，此差值可用绝对值表示亦可以用平方差及方均根表示。
A6、利用马尔可夫模型和历史负载数据对当前编码的非独立视点视频的第n帧的实际编码负载W(n)进行预测，可由如下公式计算：
其中，W(n)为实际负载，其预测值与前N个负载值有关，N为系数，可以根据实际应用情况先取最佳的取值。
A6，分别计算所述非独立视点视频中各帧的实际编码负载；
A7，根据各帧的实际编码负载和服务器的负载，分配对应的帧给对应的服务器进行编码。例如，对负载较小的服务器分配较多的编码任务，对负载较多的服务器分配较少的编码任务，从而均衡不同服务器的编码任务。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。
Claims (6)
1.一种用于自由视点视频编码过程中的负载预测方法，其特征是，包括如下步骤：
A1，输入独立视点视频的纹理图像和深度图像序列，以及非独立视点视频的纹理图像和深度图像序列；
A2，对所述独立视点视频进行编码；
A3，根据所述非独立视点视频与独立视点视频之间的相关性，利用所述非独立视点视频与独立视点视频之间的视差向量、以及所述独立视点视频的编码结果，找到与所述独立视点视频的编码单元对应的非独立视点视频的对应帧的对应编码单元，确定对应的第n帧的理论编码负载Wp(n)；
A4，通过如下算法确定马尔科夫模型系数hn(k)：
<mrow>
<msub>
<mi>h</mi>
<mi>n</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mi>p</mi>
</msub>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
<mo>-</mo>
<msub>
<mi>W</mi>
<mi>p</mi>
</msub>
<mo>(</mo>
<mi>n</mi>
<mo>-</mo>
<mi>k</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mrow>
<mi>&Sigma;</mi>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mi>p</mi>
</msub>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
<mo>-</mo>
<msub>
<mi>W</mi>
<mi>p</mi>
</msub>
<mo>(</mo>
<mi>n</mi>
<mo>-</mo>
<mi>k</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
</mrow>
Σhn(k)＝1；
其中，hn(k)表示第n帧与所述第n帧的前k个帧的理论编码负载相关；
A5，计算所述非独立视点视频的第n帧的实际编码负载W(n)：
<mrow>
<mi>W</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mi>W</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>-</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<msub>
<mi>h</mi>
<mi>n</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中，N为小于n的正整数。
2.如权利要求1所述的用于自由视点视频编码过程中的负载预测方法，其特征是，在步骤A5之后还包括如下步骤：
A6，计算所述非独立视点视频中各帧的实际编码负载；
A7，根据各帧的实际编码负载和服务器的负载，分配对应的帧给对应的服务器进行编码。
3.如权利要求1所述的用于自由视点视频编码过程中的负载预测方法，其特征是，在步骤A2中，采用HEVC对所述独立视点视频进行编码。
4.一种用于自由视点视频编码过程中的负载预测装置，其特征是，包括：
第一处理单元，用于输入独立视点视频的纹理图像和深度图像序列，以及非独立视点视频的纹理图像和深度图像序列；
第二处理单元，用于对所述独立视点视频进行编码；
第三处理单元，用于根据所述非独立视点视频与独立视点视频之间的相关性，利用所述非独立视点视频与独立视点视频之间的视差向量、以及所述独立视点视频的编码结果，找到非独立视点视频的对应帧的对应编码单元，确定对应的第n帧的理论编码负载Wp(n)；
第四处理单元，用于通过如下算法确定马尔科夫模型系数hn(k)：
<mrow>
<msub>
<mi>h</mi>
<mi>n</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mi>p</mi>
</msub>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
<mo>-</mo>
<msub>
<mi>W</mi>
<mi>p</mi>
</msub>
<mo>(</mo>
<mi>n</mi>
<mo>-</mo>
<mi>k</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mrow>
<mi>&Sigma;</mi>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mi>p</mi>
</msub>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
<mo>-</mo>
<msub>
<mi>W</mi>
<mi>p</mi>
</msub>
<mo>(</mo>
<mi>n</mi>
<mo>-</mo>
<mi>k</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
</mrow>
Σhn(k)＝1；
其中，hn(k)表示第n帧与所述第n帧的前k个帧的理论编码负载相关；
第五处理单元，用于计算所述非独立视点视频的第n帧的实际编码负载W(n)：
其中，N为小于n的正整数。
5.如权利要求4所述的用于自由视点视频编码过程中的负载预测装置，其特征是，还包括：
第六处理单元，用于计算所述非独立视点视频中各帧的实际编码负载；
第七处理单元，用于根据各帧的实际编码负载和服务器的负载，分配对应的帧给对应的服务器进行编码。
6.如权利要求4所述的用于自由视点视频编码过程中的负载预测装置，其特征是，
第二处理单元采用HEVC对所述独立视点视频进行编码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510137212.9A CN104754360B (zh) | 2015-03-26 | 2015-03-26 | 用于自由视点视频编码过程中的负载预测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510137212.9A CN104754360B (zh) | 2015-03-26 | 2015-03-26 | 用于自由视点视频编码过程中的负载预测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104754360A CN104754360A (zh) | 2015-07-01 |
| CN104754360B true CN104754360B (zh) | 2017-11-17 |
Family
ID=53593367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510137212.9A Active CN104754360B (zh) | 2015-03-26 | 2015-03-26 | 用于自由视点视频编码过程中的负载预测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104754360B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106954057B (zh) * | 2017-02-27 | 2018-08-28 | 华侨大学 | 一种基于视点间相关性的3d-hevc帧间预测快速模式选择方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101917618A (zh) * | 2010-08-20 | 2010-12-15 | 浙江大学 | 多视点视频编码分层b帧预测结构的计算复杂度控制方法 |
| CN103402097A (zh) * | 2013-08-15 | 2013-11-20 | 清华大学深圳研究生院 | 一种自由视点视频深度图编码方法及其失真预测方法 |
| CN103428499A (zh) * | 2013-08-23 | 2013-12-04 | 清华大学深圳研究生院 | 编码单元的划分方法及使用该方法的多视点视频编码方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8369406B2 (en) * | 2005-07-18 | 2013-02-05 | Electronics And Telecommunications Research Institute | Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same |
-
2015
- 2015-03-26 CN CN201510137212.9A patent/CN104754360B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101917618A (zh) * | 2010-08-20 | 2010-12-15 | 浙江大学 | 多视点视频编码分层b帧预测结构的计算复杂度控制方法 |
| CN103402097A (zh) * | 2013-08-15 | 2013-11-20 | 清华大学深圳研究生院 | 一种自由视点视频深度图编码方法及其失真预测方法 |
| CN103428499A (zh) * | 2013-08-23 | 2013-12-04 | 清华大学深圳研究生院 | 编码单元的划分方法及使用该方法的多视点视频编码方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104754360A (zh) | 2015-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103345767B (zh) | 一种高安全性的jpeg图像隐写方法 | |
| CN103428499B (zh) | 编码单元的划分方法及使用该方法的多视点视频编码方法 | |
| CN104732511B (zh) | 一种凸多边形图像块的检测方法、装置及设备 | |
| CN101273635A (zh) | 使用相机参数对多视图画面编码和解码的设备和方法以及存储用于执行该方法的程序的记录介质 | |
| CN103237216A (zh) | 深度图像的编解码方法和编解码装置 | |
| CN107743235B (zh) | 图像处理方法、装置及电子设备 | |
| CN101950422A (zh) | 一种基于奇异值分解的图像质量评价方法 | |
| CN110060286A (zh) | 一种单目深度估计方法 | |
| CN106530282A (zh) | 基于空域特征的无参考立体图像质量客观评价方法 | |
| CN104159120A (zh) | 一种视频稳像方法、装置及系统 | |
| CN111553296B (zh) | 一种基于fpga实现的二值神经网络立体视觉匹配方法 | |
| CN106651835A (zh) | 基于熵的双视点无参考立体图像质量客观评价方法 | |
| CN106997478A (zh) | 基于显著中心先验的rgb‑d图像显著目标检测方法 | |
| CN102186091A (zh) | 一种基于光栅的多视点立体手机视频像素排布方法 | |
| CN104754360B (zh) | 用于自由视点视频编码过程中的负载预测方法及装置 | |
| CN107113426A (zh) | 使用广义图形参数执行基于图形的变换的方法和设备 | |
| CN102737380B (zh) | 一种基于梯度结构张量的立体图像质量客观评价方法 | |
| CN106231322B (zh) | 无损图像压缩方法及装置 | |
| CN104618715B (zh) | 一种获取最小率失真代价的方法及装置 | |
| CN103279973A (zh) | 基于混合并行的立体图像匹配系统 | |
| CN103079074A (zh) | 块匹配方法、运动估计方法及模块、装置 | |
| CN104994365B (zh) | 一种获取非关键帧深度图像的方法以及2d视频立体化方法 | |
| CN104123727B (zh) | 一种基于自适应高斯加权的立体匹配方法 | |
| CN103997635B (zh) | 自由视点视频的合成视点失真预测方法及编码方法 | |
| CN104902260B (zh) | 一种图像视差的获取方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |