CN105141940B - 一种分区域的3d视频编码方法 - Google Patents
一种分区域的3d视频编码方法 Download PDFInfo
- Publication number
- CN105141940B CN105141940B CN201510509321.9A CN201510509321A CN105141940B CN 105141940 B CN105141940 B CN 105141940B CN 201510509321 A CN201510509321 A CN 201510509321A CN 105141940 B CN105141940 B CN 105141940B
- Authority
- CN
- China
- Prior art keywords
- mrow
- viewpoint
- msub
- mfrac
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Abstract
一种基于分区域的3D视频编码技术，属于3D视频编码技术领域，其特征是：第一通过虚拟视点合成技术确定原始视点的区域划分，以此将原始视点划分为不同区域；第二根据区域的重要性进行编码，随机选择一个视点作为主视点，对划分的区域分为重要区域和非重要区域；然后对非重要区域采用较低的BCS观测率，而重要区域则采用较高的BCS观测率。优点是对原始视点进行分区域，然后对区域中的像素进行不同压缩处理，避免无效信息的重复编码，在相同观测率下，虚拟视点质量得到提高。
Description
技术领域
本发明属于3D视频编码技术领域，具体涉及一种分区域的3D视频编码方法。
背景技术
在3D视频中，对原始视点的编码是一项很重要的技术。3D视频，即三维视频，其格式主要分为多视点和多视点加深度两种常见格式。多视点加深度格式由于能利用纹理信息个深度信息合成任意位置虚拟视点，因此是目前最广泛使用的3D视频格式。
目前最新的三维视频编码标准是3D-HEVC，即三维的高效视频编码技术，利用了视点间相关性、视点内的相关性，和纹理和深度之间的相关性以压缩视频序列。但是3D-HEVC只是从原始视点的角度考虑如何尽可能的压缩视频数据，没有考虑对虚拟视点质量的影响。因为在某些使用场景，虚拟视点可能比原始视点更为重要。在有限的传输带宽下，牺牲原始视点的质量以满足虚拟视点的高质量也是可行的。
Cheon Lee，Yo-Sung Ho等人提出了一种利用视点合成预测的视频编码的框架，这个框架同时压缩视频图像和深度图像，并根据视点位置设计了四中类型的视点合成预测方法，但是这种方法非常复杂，运算量大，因为在编码段和解码端都要合成一个新的虚拟视点。
目前大多数采用DIBR(Depth-image-based Rendering，即基于深度图像的绘制)技术来合成虚拟视点。DIBR的核心是利用深度信息和摄像机参数把像素从已知的原始视点映射到未知的合成视点。DIBR一般包括三个步骤：(1)3D映射；(2)空洞填补；(3)视点融合。
发明内容
本发明的目的是提供一种分区域的3D视频编码方法，在相同BCS观测率条件下能够有效地提高合成的虚拟视点的质量。
本发明是这样实现的，其特征是包括下列步骤：如附图2所示：
第一步：计算阈值：3D视频两个相邻视点的纹理图和深度图，即摄像机获取的两个视点分别记为第一视点1和第二视点3，假设用第一视点1和第二视点3来合成中间的虚拟视点2。我们通过计算一个阈值来确定第一视点1和第二视点3中区域的边界，阈值由公式(1)可求，
其中，znear和zfar是自然场景与摄像机之间的距离范围，也可称为深度范围，L是第一视点1和第二视点3之间的距离，即基线长度，fx是摄像机焦距。
第二步：从第一视点1和第二视点3中任选取一个视点为主视点，根据主视点深度图分别对第一视点1和第二视点3进行分区域。
首先从第一视点1和第二视点3中任选取一个视点为主视点，计算主视点深度图中每两个相邻像素之间的深度值之差ΔZ，然后利用公式(2)、(3)进行感兴趣边界检测，d(x，y)代表(x，y)处的深度值，Bl(x，y)代表深度图左边界，
同理，Br(x，y)代表右边界，
(1)如果Bl(x，y)＝1，则认为(x，y)和(x-1，y)之间有一个左边界，(x，y)属于前景，(x-1，y)属于背景；
(2)如果Br(x，y)＝1，认为(x+1，y)和(x，y)之间有一个右边界，(x，y)属于前景，(x+1，y)属于背景；
(3)如果Bl(x，y)或者Br(x，y)等于0，则相邻像素之间没有边界。
第三步：根据虚拟视点2合成规则对第一视点1和第二视点3执行区域分割，并判定是否为重要区域。
我们对不同区域采用不同的处理方法以节省码率，考虑背景平面Q与成像平面P平行的情况，由于本方法对区域要求可以不用很精确，因此只考虑背景Q作为平面的情况。本发明只考虑1D模型，即第一视点1和第二视点3的照相机平行放置，成像平面P仅有水平视差没有垂直视差。根据深度图所描述的实际场景信息对成像平面P进行区域划分，第一视点1和第二视点3代表原始视点，虚拟视点2代表需要使用第一视点1和第二视点3来合成的视点，区域MN和AJ分别表示前景和背景。第一视点1和第二视点3之间的基线长度为L，fx是摄像机的焦距长度。
假设第一视点1被选为主视点。根据3D映射过程按照虚拟视点2所需的区域“从左到右”顺序进行，可分为四个步骤：
1)计算区域AB在第一视点1中的长度CAB。
由于区域AB超出了虚拟视点2的视觉范围，为非重要区域，所以将其在第一视点1中的对应区域进行低BCS观测率采样。设CAB代表区域AB在第一视点1中的长度，dA代表A点对应的视差值，znear和zfar分别代表场景最近值和最远值，
2)计算左边界区域DE在第一视点1中的长度CDE。
由于区域DE被前景MN所遮挡，导致虚拟视点2对此区域不可见，因此为非重要区域，对此区域采用低BCS观测率采样，
其中，dM、dE的表示意义同上述dA。第一视点1中除以上两个区域外的所有区域均为重要区域，在编码时对其采用高BCS观测率采样。
3)计算区域FG在第二视点3中的长度CFG。
因为虚拟视点2需要的FG区域在第一视点1中被遮挡，因此我们需要从第二视点3中寻找对应的区域，因此此区域为重要区域，需要采用高BCS观测率，区域FG可由公式(6)求得：
其中，dN、dF的求取方法同上述dA。
4)计算第二视点3中区域IJ的长度CIJ。
最后，对于虚拟视点2需要的区域IJ，由于在第一视点1中不可得，因此我们需要从第二视点3的相应区域来得到，因此此区域为重要区域，需要采用高BCS观测率。区域长度CIJ可以通过公式(7)计算，
其中，dI的求取方法同上述dA。第二视点3中除区域FG、区域IJ外的所有区域均为非重要区域，在编码时采用低BCS观测率采样。
如果第二视点3被选为主视点，区域划分方法和求取方法相同，只是改变了重要性规则。
第四步：对不同的区域进行观测率分配。
在上一步中对第一视点1和第二视点3进行了区域划分，在这一步则根据区域重要性进行不同的CS观测率分配：对重要区域分配了较高的CS观测率，对非重要区域去则分配较低观测率。
根据压缩感知(CS)理论，对于一个稀疏信号x，通过使用一个采样矩阵Φ可得一个观测值向量，这个矩阵通常是标准正交的，即ΦΦT＝I。观测值y可由公式(8)得到：
y＝Φx (8)
在CS重建的过程中，假设存在一个稀疏变换参数阵使得x′＝Ψx，最理想的恢复是找到和y具有最小零范数的x′，
其中Ψ-1代表逆变换。
当CS应用到二维图像领域的时候，CS面临很多问题，例如较大的观测矩阵和复杂耗时的重建过程等。由于以上问题，分块压缩感知(BCS)被提出。一幅图像被分为几个不重叠的块，每个块都由一个相同的观测矩阵ΦB进行观测，等同于原始图像被一个对角阵Φ进行观测，
由于ΦB的大小远小于Φ，储存观测矩阵所用的空间大大减小，重建过程的速度也大大提高。
由于选择第一视点1为主视点，所以第一视点1中大部分区域都是重要区域，而第二视点3中只有以上求取得区域为重要区域，其余均为非重要区域。
对重要区域应用观测率为R1，对非重要区域观测率则为R2，如公式(11)所示，
分配不同观测率后，对比方法中视点的观测率可以由以上观测率求得，即等效观测率。
其中col和row分别代表当前帧的宽度和高度，region_size代表当前帧中每个区域的大小，subrate代表对应的观测率。
本发明的优点及积极效果是：
1)本方法基于分区域映射思想，充分利用了原始视点中不同区域对虚拟视点的重要性做3D视频编码，减少了不必要区域的编码；
2)在原始视点相同的观测率下，合成的虚拟视点质量有较大的提高。
附图说明
图1是本发明的基本流程框图；
图2是本发明中的区域划分示意图；
图3是本发明kendo序列的峰值信噪比(PSNR)对比图；
图4是本发明bookarrival序列的峰值信噪比(PSNR)对比图；
图5是本发明的实验结果视觉效果对比图，图中(A)为kendo序列，(B)为bookarrival序列，上图为原始图像，中图为未分区域合成的虚拟视点图像，下图为分区域合成的虚拟视点图像；
具体实施方式
对本发明提出的分区域3D视频编码方案，我们做了初步的测试实验。采用标准测试序列作为输入，即kendo序列和bookarrival序列，取了前10帧做测试，序列分辨率1024*768。使用dell工作站做仿真，工作站参数为：Intel(R),Xeon(R)Quad-Core CPU，2.8GHz，4.00GB-DDR3内存。软件平台为MATLAB 2010b，用MATLAB编程实现了本方案。
本实例是这样实现的，其过程包括下列步骤：如附图2所示：
第一步：计算阈值：3D视频两个相邻视点的纹理图和深度图，即摄像机获取的两个视点分别记为第一视点1和第二视点3，假设用第一视点1和第二视点3来合成中间的虚拟视点2。我们通过计算一个阈值来确定第一视点1和第二视点3中区域的边界，由公式(1)计算得到：Kendo阈值ΔZmax＝21；Bookarrival阈值ΔZmax＝26。
第二步：从第一视点1或者第二视点3中任选取一个视点为主视点，本发明选取第一视点1做为主视点，根据主视点深度图分别对第一视点1和第二视点3进行分区域。
首先选取第一视点1做为主视点，计算主视点深度图中每两个相邻像素之间的深度值之差ΔZ，然后进行感兴趣边界检测，d(x，y)代表(x，y)处的深度值，Bl(x，y)代表深度图左边界，Br(x，y)代表右边界，
(1)如果Bl(x，y)＝1，则认为(x，y)和(x-1，y)之间有一个左边界，(x，y)属于前景，(x-1，y)属于背景；
(2)如果Br(x，y)＝1，认为(x+1，y)和(x，y)之间有一个右边界，(x，y)属于前景，(x+1，y)属于背景；
(3)如果Bl(x，y)或者Br(x，y)等于0，则相邻像素之间没有边界。
第三步：根据虚拟视点2合成规则对第一视点1和第二视点3执行区域分割，并判定是否为重要区域。
我们对不同区域采用不同的处理方法以节省码率，考虑背景平面Q且与成像平面P平行的情况，由于本方法对区域要求可以不用很精确，因此只考虑背景Q作为平面的情况。本发明只考虑1D模型，即第一视点1和第二视点3的照相机平行放置，成像平面P仅有水平视差没有垂直视差。根据深度图所描述的实际场景信息对成像平面P进行区域划分，第一视点1和第二视点3代表原始视点，虚拟视点2代表需要使用第一视点1和第二视点3来合成的虚拟视点，区域MN和AL分别表示前景和背景。第一视点1和第二视点3之间的基线长度为L，fx是摄像机的焦距长度。
本实施例选取第一视点1为主视点。根据3D映射过程按照虚拟视点2所需的区域“从左到右”顺序进行，可分为四个步骤：
1)计算区域AB在第一视点1中的长度CAB。
由于区域AB超出了虚拟视点2的视觉范围，为非重要区域，所以将其在第一视点1中的对应区域进行低BCS观测率采样。区域宽度可由公式(4)求得。
2)计算左边界区域DE在第一视点1中的长度CDE。
由于区域DE被前景MN所遮挡，导致虚拟视点2对此区域不可见，因此为非重要区域，对此区域采用低BCS观测率采样，此区域宽度可由公式(5)求得。
第一视点1中除以上两个区域外的所有区域均为重要区域，在编码时对其采用高BCS观测率采样。
3)计算区域FG在第二视点3中的长度CFG。
因为虚拟视点2需要的FG区域在第一视点1中被遮挡，因此我们需要从第二视点3中寻找对应的区域，因此此区域为重要区域，需要采用高BCS观测率，区域HI可由公式(6)求得。
4)计算第二视点3中区域IJ的长度CIJ。
最后，对于虚拟视点2需要的区域IJ，由于在第一视点1中不可得，因此我们需要从第二视点3的相应区域来得到，因此此区域为重要区域，需要采用高BCS观测率。区域长度CIJ可以通过公式(7)计算。
第二视点3中除区域FG、区域IJ外的所有区域均为非重要区域，在编码时采用低BCS观测率采样。如果第二视点3被选为主视点，区域划分方法和求取方法相同，只是改变了重要性规则。
第四步：对不同的区域进行观测率分配。
在上一步中对原始视点进行了区域划分，在这一步则根据区域重要性进行不同的CS观测率分配：对重要区域分配了较高的CS观测率，对非重要区域去则分配较低观测率。由于选择第一视点1为主视点，所以第一视点1中大部分区域都是重要区域，而第二视点3中只有以上求取得区域为重要区域，其余均为非重要区域。
对重要区域应用观测率为R1，对非重要区域观测率则为R2，本实施例我们采用了八组观测率，如表1所示，分别为
表1
| 组别 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| R1 | 0.3 | 0.4 | 0.5 | 0.6 | 0.7 | 0.8 | 0.9 | 1.0 |
| R2 | 0.1 | 0.2 | 0.3 | 0.4 | 0.5 | 0.6 | 0.7 | 0.8 |
分配不同观测率后，对比方法的观测率可以由以上观测率根据实际原始视频特性求得，即等效观测率。对应以上八组求得的等效观测率如表2所示：
表2
| 组别 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 等效观测率 | 0.20 | 0.30 | 0.40 | 0.50 | 0.60 | 0.70 | 0.80 | 0.90 |
完成以上步骤后，我们对原始视点的采样值进行了BCS-SPL恢复，然后进行虚拟视点的合成；对比组采用等效观测率进行BCS采样，而后进行BCS-SPL恢复，同样进行了虚拟视点的合成。最后比较了虚拟视点的合成质量。
对应虚拟视点峰值信噪比对比图参照附图3、附图4，其中附图3为kendo序列，附图4为bookarrival序列，根据图中曲线可以看出本方案相较于未分区域的BCS-SPL提升接近1dB。质量视觉质量对比图参照附图5，其中(A)列为kendo序列，(B)列为bookarrival序列，上图为原始图像，中图为未分区域的原始视点合成的虚拟视点图像，下图为分区域的原始视点合成的虚拟视点图像。
Claims (1)
1.一种分区域的3D视频编码方法，其特征在于具体操作方法为：
第一步：计算阈值：3D视频两个相邻视点的纹理图和深度图，即摄像机获取的两个视点分别记为第一视点(1)和第二视点(3)，假设用第一视点(1)和第二视点(3)来合成中间的虚拟视点(2)，我们通过计算一个阈值来确定第一视点(1)和第二视点(3)中区域的边界，阈值由公式(1)求：
<mrow>
<msub>
<mi>&Delta;Z</mi>
<mi>max</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>510</mn>
<mrow>
<mi>L</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>z</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
</mfrac>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>z</mi>
<mrow>
<mi>f</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，znear和zfar是自然场景与摄像机之间的距离范围，也称为深度范围，L是第一视点(1)和第二视点(3)之间的距离，即基线长度，fx是摄像机焦距；
第二步：从第一视点(1)和第二视点(3)中任选取一个视点为主视点，根据主视点深度图分别对第一视点(1)和第二视点(3)进行分区域：
首先从第一视点(1)和第二视点(3)中任选取一个视点为主视点，计算主视点深度图中每两个相邻像素之间的深度值之差ΔZ，然后利用公式(2)、(3)进行感兴趣边界检测，d(x，y)代表(x，y)处的深度值，Bl(x，y)代表深度图左边界，
<mrow>
<mi>B</mi>
<mi>l</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
<msub>
<mi>&Delta;Z</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&GreaterEqual;</mo>
<mi>&Delta;</mi>
<mi>Z</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
同理，Br(x，y)代表右边界，
<mrow>
<mi>B</mi>
<mi>r</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
<msub>
<mi>&Delta;Z</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&le;</mo>
<mi>&Delta;</mi>
<mi>Z</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
(1)如果Bl(x，y)＝1，则认为(x，y)和(x-1，y)之间有一个左边界，(x，y)属于前景，(x-1，y)属于背景；
(2)如果Br(x，y)＝1，认为(x+1，y)和(x，y)之间有一个右边界，(x，y)属于前景，(x+1，y)属于背景；
(3)如果Bl(x，y)或者Br(x，y)等于0，则相邻像素之间没有边界；
第三步：根据虚拟视点(2)合成规则对第一视点(1)和第二视点(3)执行区域分割，并判定是否为重要区域：
因背景平面(Q)与成像平面(P)平行，因此只考虑背景(Q)作为平面；本发明只考虑1D模型，即第一视点(1)和第二视点(3)的照相机平行放置，成像平面(P)仅有水平视差没有垂直视差；根据深度图所描述的实际场景信息对成像平面(P)进行区域划分，第一视点(1)和第二视点(3)代表原始视点，虚拟视点(2)代表需要使用第一视点(1)和第二视点(3)来合成的视点，区域MN和AJ分别表示前景和背景，第一视点(1)和第二视点(3)之间的基线长度为L，fx是摄像机的焦距长度；
假设第一视点(1)被选为主视点，根据3D映射过程按照虚拟视点(2)所需的区域“从左到右”顺序进行，分为四个步骤：
1)计算区域AB在第一视点(1)中的长度CAB
由于区域AB超出了虚拟视点(2)的视觉范围，为非重要区域，所以将其在第一视点(1)中的对应区域进行低BCS观测率采样，设CAB代表区域AB在第一视点(1)中的长度，dA代表A点对应的视差值，znear和zfar分别代表场景最近值和最远值，
<mrow>
<msub>
<mi>C</mi>
<mrow>
<mi>A</mi>
<mi>B</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mi>L</mi>
<mn>2</mn>
</mfrac>
<mo>&CenterDot;</mo>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<mfrac>
<msub>
<mi>d</mi>
<mi>A</mi>
</msub>
<mrow>
<mn>2</mn>
<mi>S</mi>
<mi>S</mi>
</mrow>
</mfrac>
<mo>&CenterDot;</mo>
<mo>(</mo>
<mrow>
<mfrac>
<mn>1</mn>
<msub>
<mi>z</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
</mfrac>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>z</mi>
<mrow>
<mi>f</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
</mfrac>
</mrow>
<mo>)</mo>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>z</mi>
<mrow>
<mi>f</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
2)计算左边界区域DE在第一视点(1)中的长度CDE
由于区域DE被前景MN所遮挡，导致虚拟视点(2)对此区域不可见，因此为非重要区域，对此区域采用低BCS观测率采样，
<mrow>
<msub>
<mi>C</mi>
<mrow>
<mi>D</mi>
<mi>E</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mi>L</mi>
<mn>2</mn>
</mfrac>
<mo>&CenterDot;</mo>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
<mo>&CenterDot;</mo>
<mfrac>
<mrow>
<msub>
<mi>d</mi>
<mi>M</mi>
</msub>
<mo>-</mo>
<msub>
<mi>d</mi>
<mi>E</mi>
</msub>
</mrow>
<mn>255</mn>
</mfrac>
<mo>&CenterDot;</mo>
<mo>(</mo>
<mrow>
<mfrac>
<mn>1</mn>
<msub>
<mi>z</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
</mfrac>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>z</mi>
<mrow>
<mi>f</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
</mfrac>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，dM、dE的表示意义同上述dA，第一视点(1)中除以上两个区域外的所有区域均为重要区域，在编码时对其采用高BCS观测率采样；
3)计算区域FG在第二视点(3)中的长度CFG
因为虚拟视点(2)需要的FG区域在第一视点(1)中被遮挡，因此我们需要从第二视点(3)中寻找对应的区域，因此此区域为重要区域，需要采用高BCS观测率，区域FG可由公式(6)求得：
<mrow>
<msub>
<mi>C</mi>
<mrow>
<mi>F</mi>
<mi>G</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mi>L</mi>
<mn>2</mn>
</mfrac>
<mo>&CenterDot;</mo>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
<mo>&CenterDot;</mo>
<mfrac>
<mrow>
<msub>
<mi>d</mi>
<mi>N</mi>
</msub>
<mo>-</mo>
<msub>
<mi>d</mi>
<mi>F</mi>
</msub>
</mrow>
<mn>255</mn>
</mfrac>
<mo>&CenterDot;</mo>
<mo>(</mo>
<mrow>
<mfrac>
<mn>1</mn>
<msub>
<mi>z</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
</mfrac>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>z</mi>
<mrow>
<mi>f</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
</mfrac>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，dN、dF的求取方法同上述dA；
4)计算第二视点(3)中区域IJ的长度CIJ
最后，对于虚拟视点(2)需要的区域IJ，由于在第一视点(1)中不可得，因此我们需要从第二视点(3)的相应区域来得到，因此此区域为重要区域，需要采用高BCS观测率，区域长度CIJ通过公式(7)计算，
<mrow>
<msub>
<mi>C</mi>
<mrow>
<mi>I</mi>
<mi>J</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mi>L</mi>
<mn>2</mn>
</mfrac>
<mo>&CenterDot;</mo>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<mfrac>
<msub>
<mi>d</mi>
<mi>I</mi>
</msub>
<mn>255</mn>
</mfrac>
<mo>&CenterDot;</mo>
<mo>(</mo>
<mrow>
<mfrac>
<mn>1</mn>
<msub>
<mi>z</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
</mfrac>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>z</mi>
<mrow>
<mi>f</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
</mfrac>
</mrow>
<mo>)</mo>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>z</mi>
<mrow>
<mi>f</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，dI的求取方法同上述dA，第二视点(3)中除区域FG、区域IJ外的所有区域均为非重要区域，在编码时采用低BCS观测率采样；
如果第二视点(3)被选为主视点，区域划分方法和求取方法相同，只是改变了重要性规则；
第四步：对不同的区域进行观测率分配
在上一步中对第一视点(1)和第二视点(3)进行了区域划分，在这一步则根据区域重要性进行不同的CS观测率分配：对重要区域分配了较高的CS观测率，对非重要区域则分配较低观测率；
根据压缩感知(CS)理论，对于一个稀疏信号x，通过使用一个矩阵Φ得到一个观测值向量，这个矩阵通常是标准正交的，即φφT＝I，观测值y由公式(8)得到：
y＝φx (8)
在CS重建的过程中，假设存在一个稀疏变换参数阵使得x′＝Ψx，最理想的恢复是找到和y具有最小零范数的x′，
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mi>arg</mi>
<munder>
<mi>min</mi>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
</munder>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>|</mo>
<msub>
<mo>|</mo>
<msub>
<mi>l</mi>
<mi>o</mi>
</msub>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>y</mi>
<mo>=</mo>
<msup>
<mi>&Phi;&Psi;</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
其中Ψ-1代表逆变换；
由于选择第一视点(1)为主视点，所以第一视点(1)中大部分区域都是重要区域，而第二视点(3)中只有以上求取的区域为重要区域，其余均为非重要区域；
对重要区域应用观测率为R1，对非重要区域观测率则为R2，如公式(10)所示，
分配不同观测率后，对比方法中视点的观测率由以上观测率求得，即等效观测率；
<mrow>
<mi>s</mi>
<mi>u</mi>
<mi>b</mi>
<mi>r</mi>
<mi>a</mi>
<mi>t</mi>
<mi>e</mi>
<mo>_</mo>
<mi>e</mi>
<mi>q</mi>
<mi>u</mi>
<mi>a</mi>
<mi>l</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>l</mi>
<mo>*</mo>
<mi>r</mi>
<mi>o</mi>
<mi>w</mi>
</mrow>
</mfrac>
<mo>*</mo>
<mi>&Sigma;</mi>
<mi>r</mi>
<mi>e</mi>
<mi>g</mi>
<mi>i</mi>
<mi>o</mi>
<mi>n</mi>
<mo>_</mo>
<mi>s</mi>
<mi>i</mi>
<mi>z</mi>
<mi>e</mi>
<mo>*</mo>
<mi>s</mi>
<mi>u</mi>
<mi>b</mi>
<mi>r</mi>
<mi>a</mi>
<mi>t</mi>
<mi>e</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
其中col和row分别代表当前帧的宽度和高度，region_size代表当前帧中每个区域的大小，subrate代表对应的观测率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510509321.9A CN105141940B (zh) | 2015-08-18 | 2015-08-18 | 一种分区域的3d视频编码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510509321.9A CN105141940B (zh) | 2015-08-18 | 2015-08-18 | 一种分区域的3d视频编码方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105141940A CN105141940A (zh) | 2015-12-09 |
| CN105141940B true CN105141940B (zh) | 2017-10-03 |
Family
ID=54727135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510509321.9A Expired - Fee Related CN105141940B (zh) | 2015-08-18 | 2015-08-18 | 一种分区域的3d视频编码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105141940B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105872496B (zh) * | 2016-07-01 | 2019-07-09 | 黄岩 | 一种超高清视频融合方法 |
| CN107025673B (zh) * | 2017-04-11 | 2020-02-21 | 太原科技大学 | 虚拟结构光3d数据压缩算法的局部误差抑制方法 |
| CN108810427B (zh) * | 2017-05-02 | 2020-12-04 | 北京大学 | 基于视点的全景视频内容表示的方法及装置 |
| CN107509074B (zh) * | 2017-07-10 | 2021-04-09 | 上海大学 | 基于压缩感知的自适应3d视频压缩编解码方法 |
| CN111988554B (zh) * | 2019-05-22 | 2022-05-27 | 瑞芯微电子股份有限公司 | 一种显示设备多分区数据的采样方法及终端 |
| CN113179396B (zh) * | 2021-03-19 | 2022-11-11 | 杭州电子科技大学 | 基于K-means模型的双视点立体视频融合方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103208006B (zh) * | 2012-01-17 | 2016-07-06 | 株式会社理光 | 基于深度图像序列的对象运动模式识别方法和设备 |
| US10075689B2 (en) * | 2012-07-04 | 2018-09-11 | Intel Corporation | Region-of-interest based 3D video coding |
| CN103152569A (zh) * | 2013-02-28 | 2013-06-12 | 哈尔滨工业大学 | 一种基于深度信息的视频感兴趣区域压缩方法 |
| CN104270624B (zh) * | 2014-10-08 | 2016-08-24 | 太原科技大学 | 一种分区域的3d视频映射方法 |
-
2015
- 2015-08-18 CN CN201510509321.9A patent/CN105141940B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN105141940A (zh) | 2015-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105141940B (zh) | 一种分区域的3d视频编码方法 | |
| CN106023303B (zh) | 一种基于轮廓有效性提高三维重建点云稠密程度的方法 | |
| US10349058B2 (en) | Method for predicting depth map coding distortion of two-dimensional free viewpoint video | |
| US9159154B2 (en) | Image processing method and apparatus for generating disparity value | |
| CN102609974B (zh) | 一种基于深度图分割渲染的虚拟视点图像的生成方法 | |
| CN101902657A (zh) | 一种基于深度图分层的虚拟多视点图像的生成方法 | |
| CN104270624B (zh) | 一种分区域的3d视频映射方法 | |
| CN103402097A (zh) | 一种自由视点视频深度图编码方法及其失真预测方法 | |
| CN103873867B (zh) | 自由视点视频深度图失真预测方法和编码方法 | |
| CN106028020B (zh) | 一种基于多方向预测的虚拟视角图像空洞填补方法 | |
| CN107809630A (zh) | 基于改进虚拟视点合成的多视点视频超分辨率重建算法 | |
| CN104506871B (zh) | 一种基于hevc的3d视频快速编码方法 | |
| CN103905812A (zh) | 一种纹理/深度联合上采样方法 | |
| CN106791876A (zh) | 一种基于3d‑hevc的深度图快速帧内预测方法 | |
| CN110719453B (zh) | 一种立体视频裁剪方法 | |
| CN106791772B (zh) | 基于绘制的最大可容忍深度失真计算方法 | |
| Deng et al. | Structural similarity-based synthesized view distortion estimation for depth map coding | |
| CN103997653A (zh) | 一种基于边缘的面向虚拟视绘制的深度视频的编码方法 | |
| Zhang et al. | As-Deformable-As-Possible Single-image-based View Synthesis without Depth Prior | |
| Jung et al. | Superpixel matching-based depth propagation for 2D-to-3D conversion with joint bilateral filtering | |
| Zhang et al. | A compact stereoscopic video representation for 3D video generation and coding | |
| CN105069820B (zh) | 一种适用于三维网格序列的压缩方法 | |
| CN104284194B (zh) | 利用视图合成预测编码或解码三维或多视图视频的方法以及装置 | |
| CN105635742B (zh) | 面向3d视频编码的基于深度增强的重采样方法 | |
| Xi et al. | Stereoscopic image generation based on weighted iteration of depth image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171003 Termination date: 20210818 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |