CN106791772B - 基于绘制的最大可容忍深度失真计算方法 - Google Patents
基于绘制的最大可容忍深度失真计算方法 Download PDFInfo
- Publication number
- CN106791772B CN106791772B CN201611234867.9A CN201611234867A CN106791772B CN 106791772 B CN106791772 B CN 106791772B CN 201611234867 A CN201611234867 A CN 201611234867A CN 106791772 B CN106791772 B CN 106791772B
- Authority
- CN
- China
- Prior art keywords
- depth
- distortion
- mapping
- view
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000013507 mapping Methods 0.000 claims abstract description 42
- 230000000007 visual effect Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 30
- 230000000694 effects Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000007670 refining Methods 0.000 claims 3
- 230000001568 sexual effect Effects 0.000 claims 1
- 238000009877 rendering Methods 0.000 abstract description 9
- 238000009499 grossing Methods 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 abstract description 2
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 5
- 238000000691 measurement method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001609 comparable effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- YYJNOYZRYGDPNH-MFKUBSTISA-N fenpyroximate Chemical compound C=1C=C(C(=O)OC(C)(C)C)C=CC=1CO/N=C/C=1C(C)=NN(C)C=1OC1=CC=CC=C1 YYJNOYZRYGDPNH-MFKUBSTISA-N 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理技术及自由立体成像领域，为建立在不影响虚拟视图质量的情况下的最大可容忍的深度失真模型，能够精确的求取出虚拟视点绘制过程中的可容忍的深度失真范围，可以应用于低复杂度的深度视频编码以及深度图的平滑处理中。本发明采用的技术方案是，基于绘制的最大可容忍深度失真计算方法，步骤如下：1)将参考视点中的像素点分别利用原始深度和失真后的深度通过3D warping映射到虚拟视点图像中；2)比较映射后的像素点的位置；3)利用像素取整原理，分析不引起整像素位置偏移的几何失真范围；4)建立水平方向的几何失真Δuv与映射后的像素水平方向坐标位置之间的关系。本发明主要应用于图像处理。
Description
技术领域
本发明属于图像处理技术及自由立体成像领域，涉及一种针对基于深度的虚拟视点绘制的最大可容忍深度失真的测量方法。
背景技术
自由立体显示技术不需要佩戴辅助视具，裸眼就可以直接获得深度信息，使用户能体会到逼真自然、身临其境的冲击感和震撼力。为实现自由立体显示技术的应用，需要采集大量的视频数据，这就增加了存储和传输的负担。在3D视频中，“多视点视频+深度”的视频表示格式可以利用基于深度图的绘制(Depth-image-based rendering，DIBR)技术在解码终端绘制出所需的视点图像，从而大大降低了存储容量和传输带宽，成为当前的研究热点。
在很多3DV应用中，视图绘制的质量非常重要。绘制的质量主要取决于参考视点图像的质量、深度图的质量、相机参数、视点间距以及它们之间的相互关系。由于有损压缩等导致的纹理和深度图像中的错误会影响绘制的视图的质量。纹理误差只会引起虚拟视图中像素点亮度/色度层的失真，而深度编码中量化产生的深度误差会导致绘制视图中的位置误差，即绘制过程中像素的映射会稍微偏移原始位置，进而对绘制虚拟视点图像的质量产生较大的影响。因此，一个能够估计绘制质量的精确的分析模型，对于3DV系统的设计是非常有价值的。对于视图合成的分析，主要分成纹理失真引起的视图合成失真和深度失真引起的视图合成失真两部分进行分析。目前，已经提出了一些视点合成失真估计模型。Liu等提出了一种近似估计视点合成失真的线性失真模型，并根据求解的最小绘制失真决定彩色视频和深度图的最优码率分配；Ma等提出了一种零绘制失真模型，能够准确地预测绘制视点零失真；Yuan等针对深度失真和绘制失真之间的关系，建立了一种多项式模型，定量的分析了深度编码失真与绘制的虚拟视点失真之间的关系；Kim等人提出了一种新的失真标准来量化深度编码对视图合成的影响。然而，这些方法只专注于MVD数据的联合编码，利用不同的率失真模型通过表征的编码失真和视图合成失真之间的关系应用到纹理视频和深度图的编码中，获得纹理和深度编码的最佳比特率分配。在这些失真估计模型中，通过三种绘制视图来分别求取纹理视频的失真引起的虚拟视点的失真和深度失真引起的虚拟视点的失真。其中三种绘制视图分别为利用原始的纹理图和原始的深度图绘制的虚拟视图、利用失真的纹理图和原始的深度图绘制的虚拟视图以及利用原始的纹理和失真的深度绘制的虚拟视图。然而，深度失真不会直接导致绘制的虚拟视图中产生颜色失真，它只会改变映射后的像素位置发生偏移，进而影响虚拟视点绘制的质量。由于深度图的特性与纹理图的特性完全不同，因此在上述方法中，对深度图失真的分析是不充分的。
深度信息在合成虚拟视图的过程中发挥着重要的作用。在视图合成中，原始图像中的像素点通过深度图映射到虚拟视点位置的图像中。当深度数据发生失真后，会使映射后的虚拟视图中像素位置发生变化，从而使虚拟视图产生几何失真。除此之外，通过Z-Buffer判定法则可知，如果映射到虚拟视图中的前景物体与背景物体发生了重叠，则深度较小的前景物体会遮挡住深度较大背景物体。因此深度数据的变化同样也会使得遮挡顺序发生变化，使得背景物体遮挡前景物体。而这些几何变化和遮挡变化又会导致合成视图的纹理失真。
在虚拟视点绘制的过程中，原始视图中的像素点通过映射投影到虚拟视图中，通常不会位于整像素位置，因此需要对映射后的像素位置进行取整操作。这就使得对于同一像素点，当其对应的深度发生一定的改变时，而映射后的像素位置不发生改变。也就是说当深度在一定范围内变化时，而绘制的虚拟视图的质量不会发生任何改变。因此，对于3DV系统而言，精确地分析由深度导致的虚拟视图的失真模型并建立不引起绘制失真的最大可容忍深度失真模型是非常有意义且有价值的。比如，用这个模型可以更好地理解什么条件下能够减轻深度误差以提高视图绘制的质量，并可以利用这些信息来判断什么时候需要分配更多的比特来编码深度图。
发明内容
为克服现有技术的不足，本发明旨在依据基于深度的虚拟视点绘制原理，通过分析深度失真与绘制视图的几何失真之间的关系，建立在不影响虚拟视图质量的情况下的最大可容忍的深度失真模型。本发明能够精确的求取出虚拟视点绘制过程中的可容忍的深度失真范围，可以应用于低复杂度的深度视频编码以及深度图的平滑处理中。本发明采用的技术方案是，基于绘制的最大可容忍深度失真计算方法，步骤如下：
1)将参考视点中的像素点分别利用原始深度和失真后的深度通过3D warping映射到虚拟视点图像中。
2)比较映射后的像素点的位置，获得由深度失真造成的绘制视图的几何失真模型，垂直方向的失真影响非常小忽略不计，只考虑水平方向的几何失真，即水平方向的位置偏移量；
3)利用像素取整原理，分析不引起整像素位置偏移的几何失真范围；
4)依据步骤3)中获得的几何失真范围，建立水平方向的几何失真Δuv与映射后的像素水平方向坐标位置之间的关系，u′为利用原始深度值映射后的水平方向的坐标分量，d′为映射后的真实深度值；依据建立的几何失真Δuv与深度失真层Δz之间的关系以及在步骤4) 中建立的Δuv与之间的关系，推导出Δz关于的关系表达式，即为可容忍的深度失真范围。
其中，步骤1)进一步细化为：将参考视点中的像素点(u，v)分别利用原始深度d(u，v)和失真的深度d(u，v)+Δd(u，v)映射到虚拟视点图像中的位置(uv，vv)和(u′v，v′v)处；
其中，K，R，t分别表示参考视点的内参矩阵、旋转矩阵和平移矩阵；K′，R′和t′分别对应于虚拟视点的内参、旋转和平移矩阵；R′-1和K-1分别表示矩阵R′和矩阵K的逆矩阵；u′和u″分别为利用原始深度值和失真深度值映射后的水平方向的坐标分量；v′和v″分别为利用原始深度值和失真深度值映射后的垂直方向的坐标分量；d′和d″分别为利用原始深度和失真深度值映射后的深度值；(uv，vv)为利用原始深度d(u，v)映射后在虚拟视点中的坐标位置，(u′v，v′v)为利用失真的深度d(u，v)+Δd(u，v)映射后在虚拟视点中的位置。
在映射的过程中，d(u，v)以及d(u，v)+Δd(u，v)为真实的深度，真实的深度d与深度图中的深度层z之间的对应关系为：
其中，MinZ和MaxZ分别表示真实深度d的最小和最大值。
步骤2)进一步细化为：比较映射后的像素位置(u′/d′，v′/d′)和(u″/d″，v″/d″)获得深度失真造成的绘制视图的几何失真：
(Δuv，Δvv)＝(u″/d″-u′/d′，v″/d″-v′/d′)
在步骤1中进行映射时，定义P为投影矩阵，Pij(i，j＝1，2，3)为投影矩阵中对应位置上的元素值。在投影矩阵P中通常P31＝P32＝0且有，从而可以得出 d′＝d(u，v)，d″＝d(u，v)+Δd(u，v)，则有：
深度层与真实的深度之间的对应关系得到d(u，v)对应于深度图中的深度层z(u，v)， d(u，v)+Δd(u，v)对应于深度图中的深度层z(u，v)+Δz(u，v)，则上式写为：
通过上式可以得到绘制视图的几何位置失真与深度图中对应的深度层失真Δz(u，v)呈线性关系。
步骤3)进一步细化为，对于映射后的像素位置需要进行取整处理：
当利用失真的深度进行映射而绘制的视图中不产生几何失真时，u″/d″和u′/d′应满足如下关系：
由于Δuv＝u″/d″-u′/d′，由几何关系得：
步骤4)进一步细化为：对于步骤2)中所获得的几何失真与深度层失真之间的对应关系，定义K′R′-1(t-t′)＝[a，b，c]T，则Δuv表示为：
结合步骤3)所获得的关系表达式，则有：
可容忍的深度层失真Δz位于范围[Δzneg，Δzpos]，并且Δzneg和Δzpos表示为：
其中，Δz1和Δz2分别为可容忍深度失真的界限值，并且Δz1和Δz2可以通过下式获得：
最大可容忍深度失真分为正负两个方向，其中Δzpos为正向最大可容忍深度，而Δzneg为负向最大可容忍深度失真，当深度层z在区间[z(u，v)+Δzneg(u，v)，z(u，v)+Δzpos(u，v)]内变化时，映射后的像素位置不会发生任何改变，即绘制的视图不会产生几何失真。
本发明的特点及有益效果是：
本发明从最基本的映射原理出发，建立了在不引起绘制失真的情况下的最大可容忍深度失真(Maximum Tolerable Depth Distortion MTDD)模型，实现了对可容忍的深度失真范围的精确定位。该模型可以用于深度编码以降低深度编码的复杂性；同时该模型还可以用于深度图的平滑处理，以降低深度编码比特率。
附图说明：
图1给出了两视点间进行投影的示意图。
图2给出了深度发生失真后不引起绘制失真的像素位置范围的示意图。
图3给出了不同序列的可容忍失真的最大幅值。
图4给出了Bookarrival序列第33帧的绘制结果对比图：(a)和(d)为原始深度图；(b) 和(e)为添加的正向MTDD噪声图；(c)和(f)为添加的负向MTDD噪声图；(g)、(h) 和(i)为绘制的虚拟视点图像。
图5给出了Breakdancers序列第1帧的绘制结果对比图：(a)和(d)为原始深度图；(b) 和(e)为添加的正向MTDD噪声图；(c)和(f)为添加的负向MTDD噪声图；(g)、(h) 和(i)为绘制的虚拟视点图像。
图6给出了Balloons序列第1帧的绘制结果对比图：(a)和(d)为原始深度图；(b)和(e)为添加的正向MTDD噪声图；(c)和(f)为添加的负向MTDD噪声图；(g)、(h)和 (i)为绘制的虚拟视点图像。
图7给出了不同测试序列的MSE曲线比较：(a)Bookarrival测试序列；(b)Kendo测试序列；(c)Breakdancers测试序列；(d)Balloons测试序列。
图8是技术方案的流程图。
具体实施方式
深度图通常不直接用于显示，它只在基于深度的虚拟视点绘制的过程中提供场景的几何信息，因此，深度图的准确性在DIBR的过程中非常重要。为研究深度失真对虚拟视点绘制的影响，本发明依据DIBR的基本原理，实现基于无绘制失真的最大可容忍深度失真模型的建立，具体的技术方案分为下列步骤：
1：将参考视点中的像素点分别利用原始深度和失真后的深度通过3D warping映射到虚拟视点图像中。
2：比较映射后的像素点的位置，获得由深度失真造成的绘制视图的几何失真模型，由于垂直方向的失真影响非常小，通常可以忽略不计，因此在该失真模型中只考虑水平方向的几何失真，即水平方向的位置偏移量。
3：利用像素取整原理，分析不引起整像素位置偏移的几何失真范围。
4：依据3中获得的几何失真范围，建立水平方向的几何失真Δuv与映射后的像素水平方向坐标位置uv之间的关系；依据建立的几何失真Δuv与深度失真层Δz之间的关系以及在4中建立的Δuv与uv之间的关系，推导出Δz关于uv的关系表达式，即为可容忍的深度失真范围。
下面通过以会聚相机阵列获得的图像为例说明本发明提出的最大基于绘制的最大可容忍深度失真测量方法的实施过程。
1：将参考视点中的像素点(u，v)分别利用原始深度d(u，v)和失真的深度d(u，v)+Δd(u，v) 映射到虚拟视点图像中：
其中，K，R，t分别表示参考视点的内参矩阵、旋转矩阵和平移矩阵；K′，R′和t′分别对应于虚拟视点的内参、旋转和平移矩阵；R′-1和K-1分别表示矩阵R′和矩阵K的逆矩阵；u′和u″分别为利用原始深度值和失真深度值映射后的水平方向的坐标分量；v′和v″分别为利用原始深度值和失真深度值映射后的垂直方向的坐标分量；d′和d″分别为利用原始深度和失真深度值映射后的深度值；(uv，vv)为利用原始深度d(u，v)映射后在虚拟视点中的坐标位置，(u′v，v′v)为利用失真的深度d(u，v)+Δd(u，v)映射后在虚拟视点中的位置。
在映射的过程中，d(u，v)以及d(u，v)+Δd(u，v)为真实的深度，而通常会将其量化到0～255 范围内，真实的深度d与深度图中的深度层z之间的对应关系为：
其中，MinZ和MaxZ分别表示最小和最大的深度值。
2：比较映射后的像素位置(u′/d′，v′/d′)和(u″/d″，v″/d″)获得深度失真造成的绘制视图的几何失真(Δuv，Δvv)。
(Δuv，Δvv)＝(u″/d″-u′/d′，v″/d″-v′/d′)
在步骤1中进行映射时，定义P为投影矩阵，Pij(i，j＝1，2，3)为投影矩阵中对应位置上的元素值。在投影矩阵P中通常P31＝P32＝0且有因此，可以得出 d′＝d(u，v)，d″＝d(u，v)+Δd(u，v)。则有：
深度层与真实的深度之间的对应关系可得d(u，v)对应于深度图中的深度层z(u，v)， d(u，v)+Δd(u，v)对应于深度图中的深度层z(u，v)+Δz(u，v)，则上式可以写为：
通过上式可得，绘制视图的几何失真与Δz(u，v)呈线性关系。通常垂直方向的误差Δvv非常小而不会影响位置取整后的结果，因此可以忽略不计。仅考虑Δuv引入的水平方向的几何失真即可。
3：利用像素取整原理，分析不引起整像素位置偏移的几何失真范围。
通过步骤2可得，深度层的失真有可能导致合成的视图中产生几何失真。但是，由于u′/d′和u″/d″通常不是整型数据，而像素位置是整型的，因此对于映射后的像素位置需要进行取整处理：
如图2所示，当利用失真的深度进行映射而绘制的视图中不产生几何失真时，u″/d″和 u′/d′应满足如下关系：
由于Δuv＝u″/d″-u′/d′，由图2所示的几何关系可得：
4：依据3中获得的几何失真范围，建立水平方向的几何失真Δuv与映射后的像素水平方向坐标位置u′/d′之间的关系；依据建立的几何失真Δuv与深度失真层Δz之间的关系以及在4 中建立的Δuv与u′/d′之间的关系，推导出Δz关于u′/d′的关系表达式，即为可容忍的深度失真范围。
对于步骤2中所获得的几何失真与深度层失真之间的对应关系，定义 K′R′-1(t-t′)＝[a，b，c]T，则Δuv可以表示为：
结合步骤3所获得的关系表达式，则有：
可容忍的深度层失真Δz(u，v)位于范围[Δzneg，Δzpos]，并且Δzneg和Δzpos可以表示为：
其中，边界值Δz1和Δz2可以通过下式获得：
最大可容忍深度失真分为正负两个方向，其中Δzpos为正向最大可容忍深度，而Δzneg为负向最大可容忍深度失真。通过上述分析可得，当深度值在区间 [z(u，v)+Δzneg(u，v)，z(u，v)+Δzpos(u，v)]内变化时，映射后的像素位置不会发生任何改变，即绘制的视图不会产生几何失真。
下面结合附图说明实验效果：
为使本发明的效果具有可比性，我们分别采用了Bookarrival测试序列中的view8和 view10、Breakdancers中的view3和view5以及Balloons中的view1和view5并结合运用虚拟视点合成软件VSRS进行实验验证。
图4给出了Bookarrival序列第33帧的绘制结果对比图：(a)和(d)为原始深度图；(b)和(e)为添加的正向MTDD噪声图；(c)和(f)为添加的负向MTDD噪声图；(g)、(h) 和(i)为绘制的虚拟视点图像。
图5给出了Breakdancers序列第1帧的绘制结果对比图：(a)和(d)为原始深度图；(b)和(e)为添加的正向MTDD噪声图；(c)和(f)为添加的负向MTDD噪声图；(g)、(h) 和(i)为绘制的虚拟视点图像。
图6给出了Balloons序列第1帧的绘制结果对比图：(a)和(d)为原始深度图；(b)和(e)为添加的正向MTDD噪声图；(c)和(f)为添加的负向MTDD噪声图；(g)、(h)和(i) 为绘制的虚拟视点图像。
从对比图中可以看出利用添加了最大可容忍的深度失真为噪声的深度图绘制的虚拟视点图像与利用原始的深度图绘制的虚拟视点图像在观看效果上没有任何差异，也就是说合成视图的失真是不易察觉的或者是至少是对于人类视觉系统而言是可容忍的。
图7给出了利用原始的深度图绘制的虚拟视图与参考基准图的MSE曲线、利用添加了正向最大可容忍深度失真的深度图绘制的虚拟视图与参考基准图的MSE曲线以及利用添加了负向最大可容忍深度失真的深度图绘制的虚拟视图与参考基准图的MSE和的曲线。从图中可以看出三条曲线是完全重合的，表示三种绘制视图的质量在客观评价方面是完全相同的，同时也证明了在可容忍的最大深度失真的范围内深度值的改变不会影响绘制的虚拟视图的质量。
Claims (5)
1.一种基于绘制的最大可容忍深度失真计算方法，其特征是，步骤如下：
1)将参考视点中的像素点分别利用原始深度和失真后的深度通过3D warping映射到虚拟视点图像中；
2)比较映射后的像素点的位置，获得由深度失真造成的绘制视图的几何失真模型，垂直方向的失真影响非常小忽略不计，只考虑水平方向的几何失真，即水平方向的位置偏移量；
3)利用像素取整原理，分析不引起整像素位置偏移的几何失真范围；
4)依据步骤3)中获得的几何失真范围，建立水平方向的几何失真△uv与映射后的像素水平方向坐标位置之间的关系，u′为利用原始深度值映射后的水平方向的坐标分量，d′为映射后的真实深度值；依据建立的几何失真△uv与深度失真层△z之间的关系以及在步骤4)中建立的△uv与之间的关系，推导出△z关于的关系表达式，即为可容忍的深度失真范围。
2.如权利要求1所述的基于绘制的最大可容忍深度失真计算方法，其特征是，其中，步骤1)进一步细化为：将参考视点中的像素点(u,v)分别利用原始深度d(u,v)和失真的深度d(u,v)+△d(u,v)映射到虚拟视点图像中的位置(uv,vv)和(u′v,v′v)处；
其中，K,R,t分别表示参考视点的内参矩阵、旋转矩阵和平移矩阵；K′,R′和t′分别对应于虚拟视点的内参、旋转和平移矩阵；R′-1和K-1分别表示矩阵R′和矩阵K的逆矩阵；u′和u″分别为利用原始深度值和失真深度值映射后的水平方向的坐标分量；v′和v″分别为利用原始深度值和失真深度值映射后的垂直方向的坐标分量；d′和d″分别为利用原始深度和失真深度值映射后的深度值；(uv,vv)为利用原始深度d(u,v)映射后在虚拟视点中的坐标位置，(u′v,v′v)为利用失真的深度d(u,v)+△d(u,v)映射后在虚拟视点中的位置；
在映射的过程中，d(u,v)以及d(u,v)+△d(u,v)为真实的深度，真实的深度d与深度图中的深度层z之间的对应关系为：
其中，MinZ和MaxZ分别表示真实深度d的最小和最大值。
3.如权利要求2所述的基于绘制的最大可容忍深度失真计算方法，其特征是，步骤2)进一步细化为：比较映射后的像素位置(u′/d′,v′/d′)和(u″/d″,v″/d″)获得深度失真造成的绘制视图的几何失真：
(△uv,△vv)＝(u″/d″-u′/d′,v″/d″-v′/d′)
在步骤1)中进行映射时，定义P为投影矩阵，Pij为投影矩阵中对应位置上的元素值,i,j＝1,2,3，在投影矩阵P中P31＝P32＝0且有从而得出d′＝d(u,v)，d″＝d(u,v)+△d(u,v)，则有：
深度层与真实的深度之间的对应关系得到d(u,v)对应于深度图中的深度层z(u,v)，d(u,v)+△d(u,v)对应于深度图中的深度层z(u,v)+△z(u,v)，则上式写为：
通过上式得到绘制视图的几何位置失真与深度图中对应的深度层失真△z(u,v)呈线性关系。
4.如权利要求2所述的基于绘制的最大可容忍深度失真计算方法，其特征是，步骤3)进一步细化为，对于映射后的像素位置需要进行取整处理：
当利用失真的深度进行映射而绘制的视图中不产生几何失真时，u″/d″和u′/d′应满足如下关系：
由于△uv＝u″/d″-u′/d′，由几何关系得：
5.如权利要求2所述的基于绘制的最大可容忍深度失真计算方法，其特征是，步骤4)进一步细化为：对于步骤2)中所获得的几何失真与深度层失真之间的对应关系，定义K′R′-1(t-t′)＝[a,b,c]T，则△uv表示为：
结合步骤3)所获得的关系表达式，则有：
可容忍的深度层失真△z位于范围[△zneg,△zpos]，并且△zneg和△zpos表示为：
其中，△z1和△z2分别为可容忍深度失真的界限值，并且△z1和△z2通过下式获得：
最大可容忍深度失真分为正负两个方向，其中△zpos为正向最大可容忍深度，而△zneg为负向最大可容忍深度失真，当深度层z在区间[z(u,v)+△zneg(u,v),z(u,v)+△zpos(u,v)]内变化时，映射后的像素位置不会发生任何改变，即绘制的视图不会产生几何失真。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611234867.9A CN106791772B (zh) | 2016-12-28 | 2016-12-28 | 基于绘制的最大可容忍深度失真计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611234867.9A CN106791772B (zh) | 2016-12-28 | 2016-12-28 | 基于绘制的最大可容忍深度失真计算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106791772A CN106791772A (zh) | 2017-05-31 |
| CN106791772B true CN106791772B (zh) | 2018-12-11 |
Family
ID=58923534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611234867.9A Active CN106791772B (zh) | 2016-12-28 | 2016-12-28 | 基于绘制的最大可容忍深度失真计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106791772B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107204023B (zh) * | 2017-06-22 | 2020-12-11 | 网易（杭州）网络有限公司 | 避免绘制在canvas画布中的图形失真的方法和装置 |
| CN107809630B (zh) * | 2017-10-24 | 2019-08-13 | 天津大学 | 基于改进虚拟视点合成的多视点视频超分辨率重建算法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103002306A (zh) * | 2012-11-27 | 2013-03-27 | 宁波大学 | 一种深度图像编码方法 |
| CN104244008A (zh) * | 2014-09-12 | 2014-12-24 | 宁波大学 | 一种深度视频编码方法 |
| CN104469336A (zh) * | 2013-09-25 | 2015-03-25 | 中国科学院深圳先进技术研究院 | 多视点深度视频信号的编码方法 |
-
2016
- 2016-12-28 CN CN201611234867.9A patent/CN106791772B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103002306A (zh) * | 2012-11-27 | 2013-03-27 | 宁波大学 | 一种深度图像编码方法 |
| CN104469336A (zh) * | 2013-09-25 | 2015-03-25 | 中国科学院深圳先进技术研究院 | 多视点深度视频信号的编码方法 |
| CN104244008A (zh) * | 2014-09-12 | 2014-12-24 | 宁波大学 | 一种深度视频编码方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于JNDD边界划分的立体视频深度编码;王来花等;《天津大学学报（自然科学与工程技术版）》;20160930;第49卷(第9期);全文 * |
| 基于最大可容忍深度失真模型的低复杂度深度视频编码;李祖团等;《光电子.激光》;20150630;第26卷(第6期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106791772A (zh) | 2017-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104756491B (zh) | 基于组合的深度提示从单视场图像生成深度图 | |
| CN101771893B (zh) | 一种基于视频序列背景建模的虚拟视点绘制方法 | |
| CN101902657B (zh) | 一种基于深度图分层的虚拟多视点图像的生成方法 | |
| CN101516040B (zh) | 视频匹配方法、装置及系统 | |
| CN104754359B (zh) | 一种二维自由视点视频的深度图编码失真预测方法 | |
| CN105049866B (zh) | 基于绘制失真模型的多视点加深度编码的码率分配方法 | |
| CN103248909B (zh) | 平面视频转化为立体视频的方法及系统 | |
| CN104065946B (zh) | 基于图像序列的空洞填充方法 | |
| CN102254348A (zh) | 一种基于块匹配视差估计的中间视图合成方法 | |
| Lie et al. | 2D to 3D video conversion with key-frame depth propagation and trilateral filtering | |
| Solh et al. | 3VQM: A vision-based quality measure for DIBR-based 3D videos | |
| CN105141940B (zh) | 一种分区域的3d视频编码方法 | |
| US10127714B1 (en) | Spherical three-dimensional video rendering for virtual reality | |
| CN104506872B (zh) | 一种平面视频转立体视频的方法及装置 | |
| CN103248906A (zh) | 一种双目立体视频序列的深度图获取方法与系统 | |
| Zhang et al. | Sparse representation-based video quality assessment for synthesized 3D videos | |
| Li et al. | A real-time high-quality complete system for depth image-based rendering on FPGA | |
| CN104270624B (zh) | 一种分区域的3d视频映射方法 | |
| CN103780895A (zh) | 一种立体视频质量评价方法 | |
| Wang et al. | Reference-free DIBR-synthesized video quality metric in spatial and temporal domains | |
| Bleyer et al. | Temporally consistent disparity maps from uncalibrated stereo videos | |
| Zhu et al. | An improved depth image based virtual view synthesis method for interactive 3D video | |
| CN103679739A (zh) | 基于遮挡区域检测的虚拟视图生成方法 | |
| CN106791772B (zh) | 基于绘制的最大可容忍深度失真计算方法 | |
| CN104661014A (zh) | 时空结合的空洞填充方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |