CN106998460B - 一种基于深度过渡和深度项整体变分的空洞填补算法 - Google Patents

一种基于深度过渡和深度项整体变分的空洞填补算法 Download PDF

Info

Publication number
CN106998460B
CN106998460B CN201710344150.8A CN201710344150A CN106998460B CN 106998460 B CN106998460 B CN 106998460B CN 201710344150 A CN201710344150 A CN 201710344150A CN 106998460 B CN106998460 B CN 106998460B
Authority
CN
China
Prior art keywords
depth
boundary
depth map
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710344150.8A
Other languages
English (en)
Other versions
CN106998460A (zh
Inventor
杨依忠
伍能举
胡雄楼
汪鹏飞
徐栋
荣燊
解光军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201710344150.8A priority Critical patent/CN106998460B/zh
Publication of CN106998460A publication Critical patent/CN106998460A/zh
Application granted granted Critical
Publication of CN106998460B publication Critical patent/CN106998460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

利用深度图的图像绘制是2D转3D中的一种普遍使用的算法，但是采用这种方法在绘制后的最终图像中会有空洞出现，造成不良的视觉效果。针对这个问题，本文提出一种基于深度过渡和深度项整体变分的空洞填补算法来填补空洞，可以得到高质量的目标图像。首先在预处理阶段对深度图进行滤波，然后对深度图的前后景边界深度进行过渡。这样可以减少前后景边界空洞的出现。对目标图像出现的小空洞点，使用带深度项的整体变分修复算法来进行处理。对于大空洞点一般都是边界连续出现的空洞点，这些空洞点不能使用变分修复，用参考图像相应位置的像素来填补。实验表明，本算法结果视觉效果优秀，有着较高的峰值信噪比。

Description

一种基于深度过渡和深度项整体变分的空洞填补算法
技术领域
本发明涉及3D显示技术领域，涉及前后景深度过渡和空洞填补技术，能够将目标图像进行高质量修复，并且有良好的视觉效果，具体为一种基于深度过渡和深度项整体变分的空洞填补算法。
背景技术
随着视频显示技术的不断发展，3D显示技术以其立体感、真实感、和交互性的特点已经成为下一代显示技术的基础。目前3D显示技术大多数都是利用视差原理来实现的，即分别提供给左眼以及右眼两幅不同的图像，来模拟平时观察者观察外界事物的特征，使观察者在适当的的角度观看画面时产生三维立体空间感。为了得到目标左右视图，普遍采用的方法是给定一幅原始图像然后利用3D绘制的方法进行获取。当下主要采用基于深度图像的绘制(Depth Image Based Rending,DIBR)的方法进行合成目标左右视图。
但是采用DIBR三维图像变换方法得到的目标视图往往存在空洞，导致视觉效果无法满足要求。所以需要对目标图像的空洞进行填补。而引起空洞的原因一般有两类。一种是参考图像的像素通过深度映射到目标图像后错位导致。另一种是物体的可见性变化引起的。如果处理不好则会导致3D效果差，并且引起视觉不适。所以填补的效果将决定3D图像的质量。
传统的填补方法是插值算法，就是插值相邻像素值来填补空洞点。这种方法简单易行，但是填补效果不是很理想。Criminisi修复算法则是典型的寻找匹配块来填补空洞区域的算法，它通过寻找置信度最大的块来修复空洞。但是这种算法耗时长。Fehn提出用高斯滤波器平滑深度图以消除合成后目标图像中较大的空洞或使空洞变小。后来很多算法在滤波器选择和滤波区域方面对此进行了改进。近来比较流行的是通过时间信息与位置信息来综合考虑填补空洞，或者是综合考虑深度信息和时空信息来修复。相对传统算法有着较好的填补效果，但是这类算法往往很复杂耗时长，难以硬件实现。
鉴于以上对于各种不同空洞填补方法优点以及局限性的描述，希望这样一种空洞填补算法，具有以下特点：在对深度图像进行预处理的时候能够减少以至消除深度值变化比较剧烈的地方，则经过3D绘制后得到的目标视图上空洞点数量较少且分散，同时保证目标视图的质量不会降低；在空洞填补的时候，先对空洞点进行判断，对于非边界的小空洞点和边界的大空洞点分开填补，以保证填补的效果。
发明内容
本发明的目的在于提供一种基于深度过渡和深度项整体变分的空洞填补算法，这种算法可以高质量的修复目标图像。
为达前述目的，本发明采用的技术方案是：
一种基于深度过渡和深度项整体变分的空洞填补算法，参见图1，其特征在于，按如下步骤进行：
步骤A：输入原始图像，获取深度图，并将该原始图像作为参考图像；
由基于相对高度的深度图方法获取参考图像(输入图像)相应的深度图；深度图包括前景、后景；前景与后景之间的边界称为前后景临界处；
进一步说，图片的前景是指图片中视觉上离我们近的区域，后景类似于背景区域；前后景临界处就是它们的边界；
随后进入下一步骤；
步骤B：对由步骤A获得的深度图处理，首先进行双边滤波，获得滤波后的深度图，滤波后的深度图更加平滑，这样可以减少由参考图像和深度图由于DIBR算法合成目标图像时的空洞的出现。利用DIBR算法合成目标图像是指通过深度图和输入图像获得左右视图，再通过左右视图合成3D图像。
进一步说，在进行DIBR合成前，先对滤波后的深度图前后景临界处边界进行深度梯度过渡，深度过渡可见说明图6；
随后进入下一步骤；
步骤C：利用带深度项的整体变分法先修复合成的目标图像中的小空洞，这种方法是在整体变分法基础上加入深度项，这样可以使合成的目标图像的效果更好，以左视图为例；
随后进入下一步骤；
步骤D：然后对边界大空洞用参考图像相应位置像素来填补目标图像，以左视图为例；
步骤E：对前后景边界的相邻像素进行权值合成，获得目标图像并输出。权值范围在0.8～1.1间；进行DIBR合成目标图像时对前后景边界相邻像素分配不同大小的权值来合成，并且权值是自适应的，这里以左视图为例。
参见图2，进一步说，在步骤B中对深度图的具体处理步骤如下：
步骤B1：双边滤波：对步骤A获得的深度图后，对深度图进行双边滤波；
所述的双边滤波是一种可以保边界去噪声的滤波器；该滤波器的去噪效果是由两个函数构成，一个函数是由几何空间距离决定滤波器系数。另一个由像素差值决定滤波器系数。完整的双边滤波器表达式如下：
Sx,y表示式中心点在位置(x,y)的(2N+1)·(2N+1)的领域，N是整数。g(i,j)是处理前的图像，f(x,y)是滤波后的图像；w(i,j)是权重系数，它由两部分的乘积组成，wr(i,j)是值域滤波系数，ws(i,j)是空域滤波系数：
w(i,j)＝ws(i,j)·wr(i,j)
σs是空间邻近度因子，σr是亮度相似度因子，对于给定图像它们是定值。
步骤B2：获取前后景边界；
根据深度值的差Dep(i,j)-Dep(i,j-1)≥d0，其中Dep(i,j)是深度图中像素点(i,j)的深度值，通过相邻像素点深度差值确定前后景边界，其中d0是人为设定的阈值，d0小于10；
步骤B3：人工调节前后景边界：由人工调整并通过设定阈值在10内不同值来确定选定合理的前后景边界；
步骤B4：进行前后景边界深度过度；
利用公式Dep(i,j-k)＝[Dep(i,j-k-1)+Dep(i,j)]/2对前后景边界进行深度梯度过渡，并判断过渡后是否满足Dep(i,j-k)-Dep(i,j-k-1)≤a的条件，a是人为设定的阈值，a的取值小于3，其中k为过渡步数，k取值为5。
步骤B5：将滤波后的深度图和步骤A中的参考图像进行DIBR合成，获得目标图像；该图像存在小空洞、边界大空洞和前后景边界。
参见图3，进一步说，所述步骤C的具体步骤如下：
步骤C1：利用能量函数公式最小化原则来处理小空洞；
其中D是一幅图像的空洞区域，E是这幅图像中除空洞区域外的区域；u是修复的像素值，▽u是u的梯度，▽dep是深度的梯度值，也就是加入的深度项，u0是初始像素值，就是图像未处理前的像素值。
步骤C2：由于图像在计算机里的形式图像其实是矩阵，所以将能量函数公式转化为欧拉公式形式其中m为：
λ是拉格朗日算子，▽是梯度运算。
步骤C3：通过采用高斯-雅克比迭代算法的迭代处理来得到修复后像素值为up是空洞点的上下左右四个领域像素点；这里权系数为权系数中的wp是权值，由公式确定；β是常数因子，是为了防止迭代时作为分母的wp为0；n是迭代的次数，▽dep是加入的深度项。
参见图3，进一步说，步骤D中处理边界大空洞区域的具体方法如下：
在步骤C中，使用带深度项的整体变分算法的修复小空洞后，在边界处任然会留下空洞，这是带深度项的整体变分算法无法修复的。这部分剩下的空洞就是大空洞，大空洞呈现连续大面积的空洞现象。使用参考图像相应位置的像素点来填充
大空洞填充表达式：Des(i,j)＝Img(i,j)，这里Img(i,j)是原输入图像的像素，Des(i,j)是要填充的目标图像。
参见图3，进一步说步骤E是为了减少目标图像前后景边界模糊情况；因为在进行DIBR合成的时候，深度过渡后在边界出现的是前后景像素点的混合。如果给它们一样的权值来合成目标图像会导致边界的模糊。所以使用不同的权值来处理这部分，权值范围在0.8～1.1间。并且权值自适应。
其中w[i,j]为位置[i,j]处的权值。
其中F是焦距，B是基线长度，F和B都是摄像机参数；Dep[i,j]为深度值。a、b、c如下：
Dmax、Dmin、Dcenter分别是D[i,j]的最大值、最小值和中间值。合成时：
If[i,j]＝w[i,j]·I[i,j]
其中I[i,j]是目标图像的像素值(以左视图为例)，If[i,j]是通过权值自适应后的目标图像的像素值。
有益的技术效果
本发明对深度图像进行预处理，能够减少乃至消除目标图像中深度值变化比较剧烈的区域，经过本发明方法所实现的3D绘制，得到的目标图像上空洞点数量较少且分散，进而保证了目标图像的质量不会降低；与此同时，本发明在进行空洞填补的时候，先对空洞点进行判断，对于非边界的小空洞点和边界的大空洞点分开填补，以保证填补的效果。本发明方法具有3D效果好，不易引起视觉不适，合成出的3D图像的质量高的优点。
附图说明
图1为本发明所提供的空洞填补方法的总流程图。
图2为本发明中所采用的深度图预处理算法流程图。
图3为本发明所提供的空洞填补方法的具体流程图。
图4为本发明针对不同场景处理的效果图，由上到下依次是原始图、深度图、空洞图、最终结果为填补好的左视图。
图5为大空洞与小空洞说明图。
图6为深度过渡说明图。
具体实施方法
为了使本发明实施方式的目的、技术方案和优点表达的更加清楚，下面结合附图和具体实施案例对本发明再作进一步详细说明。
实施例
本发明空洞填补算法是分步骤进行的，首先是对深度图进行预处理，这里采用双边滤波处理算法。然后找出深度图中需要过渡的前后景边界，并对这个边界进行深度梯度逐步过渡以减少边界的空洞。之后利用带深度项的整体变分算法对合成的目标图像中的小空洞进行修复。然后再对边界大空洞进行处理。最后采取自适应的方法给边界合成赋予合适的权重。
图1为根据本发明实施方式的空洞填补算法的流程示意图。如图1所示的空洞填补算法包括如下步骤：
步骤S101输入参考图像来获取深度图；
步骤S102对深度图进行处理；
步骤S103小空洞填补；
步骤S104进行大空洞空洞填补；
步骤S105自适应处理；
最后目标图像输出。
首先，在步骤S102中，需要对深度图进行双边滤波和前后景深度梯度过渡，结合流程图2具体历程如下：
步骤S1021输入深度图；
步骤S1022对输入的深度图进行双边滤波。双边滤波器是一种可以保留边界去噪声的滤波器。之所以可以达到此去噪效果，是因为滤波器是由两个函数构成。一个函数是由几何空间距离决定滤波器系数，另一个由像素差值决定滤波器系数。完整滤波器表达式如下：
Sx,y表示中心点在位置(x,y)的(2N+1)·(2N+1)的领域，N是整数。g(i,j)是处理前的图像，f(x,y)是滤波后的图像。w(i,j)是权重系数，它由两部分的乘积组成，wr(i,j)是值域滤波系数，ws(i,j)是空域滤波系数：
w(i,j)＝ws(i,j)·wr(i,j)
σs是空间邻近度因子，σr是亮度相似度因子，对于给定图像它们是定值。
步骤S1023根据深度值的差Dep(i,j)-Dep(i,j-1)≥d0来确定前后景边界；其中Dep(i,j)是深度图中像素点(i,j)的深度值，通过相邻像素点深度差值确定前后景边界，其中d0是人为设定的阈值，设定它小于10；
步骤S1024通过调整阈值d0来确定合理的前后景边界，为后面的前后景深度边界的梯度过渡做准备；
步骤S1025利用公式Dep(i,j-k)＝[Dep(i,j-k-1)+Dep(i,j)]/2对前后景边界进行深度梯度过渡，并判断过渡后是否满足Dep(i,j-k)-Dep(i,j-k-1)≤a的条件，a是人为设定的阈值，这里它小于3，其中k为过渡步数，不妨让k为5；
步骤S1026输出处理完毕的深度图。
然后在步骤DIBR合成目标图像，需要填补及自适应处理，结合流程图3具体历程如下：
首先输入参考图像和处理好的深度图；
步骤S1032对输入的参考图像和深度图进行DIBR合成左视图；
步骤S1033区分目标图像中的小空洞与大空洞；
步骤S1034进行空洞填补；
填补小空洞时，其中是运用到高斯-雅克比迭代方法迭代处理后得到修复后的像素值。这种算法的原理是基于整体变分法能量函数最小原则下的方法，即的公式。其中D是空洞区域，E是D的邻域，u是修复的像素值，▽u是u的梯度，▽dep是深度的梯度值，u0是初始像素值。在计算的过程中由于图像像素点是矩阵的形式，所以还需要对公式近似处理。用欧拉公式来近似处理原先的能量函数成为的形式。根据像素的梯度关系将欧拉公式转换为其中E、W、N、S为空洞点的四个方向的相邻点，e、w、n、s是他们之间半像素点。
步骤S1035用来是处理边界大空洞点，主要是由于大空洞点用带深度项的整体变分法无法全部修复。因为边界处的图像一般都是背景信息，或者所包含的前景目标很少，所以使用参考图像相应位置的像素进行填补，即Des(i,j)＝Img(i,j)。
步骤S1036处理完空洞后在进行DIBR合成时，为了得到更加清晰的前后景边界，对边界合成进行自适应处理。利用权值来处理。其中各个元素含义如下：
其中F是焦距，B是基线长度，F和B都是摄像机参数。Dep[i,j]为深度值。a、b、c定义如下：
Dmax、Dmin、Dcenter分别是D[i,j]的最大值、最小值和中间值。最终得到的处理结果为If[i,j]＝w[i,j]·I[i,j]。其中I[i,j]是目标图像的像素值(以左视图为例)，If[i,j]是通过权值自适应后的目标图像的像素值。
步骤S1037输出最终的目标图像。
为了验证本发明对图像空洞填补的质量，采用峰值信噪比PSNR来进行衡量。PSNR越大表示失真越小。
PSNR＝10·log(2552/MSE)
MSE是原图像与处理图像的均方误差。
其中I(i,j)是原图像，K(i,j)是处理图像。通过对90帧的“ballet”视频序列的填补处理的平均峰值信噪比与其它方法的对比结果见表1。
表1
图4为本发明针对4组场景处理的效果图，每一组为一列，每列由上到下依次是原始图、深度图、空洞图、填补好的目标视图(图中为构成3D图像的左视图)。图5为将图4中第2列所示场景放大后的大空洞与小空洞示意图。图6为深度过渡的示意图。补充的说，是采用本发明方法分别对左右图进行处理。

Claims (1)

1.一种基于深度过渡和深度项整体变分的空洞填补算法，其特征在于，按如下步骤进行：
步骤A:输入原始图像，获取深度图，并将该原始图像作为参考图像；由基于相对高度的深度图方法获取参考图像相应的深度图；深度图包括前景、后景；前景与后景之间的边界称为前后景临界处；随后进入下一步骤；
步骤B：对由步骤A获得的深度图进行处理：首先进行双边滤波，获得滤波后的深度图，滤波后的深度图更加平滑，并减少由参考图像和深度图由于DIBR算法合成目标图像时的空洞的出现；随后进入下一步骤；步骤B具体如下：
步骤B1：双边滤波：对步骤A获得的深度图进行双边滤波；
所述的双边滤波是通过双边滤波器进行保边界去噪声的；该双边滤波器的去噪效果是由两个函数构成，一个函数是由几何空间距离决定滤波器系数，另一个由像素差值决定滤波器系数；双边滤波器表达式如下：
式中，坐标(x,y)对应一个领域Sx,y；领域Sx,y长宽均为2N+1，即领域Sx,y为(2N+1)·(2N+1)的方格；(x,y)位于该对应领域Sx,y的中心，即(x,y)处于Sx,y的中心点的位置，N是整数；g(i,j)是处理前的图像，f(x,y)是滤波后的图像；w(i,j)是权重系数，它由两部分的乘积组成，wr(i,j)是值域滤波系数，ws(i,j)是空域滤波系数：
w(i,j)＝ws(i,j)·wr(i,j)
σs是空间邻近度因子，σr对应亮度相似度因子，对于给定图像它们是定值；
步骤B2：获取前后景边界：
设深度值的差为Dep(i，j)-Dep(i，j-1)；该深度值≥d0，其中Dep(i,j)是深度图中像素点(i,j)的深度值，通过相邻像素点深度差值确定前后景边界，其中d0是人为设定的阈值；
步骤B3：人工调节前后景边界：由人工调整并设定阈值d0，d0小于10，通过人工设定的阈值d0确定前后景边界；
步骤B4：进行前后景边界深度过渡；
利用公式Dep(i,j-k)＝[Dep(i,j-k-1)+Dep(i,j)]/2对前后景边界进行深度梯度过渡，并判断过渡后是否满足Dep(i,j-k)-Dep(i,j-k-1)≤a的条件，其中a是人为设定的阈值，a的取值小于3，k为过渡步数，k的取值为5；
步骤B5：将滤波后的深度图和步骤A中的参考图像进行DIBR合成，获得3D图像；该3D图像存在小空洞、边界大空洞和前后景边界；
步骤C:利用带深度项的整体变分法先修复合成的目标图像中的小空洞，这种方法是在整体变分法基础上加入深度项，这样可以使合成的目标图像的效果更好:随后进入下一步骤:
步骤D:然后对边界的大空洞用参考图像相应位置像素来填补目标图像:
步骤E:对前后景边界的相邻像素进行权值合成，获得目标图像并输出；
所述步骤C的具体步骤如下：
步骤C1：利用能量函数公式最小化原则来处理小空洞；
其中D是空洞区域，E是D的邻域；u是修复的像素值，▽u是u的梯度，▽dep是深度的梯度值，即是深度项；u0是初始像素值；
步骤C2：由于图像在计算机里的形式其实是矩阵，所以将能量函数公式转化为欧拉公式形式其中m为：
λ是拉格朗日算子，▽是梯度运算；
步骤C3：通过采用高斯-雅克比迭代算法的迭代处理来得到修复后像素值为
up是空洞点的上下左右四个领域像素点；△是空洞上下左右的四个像素点，这里权系数为权系数中的wp是权值，β是常数因子，n是迭代的次数，▽dep是深度项。
CN201710344150.8A 2017-05-16 2017-05-16 一种基于深度过渡和深度项整体变分的空洞填补算法 Active CN106998460B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710344150.8A CN106998460B (zh) 2017-05-16 2017-05-16 一种基于深度过渡和深度项整体变分的空洞填补算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710344150.8A CN106998460B (zh) 2017-05-16 2017-05-16 一种基于深度过渡和深度项整体变分的空洞填补算法

Publications (2)

Publication Number Publication Date
CN106998460A CN106998460A (zh) 2017-08-01
CN106998460B true CN106998460B (zh) 2019-06-21

Family

ID=59434623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710344150.8A Active CN106998460B (zh) 2017-05-16 2017-05-16 一种基于深度过渡和深度项整体变分的空洞填补算法

Country Status (1)

Country Link
CN (1) CN106998460B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116602A (zh) * 2020-08-31 2020-12-22 北京的卢深视科技有限公司 深度图修复方法、装置和可读存储介质
CN112581389A (zh) * 2020-12-04 2021-03-30 北京大学深圳研究生院 虚拟视点深度图处理方法、设备、装置及存储介质
CN114926372A (zh) * 2022-06-28 2022-08-19 南京工业大学 一种基于智能翻页与加速tv-pde的退化图像修复方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831602A (zh) * 2012-07-26 2012-12-19 清华大学 基于深度图前向映射的图像渲染方法和图像渲染装置
CN103905813A (zh) * 2014-04-15 2014-07-02 福州大学 基于背景提取与分区修复的dibr空洞填补方法
CN104378619A (zh) * 2014-11-12 2015-02-25 合肥工业大学 一种基于前后景梯度过渡的快速高效的空洞填补算法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9094660B2 (en) * 2010-11-11 2015-07-28 Georgia Tech Research Corporation Hierarchical hole-filling for depth-based view synthesis in FTV and 3D video
KR101210625B1 (ko) * 2010-12-28 2012-12-11 주식회사 케이티 빈공간 채움 방법 및 이를 수행하는 3차원 비디오 시스템
CN102307312B (zh) * 2011-08-31 2013-06-05 四川虹微技术有限公司 一种对dibr技术生成的目标图像进行空洞填充的方法
US9117295B2 (en) * 2011-12-20 2015-08-25 Adobe Systems Incorporated Refinement of depth maps by fusion of multiple estimates
CN102722863B (zh) * 2012-04-16 2014-05-21 天津大学 采用自回归模型对深度图进行超分辨率重建的方法
CN103927717B (zh) * 2014-03-28 2017-03-15 上海交通大学 基于改进型双边滤波的深度图像恢复方法
US9754377B2 (en) * 2014-08-15 2017-09-05 Illinois Institute Of Technology Multi-resolution depth estimation using modified census transform for advanced driver assistance systems
CN104318569B (zh) * 2014-10-27 2017-02-22 北京工业大学 基于深度变分模型的空间显著性区域提取方法
CN105046743A (zh) * 2015-07-01 2015-11-11 浙江大学 一种基于全局变分技术的超高分辨率三维重建方法
CN105139355A (zh) * 2015-08-18 2015-12-09 山东中金融仕文化科技股份有限公司 一种深度图像的增强方法
KR20170025214A (ko) * 2015-08-27 2017-03-08 광주과학기술원 다시점 깊이맵 생성 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831602A (zh) * 2012-07-26 2012-12-19 清华大学 基于深度图前向映射的图像渲染方法和图像渲染装置
CN103905813A (zh) * 2014-04-15 2014-07-02 福州大学 基于背景提取与分区修复的dibr空洞填补方法
CN104378619A (zh) * 2014-11-12 2015-02-25 合肥工业大学 一种基于前后景梯度过渡的快速高效的空洞填补算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于TV模型的快速图像修复算法;赵颜伟;李象霖;《微电子学与计算机》;20090605;第253-256页，第260页
采用TV及纹理合成技术的分层图像修复;周姗姗;赵知劲;叶学义;《计算机工程与应用》;20110811;第201-203页

Also Published As

Publication number Publication date
CN106998460A (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
Niklaus et al. Video frame interpolation via adaptive separable convolution
CN102802005B (zh) 三维视频内容产生方法
TWI524734B (zh) 產生深度圖的方法及裝置
CN104756491B (zh) 基于组合的深度提示从单视场图像生成深度图
CN102592275B (zh) 虚拟视点绘制方法
CN109462747B (zh) 基于生成对抗网络的dibr系统空洞填充方法
RU2423018C2 (ru) Способ и система для преобразования стереоконтента
CN104506872B (zh) 一种平面视频转立体视频的方法及装置
CN106998460B (zh) 一种基于深度过渡和深度项整体变分的空洞填补算法
CN116664782B (zh) 一种基于融合体素的神经辐射场三维重建方法
CN106162137A (zh) 虚拟视点合成方法及装置
CN108234985B (zh) 用于反向深度图渲染处理的维度变换空间下的滤波方法
CN102436671B (zh) 一种基于深度值非线性变换的虚拟视点绘制方法
Mao et al. Expansion hole filling in depth-image-based rendering using graph-based interpolation
CN104301706B (zh) 一种增强裸眼立体显示效果的合成方法
CN115482323A (zh) 一种基于神经辐射场的立体视频视差控制与编辑方法
CN102223545B (zh) 一种快速多视点视频颜色校正方法
Liao et al. Multi-scale mutual feature convolutional neural network for depth image denoise and enhancement
EP2701389A1 (en) Apparatus and method for depth-based image scaling of 3D visual content
Liu et al. An efficient depth map preprocessing method based on structure-aided domain transform smoothing for 3D view generation
CN113450274B (zh) 一种基于深度学习的自适应视点融合方法及系统
CN103703771B (zh) 用于生成3d立体视图的着色方法
CN105160635A (zh) 一种基于分数阶微分估计梯度域的图像滤波方法
Gao et al. A newly virtual view generation method based on depth image
Chang et al. A depth map refinement algorithm for 2D-to-3D conversion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant