CN106028020B - 一种基于多方向预测的虚拟视角图像空洞填补方法 - Google Patents
一种基于多方向预测的虚拟视角图像空洞填补方法 Download PDFInfo
- Publication number
- CN106028020B CN106028020B CN201610451621.0A CN201610451621A CN106028020B CN 106028020 B CN106028020 B CN 106028020B CN 201610451621 A CN201610451621 A CN 201610451621A CN 106028020 B CN106028020 B CN 106028020B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- empty
- represent
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于多方向预测的虚拟视角图像空洞填补方法,它是根据基于深度图的绘制算法,空洞区域都是位于背景区域的某些部分,需要使用背景部分的信息作为参考进行填补。在对大空洞的空像素点进行填补时,使用面向背景一侧的三个方向上的可用像素点做参考进行预测插值,并根据预测模式的具体公式进行插值计算,因此插值的精确度较高;能够在保证图像修复效果的前提下快速完成虚拟视角的空洞填补。由于本发明在三维绘制前对深度图像未做平滑滤波处理,也就避免了绘制出的虚拟视角图像中垂直边界上出现的几何失真。
Description
朱树元 於景瞵 李明宇(电子科技大学)
技术领域
本发明属于三维视频处理领域,主要涉及一种基于多方向预测的虚拟视角图像空洞填补方法。
背景技术
通常情况下,将二维视频转化为三维视频所采用的方法是使用三维绘制技术在二维视频图像的基础上生成左、右两个视角图像,并分别提供给左眼和右眼交替观看,由此产生三维视觉的效果。如今最流行的三维绘制技术是基于深度图的绘制算法(Depth-image-based Rendering,DIBR),详细过程见参考文献“Depth-image-based rendering(DIBR),compression and transmission for a new approach on 3D-TV”。在将二维视频转化为三维视频的过程中,使用基于深度图的绘制技术所产生的虚拟视角能够根据观众的要求调整左、右视角的视差,因此大大增强了观众的视觉体验。但这种方法也存在一个缺陷,即合成的虚拟视角图像中会有空洞产生。产生空洞的主要原因是因为原始图像中前景对背景的遮挡部分在虚拟视角中被暴露出来,而在原始图像中没有此部分的视图信息,这样就会在虚拟视角图像上形成像素点的缺失。因此,对空洞进行填补是完整恢复虚拟视角图像的重要步骤。
目前常用的空洞填补算法有两类:一类是根据相邻像素点的亮度值和偏移量对空洞部分进行插值处理,并且在进行三维绘制之前通常会对相应的深度图像进行滤波处理,使深度图像的前景与背景边缘区域更加平滑,这样绘制出的虚拟视角图像中空洞范围会变小,且易于填补。这类基于插值的方法实现起来较为简单,但会引起合成后视角图像中物体的几何失真,特别是在物体的垂直边界区域,物体的扭曲失真幅度会非常大。另一类方法是基于深度图像修复技术的空洞填补算法,也是目前比较流行的空洞填补算法,虽然这类方法取得了不错的处理效果,但算法复杂度较高,需要根据纹理特征对空洞区域进行匹配块搜索,由此造成搜索时间过长、计算复杂度过高,造成硬件实现起来比较困难。
发明内容
针对目前空洞填补方法耗时过长和进行深度图滤波时易导致边界失真的缺点,本发明提供了一种基于多方向预测的虚拟视角图像空洞填补方法,能够在保证图像修复效果的前提下快速完成虚拟视角的空洞填补。
为了方便描述本发明的内容,首先做以下术语定义:
定义1,标准的三维绘制
标准的三维绘制是运用基于深度图的绘制算法将原始视角图像和对应的深度图像生成目标虚拟视角图像的方法;详细过程见参考文献“Depth-image-based rendering(DIBR),compression and transmission for a new approach on 3D-TV”;
定义2,标准的图像边框像素点复制法
标准的图像边框像素点复制法是通过图像边框相邻的像素点做参考对边框部分进行修复,详细过程为:
对图像边框进行扫描,当扫描到边框空洞点P时,搜索相邻的非空洞参考像素点,记为M,使用M对空洞点进行赋值,即P=M。当前空洞点填补完成后,继续此过程直到所有空洞点填补完成;
本发明提供一种基于多方向预测的虚拟视角图像空洞填补方法,它包括以下步骤:
步骤1,输入图像初始化
首先,将输入的原始图像记为X,这里,xi,j是图像X中的像素点,i代表X中像素点的横坐标,j代表X中像素点的纵坐标,W1代表X的宽度,H1代表X的高度,i、j、W1和H1都是自然数,并且1≤i≤H1,1≤j≤W1;
然后,将输入的原始图像X的深度图像记为Y,这里,yu,v是图像Y中的像素点,u代表Y中像素点的横坐标,v代表Y中像素点的纵坐标,W2代表Y的宽度,H2代表Y的高度,u、v、W2和H2都是自然数,并且1≤u≤H2,1≤v≤W2;
步骤2,产生虚拟视角图像
用步骤1中输入的深度图像Y对原始图像X进行标准的三维绘制,得到虚拟左视角图像和虚拟右视角图像,分别记为DL和DR,这里,是图像DL中的像素点,m1代表DL中像素点的横坐标,n1代表DL中像素点的纵坐标,M1代表图像DL的宽度,N1代表图像DL的高度,m1、n1、M1和N1都是自然数,并且1≤m1≤N1,1≤n1≤M1;是图像DR中的像素点,m2代表DR中像素点的横坐标,n2代表DR中像素点的纵坐标,M2代表DR的宽度,N2代表DR的高度,m2、n2、M2和N2都是自然数,并且1≤m2≤N2,1≤n2≤M2;
步骤3,虚拟左视角图像的空洞划分
首先,将虚拟左视角图像中用来划分空洞大小的阈值,记为TL,这里,TL为自然数;
接着,对步骤2产生的虚拟左视角图像DL按照从上到下、从左到右的顺序进行逐行扫描,将扫描过程中得到的空洞记为HLk,将空洞HLk所对应的空洞宽度记为WLk,这里,k为图像DL中空洞的索引下标,k为自然数;
最后,用空洞宽度WLk小于或等于阈值TL的空洞HLk组成虚拟左视角图像的小空洞集合,记为GL1,GL1={HLk|WLk≤TL};用空洞宽度WLk大于阈值TL的空洞HLk组成虚拟左视角图像的大空洞集合,记为GL2,GL2={HLk|WLk>TL};
步骤4,虚拟右视角图像的空洞划分
首先,将虚拟右视角图像中用来划分空洞大小的阈值,记为TR,这里,TR为自然数;
接着,对步骤2产生的虚拟右视角图像DR按照从上到下、从右到左的顺序进行逐行扫描,将扫描过程中得到的空洞记为HRl,将空洞HRl所对应的空洞宽度记为WRl,这里,l为图像DR中空洞的索引下标,l为自然数;
最后,用空洞宽度WRl小于或等于阈值TR的空洞HRl组成虚拟右视角图像的小空洞集合,记为GR1,GR1={HRl|WRl≤TR};用空洞宽度WRl大于阈值TR的空洞HRl组成虚拟右视角图像的大空洞集合,记为GR2,GR2={HRl|WRl>TR};
步骤5,虚拟左视角图像的空洞填补
首先,将虚拟左视角图像DL中空洞HLk的左侧背景区域内最邻近的非空洞像素点记为PL1,将HLk左上方背景区域内最邻近的非空洞像素点记为PL2,将HLk左下方背景区域内最邻近的非空洞像素点记为PL3;
其次,定义填补后的空洞为HL′k;如果虚拟左视角图像DL中的空洞HLk∈GL1,那么对HLk用PL1按照HL′k=PL1进行填补;如果虚拟左视角图像DL中的空洞HLk∈GL2,那么用PL1、PL2和PL3对HLk按照HL′k=(4×PL1-PL2-PL3-2)/2进行填补;
最后,得到空洞填补后的虚拟左视角图像,记为DL2,这里,是虚拟左视角图像DL2中的像素点,m3代表DL2中像素点的横坐标,n3代表DL2中像素点的纵坐标,M3代表DL2的宽度,N3代表DL2的高度,m3、n3、M3和N3都是自然数,并且1≤m3≤N3,1≤n3≤M3;
步骤6,虚拟右视角图像空洞填补
首先,将虚拟右视角图像DR中空洞HRl右侧背景区域内最邻近的非空洞像素点记为PR1,将HRl右上方背景区域内最邻近的非空洞像素点记为PR2,将HRl右下方背景区域内最邻近的非空洞像素点记为PR3;
其次,定义填补后的空洞为HR′l,如果虚拟右视角图像DR中的空洞HRl∈GR1,那么对HLk用PR1按照HR′l=PR1进行填补;如果虚拟右视角图像DR中的空洞HRl∈GR2,那么用PR1、PR2和PR3对HRl按照HR′l=(4×PR1-PR2-PR3-2)/2进行填补;
最后,得到空洞填补后的虚拟右视角图像,记为DR2,这里,是虚拟右视角图像DR2中的像素点,m4代表DR2中像素点的横坐标,n4代表DR2中像素点的纵坐标,M4代表DR2的宽度,N4代表DR2的高度,m4、n4、M4和N4都是自然数,并且1≤m4≤N4,1≤n4≤M2;
步骤7,虚拟视角图像边框修复
首先,对步骤5得到的虚拟左视角图像DL2的边框部分,使用标准的图像边框像素点复制法进行边框修复,得到修复后的图像,记为DL3;这里,是虚拟左视角图像DL3中的像素点,m5代表DL3中像素点的横坐标,n5代表DL3中像素点的纵坐标,M5代表DL3的宽度,N5代表DL3的高度,m5、n5、M5和N5都是自然数,并且1≤m5≤N5,1≤n5≤M5;
其次,对步骤6得到的虚拟右视角图像DR2的边框部分,使用标准的图像边框像素点复制法进行边框修复,得到修复后的图像,记为DR3,这里,是虚拟右视角图像DR3中的像素点,m6代表DR3中像素点的横坐标,n6代表DR3中像素点的纵坐标,M6代表DR3的宽度,N6代表DR3的高度,m6、n6、M6和N6都是自然数,并且1≤m6≤N6,1≤n6≤M6。
本发明的基本原理:根据基于深度图的绘制算法,空洞区域都是位于背景区域的某些部分,需要使用背景部分的信息作为参考进行填补。在对大空洞的空像素点进行填补时,会使用面向背景一侧的三个方向上的可用像素点做参考进行预测插值,并根据预测模式的具体公式进行插值计算,因此插值的精确度较高。由于本发明没有在三维绘制前对深度图像做平滑滤波处理,也就避免了绘制出的虚拟视角图像中垂直边界上出现的几何失真。
本发明的实质是:本发明的实质是充分利用空洞临近范围内背景区域上的已知像素点对空洞进行插值,通过引入较多的先验信息,提高空洞填补的效率。
本发明的创新点:本发明对不同大小的空洞采取不同的填补策略,并对大尺寸的空洞应用基于多方向预测的插值算法进行填补,并且避免了对深度图像进行滤波而产生的边界失真,在低复杂度的情况下保证了空洞填补的有效性。
本发明的优点:本发明所提出的多方向预测插值技术能够有效减小传统插值方法对大空洞区域进行填补时所造成的误差;同时,对不同大小的空洞区域采取不同的填补方法,能够提高填补的有效性。
附图说明
图1为本发明实现流程图。
图2为本发明大小不同的空洞填补算法流程图。
具体实施方式
本发明可根据用户的使用要求自行设定各种参数进行仿真验证,具体实施步骤如下:
步骤1,输入图像初始化
首先,将输入的原始图像记为X,这里,xi,j是图像X中的像素点,i代表X中像素点的横坐标,j代表X中像素点的纵坐标,W1代表X的宽度,H1代表X的高度,i、j、W1和H1都是自然数,并且1≤i≤H1,1≤j≤W1;X的分辨率根据用户的具体使用要求自行设定;
然后,将输入的原始图像X的深度图像记为Y,这里,yu,v是图像Y中的像素点,u代表Y中像素点的横坐标,v代表Y中像素点的纵坐标,W2代表Y的宽度,H2代表Y的高度,u、v、W2和H2都是自然数,并且1≤u≤H2,1≤v≤W2;Y的分辨率根据用户的具体使用要求自行设定;
步骤2,产生虚拟视角图像
用步骤1中输入的深度图像Y对原始图像X进行标准的三维绘制,得到虚拟左视角图像和虚拟右视角图像,分别记为DL和DR,这里,是图像DL中的像素点,m1代表DL中像素点的横坐标,n1代表DL中像素点的纵坐标,M1代表图像DL的宽度,N1代表图像DL的高度,m1、n1、M1和N1都是自然数,并且1≤m1≤N1,1≤n1≤M1;是图像DR中的像素点,m2代表DR中像素点的横坐标,n2代表DR中像素点的纵坐标,M2代表DR的宽度,N2代表DR的高度,m2、n2、M2和N2都是自然数,并且1≤m2≤N2,1≤n2≤M2;
步骤3,虚拟左视角图像的空洞划分
首先,将虚拟左视角图像中用来划分空洞大小的阈值TL设定为2;
接着,对步骤2产生的虚拟左视角图像DL按照从上到下、从左到右的顺序进行逐行扫描,将扫描过程中得到的空洞记为HLk,将空洞HLk所对应的空洞宽度记为WLk,这里,k为图像DL中空洞的索引下标,k为自然数;
最后,用空洞宽度WLk小于或等于阈值TL的空洞HLk组成虚拟左视角图像的小空洞集合,记为GL1,GL1={HLk|WLk≤TL};用空洞宽度WLk大于阈值TL的空洞HLk组成虚拟左视角图像的大空洞集合,记为GL2,GL2={HLk|WLk>TL};
步骤4,虚拟右视角图像的空洞划分
首先,将虚拟右视角图像中用来划分空洞大小的阈值TR设定为2;
接着,对步骤2产生的虚拟右视角图像DR按照从上到下、从右到左的顺序进行逐行扫描,将扫描过程中得到的空洞记为HRl,将空洞HRl所对应的空洞宽度记为WRl,这里,l为图像DR中空洞的索引下标,l为自然数;
最后,用空洞宽度WRl小于或等于阈值TR的空洞HRl组成虚拟右视角图像的小空洞集合,记为GR1,GR1={HRl|WRl≤TR};用空洞宽度WRl大于阈值TR的空洞HRl组成虚拟右视角图像的大空洞集合,记为GR2,GR2={HRl|WRl>TR};
步骤5,虚拟左视角图像的空洞填补
首先,将虚拟左视角图像DL中空洞HLk的左侧背景区域内最邻近的非空洞像素点记为PL1,将HLk左上方背景区域内最邻近的非空洞像素点记为PL2,将HLk左下方背景区域内最邻近的非空洞像素点记为PL3;
其次,定义填补后的空洞为HL′k;如果虚拟左视角图像DL中的空洞HLk∈GL1,那么对HLk用PL1按照HL′k=PL1进行填补;如果虚拟左视角图像DL中的空洞HLk∈GL2,那么用PL1、PL2和PL3对HLk按照HL′k=(4×PL1-PL2-PL3-2)/2进行填补;
最后,得到空洞填补后的虚拟左视角图像,记为DL2,这里,是虚拟左视角图像DL2中的像素点,m3代表DL2中像素点的横坐标,n3代表DL2中像素点的纵坐标,M3代表DL2的宽度,N3代表DL2的高度,m3、n3、M3和N3都是自然数,并且1≤m3≤N3,1≤n3≤M3;
步骤6,虚拟右视角图像空洞填补
首先,将虚拟右视角图像DR中空洞HRl右侧背景区域内最邻近的非空洞像素点记为PR1,将HRl右上方背景区域内最邻近的非空洞像素点记为PR2,将HRl右下方背景区域内最邻近的非空洞像素点记为PR3;
其次,定义填补后的空洞为HR′l,如果虚拟右视角图像DR中的空洞HRl∈GR1,那么对HLk用PR1按照HR′l=PR1进行填补;如果虚拟右视角图像DR中的空洞HRl∈GR2,那么用PR1、PR2和PR3对HRl按照HR′l=(4×PR1-PR2-PR3-2)/2进行填补;
最后,得到空洞填补后的虚拟右视角图像,记为DR2,这里,是虚拟右视角图像DR2中的像素点,m4代表DR2中像素点的横坐标,n4代表DR2中像素点的纵坐标,M4代表DR2的宽度,N4代表DR2的高度,m4、n4、M4和N4都是自然数,并且1≤m4≤N4,1≤n4≤M2;
步骤7,虚拟视角图像边框修复
首先,对步骤5得到的虚拟左视角图像DL2的边框部分,使用标准的图像边框像素点复制法进行边框修复,得到修复后的图像,记为DL3;这里,是虚拟左视角图像DL3中的像素点,m5代表DL3中像素点的横坐标,n5代表DL3中像素点的纵坐标,M5代表DL3的宽度,N5代表DL3的高度,m5、n5、M5和N5都是自然数,并且1≤m5≤N5,1≤n5≤M5;
其次,对步骤6得到的虚拟右视角图像DR2的边框部分,使用标准的图像边框像素点复制法进行边框修复,得到修复后的图像,记为DR3,这里,是虚拟右视角图像DR3中的像素点,m6代表DR3中像素点的横坐标,n6代表DR3中像素点的纵坐标,M6代表DR3的宽度,N6代表DR3的高度,m6、n6、M6和N6都是自然数,并且1≤m6≤N6,1≤n6≤M6。
Claims (1)
1.一种基于多方向预测的虚拟视角图像空洞填补方法,其特征是它包括以下步骤:
步骤1,输入图像初始化
首先,将输入的原始图像记为X,这里,xi,j是图像X中的像素点,i代表X中像素点的横坐标,j代表X中像素点的纵坐标,W1代表X的宽度,H1代表X的高度,i、j、W1和H1都是自然数,并且1≤i≤H1,1≤j≤W1;
然后,将输入的原始图像X的深度图像记为Y,这里,yu,v是图像Y中的像素点,u代表Y中像素点的横坐标,v代表Y中像素点的纵坐标,W2代表Y的宽度,H2代表Y的高度,u、v、W2和H2都是自然数,并且1≤u≤H2,1≤v≤W2;
步骤2,产生虚拟视角图像
用步骤1中输入的深度图像Y对原始图像X进行标准的三维绘制,得到虚拟左视角图像和虚拟右视角图像,分别记为DL和DR,这里, 是图像DL中的像素点,m1代表DL中像素点的横坐标,n1代表DL中像素点的纵坐标,M1代表图像DL的宽度,N1代表图像DL的高度,m1、n1、M1和N1都是自然数,并且1≤m1≤N1,1≤n1≤M1; 是图像DR中的像素点,m2代表DR中像素点的横坐标,n2代表DR中像素点的纵坐标,M2代表DR的宽度,N2代表DR的高度,m2、n2、M2和N2都是自然数,并且1≤m2≤N2,1≤n2≤M2;
步骤3,虚拟左视角图像的空洞划分
首先,将虚拟左视角图像中用来划分空洞大小的阈值,记为TL,这里,TL为自然数;
接着,对步骤2产生的虚拟左视角图像DL按照从上到下、从左到右的顺序进行逐行扫描,将扫描过程中得到的空洞记为HLk,将空洞HLk所对应的空洞宽度记为WLk,这里,k为图像DL中空洞的索引下标,k为自然数;
最后,用空洞宽度WLk小于或等于阈值TL的空洞HLk组成虚拟左视角图像的小空洞集合,记为GL1,GL1={HLk|WLk≤TL};用空洞宽度WLk大于阈值TL的空洞HLk组成虚拟左视角图像的大空洞集合,记为GL2,GL2={HLk|WLk>TL};
步骤4,虚拟右视角图像的空洞划分
首先,将虚拟右视角图像中用来划分空洞大小的阈值,记为TR,这里,TR为自然数;
接着,对步骤2产生的虚拟右视角图像DR按照从上到下、从右到左的顺序进行逐行扫描,将扫描过程中得到的空洞记为HRl,将空洞HRl所对应的空洞宽度记为WRl,这里,l为图像DR中空洞的索引下标,l为自然数;
最后,用空洞宽度WRl小于或等于阈值TR的空洞HRl组成虚拟右视角图像的小空洞集合,记为GR1,GR1={HRl|WRl≤TR};用空洞宽度WRl大于阈值TR的空洞HRl组成虚拟右视角图像的大空洞集合,记为GR2,GR2={HRl|WRl>TR};
步骤5,虚拟左视角图像的空洞填补
首先,将虚拟左视角图像DL中空洞HLk的左侧背景区域内最邻近的非空洞像素点记为PL1,将HLk左上方背景区域内最邻近的非空洞像素点记为PL2,将HLk左下方背景区域内最邻近的非空洞像素点记为PL3;
其次,定义填补后的空洞为HL′k;如果虚拟左视角图像DL中的空洞HLk∈GL1,那么对HLk用PL1按照HL′k=PL1进行填补;如果虚拟左视角图像DL中的空洞HLk∈GL2,那么用PL1、PL2和PL3对HLk按照HL′k=(4×PL1-PL2-PL3-2)/2进行填补;
最后,得到空洞填补后的虚拟左视角图像,记为DL2,这里, 是虚拟左视角图像DL2中的像素点,m3代表DL2中像素点的横坐标,n3代表DL2中像素点的纵坐标,M3代表DL2的宽度,N3代表DL2的高度,m3、n3、M3和N3都是自然数,并且1≤m3≤N3,1≤n3≤M3;
步骤6,虚拟右视角图像空洞填补
首先,将虚拟右视角图像DR中空洞HRl右侧背景区域内最邻近的非空洞像素点记为PR1,将HRl右上方背景区域内最邻近的非空洞像素点记为PR2,将HRl右下方背景区域内最邻近的非空洞像素点记为PR3;
其次,定义填补后的空洞为HR′l,如果虚拟右视角图像DR中的空洞HRl∈GR1,那么对HLk用PR1按照HR′l=PR1进行填补;如果虚拟右视角图像DR中的空洞HRl∈GR2,那么用PR1、PR2和PR3对HRl按照HR′l=(4×PR1-PR2-PR3-2)/2进行填补;
最后,得到空洞填补后的虚拟右视角图像,记为DR2,这里, 是虚拟右视角图像DR2中的像素点,m4代表DR2中像素点的横坐标,n4代表DR2中像素点的纵坐标,M4代表DR2的宽度,N4代表DR2的高度,m4、n4、M4和N4都是自然数,并且1≤m4≤N4,1≤n4≤M2;
步骤7,虚拟视角图像边框修复
首先,对步骤5得到的虚拟左视角图像DL2的边框部分,使用标准的图像边框像素点复制法进行边框修复,得到修复后的图像,记为DL3;这里, 是虚拟左视角图像DL3中的像素点,m5代表DL3中像素点的横坐标,n5代表DL3中像素点的纵坐标,M5代表DL3的宽度,N5代表DL3的高度,m5、n5、M5和N5都是自然数,并且1≤m5≤N5,1≤n5≤M5;
其次,对步骤6得到的虚拟右视角图像DR2的边框部分,使用标准的图像边框像素点复制法进行边框修复,得到修复后的图像,记为DR3,这里, 是虚拟右视角图像DR3中的像素点,m6代表DR3中像素点的横坐标,n6代表DR3中像素点的纵坐标,M6代表DR3的宽度,N6代表DR3的高度,m6、n6、M6和N6都是自然数,并且1≤m6≤N6,1≤n6≤M6。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610451621.0A CN106028020B (zh) | 2016-06-21 | 2016-06-21 | 一种基于多方向预测的虚拟视角图像空洞填补方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610451621.0A CN106028020B (zh) | 2016-06-21 | 2016-06-21 | 一种基于多方向预测的虚拟视角图像空洞填补方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106028020A CN106028020A (zh) | 2016-10-12 |
CN106028020B true CN106028020B (zh) | 2017-11-17 |
Family
ID=57086307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610451621.0A Active CN106028020B (zh) | 2016-06-21 | 2016-06-21 | 一种基于多方向预测的虚拟视角图像空洞填补方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106028020B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107358587A (zh) * | 2017-07-12 | 2017-11-17 | 宁波视睿迪光电有限公司 | 图像修补方法及系统 |
CN109685732B (zh) * | 2018-12-18 | 2023-02-17 | 重庆邮电大学 | 一种基于边界捕捉的深度图像高精度修复方法 |
US11393113B2 (en) | 2019-02-28 | 2022-07-19 | Dolby Laboratories Licensing Corporation | Hole filling for depth image based rendering |
US11670039B2 (en) | 2019-03-04 | 2023-06-06 | Dolby Laboratories Licensing Corporation | Temporal hole filling for depth image based video rendering |
CN112653882A (zh) * | 2020-12-15 | 2021-04-13 | 海之默三维科技(昆山)有限公司 | 基于三维视频多方向预测的虚拟视角图像空洞填补方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5011319B2 (ja) * | 2006-02-28 | 2012-08-29 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像における指向性の穴埋め |
CN100589530C (zh) * | 2008-10-20 | 2010-02-10 | 四川虹微技术有限公司 | 一种用于视图合成的空洞填充方法 |
CN101404777B (zh) * | 2008-11-06 | 2010-12-01 | 四川虹微技术有限公司 | 一种基于深度图像的绘制的视图合成方法 |
CN101610423B (zh) * | 2009-07-13 | 2010-09-08 | 清华大学 | 一种渲染图像的方法和装置 |
CN101695140B (zh) * | 2009-10-14 | 2011-07-27 | 宁波大学 | 一种基于对象的立体/自由视点电视的虚拟图像绘制方法 |
CN101771893B (zh) * | 2010-01-05 | 2012-08-08 | 浙江大学 | 一种基于视频序列背景建模的虚拟视点绘制方法 |
CN102687178B (zh) * | 2010-08-27 | 2016-04-20 | 三星电子株式会社 | 用于产生多视图的渲染设备和方法 |
US9094660B2 (en) * | 2010-11-11 | 2015-07-28 | Georgia Tech Research Corporation | Hierarchical hole-filling for depth-based view synthesis in FTV and 3D video |
CN102307312B (zh) * | 2011-08-31 | 2013-06-05 | 四川虹微技术有限公司 | 一种对dibr技术生成的目标图像进行空洞填充的方法 |
CN102592275B (zh) * | 2011-12-16 | 2013-12-25 | 天津大学 | 虚拟视点绘制方法 |
US9076249B2 (en) * | 2012-05-31 | 2015-07-07 | Industrial Technology Research Institute | Hole filling method for multi-view disparity maps |
TWI547904B (zh) * | 2012-05-31 | 2016-09-01 | 財團法人工業技術研究院 | 多視角視差圖的補洞方法 |
US9237326B2 (en) * | 2012-06-27 | 2016-01-12 | Imec Taiwan Co. | Imaging system and method |
US20140002595A1 (en) * | 2012-06-29 | 2014-01-02 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Apparatus, system and method for foreground biased depth map refinement method for dibr view synthesis |
CN103384343B (zh) * | 2013-07-02 | 2015-08-19 | 南京大学 | 一种填补图像空洞的方法及其装置 |
CN103414909B (zh) * | 2013-08-07 | 2015-08-05 | 电子科技大学 | 一种应用于三维视频虚拟视点合成的空洞填补方法 |
CN103581648B (zh) * | 2013-10-18 | 2015-08-26 | 清华大学深圳研究生院 | 绘制新视点中的空洞填补方法 |
CN104065946B (zh) * | 2014-06-17 | 2015-10-21 | 四川虹微技术有限公司 | 基于图像序列的空洞填充方法 |
-
2016
- 2016-06-21 CN CN201610451621.0A patent/CN106028020B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN106028020A (zh) | 2016-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106028020B (zh) | 一种基于多方向预测的虚拟视角图像空洞填补方法 | |
CN101902657B (zh) | 一种基于深度图分层的虚拟多视点图像的生成方法 | |
CN111047709B (zh) | 一种双目视觉裸眼3d图像生成方法 | |
CN104756489B (zh) | 一种虚拟视点合成方法及系统 | |
CN102609974B (zh) | 一种基于深度图分割渲染的虚拟视点图像的生成方法 | |
CN104574501A (zh) | 一种针对复杂三维场景的高质量纹理映射方法 | |
CN104751508B (zh) | 3d立体影视制作中新视图的全自动快速生成及补全方法 | |
CN104954780A (zh) | 一种适用于高清2d/3d转换的dibr虚拟图像修复方法 | |
CN104506872B (zh) | 一种平面视频转立体视频的方法及装置 | |
CN104378619B (zh) | 一种基于前后景梯度过渡的快速高效的空洞填补算法 | |
CN105488771B (zh) | 光场图像编辑方法及装置 | |
CN108234985B (zh) | 用于反向深度图渲染处理的维度变换空间下的滤波方法 | |
CN108648264A (zh) | 基于运动恢复的水下场景重建方法及存储介质 | |
CN110660131A (zh) | 一种基于深度背景建模的虚拟视点空洞填补方法 | |
CN107369204A (zh) | 一种基于深度学习从单幅照片恢复出场景基本三维结构的方法 | |
CN112508821B (zh) | 一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法 | |
CN112634127B (zh) | 一种无监督立体图像重定向方法 | |
CN108924434A (zh) | 一种基于曝光变换的立体高动态范围图像合成方法 | |
Liu et al. | Hole-filling based on disparity map and inpainting for depth-image-based rendering | |
Wang et al. | Virtual view synthesis without preprocessing depth image for depth image based rendering | |
CN113450274B (zh) | 一种基于深度学习的自适应视点融合方法及系统 | |
CN110149508A (zh) | 一种基于一维集成成像系统的阵列图生成及填补方法 | |
CN104994365B (zh) | 一种获取非关键帧深度图像的方法以及2d视频立体化方法 | |
CN112200852A (zh) | 一种时空混合调制的立体匹配方法及系统 | |
Liu et al. | Stereoscopic view synthesis based on region-wise rendering and sparse representation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210420 Address after: 518000 Guangdong city of Shenzhen province Nanshan District Keyuan Road, Nanjing University research base B room 702 Patentee after: SHENZHEN BEIDOU COMMUNICATIONS TECHNOLOGY Co.,Ltd. Address before: 611731 Chengdu province high tech Zone (West) West source Avenue, No. 2006 Patentee before: University of Electronic Science and Technology of China |