CN104992442A - 面向平面显示设备的视频立体化绘制方法 - Google Patents
面向平面显示设备的视频立体化绘制方法 Download PDFInfo
- Publication number
- CN104992442A CN104992442A CN201510397771.3A CN201510397771A CN104992442A CN 104992442 A CN104992442 A CN 104992442A CN 201510397771 A CN201510397771 A CN 201510397771A CN 104992442 A CN104992442 A CN 104992442A
- Authority
- CN
- China
- Prior art keywords
- depth
- point
- frame
- video
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
本发明公开一种面向平面显示设备的视频立体化绘制方法,步骤包括:提取彩色帧和深度帧:获取实时输入的彩色帧Ic和深度帧Id序列;深度帧拉伸:对深度帧进行线性变换、双边滤波后得到图像Id’;分割精细的前景掩码;计算参照线位置:在场景的左半边和右半边分别确定参照线lleft和lright;应用摄像机几何原理逐层将彩色帧Ic和图像Id’重新绘制到成像平面上的新彩色帧Rc和新深度帧Rd;构造场景三角网格修复新彩色帧Rc和新深度帧Rd中出现的像素缺失;对远景进行适当的模糊;在Rcb中插入参考线得到结果图像Rcbp。采用本发明的方法后,不需任何辅助硬件设备,通过对视频帧进行相应图像处理,即可在平面显示设备上较好地突出运动前景、增强视频的动态立体呈现效果。
Description
技术领域
本发明涉及数字图像处理领域,尤其是指一种不依赖于特殊拍摄设备、显示设备、观看设备的面向平面显示设备的视频立体化绘制方法。
技术背景
立体视频技术是未来多媒体技术的发展方向,在规划设计方案评估、影视娱乐等领域有广泛的应用前景。
现有的立体技术主要分为3D眼镜式和非眼镜式。前者包括光分法、时分法、分色技术等;后者包括光屏障式技术、柱状透镜技术、全息投影等。以上技术都有较好的立体效果,在影视行业也得到了应用,但是,以上这些技术仍然存在以下缺点:1、大都依赖于3D眼镜、特殊显示屏幕等辅助设备,大大地限制了其推广使用;2、滤光眼镜、栅栏式显示屏、柱状透镜显示屏等辅助设备降低了原视频的亮度和分辨率;3、具有较高的制造和维护成本。
因而,研究一种不依赖于特制设备的视频立体化技术,在立体视频亟需普及的今天具有重要意义。
发明内容
本发明所要解决的技术问题是,提供一种面向平面显示设备的视频立体化绘制方法,以改善传统的立体视频必须依赖设备才能观看,不利于推广的问题。
为解决上述技术问题,本发明采用如下技术方案:一种面向平面显示设备的视频立体化绘制方法,包括如下步骤:
步骤一、提取彩色帧和深度帧:使用Kinect深度相机获取实时输入的彩色帧Ic和深度帧Id序列;
步骤二、深度帧拉伸:对深度帧进行线性变换、双边滤波后得到图像Id’;
步骤三、分割精细的前景掩码:对相邻的彩色帧Ic应用帧差法对背景进行减除得到粗略前景Fr,再对粗略前景Fr运用图像形态学腐蚀,剔除细小的明亮区域,删除较小的分支只保留面积最大的分支,分割出粗略的运动前景掩码,对于每一帧,寻找该帧粗略前景Fr中深度最小的点p,并进行广度优先搜索,寻找其在三维场景中连续的点,得到精细的前景掩码Fp;
步骤四、计算参照线位置:在场景的左半边和右半边分别确定参照线lleft和lright;
步骤五、应用摄像机几何原理逐层将彩色帧Ic和图像Id’重新绘制到成像平面上的新彩色帧Rc和新深度帧Rd:对于彩色帧Ic和图像Id’中的点,按深度由大到小均分为多层,逐层对彩色帧Ic和图像Id’中的点进行摄像机几何摄影并修复其中的裂纹,最后将修复后的图层绘制到新彩色帧Rc和新深度帧Rd上;
步骤六、构造场景三角网格修复新彩色帧Rc和新深度帧Rd中出现的像素缺失:将彩色帧Ic和新深度帧Id’中相邻的三个场景点连成一个个三角形网格,使整个场景被拟合成一个多面体,m点是摄像机成像平面π上的像素缺失点,连接过投影中心p和m点的直线l,如果l与某个三角形网格相交于点Xc,则m点是点Xc投影在摄像机成像平面π的点,对Xc处的颜色值进行修复;
步骤七、对远景进行适当的模糊:记两条白线的平均深度为dw,对新彩色帧Rc中深度大于dw的点进行模糊,深度越大赋予越大的模糊窗口;
步骤八、在Rcb中插入参考线得到结果图像Rcbp:将步骤四中计算出的两条参照线的位置记为Loc,对Loc施加摄像机几何透视变换,得到新的参照线位置Loc’并插入Rcb中获得的结果图像Rcbp,即完成整个绘制过程。
进一步地,在所述步骤一中,针对深度帧Id中存在像素缺失导致的黑洞和深度帧轮廓与彩色帧轮廓不匹配的现象,采用深度图求精算法对深度图进行修复,得到的修复后的彩色帧和深度帧。
进一步地,在所述步骤二中,统计所有深度帧Id中的最大深度和最小深度,得到视频的深度变化范围(d1,d2),并利用线性变换将其映射到深度范围为(dmin, dmax)的图像Id’,其中,d1 > dmin,d2 < dmax,其计算公式为:
(1)
完成线性变换后再对图像Id’进行双边滤波,得到保留边缘并平滑的深度帧。
进一步地,所述步骤四的具体操作过程为,确定一个虚拟平面来烘托前景景深,在精细的前景掩码Fp中标记精细的三维场景中的前景,计算参照线位置算法如下:
将精细的前景掩码Fp中的前景投影成俯视前景Fv,并且计算俯视前景Fv的最小外接矩形B。将所有俯视前景标记到运动前景俯视轨迹图V上,找到所有帧中重心深度最小的外接矩B1,重心深度最大的外接矩B2,作重心深度最小的外接矩B1、重心深度最大的外接矩B2的连线,求得其斜率k,运动前景俯视轨迹图V中非零点集合记为集合P,其中的点元素记为p;
将所有满足以下公式(2)的点l作为参照线位置的候选点:
(2)
其中,p为集合P中的像素点,代表前景经过的轨迹,ds为开始搜索参照线深度,de为结束搜索参照线深度,ds和de设置为俯视轨迹最小外接矩形minBoundRect的三等分处。
进一步地,根据斜率k的正负符号,在满足公式(2)的前提下,进行如下处理:
若k < 0,前景的大致运动方向为右上角到左下角,则考虑以下情况:
(3)
若k > 0,前景的大致运动方向为左上角到右下角,则考虑以下情况:
(4)
对于运动前景轨迹俯视图V中满足公式(2)的点,作为参照线lleft、lright的候选点,l1、l2为画面的三等分线,选择lleft时优先靠近l1的点,在选择lright时优先靠近l2的点,具体选择按照以下方式处理:
当k < 0,在优先满足公式(3)的条件下,距离l1、l2近的点优先,在距离相同的条件下,深度较大的点优先;
当k > 0,在优先满足公式(4)的条件下,距离l1、l2近的点优先,在距离相同的条件下,深度较大的点优先。
进一步地,步骤五中,将场景点Xc重新绘制到成像平面点m的映射表达式为以下公式(5):
(5)
其中,x,y,z为场景点Xc(x, y, z)在对应的o-xyz坐标系中的坐标,x’,y’为成像平面点m(x, y)在o-xy坐标系中的坐标,f为投影中心p到成像平面中心Oc的距离,width,height为成像平面的宽和高。
进一步地,步骤五中,对Ic和Id’中的点采用inpainting算法逐层修复其中的裂纹。
进一步地,步骤六中,Xc处的颜色值由它的顶点pi,pi+1,pi+2根据以下公式(6)计算得出:
(6)。
进一步地,步骤七中,对于新彩色帧Rc中的所有像素点p,Rd中都有其对应的深度dp,根据dp计算p点处的模糊窗口大小WinSize:
(7)
其中,depthmax为场景中的最大深度,dw为两条参照线的平均深度,dp为p点深度,winmax为depthmax处对应的模糊窗口,winmin为dw处对应的模糊窗口。
进一步地,步骤八中,对Loc施加如公式(7)所示的摄像机几何透视变换,得到新的参照线位置Loc’。
通过采用上述技术方案,本发明具有以下技术效果:
1、本发明不依赖于任何特殊的显示或观看设备,仅对视频进行数字图像处理,因而对原视频的亮度和分辨率没有影响,相对于传统的依赖的视频立体化技术,既利于推广又节约了制造和后期维护成本。
2、本发明使用两条参照线确定一个虚拟的平面,该虚拟平面相当于显示器的屏幕,运动的前景从该虚拟平面后方运动到前方的过程给人带来运动前景穿出了显示器的视觉感受,从而呈现出动态立体效果。
3、本发明使用了摄像机几何原理将三维场景中的点投影到成像平面,重新绘制后的彩色图很好地从视觉上反映了深度远近的透视关系。
4、不需要任何硬件设备作为辅助,可以在对视频帧进行图像处理的基础上烘托和拓展视频景深,拉大场景中的透视关系,同时保留原视频的亮度和分辨率,在平面显示设备上可以较好的突出运动前景、增强视频的动态立体呈现效果。
5、此视频立体化技术可用于影视娱乐,广告传媒等。
附图说明
图1是本发明面向平面显示设备的视频立体化绘制方法流程图。
图2是Kinect采集彩色帧Ic和深度帧Id结果图。
图3是拉伸后的深度图Id’。
图4是由前景掩码得到前景投影示意图。
图5是由前景运动轨迹俯视图V分析前景运动方向。
图6是从候选点中筛选lleft、lright示意图。
图7是基本针孔模型原理图。
图8是用摄像机几何投影重新绘制后的场景。
图9用Xc的像素值修补m处像素缺失示意图。
图10 是修复像素缺失后的彩色帧Rc和深度帧Rd。
图11是远景模糊后的彩色帧Rcb。
图12是插入参照线后的彩色帧Rcbp。
图13是原视频彩色帧Ic序列。
图14是重新绘制的彩色帧Rcbp序列。
图15是面向平面显示设备的视频立体化绘制方法实施例展示效果。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合,下面结合附图和具体实施例对本发明作进一步详细说明。
为方便描述和理解本发明,首先对本发明中提及的字母编码及其对应的技术含义定义如下:Ic为输入的彩色帧,Id为输入的深度帧,Id’为深度帧Id经过线性变换、双边滤波后得到的图像。Fr为对Ic使用帧差法得到的粗略前景。Fp为在Fr基础上结合深度图和BFS算法分割出的精细前景掩码,Fv为Fp投影在俯视角度上的前景俯视图,V为所有帧的Fv非零像素点叠加得到的前景俯视轨迹图,lleft和lright为确定虚拟平面的两条参考线,Loc为两条参照线的位置,Rc和Rd分别为Ic、Id’进行透视变换后绘制成的新的彩色帧和新的深度帧,Rcb为对Rc中的远景进行远景模糊的结果图像,Loc’为两条参照线进行透视变换后的位置,Rcbp为Rcb中插入Loc’处的参照线后得到的结果图像。
而本发明中的参数及其作用也如下表所示:
表1 参数列表
参数名称 | 说明 |
dmin | 深度图Id拉伸的深度值下限,一般设为1,dmin越小,景深拓展越显著 |
dmax | 深度图Id拉伸的深度值上限,一般设为255,dmax越大,景深拓展越显著 |
winmin | 远景模糊中高斯滤波器的最小窗口,一般设为1,winmin越大,远景模糊程度越大 |
winmax | 远景模糊中高斯滤波器的最大窗口,一般设为15,winmax越大,远景模糊程度越大 |
ds | 开始搜索参照线的深度,一般设为运动轨迹最小外接矩形高的30%处 |
de | 开始搜索参照线的深度,一般设为运动轨迹最小外接矩形高的70%处 |
本发明提供一种面向平面显示设备视频立体绘制方法,其通过对视频彩色帧和深度帧进行重新绘制以增强其立体效果。整体而言,该方法通过综合应用虚拟景深烘托平面,基于摄像机几何原理拓展景深和基于高斯滤波器营造景深等方法,面向平面显示设备对立体视频进行重绘制,使得在传统平面显示设备上也能呈现出立体效果。
本发明的立体化视频绘制方法的基本原理是:
第一阶段,使用两条参照线(白线)确定虚拟平面以烘托景深:首先,使用OpenNI驱动Kinect摄像机采集实时的彩色帧Ic和对应的深度帧Id序列,针对深度帧Id中像素缺失、深度帧轮廓与真实场景轮廓不匹配等问题,采用深度帧求精算法进行修复;接着,对深度帧施加线性变换,使得场景深度从较小的(d1, d2)范围映射到较大的(dmin, dmax)范围,由于线性变换使得原本连续的场景点出现了较大的深度差,因此对变换后的深度帧进行双边滤波,在保留边缘的前提下平滑深度帧,得到新的深度帧Id’;然后,对相邻的彩色帧Ic应用帧差法,得到粗略的运动前景图Fr,在此基础上结合深度信息和广度优先搜索BFS,分割出精细的运动前景Fp,将三维场景中的运动前景Fp进行标记,并将其投影到俯视图V中,根据运动前景俯视图V的运动轨迹特点,计算两条参照线lleft和lright的位置Loc。
第二阶段,对嵌入虚拟平面后的彩色帧进行景深拓展和营造:首先,采用摄像机针孔模型对场景中的点进行透视变换;然后,将变换位置后的场景重新绘制在新的彩色帧Rc和深度帧Rd上,绘制后的彩色图Rc模拟了摄像机成像近大远小的特点,从而更好地表达出了拓展后的景深;接着,构造场景三角形网格对彩色帧Rc和深度帧Rd中出现的像素缺失进行修复,对Rc中的远景加上适当的模糊以营造视差,制造近实远虚的效果,得到彩色帧Rcb;最后,对第一阶段计算得出的参考线位置Loc也进行透视变换得到新位置Loc’,并在Rcb插入参照线,即可得到嵌入了虚拟平面的彩色帧Rcbp。该虚拟平面相当于显示器的屏幕,而前景从显示器的屏幕内“冲”了出来,产生动态立体效果。至此,即获得了能在普通平面显示设备上放映的具有动态立体效果的视频。
以下结合图1~图15所示对本发明面向平面显示设备的视频立体化绘制方法的具体流程详细描述如下:
步骤一:提取彩色帧和深度帧。使用Kinect深度相机获取实时输入的彩色帧Ic和深度帧Id序列。深度帧Id中存在像素缺失导致的“黑洞”和深度帧轮廓与彩色帧轮廓不匹配的现象,需要进行修复,具体实施时,可以参考文献1(-Jiao J, Wang R, Wang W, et al. Local Stereo Matching with Improved Matching Cost and Disparity Refinement[J]. Multimedia IEEE, 2014, 21(4):16 - 27)(改进匹配成本和视差细化的局部立体匹配,焦剑波、王荣刚等)中提出的深度图求精算法对深度图进行修复,得到的彩色帧和深度帧如图2所示。
步骤二:深度帧拉伸。统计所有深度帧Id中的最大深度和最小深度,得到视频的深度变化范围(d1, d2),并利用线性变换将其映射到深度范围为(dmin, dmax)的Id’ (d1 > dmin , d2 < dmax),Id’为深度帧Id经过线性变换、双边滤波后得到的图像,其计算公式为:
(1)
对Id’进行双边滤波,得到保留边缘并平滑的深度帧如图3所示。
步骤三:分割精细的前景掩码。对相邻的彩色帧Ic应用帧差法对背景进行减除得到Fr,再对Fr运用图像形态学“腐蚀”,剔除细小的明亮区域。删除较小的分支只保留面积最大的分支,分割出粗略的运动前景掩码。对于每一帧,寻找该帧粗略前景Fr中深度最小的点p,并进行广度优先搜索,寻找其在三维场景中连续的点,得到精细的前景掩码Fp,如图4(a)所示。
步骤四:计算参照线位置。在该步骤将在场景的左半边和右半边分别确定参照线lleft和lright,确定一个虚拟平面来烘托前景景深。Fp中标记了较为精细的三维场景中的前景,计算参照线位置算法如下:
将Fp中的前景(图4(a)所示)投影成俯视前景Fv(图4(b)所示),并且计算Fv的最小外接矩形B。将所有俯视前景标记到一张图——运动前景俯视轨迹图V上。找到所有帧中重心深度最小的外接矩B1,重心深度最大的外接矩B2,作B1、B2连线,求得其斜率k。运动前景俯视轨迹图V如图5所示,记图中非零点集合为P,其中的点元素记为p。
如图6中所有满足以下公式(2)的点l,均可作为参照线位置的候选点:
(2)
其中,p为集合P中的像素点,代表前景经过的轨迹,ds为开始搜索参照线深度,de为结束搜索参照线深度,ds和de一般设置为俯视轨迹最小外接矩形minBoundRect的三等分处。
根据斜率k的符号,在满足公式(2)的前提下,我们做如下优先选择:
若k < 0,如图5(a)所示,则前景的大致运动方向为右上角到左下角,那么我们优先考虑以下情况:
(3)
若k > 0,如图5(b)所示,则前景的大致运动方向为左上角到右下角,那么我们优先考虑以下情况:
(4)
如图6,运动前景轨迹俯视图V中白色色块标记的区域均满足公式(2),为参照线lleft、lright的候选点,l1、l2为画面的三等分线。选择lleft时优先靠近l1的点,在选择lright时优先靠近l2的点,以使得画面构图美观。
当k < 0,在优先满足公式(3)的条件下,距离l1、l2近的点优先;在距离相同的条件下,深度较大的点优先;
当k > 0,在优先满足公式(4)的条件下,距离l1、l2近的点优先;在距离相同的条件下,深度较大的点优先;
图6示范了一个k < 0的筛选结果,得到的参照线位置如图中标定的lleft, lright所示。
步骤五:应用摄像机几何原理逐层将Ic和Id’重新绘制到成像平面上的彩色帧Rc和深度帧Rd。对于Ic和Id’中的点,按深度由大到小均分为layer[0]~layer[4]五层,逐层对Ic和Id’中的点进行摄像机几何射影,并用inpainting算法修复其中的裂纹,最后将修复后的图层绘制到Rc和Rd上。图7示意了将场景点Xc重新绘制到成像平面点m的原理,该映射的表达式按公式(7)计算:
(5)
其中,x,y,z为场景点Xc(x, y, z)在图7 o-xyz坐标系中的坐标,x’,y’为m(x, y)在o-xy坐标系中的坐标。f为投影中心p到成像平面中心Oc的距离,width,height为成像平面的宽和高。映射后得到的Rc和Rd如图8(a)(b)所示。
步骤六:构造场景三角网格修复Rc和Rd中出现的像素缺失。如图8(a)(b)所示,Rc和Rd中存在的像素缺失导致的“黑洞”现象。将Ic和Id’中相邻的三个场景点连成一个个三角形网格,整个场景就被拟合成一个多面体。利用场景网格修复像素缺失的原理如图9所示。图9中m点是摄像机成像平面π上的像素缺失点,连接过投影中心p和m点的直线l,若l与某个三角形网格相交于点Xc,那么可将m作为Xc投影在平面π的点。Xc处的颜色值可由它的顶点pi, pi+1,pi+2通过如下的公式(6)计算出来:
(6)
修复后得到的Rc和Rd如图10所示。
步骤七,对远景进行适当的模糊。记两条白线的平均深度为dw,对Rc中深度大于dw的点进行模糊,深度越大赋予越大的模糊窗口。对于Rc中的所有像素点p,Rd中都有其对应的深度dp,根据dp计算p处的模糊窗口大小WinSize:
(7)
其中,depthmax为场景中的最大深度,dw为两条参照线的平均深度,dp为p点深度,winmax为depthmax处对应的模糊窗口,这里设为15,winmin为dw处对应的模糊窗口,这里设为1。模糊后得到的Rcb如图11所示。
步骤八,在Rcb中插入参考线得到结果图像Rcbp。在步骤四中,已经计算出两条参照线的位置,记为Loc。对Loc也施加公式(7)所示的摄像机几何透视变换,得到新的参照线位置Loc’,插入参照线后的结果图像Rcbp如图12所示。
至此,本发明面向平面显示设备的视频立体化绘制方法即完成了所有步骤,原视频的帧如图13所示,而重新绘制的帧如图14所示,实施例展示效果如图15所示。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同范围限定。
Claims (10)
1.一种面向平面显示设备的视频立体化绘制方法,其特征在于,包括如下步骤:
步骤一、提取彩色帧和深度帧:使用Kinect深度相机获取实时输入的彩色帧Ic和深度帧Id序列;
步骤二、深度帧拉伸:对深度帧进行线性变换、双边滤波后得到图像Id’;
步骤三、分割精细的前景掩码:对相邻的彩色帧Ic应用帧差法对背景进行减除得到粗略前景Fr,再对粗略前景Fr运用图像形态学腐蚀,剔除细小的明亮区域,删除较小的分支只保留面积最大的分支,分割出粗略的运动前景掩码,对于每一帧,寻找该帧粗略前景Fr中深度最小的点p,并进行广度优先搜索,寻找其在三维场景中连续的点,得到精细的前景掩码Fp;
步骤四、计算参照线位置:在场景的左半边和右半边分别确定参照线lleft和lright;
步骤五、应用摄像机几何原理逐层将彩色帧Ic和图像Id’重新绘制到成像平面上的新彩色帧Rc和新深度帧Rd:对于彩色帧Ic和图像Id’中的点,按深度由大到小均分为多层,逐层对彩色帧Ic和图像Id’中的点进行摄像机几何摄影并修复其中的裂纹,最后将修复后的图层绘制到新彩色帧Rc和新深度帧Rd上;
步骤六、构造场景三角网格修复新彩色帧Rc和新深度帧Rd中出现的像素缺失:将彩色帧Ic和新深度帧Id’中相邻的三个场景点连成一个个三角形网格,使整个场景被拟合成一个多面体,m点是摄像机成像平面π上的像素缺失点,连接过投影中心p和m点的直线l,如果l与某个三角形网格相交于点Xc,则m点是点Xc投影在摄像机成像平面π的点,对Xc处的颜色值进行修复;
步骤七、对远景进行适当的模糊:记两条白线的平均深度为dw,对新彩色帧Rc中深度大于dw的点进行模糊,深度越大赋予越大的模糊窗口;
步骤八、在Rcb中插入参考线得到结果图像Rcbp:将步骤四中计算出的两条参照线的位置记为Loc,对Loc施加摄像机几何透视变换,得到新的参照线位置Loc’并插入Rcb中获得的结果图像Rcbp,即完成整个绘制过程。
2.如权利要求1所述的面向平面显示设备的视频立体化绘制方法,其特征在于,在所述步骤一中,针对深度帧Id中存在像素缺失导致的黑洞和深度帧轮廓与彩色帧轮廓不匹配的现象,采用深度图求精算法对深度图进行修复,得到的修复后的彩色帧和深度帧。
3.如权利要求1所述的面向平面显示设备的视频立体化绘制方法,其特征在于,在所述步骤二中,统计所有深度帧Id中的最大深度和最小深度,得到视频的深度变化范围(d1,d2),并利用线性变换将其映射到深度范围为(dmin, dmax)的图像Id’,其中,d1 > dmin,d2 < dmax,其计算公式为:
(1)
完成线性变换后再对图像Id’进行双边滤波,得到保留边缘并平滑的深度帧。
4.如权利要求1所述的面向平面显示设备的视频立体化绘制方法,其特征在于,所述步骤四的具体操作过程为,确定一个虚拟平面来烘托前景景深,在精细的前景掩码Fp中标记精细的三维场景中的前景,计算参照线位置算法如下:
将精细的前景掩码Fp中的前景投影成俯视前景Fv,并且计算俯视前景Fv的最小外接矩形B,将所有俯视前景标记到运动前景俯视轨迹图V上,找到所有帧中重心深度最小的外接矩B1,重心深度最大的外接矩B2,作重心深度最小的外接矩B1、重心深度最大的外接矩B2的连线,求得其斜率k,运动前景俯视轨迹图V中非零点集合记为集合P,其中的点元素记为p;
将所有满足以下公式(2)的点l作为参照线位置的候选点:
(2)
其中,p为集合P中的像素点,代表前景经过的轨迹,ds为开始搜索参照线深度,de为结束搜索参照线深度,ds和de设置为俯视轨迹最小外接矩形minBoundRect的三等分处。
5.如权利要求4所述的面向平面显示设备的视频立体化绘制方法,其特征在于,根据斜率k的正负符号,在满足公式(2)的前提下,进行如下处理:
若k < 0,前景的大致运动方向为右上角到左下角,则考虑以下情况:
(3)
若k > 0,前景的大致运动方向为左上角到右下角,则考虑以下情况:
(4)
对于运动前景轨迹俯视图V中满足公式(2)的点,作为参照线lleft、lright的候选点,l1、l2为画面的三等分线,选择lleft时优先靠近l1的点,在选择lright时优先靠近l2的点,具体选择按照以下方式处理:
当k < 0,在优先满足公式(3)的条件下,距离l1、l2近的点优先,在距离相同的条件下,深度较大的点优先;
当k > 0,在优先满足公式(4)的条件下,距离l1、l2近的点优先,在距离相同的条件下,深度较大的点优先。
6.如权利要求1所述的面向平面显示设备的视频立体化绘制方法,其特征在于,步骤五中,将场景点Xc重新绘制到成像平面点m的映射表达式为以下公式(5):
(5)
其中,x,y,z为场景点Xc(x, y, z)在对应的o-xyz坐标系中的坐标,x’,y’为成像平面点m(x, y)在o-xy坐标系中的坐标,f为投影中心p到成像平面中心Oc的距离,width,height为成像平面的宽和高。
7.如权利要求1所述的面向平面显示设备的视频立体化绘制方法,其特征在于,步骤五中,对Ic和Id’中的点采用inpainting算法逐层修复其中的裂纹。
8.如权利要求1所述的面向平面显示设备的视频立体化绘制方法,其特征在于,步骤六中,Xc处的颜色值由它的顶点pi, pi+1, pi+2根据以下公式(6)计算得出:
(6)。
9.如权利要求1所述的面向平面显示设备的视频立体化绘制方法,其特征在于,步骤七中,对于新彩色帧Rc中的所有像素点p,Rd中都有其对应的深度dp,根据dp计算p点处的模糊窗口大小WinSize:
(7)
其中,depthmax为场景中的最大深度,dw为两条参照线的平均深度,dp为p点深度,winmax为depthmax处对应的模糊窗口,winmin为dw处对应的模糊窗口。
10.如权利要求9所述的面向平面显示设备的视频立体化绘制方法,其特征在于,步骤八中,对Loc施加如公式(7)所示的摄像机几何透视变换,得到新的参照线位置Loc’。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510397771.3A CN104992442B (zh) | 2015-07-08 | 2015-07-08 | 面向平面显示设备的视频立体化绘制方法 |
PCT/CN2015/089104 WO2017004882A1 (zh) | 2015-07-08 | 2015-09-08 | 面向平面显示设备的视频立体化绘制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510397771.3A CN104992442B (zh) | 2015-07-08 | 2015-07-08 | 面向平面显示设备的视频立体化绘制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104992442A true CN104992442A (zh) | 2015-10-21 |
CN104992442B CN104992442B (zh) | 2018-01-16 |
Family
ID=54304250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510397771.3A Active CN104992442B (zh) | 2015-07-08 | 2015-07-08 | 面向平面显示设备的视频立体化绘制方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN104992442B (zh) |
WO (1) | WO2017004882A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106095134A (zh) * | 2016-06-07 | 2016-11-09 | 苏州佳世达电通有限公司 | 一种电子装置及其记录与显示方法 |
WO2023071707A1 (zh) * | 2021-10-29 | 2023-05-04 | 北京字节跳动网络技术有限公司 | 视频图像处理方法、装置、电子设备及存储介质 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110136238B (zh) * | 2019-04-02 | 2023-06-23 | 杭州小影创新科技股份有限公司 | 一种结合物理光照模型的ar绘画方法 |
CN110047124A (zh) * | 2019-04-23 | 2019-07-23 | 北京字节跳动网络技术有限公司 | 渲染视频的方法、装置、电子设备和计算机可读存储介质 |
CN110189301B (zh) * | 2019-04-29 | 2023-07-28 | 上海电气集团股份有限公司 | 一种发电机定子铁心钢片叠装平台的异物检测方法 |
CN110197141B (zh) * | 2019-05-15 | 2023-04-07 | 华东师范大学 | 一种提取蚯蚓活动轨迹坐标序列的方法 |
CN110689498B (zh) * | 2019-09-27 | 2024-03-12 | 西北大学 | 一种基于对非关注点部分分级模糊的高清视频优化方法 |
CN116546183B (zh) * | 2023-04-06 | 2024-03-22 | 华中科技大学 | 基于单帧图像的具有视差效果的动态图像生成方法及系统 |
CN116824070B (zh) * | 2023-08-31 | 2023-11-24 | 江西求是高等研究院 | 一种基于深度图像的实时三维重建方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101937578A (zh) * | 2010-09-08 | 2011-01-05 | 宁波大学 | 一种虚拟视点彩色图像绘制方法 |
US20110150321A1 (en) * | 2009-12-21 | 2011-06-23 | Electronics And Telecommunications Research Institute | Method and apparatus for editing depth image |
CN103209334A (zh) * | 2013-03-18 | 2013-07-17 | 中山大学 | 一种2.5d视频到多视点3d视频中虚拟视点综合和空洞的修补方法 |
CN104751508A (zh) * | 2015-03-14 | 2015-07-01 | 杭州道玄影视科技有限公司 | 3d立体影视制作中新视图的全自动快速生成及补全方法 |
-
2015
- 2015-07-08 CN CN201510397771.3A patent/CN104992442B/zh active Active
- 2015-09-08 WO PCT/CN2015/089104 patent/WO2017004882A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110150321A1 (en) * | 2009-12-21 | 2011-06-23 | Electronics And Telecommunications Research Institute | Method and apparatus for editing depth image |
CN101937578A (zh) * | 2010-09-08 | 2011-01-05 | 宁波大学 | 一种虚拟视点彩色图像绘制方法 |
CN103209334A (zh) * | 2013-03-18 | 2013-07-17 | 中山大学 | 一种2.5d视频到多视点3d视频中虚拟视点综合和空洞的修补方法 |
CN104751508A (zh) * | 2015-03-14 | 2015-07-01 | 杭州道玄影视科技有限公司 | 3d立体影视制作中新视图的全自动快速生成及补全方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106095134A (zh) * | 2016-06-07 | 2016-11-09 | 苏州佳世达电通有限公司 | 一种电子装置及其记录与显示方法 |
CN106095134B (zh) * | 2016-06-07 | 2019-01-18 | 苏州佳世达电通有限公司 | 一种电子装置及其记录与显示方法 |
WO2023071707A1 (zh) * | 2021-10-29 | 2023-05-04 | 北京字节跳动网络技术有限公司 | 视频图像处理方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2017004882A1 (zh) | 2017-01-12 |
CN104992442B (zh) | 2018-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104992442A (zh) | 面向平面显示设备的视频立体化绘制方法 | |
CN105069808B (zh) | 基于图像分割的视频图像深度估计方法 | |
Agarwala et al. | Photographing long scenes with multi-viewpoint panoramas | |
CN102592275B (zh) | 虚拟视点绘制方法 | |
CN102223553B (zh) | 一种二维视频到三维视频的自动转换方法 | |
CN101859433B (zh) | 图像拼接设备和方法 | |
CN110245199B (zh) | 一种大倾角视频与2d地图的融合方法 | |
CN107240073A (zh) | 一种基于梯度融合与聚类的三维视频图像修复方法 | |
CN104869386A (zh) | 一种基于分层处理虚拟视点合成方法 | |
CN104639933A (zh) | 一种立体视图的深度图实时获取方法及系统 | |
CN103093471A (zh) | 一种复杂背景下前景提取方法 | |
CN106341673A (zh) | 一种新型2d/3d全景vr视频的存储方法 | |
CN111292228A (zh) | 镜头缺陷检测方法 | |
CN112822479A (zh) | 一种用于2d-3d视频转换的深度图生成方法及装置 | |
WO2006003577A1 (en) | Creating a depth map | |
CN104661014B (zh) | 时空结合的空洞填充方法 | |
CN101695140B (zh) | 一种基于对象的立体/自由视点电视的虚拟图像绘制方法 | |
CN111105350B (zh) | 大视差场景下基于自身单应性变换的实时视频拼接方法 | |
Wang et al. | Example-based video stereolization with foreground segmentation and depth propagation | |
CN103945209A (zh) | 一种基于分块投影的dibr方法 | |
CN110149508A (zh) | 一种基于一维集成成像系统的阵列图生成及填补方法 | |
Seitner et al. | Trifocal system for high-quality inter-camera mapping and virtual view synthesis | |
CN101695139A (zh) | 一种基于可分级块的虚拟视点图像绘制方法 | |
CN102630029A (zh) | 一种基于对比度统计实现2d 转3d 的方法 | |
CN104683788A (zh) | 基于图像重投影的空洞填充方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |