CN112637582A - 模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法 - Google Patents

模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法 Download PDF

Info

Publication number
CN112637582A
CN112637582A CN202011445525.8A CN202011445525A CN112637582A CN 112637582 A CN112637582 A CN 112637582A CN 202011445525 A CN202011445525 A CN 202011445525A CN 112637582 A CN112637582 A CN 112637582A
Authority
CN
China
Prior art keywords
fuzzy
edge
blurred
depth
virtual view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011445525.8A
Other languages
English (en)
Other versions
CN112637582B (zh
Inventor
韦健
王世刚
宋晨曦
赵岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202011445525.8A priority Critical patent/CN112637582B/zh
Publication of CN112637582A publication Critical patent/CN112637582A/zh
Application granted granted Critical
Publication of CN112637582B publication Critical patent/CN112637582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法属自由立体显示技术领域,本发明包括:1.真实视图模糊边缘重建,为一组下采样视频帧重建稀疏的模糊边缘;2.通过真实视图重建结果的视点间加权求和,为已知相机位姿的虚拟视图合成模糊边缘;3.采用基于局部平滑与边缘尖锐约束的空域插值,为虚拟视图生成完整模糊表面,利用全部稀疏采样帧的模糊边缘,基于全局可见性约束,去除造成错误遮挡的模糊表面;4.利用少量稀疏采样帧的完整模糊表面,实现虚拟视图模糊表面空洞的角度域填补;本发明通过边缘驱动与模糊理论相辅相成的策略,能实现不使用给定的场景几何信息端到端的高性能、强鲁棒视图合成,为自由立体显示快速生成高品质内容。

Description

模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法
技术领域
本发明属自由立体显示技术领域,涉及一种面向单目视频的虚拟视图绘制方法,具体涉及一种模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法。
背景技术
自由立体显示技术是当今国际显示领域的前沿科技,必将逐步取代现有的平面显示和助视式三维显示媒介。国内外已经对自由立体显示展开了积极探索,尤其在改善分辨率、视角、景深等方面取得了显著进展。然而优质内容相对匮乏的瓶颈尚未得到实质性解决,严重制约了其在诸多领域的普及化和3D手机、3D电视、3D大屏等硬件设备的实用化。一个主要原因是显示内容的主流采集手段都存在一定的缺点,例如微透镜阵列和光场相机再现立体视差小、相机阵列硬件成本高,且标定繁琐、沿轨采集图像序列难以环绕拍摄大场景、深度传感器检测范围有限且精度低等。随着高速成像技术的发展,无轨拍摄单目视频成为快速获取场景全表面多尺度信息的有效方式。为视频场景生成虚拟视点图像,通常需要先通过多视图三维重建(Multi-ViewStereo,MVS)估计场景深度,再采用基于图像的渲染(Image-BasedRendering,IBR)技术合成每个虚拟视图。
MVS过程容易在纹理缺失、遮挡、非漫反射、半透明等区域产生歧义匹配,从而使IBR结果存在边缘断裂、混叠伪影和虚拟视图角度域内容不一致等问题,最终损失自由立体显示画面的真实感。边缘驱动与模糊理论分别是MVS和IBR两种算法解决这种重建不确定性的重要手段。边缘驱动方法出于边缘(如物体轮廓、颜色纹理)重建相对较准的考虑,具有很高的运算效率,但是视频数据固有的画面抖动、果冻效应与帧间冗余增加了边缘深度估计的难度;模糊理论通过模拟人脑的容错处理方式来求取“模棱两可”式问题的最优解,但是其模糊性的表达形式在用于高帧率或高分辨率视频时,会造成极大的计算和存储资源浪费。
发明内容
本发明的目的在于提供一种模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法。本发明有机结合了边缘驱动机制计算效率高和模糊理论容错性好的优点,通过边缘驱动与模糊理论相辅相成的策略,能够实现端到端(不使用给定的场景几何信息)的高性能、强鲁棒视图合成,从而为自由立体显示快速生成高品质内容,以解决上述背景技术中提出的问题。
本发明的模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法,包括下列步骤:
1.1真实视图模糊边缘重建,为一组下采样视频帧重建稀疏的模糊边缘,即边缘像素对应的模糊体素,包括下列步骤:
1.1.1模糊体素对于像素(x,y)的数学表达式为:
V(x,y)={dkk(dk)|dk∈[dmin,dmax]}
其中:[dmin,dmax]为深度范围,深度的间隔采用深度值倒数的线性采样;μk(dk)∈[0,1]为候选深度dk的隶属度函数,其值与深度范围有关;
1.1.2通过双层帧采样方法,为真实视图模糊边缘建立自适应的深度范围选取与隶属度分配机制;
1.1.3双层帧采样过程:先利用运动恢复结构算法计算所有视频帧的相机位姿,同时重建视频图像中显著特征的稀疏三维点云;然后根据这些信息对视频帧进行由密集到稀疏采样:先对视频帧密集采样,使相邻采样帧的相机视角相差1°;再对密集采样帧以4:1的固定比例进一步下采样,得到稀疏采样帧;
1.1.4深度范围选取过程:对于每幅稀疏采样帧,先提取边缘像素,然后为每个模糊边缘进行深度范围的由粗到细选取,具体包括下列步骤:
1.1.4.1初始化:利用由运动恢复结构算法输出且在当前采样帧中可见的最近与最远三维点的深度值,初始化该模糊边缘的深度范围;
1.1.4.2粗选取:利用当前帧的100幅相邻密集采样帧,计算所有候选深度的匹配代价,用匹配代价小于τ1的最小与最大候选深度,更新该模糊边缘的深度范围;
1.1.4.3细选取:利用当前帧的100幅相邻稀疏采样帧,计算新的匹配代价,将匹配代价小于τ2的最小与最大候选深度作为该模糊边缘最终的深度范围;
步骤1.1.4.2与1.1.4.3采用像素级匹配代价计算方法,阈值τ1与τ2根据具体场景的实际重建效果设定,将最后取得最小匹配代价的深度值作为该边缘的粗略深度,并通过最小匹配代价的阈值化去除物体轮廓附近的背景边缘及粗略深度明显不可靠的边缘;
1.1.5隶属度分配过程定义模糊边缘候选深度的隶属度函数为:
μk(dk)=(1-Sk)·(1+Rk/6)
Sk∈[0,1]为在深度范围细选取步骤中求得的匹配代价,Rk∈[-6,6]计算公式如下列:
Figure BDA0002824396690000021
其中:Dn为在当前帧的100幅相邻稀疏采样帧中随机抽取的6幅视图的边缘粗略深度图;B、A与C分别表示dk所重建体素P与Dn之间是否产生三种关系:可见度一致、自由空间冲突、遮挡,是则取1,否则取0;
1.2虚拟视图模糊边缘合成:通过真实视图重建结果的视点间加权求和,为已知相机位姿的虚拟视图合成模糊边缘;
包括下列步骤:
1.2.1参考视图选取:从稀疏采样帧中为虚拟视图选取M(≥2)幅相机位置最近且视角相差最小的真实视图作为插值的参考图像;M值根据实际情况设置,以便达到运算速度与合成效果的良好折中;假设虚拟视图Iv的相机光心为Ov,将某参考视图Ic中像素(x,y)对Iv的插值权重定义为:
Figure BDA0002824396690000022
b为相邻稀疏采样帧的平均基线,Rayc为Ic的光线,Dist为点线距离函数;
1.2.2模糊边缘合成:先为候选边缘合成模糊体素,再从中提取模糊边缘,具体包括下列步骤:
1.2.2.1候选边缘模糊体素合成过程:将每幅参考视图的模糊边缘投影到虚拟视图中,把全部投影点标记为候选边缘;对于每个候选边缘(x,y),将投影到该像素的全部参考视图模糊边缘投影到它的相应光线上,取所有深度范围投影的并集作为该像素模糊体素的深度范围;然后利用下式计算其模糊体素:
Figure BDA0002824396690000031
其中:Vc为虚拟视图的参考视图的模糊边缘,Tv与Tc分别表示对虚拟视图与参考视图进行投影正变换;
两个具有不同深度范围的模糊体素的求和过程为:先将它们的深度范围均扩展为两者的并集,新增候选深度的隶属度设为0,再将相同深度的隶属度相加,最后将Vv(x,y)做紧凑化处理,即对其深度范围也采用加权求和运算进行更新;
1.2.2.2模糊边缘提取过程:将每个模糊体素的中心—隶属度最大的所有候选深度的平均值,作为对应候选边缘的深度估计,利用Sobel算子对所得的半稠密的粗略深度图进行边缘检测;
1.3虚拟视图模糊表面生成:先采用基于局部平滑与边缘尖锐约束的空域插值,为虚拟视图生成完整模糊表面;然后利用全部稀疏采样帧的模糊边缘,同时基于全局可见性约束,去除造成错误遮挡的模糊表面;最后利用少量稀疏采样帧的完整模糊表面,实现虚拟视图模糊表面空洞的角度域填补,具体包括下列步骤:
1.3.1空域插值采用Jacobi迭代法,对虚拟视图的模糊边缘进行视点内插值,对模糊表面同时完成边缘保留—边缘尖锐约束、区域填充以及平滑化—局部平滑约束;不失一般性,令Vv t为虚拟视图模糊表面的第t次卷积结果,则迭代过程描述为:
Figure BDA0002824396690000032
{(xn,yn)}代表像素(x,y)的4邻域;δ(·)为指示函数,对于非空模糊体素,其值为1,否则为0;如果Vv t+1在深度范围和隶属度分布方面与Ev t的差异都小于给定阈值,结束迭代;
1.3.2去除造成错误遮挡的模糊表面,包括下列步骤:
1.3.2.1种子点选取:先从虚拟视图的模糊表面中获取其粗略表面估计,即提取全部模糊体素的中心;再将该粗略表面依次投影到每幅稀疏采样帧中;对于某稀疏采样帧的边缘(x,y),假设它的模糊体素深度范围为[dmin,dmax],其粗略深度估计dr重建的体素为Pr;用Pw表示从虚拟视图投影至(x,y)的体素,用dw与[dmin',dmax']分别代表其相对于此采样帧的深度值和深度范围—通过将Pw所属模糊体素投影至(x,y)所在光线上求得,如果满足以下条件:
Figure BDA0002824396690000033
将Pw标记为区域生长过程的一个种子点,其所属的模糊体素将不再投影到剩余采样帧中,式中:β为容错性能控制参数;
1.3.2.2区域生长:将稀疏的种子点逐步聚合成若干个密集、独立的模糊表面:先针对每个种子点Pw,将其在相应采样帧中的深度差dr-dw投影至它在虚拟视图中的光线上,投影结果记为Δd;接着将Pw所属模糊体素的深度范围[dmin”,dmax”]扩展至[dmin”-Δd,dmax”+Δd];然后通过Jacobi迭代法对虚拟视图模糊表面的深度范围进行平滑化;将较区域生长前深度范围相对变化超过预设阈值的模糊体素集合,作为检测出的错误模糊表面;
1.3.3虚拟视图模糊表面空洞的角度域填补,包括下列步骤:
1.3.3.1统计每幅稀疏采样帧检测出的种子点数量;
1.3.3.2按照数量由多到少的顺序逐个进行模糊表面空域插值,并将插值结果投影至虚拟视图模糊表面的空洞处;如果空洞被完全填充,则结束操作,否则继续。
与现有技术相比,本发明的有益效果在于:本发明提出的模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法,为了避免整体建模精度对边缘深度信息的误差格外敏感,同时避免在视频场景的深度估计与纹理映射过程中需要计算和存取海量的模糊体素数据,有机结合了边缘驱动机制计算效率高和模糊理论容错性好的优点,通过边缘驱动与模糊理论相辅相成的策略,能够实现端到端(不使用给定的场景几何信息)的高性能、强鲁棒视图合成,从而为自由立体显示快速生成高品质内容。
附图说明
图1为模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法的整体框架
图2为双层帧采样与模糊边缘重建(自适应深度范围选取与隶属度分配)的流程图
图3为全局可见性约束的示意图
图4为虚拟视图模糊边缘合成的示意图
图5为虚拟视图模糊表面生成的流程图与示意图
具体实施方式
下面结合附图进一步说明本发明的实施流程,模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法,其总体框架如图1所示,包括下列步骤:
1真实视图模糊边缘重建,为一组下采样视频帧重建稀疏的模糊边缘,即边缘像素对应的模糊体素,包括下列步骤:
1.1模糊体素对于像素(x,y)的数学表达式为:
V(x,y)={dkk(dk)|dk∈[dmin,dmax]}
组成要素包括:深度范围[dmin,dmax],表征深度估计的不确定度,深度的间隔采用深度值倒数的线性采样;隶属度函数μk(dk)∈[0,1],表征候选深度dk属于正确深度值的程度,其值与深度范围有关;
1.2通过双层帧采样方法,为真实视图模糊边缘建立自适应的深度范围选取与隶属度分配机制,具体流程如图2所示;
1.3双层帧采样过程:先利用运动恢复结构算法计算所有视频帧的相机位姿,同时重建视频图像中显著特征的稀疏三维点云,然后根据这些信息对视频帧进行由密集到稀疏采样;窄基线图像序列中不易出现三维点被遮挡、移出视野、亮度变化等问题,利于深度估计,而原始视频的时域冗余较严重,致使数据量过大,所以先对视频帧密集采样,使相邻采样帧的相机视角相差1°;宽基线图像之间一定的内容差异有益于提高MVS的可靠性,所以再对密集采样帧以4:1的固定比例进一步下采样,得到稀疏采样帧;为减少计算量,只对稀疏采样帧重建模糊边缘;
1.4深度范围选取过程:对于每幅稀疏采样帧,先提取边缘像素,然后为每个模糊边缘进行深度范围的由粗到细选取,具体包括下列步骤:
1.4.1初始化:利用由运动恢复结构算法输出且在当前采样帧中可见的最近与最远三维点的深度值,初始化该模糊边缘的深度范围;
1.4.2粗选取:利用当前帧的100幅相邻密集采样帧,计算所有候选深度的匹配代价,用匹配代价小于τ1的最小与最大候选深度,更新该模糊边缘的深度范围;
1.4.3细选取:利用当前帧的100幅相邻稀疏采样帧,计算新的匹配代价,将匹配代价小于τ2的最小与最大候选深度作为该模糊边缘最终的深度范围;
考虑到块匹配一般会降低场景模型几何边缘尖锐度的问题,步骤1.4.2与1.4.3采用像素级匹配代价计算方法,阈值τ1与τ2根据具体场景的实际重建效果设定,将最后取得最小匹配代价的深度值作为该边缘的粗略深度,并通过最小匹配代价的阈值化去除物体轮廓附近的背景边缘及粗略深度明显不可靠的边缘;
1.5隶属度分配过程定义模糊边缘候选深度的隶属度函数为:
μk(dk)=(1-Sk)·(1+Rk/6)
Sk∈[0,1]为在深度范围细选取步骤中求得的匹配代价,表征dk所重建体素P在稀疏采样帧中的亮度一致性;Rk∈[-6,6]衡量P在MVS结果中的可见度一致性,计算公式如下列:
Figure BDA0002824396690000051
其中:Dn为在当前帧的100幅相邻稀疏采样帧中随机抽取的6幅视图的边缘粗略深度图;B、A与C分别表示P与Dn之间是否产生三种关系(是则取1,否则取0):
①可见度一致:P在Dn中的投影处重建出与P近乎相同的三维点(图3a)。
②自由空间冲突:Dn在P与P所在视点的相机光心之间(自由空间)重建出另一个三维点(图3b)。
③遮挡:P处于Dn所重建三维点与Dn所在视点的相机光心之间(图3c)。
上式使用发生自由空间冲突与遮挡次数的差值,是因为这两种不满足全局可见性约束的情况不可能同时出现。
2.虚拟视图模糊边缘合成:通过真实视图重建结果的视点间加权求和,为已知相机位姿的虚拟视图合成模糊边缘,其具体流程如图4a所示,包括下列步骤:
2.1参考视图选取:从稀疏采样帧中为虚拟视图选取M(≥2)幅相机位置最近且视角相差最小的真实视图作为插值的参考图像;M值越小,计算越简单;M值越大,虚拟视图与真实视图之间的视觉连续性越优,M值根据实际情况设置,以便达到运算速度与合成效果的良好折中;假设虚拟视图Iv的相机光心为Ov,将某参考视图Ic中像素(x,y)对Iv的插值权重定义为:
Figure BDA0002824396690000061
b为相邻稀疏采样帧的平均基线,Rayc为Ic的光线,Dist为点线距离函数;
2.2模糊边缘合成:先为候选边缘合成模糊体素,再从中提取模糊边缘,具体包括下列步骤:
2.2.1候选边缘模糊体素合成过程:如图4b所示,将每幅参考视图的模糊边缘投影到虚拟视图中,把全部投影点标记为候选边缘;对于每个候选边缘(x,y),将投影到该像素的全部参考视图模糊边缘投影到它的相应光线上,取所有深度范围投影的并集作为该像素模糊体素的深度范围;然后利用下式计算其模糊体素:
Figure BDA0002824396690000062
其中:Vc为虚拟视图的参考视图的模糊边缘,Tv与Tc分别表示对虚拟视图与参考视图进行投影正变换;
两个具有不同深度范围的模糊体素的求和过程为:先将它们的深度范围均扩展为两者的并集,新增候选深度的隶属度设为0,再将相同深度的隶属度相加,最后,为了防止模糊体素合成导致深度范围累积,将Vv(x,y)做紧凑化处理,即对其深度范围也采用加权求和运算进行更新;
2.2.2模糊边缘提取过程:候选边缘模糊体素中的非边缘信息会影响模糊表面的生成质量,所以必须将这些模糊体素集去除;此过程将每个模糊体素的中心—隶属度最大的所有候选深度的平均值,作为对应候选边缘的深度估计,利用Sobel算子对所得的半稠密的粗略深度图进行边缘检测;
3.虚拟视图模糊表面生成:如图5a所示,先采用基于局部平滑与边缘尖锐约束的空域插值,为虚拟视图生成完整模糊表面;然后利用全部稀疏采样帧的模糊边缘,同时基于全局可见性约束,去除造成错误遮挡的模糊表面;最后利用少量稀疏采样帧的完整模糊表面,实现虚拟视图模糊表面空洞的角度域填补,具体包括下列步骤:
3.1空域插值采用Jacobi迭代法,对虚拟视图的模糊边缘进行视点内插值,对模糊表面同时完成边缘保留—边缘尖锐约束、区域填充以及平滑化—局部平滑约束,如图5b所示;不失一般性,令Vv t为虚拟视图模糊表面的第t次卷积结果,则迭代过程描述为:
Figure BDA0002824396690000063
{(xn,yn)}代表像素(x,y)的4邻域;δ(·)为指示函数,对于非空模糊体素,其值为1,否则为0;如果Vv t+1在深度范围和隶属度分布方面与Ev t的差异都小于给定阈值,表明已达到收敛,故结束迭代;
3.2去除造成错误遮挡的模糊表面,当某些三维边缘(如图5b中的Pr)在虚拟视图中不可见时,如果仅追求模糊表面的完整性和平滑性,上述空域插值过程可能会导致前景模糊边缘与背景模糊边缘相连接,由此产生的错误模糊表面将实际边缘完全遮挡,因而包括下列步骤:
3.2.1种子点选取:如图5c所示,先从虚拟视图的模糊表面中获取其粗略表面估计,即提取全部模糊体素的中心;再将该粗略表面依次投影到每幅稀疏采样帧中;对于某稀疏采样帧的边缘(x,y),假设它的模糊体素深度范围为[dmin,dmax],其粗略深度估计dr重建的体素为Pr;用Pw表示从虚拟视图投影至(x,y)的体素,用dw与[dmin',dmax']分别代表其相对于此采样帧的深度值和深度范围—通过将Pw所属模糊体素投影至(x,y)所在光线上求得,如果满足以下条件:
Figure BDA0002824396690000071
说明Pr确定位于Pw之后,显然与全局可见性约束冲突。由于Pr相对准确,表明Pw必然处在错误表面上,因此将Pw标记为区域生长过程的一个种子点;为了提高算法效率,种子点所属的模糊体素将不再投影到剩余采样帧中,式中:β为容错性能控制参数,β值越小,遮挡检测算法对深度估计的误差越敏感,遮挡区域去除得越干净,但是在非遮挡区域会产生较多小面积空洞,相反,β值越大,种子点数量较少但是可靠性更强,遮挡检测算法越鲁棒;
3.2.2区域生长:将稀疏的种子点逐步聚合成若干个密集、独立的模糊表面:先针对每个种子点Pw,将其在相应采样帧中的深度差dr-dw投影至它在虚拟视图中的光线上,投影结果记为Δd;接着将Pw所属模糊体素的深度范围[dmin”,dmax”]扩展至[dmin”-Δd,dmax”+Δd];然后通过Jacobi迭代法对虚拟视图模糊表面的深度范围进行平滑化,此过程与模糊表面空域插值类似,但还需要保护种子点对应的模糊体素信息,并且模糊表面的隶属度分布无需更新;将较区域生长前深度范围相对变化超过预设阈值的模糊体素集合,作为检测出的错误模糊表面,如图5d所示;
3.3虚拟视图模糊表面空洞的角度域填补,通过单视图修复算法填充虚拟视图模糊表面的空洞,容易造成所生成的多幅虚拟视图在角度域的内容差异,检测出种子点的稀疏采样帧在相应区域的重建结果应该是可靠的,故可将此处的模糊表面用于空洞的跨视点填充;所以基于视图间几何一致性约束,同时为了避免带来巨大的计算与存储负荷,此过程包括下列步骤:
3.3.1统计每幅稀疏采样帧检测出的种子点数量;
3.3.2按照数量由多到少的顺序逐个进行模糊表面空域插值,并将插值结果投影至虚拟视图模糊表面的空洞处;如果空洞被完全填充,则结束操作,否则继续。

Claims (1)

1.一种模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法,其特征在于,包括下列步骤:
1.1真实视图模糊边缘重建,为一组下采样视频帧重建稀疏的模糊边缘,即边缘像素对应的模糊体素,包括下列步骤:
1.1.1模糊体素对于像素(x,y)的数学表达式为:
V(x,y)={dkk(dk)|dk∈[dmin,dmax]}
其中:[dmin,dmax]为深度范围,深度的间隔采用深度值倒数的线性采样;μk(dk)∈[0,1]为候选深度dk的隶属度函数,其值与深度范围有关;
1.1.2通过双层帧采样方法,为真实视图模糊边缘建立自适应的深度范围选取与隶属度分配机制;
1.1.3双层帧采样过程:先利用运动恢复结构算法计算所有视频帧的相机位姿,同时重建视频图像中显著特征的稀疏三维点云;然后根据这些信息对视频帧进行由密集到稀疏采样:先对视频帧密集采样,使相邻采样帧的相机视角相差1°;再对密集采样帧以4:1的固定比例进一步下采样,得到稀疏采样帧;
1.1.4深度范围选取过程:对于每幅稀疏采样帧,先提取边缘像素,然后为每个模糊边缘进行深度范围的由粗到细选取,具体包括下列步骤:
1.1.4.1初始化:利用由运动恢复结构算法输出且在当前采样帧中可见的最近与最远三维点的深度值,初始化该模糊边缘的深度范围;
1.1.4.2粗选取:利用当前帧的100幅相邻密集采样帧,计算所有候选深度的匹配代价,用匹配代价小于τ1的最小与最大候选深度,更新该模糊边缘的深度范围;
1.1.4.3细选取:利用当前帧的100幅相邻稀疏采样帧,计算新的匹配代价,将匹配代价小于τ2的最小与最大候选深度作为该模糊边缘最终的深度范围;
步骤1.1.4.2与1.1.4.3采用像素级匹配代价计算方法,阈值τ1与τ2根据具体场景的实际重建效果设定,将最后取得最小匹配代价的深度值作为该边缘的粗略深度,并通过最小匹配代价的阈值化去除物体轮廓附近的背景边缘及粗略深度明显不可靠的边缘;
1.1.5隶属度分配过程定义模糊边缘候选深度的隶属度函数为:
μk(dk)=(1-Sk)·(1+Rk/6)
Sk∈[0,1]为在深度范围细选取步骤中求得的匹配代价,Rk∈[-6,6]计算公式如下列:
Figure FDA0002824396680000011
其中:Dn为在当前帧的100幅相邻稀疏采样帧中随机抽取的6幅视图的边缘粗略深度图;B、A与C分别表示dk所重建体素P与Dn之间是否产生三种关系:可见度一致、自由空间冲突、遮挡,是则取1,否则取0;
1.2虚拟视图模糊边缘合成:通过真实视图重建结果的视点间加权求和,为已知相机位姿的虚拟视图合成模糊边缘,包括下列步骤:
1.2.1参考视图选取:从稀疏采样帧中为虚拟视图选取M(≥2)幅相机位置最近且视角相差最小的真实视图作为插值的参考图像;M值根据实际情况设置,以便达到运算速度与合成效果的良好折中;假设虚拟视图Iv的相机光心为Ov,将某参考视图Ic中像素(x,y)对Iv的插值权重定义为:
Figure FDA0002824396680000021
其中:b为相邻稀疏采样帧的平均基线;Rayc为Ic的光线;Dist为点线距离函数;
1.2.2模糊边缘合成:先为候选边缘合成模糊体素,再从中提取模糊边缘,具体包括下列步骤:
1.2.2.1候选边缘模糊体素合成过程:将每幅参考视图的模糊边缘投影到虚拟视图中,把全部投影点标记为候选边缘;对于每个候选边缘(x,y),将投影到该像素的全部参考视图模糊边缘投影到它的相应光线上,取所有深度范围投影的并集作为该像素模糊体素的深度范围;然后利用下式计算其模糊体素:
Figure FDA0002824396680000022
其中:Vc为虚拟视图的参考视图的模糊边缘;Tv与Tc分别表示对虚拟视图与参考视图进行投影正变换;
两个具有不同深度范围的模糊体素的求和过程为:先将它们的深度范围均扩展为两者的并集,新增候选深度的隶属度设为0,再将相同深度的隶属度相加,最后将Vv(x,y)做紧凑化处理,即对其深度范围也采用加权求和运算进行更新;
1.2.2.2模糊边缘提取过程:将每个模糊体素的中心—隶属度最大的所有候选深度的平均值,作为对应候选边缘的深度估计,利用Sobel算子对所得的半稠密的粗略深度图进行边缘检测;
1.3虚拟视图模糊表面生成:先采用基于局部平滑与边缘尖锐约束的空域插值,为虚拟视图生成完整模糊表面;然后利用全部稀疏采样帧的模糊边缘,同时基于全局可见性约束,去除造成错误遮挡的模糊表面;最后利用少量稀疏采样帧的完整模糊表面,实现虚拟视图模糊表面空洞的角度域填补,具体包括下列步骤:
1.3.1空域插值采用Jacobi迭代法,对虚拟视图的模糊边缘进行视点内插值,对模糊表面同时完成边缘保留—边缘尖锐约束、区域填充以及平滑化—局部平滑约束;不失一般性,令Vv t为虚拟视图模糊表面的第t次卷积结果,则迭代过程描述为:
Figure FDA0002824396680000023
{(xn,yn)}代表像素(x,y)的4邻域;δ(·)为指示函数,对于非空模糊体素,其值为1,否则为0;如果Vv t+1在深度范围和隶属度分布方面与Ev t的差异都小于给定阈值,结束迭代;
1.3.2去除造成错误遮挡的模糊表面,包括下列步骤:
1.3.2.1种子点选取:先从虚拟视图的模糊表面中获取其粗略表面估计,即提取全部模糊体素的中心;再将该粗略表面依次投影到每幅稀疏采样帧中;对于某稀疏采样帧的边缘(x,y),假设它的模糊体素深度范围为[dmin,dmax],其粗略深度估计dr重建的体素为Pr;用Pw表示从虚拟视图投影至(x,y)的体素,用dw与[dmin',dmax']分别代表其相对于此采样帧的深度值和深度范围—通过将Pw所属模糊体素投影至(x,y)所在光线上求得,如果满足以下条件:
Figure FDA0002824396680000031
将Pw标记为区域生长过程的一个种子点,其所属的模糊体素将不再投影到剩余采样帧中,式中:β为容错性能控制参数;
1.3.2.2区域生长:将稀疏的种子点逐步聚合成若干个密集、独立的模糊表面:先针对每个种子点Pw,将其在相应采样帧中的深度差dr-dw投影至它在虚拟视图中的光线上,投影结果记为Δd;接着将Pw所属模糊体素的深度范围[dmin”,dmax”]扩展至[dmin”-Δd,dmax”+Δd];然后通过Jacobi迭代法对虚拟视图模糊表面的深度范围进行平滑化;将较区域生长前深度范围相对变化超过预设阈值的模糊体素集合,作为检测出的错误模糊表面;
1.3.3虚拟视图模糊表面空洞的角度域填补,包括下列步骤:
1.3.3.1统计每幅稀疏采样帧检测出的种子点数量;
1.3.3.2按照数量由多到少的顺序逐个进行模糊表面空域插值,并将插值结果投影至虚拟视图模糊表面的空洞处;如果空洞被完全填充,则结束操作,否则继续。
CN202011445525.8A 2020-12-09 2020-12-09 模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法 Active CN112637582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011445525.8A CN112637582B (zh) 2020-12-09 2020-12-09 模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011445525.8A CN112637582B (zh) 2020-12-09 2020-12-09 模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法

Publications (2)

Publication Number Publication Date
CN112637582A true CN112637582A (zh) 2021-04-09
CN112637582B CN112637582B (zh) 2021-10-08

Family

ID=75309317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011445525.8A Active CN112637582B (zh) 2020-12-09 2020-12-09 模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法

Country Status (1)

Country Link
CN (1) CN112637582B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658202A (zh) * 2021-08-17 2021-11-16 吉林大学 边缘模糊定位联合mrf优化的单目视频虚拟视图合成方法
CN113674162A (zh) * 2021-07-13 2021-11-19 重庆理工大学 一种基于动态目标检测与分类的构建地图孔洞修复方法
CN115439388A (zh) * 2022-11-08 2022-12-06 杭州倚澜科技有限公司 基于多层神经表面表达的自由视点图像合成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100238160A1 (en) * 2009-03-17 2010-09-23 Sehoon Yea Method for Virtual Image Synthesis
CN102592275A (zh) * 2011-12-16 2012-07-18 天津大学 虚拟视点绘制方法
CN103226830A (zh) * 2013-04-25 2013-07-31 北京大学 三维虚实融合环境中视频纹理投影的自动匹配校正方法
CN104504671A (zh) * 2014-12-12 2015-04-08 浙江大学 一种用于立体显示的虚实融合图像生成方法
CN111325693A (zh) * 2020-02-24 2020-06-23 西安交通大学 一种基于单视点rgb-d图像的大尺度全景视点合成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100238160A1 (en) * 2009-03-17 2010-09-23 Sehoon Yea Method for Virtual Image Synthesis
CN102592275A (zh) * 2011-12-16 2012-07-18 天津大学 虚拟视点绘制方法
CN103226830A (zh) * 2013-04-25 2013-07-31 北京大学 三维虚实融合环境中视频纹理投影的自动匹配校正方法
CN104504671A (zh) * 2014-12-12 2015-04-08 浙江大学 一种用于立体显示的虚实融合图像生成方法
CN111325693A (zh) * 2020-02-24 2020-06-23 西安交通大学 一种基于单视点rgb-d图像的大尺度全景视点合成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIAN WEI: "Video-based, Occlusion-robust Multi-view Stereo Using Inner-boundary Depths of Textureless Areas", 《ICASSP 2019 - 2019 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 *
吕源治: "二维多视点图像阵列采集及虚拟视点合成算法", 《哈尔滨工程大学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674162A (zh) * 2021-07-13 2021-11-19 重庆理工大学 一种基于动态目标检测与分类的构建地图孔洞修复方法
CN113658202A (zh) * 2021-08-17 2021-11-16 吉林大学 边缘模糊定位联合mrf优化的单目视频虚拟视图合成方法
CN113658202B (zh) * 2021-08-17 2024-09-06 吉林大学 边缘模糊定位联合mrf优化的单目视频虚拟视图合成方法
CN115439388A (zh) * 2022-11-08 2022-12-06 杭州倚澜科技有限公司 基于多层神经表面表达的自由视点图像合成方法
CN115439388B (zh) * 2022-11-08 2024-02-06 杭州倚澜科技有限公司 基于多层神经表面表达的自由视点图像合成方法

Also Published As

Publication number Publication date
CN112637582B (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN112637582B (zh) 模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法
Bradley et al. Accurate multi-view reconstruction using robust binocular stereo and surface meshing
KR100748719B1 (ko) 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
Hirschmuller Stereo processing by semiglobal matching and mutual information
KR101554241B1 (ko) 3차원 이미지에서의 결함성 픽셀 깊이 데이터 값의 깊이 맵 품질 향상을 위한 방법
CN111882668B (zh) 一种多视角立体对象重建方法与系统
Banno et al. Disparity map refinement and 3D surface smoothing via directed anisotropic diffusion
WO2008029345A1 (en) Method for determining a depth map from images, device for determining a depth map
CN110853151A (zh) 一种基于视频的三维立体点集恢复方法
CN102436671B (zh) 一种基于深度值非线性变换的虚拟视点绘制方法
CN110211169B (zh) 基于多尺度超像素和相位相关的窄基线视差的重构方法
Luo et al. Foreground removal approach for hole filling in 3D video and FVV synthesis
Sharma et al. A flexible architecture for multi-view 3DTV based on uncalibrated cameras
Park et al. Acquisition of sharp depth map from multiple cameras
Lu et al. Depth-based view synthesis using pixel-level image inpainting
Kubota et al. All-focused light field rendering.
Jorissen et al. Multi-camera epipolar plane image feature detection for robust view synthesis
Wu et al. Joint view synthesis and disparity refinement for stereo matching
Wei et al. Dense and occlusion-robust multi-view stereo for unstructured videos
CN113658202B (zh) 边缘模糊定位联合mrf优化的单目视频虚拟视图合成方法
Çığla et al. An efficient hole filling for depth image based rendering
Cheng et al. A novel structure-from-motion strategy for refining depth map estimation and multi-view synthesis in 3DTV
CN117670913A (zh) 视频帧边缘软重建联合新视图边缘软定位的视点绘制方法
Wei et al. Video synthesis from stereo videos with iterative depth refinement
CN116091351A (zh) 一种虚拟视点合成中空洞填充方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant