CN108965852A - 一种具有容错能力的半自动2d转3d的方法 - Google Patents

Abstract

一种具有容错能力的半自动2D转3D的方法，包括以下步骤：包括关键帧提取、用户标注、标注提取与深度转换、超像素分割、平面拟合、代表性像素点提取、结构差异描述、容错机制、具有容错能力结构相关的能量函数构建、广义迭代重新加权最小二乘法和基于深度图的绘制。本发明具有以下有益效果：借助鲁棒估计，建立具有容错能力结构相关的深度传播能量模型，并结合局部和全局约束关系，可以更有效地利用场景的先验知识，在降低半自动2D转3D中用户标注难度的同时增强估计深度图的质量。

Description

一种具有容错能力的半自动2D转3D的方法

技术领域

本发明属于3D视频领域，具体涉及一种具有容错能力的半自动2D转3D的方法。

背景技术

随着3D视频的兴起，3D内容制作复杂、成本高和更新慢的问题日益突出。当前的影像资源绝大多数以2D为主。2D转3D技术可快速将现有的2D影像转换为3D影像，对于3D视频的发展起到至关重要的作用。半自动2D转3D通过少量的人工干预便能获得准确的深度图，因而成为当前的研究热点。

半自动2D转3D是典型的不适定问题，其核心在于视频画面深度信息的恢复。现有方法都假设具有相似颜色的像素点具有相似的深度值进行稀疏深度的插值。当该假设不成立时，将会产生深度渗透和纹理拷贝损伤。此外，现有方法假设用户分配的稀疏深度百分之百准确。半自动2D转3D人工标注需要在短时间内为大量视频帧分配深度，不可避免会出现失误。一旦出现误标注，现有方法估计的深度图质量将急剧恶化。为提高半自动2D转3D人工标注效率，增强深度图估计质量，迫切需要在考虑纹理图像和深度图之间结构差异性的前提下，研究具有容错能力的深度估计方法。

2D转3D主要分为全自动和半自动两种方式。全自动方式试图通过单目深度线索由计算机算法获得视频帧的深度信息。由于场景线索和深度之间并非是简单的线性对应关系。因而，全自动方法的当前研究热点主要是基于机器学习的深度估计。Saxena等通过学习训练建立起图像的特征向量和深度图间的对应关系。Liu等在此基础上引入语义分类知识。Konrad等假设相似的场景具有相似的深度，直接从深度数据库中将相似场景的深度迁移到输入图像上。Karsch等进一步将这种方法扩展到视频上。课题组针对现有方法存在不同物体深度分配层次感不够的问题，提出基于语义分割和深度迁移的方法，并通过加权SIFT流改进了深度迁移的质量。随着深度学习的广泛应用，人们开始将其引入2D转3D。Eigen等首先将深度学习引入单幅图像的深度估计，利用一个深度网络获取深度图的全局结构，另外一个深度网络获得深度图的细节信息。在此基础上，Eigen等进一步通过多尺度深度学习同时进行单幅图像的深度、表面法向量和语义分割的估计。Liu等利用卷积神经网络和连续条件随机场模型进行单幅图像的深度估计。Li等将单幅图像的深度估计转换成卷积神经网络上的回归问题。上述深度学习的方法在NYU数据集上都取得了较好的效果。然而，当训练数据与测试数据的特征、结构差异较大时，这些方法估计的深度与真实深度相差较大，难以直接用于3D视频的绘制。正是基于上述考虑，业界大多采用半自动2D转3D的方法进行3D内容的制作。

半自动2D转3D利用图像的局部相似性，将用户标注的稀疏深度传播到整个视频序列。作为品质和效率最佳均衡的转换方式，近年来半自动方法迅速得到学术界和产业界的关注。Rzeszutek等提出基于随机游走算法的深度提取方案，但由于没有考虑像素点间的高阶约束关系，该方法估计的深度图丢失了物体边缘。而深度图的物体边缘是影响用户三维感官体验的重要因素。为此，Phan等利用图割算法得到的初始深度，对随机游走算法的边权重进行调节，初始深度越相似，邻域像素点间边的权重越大；最后通过随机游走算法得到最终的估计深度。图割算法的优势是可以产生较尖锐的物体边缘。结合图割算法的这一特性，Phan等可获得物体边缘保持的平滑深度图。然而，对于复杂场景图割算法难以准确分离出物体边缘。图割算法这一缺陷使得Phan等方法容易在物体边缘处引入虚假深度，降低深度估计的准确性。Xu等针对图割算法计算复杂度高的问题，提出将分水岭分割替代图割，但该方法同样存在分割物体边缘的准确提取问题。针对现有方法在用户标注量少时难以保持深度图物体边缘的问题，课题组提出非局部化随机游走算法，可在稀疏用户标注的情况下，获得高质量深度图。但该工作并未探讨非局部邻域改善深度估计质量的机理。上述方法都隐含下述假设，即:深度图的不连续过渡对应着纹理图像的几何边缘。当二者间存在结构差异时，势必会模糊深度图的对象边缘。此外，现有方法都假设用户分配的稀疏深度不存在误差。实际上用户在标注过程中不可避免会出现失误。而这一误差将严重影响3D转换的质量。虽然，Sener等和Kartic等已考虑到人机交互中错误的标注对图像分割的影响及解决措施。但这些方法仅适用于二值图像分割，难以直接用于半自动2D转3D的深度估计。

基于以上分析，半自动2D转3D弥补了人工方法耗费大量人力成本以及全自动方法深度精确度低的缺陷，但仍面临着下述难题：

(1)没有充分考虑纹理图像和深度图之间结构的差异性，使得估计的深度图对象边缘质量较差，导致后续基于深度图绘制的虚拟视点图像出现空洞和伪影损伤。

(2)没有考虑2D转3D系统的容错性，用户的轻微误操作都会严重恶化深度图估计的质量。

发明内容

针对现有技术中的不足，本发明提供一种具有容错能力的半自动2D转3D的方法，提高半自动2D转3D人工标注效率，增强深度图估计质量。

本发明通过以下技术方案实现。

一种具有容错能力的半自动2D转3D的方法，包括以下步骤：包括关键帧提取、用户标注、标注提取与深度转换、超像素分割、平面拟合、代表性像素点提取、结构差异描述、容错机制、具有容错能力结构相关的能量函数构建、广义迭代重新加权最小二乘法和基于深度图的绘制。

作为优选，其中用户标注是指用户在关键帧上为部分像素分配深度值。

作为优选，标注提取与深度转换是从关键帧图像上提取用户的标注值，并根据其颜色的深浅转换为深度值，从而得到用户分配的稀疏深度图。

作为优选，关键帧提取，拟根据匹配误差、运动漂移和遮挡等因素对深度传播误差进行建模，并根据传播误差进行关键帧的提取，假设输入视频第t帧图像为I_t，则在像素点x处，I_t向下一帧I_t+1进行深度传播的误差概率定义为：其中具体定义为： 和分别为匹配、运动和遮挡带来的深度传播误差，其中λ为调节参数，ε表示一个小于5的正常数，V_t,t+1表示视频帧I_t到I_t+1的正向光流，V_t+1,t为I_t+1到I_t的逆向光流，根据误差累计将不相邻帧之间深度传播的误差概率定义为P_t,r(x)＝P_t-1,r(x)+(1-P_t-1,r(x))P_t,r-1(x)，需要同时获取最优的关键帧数目和分布，为此根据上述深度传播误差预测模型，建立代价函数，通过最小化代价函数获得全局最优的关键帧提取，假设距离当前帧I_t最近的左右两个关键帧序号分别为和用户在关键帧上的标注时间为t₁，在非关键帧上的校正时间为t₂，关键帧数目为k，S表示选择的关键帧集合。则k和S为下述代价函数的解：{k,S}＝argmin{kt₁+E(S)t₂}，其中E(S)表示深度传播误差，定义为M为总的视频帧数目。

作为优选，结构差异描述，假设当前关键帧图像上深度图像的相量表示为z，第i个像素点的深度值为zi，则该像素点处纹理图像和深度图之间的结构差异测度定义为：这里Ω_i表示第i个像素点局部邻域构成的像素点索引集合。w_ij表示像素点间的特征相似性，若像素点i、j之间局部相邻则否则w_ij＝0，其中t_i表示像素点i的特征值。ρ(·)为重新下降M估计子代价函数，如选用Welsch函数，则定义为：

作为优选，容错机制，估计深度与用户分配深度之间差异的测度定义为：m_iρ(z_i-u_i)。这里m_i表示标注掩模值，若第i个像素点属于用户标注区，m_i＝1；否则m_i＝0。u_i表示用户为第i个像素点分配的深度值。超像素的全局性约束定义为：这里z_p和z_q分别为第p和q个超像素代表性像素点的估计深度值；r表示总的超像素个数，这里代表性像素点定义如下：对超像素进行平面拟合，超像素内与该拟合偏差最小的像素点即为代表性像素点。

作为优选，具有容错能力结构相关的能量函数及其求解根据结构差异描述，并引入鲁棒估计理论，将稀疏深度稠密插值问题转换为下述能量函数求解问题：式中第一项为鲁棒数据项，使估计深度逼近用户分配的深度同时抑制外点的影响；第二项和第三项分别为鲁棒的局部正则项和全局正则项，使用户分配的稀疏深度向邻域扩散，并抑制结构差异带来的质量损伤，上述能量函数的最小化是非凸最优化问题，拟通过广义迭代重新加权最小二乘法予以求解，即首先找到上界凸函数，然后以该凸函数的最优解作为近似解。

与现有技术相比：借助鲁棒估计，建立具有容错能力结构相关的深度传播能量模型，并结合局部和全局约束关系，可以更有效地利用场景的先验知识，在降低半自动2D转3D中用户标注难度的同时增强估计深度图的质量。

附图说明

图1为本发明的方法示意图。

图2为本发明的根据非局部化图模型进行深度线索融合的一个实验结果图。

图3为本发明的基于L1最优化的半自动2D转3D的示意图。

具体实施方式

现有半自动2D转3D方法都隐含下述假设，即:深度图的不连续过渡对应着纹理图像的几何边界。但深度图与纹理图像间的几何结构并不存在必然的对应关系。如果不考虑二者间的差异，将会引入深度渗透和纹理拷贝损伤。考虑到重新下降M估计子的影响函数增大到一定值后会重新下降，采用重新下降M估计子作为结构差异性的测度。当纹理图像与深度图之间的结构差异大于某个阈值时，由重新下降M估计子获得的测度开始降低，从而允许估计深度图与纹理图像之间的结构差异，有效抑制深度渗透和纹理拷贝损伤。

(2)稀疏深度向稠密深度转换的容错机制研究

用户在标注过程中不可避免会误操作。为减少用户返工的工作量，生成较好视觉效果的深度图，需要研究稀疏深度向稠密深度转换的容错机制。考虑到重新下降M估计子对异常数据点具有较好的容错能力，拟用重新下降M估计子表示估计深度与用户分配深度间的差异，并通过超像素的全局约束降低用户误操作对后续深度估计质量的影响。

(3)具有容错能力、结构相关的深度图计算模型

在上述工作基础上，以重新下降M估计子建立数据项和局部正则项，并通过超像素的全局约束建立非局部正则项，以此构建具有容错能力、结构相关的深度图计算模型。由于该模型的非凸性，拟通过广义迭代重新加权最小二乘法予以求解。

综上，将鲁棒估计理论引入2D转3D，可有效组织图像先验知识，将不适定问题转换成适定问题，从而在人工偶然性输错的情况下也能生成高质量的深度图。本基于鲁棒估计理论理论开展半自动2D转3D深度提取模型与算法研究，为3D显示技术在影像娱乐、医疗、教育、军事等领域的应用提供算法理论和技术支持，并能开拓鲁棒估计理论与电子信息科学、计算机科学等领域的交叉研究。

针对现有半自动2D转3D方法难以处理纹理图像和深度图之间结构差异以及用户误标注的难题，研究鲁棒估计理论在深度估计中的作用，建立结构相关、具有容错能力的深度图计算模型，在保证深度质量的前提下降低人工标注的难度，从而为我国3D视频产业提供理论支撑和技术服务。

具体的目标有：(1)利用重新下降M估计子建立纹理图像和深度图之间结构差异的描述模型；(2)通过鲁棒估计理论，识别并消除用户的误标注；(3)考虑多源数据间的结构差异，提出结构相关、具有容错能力的深度传播方法。这些研究目标有望解决3D内容创建系统面临的耗时、耗力等工程设计难题，并拓展鲁棒估计理论在2D转3D中的应用，丰富2D转3D的相关理论。

目前能够用于3D显示的视频资源种类和内容十分匮乏，严重制约了3D技术的发展。将充足的2D视频进行3D转换，可充分利用现有资源，促进3D技术的发展。申请者研究工作的长期目标是探讨鲁棒估计理论在2D转3D中的应用，最小化2D转3D中人工干预的工作量，建立高效、鲁棒的深度提取方法，建立鲁棒估计理论约束的深度提取计算模型，可在保持深度质量的同时最小化用户标注难度，为3D视频内容的高效创建奠定坚实的基础。

研究内容主要针对半自动2D转3D面临的结构差异和容错问题展开，主要分以下三部分：纹理图像和深度图之间结构差异性的描述、稀疏深度向稠密深度转换的容错机制研究和具有容错能力、结构相关的深度图计算模型。

(1)纹理图像和深度图之间结构差异性的描述

纹理图像和深度图像之间的结构差异使得现有半自动2D转3D方法容易出现深度渗透和纹理拷贝损伤，严重影响3D内容的质量。为最小化这种结构差异带来的影响，需要定理描述二者间的结构差异。采用重新下降M估计子描述纹理图像和深度图像之间的结构差异性，当纹理图像与深度图之间的结构差异大于某个阈值时，由重新下降M估计子计算的测度开始降低，从而允许估计深度图与纹理图像之间的差异，有效抑制深度渗透和纹理拷贝损伤。

(2)稀疏深度向稠密深度转换的容错机制研究

现有方法都假设用户分配的稀疏深度不存在误差。实际上用户在标注过程中不可避免会出现失误。而这一误差将严重影响2D转3D的质量。为达到满意的效果，用户将不得不耗费大量的返工时间。为提高半自动2D转3D的效率，使得系统在用户误操作情况下也能获得视觉效果较好的3D内容，从鲁棒估计理论着手，研究稀疏深度向稠密深度转换过程中的容错机制。

(3)具有容错能力、结构相关的深度图计算模型

为形成具有容错能力、结构相关的高质量半自动2D转3D方法，在上述研究内容基础上，通过鲁棒估计理论，用重新下降M估计子建立数据项和局部正则项，通过超像素引入的全局约束关系建立非局部正则项，以此建立深度图估计的计算模型，并利用广义迭代重新加权最小二乘法予以求解。

拟采用的研究方案如图1所示，主要包括关键帧提取、用户标注、标注提取与深度转换、超像素分割、平面拟合、代表性像素点提取、结构差异描述、容错机制、具有容错能力结构相关的能量函数构建、广义迭代重新加权最小二乘法和基于深度图的绘制。其中用户标注是指用户在关键帧上为部分像素分配深度值，标注提取与深度转换是从关键帧图像上提取用户的标注值，并根据其颜色的深浅转换为深度值，从而得到用户分配的稀疏深度图。

(1)关键帧提取

拟根据匹配误差、运动漂移和遮挡等因素对深度传播误差进行建模，并根据传播误差进行关键帧的提取。假设输入视频第t帧图像为I_t，则在像素点x处，I_t向下一帧I_t+1进行深度传播的误差概率定义为：其中具体定义为：和分别为匹配、运动和遮挡带来的深度传播误差。其中λ为调节参数，ε表示一个小的正常数，V_t,t+1表示视频帧I_t到I_t+1的正向光流，V_t+1,t为I_t+1到I_t的逆向光流。进一步根据误差累计将不相邻帧之间深度传播的误差概率定义为P_t,r(x)＝P_t-1,r(x)+(1-P_t-1,r(x))P_t,r-1(x)。

关键帧提取需要同时获取最优的关键帧数目和分布。为此根据上述深度传播误差预测模型，建立代价函数，通过最小化代价函数获得全局最优的关键帧提取。假设距离当前帧I_t最近的左右两个关键帧序号分别为和用户在关键帧上的标注时间为t₁，在非关键帧上的校正时间为t₂，关键帧数目为k，S表示选择的关键帧集合。则k和S为下述代价函数的解：{k,S}＝argmin{kt₁+E(S)t₂}，其中E(S)表示深度传播误差，定义为M为总的视频帧数目。

(2)结构差异描述

假设当前关键帧图像上深度图像的相量表示为z，第i个像素点的深度值为zi，则该像素点处纹理图像和深度图之间的结构差异测度定义为：这里Ω_i表示第i个像素点局部邻域构成的像素点索引集合。w_ij表示像素点间的特征相似性，若像素点i、j之间局部相邻则否则w_ij＝0，其中t_i表示像素点i的特征值。ρ(·)为重新下降M估计子代价函数，如选用Welsch函数，则定义为：

(3)容错机制

现有半自动2D转3D方法都要求估计深度图在标注位置必须逼近用户分配的深度。这使得用户轻微的误操作都会严重恶化深度图估计质量。为此利用重新下降M估计子对估计深度和用户分配深度之间的差异进行测度，同时引入超像素的全局性约束，进一步消除用户误操作带来的影响。

估计深度与用户分配深度之间差异的测度定义为：m_iρ(z_i-u_i)。这里m_i表示标注掩模值，若第i个像素点属于用户标注区，m_i＝1；否则m_i＝0。u_i表示用户为第i个像素点分配的深度值。超像素的全局性约束定义为：这里z_p和z_q分别为第p和q个超像素代表性像素点的估计深度值；r表示总的超像素个数。这里代表性像素点定义如下：对超像素进行平面拟合，超像素内与该拟合偏差最小的像素点即为代表性像素点。

(4)具有容错能力结构相关的能量函数及其求解

根据结构差异描述，并引入鲁棒估计理论，将稀疏深度稠密插值问题转换为下述能量函数求解问题：式中第一项为鲁棒数据项，使估计深度逼近用户分配的深度同时抑制外点的影响；第二项和第三项分别为鲁棒的局部正则项和全局正则项，使用户分配的稀疏深度向邻域扩散，并抑制结构差异带来的质量损伤。上述能量函数的最小化是非凸最优化问题。拟通过广义迭代重新加权最小二乘法予以求解，即首先找到上界凸函数，然后以该凸函数的最优解作为近似解。

鲁棒估计保证在偏离理想模型情况下仍获得能够接受的计算结果，因而恰当运用这一理论，将会为2D转3D技术带来新的突破。半自动2D转3D在深度估计过程中面临着纹理图像和深度图之间结构差异、用户误标注等问题，导致转换结果难以达到观赏需求。因而借助鲁棒估计，建立具有容错能力结构相关的深度传播能量模型，并结合局部和全局约束关系，可以更有效地利用场景的先验知识，在降低半自动2D转3D中用户标注难度的同时增强估计深度图的质量。

(1)容错机制的建立

为了将鲁棒估计理论用于指导2D转3D，需要建立容错机制。为此，利用鲁棒估计理论中常用的重新下降M估计子分别构建鲁棒数据保真项、鲁棒局部正则项和鲁棒全局正则项，在此基础上形成具有容错能量结构相关的能量函数，通过最小化该函数剔除外点对深度估计质量的影响。

(2)深度图传播方法

用户仅在关键帧上自动提取的区域进行深度标注，为获得高质量深度图，需要进行稀疏向稠密转换的深度传播。在鲁棒估计理论的指导下，考虑到纹理图像与深度图像间的结构差异以及用户误标注问题，通过鲁棒的重新下降M估计子方法实现深度图传播。

(1)在鲁棒估计理论基础上，提出纹理图像和深度图之间结构差异描述方法，在此基础上建立容错机制，使得半自动2D转3D能够恢复深度图的不连续过渡并有效抵制用户误标注带来的质量损伤。预期的研究成果有望促进鲁棒估计理论在2D转3D中的应用，为3D内容高效创建提供新的研究思路和方向。

(2)根据容错机制，通过重新下降M估计子进行用户标注稀疏深度向稠密深度的转换，重新下降M估计子能有效抵制纹理图像和深度图像间结构差异以及用户误标注带来的深度传播损伤。

本发明的保护范围包括但不限于以上实施方式，本发明的保护范围以权利要求书为准，任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均落入本发明的保护范围。

Claims (7)

1.一种具有容错能力的半自动2D转3D的方法，其特征在于，包括以下步骤：包括关键帧提取、用户标注、标注提取与深度转换、超像素分割、平面拟合、代表性像素点提取、结构差异描述、容错机制、具有容错能力结构相关的能量函数构建、广义迭代重新加权最小二乘法和基于深度图的绘制。

2.根据权利要求1所述的一种具有容错能力的半自动2D转3D的方法，其特征在于，其中用户标注是指用户在关键帧上为部分像素分配深度值。

3.根据权利要求1所述的一种具有容错能力的半自动2D转3D的方法，其特征在于，标注提取与深度转换是从关键帧图像上提取用户的标注值，并根据其颜色的深浅转换为深度值，从而得到用户分配的稀疏深度图。

4.根据权利要求1所述的一种具有容错能力的半自动2D转3D的方法，其特征在于，关键帧提取，拟根据匹配误差、运动漂移和遮挡等因素对深度传播误差进行建模，并根据传播误差进行关键帧的提取，假设输入视频第t帧图像为I_t，则在像素点x处，I_t向下一帧I_t+1进行深度传播的误差概率定义为：其中具体定义为： 和分别为匹配、运动和遮挡带来的深度传播误差，其中λ为调节参数，ε表示一个小于5的正常数，V_t,t+1表示视频帧I_t到I_t+1的正向光流，V_t+1,t为I_t+1到I_t的逆向光流，根据误差累计将不相邻帧之间深度传播的误差概率定义为P_t,r(x)＝P_t-1,r(x)+(1-P_t-1,r(x))P_t,r-1(x)，需要同时获取最优的关键帧数目和分布，为此根据上述深度传播误差预测模型，建立代价函数，通过最小化代价函数获得全局最优的关键帧提取，假设距离当前帧I_t最近的左右两个关键帧序号分别为和用户在关键帧上的标注时间为t₁，在非关键帧上的校正时间为t₂，关键帧数目为k，S表示选择的关键帧集合。则k和S为下述代价函数的解：{k,S}＝argmin{kt₁+E(S)t₂}，其中E(S)表示深度传播误差，定义为M为总的视频帧数目。

5.根据权利要求1所述的一种具有容错能力的半自动2D转3D的方法，其特征在于，结构差异描述，假设当前关键帧图像上深度图像的相量表示为z，第i个像素点的深度值为z_i，则该像素点处纹理图像和深度图之间的结构差异测度定义为：这里Ω_i表示第i个像素点局部邻域构成的像素点索引集合。w_ij表示像素点间的特征相似性，若像素点i、j之间局部相邻则否则w_ij＝0，其中t_i表示像素点i的特征值。ρ(·)为重新下降M估计子代价函数，如选用Welsch函数，则定义为：

6.根据权利要求1所述的一种具有容错能力的半自动2D转3D的方法，其特征在于，容错机制，估计深度与用户分配深度之间差异的测度定义为：m_iρ(z_i-u_i)。这里m_i表示标注掩模值，若第i个像素点属于用户标注区，m_i＝1；否则m_i＝0。u_i表示用户为第i个像素点分配的深度值。超像素的全局性约束定义为：这里z_p和z_q分别为第p和q个超像素代表性像素点的估计深度值；r表示总的超像素个数，这里代表性像素点定义如下：对超像素进行平面拟合，超像素内与该拟合偏差最小的像素点即为代表性像素点。

7.根据权利要求1所述的一种具有容错能力的半自动2D转3D的方法，其特征在于，具有容错能力结构相关的能量函数及其求解根据结构差异描述，并引入鲁棒估计理论，将稀疏深度稠密插值问题转换为下述能量函数求解问题：式中第一项为鲁棒数据项，使估计深度逼近用户分配的深度同时抑制外点的影响；第二项和第三项分别为鲁棒的局部正则项和全局正则项，使用户分配的稀疏深度向邻域扩散，并抑制结构差异带来的质量损伤，上述能量函数的最小化是非凸最优化问题，拟通过广义迭代重新加权最小二乘法予以求解，即首先找到上界凸函数，然后以该凸函数的最优解作为近似解。