CN102509343B - 一种基于双目图像和对象轮廓的虚实遮挡处理方法 - Google Patents

Abstract

本发明是一种基于双目图像和对象轮廓的虚实遮挡处理方法，包括：通过交互式图像分割算法准确计算出真实对象的区域轮廓，作为真实对象的几何形状信息；根据视差与深度的负相关关系，估算虚实对象在当前视角下的视差，确定当前场景中虚实对象的相对深度信息，划分出场景层次。利用相对深度信息估计确定虚实对象间的前后遮挡关系，不需要逐像素计算深度信息；在二维图像空间实现虚实遮挡处理，判断虚实对象间是否存在遮挡并进行相应处理，能适用于大多数的遮挡情况，达到较好的虚实遮挡处理效果。本发明可广泛应用到交互式数字娱乐、体育研究与训练模拟、远程教育与培训等虚拟现实系统的空间遮挡处理中。

Description

一种基于双目图像和对象轮廓的虚实遮挡处理方法

技术领域

本发明属于增强现实领域和图像处理领域，是解决增强现实场中虚实遮挡问题的一种基于交互式对象分割的虚实遮挡处理方法。

背景技术

增强现实又称为增强型虚拟现实，是虚拟现实的进一步拓展，它具有虚实结合、实时交互、三维注册的特点。在增强现实场景中，将虚拟对象三维注册到原场景中时，可能其放置的三维方位会与原场景中某些真实对象产生遮挡关系。为了实现虚实融合，必须要解决虚实对象之间的遮挡问题，以保证增强现实场景的真实感和可信性。在增强现实中，实现虚实遮挡处理的关键问题就是如何确定虚实对象之间的前后遮挡关系和遮挡区域。因此，一方面，需要获取真实对象在当前视线下的几何形状信息和真实对象间的前后位置关系；另一方面，需要获取虚拟对象在当前视线下的几何形状信息和空间位置信息，从而确定虚实对象之间的前后遮挡关系和遮挡区域，实现虚实遮挡处理。

目前，增强现实中的虚实遮挡处理方法的一般思路是通过某种手段或设备获得场景的几何信息和深度信息，从而完成虚实遮挡处理。这些方法可能需要特殊设备，一般都是通过立体视觉的方法计算真实对象每个像素点的深度信息，在三维空间逐像素比较判断虚实对象之间的前后遮挡关系从而处理遮挡。这种像素级别的遮挡处理方法不仅计算量大，且遮挡处理的边界效果不佳，有时候对场景和摄像机放置要求高，很难在增强现实场景中推广应用。

实际上，对于大部分的虚实遮挡处理情况，不需要获得真实对象每个像素点的深度信息，而只需要获得虚实对象间的前后遮挡关系和在当前场景中的准确区域轮廓，就能达到虚实遮挡处理的目的。同时，遮挡效果最终体现还是在二维图像空间，可见遮挡区域的计算也可以在二维图像空间实现，不需要转换到三维空间判断遮挡。

在计算机图像理解中，将广义图像的一些部分聚集成单元，这些单元对某一种或某几种特性是均一的，这就形成了分割图像。分割图像包含了初步的域相关解释，是图像处理与计算机视觉的基本问题之一。在这个描述级别上，物体的内在域相关模型开始影响广义图像结构的聚集，使得划分的单元相对于该应用领域是有意义的。

早在50年代，计算机图像理解的研究中就出现了图像分割的概念，从那时开始，图像分割一直是计算机图像理解中一个十分活跃的研究领域。从分割操作策略上讲，可以分为基于区域生成的分割方法，基于边界检测的分割方法和区域生成与边界检测的混合方法。在图像分割研究之初，图像分割方法都是基于底层特征和机器学习方法，没有硬性的前景和背景约束，只能提取出对象在图像中的位置或粗略轮廓，不能达到将对象准确从原图像中提取出来的目的。近年来，基于图论的交互式图像分割和对象提取方法逐渐成为国际上图像分割领域的一个新的研究热点。该类分割方法能够准确计算出图像中感兴趣对象的准确区域轮廓，应用到虚实遮挡处理方法中，能够提高虚实遮挡处理效果。

因此，本发明针对以上问题，将图像分割技术中的前景背景分割方法引入到基于双目图像和对象轮廓的虚实遮挡处理方法中，用于确定真实对象在当前视角下的区域轮廓作为真实对象的几何形状信息，提高虚实遮挡处理的效果；在确定虚实对象前后遮挡关系时，不需要计算出真实对象每个像素的准确深度信息，只需要根据视差与深度的对应关系确定出虚实对象的相对深度信息，在二维图像空间完成对象级别的虚实遮挡处理，从而降低深度判断过程的复杂度，提高整个遮挡处理算法的运算速度。

发明内容

针对现有增强现实中遮挡处理方法的不足，本发明的目的在于提供一种基于双目图像和对象轮廓的虚实遮挡处理方法，为用户提供动态调整虚实对象遮挡关系和遮挡效果的接口，从而使用户协同工作，实现满足用户要求的虚实遮挡处理效果。

为完成发明的目的，本发明采用的技术方案是：

在当前视角下采集原场景的一帧视频图像；由用户标记感兴趣的真实对象，采集真实对象和背景的样本信息；利用最大流-最小割图像分割方法确定真实对象在该视角下的准确区域轮廓，动态调整对象提取方法的参数，找到真实对象最佳的区域轮廓。

由于对象视差和对象深度存在反比关系，因此可以通过近似估算真实对象的视差来反映真实对象相对于摄像机的深度信息。具体估算视差如下：根据对象提取过程得到的对象轮廓以及左右灰度图像，分别计算左右图像中对象的水平重心坐标，利用左右水平重心坐标之差近似作为对象的视差。

虚拟对象三维注册采用增强现实场景中传统的注册方法，即利用人工标志物完成虚拟对象的三维注册。首先，用户在原场景中指定位置放置标志物，系统自动检测标志物位置，确定世界坐标系，并将虚拟对象三维注册到原场景中。用户调整虚拟对象在增强现实场景中的三维坐标和自身比例，使之与真实对象处于预期遮挡状态，并估算虚拟对象的视差信息。

根据视差与深度的反比关系，利用已获得的真实对象和虚拟对象的视差信息，确定虚实对象的相对深度信息大小。对象的深度信息是以对象重心坐标的深度信息来度量的，对象上所有的像素点都对应同一个深度值，对象的深度值越大其层次值越大。将场景按到摄像机距离由近及远划分为真实对象、虚拟对象和背景等多个层次，从而获得对象间的前后遮挡关系，即可进行虚实对象的遮挡判断。不需要逐像素点计算真实对象的真实深度信息判断虚实对象的遮挡关系，因此降低了虚实对象遮挡关系判断的复杂程度，提高了虚实遮挡处理的速度，能够实现大多数的虚实遮挡处理情况。

虚实遮挡处理是对象级别的遮挡处理，只在虚拟对象区域判断虚实遮挡关系。根据虚实对象的相对深度信息和场景层次，虚实对象的遮挡关系是唯一确定的，不存在虚实对象交错放置的情况，能够反映大部分的遮挡情况。根据已知的场景层次和虚实对象在该视角下的区域轮廓，在绘制虚拟对象区域时，判断像素点最小的场景层次是否为虚拟对象层次。如果属于虚拟对象层即绘制虚拟对象；否则表明该区域属于某个真实对象层次，不绘制虚拟对象。不论是虚实遮挡还是实虚遮挡，遮挡处理的时间复杂度只与虚拟对象在当前视角下的所在区域大小有关，能够快速完成对象级别的虚实遮挡处理，进一步提高整个系统的速度。

附图说明：

图1本发明的系统结构图；

图2本发明的真实对象提取模块设计流程图；

图3本发明的视差和遮挡关系示意图；

图4本发明的相对深度信息估计模块流程图；

图5本发明的动态虚拟对象注册流程图；

图6本发明的整体系统流程图。

具体实施方式：

参阅图1虚实遮挡处理的系统结构图，基于双目图像和对象轮廓的虚实遮挡处理方法可分为真实对象提取、相对深度信息估计、虚拟对象注册和虚实遮挡处理四个子功能模块。如前所述，真实对象提取模块主要负责在当前视角下的视频图像中确定真实对象的准确区域轮廓信息；相对信息估计模块的主要功能是估算在当前视角下的对象间的相对深度信息，划分场景层次；虚拟对象三维注册的功能即确定摄像机的内参数和方位参数，将虚拟对象的三维几何模型注册到真实环境的视频图像；虚实遮挡处理工具则是利用前三个模块的结果快速在二维图像空间完成对象级别的遮挡处理。下面分别介绍各模块的设计与实现细节。

对于图像对象提取问题，交互式前景背景分割方法的思想是根据用户输入的前景和背景的采样点信息，将图像转化为表征前景/背景分布情况的图结构，定义能够表示最佳分割的能量函数，将图像二值分割问题转化在图结构上求最小割问题，通过求解能量函数最小化寻找最小割的最优解。由于该类方法加入确定的前景背景信息作为分割的硬性约束条件，结合图像本身存在的特征分布作为弱约束条件，并将分割问题转化为最小割问题，使之能够在多项式时间内求解出很好的前景背景分割效果。

本发明采用基于图结构的图像分割方法。该方法通过用户在图像上明确标记出部分对象点和背景点，作为图像分割的硬性约束条件，并以此为依据构建图像相应的图结构。在构建图过程中，将每个像素点看作图的一个节点，并与其周围的像素点构成四连通的邻居系统，连接各邻居的边称为邻居边，表示相邻节点为相同类别(对象或背景)的可能性大小，其权值根据相邻节点颜色值的相似程度计算得到，权值越大，相邻两点为相同类别的可能性越大；同时在所构建的图中还存在两个特殊的节点，被称为源点和终点，分别代表前景和背景，每个像素点和两终结点的连接边称为终结边，表示像素点本身为对象或背景的可能性大小，其权值则根据采集到的前景和背景样本计算前景和背景的颜色直方图得到，权值越大则该点为相应类别的可能性越大，这样构建的图就能够表示图像中对象和背景的差异关系。

真实对象提取模块要实现当前视角下的视频图像中确定真实对象的准确区域轮廓信息，该部分需要用户交互获取初始分割信息，包括用户标记感兴趣的真实对象、采集真实对象和背景的样本信息、利用最大流-最小割图像分割方法确定真实对象在该视角下的准确区域轮廓，以及动态调整对象提取方法的参数，找到真实对象最佳的区域轮廓。因此，真实对象提取模块完成的任务包括：指定感兴趣真实对象；采集真实对象和背景的样本信息；利用最大流-最小割图像分割方法计算真实对象的准确区域轮廓；提供接口供用户调整区域轮廓结果。真实对象提取模块设计流程如图2所示。

在大多数的虚实遮挡处理方法中，前后遮挡关系是通过各种方法和技术手段逐像素估算各对象的深度信息来确定，这种方式虽然很精确，但是可能需要特定设备或技术，计算过程复杂。实际上，除了相互遮挡情况之外，对于大多数的虚实遮挡情况，真实对象整体的空间位置信息即可代表真实对象每一像素点的空间位置，并不需要准确计算真实对象所有像素点在真实场景中的深度信息。因此，本发明提供的基于双目图像和对象轮廓的虚实遮挡处理方法认为可采用间接方式来估算对象间的相对深度信息，分别估计虚实对象在当前视角下的前后相对位置关系，进而确定虚实对象间可能存在的空间遮挡关系，以降低深度信息估计的时间复杂度。由于视差为左右双目观察场景中某一对象时，呈现在左右图像上时造成对象在水平方向上存在的位置差异，因此可知，对象距离摄像机的深度越小，其对应的双目视差就越大。如图3所示，真实世界坐标系下放置的两个物体真实对象1和真实对象2，真实对象1的视差大于真实对象2的视差，因此真实对象1相对于真实对象2要距离摄像机更近。

相对深度信息估计模块的主要功能是估算真实对像和虚拟对象在当前视角下的近似视差，从而确定对象间的相对深度信息，并按距离摄像机的距离大小划分出场景层次。相对深度信息估计模块的设计流程图如图4所示。根据对象视差和对象深度的负相关关系，可以通过近似估算对象的视差来反映对象相对于摄像机的深度信息。具体估算视差如下：输入对象的左右双目两幅区域图像，对于每幅图像的所有像素点判断该点是否为对象点。如果为对象点，则将该点对应的水平坐标值累加，最后将累加水平坐标值除以对象点总数，求得对象点水平坐标的平均值，近似作为对象的重心坐标。将左目图像上对象的水平重心坐标与右目图像上对象的水平重心坐标相减，这个重心坐标之差就是近似估算的对象在当前视角下的视差。

根据视差与深度的负相关关系，利用已获得的真实对象和虚拟对象的视差信息，确定所有虚实对象的相对深度信息大小，从而按照离摄像机距离由近及远划分为真实对象、虚拟对象和背景等多个层次，为虚实对象遮挡判断提供依据。例如图3中，虚拟对象的层次在真实对象1之后，在真实对象2之前。在左图中，真实对象1遮挡了虚拟对象，虚拟对象遮挡了真实对象2；在右图中，只有虚拟对象遮挡真实对象2。

虚拟对象三维注册过程为通过摄像机标定实验，计算并确定摄像机的内参数和方位参数，并且根据用户视点在真实环境的位置和方向，以摄像机的内参数和方位参数分别确定三维注册的投影矩阵和视景矩阵，从而利用矩阵计算虚拟对象在真实环境的映射位置，将虚拟对象的三维几何模型注册到真实环境的视频图像。

虚拟对象注册采用增强现实场景中传统的注册方法，即利用人工标志物完成虚拟对象的三维注册。首先，用户在原场景中指定位置放置标志物，调用AR增强现实工具包中提供的相关函数，检测人工标志物在当前场景中的位置。接着，在检测到标志物后调用AR增强现实工具包中的相关函数，以标志物坐标系为世界坐标系，计算摄像机的内外参数，确定世界坐标系与摄像机坐标系间的转换矩阵，确定三维注册的投影矩阵和视景矩阵，从而利用矩阵计算虚拟对象在真实环境的映射位置，将虚拟对象的三维几何模型注册到真实环境的视频图像中。同时，为满足用户对不同虚实遮挡效果的需求，在虚实三维注册模块中，设置键盘交互接口，供用户动态调整虚拟对象在当前场景中的位置和比例，保持虚拟对象在当前视角下的透视效果，达到预期的虚实遮挡效果，为虚实遮挡处理奠定基础。动态虚拟对象注册的流程图如图5所示。

交互式虚实遮挡处理方法的一大特点就是在二维图像空间快速完成对象级别的遮挡处理，从而避免复杂的在真实的三维空间逐像素判断遮挡关系继而处理遮挡，提高整个遮挡处理的计算效率。在虚实遮挡处理阶段，将虚拟对象的三维几何模型注册到真实环境的视频图像中。

具体的虚实遮挡判断与处理过程设计如下：根据已知的场景层次和虚实对象在该视角下所占有的区域轮廓，在绘制虚拟对象区域时，判断像素点最小的场景层次，判断每个像素点上的距离摄像机最近的层次是否为虚拟对象。如果属于虚拟对象层，表明可能虚拟对象遮挡真实对象，应实施的遮挡处理措施即为直接在该像素点绘制虚拟对象；否则，表明虚拟对象在该像素点被某个真实对象遮挡，应实施的遮挡处理措施即为不绘制虚拟对象，保持原有颜色值。对虚拟对象所占有的每个像素点都进行上述的遮挡判断和处理，就能快速完成对象级别的虚实遮挡处理，最后将完成虚实遮挡处理的图像输出到OpenCV窗口呈现给用户。

需要指出的是，上述虚实遮挡处理过程不论是虚实遮挡情况还是实虚遮挡情况都要判断是否存在遮挡情况，因此所需的计算复杂度仅仅与虚拟对象在增强现实场景中的区域大小成正比关系。为满足用户对不同虚实遮挡效果的需求，在虚实遮挡环节还提供遮挡效果动态调整接口，用户可调整虚拟对象在增强现实场景中的三维坐标和自身比例，使之与真实对象处于预期遮挡状态，达到用户要求的虚实遮挡处理效果。总结各子模块的分析设计，基于双目图像和对象轮廓的虚实遮挡处理方法的整体流程如图6所示，保证用户能够动态调整虚实遮挡关系，快速获得虚实遮挡处理效果。

以上所述仅为本发明技术构思下的一些基本说明，而依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (3)

1.一种基于双目图像和对象轮廓的虚实遮挡处理方法，其特征在于包括以下步骤： 

（1）利用交互式的前景背景二值分割方法，将当前视角下场景视频图像中感兴趣的真实对象的轮廓信息提取出来； 

（2）根据视差和深度的负相关关系，估算各对象的视差信息，比较得到各对象的相对深度信息，按离摄像机远近距离划分场景对象的层次，从而获得可能存在的对象之间前后遮挡关系； 

（3）根据交互式提取的对象区域轮廓信息和由视差估算的相对深度信息，在绘制虚拟对象时判断是否存在遮挡和被遮挡，并进行相应虚实遮挡处理，最终生成满足遮挡要求的增强现实场景； 

所述步骤（1）中将当前视角下场景视频图像中感兴趣的真实对象的轮廓信息提取出来，是利用图像分割技术中交互式的前景背景分割方法，在视频图像上确定真实对象在当前视角下的区域轮廓，作为真实对象的几何形状信息; 

步骤（2）中所述的各对象的相对深度采用以下步骤得到： 

根据视差与深度的负相关关系，利用对象在左右双目图像中所占有的区域信息，求得对象在左右双目图像中的水平重心坐标，利用左右水平重心坐标之差近似作为整个对象在当前视角下的视差；根据估算出的虚实对象的视差，比较对象视差大小，从而获得所有对象的相对深度信息；对象的深度信息是以对象重心坐标的深度信息来度量的,对象上所有的像素点都对应同一个深度值；具体估算视差如下：输入对象的左右双目两幅区域图像，对于每幅图像的所有像素点判断该点是否为对象点，如果为对象点，则将该点对应的水平坐标值累加，最后将累加水平坐标值除以对象点总数，求得对象点水平坐标的平均值，近似作为对象的重心坐标；将左目图像上对象的水平重心坐标与右目图像上对象的水平重心坐标相减，这个重心坐标之差就是近似估算的对象在当前视角下的视差； 

根据视差与深度的负相关关系，利用已获得的真实对象和虚拟对象的视差信息，确定所有虚实对象的相对深度信息大小，从而按照离摄像机距离由近及远划分为真实对象、虚拟对象和背景多个层次，为虚实对象遮挡判断提供依据。 

2.如权利要求1所述的基于双目图像和对象轮廓的虚实遮挡处理方法，其特征在于：步骤（2）中所述的对象之间的前后遮挡关系采用以下步骤获得：根据各对象的深度信息确定场景的层次信息，深度值越大层次值越大，从而获得虚实对象间蕴含的前后遮挡关系。 

3.如权利要求1所述的基于双目图像和对象轮廓的虚实遮挡处理方法，其特征在于：步 骤（3）中所述的虚实遮挡处理是对象级别的遮挡处理,只在虚拟对象区域判断虚实遮挡关系。 

Images