CN105551084B - 一种基于图像内容解析的室外三维场景组合构建方法 - Google Patents

Abstract

本发明提供一种基于图像内容解析的室外三维场景组合构建方法，包括：通过解析影像地图获得场景布局信息，通过解析多幅场景的互联网图像获得场景对象的几何结构信息，将场景布局信息和对象结构信息结合获得整个场景的三维信息的描述；构建三维对象素材库，通过语义和模型特征信息在库中检索模型，将描述的场景中的每个对象或对象部件转化为具体的三维模型，并依据场景的布局和结构信息进行变形等操作，最终获得整个室外三维场景组合构建的结果。本发明所提供的三维场景描述方法能够有效描述三维场景的布局、结构和语义信息，为检索提供依据；另一方面，本发明也提供了一种模型检索和匹配的参考方法。

Description

一种基于图像内容解析的室外三维场景组合构建方法

技术领域

本发明涉及计算机视觉和三维场景建模领域，具体地说是一种基于图像内容解析的室外三维场景组合构建方法。

背景技术

三维场景建模是计算机领域的重要问题之一，目前已经广泛应用于虚拟摄影和影视后期等方面，并且发挥了重要的作用。

虚拟摄影的使用可以追溯到冷战时期，当时部分国家基于国防训练的需要，而研发战况模拟系统，可谓虚拟摄影棚的前身。而冷战过后，由于没有战争需求，所以便将这套系统加以改良而推出。虚拟摄影的优点是可以使空间得到有效的运用，同时还可以重复利用。虚拟摄影棚可以搭建比实际空间更大的场景，而不同的场景也可以共用同一个摄影棚，而不如传统摄影棚般，需要空间囤放布景。虽然传统摄影棚得以将部分布景回收再利用，但虚拟摄影棚却可使用同一个摄影棚，并在极短的时间内转换布景，远远超过传统摄影棚的再利用性。此外，虚拟摄影棚容易修改场景，降低拍摄成本，而传统摄影棚的布景，在搭建完毕后不容易进行大幅度的修改，而虚拟摄影棚因为布景完全电脑化，所以修改极为容易。重复拆搭布景，更换摄影棚都耗费大量成本，而虚拟摄影棚因为没有实体布景的需求，便能降低这部份的成本。虚拟摄影还有一个优点就是它可以增强视觉效果，变化程度更高，利用电脑，虚拟摄影棚能让演出者与电脑动画产生互动，并以立体鲜艳的动画达成传统摄影棚无法做到的效果。

虚拟摄影也存在着一些缺点，比如真实度有待提升。由于仍然在发展阶段，许多设备产生的动画并无法与实际影像完全配合，而造成穿帮。此外，由于摄影棚大小限制，虚拟摄影棚太小，所以演出人员不易走位，但太大，则技术上(如摄影机追踪)或经费上(添购更多器材)都是一大困难。

虚拟摄影中有一个很大的问题，简单来说就是时间长，直觉差。在录影前，由于不如传统摄影棚“所见即所得”的录影方式，不但需要注意与电脑动画配合，所有工作人员更需要熟悉整个场景，造成拍摄时间加长。根据这一缺点，现在的虚拟摄影大部分都使用了实时预演的拍摄方法，来解决这一问题。然而传统的三维场景建模一般由美术设计师手动完成，耗时耗力且速度很慢。

因此，本发明提供了一种基于图像内容解析的室外三维场景组合构建方法。

发明内容

根据上述实际需求和关键问题，本发明的目的在于：提出一种基于图像内容解析的室外三维场景组合构建方法，能够将场景的图像信息通过语义分割的方法进行解析，在参考场景的自然规律进行优化，然后获得场景对象信息的描述，再基于数据驱动的方法依据解析出的场景对象信息进行模型检索，构建整个场景三维模型；本方法面向快速的三维场景建模应用，将用户输入的图像对应的场景进行三维建模。

本发明采用的技术方案为：一种基于图像内容解析的室外三维场景组合构建方法，包含以下步骤：

步骤(1)、通过语义分割将影像地图中的场景对象布局解析出来；

步骤(2)、通过共分割方法将多角度的场景图像中的场景对象几何结构信息解析出来；

步骤(3)、将场景对象的几何结构和布局信息结合获得场景的三维信息描述；

步骤(4)、根据场景对象可能出现的对象类型构建三维对象素材库，并将库中模型进行标准化处理；

步骤(5)、根据三维信息检索适合的模型；

步骤(6)、根据场景对象信息进行模型的三维变换和组合，以及材质绑定。

其中，步骤(1)的场景对象布局解析主要包括以下步骤：

步骤(1.1)、语义分割影像地图获得每个像素点的语义信息；

步骤(1.2)、将每个对象的像素点构成的区域进行轮廓计算；

步骤(1.3)、根据场景对象的自然规律对每个场景对象的轮廓进行优化；

步骤(1.4)、将二维的场景布局坐标进行坐标转换，变为三维场景布局信息。

其中，步骤(2)的多角度场景几何结构信息解析主要包括以下步骤：

步骤(2.1)、对输入的多角度的场景图像进行共分割；

步骤(2.2)、将二维图像注册到三维场景中；

步骤(2.3)、根据轮廓信息对三维对象进行网格切割编辑，从而获得场景对象的几何结构。

其中，步骤(3)的三维场景布局和几何结构的结合主要包括以下步骤：

步骤(3.1)、根据场景对象间的相对位置调整场景对象的语义信息；

步骤(3.2)、通过语义信息结合布局信息和几何结构信息。

其中，步骤(4)的三维模型检索主要包括以下步骤：

步骤(4.1)、构建三维对象素材库，库中素材进行语义标注，且都进行标准化处理；

步骤(4.2)、计算库中每个模型的特征信息；

步骤(4.3)、计算场景对象的三维特征信息；

步骤(4.4)、检索和匹配三维模型。

本发明的原理在于：

本方法的一个输入为场景的影像地图。影像地图是一种带有地面遥感影像的地图，是利用航空像片或卫星遥感影像，通过几何纠正、投影变换和比例尺归化，运用一定的地图符号、注记，直接反映制图对象地理特征及空间分布的地图。对于场景布局解析，影像地图具有准确、获取便利等优点，并且直接反应场景布局的状况，所以使用它来解析场景的布局状况可以有效获得比较准确的结果。影像地图的获取主要通过遥感图像和数字地图。

对于输入的影像地图，首先对其使用语义分割方法得到图像中每个像素点的语义信息，这里的语义包括场景对象的类型和实例。同一实例的像素去掉噪声后连通的区域被认为是一个场景对象。计算每个场景对象区域的轮廓，然后根据场景对象的自然规律对每个对象的轮廓进行优化。通过地图标尺计算出场景对象的实际尺寸，然后将场景对象在二维图像上的坐标进过缩放和平移转换为三维场景中的坐标。每个对象的高度初始值通过对象的语义进行设定，比如道路初始高度为零。场景中的每个对象都是多边形柱体。

本方法的另一个输入为场景的多角度图像。本方法对于这些图像没有过多的要求，可以直接从互联网获得，很方便。首先使用判别聚类的共分割方法对这些图像进行分割。从效果上看，图像共分割比单张图像的分割效果要好。

对于每个场景对象，每张图像上都会对应不同数量的像素点，然后计算出它的轮廓。将这些二维图像根据相机参数等信息注册到三维场景中，然后使用对象的轮廓对场景对象或对象部件进行网格切割编辑。

将上述方法应用于场景中的每个对象，这样就得到了每个场景对象的几何结构描述信息。将场景对象根据布局信息进行平移、旋转和缩放即可获得整个场景的布局信息和几何结构描述信息的结合结果。

构建一个三维对象素材库，库中包含了室外场景可能出现的各种对象类别的模型，主要包括建筑、桥梁、植被、道路等。基于这些对象类别，也构建了一个材质素材库，用于模型的材质绑定。

三维对象素材库中的所有模型都会进行统一的处理。首先将模型都进行三角化处理，然后对模型的方向进行对齐，同类的模型统一方向，将所有模型的中心与世界坐标原点重合，最后将所有模型统一进行缩放，都缩放为统一的立方体包围盒内可容纳的最大尺寸。此外，每个模型都提前进行特征值计算，用于后续的模型检索特征匹配计算。

以前面解析出的场景布局和几何机构信息为输入，并在上述三维对象素材库中检索即可得到三维场景的建模结果。对于场景中的每个对象都先计算其特征值，然后在库中检索最相近的特征值，再加上语义信息，即可得到最接近的模型对象。模型的材质也根据模型的语义信息进行选择。最终将检索出的合适的模型根据场景对象相应部件的几何结构信息进行旋转、缩放和平移得到最终的三维场景建模结果。

附图说明

图1是本发明的整体流程图；

图2是本发明的图像内容解析的流程图；

图3是本发明的场景组合构建的流程图。

具体实施方式

本发明一种基于图像内容解析的室外三维场景组合构建方法，包含以下步骤：

步骤(1)、通过语义分割将影像地图中的场景对象布局解析出来；

其中，步骤(1)的场景对象布局解析主要包括以下步骤：

步骤(1.1)、语义分割影像地图获得每个像素点的语义信息；

步骤(1.2)、将每个对象的像素点构成的区域进行轮廓计算；

步骤(1.3)、根据场景对象的自然规律对每个场景对象的轮廓进行优化；

步骤(1.4)、将二维的场景布局坐标进行坐标转换，变为三维场景布局信息。

步骤(2)、通过共分割方法将多角度的场景图像中的场景对象几何结构信息解析出来；

其中，步骤(2)的多角度场景几何结构信息解析主要包括以下步骤：

步骤(2.1)、对输入的多角度的场景图像进行共分割；

步骤(2.2)、将二维图像注册到三维场景中；

步骤(2.3)、根据轮廓信息对三维对象进行网格切割编辑，从而获得场景对象的几何结构。

步骤(3)、将场景对象的几何结构和布局信息结合获得场景的三维信息描述；

其中，步骤(3)的三维场景布局和几何结构的结合主要包括以下步骤：

步骤(3.1)、根据场景对象间的相对位置调整场景对象的语义信息；

步骤(3.2)、通过语义信息结合布局信息和几何结构信息。

步骤(4)、根据场景对象可能出现的对象类型构建三维对象素材库，并将库中模型进行标准化处理；

其中，步骤(4)的三维模型检索主要包括以下步骤：

步骤(4.1)、构建三维对象素材库，库中素材进行语义标注，且都进行标准化处理；

步骤(4.2)、计算库中每个模型的特征信息；

步骤(4.3)、计算场景对象的三维特征信息；

步骤(4.4)、检索和匹配三维模型。

步骤(5)、根据三维信息检索适合的模型；

步骤(6)、根据场景对象信息进行模型的三维变换和组合，以及材质绑定。

下面结合附图对本发明的具体实施方式作详细说明。

参阅图1本发明的整体流程图，输入为影像地图和互联网图像，首先进行图像场景解析获得场景的粗略三维模型。然后根据解析结果在三维素材库中进行检索，通过组合构建的方法生成场景三维模型。

参阅图2本发明的图像内容解析的流程图，输入为影像地图和互联网图像。

对于影像地图，首先进行语义分割，获得场景对象在图像中的像素信息，然后计算其多边形轮廓。使用影像地图中的比例尺信息将场景对象的实际大小和布局计算出来，使用坐标变换，将图像中的二维布局转化为三维布局。场景中的每个对象都使用多边形柱体表示，高度根据它的语义信息进行调整。这样就解析出了场景的三维布局。

对于互联网图像，它包括了场景的多角度图像信息，首先使用判别聚类的共分割方法对这些图像进行分割并计算其轮廓，这样就获得了场景对象在不同角度下的轮廓信息。将这些分割好的二维图像根据相机参数注册到上面的场景三维布局中，使用网格切割算法编辑场景对象的轮廓。对场景中的每个对象都使用上述方法进行网格切割编辑即可获得场景对象的结构解析结果。

在上述过程中，场景对象的布局信息和结构信息通过对象的对应关系结合在了一起，从而获得了整个室外场景的粗略三维模型。

参阅图3本发明的场景组合构建的流程图，输入为室外场景的粗略三维模型。首先计算场景对象的粗略三维模型的特征值，然后在模型库中与语义相符的模型进行依次匹配，选出最符合的一个模型作为检索结果。场景中的每个对象都使用相同的方法进行检索。

将检索出来的模型根据场景布局信息进行平移等操作，根据对象结构信息进行缩放等操作。从而组合构建出场景的三维模型。

Claims (3)

1.一种基于图像内容解析的室外三维场景组合构建方法，其特征在于包含以下步骤：

步骤(1)、通过语义分割将影像地图中的场景对象布局解析出来；

步骤(2)、通过共分割方法将多角度的场景图像中的场景对象几何结构信息解析出来；

步骤(3)、将场景对象的几何结构和布局信息结合获得场景的三维信息描述；

步骤(4)、根据场景对象可能出现的对象类型构建三维对象素材库，并将库中模型进行标准化处理；

步骤(5)、根据三维信息检索适合的模型；

步骤(6)、根据场景对象信息进行模型的三维变换和组合，以及材质绑定；

其中，步骤(1)的场景对象布局解析主要包括以下步骤：

步骤(1.1)、语义分割影像地图获得每个像素点的语义信息；

步骤(1.2)、将每个对象的像素点构成的区域进行轮廓计算；

步骤(1.3)、根据场景对象的自然规律对每个场景对象的轮廓进行优化；

步骤(1.4)、将二维的场景布局坐标进行坐标转换，变为三维场景布局信息；

步骤(3)的三维场景布局和几何结构的结合主要包括以下步骤：

步骤(3.1)、根据场景对象间的相对位置调整场景对象的语义信息；

步骤(3.2)、通过语义信息结合布局信息和几何结构信息；

将场景对象根据布局信息进行平移、旋转和缩放即可获得整个场景的布局信息和几何结构描述信息的结合结果；场景对象的布局信息和结构信息通过对象的对应关系结合在了一起，从而获得了整个室外场景的粗略三维模型。

2.根据权利要求1所述的一种基于图像内容解析的室外三维场景组合构建方法，其特征在于：步骤(2)的多角度场景几何结构信息解析主要包括以下步骤：

步骤(2.1)、对输入的多角度的场景图像进行共分割；

步骤(2.2)、将二维图像注册到三维场景中；

步骤(2.3)、根据轮廓信息对三维对象进行网格切割编辑，从而获得场景对象的几何结构。

3.根据权利要求1所述的一种基于图像内容解析的室外三维场景组合构建方法，其特征在于：步骤(4)的三维模型检索主要包括以下步骤：

步骤(4.1)、构建三维对象素材库，库中素材进行语义标注，且都进行标准化处理；

步骤(4.2)、计算库中每个模型的特征信息；

步骤(4.3)、计算场景对象的三维特征信息；

步骤(4.4)、检索和匹配三维模型。