CN102142153B - 基于图像的三维模型的重建模方法 - Google Patents

Abstract

本发明提供了一种基于图像的三维模型的重建模方法。一方面，提供了一种建模系统。该建模系统包括处理器，用于产生与一栋或者多栋建筑结构相关的重建模图像；过程模型，用于整合源自所述一栋或者多栋建筑结构的航拍图像的近似模型以及源自所述一栋或者多栋建筑结构的摄于地面的图像的三维重构模型。

Description

基于图像的三维模型的重建模方法

本申请要求于2010年1月28日提交的标题为“METHODFORIMAGE-BASEDPROCEDURALREMODELINGOFBUILDINGS”的美国临时专利申请No.61/282,351的优先权，其内容以引文方式整体并入。

技术领域

本申请总的来说涉及计算机建模，具体地讲，涉及将多维模型应用于图像以更加准确地显现建筑物结构的应用。

背景技术

大型城市三维模型建模有许多重要的应用，研究者对于基于图像的半自动或全自动的三维建模方法已经有一定程度的探索。基于图像的三维建模方法的优势在于能够得到接近现实的某些纹理。但是，这些方法也有其局限性，就是它们只能恢复能够被传感器采集到数据的建筑物部分。对于高层建筑的不可见部分却无能为力。如果利用一些先验知识，其实可以根据能被传感器采集到的部分来推断出未被采集到的部分。然而到目前为止，只有几个简单的先验被研究者使用，比如平面度，平滑度和建筑物的规整度等。但利用这些简单先验得到的结果往往缺乏高层次的语义描述，这样就很难再重用已有的结果去大规模产生更多的三维模型。形状文法规被广泛应用于大规模批量生成建筑模型，但这些方法很难产生具有真实感的建筑模型。因此，现有的系统不能够胜任从已有的建筑图像中提取语义信息以及创建形状文法规库并将其用于产生大规模具有真实感的建筑模型的需求。

对于特定的应用，重新创建一个新的模型显得不是很有必要，因为许多时候现有的模型足以应付相应的应用。这些需要的模型基本可以从网络或者已有的模型库中找到。比如，三维的可视化地球的平台，其中就包括大批量的城市模型。而这些城市模型是在花费了大量人力物力之后才得以建成的。不足的是这些模型一般都是用航拍图像创建的，因为它们顶部的纹理都相对清晰，但几何形状的细节和纹理的质地都较差。另外，现有的街景服务比如Google街景提供了清楚的拍摄于地面的街道全景图，但是它们并不能提供建筑物的几何模型，而只是简单的图像信息。

现有的建模方法包括基于产生式规则的建筑方法和基于图像的建模方法。基于产生式规则的建筑方法是以乔姆斯基语法和形状语法为基础。其几何解释和推导控制是专门为实现图形建模的要求而设计的。L系统就是其中的一种，现已被广泛用于建立植物模型。对于建筑建模而言，基于产生式规则的建筑方法一般是由分裂规则结合其他语法规则并依赖于用户提供的配置参数，进而产生建筑模型的。虽然文法系统本身得到了充分的研究，但如何从已知信息中自动提取文法信息还几乎未被探索。现有的自动语法提取方案一般采用了自上而下的图像分割方法来提取一组分割规则。然而，这些提取语法规则的方法仅仅局限于具有非常规则结构的建筑物外墙，它们一般要求整个墙面只有一个格子状结构。

基于图像的建模利用图像作为输入来重建出物体的三维几何模型和表示。从运动中恢复出结构的办法(StructurefromMotion，SFM)和多视点立体视觉是这种基于图像建模的方法的根基。通过规整这些算法重构出的三维点云，模型规整化过程可以最终产生一个规则的三维网格模型。这个规整过程中的根本任务是对点云进行分析，即从非结构化的三维点云中提取出结构化的三维网格模型。但在实际中会遇到各种各样的问题，比如通常只有部分点云可以用于这个过程。规整过程一般需要人为设定一些先验假设。相对于传统的光滑表面假设，最近越来越多的特定领域的知识也被用于这个分析过程中。比如有些方法从可见的树枝提取结构信息进而合成出一棵完整树的模型；还有些方法使用了可展曲面来模拟建筑物外观表面，并对模型边缘加以直线规则化限制来得到更加规则的建筑物模型。

上边对当前三维建模算法的描述仅仅是为了提供一个对已有算法各种不足之处的简单总结，但并不是全面的概括和分析。与传统系统的比较以及在此所述的各种非限制性实施例的对应优点将会在接下来的文章中得到进一步阐述。

发明内容

接下来是对此方法简单的整体阐述以及一些基本的技术描述。本概要并非一个全面的概括。它的目的既不确定主要或关键的要素，也没有划定范围方面的透露。它的唯一目的就是对于以下更详尽描述的总起和铺垫。

本发明提供了用以基于图像的模型重建模的系统和方法。一方面，提供了一种建模系统。该系统包括用于产生与一栋或者多栋建筑结构相关的重建模图像的处理器；以及用于整合源自所述一栋或者多栋建筑结构的航拍图像的近似模型和源自所述一栋或者多栋建筑结构的摄于地面的图像的三维重构模型的过程模型。另一个方面，提供了一种方法，该方法包括接收一张或者多张建筑物结构的航拍图像和一张或者多张与建筑物结构相关的从地面拍摄的图像。该方法包括对三维模型以及从航拍图像和从地面拍摄的图像的至少一个运动序列重构出的三维结构进行配准(register)。该方法包括把三维模型以及从至少一个运动序列重构出的三维结构分解成建筑物单元。该方法还包括从建筑单元中产生文法规则以用于辅助建筑物结构的重建模成像。

附图说明

图1是基于图像的过程重建模系统的示意性框图。

图2至图4展示了图1示出的系统所处理的示例性建模方面和图像。

图5展示了图像的三维配准和重构。

图6描述了使用包含规则(containrule)来产生建筑物正墙纹理的过程。

图7描述了使用采样点来产生建筑物正墙纹理的过程。

图8展示了结合三维网格模型的原始纹理以及从地面拍摄图像进而抽取产生式文法规则的过程。

图9展示了被遮挡的不完全的纹理的合成以及补全。

图10展示了从现有模型重建模图像的示例。

图11展示了用于重建模建筑的示例性方法。

图12展示了用于产生重建模的建筑或者其他结构的图像的系统。

图13展示了一组用于触发计算机生成重建模建筑或者其他结构三维模型的计算机可读介质的指令。

具体实施方式

提供了用于对建筑进行重建模的系统和方法。一方面，提供了一种用于改善已有模型的建模系统。该系统运行于计算机处理器并用于对一栋或者多栋的建筑模型进行重建模。该系统的输入是一个建筑物的简单近似模型以及一张或者多张与此模型相关的图像。系统的输出是对原来模型进行重建模并且改善后的具有丰富细节和真实纹理的建筑模型。

在接下来的阐述中，相关词汇比如“组件”、“系统”、“模型”、“规则”、“网格”、“合成”等都是倾向于指计算机领域的事物，尤其是计算机视觉和图形学相关的。比如，一个“组件”的含义可以是，但不限于，一个运行于处理器的处理过程，一个处理器，一个物体或者一个可执行文件，一个进程，一个程序或者是一台计算机。

首先参照图1，展示了一种基于图像的过程重建模系统100，其用于改善已有模型。系统100包括了一个预处理级110，预处理级110用于接收输入图像120以及运动恢复结构(SFM)数据(相关的三维点云数据)130。相对应的近似三维模型140并行于预处理级110被分析处理。尽管没有被显式的指出，系统100可以包括处理器以及其他电脑组件用于执行各种系统模块，比如包括有形的计算机可读介质来存储元器件的各自的执行指令。预处理级110以及简单三维模型140的输出被馈送到一个配准模块150。配准模块150细节将会在以下文章给出。注册模块150的输出会被分解模块160进行处理。处理过程中，分解模块160会从三维网格以及与其配准的纹理中分别提取出建筑物的产生式规则170和180。三维网格的规则170以及纹理中包含的规则180作为纹理合成190的输入。纹理合成190输出一个改善过的纹理并且包含建筑物的结构信息。这些纹理和信息作为重建模模块194的输入，重建模模块194最终产生重建模后的建筑物三维模型。重建模改善后的模型从纹理到几何质量都得到了提升。

基于图像的建筑物过程建模技术被系统100用来改善三维建筑模型结构，比如利用已有的简单三维模型结合拍摄于地面的图像。给定一个简单的三维模型，结合地面拍摄的图像来改善这个模型的几何结构以及纹理。这个简单三维模型和从图像得到的三维重建进行配准，从而得到三维模型和图像之间的关系。然后三维模型会被首先分解为多个单栋的建筑物或者其他较小的建筑结构。在对简单三维模型以及图像进行分析后，建筑或者其他结构可以被表示为建筑物的语义规则。在这个分析过程中，会从数据中分析出重复以及非重复的建筑物元素用于组合成语义规则。已有的检测重复物体的鲁棒性不足以满足我们的要求，因此，研发出一个新的用于在建筑物正投影图像上检测重复物体的。因为利用了变换空间的信息，新的重复物体检测方法会更加鲁棒且有效。最后，用从新生成的高质量的纹理取代简单模型之前的纹理，并用分析得到的结构信息来增加简单模型的细节，从而得到新的质量得到很大改善的建筑物模型。以上各个模块属于自动方法并且在被用于建立多种场景下的大规模城市模型。

首先，请注意将会结合各附图对系统100进行阐述。附图中会包含一个或多个有关该系统的图像生成能力的示例性方面的中间结果。在阐述的时候，将以图1所示的总系统为背景讨论随后的附图。比如，在图2中展示了重建模前的现有技术三维模型200以及通过系统100重建模后的重建模图像210。图3展示了一个输入图像300，在图1展示的系统100中，这个图像的对应位置是捕获图像120。图4展示了一个改进前的现有技术三维模型400和依靠图1所示的系统100中的组件和方法改进后的三维重建模型410的比较。

现在回头看图1，系统100的一个特性是结合至少两种信息来源：已有的近似三维网格模型140和拍摄于地面的图像120，以得到的结果是具有足够细节和真实感的建筑物或者其他结构的三维模型。为了达到这个目的，有三方面的因素需要考虑：1.用什么样的语法规则来描述建筑物；2.怎样自动的从数据中抽取语法规则；3.怎样用学到的语法规则来改进当前的三维模型。

系统100的输入是一个简单的现有低分辨率航拍纹理的三维网格模型140和120处的拍摄于地面的二维图像。首先，三维网格模型以及从输入图像中重构的三维点云通过3D线段特征进行配准。然后，三维网格和重构的序列被分解为单独的建筑分别进入接下来的重建模模块160。计算机产生建筑(CGA)形状语法被采用来表示建筑物或者其他需要生成的结构或者形状以进行建模。一种包含规则(containrule)被引入并取代现有的切分规则。在规则处理之后，文法规则会被从输入数据中抽取出来。一方面，文法规则可以从三维分解160得到。另一方面，文法规则也可以从建筑物正墙的正投影得到。比如系统100会检测重复以及非重复的建筑组成元素。在本发明中，开发了一种鲁棒高效的基于投票机制的重复图案检测算法。一个建筑的结构信息会被从以下三个源头得到的文法规则编码：一个是三维网格模型，一个是建筑物正墙的正投影图像，一个是网格模型之前附带的图像。最后，通过从输入图像120中合成新的纹理和学到语法规则140，在194处建筑被重建模。

这个方法集合了过程产生式建模方法以及基于图像的建模方法。程序化重建模方法被用于整合现有的带有航拍图像纹理的简单模型以及从地面拍摄的图像的三维重构。通过引入包含规则来克服之前的切分规则的不足从而改善了CGA形状文法规则。提供了基于几何网格和建筑物正投影纹理图像的文法规则提取方法。提供了鲁棒高效的在建筑物正投影图像上检测重复图案的方法并取得了比现有算法更好的结果。提供了基于文法规则的纹理合成方法用来完成重建模。

接下来将对图1的系统100的每个单元模块进行更详尽的描述。首先，输入图像120是通过沿街道运动并正对于建筑物正墙的摄像头连拍采集得到的。Google街景以及微软的Streetside图像都是此类图像的典型例子。在系统100中140位置的近似三维建筑模型通常是从大规模航拍图创建得到的。这些模型的远景看起来没问题，但是如果观察角度拉近被的话，其质量就很不如人意，尤其是靠近地面的底层部分。

从运动中恢复结构的方法(structurefrommotion，SFM)130被同时用来重构三维点云以及摄像机位置信息等，其中用到的是半稠密的SFM点云。半稠密点云的一个特点就是其提供足够密度的，并且被束调节方法(bundle-likeapproach)全局优化而得到的点。用GPS/INS数据来初始化之后欧式空间的束调节(Euclideanbundleadjustment)并利用一个刚体变换来配准(register)重构出的点云以及GPS/INS坐标系统。

语义分割被用于识别和分割各个图像像素为不同的具有不同语义的区域，比如建筑、天空、地面、植物或者车辆，因为这种分割被证明可以有效地去除遮挡(比如，从视野中被模糊或者屏蔽的特征)并能规整化纹理和模型的边缘轮廓。开发了基于多张视图的语义分割算法，这样就可以利用更多的纹理信息以及三维重构信息。该分割结果被用于之后重构出准确的三维点和线段以及最后定义被用于纹理合成的遮挡部分。

进一步从图像中提取线段并且进行三维重构。通过检测灭点来抽取两组线段：水平线段和竖直线段。因为摄像机是沿着路面行进且侧向拍摄的，所以有时候由于缺少足够的水平视差而导致较难重构出水平的三维线段。

基于模型的配准的步骤发生在图1所示系统100的150。重构序列的这个配准过程从被简化为一个相对于初始模型的相似变换的三维网格模型开始。因为网格模型和重构的图像序列都与相对应的GPS进行关联，这使得对所需要的相似变换进行简单的初始估计变得很容易。接下来，这个初始估计可以在全局或者局部进行优化。对于一个已经得到了全局配准信息的图像序列，首先利用中间照相机与三维网格之间的距离来识别相关的三维网格(就可以把它跟一个相对位置的三维网格进行配准)。如果一个网格模型同时对应几个相关序列，那么合并这些序列到一个完整的大的序列并提供其和三维网格之间的一一对应关系。

在进行全局配准之后，使用垂直线作为特征，进一步精确调整这个三维网格模型和图像序列之间的相似变换。首先从图像中重构出来的垂直线构成集合Lt，然后从三维网格提取出来垂直线构成集合Lm，并作为特征匹配用的特征。然后找到一对最相近的垂直线匹配组(lt，lm)作为匹配的线段组。利用这些匹配的线段，通过垂直线与地平面相交点来得到一对匹配点。这个地平面是从主要的水平面的具有GPS信息的半稠密点云中估算得到的。于是，以RANSAC方式估计相似变换，并且可以通过Levenberg-Marquardt方法优化求解以下定义的能量，从而精确调整这个相似变换。其中函数D是一个线段的单位向量。

$E=\underset{\∀(p_t,p_m)}{\mathrm{\Σ}}\left|\right|S\left[R\right|t]p_t-p_m||+\underset{\∀(l_t,l_m)}{\mathrm{\Σ}}|\left|\right[R]D\left(L_t\right)\·D\left(l_m\right)||\·$

对于建筑物分解，每个建筑物的近似三维网格模型是单独连接的模块，并且可能包含一个或者多个建筑物模型。把包含多个建筑的网格模型进行分解从而得到一个个单独的建筑网格模型。在整体配准之后，图1中的建筑分解模块160会利用之前用到的从网格中提取出来的垂直线把原始的三维网格分解成多个部分。根据三维网格的分解，之前已经和三维网格配准的图像序列也会同时被分拆成多个序列，其中每个序列对应每一个单独建筑的三维网格模型。

在分解之后，对于每个单独建筑的三维网格模型以及图像序列，重新优化得到一个局部的相似变换。坐标系会调整为局部坐标，其水平和垂直方向会调整为和建筑物正墙的真实水平垂直方向一致。最后，位于系统100位置194的模块利用所有可见图像信息和反向合成纹理算法产生出一张建筑正墙的清晰正投影纹理图像。图5给出了一个例子，其用以展示全局配准以及局部配准的结果。图5展示了整个配准过程。图5的510是用GPS进行初始配准。520展示了整体配准。530是近视角的整体配准效果。540展示了局部配准之后的改进效果。

参考图1所示的系统100，CGA形状文法被使用于表示建筑物。包含规则被引入并取代之前的分割规则。文法表示为G＝(S，Ri)，其中S是一组文法符号而R是一组产生式规则。每个位于S中的符号s或者属于终结符号集V或者属于非终结符号集E，其中并且V∪E＝S。在利用产生式规则产生模型的时候，符号可以参数化表示成s(·)，其中符号·是一组参数。每个符号，不论终结符或者非终结符都表示一个具有几何和数字属性的几何形状。每个在几何R中的产生式规则r用于说明一个非终结符是怎样被一串终结和/或者非终结符替换的。现有许多用于产生式规则建模的文法系统。比如，基于CGA形状的文法系统。以此方式，一个产生式规则可以写成：

id：predecessor→cond：successor：prob

其中id是分配给每个产生式规则单独的索引(唯一的标识符)，predecessor∈E是一个用于表示将被前驱节点替换的形状的符号，cond表示哪条规则将会被选择用于替换前驱节点，它被选择的概率为prob.

用文法产生一个建筑物的产生过程如下。给定一个包含了许多S中的符号的字符串str后，系统会从str中选择一待替换的形状P以及选择了P位于左边的产生式规则L。然后规则L右边的字符串Q就会用于替换P在原来字符串的位置。同时，Q被设置成激活状态而P被设置成未激活状态。该过程会不断递归运行，直到字符串str不再包含非终结符为止。依据选择P的算法不同，衍生树既可以根据深度优先规则又可以根据广度优先规则被探索。但是每个产生式规则都会有不同的优先选择权以导致对产生过程的更多控制，当每次选择要被替换的形状时，系统会根据选择权而选择最优产生式规则。请注意在产生CGA形状的过程中，形状并没有被替代删除，而是被标为非激活状态而不显示。这样系统就可以询问整个层次结构，而不仅仅是激活构造。

切分文法规则已经被用于产生建筑物模型。切分文法的基本思想是不断切割大的空间从而产生新的细小空间进而得到越来越多的细节。但是，切分文法经常会过度分割一个建筑物正墙，因为产生一个简单的分割区域可能需要多次切割操作的组合。这样就会产生多余的分割区域并且把原本完整连接的墙面切割成缺乏实际语义的几块。同时，产生的几何描述可能不唯一。要从一个图像中抽取出一个唯一一致的切分文法是一件困难的有待研究的问题。通常来讲，还没有一个机制能够处理好通过切分文法产生的相邻符号之间互动的关系。为了克服这些缺点，本发明引入了新的文法规则用于取代之前的切分文法，那就是包含文法。包含文法的优势在于：首先，每个前躯节点的区域及位置以都被明确地定义了。其次，用户可以定义能够被所有后继节点公用的性质。第三，包含文法能够简单地从自顶向下及自底向上的分析中得到。

一个通用的包含文法并不会约束其前驱节点或者后继节点的数量以及位置。其形式定义为：

s→Contain(Num，r₀，...，r_Num-1){c₀，...，c_Num-1}；

其中，Num是s中元素的数量，c_x是S中的形状符号，r_x是元素c_x的位置。

rx被进一步定义为：

r_x＝(dim；bound_x；vis_x；op_x)

其中bound_x是dim-dimension空间中的区域r_x的边框。为了更好地定义兄弟节点c_x之间的关系，把节点c_x的可见优先级定义为整数vis_x，其中较大的整数意味着更高的可见优先级。与此同时，本发明用op_x来定义兄弟节点c_x互相之间的关系{c_i|vis_i＜vis_x}，比如覆盖或者三维布尔运算。

建筑物上经常会出现重复图案，因为本发明定义了一个特殊的文法规则来产生重复图案。重复包含规则可以定义如下：

s→Repeat(DIR；step；times；r_x){c_x}；

其中DIR可以是”X”，”Y”，”Z”，”XY”，”XZ”，”YZ”，或者”XYZ”，它用于指定图案重复的方向。step用于指定沿各个方向重复的步长的向量，而times用于指定沿各个方向重复的次数的向量，r_x是初始的重复位置及所在区域，而c_x是重复图案。

图6展示了一个用包含文法来描述建筑物正墙的过程。位于600的包含规则f首先把建筑物正墙分解为五个水平的墙的区域。之后位于610的规则wr² _h定义了从下数第三块墙的分割规则。它仅仅包含一个子节点wr^2，0 _v，而这个子节点包含了wr^2，0和sr^2，0两个叶子节点。wr^2，0表示墙的区域而sr^2，0表示了重复的窗户。因为在r^2，0 _wr和r^2，0 _sr中，定义了sr^2，0比wr^2，0具有更高的显示优先级所以会对墙进行遮挡或者切割。

现在将详细描述从图1网格模型170以及从纹理180得到的规则。一方面，本发明首先通过对三维网格模型进行分解从而从中提取文法规则。对三维网格模型进行语义分割是其中最具挑战性的任务。在一个案例中，这个问题可以简化为将建筑物网格模型M分解为屋顶Roof和一些墙面F。这个简化让问题变得可解并且满足随后的文法抽取的要求。此过程分三步：首先要删除被两个共面的墙面分享的边界。然后抽取位于地面的主要的竖直平面作为建筑的正墙面以及最后剩下的各个面作为屋顶及其他区域处理。

从而可以抽取出如下描述的包含文法。

s→Contain(|F|+1，r₀，…r_|F|-1，r_roof){f₀，…f_|F|-1，Roof}

其中f_i∈F。

另一方面，本发明通过寻找重复以及非重复结构图案并用来分析建筑物正墙面结构，从而抽取出相关的文法规则。研究人员提出了许多方法来对重复对称的物体进行分析。它们基本属于基于霍夫变换(Houghtransform)的方法，区别在于采用了各种不同方式来如何对数据空间进行采样和何处对变换进行累计。比如，可以提出一个使用分立的变换群来发现三维几何结构规则性的算法。因此，本发明提供了一种用于检测建筑物正墙的正投影纹理图像中的重复元素的方法。因为侧重于检测平移重复的物体并且这些物体图像会带有丰富的纹理信息，所以这个办法可以达到鲁棒并且有效的目的。

一般来讲，这个方法先要找到整个正墙纹理的一些采样点，其中纹理图像中的Harris转角经常被用于作为采样点来使用。由于检测期间的稳定性，所以Harris转角适于采样。对于每个采样点，首先要计算一个该点对于整张图中每个位置的相似度，并存放在一张相似度图中。两个位置的相似度定义为分别以这两个点为中心的同样大小区域的各个像素数值的和方差(SSD)。利用均值平移(mean-shift)方法，对于每个采样点，可以在其相似度图中找到一些峰值(平稳点)。这些峰值(平稳点)就是可能跟这个采样点相似的位置。例如，将w设置为30个像素。对这些采样点和平稳点组成的对，两两求平移转换并在平移空间中对所有求到的平移转换进行累加，即，计算转换并且将其映射到二维平面，该二维平面是二维转换的转换空间，该二维转换空间由二维阵列表示，作为累加器来接收所计算出的所有对的转换。均值平移被用来计算模式点，这些模式点用于通过变换空间的原点装配在称作格子的矩形栅格上。与采样点的转换处于装配的格子上的平稳点作为相似点的集合，其上还包含有采样点。想要找到的重复信息会在平移空间中反应为一个格子状的图案，因为提取这个格子状的图案并且得到想要的平移信息。

计算相似点的边框，并且在图像空间中构建栅格。注意，术语栅格用在图像空间中，而格子用在转换空间中。如果90％的相似点处于所构建的栅格上，则确认该栅格是给定的采样点。由此，每个采样点通过转换空间中格子产生图像空间中的潜在栅格。对于每个从平移空间(转换空间)中找到的格子，在图像空间中也可以找到其相对应的栅格位置。于是，就根据在平移空间中找到的格子在图像空间中恢复出对应的栅格。到此，为一个采样点找到了其在图像空间中对应的栅格，这个栅格子就是跟其对应的重复图案所重复的位置。之后本发明对每一个采样点做同样的操作从而在图像中得到很多这样的栅格。如果栅格重叠，则将他们分成一组。然后，通过栅格类型将该组中的重叠栅格集中在一起，例如，3×1栅格与1×3栅格不同。本发明根据重复次数重复的步长对这些栅格子进行分类，然后留下五组包含元素最多的栅格。每组都会对应于一个重复的图案。对于每组栅格，把对应于同样重复位置却属于不同栅格的点进行合并进而将这些点的中心作为合并后新的统一重复位置，从而得到了一个新的统一的栅格，这就是要找的重复图案的位置。集中在中心处并且与转换空间中的格子的单元具有类似尺寸的瓦片被构建出来。这种长方形瓦片应当包含重复图案的一个单独元素。之后本发明利用GrabCut算法从作为建筑元素的背景墙分割出前景。同一类型的所有前景分割的中间值(median)被视作建筑元素的代表形状，抽取出位于每个位置的物体的边缘并进行平均。于是就找到了重复的图案。图7展示了此过程，示出了重新组合的正投影纹理图像700。图8展示了一个此算法运行于低分辨率图像的例子，示出了来自航拍图的低分辨率正墙纹理。

除了正墙的重复图案，还有许多非重复的结构元素，比如单独的门。本发明利用配准图像和重构的半稠密点云来重构突出区域作为潜在的结构元素。它必须以建筑物正墙的正投影图像作为输入以取得对应的纹理和深度信息。如图7所示，这一步的结果是一些具有深度的正方形的区域。

检测到的重复元素的边界是有噪声的任意轮廓。为了鲁棒性目的，使得重构的非重复元素为矩形。一方面，将这些恢复元素与一组预定类属模板进行匹配。设置模板数据库T，其中每个模板t∈T具有类型(例如窗户或门)和由其边框进行参数设定的形状st。通过元素边框和模板选择潜在的匹配。然后，计算分数：

对于s_t和r_sa，其中D(s_t，r_sa)＝s_t∪r_sa-s_t∩r_sa。

其中s_t和r_sa的二元模板与B(s_t)之间的差是以像素测量的st的边界的长度。对于具有最高分数的一对，建立匹配。模板t的位置通过详尽地搜索小邻近区域来进行改善，以便将其固定在边缘响应最强的位置。而且，为了重建模目的，将一组三维模型与每个模板t相关，从而搜索最相似的三维模型。

对于这些检测出来的重复或者非重复的元素，要从已知的数据库中找到其对应的三维模型。在通过缩放把三维模型和检测到的元素调整到大小一致后，对于每个检测到的元素，求每个在三维数据库中的边缘点与其边缘点的对应距离，最后选择距离最近的三维模型作为该元素的三维模型。

当定义了包括重复元素以及非重复元素的一组建筑结构元素之后。正墙纹理上的其余部分被定义为墙面部分WR。结构元素首先被合并成大的结构区域。每组重复图案形成一个重复结构区域。重叠的结构区域合并成一个。如果一个结构元素与一个重复区域重叠，则将它们合并并且将它们的边框作为新的重复区域。在重复区域的合并操作之后，剩下的结构元素会被一个自底向上的合并分割算法根据它们的背景墙和位置所合并。最后，得到了一组结构区域SR。

进一步把墙面区域分割成每个均包含结构区域sr∈SR的多个区域，并建立出一个结构区域的层次结构关系来组织描述这个结果。整个过程是通过首先对整个墙面进行水平切割然后进行纵向切割。每次切割都不能分开上一步已经找到的任何一个区域，并且切割线位于竖直或者水平梯度的极值处。于是这个墙面WR首先被分成一系列水平墙面WRh。然后被分为一系列竖直墙面WRiv。即，首先将墙面区域的X和Y方向的梯度投射和累积到水平和垂直轴上。累积的值相对于累积方向上的像素数据进行规一化。然后，通过将墙面区域WR垂直分成一系列水平墙面WRh来开始切割过程。如果在垂直方向上存在不与结构区域相交的局部最大响应，则墙面被分割在该线上。最后，每个水平墙面区域wrih∈WRh被进一步水平分割成一系列竖直墙面WRiv。

在此阶段，正墙纹理被分解成几个水平墙面区域，每个墙面区域均包含几个垂直墙面区域。而且，每个垂直墙面区域通常还包括结构区域。上述描述可以把所有的分析结果汇总这如下文法：

f→Contain(|WR_h|，r_h ⁰，...，r_h ^|WRh|-1){wr_h ⁰，...，wr_h ^|WRh|-1}

那么，对于每个Wr_h ⁱ，存在：

${\mathrm{wr}}_h^i\→\mathrm{Contain}\left(\right|{{\mathrm{WR}}^i}_v|,{r_v}^{i,0},...,{r_v}^{i,\left|{\mathrm{WR}}_v^i\right|-1})\{{{\mathrm{wr}}_v}^{i,0},...,{{\mathrm{wr}}_v}^{i,\left|{\mathrm{WR}}_v^i\right|-1}\}.$

大量的文法规则可以从许多图像中抽出并按照层次结构进行组织。所以位于不同层次的规则一般来讲不能进行互换。在此，把这个组织简化成三层结构。第一层用来组织学到的三维规则信息；第二层用来组织一个背景墙面区域的布局信息；第三层用来组织各个墙面中区域的布局信息，包含构造每个区域的规则。从每个建筑物提取一个三维规则，存储在集合_3D中的三维文法收集通过每个规则的ID来进行识别的所有三维规则。还为每个正墙的墙面区域的布局提取一个规则。类似地，汇总这些规则并且将它们存储在规则集合_WR中。每个正墙内的规则存储在_SR中。最后，根据基本元素的模板类别来组织和存储基本元素。进行合成的时候，每次从三维规则中抽取一条来合成整个建筑物的框架，即各个面的空间位置信息；对于每个面，用一条规则来生成其整体布局；最后根据生成的布局，选取一条规则来描述每个局部区域。

本发明的系统的最小输入要求是存在一个现有的建筑物的简单近似网格模型以及对应的拍摄于地面的输入图像，因为至少要从三维模型中抽取一条规则。一般来说已有的三维模型都会有纹理信息。尽管这些纹理一般是低分辨率的航拍图像，但是仍然可以用同样的规则抽取方法来获得建筑物的另外结构信息。图8的800就展示了从低分辨率的图像中抽取信息的结果，这个信息用来指导补全高分辨率缺失的部分。从两个不同源提取的规则将被合并。正墙布局被合并，并且对于具有从两个源检测到的结构的两个重叠区域，采用源自从地面拍摄的图像的规则，然后采用源自航拍图像的规则。

现有的基于图像的方法经常会遭遇前景遮挡或者照相机视野局限所导致的必要纹理缺失的困扰。现有的方法需要用户指定结构信息来合成，对确实部分进行补全，其中采用学到的文法规则来指导自动合成。用户有可能需要产生不同于从地面拍摄的图像中的上述三种类型区域的纹理。

可见区域是指可以被任意一张可见输入图像覆盖到的区域。因为这种区域的纹理应该保持与源自正投影纹理图像的一样。而图像语义分割结果可以告诉哪里是被完全遮挡的区域。除去可见区域以及完全被遮挡的区域，还有完全不可见区域，是指那些不能被照相机视野所覆盖到的区域。如果这种区域处于结构区域中，则通过完成该结构来重新合成缺失的纹理。如果不处于结构趋于中，则根据墙面纹理合成缺失纹理。这种区域的纹理要完全靠合成才能得到。利用图像合成方法比如基于shift-map(移位映射)的图像编辑方法来合成缺失的图像。因此，将文法规则转化成原始移位映射公式中的结构映射。结构映射C存储每个像素位置的文法符号的整数标示。其目标是从一系列源图像{Si}中用结构映射CR和Ci来合成区域R，其中i表示输入图像的索引。那么，对于每个像素p：(x，y)∈R，期望用映射M(x，y)＝(i，tx，ty)找到像素si：(x’，y’)∈Si，其中(tx，ty)＝(x’，y’)-(x，y)，从而使以下目标函数最小化：

$E\left(M\right)=\underset{p\∈R}{\mathrm{\Σ}}{E}_d\left(M\left(p\right)\right)+\mathrm{\α}\underset{q\∈N\left(p\right)}{\mathrm{\Σ}}{E}_s(M\left(p\right),M\left(q\right))$

其中Ed是加剧合成像素p和源像素M(p)之间的不一致标示的数据项，而Es是加剧相邻像素a∈N(p)的源小区域周围M(p)和多个源小区域M(q)之间的不一致的平滑项。在一个实施例中，如果C(p)≠C(M(p))，则Ed(·)＝∞，否则Ed(·)＝0。Es(·)被设置为规一化的集中在M(p)和M(q)的两个小区域的重迭区域的SSD。A是平衡这两项的权重，在一个实施例中被设置为1。理想的标示构造可通过分层的多标示图切分(graphcut)来获得。图9展示了一个模糊910的图像通过运用之前分析得到的结构信息920而还原出清晰的图像930。

以上所描述的方法已经在典型的大规模数据上得到了验证。从Google地球上得到了匹兹堡的三维模型以及对应的从地面的有系统拍摄的图像。由于这些图像是全景图。为了运行本发明的半稠密从运动中恢复结构的算法，把这些全景图投射成正常的图像序列。每张投射后的图像的分辨率是800×1380。利用这些全景图可以得到比一般相机更广的视野。还把数据集合分割成100帧序列来运行从运动中恢复图像(SFM)，所述100帧序列然后重新与三维模型的GPS坐标系进行配准。重构过程中，相机初始位置根据已有的GPS信息进行设定。每个序列花费掉15分钟在从运动中恢复结构上，10分钟在序列和三维模型的配准以及另外10分钟在语义分割上。对于每栋建筑，其纹理标准大小是1000×1000。对于降低采样速率的正墙纹理，重复图案检测要花费大概4小时。纹理合成大概要6分钟。有包含60多个建筑物的30个网格模型被重建模进而得到质量的提升。部分结果在图10中示出，其中每一列代表一个示例。从上至下分别代表已有的近似模型，现有的具有纹理的模型，重建模后的几何模型和已经重建模后的具有纹理的模型。

在此描述的系统及方法被证明是鲁棒而且有效的。整个框架允许结合多方面数据。如果需要更多的细节，则每个被检测到的建筑元素可以被进一步的进行几何重建模。如果落于cx所在区域的重构的三维点在建筑物平面的后边，叶子节点cx的运算opx则被定义为切割操作。一个精细的建筑元素模型可以按照指定位置及深度进行放置。之前提取出来的文法规则不仅可以用于重建模已有的建筑，还可以通过编辑和合并文法规则产生一个完全合成的建筑物模型。如果要产生一个这样的完全合成的模型，首先从三维文法规则_3D中选取一条，然后从_WR中选择一条描述建筑物墙面结构的二维布局规则，以产生几个区域。最后从_SR中选择生成建筑物元素的一系列规则。规则的选择过程既可以随机生成又可以让用户进行编辑选择。

本发明提出了一个结合从地面拍摄的图像和已有的建筑物近似模型对建筑物或者其他结构/形状自动重建模方法。建筑物是用文法规则进行表示的，这些文法规则可以从输入的三维模型或者图像中提取。从正投影纹理图像中提取重复图案的方法比以往的依赖于模板匹配的方法更具有鲁棒性。最终合成的纹理是利用学习到的规则来填补之前纹理的缺失部分而得到的完整纹理。这些缺失部分一般是由于对于摄像机不可见或者被前景物体遮挡造成的。由于这个方法是通用的并且可以结合其他有关建筑物的信息源，因此三维扫描数据可以用来增加建筑物几何模型的细节。另外还可以从一个更加精细的三维网格模型学习到文法规则。

图11展示了一个处理过程1100的流程图，这个过程用来辅助自动生成建筑物的重建模模型。

从图11中的处理过程1100的1110位置开始看，一张或者多张建筑物的航拍图像以及与该建筑物结构相关的一张或者多张从地面拍摄的建筑物图像被接收并处理。在位置1120，上一步的三维模型以及来自航拍图像和从地面拍摄的从运动中恢复结构序列如上所述被配准。在1130，三维模型以及从运动中恢复结构序列被分解成小的建筑物构件。在1140，从建筑物构件中自动产生例如从纹理或者三维网格模型自动提取的文法规则，以有助于建筑物结构的重建模成像。其他方面包括利用文法规则来合成建筑物纹理。在1150，部分地基于建筑物纹理合成来自动地生成至少一张重建模的建筑物图像。另一方面，处理过程1100可以包含产生一条或者多条包含文法规则(containrule)用以对建筑物结构进行重建模成像，其中重建模过程中先驱形状的位置以及区域等信息需要精确定义。同样，也可以精确定义先驱形状的其他共有属性。

图12展示了一个用于生成建筑物或者其他结构和形状的重建模图像的系统。该系统1200包括了一个处理器1210，用于生成与一个或者多个建筑物结构有关的重建模图像1220。一个过程模型1230被用于整合一栋或者多栋建筑物的航拍图像的近似模型以及从一栋或者多栋建筑物结构的从地面拍摄的图像的三维(3D)重建模型。将在接下来的图13进行详细的描述，这个处理器1210接收用于自动生成重建模图像的指令，其中一栋或者多栋建筑物结构与建筑物正墙相关。然后生成重建模后的模型。所生成的建筑结构是由建筑物墙面构成。系统1200还包含一个从运动中恢复结构(StructurefromMotion，SFM)的组件(参见图1中的模块130)，用于支持过程模型1230。系统1200也可以包含一个配准模块(参见图1中的模块150)来对SFM模块150及过程模型120进行分析。

系统1200也可以包含一个分解模块(参见图1的模块160)，用来把建筑物结构的构件切分成小块。另一方面，系统1200可以包含用于从分解模块推导出网格文法规则的第一规则模块(参见图1所示的模块170)。另一方面，系统1200还可以包含用于从分解模块推导出纹理规则的第二规则模块(参见图1的模块180)。另一方面，系统1200还可以包含一个合成模块(参见图1的模块190)，它用于从一条或者多条自动生成的规则来确定纹理，其中合成模块的输出是一个或者多个形状或者建筑结构的重建模图像1220。另一方面，处理器1210确定一条或者多条包含文法规则，用以产生重建模图像，其中该处理器会利用到一条或者多天计算机生成建筑(computergeneratedarchitecture，CGA)文法规则来生成重建模图像。该处理器也可以检测正墙纹理图像中的重复图案。

图13展示了计算机可读介质1300，它用于指导计算机对建筑物或者其他结构进行重建模。该计算机可读介质1300包含用于指示计算机处理从建筑物结构的航拍图像以及相关的从地面拍摄的图像导出的模型的指令1310。该计算机可读介质1300包含用于指示计算机从航拍图像以及其相关的从地面拍摄的图像中确定模型和运动序列的指令1320。该计算机可读介质1300还包含用于指示计算机生成描述建筑结构的一条或者多条网格规则和一条或者多条纹理规则的指令1330。该计算机可读介质1300还包括指示计算机部分地基于一条或多个网格规则和一条或多条纹理规则来产生一个或者多个重建模的建筑结构的图像的指令1340。该计算机可读介质1300还包括指示计算机产生一条或者多条包含规则以有助于一个或者多个建筑物结构的重建模图像的生成的指令1350。

这里所讲的处理过程，处理器可能包括但不限于如下含义：单核处理器；具有多线程软件功能的单核处理器；多核处理器；具有处理多线程软件功能的多核处理器；具有硬件多线程功能的多核处理器；并行平台；以及具有分布式共用内存的并行平台。除此之外，一个处理器还可以指一个集成电路，一个具有特殊应用的集成电路(ASIC)，一个数字信号处理器(DSP)，一个可编程门阵列(FPGA)，一个可编程逻辑控制器(PLC)，一个复杂的可编程逻辑设备(CPLD)，一个分立门或者晶体逻辑，分立硬件模块，或者任意以上模块的组合。处理器可以利用纳米级架构进行开发以优化空间使用率或者提高用户设备的性能。一个处理器还可以实现成计算处理单元组合的形式。

在这里，像‘数据存储’，‘数据存储介质’，‘数据库’以及类似的有关存储信息组件的相关操作及应用，指的是‘存储模块’或者实际存在的存储器。这里所说的存储模块既可以是易失性存储器又可以是非易失性存储器，或者两者都包括其中。例如(但不限于)：非易失性存储介质可以包括只读存储器(ROM)，可编程只读存储器(PROM)，电子可编程只读存储器(EPROM)，电子可擦写存储器(EEPROM)或者是闪存。易失性存储介质可以包括常用做计算机高速缓存的随机存储器(RAM)。这里随机存储器可以是(但不限于)：同步RAM(SRAM)，动态访问RAM(DRAM)，同步动态访问RAM(SDRAM)，双倍速率SDRAM(DDRSDRAM)，增强型SDRAM(ESDRAM)等。需要指出的是，这里所列举的存储介质只是为了说明存储介质可以包括哪些，但不局限于这里列举的种类。

Claims (17)

1.一种建模系统，包括：

处理器，用于产生与一栋或者多栋建筑结构相关的重建模图像；

过程模型，用于整合源自所述一栋或者多栋建筑结构的航拍图像的近似三维网格模型以及源自所述一栋或者多栋建筑结构的摄于地面的图像的三维重构模型；

分解模块，用于对输入的连在一块的所述一栋或者多栋建筑结构的多个建筑物结构的模块进行分割；

第一文法规则模块，其从所述分解模块导出网格文法规则，其中网格文法规则包括屋顶部分以及多个正墙平面；以及

第二文法规则模块，其从所述分解模块导出纹理文法规则，其中纹理文法规则用于检测正墙中的重复元素。

2.如权利要求1中所述的建模系统，其中所述一栋或者多栋建筑结构与建筑物正墙相关。

3.如权利要求1中所述的建模系统，进一步包括从运动恢复结构模块，用于重构三维点云和摄像机角度。

4.如权利要求3中所述的建模系统，进一步包括配准模块，用于对重构出的信息和三维网格模型进行关联。

5.如权利要求1中所述的建模系统，进一步包括合成模块，用于利用产生的一条或者多条规则来确定纹理。

6.如权利要求5中所述的建模系统，其中所述合成模块用于产生一栋或者多栋建筑结构的形状或建筑物结构的一个或者多个重建模图像。

7.如权利要求1中所述的建模系统，其中所述处理器进一步用于确定一条或者多条包含文法规则以产生重建模图像，其中包含文法规则用来描述建筑物正墙所包含的组成部分。

8.如权利要求7中所述的建模系统，其中所述处理器进一步用于采用一条或者多条计算机生成建筑文法规则来生成重建模图像，其中所述计算机生成建筑文法规则定义了建筑物或者相关结构的基本形状。

9.如权利要求8中所述的建模系统，其中所述处理器进一步用于检测与所述一栋或者多栋建筑结中的建筑结构相关的正墙纹理图像中的重复图像。

10.一种建模方法，包含如下步骤：

接收一张或者多张建筑物结构的航拍图像和一张或者多张与建筑物结构相关的从地面拍摄的图像；

对基于所述一张或者多张建筑物结构的航拍图像的近似三维网格模型以及从地面拍摄的图像的至少一个运动序列重构出的三维结构进行配准；

把近似三维网格模型以及从至少一个运动序列重构出的三维结构分解成建筑物单元；以及

从建筑物单元中产生文法规则以用于辅助建筑物结构的重建模成像，

其中，所述文法规则包括屋顶部分以及多个正墙平面的网格文法规则和用于检测正墙中的重复元素的纹理文法规则。

11.如权利要求10中所述的建模方法，进一步包含根据所述文法规则合成建筑物纹理的步骤。

12.如权利要求11中所述的建模方法，进一步包括部分地基于建筑物纹理来产生至少一个重建模建筑物图像的步骤。

13.如权利要求10中所述的建模方法，其中所述的从建筑物单元中产生文法规则以用于辅助建筑物结构的重建模成像的步骤包括产生一个或者多个包含文法规则以用于辅助建筑物结构的重建模成像，其中包含文法规则描述了建筑物所包含的形状。

14.如权利要求13中所述的建模方法，进一步包括定义建筑物结构的后继替代形状的位置及区域的步骤。

15.如权利要求14中所述的建模方法，进一步包括定义建筑物结构的后继替代形状所共用的属性的步骤。

16.一种建模方法，包括：

处理建筑物结构的三维模型以及相关的从地面拍摄的图像；

对三维模型以及与从地面拍摄的图像相关的一个或多个运动序列进行配准；

产生描述一栋或者多栋建筑结构的一条或者多条网格规则和一条或多条纹理规则，其中所述网格规则包括建筑物屋顶和正墙平面，以及纹理规则被用来检测正墙中的重复元素；

部分地基于一条或者多条网格规则和一条或者多条纹理规则来产生建筑物结构的一个或多个重建模图像。

17.如权利要求16中所述的建模方法，进一步包括产生一条或者多条包含文法规则以辅助产生一张或者多张建筑物结构的重建模图像，其中包含文法规则描述了建筑物所包含的形状。