CN107851331A - 平滑对象的三维模型以减轻伪影 - Google Patents

Abstract

提供了一种系统和方法，用于基于部分是对象的表面的准确表示的似然性，并且根据模型基于对象(208)的表面是否相对成锯齿状(250)或相对平滑(260)，来平滑对象(208)的3D模型(250)的部分。

Description

平滑对象的三维模型以减轻伪影

相关申请的交叉引用

本申请是于2015年10月7日提交的美国专利申请No.14/877,414的继续申请，其公开内容通过引用包含于此。

背景技术

地理场景的某些全景图像关联于与捕获图像的各个部分的地理位置和取向有关的信息。例如，图像的每个像素可以与识别从捕获图像的地理位置延伸到其外观由像素的视觉特性表示的对象(如果有的话)的表面的部分的光线的数据相关联。

诸如前述的全景图像可以用于创建在图像中捕获的对象的表面的三维模型。例如，可以使用立体三角测量来从捕获自不同地理位置的相同场景的两个图像中生成模型。也可以使用其他技术来创建模型，诸如使用激光测距仪来创建与图像相关联的深度地图数据。可以使用这样的数据来创建其顶点与由模型表示的表面的部分的3D地理位置相关联的多边形的集合。通过将图像数据投影到模型上可以使多边形具有纹理。

上述模型可以经由电子显示器显示给用户。例如，用户可以使用计算机来下载3D模型并且从用户选择的不同有利点来显示它。

发明内容

本公开的一些方面提供了一种系统，该系统包括一个或多个计算设备和存储可由处理器执行的指令以及与地理特征的表面上的位置相关联的模型的存储器。所述指令可以包括：针对模型的一部分确定置信度值，其中置信度值与该部分的位置是地理特征的表面的准确表示的似然性相关联；利用一个或多个计算设备针对模型的一部分根据所述模型的位置基于表面的锯齿状来确定偏心率值；基于置信度值和偏心率值修改该部分的位置；以及提供模型的修改部分。

本公开的一些方面还提供了一种确定地理特征的模型的方法。该方法可以包括：利用一个或多个计算设备接收具有与地理特征的表面相关联的多个位置的模型；利用一个或多个计算设备并且针对模型的一部分来确定置信度值，其中置信度值与该部分的位置是地理特征的表面的准确表示的似然性相关联；利用一个或多个计算设备并且针对部分中的多个位置，基于每个位置相对于参考形状之间的距离，以及所述距离和相邻位置与参考形状之间的距离之间的差，来确定偏心率值；利用一个或多个计算设备基于置信度值和偏心率值来修改部分的多个位置；以及利用一个或多个计算设备提供模型的修改部分。

本公开的一些方面还提供了一种非暂时性计算设备可读存储介质，在其上存储计算设备可读程序指令。该指令在由一个或多个计算设备执行时使一个或多个计算设备执行方法。该方法可以包括：接收表示地理对象的表面的三维模型的多个多边形，该模型基于捕获对象的表面的第一图像和第二图像的比较，其中每个图像从不同的相机位置中被捕获；针对模型的一部分确定置信度值，其中置信度值与该部分的多边形的位置是地理特征的表面的准确表示的似然性相关联；确定该部分的偏心率值，其中偏心率值基于多边形的第一顶点到参考平面的距离与多边形的至少一个其他顶点到参考平面的距离之间的差；以及通过减小该部分的多个多边形的顶点之间的距离来平滑模型的该部分。

附图说明

图1是根据本公开的方面的系统的功能图。

图2是在图像中出现的对象的表面的图像和模型的示例。

图3是表面的模型的示例。

图4是基于模型的表面的取向来确定置信度值的示例。

图5是基于如何捕获图像来确定置信度值的示例。

图6A和图6B是与模型和参考平面相关联的位置之间的距离的图。

图7A和图7B是确定与图像和模型相关联的残差的示例。

图8是图1的图像和图像中出现的对象的表面的模型的示例。

图9是将视觉信息投影到模型上的示例。

图10是根据本公开的方面的示例流程图。

具体实施方式

概述

本技术涉及去除或减少在估计和构建地理特征的三维(3D)模型时可能出现的伪影。例如，如果模型的一部分的质量是可疑的，则模型的该部分可以被平滑，这可以导致当用户与模型交互时更积极的体验。特定部分中的平滑量可以与该部分中的偏心率成比例并且与该部分处的模型的精确度的置信度成反比。

作为示例，图2示出了包括建筑物、人行道和运河的全景图像的一部分。由在地理位置(例如，纬度/经度/高度)处具有顶点的多边形表示的3D模型可以从图像中生成。作为进一步的示例，可以通过将图中所示的图像与从不同有利点取得的相同特征的另一个图像进行比较，然后使用立体三角测量估计出现在两个图像中的表面的位置来生成模型。图2示出了这种模型的两个部分，即，一个部分与人行道表面的一部分的几何形状相关联，而另一个部分与运河中水的表面的几何形状相关联。模型的质量可以随着部分而变化，例如，模型的一些部分可以指示当实际上相对平滑时表面相对成锯齿状。

系统可以确定反映3D模型的特定部分是地理特征的表面的准确表示的似然性的置信度值。例如，可以通过确定模型的全局最优值然后计算多边形与最优值的偏差来生成与多边形相关联的置信度值。作为示例并且如图3所示，系统可以确定模型中顶点的位置大体上定义三个平面。系统然后可以使用这些平面来估计表面的实际位置，并且顶点向估计的位置移动的距离可以基于置信度值。对象识别和非平面形状也可以用于估计表面的实际位置并确定置信度值。

表面相对于相机角度的取向也可以影响置信度值。例如，如图4所示，通常与相机角度正交的平面可以具有比通常平行于相机角度的平面更高的置信度值。也可以使用在模型中表示的相机距表面的距离来确定置信度值。

另外，置信度值可以基于用于生成模型的方法。如图5所示，基于来自两个图像的信息生成的部分可以被分配比从单个图像中生成的部分更高的置信度值。如果部分是由激光测量的深度的星座中生成的，则分配的置信度值可以甚至更高。

残差也可以被用来计算置信度值。作为示例，图7示出了从不同有利点取得的相同场景的两个图像，其中每一个用于计算3D模型。图像的每个像素可以与相机角度光线相关联。如果模型是完美的，则示出相同表面位置的不同像素的光线应该在相同点处与模型相交。在这方面，置信度值可以与点之间的距离成反比。

还可以使用用于计算置信度值的其他技术。而且，确定置信度值的不同技术可以被组合以形成单个置信度值。

模型的偏心率也可以被确定。作为示例，图6A和图6B描绘了一排八个顶点相对于反映相关表面的实际位置的估计的参考平面的距离。在图6A所示的部分中，距离趋于相对小并且持续增加或减少。在图6B所示的部分中，距离的差更大并且变化更大，例如更成锯齿状。结果，系统可以基于值从一个顶点到下一个顶点改变的大小和频率来确定偏心率值。

置信度和偏心率值可以用于确定应该应用于模型的一部分的平滑量。作为示例，顶点接近参考形状移动的距离可以与偏心率值成比例并且与置信度值成反比。如图8所示，表示运河的多边形的顶点可以被平滑，使得大多数相邻的顶点彼此接近，但是参考平面不平滑使得所有的多边形在相同平面中对齐。当确定平滑量时不同的权重可以应用于置信度值和偏心率值。

在平滑之后，系统可以将纹理应用于模型。作为示例，如图9所示，可以通过识别首先与像素的相关光线相交的多边形，将图像的像素投影到平滑模型上。每个像素的视觉特征可以被拉伸到多边形上，例如，可以内插交点之间的纹理。

用户可以通过多种方式与模型交互，诸如通过从不同于生成模型的有利点的有利点观看模型。当用户从这些有利点观看模型时，模型中的不准确性可以变得更加明显并且分散注意力，并且如本文所述的使模型平滑可以导致图像看起来使用户更愉快。

示例系统

图1示出了其中可以实现本文公开的方面的一个可能的系统100。在该示例中，系统100可以包括计算设备110和120。计算设备110可以包含一个或多个处理器112、存储器114和通常存在于通用计算设备中的其他组件。尽管图1在功能上将处理器112和存储器114中的每一个表示为也被表示为单个块的设备110内的单个块，但是该系统可以包括并且这里描述的方法可以涉及可能会或可能不会被存储在相同物理住房内多个处理器、存储器和设备。例如，下面描述为涉及单个组件的各种方法(例如，处理器112)可以涉及多个组件(例如，负载平衡服务器群中的多个处理器)。类似地，下面描述为涉及不同组件(例如，设备110和设备120)的各种方法可以涉及单个组件(例如，不是执行下面描述的确定的设备120)，设备120可以将相关数据发送到设备110以供处理、接收确定的结果以供进一步处理或显示。

计算设备110的存储器114可以存储处理器112可访问的信息，包括可以由处理器执行的指令116。存储器114还可以包括可以由处理器112检索、操纵或存储的数据118。存储器114可以是能够存储相关处理器可访问的信息的任何类型的存储器，诸如能够存储非暂时性数据的介质。作为示例，存储器114可以是硬盘驱动器、固态驱动器、存储卡、RAM、DVD、可写入存储器或只读存储器。另外，存储器可以包括分布式存储系统，其中诸如数据118的数据被存储在可以物理地位于相同或不同地理位置的多个不同存储设备上。

指令116可以是要由处理器112或其他计算设备执行的任何指令集合。就此而言，术语“指令”、“应用”、“步骤”和“程序”在本文中可以互换使用。指令可以以目标代码格式存储以供处理器立即处理，或者以另一种计算设备语言存储，包括根据需要解释或预先编译的独立源代码模块的脚本或集合。下面将更详细地解释指令的功能、方法和例程。处理器112可以是任何传统的处理器，诸如市售的CPU。或者，处理器可以是专用组件，诸如ASIC或其他基于硬件的处理器。

数据118可以根据指令116由计算设备110检索、存储或修改。例如，尽管这里描述的主题不受任何特定数据结构的限制，但是数据可以存储在计算机寄存器中，在关系数据库中作为具有许多不同字段和记录的表或XML文档。数据还可以以任何计算设备可读的格式格式化，诸如但不限于二进制值、ASCII或Unicode。此外，数据可以包括足以识别相关信息的任何信息，诸如数字、描述性文本、专有代码、指针、对存储在其他存储器中(诸如在其他网络位置处)的数据的引用，或者由功能用于计算相关数据的信息。

计算设备110可以在网络160的一个节点处，并且能够与网络160的其他节点直接和间接通信。尽管在图1中仅描绘了少数计算设备，但是典型的系统可以包括大量的连接的计算设备，其中每个不同的计算设备位于网络160的不同节点处。本文描述的网络160和中间节点可以使用各种协议和系统互连，使得网络可以是互联网、万维网、特定的内联网、广域网或本地网络的一部分。网络可以利用标准通信协议，诸如以太网、Wi-Fi和HTTP、专用于一个或多个公司的协议以及前述的各种组合。作为示例，计算设备110可以是能够经由网络160与计算设备120进行通信的网络服务器。计算设备120可以是客户端计算设备，并且服务器110可以通过使用网络160来显示(或提供用于显示的)信息来经由显示器122向设备120的用户125发送和呈现信息。尽管当如上所述发送或接收信息时获得了某些优点，但是本文描述的主题的其它方面不限于任何特定方式的信息传输。

计算设备120可以与具有如上所述的处理器、存储器和指令的服务器110类似地配置。计算设备120可以是旨在供用户使用的个人计算设备，并且具有通常与个人计算设备结合使用的所有组件(诸如，中央处理单元(CPU))、存储数据和指令的存储器、诸如显示器122(例如，具有屏幕、触摸屏、投影仪、电视机或可操作来显示信息的其他设备的监视器)的显示器、用户输入设备162(例如，鼠标、键盘、触摸屏、麦克风等)和相机163。

计算设备120还可以是能够在诸如互联网的网络上与服务器无线地交换数据的移动计算设备。仅作为示例，设备120可以是移动电话或诸如具有无线功能的PDA、平板电脑、可穿戴计算设备或能够经由互联网获取信息的上网本的设备。该设备可以配置为与操作系统(诸如Google的Android操作系统、Microsoft Windows或Apple iOS)一起操作。就此而言，在此描述的操作期间执行的一些指令可以由操作系统提供，而其他指令可以由安装在该设备上的应用提供。根据本文描述的系统和方法的计算设备可以包括能够处理指令并且向人和/或包括缺乏本地存储能力的网络计算机和电视机顶盒的其他计算机发送数据的其他设备。

计算设备120可以包括诸如电路的组件130，以确定设备的地理位置和取向。例如，客户端设备120可以包括GPS接收器131以确定设备的纬度、经度和高度位置。该组件还可以包括用于基于在客户端设备120处接收到的其他信号(诸如，如果客户端设备是蜂窝电话则在来自一个或多个蜂窝电话塔在蜂窝电话的天线处接收到的信号)来确定设备的位置的软件。它还可以包括磁罗盘132、加速度计133和陀螺仪134，以确定设备取向的方向。仅作为示例，设备可以确定其相对于重力取向或与其垂直的平面的俯仰、偏航或滚转(或其变化)。

服务器110可以存储地图相关信息，其至少一部分可以被发送到客户端设备。地图信息不限于任何特定的格式。例如，地图数据可以包括地理位置的位图图像，诸如由卫星或飞行器捕获的照片。

服务器110还可以存储图像，诸如，仅作为示例，平面照片、照片球或风景视频。最终用户可以捕获和上传图像，用于使照片可供以后访问或者搜索与该特征相关的信息的任何人访问的目的。除了由相机捕获的图像数据之外，单独的图像项目可以与附加数据相关联，诸如捕获日期、捕获时间、地理取向(例如，相机角度)和捕获位置(例如，纬度、经度和高度)。

图像的部分可以与附加信息相关联，包括出现在图像内的特征的地理位置的模型。例如，该模型可以识别在全景图像中捕获的对象的表面的位置。表面的位置可以以不同的方式存储在存储器中，例如，其位置被定义为立体角和距固定位置的距离的点的星座(例如，与捕获图像的点的取向和距离)或者其顶点以纬度/经度/高度坐标表示的地理定位的多边形。该系统和方法可以进一步将位置从一个参考系统转换到另一个参考系统，诸如其位置从使用激光测距仪直接捕获或者通过使用立体三角测量从图像生成的点的星座生成地理定位的多边形的模型。位置也可以用其他方式表示，并取决于应用的性质和所需的精度。仅作为示例，地理位置可以通过街道地址、相对于地图的边缘(诸如，相对于街道地图的边缘的像素位置)的xy坐标或能够识别地理位置的其他参考系统来识别(例如，测量地图上的批号和块号)。地理位置也可以由范围来描述，例如，对象的位置可以由纬度/经度/高度坐标的范围或离散序列来描述。

示例方法

现在将描述根据本发明的各个方面的操作。应该理解，以下操作不必按照下面描述的精确顺序来执行。相反，可以按不同的顺序或同时处理各个步骤。

可以生成地理定位的对象的表面的位置的模型。为了说明的目的，图2示出了包括建筑物205、人行道206、路缘207和运河208的全景图像200的一部分。该图还示出了针对人行道206的一部分生成的模型的一个部分260，以及针对运河208中的水的表面的一部分而生成的模型的另一个部分250。模型可以由在相关对象的表面的估计的地理位置处具有顶点的多边形表示(例如，纬度/经度/高度)。例如，服务器110可以通过将图2中示出的图像与从不同有利点取得的相同特征的另一个图像进行比较来确定多边形的位置，然后应用立体三角测量来估计出现在两个图像中的表面的位置。

模型的质量可以随部分而不同。例如，如果人行道的外观在两个图像之间保持相对静止，则当通过立体三角测量确定时，人行道部分260可以相当准确。相反，由于移动的水可以以不同的方式反射光并且因此对从立体三角测量生成的模型具有过大的效果，所以即使水的表面相对平滑，运河部分250可能相对不准确并且成锯齿状。

系统可以确定反映模型的特定部分是地理特征的表面的位置的准确表示的似然性的置信度值。为了易于参考，反映较高或较大准确度似然性的置信度值在本文中被称为高于或大于其他置信度值。然而，针对高置信度值的存储在存储器中的实际数量可能低于针对高置信度值的存储在存储器中的实际数量，例如，可以将值0存储在存储器中以表示高置信度值，可以将值1存储在存储器中以表示高置信度值。此外，本文中置信度值被称为与另一个值成比例的事实不一定意味着置信度值直接与其他值成正比。例如，如果模型的第一部分的置信度值是第二部分的置信度值的两倍，则不一定意味着第一部分与第二部分相比可能是表面的准确表示的两倍。相反，如果某个值的至少一些增加与置信度值的增加(或者如果反比例，则减小)相关联，则置信度值与某个值成比例，并且置信度值的增加(或减小)的程度与某个值增加的程度有关。

置信度值可以与模型的任何部分相关联。例如，可以针对每个单独的顶点计算和存储单独的置信度值。或者或另外地，可以针对每个单独的多边形计算和存储单独的置信度值。另外，可以针对包括许多多边形的模型区域计算和存储单个置信度值。

在至少一个方面，可以通过确定模型的全局最优值然后计算模型与最佳值的偏差来确定置信度值。例如，该系统可以假定某些表面(诸如在城市中的地平面处)更可能平滑且相对平坦。就此而言，系统可以基于该部分与其位置基于相关表面的估计位置的参考平面的对应程度来确定模型的一部分的置信度值。

作为示例，图3示出了针对建筑物310、人行道312和路缘313的表面(仅示出了与人行道312对应的部分)生成的模型的两个部分330和340。基于对模型的多边形的位置的分析，服务器110可以确定表面大体上对应于三个最适合的平面：用于建筑物310的第一垂直平面、用于人行道312的水平平面以及用于路缘313的第二垂直平面313。当计算模型的置信度值时，系统可以使用这些平面作为参考。例如，如果部分340的参考平面是由点a-b-c定义的平面，并且如果部分350的参考平面是由点d-e-f定义的平面，则针对多边形341确定的置信度值将大于针对多边形342确定的置信度值，因为多边形342的取向和位置比多边形341更偏离参考平面。而且，多边形341和342的置信度值都将小于完全位于参考平面的部分350的多边形的置信度值。

识别与模型相关联的对象的类型也可以用于确定置信度值。作为示例，系统可以分析图像的视觉特征或部分的大体形状是否与诸如消防栓的常见对象的外观或形状一致。如果是这样，则置信度值可以基于相关部分与消防栓的形状的相符程度。作为进一步的示例，如果系统识别门和窗，诸如图3中的门380，则系统可以确定该模型包括建筑物的侧面，并且因此可以使用垂直平坦表面作为用于计算置信度值的参考。

还可以使用表面相对于相机角度的取向来确定置信度值。作为示例，图4分别示出了多边形420和430、它们的中心点421和431、从生成模型的位置延伸到中心点421和431的线425和435(例如，捕获相关联的图像的位置)以及线425和435和由多边形的顶点定义的平面之间的立体角(以下称为“取向角”)的俯视图。系统可以计算与取向角度与正交的接近程度成正比的每个多边形的置信度值。例如，由于多边形430的取向角度相对正交，并且多边形420的取向角度相对尖锐，所以多边形430的置信度值可以相对高，并且多边形430的置信度值可以相对低。

表面距建模表面位置的点的距离也可以用于确定置信度值。例如，如图4所示，因为多边形420的中心421比多边形430的中心431更接近捕获点450，所以多边形420的置信度值可以被设置为高于多边形430的置信度值。

该系统还可以使置信度值基于该模型的部分是否被遮挡。如图5所示，可以从两个不同的有利点510和511捕获对象的表面的图像。表面的部分501和502可以从有利点510捕获，但是部分503可以被对象530遮挡。部分501可以不被有利点511遮挡，但是相机的视角521可以防止相机捕获该部分。结果，与表面部分502相关联的模型部分可以已经根据立体三角测量确定，而模型相关表面部分501和503的部分可以已经基于包含在单个图像中的信息确定。系统可以分配与用于捕获图像的有利点的数量成比例的置信度值，从而导致与表面部分502相关联的模型部分具有比与表面部分501和503相关联的模型部分更高的置信度值。

残差也可以用来计算置信度值。在图7A和图7B所示的示例中，客户端设备120快速连续地从相同的捕获点但是从不同的相机角度捕获相同场景的图像710和图像711。如上所述，可以从每个图像中生成在图像中捕获的对象的表面的模型。此外，图像的每个像素可以与相机角度相关联，例如，与定义从相机延伸到由该像素捕获的表面部分的光线的数据相关联。相机角度数据可以基于由地理组件130提供的信息，诸如由罗盘132提供的基本方向以及由陀螺仪134提供的取向数据。系统可以识别两个图像中的像素，其可能基于视觉上相似的特征和相机角度数据(以下称为“匹配像素”)已经捕获对象的相同表面的相同部分。如果模型是完美的，则匹配像素的光线应该指向模型上的相同点。就此而言并且如图7A所示，如果与图2的人行道200相关联的模型的部分和光线数据相对精确，则光线首先与模型相交的点应当彼此相对接近，例如在相同的多边形730中彼此相对较小的距离732。

然而，如果模型不准确，则匹配像素的相机角度可以指向模型上非常不同的点。通过与图7A比较，图7B示出了图2的运河208的匹配像素的光线750和751。如果由于水面的快速变化的视觉外观而导致从图像导出的模型相对不准确，则光线首先与模型相交的位置可以在不同的多边形740和741中，并且这些点之间的距离742可以相对大。结果，与分配给多边形740和741的置信度值相比，系统可以将较高置信度值成比例分配给多边形730。系统还可以将较低置信度值分配给多边形740和741之间或附近的多边形。

还可以使用用于计算置信度值的其他技术。例如，可以基于当前导出的3D模型与地理特征的先前模型的偏差来计算置信度值。置信度值也可以基于用于生成模型的方法。例如，与基于立体三角测量确定的位置相比，模型上直接测量的位置(例如，用激光测距仪)可以被分配更高的置信度值。通常不比立体三角测量准确的基于图像分析的建模技术可以导致甚至更低的置信度值。

用于确定置信度值的不同技术可以被组合以形成单个置信度值。例如，系统可以通过应用所有上述技术来确定多边形的置信度值，然后将所有不同的置信度值一起平均。平均值可以是加权的，例如，某些技术可以比其他技术对平均值有更大的影响。或者，可以将每个多边形的置信度值表示(并与其他多边形进行比较)为一系列值，其中每个值反映了单个技术。

3D模型部分的偏心率也可以被确定。作为示例，图6A和图6B中的垂直轴表示多边形的顶点距参考平面的距离，其中正值和负值指示顶点(分别)在平面的上方或下方。每个刻度标记和沿着水平轴的点识别单个顶点；每个点之间的线代表多边形的边缘。在由图6A表示的模型的部分中，相邻顶点(例如，形成多边形的边缘的顶点)与参考平面之间的距离变化相对小且恒定。相反，在图6B所示的模型部分中，相邻顶点和参考平面之间的距离变化相对大且可变。系统可以基于值从一个顶点到下一个顶点变化的幅度和频率、到相邻顶点的平均或最大距离，以及相邻顶点的表面法线的角度偏差，来确定在图6A和图6B中表示的顶点的偏心率值。

置信度和偏心率值可以用于确定应该应用于模型的一部分的平滑量。例如，如果部分的准确度的置信度低并且该部分的偏心率高，则该部分可以被重平滑。相反，如果置信度高并且偏心率低，则可以对该部分应用很少或不平滑。

在平滑期间模型的部分被移动的程度可以基于置信度和偏心率值。而且，可以对置信度值进行加权以具有比偏心率值相对于模型的一部分被移动的距离更大或更小的影响。仅作为示例，顶点移动的距离可以由以下等式表示：

d_moved＝d_initial*normalize(w_e(ev)+w_c(1-cv))，其中：

“d_moved”是在平滑期间顶点朝参考形状上的最近点移动的距离；

“d_initial”是平滑之前顶点与参考形状上的最近点之间的距离；

“ev”是与顶点相关联的偏心率值，并且被限制使得0<＝ev<＝1；

“cv”是与顶点相关联的置信度值，并且被限制使得0<＝cv<＝1；

“w_e”是应用于偏心率值的权重；

“w_c”是应用于置信度值的权重；以及

“normalize()”是函数，其对于最低可能输入值返回0，对于最高可能输入值返回1，以及与输入值成线性比例的在0到1之间的数。

在这方面，如果系统对于其当前位置的准确性没有置信度，并且模型的周围部分非常偏心，则可以将顶点移动到参考形状上。如果置信度值和偏心率值处于其最小值和最大值的中间的某个位置，则顶点可以只朝模型移动路程的一部分。其他等式和参数的组合也可以使用。仅作为示例，偏心率值的权重可以与置信度值成反比，例如，w_e＝(1-cv)。因此，随着在模型中系统的置信度增加，偏心率与平滑的相关性将下降。

图8提供了在平滑之后图2所示的模型可能如何表现的示例。系统可以已经确定模型部分250的置信度值相对低。例如，该部分可以已经从图像和立体三角测量中生成。如果系统确定在城市中捕获图像并且模型部分接近地平面，并且因此将模型的该部分与平行且接近地平面的参考平面进行比较，则置信度值也可以是低的。该系统也可以已经确定该部分的偏心率高，例如，从一个顶点到下一个顶点的地理位置存在大的、频繁的和可变的改变。结果如图8所示，系统可以已经对多边形251的顶点应用大量的平滑，使得它们更接近参考平面和相邻顶点。如果系统对相对锯齿状表面是准确的(例如，模型部分260)具有更大的置信度，则可以已经应用很少或不平滑。

系统可以在平滑之后将纹理应用于模型。图9是在地理定位的对象的图像中出现的一系列三个像素910、与像素相关联的取向光线931-933以及要应用于模型的多边形的纹理920的图。纹理920中的每个正方形表示单个纹素。为了使模型的相关部分具有纹理，系统可以使用光线追踪来将像素910投影到模型上，使得每个交点处的纹素具有相关联像素的视觉特性。交点之间的纹素的视觉特性可以基于纹素在交点处的视觉特性的梯度来确定。

用户可以使用该系统并与该模型交互。仅作为示例且参照图1，用户135可以使用客户端设备120的相机163从不同的有利点获取相同地理场景的两个全景图像。用户135可以经由网络160将图像以及由地理组件130在捕获图像时提供的地理取向和位置数据上传到服务器110。使用一个或多个处理器112，服务器110可以使用立体三角测量以及地理取向和位置数据来构造出现在图像中的对象的表面的纹理3D模型。服务器110可以将纹理模型提供给客户端设备120，由此最初从原始图像被捕获的有利点之一在显示器122上显示。用户135可以通过经由用户输入162提供旋转命令来请求从不同的有利点显示模型，在这种情况下，客户端设备的一个或多个处理器可以使用图形渲染技术来从所请求的有利点显示模型。在一些情况下，为了类似的目的，也可以将该模型提供给另一个客户端设备，诸如客户端设备171。

当应用在此描述的一种或多种技术时，用户135可以具有更愉快的体验。当从特定的有利点查看模型时，模型中的不准确可以造成分散注意力的视觉伪影。例如，将平滑的曲面渲染为锯齿状可以产生特别让使用者分散注意力的视觉伪影。将锯齿状的表面渲染为光滑的也可以产生分散注意力的伪影，但是与将平滑表面渲染为锯齿状相比这些伪影可以较不分散注意力。另一方面，如果表面确实是锯齿状的，则当呈现这样的表面时，它往往看起来最好。因此，通过平滑可能不准确的模型的锯齿状区域，用户可以看到不那么分散注意力的伪影。

图10是根据上述一些方面的流程图。在框1010处，生成与地理特征的表面上的位置相关联的模型。在框1020处，针对与该部分的位置是地理特征的表面的准确表示的似然性相关联的模型的一部分确定置信度值。在框1030处，针对部分中的多个位置确定偏心率值，偏心率值基于每个位置相对于参考形状之间的距离以及该距离与相邻位置与参考形状之间的距离之间的差。在框1040处，基于置信度值和偏心率值来修改部分的位置。在框1050处，提供模型的修改部分，例如用于向用户显示或存储以供将来使用。

由于可以在不脱离如权利要求所限定的本发明的情况下利用上述特征的这些和其它变型和组合，所以对实施例的前述描述应当通过说明而不是通过限制如权利要求所定义的本发明。还将理解的是，提供本发明的示例(以及表述为“诸如”、“例如”、“包括”等从句)不应该被解释为将本发明限制为具体的示例；相反，这些示例只是为了示出许多可能的方面中的一些。

Claims (20)

1.一种系统，包括：

一个或多个计算设备，以及

存储器，所述存储器存储可由处理器执行的指令以及与地理特征的表面上的位置相关联的模型；

其中所述指令包括：

针对部分的所述模型确定置信度值，其中所述置信度值与所述部分的位置是所述地理特征的所述表面的准确表示的似然性相关联；

利用所述一个或多个计算设备，针对所述模型的一部分，根据所述模型的位置，基于所述表面的锯齿状，来确定偏心率值；

基于所述置信度值和所述偏心率值修改所述部分的位置；以及

提供所述模型的修改部分。

2.根据权利要求1所述的系统，其中，

所述指令还包括：基于所述表面的实际位置的估计来确定形状，以及

所述置信度值是基于所述部分的位置与所述形状的表面之间的距离。

3.根据权利要求2所述的系统，其中，修改所述部分的位置包括：将所述位置移动得更接近所述形状。

4.根据权利要求2所述的系统，其中，所述形状是平面的并且基于所述模型的多个位置来确定。

5.根据权利要求2所述的系统，其中，所述模型基于捕获所述地理特征的图像来确定，并且其中，所述指令还包括：

基于所述图像的视觉特征来识别所述地理特征属于的对象的类型，以及

基于所述对象的类型来确定所述形状。

6.根据权利要求5所述的系统，其中，所述形状是平面的并且是基于建筑物的视觉特性。

7.根据权利要求1所述的系统，其中，所述部分的置信度值是基于所述模型是否从捕获所述地理特征的图像中生成。

8.根据权利要求1所述的系统，其中，所述模型基于从第一相机位置捕获的所述地理特征的第一图像与从不同于所述第一相机位置的第二相机位置捕获的所述地理特征的第二图像的比较而生成。

9.根据权利要求8所述的系统，其中，所述指令还包括：

确定所述第一图像的第一像素位置；

基于与所述第一像素位置处的像素的视觉相似性来确定所述第二图像的第二像素位置；

确定从所述第一像素位置延伸的第一光线和从所述第二像素位置延伸的第二光线，其中每条光线与所述像素位置的相机角度相关联；

确定与所述光线与由所述模型表示的表面相交的位置相关联的相交位置；以及

其中，所述置信度值基于所述相交位置之间的距离。

10.根据权利要求1所述的系统，还包括：向用户显示所述修改部分。

11.一种确定地理特征的模型的方法，包括：

利用一个或多个计算设备，接收具有与地理特征的表面相关联的多个位置的模型；

利用所述一个或多个计算设备并且针对部分的所述模型来确定置信度值，其中所述置信度值与所述部分的位置是所述地理特征的所述表面的准确表示的似然性相关联；

利用所述一个或多个计算设备并且针对所述部分中的多个位置，基于每个位置相对于参考形状之间的距离、以及所述距离和相邻位置与参考形状之间的距离之间的差，来确定偏心率值；

利用所述一个或多个计算设备，基于所述置信度值和所述偏心率值来修改所述部分的多个位置；以及

利用所述一个或多个计算设备，提供所述模型的修改部分。

12.根据权利要求11所述的方法，还包括：利用所述一个或多个计算设备确定与所述部分相关联的最佳拟合形状，并且其中，修改所述部分的位置包括：将所述部分的位置移动得更接近所述形状。

13.根据权利要求12所述的方法，其中，所述位置移动的距离是基于所述置信度值和所述偏心率值。

14.根据权利要求13所述的方法，其中，所述参考形状是修改之前的所述位置的最佳拟合平面。

15.根据权利要求11所述的方法，其中，所述偏心率值是基于相邻位置之间的所述距离的变化的频率和幅度。

16.根据权利要求11所述的方法，其中，修改所述位置包括：将平滑函数应用于所述位置。

17.一种非暂时性计算设备可读存储介质，在其上存储计算设备可读程序指令，所述指令在由一个或多个计算设备执行时使所述一个或多个计算设备执行方法，所述方法包括：

接收表示地理对象的表面的三维模型的多个多边形，所述模型是基于捕获所述对象的表面的第一图像和第二图像的比较，其中每个图像从不同的相机位置中捕获；

针对部分的所述模型确定置信度值，其中，所述置信度值与所述部分的所述多边形的位置是所述地理特征的表面的准确表示的似然性相关联；

针对所述部分确定偏心率值，其中，所述偏心率值是基于多边形的第一顶点到参考平面的距离与所述多边形的至少一个其他顶点到所述参考平面的距离之间的差；以及

通过减小所述部分的多个多边形的顶点之间的距离来平滑所述部分的所述模型。

18.根据权利要求17所述的介质，其中，基于所述第一图像的视觉特征来使所述部分的所述多边形具有纹理。

19.根据权利要求18所述的介质，其中，基于所述第一图像的视觉特性在所平滑的模型上的投影来使所述部分的多边形具有纹理。

20.根据权利要求19所述的介质，其中，所述第一图像的多个像素与表示相对于所述像素的相机角度的数据相关联，并且所述视觉特性的投影是基于所述相机角度。