CN102084398B - 街道级图像到3d建筑物模型的对准 - Google Patents

街道级图像到3d建筑物模型的对准 Download PDF

Info

Publication number
CN102084398B
CN102084398B CN2009801247047A CN200980124704A CN102084398B CN 102084398 B CN102084398 B CN 102084398B CN 2009801247047 A CN2009801247047 A CN 2009801247047A CN 200980124704 A CN200980124704 A CN 200980124704A CN 102084398 B CN102084398 B CN 102084398B
Authority
CN
China
Prior art keywords
buildings
street
image
model
skyline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009801247047A
Other languages
English (en)
Other versions
CN102084398A (zh
Inventor
K·C·穆克蒂努塔拉帕提
M·D·塔巴
P·纳吉
Z·比
G·基米驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uber Technologies Inc
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=41445164&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN102084398(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102084398A publication Critical patent/CN102084398A/zh
Application granted granted Critical
Publication of CN102084398B publication Critical patent/CN102084398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Instructional Devices (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

图像数据的原点信息可能不准确地与绝对地理位置对准。将图像与高度准确的模型数据进行对齐的过程通过将图像中的元素与模型中的对应元素进行匹配来调整图像数据的原点。在街道级图像中，可以提取建筑物的天际线，并且可以将来自建筑物模型的对应天际线放置在基于图像的天际线之上。通过调整图像的原点，可以对齐各自的天际线。通过调整图像的图像原点可以类似地对建筑物边缘和立面深度信息进行匹配。经调整的图像的原点可以随后用于对长图像行程自动将图像放置在模型上。

Description

街道级图像到3D建筑物模型的对准
背景
在许多情况下，车辆的精确位置可以使用全球定位系统(GPS)接收器和惯性测量装置(IMU)的组合来确定。可以使用由GPS和IMU所提供的定位测量来将使用这些位置系统从车辆所拍摄的图像对准到一位置。
然而，市区峡谷中的信号失真、机械容差、磨损等可导致一个或多个图像传感器所报告的位置以不可预测的方式不同于传感器的实际位置。
这一失配的示例在图1中示出，该图示出了现有技术中试图将建筑物图像数据(例如，照片数据)50与相同建筑物的现有三维(3D)模型52对齐的结果。如可以看见的，缺少图像源位置到3D模型的地理基准的准确对准，导致了图像50与模型52之间的未对齐。
概述
一种系统和方法使用图像和高分辨率的组合，通过系统地调整图像数据的原点直到图像和建筑物模型发生最佳匹配来将街道级图像对齐到3D建筑物模型。通过对图像集执行原始调整(例如，相机位置)，它们可以被满意地对齐。当为街道相对侧选择图像时，可以提供进一步的准确度，从而提供更多样性的数据来用于对齐过程。
图像与使用诸如机载激光测距(LIDAR)等另一技术所生成的建筑物的3D模型对齐。街道级(即，小于地面上20英尺)图像可以由用于建筑物特征的标识的街道级LIDAR数据来补充。
图像和街道级LIDAR被处理以便提取建筑物边缘和天际线，随后针对3D模型对它们进行投影。基于所提取的图像边缘和天际线、街道级边缘和立面深度、以及3D模型的对应特征之间的距离来生成成本或优值。随后关于所计算的它的位置和所重新计算的成本来迭代地移动照相机位置。随后选择对应于所提取特征与所建模的特征之间的最佳匹配的最低成本，并且可以存储对应的照相机位置。该过程可以合并来自沿着图像行程的图像，包括来自相对侧，例如街道的两侧的图像。随着源位置被移位，所有考虑的图像的最低总体成本表示照相机的更准确的绝对位置。图2示出图像54和3D模型56的对齐，作为这一技术的结果。
附图简述
图1是现有技术中关于图像和模型的对齐的不正确的原始位置信息的结果的图示；
图2是作为准确原始信息的结果的图像和模型数据的对齐的图示；
图3是适用于图像对准的通用计算设备的框图；
图4是示出在一个图像行程中一点处的天际线标识的框图；
图5是示出在一个图像行程中另一点处的天际线标识的框图；
图6是街道级图像中天际线标识的示意图；
图7是示出使用天际线数据进行原始位置调整的框图；
图8是街道级图像中天际线匹配的示意图；
图9是示出LIDAR立面和建筑物边缘标识的框图；以及
图10是用于图像对准的图像原始调整的方法的流程图。
详细描述
尽管下文阐明了众多不同实施例的详细描述，但是应当理解，该描述的法律范围由本发明所附的权利要求书的言辞来限定。该详细描述应被解释为仅是示例性的，且不描述每一可能的实施例，因为描述每一可能的实施例即使不是不可能的也是不切实际的。可使用现有技术或在本申请提交日之后开发的技术来实现众多替换实施例，而这仍落入权利要求书的范围之内。
还应该理解，在本专利中，除非使用句子“如此处所用，术语‘______’特此被定义为意指......”或者类似句子来明确地定义一个术语，否则不管是明确地还是含蓄地，都没有限制该术语意义超出其平常或普通意义的意图，并且，这一术语不应该被解释为被限制在基于本专利的任何部分中(除了权利要求书的语言之外)所做的任何陈述的范围中。就本专利所附的权利要求书中所述的任何术语在本专利中以与单数意义相一致的方式来引用而言，这是为简明起见而如此做的，仅仅是为了不使读者感到混淆，且这类权利要求术语并不旨在隐含地或以其它方式限于该单数意义。最后，除非一权利要求要素是通过叙述单词“装置”和功能而没有叙述任何结构来定义的，否则任何权利要求要素的范围并不旨在基于35U.S.C.§12第6段的应用来解释。
许多发明性功能和许多发明性原理最佳地使用或利用软件程序或指令以及诸如专用IC等集成电路(IC)来实现。期望本领域的普通技术人员虽然可能要进行大量的工作和由例如可用时间、现有技术以及经济问题促动的许多设计选择，但是当受到此处所公开的概念和原理的指引时仍能够容易地以最小的实验来生成这些软件指令和程序以及IC。因此，为了简明以及最小化使根据本发明的原理和概念晦涩的任何风险，对这些软件和IC(如果有的话)的进一步讨论将限于对于较佳实施例的原理和概念所必需的那些讨论。
参考图3，用于实现所要求保护的方法和装置的示例性系统包括计算机110形式的通用计算设备。虚线轮廓中所示出的组件在技术上不是计算机110的一部分，而是用于示出图3的示例性实施例。计算机110的组件可包括但不限于，处理器120、系统存储器130、存储器/图形接口121(也被称为北桥芯片)以及I/O接口122(也被称为南桥芯片)。系统存储器130和图形处理器190可以耦合到存储器/图形接口121。监视器191或其他图形输出设备可以耦合到图形处理器190。
一系列系统总线可以耦合各种系统组件，这些系统总线包括处理器120、存储器/图形接口121和I/O接口122之间的高速系统总线123，存储器/图形接口121和系统存储器130之间的前端总线124，以及存储器/图形接口121和图形处理器190之间的高级图形处理(AGP)总线125。系统总线123可以是若干种类型的总线结构中的任一种，包括，作为示例而非限制，这些体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线和增强型ISA(EISA)总线。随着系统体系结构的进化，可以使用其他总线体系结构和芯片组，但通常大致遵循该模式。例如，诸如英特尔和AMD等公司分别支持英特尔中枢体系结构(Intel Hub Architecture，IHA)和超传输TM(Hypertransport)体系结构。
计算机110通常包括各种计算机可读介质。计算机可读介质可以是能由计算机110访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁带盒、磁带、磁盘存储或其它磁存储设备、或能用于存储所需信息且可以由计算机110访问的任何其它介质。
系统存储器130包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)131和随机存取存储器(RAM)132。系统ROM 131可包含永久系统数据143，诸如标识和制造信息。在某些实施例中，基本输入/输出系统(BIOS)也可存储在系统ROM 131中。RAM 132通常包含处理器120可以立即访问和/或目前正在其上操作的数据和/或程序模块。作为示例而非限制，图3示出了操作系统134、应用程序135、其它程序模块136和程序数据137。
I/O接口122可将系统总线123与将各种内部和外部设备耦合到计算机110的多个其他总线126、127和128耦合。串行外围接口(SPI)总线126可连接到包含帮助在诸如启动期间在计算机110内的各元件之间传递信息的基本例程的基本输入/输出系统(BIOS)存储器133。
超级输入/输出芯片160可用于连接到多个‘传统’外围设备，诸如例如，软盘152、键盘/鼠标162和打印机196。在某些实施例中，超级I/O芯片160可以用诸如低引脚数(LPC)总线等总线127来连接到I/O接口122。超级I/O芯片160的各实施例在商业市场可广泛地购买到。
在一个实施例中，总线128可以是外围部件互连(PCI)总线或其变型，可用于将更高速的外围设备连接到I/O接口122。PCI总线也可被称为夹层(Mezzanine)总线。PCI总线的变型包括快速外围部件互连(PCI-E)和扩展外围部件互连(PCI-X)总线，前者具有串行接口而后者是向后兼容的并行接口。在其他实施例中，总线128可以是串行高级技术附件(ATA)总线(SATA)或并行ATA(PATA)形式的ATA总线。
计算机110还可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图3示出了对不可移动、非易失性磁介质进行读写的硬盘驱动器140。
诸如通用串行总线(USB)存储器153、火线(IEEE 1394)、或CD/DVD驱动器156等可移动介质可直接或通过接口150连接到PCI总线128。存储介质154可以通过接口150来耦合。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。
以上描述的驱动器及其相关联的计算机存储介质为计算机110提供了对计算机可读指令、数据结构、程序模块和其它数据的存储。例如，在图3中，硬盘驱动器140被示为存储操作系统144、应用程序145、其它程序模块146和程序数据147。注意，这些组件可以与操作系统134、应用程序135、其他程序模块136和程序数据137相同，也可以与它们不同。操作系统144、应用程序145、其他程序模块146和程序数据147在这里被标注了不同的标号是为了说明至少它们是不同的副本。用户可通过诸如鼠标/键盘162等输入设备或其他输入设备组合来将命令和信息输入计算机20。其他输入设备(未示出)可以包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备通常通过诸如SPI 126、LPC 127或PCI 128等I/O接口总线中的一个来连接到处理器120，但可以使用其他总线。在某些实施例中，其他设备可经由超级I/O芯片160耦合到并行端口、红外接口、游戏端口以及诸如此类(未描绘)。
计算机110可使用经由网络接口控制器(NIC)170至一个或多个远程计算机，如远程计算机180的逻辑连接来在联网环境中操作。远程计算机180可以是个人计算机、服务器、路由器、网络PC、对等设备或其它常见的网络节点，并且通常包括上面相对于计算机110所述的许多或全部元件。图3所描绘的NIC 170和远程计算机180之间的逻辑连接可包括局域网(LAN)、广域网(WAN)或两者，但还可包括其他网络。这样的联网环境常见于办公室、企业范围计算机网络、内联网和因特网中。远程计算机180还可以表示支持与计算机110进行交互会话的web服务器。
在某些实施例中，网络接口可以在宽带连接不可用或未使用宽带连接时使用调制解调器(未描绘)。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其它手段。
图4-8示出如何基于相同场景的3D模型来解释图像数据，以便细化照相机位置在地理方面的准确性。在利用这一技术的一个实施例中，可以在飞机上安装并使用例如光检测和测距(LIDAR)设备等精度扫描仪来捕捉诸如城市地区等地理区域的几何数据。从这些LIDAR数据中，能以10厘米数量级的经度来生成包括建筑物的地区的三维模型。尽管这样的地理模型提供了有价值的资源，但是将生活示意为场景可能需要将色彩和纹理数据添加到3D模型。街道级照片可以提供所需真实性，但是，如图1所示，当照片数据与3D模型没有适当地对齐时，可能导致难以理解的混乱。基于街道的LIDAR数据可以将照片数据的源位置放置在相对于照片的对象(例如，建筑物)的一厘米之内，但是如3D模型所使用的相对于地理坐标的照相机位置可偏离多达一米或更多。当将照片数据投影到几百米高的建筑物的3D模型上时，这一源位置的不准确可容易地导致图1的失配。
为解决照相机的地理位置的不准确，可以使用更准确的机载且街道级LIDAR数据来在数学上改变照相机位置坐标，直到图像和街道级LIDAR数据最佳地拟合相同场景的3D模型。一旦沿着图像行程的两点，尤其是接近该行程的结尾的亮点，被正确地定位，来自沿着该行程的其他间隔的图像就可以使用IMU数据来准确地定位中间点。
图4是示出在一个图像行程中一点处的天际线标识的框图。街道402以及代表性建筑物404、406、408被示为表示典型的街道环境。轨道410示出了用于沿着轨道410捕捉图像数据的行程路径。可按周期性间隔沿着轨道捕捉图像。接近轨道410开头的代表性第一位置412示出了从第一位置412的角度来看的建筑物的天际线416、418和420。
一实施例使用基于本领域所知的最优路径算法的天际线检测算法。该算法取决于边缘、梯度大小和方向、以及天空分类边缘和消失点信息。例如，边缘和消失点的组合可以使用将所考虑的像素联接到消失点的线上的天空分类的像素的百分比。另一天际线检测属性可以使用基于现有的建筑物模型的经先验估计的天际线，即，3D模型自身可以用于帮助确定图像数据中的天际线。
分别为建筑物404、406、408所提取的天际线数据416、418和420可以随后在作为与3D模型的对比的一部分的确定源位置时使用。
将第一和第二位置412和414分别描绘为立方体示出了轨道410中那个点处的图像的确切源位置是在三维空间中的估计，该估计可能较准确或较不准确，取决于GPS接收的自然环境和IMU的准确度。
图5是示出在诸如图4所示的图像行程等一个图像行程中另一点处的天际线标识的框图。如上，示出了街道502以及建筑物504、506和508。轨道510示出沿着街道的图像行程进展，其中各图像沿着轨道510定期拍摄，包括接近开头的代表性第一位置512以及接近轨道510结尾的代表性第二位置514。在一些实施例中，沿着该行程的其他图像可以在计算照相机的最佳拟合实际位置时使用。
如所示出的，天际线检测可用于确定从第二位置514的街道级角度来看的每个相应的建筑物504、506、508的天际线516、518、520。
这些信息可以随后与3D模型数据相组合来为从中获得原始街道级图像的照相机的地理位置确定校正因子。
图6是描绘若干建筑物及其相关联的天际线的街道级图像602。所检测的天际线604用白线示出。如果照相机实际在它所报告的位置处，则黑线606表示3D模型的所投影的天际线。
图7示出了具有所检测的天际线边缘704的代表性建筑物702。可以定位图像源的范围由立方体706表示。立方体706的中心可以在如GPS和IMU设备所记录的照相机的位置。
如图7所描绘的，基于3D模型数据的所投影的天际线可以与图像的所检测的天际线相比较。例如，可以从立方体706的左上角定位第一投影708，可以用顶部中间的照相机位置进行第二投影710，并且可以从该立方体的右下角进行第三投影712。在操作中，可以行程在所测量位置周围3x 3x 3矩阵上的照相机位置。所提取和所投影的天际线之间的距离可以计算为图像坐标中x和y维度中绝对距离的e之和(abs(x1-x2)+abs(y1-y2))。在一些实施例中，超过100像素的距离可以不被考虑，来解决错误地检测的部分天际线。可以选择并存储与所检测和所投影的天际线之间最接近的匹配相关联的投影位置，在这一示例中，投影710表示最佳匹配。由于沿着给定轨道的行程的IMU数据非常准确，因此使用来自沿着给定轨道的数据来执行位置操作可以用于在一次计算中重定向整个轨道。
图8描绘了示出多个所投影的天际线804的街道级图像802，这些天际线表示用于生成所投影的天际线804的不同照相机位置。
图9示出了使用街道级LIDAR数据来补充天际线数据以供图像匹配。可以从照相机位置904捕捉图像数据中的建筑物902。可以在捕捉图像数据的同时记录边缘数据906和908、以及立面深度910。如上述所检测和所投影的天际线一样，边缘912、914和立面深度916信息可以与所投影的边缘以及从建筑物902的3D模型中所提取的立面信息相比较。LIDAR深度数据可以比所检测的天际线信息更稳健，并且可以在组合关于实际照相机位置的所有源信息时给予它更多权重。
对于给定一行程段，LIDAR深度的计算可以首先获得一个或多个附近建筑物的3D模型。对于每个建筑物，可以考虑面向行程片段且具有大面积和宽度的建筑物立面。基于3D建筑物模型来计算每个立面(在局部坐标系中)系统的边缘的开始和停止位置。计算对应于边缘的开始和停止触发事件、以及立面边缘到行程段上的投影。基于这些信息，可以获得距行程段的立面深度。
将开始和停止触发事件传递给LIDAR深度检测模块。传回找到的主导平面的深度。选择最接近于感兴趣立面(在质心意义上)的主导平面，并且计算差别。
如果基于LIDAR的深度与现有基于建筑物模型立面的深度的差别在给定容差之内，则考虑该差别。这被称为基于建筑物立面-LIDAR深度的差别。对于该行程段周围整个侧面的建筑物立面、所有基于建筑物立面-LIDAR深度的差别的平均值是基于LIDAR深度的优值。
LIDAR边缘计算也可以通过为给定行程段附近的建筑物获得3D建筑物模型来开始。对于每个建筑物，可以使用在局部坐标系中的建筑物几何模型来计算边缘。计算建筑物的开始和停止位置、以及对应于建筑物的触发事件。
这些开始和停止触发事件连同Lidar单元(左或右侧面)被个别地传送到LIDAR边缘检测模块。同样，可以提供在LIDAR深度图像中建筑物的侧面。LIDAR边缘检测模块检测建筑物边缘周围的主导平面，并且找出取决于建筑物侧面的边缘。
将LIDAR所检测的边缘的质心投影回建筑物的从角观看的图像。类似地，将对应于来自现有模型中建筑物边缘的点(使用与照相机相同的高度，对应于局部坐标系中建筑物角位置)投影回去。对基于边缘的成本或优值考虑这些投影的列数量的差别(以像素为单位)。这是基于图像帧完全垂直的假设下的近似成本。这对于示例性地理位置模块中通常所使用的分辨力足够合理。
对于行程段周围所有建筑物的这些差别的平均值被认为是基于LIDAR边缘的成本或优值(以像素为单位)。
图10描绘了用于确定图像数据的源位置的位移值的方法1000。在框1002处，可以加载源位置的第一位移值。在框1004，从源图像中所提取的天际线与从对应3D模型中所计算的天际线之间的天际线位移的优值。可以使用多个源图像来为所测试的每个源图像位移进行天际线优值计算。
在框1006处，可以通过比较LIDAR数据和3D模型数据来计算LIDAR边缘和立面数据的优值。
在框1008处，可计算天际线和LIDAR的优值。在一个实施例中，简单地将优值相加。在另一实施例中，例如，如果LIDAR数据的一个优值的关联的数据被认为是更准确的，则该优值可以被加权更多。
在框1010处，可以将框1008的结果与先前存储的最小值(如果有的话)比较。如果新优值小于先前最小值，则执行可跟随“是”分支到框1012。如果新优值等于或大于当前最小值，则执行可跟随“否”分支，如果还有位移值要测试，则执行可继续到框1002处。
如果从框1010采取“是”分支，在框1012处，可存储优值的新低值、以及该新低值导致的位移值。如果还有位移值需要测试，执行可继续到框1002处。
当测试了所有位移值时，可以使用与最低优值相关联的位移值来校正行程数据。
使用所建模的建筑物立面的实际图像的能力给予3D图像和地理应用程序新一级的真实性。使用以上描述的技术使得会是艰巨任务的大量地理位置数据的图像到模型的匹配能够自动化。结果，临时用户、业务应用程序开发者、玩家等可以享受大规模地理建模的准确性和真实性。
尽管上文阐明了众多不同实施例的详细描述，但是应当理解，本专利的法律范围由本专利所附的权利要求书的言辞来限定。该详细描述应被解释为仅是示例性的，且不描述本发明的每一可能的实施例，因为描述每一可能的实施例即使不是不可能的也是不切实际的。可使用现有技术或在本专利提交日之后开发的技术来实现众多替换实施例，这仍将落入定义本发明的权利要求书的范围之内。
由此，可在此处所描述和示出的技术和结构上作出许多修改和变化而不脱离本发明的精神和范围。因此，应当理解，此处所描述的方法和装置仅是说明性的，且不限制本发明的范围。

Claims (17)

1.一种校正位置数据的方法，其特征在于，包括：
将源位置分配给图像；
确定所述图像中建筑物（504）的建筑物细节；
从三维扫描中提取对应于所述建筑物细节的建筑物（504）模型；
将来自所述建筑物（504）模型的模型天际线细节投影到来自所述图像的建筑物细节上；
调整所述源位置来对齐所述建筑物细节和模型天际线细节，以便所述图像中的元素与所述模型的对应的元素在限制值内匹配，所述调整所述源位置还包括：
在由三维立方体所定义的开始点三维范围上调整开始点源位置；
使用多个图像将多个模型细节投影到每个图像的对应的多个建筑物细节上，其中每个各自的投影是基于在分隔所述立方体的矩阵的不同的单元中的给定照相机位置，计算所提取的建筑物细节和投影的模型天际线在两维中的图像坐标的绝对距离的总和以作为在所提取的建筑物细节和投影的模型天际线之间的距离，所述调整通过使用距离作为度量来执行所述匹配；以及
记录从调整源位置产生的经调整的源位置，以确定所述源位置的校正因子，以用于细化地理位置的准确性并重定向包括多个图像捕捉位置的行程路径的整个轨迹。
2.如权利要求1所述的方法，其特征在于，进一步包括：
在将所述图像应用于所述建筑物（504）模型时，使用经调整的源位置。
3.如权利要求1所述的方法，其特征在于，确定所述图像中的建筑物细节包括：
测量从所述源位置到所述建筑物（504）的立面的距离。
4.如权利要求1所述的方法，其特征在于，确定所述图像中的建筑物细节包括：
评估边缘和梯度大小；
评估线上与消失点相关联的像素；以及
从所述建筑物（504）模型中估计所述建筑物细节。
5.如权利要求1所述的方法，其特征在于，进一步包括在对所述模型细节投影（710）时，组合建筑物（504）深度数据和建筑物细节。
6.如权利要求1所述的方法，其特征在于，确定所述建筑物细节包括确定照片建筑物（504）天际线（516）。
7.如权利要求1所述的方法，其特征在于，确定建筑物细节包括确定照片建筑物（504）边缘（912）。
8.如权利要求1所述的方法，其特征在于，确定建筑物细节包括确定LIDAR数据天际线（516）。
9.如权利要求1所述的方法，其特征在于，确定建筑物细节包括确定LIDAR建筑物边缘（912）。
10.一种将图像数据对齐到建筑物（504）模型的方法，其特征在于，包括：
捕捉街道（402）级建筑物（504）图像数据信息；
将源位置分配给所述街道（402）级建筑物（504）图像数据信息；
在所述街道（402）级建筑物（504）图像数据信息中确定建筑物（504）天际线（516）、建筑物（504）边缘（912）、以及建筑物（504）立面深度（910）；
从航空数据中提取对应于与所述街道（402）级建筑物（504）图像数据信息相关联的位置的模型信息；
基于在建筑物天际线、建筑物边缘以及建筑物立面深度和模型信息的对应的元素之间的距离来生成优值函数；
对于沿街道场景的多个位置，将优值函数应用于所述街道（402）级建筑物（504）图像数据信息和所述航空数据的对应元素，并将所述多个位置的每个位置的各个优值线性组合；
基于对所述优值函数的输出的分析来计算位移因子；
通过将所述位移因子迭代地应用于所述源位置并重新计算所述位移因子来修改所述源位置；以及
使用由所述位移因子所修改的源位置来将所述街道（402）级建筑物（504）图像数据信息对齐到所述建筑物（504）模型。
11.如权利要求10所述的方法，其特征在于，应用优值函数包括分析街道（402）级天际线（516）和航空数据天际线（516）。
12.如权利要求10所述的方法，其特征在于，应用优值函数包括分析街道（402）级立面和航空数据立面。
13.如权利要求10所述的方法，其特征在于，应用优值函数包括分析街道（402）级建筑物（504）边缘（912）和航空数据建筑物（504）边缘（912）。
14.一种将图像数据对齐到建筑物（504）模型的系统，其特征在于，包括：
用于捕捉街道（402）级建筑物（504）图像数据信息的装置；
用于将源位置分配给所述街道（402）级建筑物（504）图像数据信息的装置；
用于在所述街道（402）级建筑物（504）图像数据信息中确定建筑物（504）天际线（516）、建筑物（504）边缘（912）、以及建筑物（504）立面深度（910）的装置；
用于从航空数据中提取对应于与所述街道（402）级建筑物（504）图像数据信息相关联的位置的模型信息的装置；
用于基于在建筑物天际线、建筑物边缘以及建筑物立面深度和模型信息的对应的元素来生成优值函数的装置；
用于对于沿街道场景的多个位置，将优值函数应用于所述街道（402）级建筑物（504）图像数据信息和所述航空数据的对应元素，并将所述多个位置的每个位置的各个优值线性组合的装置；
用于基于对所述优值函数的输出的分析来计算位移因子的装置；
用于通过将所述位移因子迭代地应用于所述源位置并重新计算所述位移因子来修改所述源位置的装置；以及
用于使用由所述位移因子所修改的源位置来将所述街道（402）级建筑物（504）图像数据信息对齐到所述建筑物（504）模型的装置。
15.如权利要求14所述的系统，其特征在于，用于应用优值函数的装置包括用于将街道（402）级建筑物（504）天际线（516）、边缘（912）以及立面信息与对应的航空数据的建筑物（504）天际线（516）、边缘（912）以及立面信息相比较的装置。
16.如权利要求14所述的系统，其特征在于，用于捕捉街道（402）级建筑物（504）图像数据信息的装置包括用于捕捉街道（402）两侧的街道（402）级建筑物（504）图像数据信息的装置。
17.如权利要求14所述的系统，其特征在于，用于捕捉街道（402）级建筑物（504）图像数据信息的装置包括用于捕捉二维照片和三维激光测距(LIDAR)数据中的至少一个的装置。
CN2009801247047A 2008-06-25 2009-05-20 街道级图像到3d建筑物模型的对准 Active CN102084398B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/145,515 US8284190B2 (en) 2008-06-25 2008-06-25 Registration of street-level imagery to 3D building models
US12/145,515 2008-06-25
PCT/US2009/044673 WO2009158083A2 (en) 2008-06-25 2009-05-20 Registration of street-level imagery to 3d building models

Publications (2)

Publication Number Publication Date
CN102084398A CN102084398A (zh) 2011-06-01
CN102084398B true CN102084398B (zh) 2013-09-25

Family

ID=41445164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801247047A Active CN102084398B (zh) 2008-06-25 2009-05-20 街道级图像到3d建筑物模型的对准

Country Status (13)

Country Link
US (1) US8284190B2 (zh)
EP (1) EP2289051B1 (zh)
JP (1) JP5450619B2 (zh)
KR (1) KR101629042B1 (zh)
CN (1) CN102084398B (zh)
AU (1) AU2009262925B2 (zh)
BR (1) BRPI0913210A2 (zh)
CA (1) CA2723875C (zh)
MX (1) MX2010014049A (zh)
MY (1) MY166106A (zh)
RU (1) RU2010153345A (zh)
WO (1) WO2009158083A2 (zh)
ZA (1) ZA201007844B (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100061593A1 (en) * 2008-09-05 2010-03-11 Macdonald Willard S Extrapolation system for solar access determination
JP4560128B1 (ja) * 2009-08-13 2010-10-13 株式会社パスコ 地図画像統合データベース生成システム及び地図画像統合データベース生成プログラム
US20150278878A1 (en) * 2009-09-10 2015-10-01 Google Inc. System and method of displaying advertisements
JP5571199B2 (ja) * 2010-01-26 2014-08-13 サーブ アクティエボラーグ 地面に基づく画像と上からとられた画像の組み合わせに基づく三次元モデル法
WO2011091552A1 (en) * 2010-02-01 2011-08-04 Intel Corporation Extracting and mapping three dimensional features from geo-referenced images
US8786845B2 (en) 2010-04-08 2014-07-22 Navteq B.V. System and method of generating and using open sky data
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US20120105581A1 (en) * 2010-10-29 2012-05-03 Sony Corporation 2d to 3d image and video conversion using gps and dsm
US8855911B2 (en) 2010-12-09 2014-10-07 Honeywell International Inc. Systems and methods for navigation using cross correlation on evidence grids
EP2686827A1 (en) * 2011-03-18 2014-01-22 C3 Technologies AB 3d streets
US9746988B2 (en) * 2011-05-23 2017-08-29 The Boeing Company Multi-sensor surveillance system with a common operating picture
US9639757B2 (en) * 2011-09-23 2017-05-02 Corelogic Solutions, Llc Building footprint extraction apparatus, method and computer program product
US8818722B2 (en) 2011-11-22 2014-08-26 Honeywell International Inc. Rapid lidar image correlation for ground navigation
US9236024B2 (en) 2011-12-06 2016-01-12 Glasses.Com Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
EP2639781A1 (en) * 2012-03-14 2013-09-18 Honda Motor Co., Ltd. Vehicle with improved traffic-object position detection
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9378584B2 (en) 2012-05-23 2016-06-28 Glasses.Com Inc. Systems and methods for rendering virtual try-on products
US9157743B2 (en) 2012-07-18 2015-10-13 Honeywell International Inc. Systems and methods for correlating reduced evidence grids
US9183354B2 (en) * 2012-08-15 2015-11-10 Musc Foundation For Research Development Systems and methods for image guided surgery
EP2946365B1 (en) * 2013-01-21 2018-08-08 Vricon Systems Aktiebolag Method and arrangement for developing a three dimensional model of an environment
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
CN105103089B (zh) * 2013-06-28 2021-11-09 谷歌有限责任公司 用于基于视频输入生成准确传感器校正的系统和方法
CA2820305A1 (en) 2013-07-04 2015-01-04 University Of New Brunswick Systems and methods for generating and displaying stereoscopic image pairs of geographical areas
US11721066B2 (en) 2013-07-23 2023-08-08 Hover Inc. 3D building model materials auto-populator
AU2013222016A1 (en) * 2013-08-30 2015-03-19 Canon Kabushiki Kaisha Method, system and apparatus for determining a property of an image
US11004259B2 (en) 2013-10-25 2021-05-11 Hover Inc. Estimating dimensions of geo-referenced ground level imagery using orthogonal imagery
US9424672B2 (en) 2013-11-07 2016-08-23 Here Global B.V. Method and apparatus for processing and aligning data point clouds
US9704291B2 (en) 2013-11-08 2017-07-11 Here Global B.V. Structure model creation from a three dimensional surface
EP3066644A1 (en) * 2013-11-08 2016-09-14 Google, Inc. Image based location determination
US10412594B2 (en) 2014-07-31 2019-09-10 At&T Intellectual Property I, L.P. Network planning tool support for 3D data
WO2016107989A1 (en) * 2014-12-31 2016-07-07 Aalto University Foundation Estimation of lower bounds for deviations of as-built structures from as-designed models
EP3271900A4 (en) * 2015-03-17 2019-03-06 Environmental Systems Research Institute, Inc. INTERACTIVE DIMENSIONING OF PARAMETRIC MODELS
US10373343B1 (en) * 2015-05-28 2019-08-06 Certainteed Corporation System for visualization of a building material
US10178303B2 (en) * 2015-05-29 2019-01-08 Hover Inc. Directed image capture
US9507028B1 (en) * 2015-07-23 2016-11-29 Hyundai Motor Company Positioning apparatus and method for vehicle
US10339193B1 (en) * 2015-11-24 2019-07-02 Google Llc Business change detection from street level imagery
CN105516584B (zh) * 2015-11-24 2019-07-05 中国科学院生态环境研究中心 全景影像采集系统、基于其的测量天际线的装置和方法
US10430961B2 (en) 2015-12-16 2019-10-01 Objectvideo Labs, Llc Using satellite imagery to enhance a 3D surface model of a real world cityscape
US10127685B2 (en) 2015-12-16 2018-11-13 Objectvideo Labs, Llc Profile matching of buildings and urban structures
US10223829B2 (en) 2016-12-01 2019-03-05 Here Global B.V. Method and apparatus for generating a cleaned object model for an object in a mapping database
US11127201B2 (en) * 2017-01-04 2021-09-21 Gaia3D Inc. Method for providing 3D GIS web services
US20180238690A1 (en) 2017-02-17 2018-08-23 The Charles Stark Draper Laboratory, Inc. Stellar-Landscape/Horizon Image Navigation
CN112815923B (zh) * 2019-11-15 2022-12-30 华为技术有限公司 视觉定位方法和装置
CN111192366B (zh) * 2019-12-30 2023-04-07 重庆市勘测院 用于建筑高度三维控制的方法及装置、服务器
US11734767B1 (en) 2020-02-28 2023-08-22 State Farm Mutual Automobile Insurance Company Systems and methods for light detection and ranging (lidar) based generation of a homeowners insurance quote
US11107244B1 (en) * 2020-04-17 2021-08-31 Applied Research Associates, Inc. Location determination in a GPS-denied environment with user annotation
US11900535B1 (en) * 2020-04-27 2024-02-13 State Farm Mutual Automobile Insurance Company Systems and methods for a 3D model for visualization of landscape design
US11678140B2 (en) 2020-06-29 2023-06-13 The United States Of America As Represented By The Secretary Of The Army Localization by using skyline data
CN111899512B (zh) * 2020-08-05 2021-04-27 深圳大学 结合天际线观测的车辆轨迹提取方法、系统及存储介质
KR102481537B1 (ko) * 2020-12-08 2022-12-23 주식회사 한화방산 영상 데이터와 지형 고도 데이터를 이용하여 이동체의 방위각 및 자세를 추정하는 장치 및 방법
KR102520189B1 (ko) * 2021-03-02 2023-04-10 네이버랩스 주식회사 무인 비행체 또는 항공기에 의해 촬영된 항공 영상에 기반하여 hd 맵을 생성하는 방법 및 시스템
CN113031041B (zh) * 2021-03-11 2022-06-10 南京航空航天大学 一种基于天际线匹配的城市峡谷组合导航定位方法
WO2023244978A1 (en) * 2022-06-14 2023-12-21 President And Fellows Of Harvard College Building as an instrumentation for data-driven building operation

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5652717A (en) * 1994-08-04 1997-07-29 City Of Scottsdale Apparatus and method for collecting, analyzing and presenting geographical information
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
JP3512992B2 (ja) * 1997-01-07 2004-03-31 株式会社東芝 画像処理装置および画像処理方法
US6420698B1 (en) * 1997-04-24 2002-07-16 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three-dimensional objects
US6597818B2 (en) * 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
US7509241B2 (en) * 2001-07-06 2009-03-24 Sarnoff Corporation Method and apparatus for automatically generating a site model
US20030012410A1 (en) * 2001-07-10 2003-01-16 Nassir Navab Tracking and pose estimation for augmented reality using real features
US7103211B1 (en) * 2001-09-04 2006-09-05 Geometrix, Inc. Method and apparatus for generating 3D face models from one camera
US7693325B2 (en) * 2004-01-14 2010-04-06 Hexagon Metrology, Inc. Transprojection of geometry data
JP2005339127A (ja) * 2004-05-26 2005-12-08 Olympus Corp 画像情報表示装置及び画像情報表示方法
US7728833B2 (en) * 2004-08-18 2010-06-01 Sarnoff Corporation Method for generating a three-dimensional model of a roof structure
US9049396B2 (en) * 2004-09-29 2015-06-02 Hewlett-Packard Development Company, L.P. Creating composite images based on image capture device poses corresponding to captured images
IL164650A0 (en) * 2004-10-18 2005-12-18 Odf Optronics Ltd An application for the extraction and modeling of skyline for and stabilization the purpese of orientation
US7616807B2 (en) * 2005-02-24 2009-11-10 Siemens Corporate Research, Inc. System and method for using texture landmarks for improved markerless tracking in augmented reality applications
JP2007026201A (ja) 2005-07-19 2007-02-01 Sega Corp 画像処理装置、道路画像描画方法および道路画像描画プログラム
US7840032B2 (en) * 2005-10-04 2010-11-23 Microsoft Corporation Street-side maps and paths
US7944547B2 (en) * 2006-05-20 2011-05-17 Zheng Wang Method and system of generating 3D images with airborne oblique/vertical imagery, GPS/IMU data, and LIDAR elevation data
US7752018B2 (en) * 2006-07-20 2010-07-06 Harris Corporation Geospatial modeling system providing building roof type identification features and related methods
US7831089B2 (en) * 2006-08-24 2010-11-09 Microsoft Corporation Modeling and texturing digital surface models in a mapping application

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Automatic Pose Recovery for High-Quality Textures Generation;Jinhui Hu et al;《Proceedings of the 18th International Conference on Pattern Recognition》;20061231;第2.3节，第4节第3段，及图2 *
Integrating LiDAR, Aerial Image and Ground Images for Complete Urban Building Modeling;Jinhui Hu et al;《The Third International Symposium on 3D Data Processing, Visualization, and Transmission》;20060616;第3、4节，及图1、图2 *
Jinhui Hu et al.Automatic Pose Recovery for High-Quality Textures Generation.《Proceedings of the 18th International Conference on Pattern Recognition》.2006,第2.3节，第4节第3段，及图2.
Jinhui Hu et al.Integrating LiDAR, Aerial Image and Ground Images for Complete Urban Building Modeling.《The Third International Symposium on 3D Data Processing, Visualization, and Transmission》.2006,第3、4节，及图1、图2.

Also Published As

Publication number Publication date
CN102084398A (zh) 2011-06-01
WO2009158083A3 (en) 2010-04-01
JP5450619B2 (ja) 2014-03-26
JP2011526029A (ja) 2011-09-29
EP2289051A2 (en) 2011-03-02
CA2723875C (en) 2018-11-20
RU2010153345A (ru) 2012-06-27
ZA201007844B (en) 2012-02-29
KR20110030641A (ko) 2011-03-23
AU2009262925A1 (en) 2009-12-30
AU2009262925B2 (en) 2014-06-26
EP2289051B1 (en) 2017-12-27
BRPI0913210A2 (pt) 2016-01-12
US8284190B2 (en) 2012-10-09
US20090322742A1 (en) 2009-12-31
EP2289051A4 (en) 2013-09-11
MX2010014049A (es) 2011-02-22
KR101629042B1 (ko) 2016-06-09
CA2723875A1 (en) 2009-12-30
MY166106A (en) 2018-05-24
WO2009158083A2 (en) 2009-12-30

Similar Documents

Publication Publication Date Title
CN102084398B (zh) 街道级图像到3d建筑物模型的对准
Dominici et al. UAV photogrammetry in the post-earthquake scenario: case studies in L'Aquila
CN101617197B (zh) 测量装置、测量方法及地物识别装置
Ismail et al. A methodology for precise camera calibration for data collection applications in urban traffic scenes
Moreau et al. Fisheye-based method for GPS localization improvement in unknown semi-obstructed areas
Wang et al. Automated road sign inventory system based on stereo vision and tracking
CN103377476A (zh) 使用三维地理弧的多模型数据的图像配准
Gerke Using horizontal and vertical building structure to constrain indirect sensor orientation
US9551579B1 (en) Automatic connection of images using visual features
CN104077760A (zh) 一种航空摄影测量的快速拼接系统及其实现方法
CN110260857A (zh) 视觉地图的校准方法、装置及存储介质
US10432915B2 (en) Systems, methods, and devices for generating three-dimensional models
Cheng et al. Extracting three-dimensional (3D) spatial information from sequential oblique unmanned aerial system (UAS) imagery for digital surface modeling
Jahanshahi et al. Accurate and robust scene reconstruction in the presence of misassociated features for aerial sensing
JP7372616B2 (ja) 石礫検出システム、石礫検出方法及びプログラム
Drouin et al. Modeling and simulation framework for airborne camera systems
Fong et al. Computer vision centric hybrid tracking for augmented reality in outdoor urban environments
Schilling et al. Mind the gap-a benchmark for dense depth prediction beyond lidar
Dev et al. Production of orthophoto map using mobile photogrammetry and comparative assessment of cost and accuracy with satellite imagery for corridor mapping: a case study in Manesar, Haryana, India
Jiang et al. 3D reconstruction of spherical images based on incremental structure from motion
Eiseman et al. Automatic odometry-less opendrive generation from sparse point clouds
RU2818049C2 (ru) Способ корректировки цифровой модели высот (варианты)
JP7075090B1 (ja) 情報処理システム、及び、情報処理方法
Han et al. Mapping road surface features using single-camera images acquired by a mobile mapping system
Aldelgawy et al. Semi‐automatic reconstruction of object lines using a smartphone’s dual camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150508

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150508

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20170505

Address after: American California

Patentee after: UBER TECHNOLOGIES INC.

Address before: Washington State

Patentee before: Micro soft technique license Co., Ltd