CN105637530B - 一种使用众包视频的3d模型更新的方法及系统 - Google Patents

一种使用众包视频的3d模型更新的方法及系统 Download PDF

Info

Publication number
CN105637530B
CN105637530B CN201480056794.1A CN201480056794A CN105637530B CN 105637530 B CN105637530 B CN 105637530B CN 201480056794 A CN201480056794 A CN 201480056794A CN 105637530 B CN105637530 B CN 105637530B
Authority
CN
China
Prior art keywords
video data
image
captured
projection
place
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480056794.1A
Other languages
English (en)
Other versions
CN105637530A (zh
Inventor
安德鲁·卢金比尔
史蒂文·麦克斯维尔·塞茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN105637530A publication Critical patent/CN105637530A/zh
Application granted granted Critical
Publication of CN105637530B publication Critical patent/CN105637530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

示例性方法(1000)包括提示用户在一个地点处捕获视频数据。该地点与导航方向相关联(1010)。由一个或多个计算设备接收表示与所捕获的视频数据相关联的视觉取向和定位信息的信息(1020)，并访问表示描绘与该地点相关联的对象的3D几何结构的所存储的数据模型(1030)。在来自所捕获的视频数据与3D几何结构的投影的对应图像之间检测一个或多个候选变化区(1040)。每个候选变化区指示所捕获的视频数据与投影之间的视觉差异的区域。当检测到候选变化区的计数小于阈值时(1045)，基于与所捕获的视频数据相关联的视觉取向和定位信息利用所捕获的视频数据的至少一部分来更新模型数据(1050)。

Description

一种使用众包视频的3D模型更新的方法及系统
相关申请的交叉引用
本申请是2013年10月16日提交的美国专利申请号14/055,132的继续申请并在2014年8月26日作为美国专利号8,818,081发布，其公开被通过引用结合到本文中。
技术领域
本申请涉及使用众包视频的3D模型更新。
背景技术
真实世界3D模型可以描绘诸如建筑物和纪念碑的位于某个远处或令人感兴趣的地理地点处的对象。通常，创建真实世界3D模型的当前技术是基于大规模收集努力(例如，专业地收集的空中和其它影像)。然而，这可以是成本高昂且费时的过程。此外，这些3D模型可能在收集完成之后由于该地点处的变化而随着时间推移变得过时和不准确。
发明内容
本公开的方面可以有利于提供通过使用众包成像数据来更新地点的3D模型的可缩放方法。例如，通过从一个地点处的许多用户接收视频段，可以维护该地点处的准确且最新的3D模型。
本技术的一个方面提供了一种包括使用一个或多个计算设备来提示用户在一个地点处捕获视频数据的方法。所述地点可与用于所述用户的导航方向相关联。所述计算设备可接收所捕获的视频数据，所捕获的视频数据包括表示与所捕获的视频数据相关联的视觉取向和定位信息的信息，并且可访问所存储的数据模型，所述所存储的数据模型表示描绘与所述地点相关联的对象的3D几何结构。使用本计算设备，可在来自所捕获的视频数据的对应图像与所述3D几何结构的投影的对应图像之间检测一个或多个候选变化区。每个候选变化区指示所捕获的视频数据与所述投影之间的视觉差的区域。当所述计算设备检测到一个或多个候选变化区的计数在阈值以下时，可基于与所捕获的视频数据相关联的视觉取向和定位信息用所捕获视频数据的至少一部分来更新所存储的模型数据。
在一个示例中，与所捕获的视频数据相关联的定位信息与用于所述3D几何结构的定位信息重叠。在本示例中，可确定在所捕获的视频数据中描绘的一个或多个对象与在所述投影中描绘的一个或多个对象之间的视觉相关性。
在另一示例中，检测包括将来自所捕获的视频数据的特定图像的某个区域中的特征与来自所述投影的对应图像中的特征相比较，以获得差异值。
在另一示例中，更新所存储的模型数据包括将来自所捕获的视频数据的图像整合到所述3D几何结构中。可基于来自所述投影的对应图像来确定所整合图像的对准。可使用与来自所述投影的对应图像相关联的视觉取向信息来调整所整合图像的对准。
本技术的另一方面提供了一种包括指令的非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时促使所述一个或多个处理器执行一种包括提示用户在一个地点处捕获视频数据的方法。所述地点可与用于所述用户的导航方向相关联。所述处理器可接收所捕获的视频数据，所捕获的视频数据包括表示与所捕获的视频数据相关联的视觉取向和定位信息的信息，并且可访问所存储的数据模型，所述所存储的数据模型表示描绘与所述地点相关联的对象的3D几何结构。使用所述一个或多个处理器，可在来自所捕获的视频数据的对应图像与所述3D几何结构的投影之间检测一个或多个候选变化区。每个候选变化区指示所捕获的视频数据与所述投影之间的视觉差的区域。当所述处理器检测到所述一个或多个候选变化区的计数在阈值以下时，可基于与所捕获的视频数据相关联的视觉取向和定位信息利用所捕获的视频数据的至少一部分来更新所存储的模型数据。
本技术的另一方面提供了一种包括存储器和被耦合到所述存储器的一个或多个处理器的系统。所述一个或多个处理器被配置成提示用户在一个地点处捕获视频数据。该地点可与用于用户的导航方向相关联。可接收表示与所捕获的视频相关联的视觉取向和定位信息的信息，并且可访问所存储的数据模型，所述所存储的数据模型表示描绘与所述地点相关联的对象的3D几何结构。然后，可在来自所捕获的视频数据与3D几何结构的投影的对应图像之间检测一个或多个候选变化区。每个候选变化区指示所捕获的视频数据与投影之间的视差的区域。当所述一个或多个处理器检测到一个或多个候选变化区的计数在阈值以下时，可基于与所捕获的视频数据相关联的视觉取向和定位信息利用所捕获的视频数据的至少一部分来更新所存储的模型数据。
附图说明
图1是根据本公开的各方面的图像捕获过程的图示。
图2A—B图示出根据本公开的各方面的用于设备的取向参数。
图3是根据本公开的各方面的图像处理系统的图示。
图4是根据本公开的各方面的图3的图像处理系统的各方面的图示。
图5是根据本公开的各方面的图像比较技术的图示。
图6是根据本公开的各方面的图像分析技术的图示。
图7是根据本公开的各方面的更新技术的图示。
图8是根据本公开的各方面的系统的示意图。
图9是根据本公开的各方面的系统的框图。
图10是根据本公开的各方面的方法的流程图。
具体实施方式
当参考实施例的以下描述和附图来考虑时将认识到本公开的各方面、特征和优点。不同图中的相同附图标记可识别相同或类似元件。此外，以下描述不是限制性的；本技术的范围由所附权利要求和等同物限定。虽然根据示例性实施例的某些过程在图中被示为以线性方式发生，但这并不是要求，除非在本文中明确地说明。可按照不同的顺序或同时地执行不同过程。也可添加或省略步骤，除非另外说明。
本公开一般地涉及一种通过使用众包图像(诸如来自视频段的图像)来更新地点的3D模型的可缩放方法。这些图像可以提供用于修正、更新3D模型和向其进行添加的信息。在一些方面，可采用本文所述的技术作为应用以供诸如移动电话的移动设备使用。虽然下面结合某些类型的移动设备来讨论本公开的各方面，但可以在用于其它类型的移动设备的应用中使用本文所述的技术，所述其他类型的移动设备例如个人计算机、视频相机、或包括用于捕获视频/数字图像的能力的可穿戴头戴式计算机。
在一些实施例中，用户可能必须安装应用和/或选择服务以便获得本文所述的技术的益处。在此类实施例中，如果用户没有这样做，则用户可能得不到提示且可能不具有帮助更新模型的机会。
在一个此类实施例中，例如，用户可以接收到特定地点的方向。在本示例中，当用户到达该地点处时，可要求其拍摄短视频段，应用然后将其上传到中央服务器。可使用描绘用户在该地点处看到的对象的这段视频段来更新该地点的3D模型。在一些情况下，提示用户一般地在该地点周围移动移动设备或者以特定方式移动设备从而捕获该地点的某些部分。
通过从给定地点处的许多用户接收视频段，可以维护该地点的准确且最新的3D模型。在这方面，可在该视频段中描绘的一个或多个对象与3D模型的投影(例如，重构目标图像)之间确定视觉相关性。3D模型的这些投影描绘与该地点相关联的对象。因此，在来自视频段的对应图像与3D模型的投影之间检测一个或多个候选变化区。每个候选变化区可指示对应图像之间的视觉差异的区域。
如果一个或多个候选变化区的计数在某个阈值以下，则然后用该视频段的至少一部分来更新3D模型。例如，来自该视频段的图像被基于与该视频段相关联的视觉取向和定位信息而整合到3D模型中。如果一个或多个候选变化区的计数满足或超过某个阈值，则该视频段可能不用来更新3D模型，或者可以其他方式丢弃。以这种方式来更新3D 模型的优点是将确保基于新视频段而施加于3D模型的改变是逐渐地完成的。
如上所述，在一些实施例中，为了获得本文所述的技术的益处，可要求用户选择设置和/或安装应用。另外，某些数据在其被存储或使用之前可以被以一个或多个方式处理，使得个人可识别信息被移除。例如，可处理用户的身份，使得对于用户而言不能确定个人可识别信息，或者可将在该处获得地点信息的用户的当前和历史地点广义化(诸如到城市、邮政编码或州级别)，使得不能确定用户的特定地点。
图1是可采用的图像捕获过程100的图示。在许多情况下，用户能够使用移动设备来获得到地点的方向。例如，用户可向安装在移动设备上的应用中输入用于到地点(诸如到达著名餐馆)的方向的请求。作为回答，应用可在设备的显示屏上显示到该地点的逐向导航的方向。
使用相同或另一设备，用户在到达该地点处时可拍摄其周围环境的视频段。例如，如图1中所示，用户105中的一个或多个可使用诸如移动设备101的设备来在其地点处捕获对象(例如，建筑物102、104 和106)的图像。由用户105拍摄的视频段可以以一般地垂直于地面的角或者在移动设备101处于或接近地平面定位的地点捕获该地点处的感兴趣的人、场所或东西的图像。
在一些情况下，一旦用户到达该地点处则立即提示用户105捕获其周围环境的图像。例如，安装在移动设备101上的应用可提示用户 105中的一个或多个在该地点处在一般或特定方向上拍摄短视频段。所述图像可捕获可能对于用户105或应用的其它用户而言感兴趣的该地点处的对象。可基于例如全球定位服务(例如，GPS)来检测用户在该地点处的到达。在这方面，移动设备101可装配有GPS组件，其可用来确定用户105中的一个或多个何时到达该地点处。
随着许多用户在该地点处捕获其周围环境的图像，可以使用这些图像来更新和维护与该地点相关联的3D模型。为了捕获图像，用户的移动设备可装配有相机或结合到设备中的其它类型的图像捕获组件。例如，移动设备101可包括能够捕获对象的数字图像的相机，诸如数字静止相机、数字视频相机和/或图像传感器。可用常规格式来存储这些图像，诸如JPEG或MPEG或其它类型的格式。可将图像以本地方式存储在移动设备101的存储器中，诸如RAM中或闪存卡上。替选地，可捕获并远程地存储图像。
如上所述，移动设备的用户可以在不同地点处捕获感兴趣的人、场所、或东西的图像。通常，图像可以以如可由图像捕获设备捕获的那样多的细节来包含与地点相关联的那样多的对象(诸如街道灯光、标牌和广告、山、树、雕塑、水域、店面等)。除与地点相关联之外，图像还可与指示图像的取向的信息相关联。例如，图像的取向可简单地与相机角相对应，诸如为真北偏东30°和从地平面上升2°的角。如果图像是以一个地点为中心的360°全景，则该取向可指示与以直接地平行于地面的角从相机位置向正北看相对应的图像的部分。
在图2A—B中，示出了用于设备(诸如图1中的移动设备101)的相机取向参数的图示。可用诸如X、Y以及Z轴的三个维度来表达该相机取向参数，其中，X轴表示纬度位置、Y轴表示经度位置、且Z 轴表示设备相对于垂直于重力方向的平面(例如，地面)的位置。为了容易理解而非限制而应假设相机角相对于设备101的取向而言是固定的。在这方面，图2A图示出设备101相对于地面的潜在俯仰角(朝着设备的左侧看)。
图2B图示出设备101的潜在纬度/经度角(朝着设备的顶侧向下看)，例如，其中相机相对于纬度和经度指向的相机方向。共同地，俯仰角和纬度/经度角限定相机的姿势或地点和取向。还可捕获滚转(绕着设备101的Y轴的旋转)、偏航/方位、和/或高度。这些及其它图像相关信息可被设备101中的加速度计(未示出)或其它组件作为数值输出、被设备的处理器使用、并存储在设备101的存储器中。
一旦捕获到图像，则可以将其用来访问和更新与该地点相关联的 3D数据模型。例如，可采用应用来识别关于图像的信息，诸如图像中的对象的地点和视觉取向。然后，可将关于图像的相关信息提供给用于识别在该处拍摄图像的地点的对应数据模型的系统。下面相对于图3 来进一步描述用于处理被用于更新数据模型的这些类型的图像的系统的示例。
图3图示出用于接收许多输入图像308、针对相关信息分析该图像、并更新与图像308中描绘的地点相关联的数据模型的图像处理系统300。如所示，系统300可具有许多过滤模块以识别与输入图像308 相关联的地点和视觉取向。例如，所述模块可包括地点匹配过滤器310 和视觉取向过滤器312，地点匹配过滤器310用以确定与输入图像相关联的地点，视觉取向过滤器312用以确定图像中描绘的对象的取向。还可采用其它过滤模块(未示出)。所述过滤模块可采用不同的技术以用于分析图像。例如，视觉取向过滤器312可包括用于分析在输入图像中描绘的对象的取向的软件。
所述模块被示为连接到一个或多个数据模型数据库314。这些数据库可存储与可对应于在该处捕获到输入图像308的地点相关联的数据模型。这些模块可以串行或并行方式操作。系统300的另一模块316 可使用例如过滤模块的结果来更新、修正与地点相关联的数据模型数据库314中的数据模型并向其进行添加。
为了对与输入图像相对应的数据模型进行定位，系统300可使用地点匹配过滤器310的结果。例如，系统300可选择包括位于与输入图像308相关联的定位信息的重叠区域内的定位信息的数据模型。然后，可使用与数据模型相关联的图像投影来重构目标图像，其描绘数据模型所表示的地点的特定视图。下面相对于图4来更详细地描述用于基于数据模型来重构目标图像的此过程。
图4图示出如上所述的图3的图像处理系统300的方面400。如所示，与数据模型相关联的3D几何结构416可包括许多图像投影 416A—E。每个图像投影可包括例如在视频段中捕获的若干相关图像。当使用与每个相关图像一起存储的信息来将图像投影416A—E组合时，可重构描绘在该处拍摄相关图像的地点处的对象(例如，建筑物 102—106)的目标图像426。为了确定数据模型是否与在一个地点处捕获的一组输入图像相对应，可将该输入图像与跟数据模型相关联的3D 几何结构416相比较。
图5图示出图像比较技术500。如所示，可将输入图像508中的一个或多个图像与3D几何结构416的图像投影相比较。可基于与两个图像相关联的信息来确定输入图像508与图像投影之间的对应关系。此信息可以包括视觉取向信息，其可指示在图像中描绘的对象的视觉取向。如果与输入图像508相关联的视觉取向信息和图像投影一致，则输入图像508中的一个或多个图像与来自图像投影的一个或多个图像相对应。
在一些方面，可通过分析在两个图像中描绘的对象之间的视觉相关性来确定输入图像508与图像投影之间的进一步对应关系。在这方面，可移除或者以其他方式忽略在输入图像508中描绘的某些对象(诸如汽车和人)，或者可预处理输入图像508以便简化输入图像508与图像投影的比较。
如果在输入图像508与3D几何结构416的图像投影之间不存在所确定的对应图像，则可丢弃输入图像508，或者在一些情况下其可以用来对先前未被整合到数据模型中的该地点的新图像进行建模。如果确定了输入图像508与3D几何结构416的图像投影之间的对应关系，则分析对应图像以对许多变化区进行定位。
图6图示出图像分析技术600。如所示，可在输入图508与3D几何结构416的图像投影之间确定许多变化区611—615和621—625。每个变化区表示候选区域，其指示输入图508的对应区域与图像投影的对应区域之间的视觉差异的区域。例如，如图6中所示，来自输入图像508的变化区615可与变化区625所表示的3D几何结构416的图像投影的特定区域相对应。
可基于图像分析来确定对应变化区的评分。例如，该评分可基于在对应图像中描绘的对象的视觉特征中的差异之间的相关性。该评分可进一步或替选地基于其它图像信息与图像中描绘的对象之间的相关性或其它常规图像分析方法。如果特定对应变化区的评分满足一定水平，则可以确定被变化区覆盖的地点的特定区域已明显改变。
如果由图像分析确定的变化区的计数在预定阈值水平以下，则可用输入图像508中的一个或多个图像来更新数据模型。这可确保对3D 模型的改变是逐渐地施加的。替选地，如果变化区的计数满足或超过预定阈值水平，则输入图像508将不被用来更新数据模型并可丢弃。
图7图示出例如可用来更新地点的数据模型的更新技术700。为了更新存储在数据模型数据库314中的地点的数据模型，可将一个或多个输入图像508整合到与数据模型相关联的图像416的3D几何结构中。如上文所讨论的，此更新可基于与输入图像508相关联的视觉取向和定位信息，以及用于来自3D几何结构416的对应图像的类似信息。在一些情况下，可调整输入图像508的对准，使得可将所述图像无缝地整合到数据模型中。例如，输入图像508的对准可涉及更新和/或修正输入图像508的观察角以与跟数据模型相关联的3D几何结构416的图像投影相对应。
虽然可以如上所述地用以本地方式安装在移动设备(诸如移动电话)上的应用来执行图像处理的各方面，但在远程以及在本地(或其某种组合)完成处理可以是更加可行的。例如，类似于应用服务器的远程计算设备可执行图像处理的一些或所有方面。
图8图示出包括用于执行本公开的各方面的计算设备的系统800 的示例。如所示，系统800描绘可以单独地或在联网配置中使用的各种计算设备。例如，本图图示出具有多个计算机802和820以及类似于移动电话830、PDA 840、和/或膝上计算机/上网本850的其它类型的移动设备的计算机网络。这些不同设备可经由本地总线或直接连接 818被互连和/或可经由通信网络895被耦合，所述通信网络895诸如 LAN、WAN、互联网等，且其可以是有线或无线的。
每个计算设备可包括例如用户输入设备(诸如键盘824和鼠标826 和/或诸如输入笔、操纵杆、按钮、触摸屏等各种其它类型的输入设备)，以及显示器822(其可以包括例如CRT、LCD、等离子屏幕监视器、TV、投影仪等)。每个计算机802和820可以是个人计算机、应用服务器等。仅仅举例来说，计算机820可以是个人计算机，而计算机802可以是服务器。诸如数据模型数据库314的数据库可被系统800的服务器或其它设备中的一个或多个访问。
图9是可用来维护如本文所述的数据模型数据库的系统900的框图。如所示，系统900包括被耦合到网络995的服务器902和能够通过网络995与服务器902通信的许多客户端设备(诸如客户端设备930 和940)。服务器902可包括处理器904、存储器906、以及通常存在于通用计算机中的其它组件。
服务器902的存储器906可存储可由处理器904访问的信息，包括可由处理器904执行的指令908、以及数据912。存储器906可以是可操作用于存储可由处理器904访问的信息的一种存储器，其包括非暂时性计算机可读介质或存储可借助于电子设备来读取的数据的其它介质，诸如硬盘驱动器、存储卡、只读存储器(“ROM”)、随机存取存储器(“RAM”)、数字多功能盘(“DVD”)或其它光盘以及其它具有写能力的存储器和只读存储器。本文所公开的主题可包括前述事项的不同组合，由此指令908和数据912的不同部分被存储在不同类型的介质上。
虽然图9在功能上将处理器904和存储器906图示为在相同块内，处理器904和存储器906实际上可包括多个处理器和存储器，其可被存储在相同物理壳体内或者可不这样。例如，可将一些指令908和数据912存储在只读计算机芯片内的可移动CDR-OM等上面。可将一些或所有指令和数据存储于在物理上远离处理器904但仍可被其访问的地点上。同样地，处理器904可实际上包括一组处理器，其可并行地操作或者可不这样。
数据912可根据指令908被处理器904检索、存储、或修改。例如，虽然本公开不受特定数据结构的限制，但可将数据912存储在计算机寄存器中、作为具有多个不同字段和记录的表而存储在关系数据库中、XML文档或平面文件。还可以以诸如但不限于二进制值、ASCII或Unicode的计算机可读格式将数据912格式化。仅进一步举例来说，可将数据912存储为位图，其由以压缩或未压缩或各种图像格式(例如，JPEG)、基于矢量的格式(例如，SVG)、或用于画图形的计算机指令存储的像素构成。此外，数据912可包括足以识别相关信息的信息，诸如号码、描述文本、专有代码、指针、对存储在其它存储器(包括其它网络地点)中的数据的引用或被函数用来计算相关数据的信息。
服务器902的数据模型数据库914可存储表示地点的3D模型的数据模型，其可被传送到客户端设备930和940。每个数据模型可与包括在该地点处捕获的图像的图像的3D几何结构相关联。可使用来自3D 几何结构的图像投影来重构描绘该地点处的对象的目标图像。数据模型数据库914可以包括与图像的3D几何结构相关的信息，诸如视觉取向信息、表示在该处捕获到图像的地点的纬度/经度坐标、以及其它类型的相关数据。虽然本文公开的主题不限于特定位置参考系统，但为了便于理解，当引用与数据模型相关联的地点时可使用纬度/经度位置。
服务器902可以是在网络995的一个节点处且能够直接地和间接地与网络995的其它节点通信。例如，服务器902可包括web服务器，其可能能够经由网络995来与客户端设备930和940通信，使得其使用网络995来向用户传送信息并且在客户端设备940的显示器941上向用户显示信息。服务器902还可包括多个计算机，例如负荷平衡服务器场，其与网络的不同节点交换信息以便接收、处理和向客户端设备930和940传送数据。在这种情况下，客户端设备930和940将通常仍在与包括服务器902的计算机不同的网络995的节点处。
网络995和中间节点可包括各种配置和协议，其包括互联网、万维网、内部网、虚拟专用网、广域网、本地网、使用一个或多个公司专有的通信协议的私用网络、以太网、WiFi(例如，802.11、802.11b、g、 n或其它此类标准)、HTTP、以及前述内容的各种组合。可用能够向其它计算机传送数据和从其它计算机传送数据的设备来促进此类通信，诸如调制解调器(例如，拨号器、电缆、或光纤)和无线接口。
虽然当如上所述地传送或接收信息时获得某些优点，但本文公开的主题的其它方面不限于信息传输的特定方式。例如，在一些方面，可经由诸如盘、带、或CD ROM的介质来发送信息。此外，虽然一些功能被指示为在具有单个处理器的单个服务器上发生，但可用多个服务器来实现各种方面，例如通过网络995向客户端设备930和940通信信息。
每个客户端设备930和940可被与服务器902同样地配置，具有处理器942、存储器944、指令946、数据948和正常地在个人计算机中使用的所有内部组件。仅仅举例来说，客户端设备940可包括中央处理单元(CPU)、显示设备941(例如，具有屏幕、投影仪、触摸屏、小型LCD屏幕、电视、或诸如可操作用于显示被处理器612处理的信息的电气设备的另一设备)、CD-ROM、硬盘驱动、用户输入端(未示出)(诸如键盘、鼠标、触摸屏或扩音器、扬声器)、调制解调器和/或网络接口设备(电话、电缆等)和被用于将这些元件相互连接的所有组件。
客户端设备940可以是计算设备。例如，客户端设备940可以是膝上型计算机、上网本、台式计算机、以及便携式个人计算机，诸如无线使能PDA、平板PC、或能够经由如互联网的网络来获得信息的另一类型的计算设备。虽然本公开的各方面一般地涉及单个客户端设备 940，但可将该客户端设备940实现为具有便携式和非便携式组件两者 (例如，在具有用于收集地点信息的接口的机架安装服务器上执行的软件)的多个设备。
虽然客户端设备940可包括全尺寸个人计算机，但还可与能够无线地交换数据的移动设备相结合地使用本公开的主题。例如，客户端设备940可以是诸如智能电话的无线使能移动设备或具备互联网能力的蜂窝式电话。在任一方面，用户可使用小键盘、键区、触摸屏、或其它用户输入手段来输入信息。在各种方面，本文所述的客户端设备和计算机可包括能够处理指令及向人类及其它设备和计算机传送数据和从其接收数据的设备。
客户端设备940可包括诸如电路的地理定位组件947，用以确定设备940的地理地点。例如，客户端设备940可包括GPS接收器，以确定设备的经度和纬度地点。随着客户端设备940例如通过在物理上移动而改变地点，GPS接收器可确定新的当前位置。仅仅举例来说，组件947可包括用于基于在客户端设备940处接收到的其它信号来确定设备的位置的软件，所述其它信号诸如在蜂窝电话的天线处从一个或多个蜂窝电话塔接收到的信号(如果移动设备是蜂窝电话的话)。在那方面，地点识别数据的提供可基于从此类组件接收到的信息而自动地发生。
如图9中所示，客户端设备940还可包括图像捕获模块945。可以使用图像捕获模块945来捕获对象的视频和/或静止图像。图像捕获模块945可以是可与视频相机相结合地操作的软件模块，或者可包括视频图形设备，诸如具有图像处理组件的视频数字相机。例如，客户端设备940可连接到可结合图像捕获模块945操作的视频数字相机。图像捕获模块945还可以结合本领域中已知的其它图像捕获系统操作，诸如具有图像和/或视频捕获能力的数字相机、移动电话中的相机、视频相机、或具有图像捕获特征的其它设备。
为了确定例如当用图像捕获模块945来捕获图像时客户端940取向的方向，客户端设备940可包括诸如加速度计、陀螺仪、指南针、或这些的任何组合的一个或多个传感器943。例如，可使用加速度计来检测客户端设备940的取向。仅仅举例来说，客户端设备940可使用来自加速度计的输入来确定客户端设备相对于重力的方向或与之垂直的平面的俯仰、偏航或滚转(或其变化)。在那方面，将理解的是如在本文中阐述的客户端设备进行的取向数据的提供可被自动地提供给客户端设备940。从一个或多个传感器943接收到的取向数据可被以各种方式使用。例如，取向数据可与图像捕获模块945所捕获的图像相关联。此取向数据可指示当在一个地点处拍摄图像时所捕获的图像相对于客户端设备940的方向的视觉取向。
客户端设备940的指令946可以是将由处理器直接地(诸如机器代码)或间接地(诸如脚本)执行的指令集合。在那方面，在本文中可互换地使用术语“指令”、“步骤”、和“程序”。可将指令616以目标代码格式存储以由处理器直接处理，或者以包括脚本或在需要时被解释或被预先编译的独立源代码模块的集合的另一计算机语言来存储。下面更详细地解释指令的功能、方法和例程。
为了促进系统900的3D数据模型更新操作，服务器902可进一步包括变化区检测器909和3D图像整合器，所述变化区检测器909用于检测输入图像与来自数据模型的对应图像之间的视觉差异的区域，所述3D图像整合器用于将所捕获的图像整合到数据模型中。这些模块的功能可存在于比所示数目更少或更多的模块中，此类模块常驻于可在地理上分散的一个或多个计算设备处。所述模块可与客户端设备940 相结合地操作，其从该客户端设备940接收描绘地点的图像和关于那些图像的相关信息。因此，这些图像可用来更新和维护与地点相关联的数据模型。
现在将描述用于例如使用上文所讨论的系统900来维护地点的数据模型的技术。应理解的是以下操作不必按照下面所述的精确顺序来执行。相反地，如上所述，可以按照不同的顺序或同时地处理各种操作，并且可添加或省略操作。
图10是描绘上述方面中的一些的示例的流程图1000。在阶段1010 处，可提示用户在一个地点处捕获视频段。例如，安装在用户的移动设备上的应用可提示用户在一个地点处拍摄短的视频段。此视频可包括描绘可能令用户感兴趣的该地点处的对象的图像。
在阶段1020处，可接收在阶段1010处捕获的视频段。此视频段可包括与地点相关联的视觉取向信息和定位信息。例如，定位信息可指示与所捕获的该段的地点相关联的纬度/经度位置。视觉取向信息可指示相对于可与用户的移动设备相关联的相机的方向而言的在图像中描绘的对象的视觉取向。
在阶段1030处，可访问描绘该地点的数据模型。例如，数据模型可选自其中与数据模型相关联的定位信息和与视频段相关联的定位信息重叠的数据库。
在阶段1040处，可在来自视频段与数据模型的对应图像之间检测一个或多个变化区。每个变化区表示候选区域，其指示视频段的图像与跟数据模型相关联的3D几何结构的图像投影之间的视觉差异的区域。
在阶段1045处，确定候选变化区的计数在阈值值以下。如果候选变化区的计数在阈值值以下，则方法1000可自动地停止。否则，方法 1000可继续到阶段1050。
在阶段1050处，可基于与视频段相关联的视觉取向和定位信息用视频段的至少一部分来更新数据模型。例如，可将来自视频段的图像中的一个或多个图像整合到与数据模型相关联的图像的3D几何结构中。
由于在不脱离由权利要求定义的本公开的情况下可以利用上文所讨论的特征的这些及其它变化和组合，所以应以举例说明的方式而不是限制由权利要求定义的本公开的方式采取实施例的先前描述。还应理解的是不应将本公开的示例(以及用短语表达为“诸如”、“例如”、“包括”等的子句)的提供解释为使本公开局限于特定示例；相反地，示例旨在仅仅举例说明许多可能实施例中的一些。

Claims (20)

1.一种用于3D模型更新的计算机实现的方法，包括：
使用一个或多个计算设备来提示用户在一个地点处捕获视频数据，所述地点与用于所述用户的导航方向相关联；
由所述一个或多个计算设备接收所捕获的视频数据，所捕获的视频数据包括表示与所捕获的视频数据相关联的视觉取向和定位信息的信息，其中，所述定位信息对应于捕获位置，并且所述表示视觉取向的信息对应于相机取向；
由所述一个或多个计算设备访问所存储的数据模型，所述所存储的数据模型表示描绘与所述地点相关联的对象的3D几何结构；
由所述一个或多个计算设备检测在来自所捕获的视频数据与所述3D几何结构的投影的对应图像之间的一个或多个候选变化区，每个候选变化区指示所捕获的视频数据与所述投影之间的视觉特征中的差异的区域；以及
当所述一个或多个计算设备检测到所述一个或多个候选变化区的计数在阈值以下时，基于与所述视频数据相关联的所述视觉取向和定位信息，利用所捕获的视频数据的至少一部分来更新所存储的模型数据。
2.根据权利要求1所述的方法，其中，与所捕获的视频数据相关联的所述定位信息与用于所述3D几何结构的定位信息重叠。
3.根据权利要求2所述的方法，还包括：由所述一个或多个计算设备确定在所捕获的视频数据中描绘的一个或多个对象与在所述投影中描绘的一个或多个对象之间的视觉相关性。
4.根据权利要求1所述的方法，其中，所述检测包括：将来自所捕获的视频数据的特定图像的某个区域中的特征与来自所述投影的对应图像中的特征相比较，以获得差异值。
5.根据权利要求1所述的方法，其中，更新所存储的模型数据包括：将来自所述视频数据的图像整合到所述3D几何结构中。
6.根据权利要求5所述的方法，还包括：基于来自所述投影的对应图像来确定所整合的图像的对准。
7.根据权利要求6所述的方法，还包括：由所述一个或多个计算设备使用与来自所述投影的所述对应图像相关联的所述视觉取向信息，来调整所整合的图像的所述对准。
8.一种存储指令的非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时致使所述一个或多个处理器执行一种用于3D模型更新的方法，所述方法包括：
使用一个或多个计算设备来提示用户在一个地点处捕获视频数据，所述地点与用于所述用户的导航方向相关联；
由所述一个或多个计算设备接收所捕获的视频数据，所捕获的视频数据包括表示与所捕获的视频数据相关联的视觉取向和定位信息的信息，其中，所述定位信息对应于捕获位置，并且所述表示视觉取向的信息对应于相机取向；
由所述一个或多个计算设备访问所存储的数据模型，所述所存储的数据模型表示描绘与所述地点相关联的对象的3D几何结构；
使用所述一个或多个计算设备来检测在来自所捕获的视频数据与所述3D几何结构的投影的对应图像之间的一个或多个候选变化区，每个候选变化区指示所捕获的视频数据与所述投影之间的视觉特征中的差异的区域；以及
当所述一个或多个计算设备检测到所述一个或多个候选变化区的计数在阈值以下时，基于与所述视频数据相关联的所述视觉取向和定位信息，利用所捕获的视频数据的至少一部分来更新所存储的模型数据。
9.根据权利要求8所述的非暂时性计算机可读介质，其中，与所捕获的视频数据相关联的定位信息与用于所述3D几何结构的定位信息重叠。
10.根据权利要求9所述的非暂时性计算机可读介质，其中，还包括：由所述一个或多个计算设备确定在所捕获的视频数据中描绘的一个或多个对象与在所述投影中描绘的一个或多个对象之间的视觉相关性。
11.根据权利要求8所述的非暂时性计算机可读介质，其中，所述检测包括：将来自所捕获的视频数据的特定图像的某个区域中的特征与来自所述投影的对应图像中的特征相比较，以获得差异值。
12.根据权利要求8所述的非暂时性计算机可读介质，其中，更新所述所存储的模型数据包括：将来自所捕获的视频数据的图像整合到所述3D几何结构中。
13.根据权利要求8所述的非暂时性计算机可读介质，还包括：基于来自所述投影的对应图像来确定所整合的图像的对准。
14.一种用于3D模型更新的系统，包括：
存储器；以及
被耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置成：
提示用户在一个地点处捕获视频数据，所述地点与用于所述用户的导航方向相关联；
接收所捕获的视频数据，所捕获的视频数据包括表示与所捕获的视频数据相关联的视觉取向和定位信息的信息，其中，所述定位信息对应于捕获位置，并且所述表示视觉取向的信息对应于相机取向；
访问所存储的数据模型，所述所存储的数据模型表示描绘与所述地点相关联的对象的3D几何结构；
检测在来自所捕获的视频数据与所述3D几何结构的投影的对应图像之间的一个或多个候选变化区，每个候选变化区指示所捕获的视频数据与所述投影之间的视觉特征中的差异的区域；以及
当所述一个或多个处理器检测到所述一个或多个候选变化区的计数在阈值以下时，基于与所述视频数据相关联的所述视觉取向和定位信息，利用所捕获的视频数据的至少一部分来更新所存储的模型数据。
15.根据权利要求14所述的系统，其中，与所捕获的视频数据相关联的所述定位信息与用于所述3D几何结构的定位信息重叠。
16.根据权利要求15所述的系统，其中，所述一个或多个处理器进一步被配置成：确定在所捕获的视频数据中描绘的一个或多个对象与所述投影中描绘的一个或多个对象之间的视觉相关性。
17.根据权利要求14所述的系统，其中，所述检测包括：将来自所捕获的视频数据的特定图像的某个区域中的特征与来自所述投影的对应图像中的特征相比较，以获得差异值。
18.根据权利要求14所述的系统，其中，更新所存储的模型数据包括：将来自所述视频数据的图像整合到所述3D几何结构中。
19.根据权利要求18所述的系统，其中，所述一个或多个处理器进一步被配置成：基于来自所述投影的对应图像来确定所整合的图像的对准。
20.根据权利要求19所述的系统，其中，所述一个或多个处理器进一步被配置成：使用与来自所述投影的对应图像相关联的视觉取向信息，来调整所整合的图像的所述对准。
CN201480056794.1A 2013-10-16 2014-09-17 一种使用众包视频的3d模型更新的方法及系统 Active CN105637530B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/055,132 2013-10-16
US14/055,132 US8818081B1 (en) 2013-10-16 2013-10-16 3D model updates using crowdsourced video
PCT/US2014/056018 WO2015057342A1 (en) 2013-10-16 2014-09-17 3d model updates using crowdsourced video

Publications (2)

Publication Number Publication Date
CN105637530A CN105637530A (zh) 2016-06-01
CN105637530B true CN105637530B (zh) 2019-03-15

Family

ID=51358624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480056794.1A Active CN105637530B (zh) 2013-10-16 2014-09-17 一种使用众包视频的3d模型更新的方法及系统

Country Status (5)

Country Link
US (3) US8818081B1 (zh)
EP (1) EP3058505A1 (zh)
CN (1) CN105637530B (zh)
DE (1) DE202014010935U1 (zh)
WO (1) WO2015057342A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10070280B2 (en) 2016-02-12 2018-09-04 Crowdcomfort, Inc. Systems and methods for leveraging text messages in a mobile-based crowdsourcing platform
US10841741B2 (en) * 2015-07-07 2020-11-17 Crowdcomfort, Inc. Systems and methods for providing error correction and management in a mobile-based crowdsourcing platform
US9625922B2 (en) 2013-07-10 2017-04-18 Crowdcomfort, Inc. System and method for crowd-sourced environmental system control and maintenance
US10379551B2 (en) 2013-07-10 2019-08-13 Crowdcomfort, Inc. Systems and methods for providing augmented reality-like interface for the management and maintenance of building systems
US10796085B2 (en) 2013-07-10 2020-10-06 Crowdcomfort, Inc. Systems and methods for providing cross-device native functionality in a mobile-based crowdsourcing platform
US10541751B2 (en) 2015-11-18 2020-01-21 Crowdcomfort, Inc. Systems and methods for providing geolocation services in a mobile-based crowdsourcing platform
US11394462B2 (en) 2013-07-10 2022-07-19 Crowdcomfort, Inc. Systems and methods for collecting, managing, and leveraging crowdsourced data
US8818081B1 (en) * 2013-10-16 2014-08-26 Google Inc. 3D model updates using crowdsourced video
EP3859676A1 (en) * 2015-06-30 2021-08-04 Mapillary AB Method in constructing a model of a scenery and device therefor
CN110325981B (zh) * 2016-08-24 2023-02-17 谷歌有限责任公司 基于变化检测的地图界面更新系统
EP3504661B1 (en) * 2016-08-24 2023-08-16 Google LLC Change detection based imagery acquisition tasking system
CN106767812B (zh) * 2016-11-25 2017-12-08 郭得科 一种基于语义信息提取的室内语义地图更新方法与系统
CN106705972B (zh) * 2016-11-25 2017-12-08 郭得科 一种基于用户反馈的室内语义地图更新方法与系统
US10740613B1 (en) * 2017-04-20 2020-08-11 Digimarc Corporation Hybrid feature point/watermark-based augmented reality
US11009886B2 (en) 2017-05-12 2021-05-18 Autonomy Squared Llc Robot pickup method
US11176396B2 (en) * 2017-06-29 2021-11-16 Hewlett-Packard Development Company, L.P. Detection of whether mobile computing device is pointing to visual code
US10841486B2 (en) * 2017-07-20 2020-11-17 Eclo, Inc. Augmented reality for three-dimensional model reconstruction
CN107766476B (zh) * 2017-09-30 2021-08-24 百度在线网络技术（北京）有限公司 基于楼块数据的众包数据处理方法、装置、设备及存储介质
WO2019205069A1 (en) * 2018-04-27 2019-10-31 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating 3d model of building
US11620800B2 (en) * 2019-03-27 2023-04-04 Electronic Arts Inc. Three dimensional reconstruction of objects based on geolocation and image data
US11887253B2 (en) 2019-07-24 2024-01-30 Electronic Arts Inc. Terrain generation and population system
US11398073B2 (en) * 2020-06-23 2022-07-26 Draawn, LLC Method to facilitate mass conversion of 2D drawings to 3D models
US11335058B2 (en) 2020-10-13 2022-05-17 Electronic Arts Inc. Spatial partitioning for graphics rendering

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622776A (zh) * 2011-01-31 2012-08-01 微软公司 三维环境重构

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917553A (en) 1996-10-22 1999-06-29 Fox Sports Productions Inc. Method and apparatus for enhancing the broadcast of a live event
US6333749B1 (en) * 1998-04-17 2001-12-25 Adobe Systems, Inc. Method and apparatus for image assisted modeling of three-dimensional scenes
US6363170B1 (en) * 1998-04-30 2002-03-26 Wisconsin Alumni Research Foundation Photorealistic scene reconstruction by voxel coloring
AU2001250802A1 (en) * 2000-03-07 2001-09-17 Sarnoff Corporation Camera pose estimation
US7782365B2 (en) 2005-06-02 2010-08-24 Searete Llc Enhanced video/still image correlation
US8207843B2 (en) * 2005-07-14 2012-06-26 Huston Charles D GPS-based location and messaging system and method
EP1904202B1 (en) * 2005-07-14 2016-12-21 Charles D. Huston Gps based spectator and participant sport system and method
US9344842B2 (en) * 2005-07-14 2016-05-17 Charles D. Huston System and method for viewing golf using virtual reality
US8385658B2 (en) * 2007-07-27 2013-02-26 Sportvision, Inc. Detecting an object in an image using multiple templates
US8908958B2 (en) * 2009-09-03 2014-12-09 Ron Kimmel Devices and methods of generating three dimensional (3D) colored models
US8447136B2 (en) * 2010-01-12 2013-05-21 Microsoft Corporation Viewing media in the context of street-level images
US20110313779A1 (en) * 2010-06-17 2011-12-22 Microsoft Corporation Augmentation and correction of location based data through user feedback
US20130300740A1 (en) * 2010-09-13 2013-11-14 Alt Software (Us) Llc System and Method for Displaying Data Having Spatial Coordinates
US8457355B2 (en) 2011-05-05 2013-06-04 International Business Machines Corporation Incorporating video meta-data in 3D models
US8842163B2 (en) * 2011-06-07 2014-09-23 International Business Machines Corporation Estimation of object properties in 3D world
KR101569600B1 (ko) 2011-06-08 2015-11-16 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실 표현을 위한 2차원 이미지 캡쳐
US8868342B2 (en) 2011-08-17 2014-10-21 Abram L. Balloga Orientation device and method
US20130141526A1 (en) 2011-12-02 2013-06-06 Stealth HD Corp. Apparatus and Method for Video Image Stitching
CA2864003C (en) 2012-02-23 2021-06-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
JP6172431B2 (ja) * 2012-11-26 2017-08-02 株式会社リコー 投射光学系
US8818081B1 (en) * 2013-10-16 2014-08-26 Google Inc. 3D model updates using crowdsourced video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622776A (zh) * 2011-01-31 2012-08-01 微软公司 三维环境重构

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Image based detection of geometric changes in urban environments;Aparna Taneja 等;《2011 International Conference on Computer Vision》;20120112;第2012年卷;全文
Scene Reconstruction and Visualization from Internet Photo Collections;Keith N. Snavely;《http://search.proquest.com/docview/304440924》;20081231;第2008年卷;全文
基于图像的城市建筑物三维自动重建参数化建模方法研究;杨淼;《中国博士学位论文全文数据库 信息科技辑》;20091015;第2009年卷(第10期);全文

Also Published As

Publication number Publication date
US9224206B1 (en) 2015-12-29
DE202014010935U1 (de) 2017-01-23
WO2015057342A1 (en) 2015-04-23
US20160180540A1 (en) 2016-06-23
EP3058505A1 (en) 2016-08-24
US8818081B1 (en) 2014-08-26
US9721347B2 (en) 2017-08-01
CN105637530A (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
CN105637530B (zh) 一种使用众包视频的3d模型更新的方法及系统
US11886489B2 (en) System and method of identifying visual objects
US8532400B1 (en) Scene classification for place recognition
AU2010328337B2 (en) Matching an approximately located query image against a reference image set
CN111046125A (zh) 一种视觉定位方法、系统及计算机可读存储介质
US9436886B2 (en) System and method of determining building numbers
US9600932B2 (en) Three dimensional navigation among photos
US9529803B2 (en) Image modification
CN104484814B (zh) 一种基于视频地图的广告方法及系统
US9467660B1 (en) Map generation using map features from user captured images
US10810466B2 (en) Method for location inference from map images
Raychoudhury et al. Crowd-pan-360: Crowdsourcing based context-aware panoramic map generation for smartphone users
CN113822427A (zh) 一种模型训练的方法、图像匹配的方法、装置及存储介质
CN111832579A (zh) 地图兴趣点数据处理方法、装置、电子设备以及可读介质
CN109816628B (zh) 人脸评价方法及相关产品
CN114185073A (zh) 一种位姿显示方法、装置及系统
CN109785439A (zh) 人脸素描图像生成方法及相关产品
Chang et al. Augmented reality services of photos and videos from filming sites using their shooting locations and attitudes
More et al. Event geo-localization and tracking from crowd-sourced video metadata
Ching et al. Mobile indoor positioning using Wi-Fi localization and image processing
Alahmadi Mar: Mobile augmented reality in indoor environment
Jain Practical Architectures for Fused Visual and Inertial Mobile Sensing
AU2013248183A1 (en) Matching an approximately located query image against a reference image set

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant