CN105339987A - 针对陆地、空中和/或众包可视化的流形的图像提取和基于图像的渲染 - Google Patents

针对陆地、空中和/或众包可视化的流形的图像提取和基于图像的渲染 Download PDF

Info

Publication number
CN105339987A
CN105339987A CN201480032522.8A CN201480032522A CN105339987A CN 105339987 A CN105339987 A CN 105339987A CN 201480032522 A CN201480032522 A CN 201480032522A CN 105339987 A CN105339987 A CN 105339987A
Authority
CN
China
Prior art keywords
image
template
aerial
visual
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480032522.8A
Other languages
English (en)
Other versions
CN105339987B (zh
Inventor
B.H.阿盖拉-阿卡斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN201810705926.9A priority Critical patent/CN108830918B/zh
Publication of CN105339987A publication Critical patent/CN105339987A/zh
Application granted granted Critical
Publication of CN105339987B publication Critical patent/CN105339987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005Tree description, e.g. octree, quadtree
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Abstract

从仓库或源影像提取(分析和选择)一组图像以创建一维(1D)和二维(2D)图像流形(或图像分组——也称为“合成”分组)的体系结构。地图影像的仓库可以包括空中视图和陆地视图(来自地球表面上的点)。流形促进了便利流形图像之间的流畅转换,由此为查看位置提供了流畅的用户交互式导航体验。

Description

针对陆地、空中和/或众包可视化的流形的图像提取和基于图像的渲染
背景技术
现在为用户提供了使用各式各样的设备来创建图像数据的能力,所述设备举例来说诸如是数字相机、平板电脑、移动设备和智能电话。在一个示例中,用户可以使用移动电话捕获一组描绘海滩的图像。随后,用户可以将该组图像组织为相册、基于云的照片共享流、可视化等。在可视化的示例中,该组图像可以被联结(stitch)到一起以创建由该组图像描绘的场景的全景。可视化的另一示例可以是使用图像创建不同的视觉移动或增强。可惜,由于该组图像从各种视角描绘场景,所以对所述可视化进行导航可以是不直观和/或过度复杂的。
发明内容
下面呈现了简化发明内容,用以提供对本文中描述的某些新颖实施例的基本理解。本发明内容不是外延的概述,并且其不旨在标识关键/决定性的元素或描述其范围。其唯一目的在于作为稍后呈现的较详细描述的序言以简化形式呈现某些概念。
所公开的体系结构从地图影像(例如三维(3D))的仓库或源提取(分析和选择)一组图像用以创建一维(1D)和二维(2D)图像流形(或图像分组——也称为模板和“合成”分组)。所述地图影像的仓库可以包括空中视图和陆地(也称为基于地面的)视图(来自地球表面上或邻近地球表面处的点)。
所述体系结构可以包括从图像源提取与位置相关的图像的提取构件。所述图像用于一维(1D)和/或二维(2D)可视化模板(也称为流形或合成分组)。存在多种不同类型的模板。根据所述模板(或流形)对所述图像进行安排或准备,以便使能实现所述图像之间的流畅转换(移动时平滑或无约束)。
流畅转换可以视觉上被呈现为当在步行(walk)流形图像栈中导航“向前”或“向后”时,以及,当在墙壁(wall)流形图像栈中导航“左”或“右”时,第一图像的淡出效果(或提高透明度设置)和下一图像的淡入效果(或降低透明度设置)。针对全景和自旋流形图像分组的流畅转换可以是融合的图像呈现,其中,针对其每个的分组图像被作为一个整体(并且连续)图像来感知。查看器构件响应于对所述流形的图像的用户交互式导航而播放所选择的可视化模板。经由拖动、刷动或任何其他交互的用户交互被呈现为贯穿所述模板图像的平滑和无约束移动。
根据一种所公开的方法,标识位置以用于可视化。例如,可以针对建筑物或街道的街道级视图创建合成分组。选择可视化模板,通过所述可视化模板对所述位置进行渲染以用于交互式导航。所述模板可以是一维可视化模板(例如步行)或二维可视化模板(例如墙壁)。
从图像源或仓库(例如3D地图)提取与所述位置相关的图像,以便用于所选模板。所选模板对针对所述位置的图像进行安排和准备,以便当用户经由所述图像交互式地对所述位置进行导航时使能实现所述图像之间的流畅转换。根据所述可视化模板对所述位置进行渲染。即,如果所述模板是墙壁模板,则图像被选择作为与所述位置相关,并且为了在两个方向上(例如水平和竖直地)的流畅导航而在2D安排中对图像进行取向。
为完成前述和相关结果,在本文中结合下面的描述和附图描述了特定图示性方面。这些方面指示出本文中公开的原理可以被实践的各种方式,并且,全部方面及其等价项旨在落在所要求保护的主题的范围内。当结合附图考虑时,从下面的详细描述中,其他优点和新颖特征将变得显而易见。
附图说明
图1图示出了根据所公开的体系结构的系统。
图2图示出了根据所公开的体系结构的系统的可替换实施例。
图3图示出了一种系统,所述系统使能实现对从其他类型的3D图像源获取的图像的提取和格式化,以用于转换为1D和2D流形。
图4图示出了根据所公开的体系结构的示例性时间自旋步行流形。
图5图示出了根据所公开的体系结构的方法。
图6图示出了根据所公开的体系结构的可替换方法。
图7图示出了根据所公开的体系结构的计算系统的框图,所述计算系统为陆地和空中可视化的流形执行图像提取和基于图像的渲染。
具体实施方式
所公开的体系结构从图像的仓库或源提取(分析、选择和/或重新格式化)一组图像以便创建一维(1D)和二维(2D)图像流形(或图像分组——也称为“合成”分组)。每个流形是一个“可视化模板”,所述“可视化模板”用于针对给定的可视化体验对图像进行安排和准备。影像仓库例如包括位置、场景和场景中的物体的空中视图和陆地视图(来自地球表面上或邻近地球表面的点)。产生的合成分组经由该分组的图像提供对位置或场景的交互式视图导航体验。世界上包括多维流形,其每个在本地上以1D或2D连接,并且,其中1D或2D可以被拼插在一起以便覆盖位置的3D视图空间中的真实7D世界。
下面是对合成分组的一般描述。合成分组是捕获的单元(图像组),诸如全景、墙壁、步行或自旋。分组被一次地捕获(对位置、场景或物体的多个图像捕获的单个会话),并且被表示为单个文件。关于用户体验,分组是可作为单个单元连续和直观地导航的。可“连续地”导航旨在意味着,在设备显示器上“刷动”(触摸手势或交互)导致平滑地移动通过所捕获的空间。可“直观地”导航旨在意味着,在刷动动作期间在手指(或鼠标指针)之下的局部移动被用户感知为直接操纵(或者遵循同样显而易见的交互原理)。“作为单个单元”旨在意味着,用户将导航感知为关联于“一个事物”(单个位置、场景或物体),而不是探索复杂的扩展环境。
例如,围绕物体的“自旋”、查看全景或沿走廊下移的每一项被感知为对“一个事物”的单个体验,而分支迷宫涉及决策树,并且可以被用户感知为不是“一个事物”而是复杂环境。相应地,从用户的视角而言,将“一个事物”存储在一个文件中的观点也是直观的。
为了交互式视图导航体验,合成分组可以包括一组输入图像、相机姿势流形、粗略几何形状和局部图。交互式视图导航体验可以显示由这组输入图像描绘的位置的一个或多个当前视图(例如雕像的面部视图)。相机姿势流形提供位置可以被查看的视图透视图,以及,粗略几何形状是一个或多个输入图像可以被投影到其上的、位置表面的多维表示。
交互式视图导航体验使用户能够基于交互式视图导航输入连续和/或无缝地对多维空间中的位置图像进行导航。例如,用户可以视觉上“围绕着走过”雕像,仿佛雕像的场景是单个的多维可视化一样,这与视觉上在单个输入图像之间转变相对。
局部图(与针对合成分组的全局图相反)指定合成分组(图像组)内的相应输入图像之间的关系信息,并且由此促进了对位置或场景的交互式视图导航。例如,局部图可以包括表示第一输入图像的第一节点和表示第二输入图像的第二节点。可以基于指示出第二图像与第一图像有关系的导航模型,在第一节点与第二节点之间创建第一边(例如,用户可以已拍摄雕像的第一图像,步行几英尺,并且然后拍摄雕像的第二图像,从而场景的当前视图可以视觉上从第一图像被导航到第二图像)。第一边可以表示第一输入图像与第二输入图像之间的转换视图信息,这可以用于基于从第一图像和第二图像贡献的图像数据生成场景的转换视图。
交互式视图导航体验可以基于对合成分组内的局部图进行导航来提供。例如,局部图可以基于交互式视图导航输入(例如从表示描绘雕像的面部的第一图像的第一节点导航到表示描绘雕像左侧的第二图像的第二节点)从第一部分(例如第一节点或第一边)被导航到第二部分(例如第二节点或第二边)。位置或场景的当前视图(例如雕像的面部视图)可以被转变到对应于局部图的第二部分的、位置或场景的新当前视图(例如雕像左侧的视图)。节点和/或边之间的转变可以被转换为对位置或场景的无缝3D导航。
关联于描绘位置或场景的一组输入图像的导航模型可以被定义为合成分组的生成的部分。导航模型对应于与用于捕获该组图像的相机的位置信息和/或旋转信息相关联的捕获模式。例如,捕获模式可以对应于输入图像被捕获所在的一个或多个视角。在一个示例中,用户可以走过街道并且在每隔几英尺拍摄建筑物外立面的图片,这可以对应于扫射(或墙壁)捕获模式。在另一示例中,用户可以以圆周运动围绕雕像步行并且在拍摄雕像的图片,这可以对应于自旋捕获模式。
合成分组是用于捕获、表示和连续导航通过影像的“分组”(连接的组)的一般但受约束的机制。合成分组是在单个图像与全局图之间定义的层级的部分——全局图由分组组成,而分组由图像组成。全局图的连通性使能实现图分组之间的链接和导航,以及如先前描述的,局部图使能实现合成分组的重叠图像之间的连通性。分组中的每个图像表示针对位置或场景的视图的单个“支持点(restingpoint)”。图像是单一的,以及分组可以包括有限数量的图像(例如一百个),并且一般由用户在一个会话中捕获。全局图是无限的、动态的,并且随时间演进。
所公开的体系结构构造维度(例如1D、2D)陆地体验,所述维度陆地体验是真实感的,并且被设计为使能实现跨图像(并且不仅是关联于单个全景内的旋转)的流畅转换。提供至少两个转换模式:面向前方模式(例如,面向前方走过街道)和扫射(或墙壁)模式(在面向外立面的同时横向地查看)。
附加地,一个可视化工具的内容可以被转换(格式化)以便在基于图的图像流形查看体验中使用;来自非基于图的程序的真实感内容可以被重新格式化以便在图像流形查看体验图中使用。
当构建在线地图时,捕获大量天底和倾斜的空中影像。一种查看该影像的现有方法是经由常规2D+变焦体验或经由类似FlightSimulatorTM的3D体验。所公开的体系结构使能实现对空中内容的一种体验模式:互相链接的依赖于主题的流形(诸如市中心商业区、主要地标和建筑物的“自旋”)以及其他感兴趣的点或物体。该空中交互对于在平板电脑或类似设备上查看是更富语义、更触摸友好和更真实感的。此外,此种空中内容可以被接收到体系结构中以便进行进一步可视化处理。
生成可以以与陆地和空中流形相同的方式被导航和体验的内容(例如图像)。在这些内容类型的全部之间的真实感转变使能在地图的上下文中进行,由此统一全部源中的视觉内容,所述源诸如是结构化空中捕获、结构化基于地面(陆地)的捕获和众包的捕获。
合成分组可以是1D类型:全景(也称为“pano”;相机以轴线为枢轴,并且指向外捕获周围环境的图像)、自旋(相机在围绕物体或场景的轴线旋转的同时指向内捕获场景或物体的图像)、步行(当相机在单个向前看方向上移动时捕获图像)、以及墙壁(当相机正瞄准场景或位置并捕获图像时,该相机还与场景或位置平行地侧向移动,例如在墙壁或外立面的前面)。
除1D流形之外,还可以存在2D流形,诸如球形全景和物体、使用以网格模式来安排的多个图像所捕获的大型墙壁、以及这些1D和2D流形的叉积(例如,摆出面向内姿势但具有每个点处的垂直全景的圆环面)。
下面是对可以通过从图像仓库提取合适图像来创建的某些特定类型的合成分组的描述;然而,这不是被看作合成分组类型的穷举列表。
可以创建导致原始影像和几何形状的美丽体验和忠实演绎的针对街道级街区的外立面的墙壁(由于分组表示优化,所以计算是高性能的);在两个方向上沿每个街道向前步行;对环岛(在街道交叉点处)、喷泉和其他部分或完全以捕获事件来环绕的感兴趣点的自旋;从交叉点处的多个捕获事件形成的未融合向外全景;以及从交叉点处的多个捕获事件中形成并且跨交叉点的拍摄(相机被指向的)的未融合向内全景(空自旋)。在“已融合”全景中,单个图像被联结成单个的更大(整体)图像,其中,丢失了单个图像个体性。“未融合”全景可以使用与已融合全景相同的手势和交互来体验,但其看起来非常不同——用户总是在原始照片上或在原始照片之间的转变上;可以保持视差,从而给予全景三维感觉而非感觉就像平面图像。
可以将单个捕获事件看作全景。当单个事件图像在精确地(近似地)相同时间和以公共的焦点被捕获时,存在使得这样的全景未融合的少量好处。(应当指出,已融合全景被看作合成分组的退化情况)。
关于空中透视,可以创建市中心商业区和其他高楼地区(或其他类型的高层的感兴趣点)的自旋。应当指出,这些自旋可以根据比正常自旋更少数量的图像(例如,只有针对整个圆形的四个图像)来形成。这些自旋还可以是以两个或更多个天底偏角(off-nadirangle)(例如纯天底或在三十和六十度处的天底)跨过环形(由特定海拔处的自旋轨迹形成)的二维的。附加地,可以考虑多个同心壳层(例如,城市上面的高层圆屋顶,以及市中心商业区的不同部分周围的内部圆屋顶)。
关于单个建筑物的自旋,如果提供了仅四个视图,则建筑物可以最佳地、从四十五度角倾斜地、并且不是直接面向外立面地查看。对于中心商业区城区视图可以应用同一原则,但是相对于整个城市取向。还可以对以特定于内容的倾斜角度捕获的山脉、峡谷和其他主要特征的墙壁导出合成分组。类似地,可以对以下创建合成分组:沿着山脉、在峡谷内和顺河而下的步行,以及,围绕诸如山、河流或其他自然结构的合乎科学的重要地质结构的自旋。
合成分组还可以被创建,如从使用UC-G(UltracamG)(用于广阔区域和大陆地图的空中传感器)飞行线路捕获的地图中获得。UC-G相机的极高生产率来自高海拔和广阔视野的组合。这提供了除联结的天底视图外的相当数量的倾斜/3D覆盖。原始UC-G飞行线路可以被转为墙壁,由此提供期望的并且在正确取向上的倾斜样子。
关于附加的向前查看示例,移动风暴系统的卫星影像可以被变换为墙壁。在此情况下,可以耦合在空间和时间上的移动。可以对整个地球创建2D自旋(假设其接近完美球体)。可以对诸如月球、火星和其他行星之类的其他天体(例如太阳系的)创建图像流形。这些流形包括从空间拍摄的漫游者步行(Roverwalk)、全景和墙壁。
关于夜空,存在使用许多频带和不同可视化的众多天空观测。在最高分辨率时,覆盖过度不均匀,那样,夜空使用合成分组会比使用均匀“深度变焦”类型技术更好地可视化。
挖掘地图影像的过程就用户体验、开发速度和效率、利用资产和提供即时众包平台而言产生了许多有价值的成果。因为图像内容被分割为具有有限尺寸的合成分组,并且用于这些分组的查看器相当简单,所以其充当可以在应用中和web页面上使用的内联WebGL(web图形库——用于在web浏览器中渲染交互式2D或3D图形的JavaScriptTMAPI)或固有控件。所述控件使能实现对物体、大型表面和众包内容的嵌入式查看,以及附加地,所述控件允许可自旋(使用自旋流形)的地标、可平移的(使用全景流形)商店外立面等。例如,可以对每个已进行空中成像的地标在搜索引擎(例如BingTM)中使能实现3D即时应答(3DInstantAnswer)。展示地方或事件的第二或第三方平板电脑应用可以嵌入地标的3D视图。
可以将合成分组链接到一起成为全局图。从地图影像导出的合成分组之间的边被定义,从而使能实现对在已被成像的地方捕获的合成的丰富探索和链接,由此减少或消除以其他方式将要求多次的链接或匹配工程工作——简单地对合成进行链接是充分的。为支持这一点,可以将特征点存储在合成分组中。
合成分组使能实现视觉上优化、简化、直观和触摸友好的导航模型。每个分组是1D或2D的,直接映射到设备显示器的一个或两个轴线,并且提供接近直接操纵的体验。此外,导航流形保持接近实际被捕获的角度,从而使视觉体验是尽可能完美的表示。
在合成分组之间的移动可以通过轻敲、移动超过流形的边缘、或者——在特定情况下和对于1D流形——通过与流形正交地移动来完成。例如,沿街道的步行时的上/下运动在街道上向前和向后移动,而边到边运动可以转变到外立面。对空中和街道级内容应用该视觉优化和统一导航手势语言使得用户体验视觉上美丽并且体验上一致/直观。其还消耗服务器上的较少空间,并且要求较少的下载活动和内容。
地图利用可轻敲(基于触摸的用户交互)视觉标记的概念作为导航的功能可见性(affordance)。这是触摸友好的,避免连续使用两手指变焦手势(尽管这仍然可以被使用),并且富于语义地工作,从而使视图可以在命名空间(例如,earth/usa/wa/seattle/downtown/pioneersquare)中被表示。已链接的视觉流形可以完美地遵循这样的层级;通过添加在查看器中空间上标记相邻合成分组和将这些标记用于可轻敲转变的能力,实现了纯视觉层级的地图,并且层级中的元素现在可以是多个不同类型。
由于所公开的体系结构可以涉及在从地图提取的合成分组之间——或者在被精确定位在相对于地图的外部空间中的合成分组中——移动,所以环境可以被看作地球的全局坐标框架。然而,图可以被扩展到不具有相对于地图的精确几何形状关系的内部或其他空间。当视觉上对图进行导航时,这是自然的并且不成问题(并且强大)的。语义可轻敲标记在这些情况下仍然有用。当合成查看器被作为渲染器合并到地图应用中时,当以这种方式“关闭地图”时,该应用可以简单地关闭多数地图功能可见性,同时保持跟踪用户已到哪里,从而允许用户返回(一次回退一个链接,或者在一个步骤中“退回到外部”)。
使用常规技术的众包人类尺度内容非常难,因为在没有一次性拍摄的全景相机的情况下获取单个全景是耗时的,这要求在困难条件下(例如保持焦点非常静止)拍摄的几十张照片,并且每隔几米拍摄全景是禁止的。然而,主要通过流形来体验街道级影像,用户可以通过少得多的努力直接捕获等价的流形。例如,整个城市街区可以通过遍历街道四次而在几分钟内被捕获:一次,扫射每个外立面(或许是从街道的对侧,以便最大化视野和允许进行间隔不太近的捕获),以及一次,用于在每个方向上步行。该方法还对诸如走廊之类的内部起作用。
工程可移植的、低成本全景捕获设备的难度主要来自对同时触发全部相机和足够接近地将相机移动到一起以(几乎)共享公共焦点的技术要求。然而,采用合成分组流形,消除了这些要求,从而允许相机系统变得简单得多(例如,相机系统可以简单地由四个相机组成,所述四个相机指向前、后和侧面,每个独立地间隔拍摄)。此外,从相机之间的已知基线获得益处,这以绝对尺度提供每次捕获的立体深度信息,并且附加地(假设期望创建每次捕获事件的全景流形)给予视觉体验维度和视差的感觉。
因为扫射或沿街道步行的不足(对于城市中的人类尺度探索的关键移动),流形体验可以比当前融合的基于全景的体验更引人入胜和具有更高性能。可以通过广阔视野对步行和扫射这两者进行渲染,使这些流形也对巨大沉浸式显示起作用。当查看器变得停滞时,客户端渲染器可以带来现有的完整已融合全景,从而允许无缝完整旋转。步行、扫射和已融合全景之间的变换是无缝的,因为这些是从相同影像和几何形状生成的。
众包空中和人类尺度以相同方式工作。相应地,单纯由流形组成的众包空间影像现在变得简单。
由于流形发布可以是即时的,所以策展内容(已分类和选择的相关内容)可以响应于大事件、自然灾难或其他新闻故事而被快速发布。大风暴或爆炸之后的城市的空中和基于地面的影像、或游行的简单影像可以采用现有工具或简单脚本进行添加,并且立即变得可用。流形可以实时或近实时地(在实际事件发生的时间跨度中被处理)使用URL(统一资源定位符)链接到或被表征到策展内容页面或应用中。当内容被公布时,其立即变得对每个人可见。通过合适的社交基础设施,当被添加到地图时,该地图变为实时社交表面区域。
单个合成分组通常具有时间分量,因为构成图像按时间顺序(例如按时间先后顺序地)被拍摄。即使当探索体验并未针对空间/时间上的移动而是针对纯旋转(停留在同时被捕获的泡(bubble)中)被优化时,该时间维度也是隐含在数据中的。所公开的体系结构包括,当支持捕获模式(相同点已或许由不同人在不同时间捕获)时沿时间轴处理流形之间的移动的能力。使用该模式意味着,对相同点的重复驱动、飞行或众包捕获导致在时间上“取消(scrub)”同时在空间上保持固定的能力。
再次,关于空中流形,提供了关于如何从空中影像生成自旋电影和类似流形的选项(例如范围从最少地到最大地被处理)。使用建筑物自旋作为示例,在第一方法中,以可看见建筑物的原始图像的整体开始,并且根据这些原始图像(或提供合适可见度的子集)构建自旋。该第一方法可能会由于源图像不以期望的物体为中心而遭受影响(不像手制自旋),并且导致失配的尺度。在第二方法中,这意味着,很可能相关图像区域可以被裁剪,并且然后也具有任意的非居中的投影。如果投影被固定为使已裁剪图像区域被适当地居中,则重新渲染可能需要在代替的几何形状上发生,并且来自相邻图像的去遮挡差错(由于缺少对从期望视图而非从参考视图可见的表面的采样而展示的人为缺陷,并且可以对较小转换而言由于裁剪过程而发生)可以需要被完成。
在第三方法中,如果例如已对城市很好地成像,则任何给定的建筑物可以使用源图像的组合从任意(合理的)角度被重新渲染。(这可以通过聚焦于渲染正射影像以便使能实现无限平移和变焦来达到——以需要在客户端上动态计算阴影地图和覆盖函数为代价)。该第三方法涉及从期望的视角重新渲染透视图像。这些可以在每建筑物的基础上,以对结构和建筑物被拍照的方式这两者的敏感度来选择。多个图像将被图割(graph-cut)并混合到一起以生成这些合成视图,但一般说来,这些视图之间可以存在某种角度和时间相干性。在第四方法中,可以根据先前计算的完整3D模型来渲染视图。
第二方法针对对原始影像的忠实度进行优化,而第三方法在影像和内容之间进行了折中。
关于极高分辨率“深度变焦”类型影像(天底视图地图实际上是单个巨大的极高分辨率多尺度平铺图像)不是事实上的图像,而是根据许多海拔和时间处的许多传感器构建的合成物。倾斜图像也可以用于将该技术也扩展到地球的倾斜视图,在天底的情况下这是通过采用正射投影而进行的。然而,真实图像不是正射的,而是透视的,并且不能具有无限数量的像素。附加地,倾斜图像是在特定视点和特定时间拍摄的。对于单个源图像的实际限制可以近似千兆像素,以及可以是非常耗时的、对极大量较低分辨率图像的联结。然而,合成分组在经验和技术这两者上都更优秀。
在所公开的体系结构中,变焦是图像空间操作,允许以原始形式探索当前图像。当看整个图像时,沿3D中的流形移动发生。该方法不要求同轴与离轴相机模型之间的奇异的插值或在通过重新投影原始图像进行变焦期间引入人为缺陷。
相应地,对已融合影像的最佳使用将合成比单个传感器可以捕获的(例如来自非常高海拔处的大面积土地)更广阔的视野,以及,当操纵大量颜色均衡的源和想要非常特定的视图时将合成单个透视图(如上面在第二和第三方法中描述那样)。
如先前指示的,从诸如3D集合之类的图像集合(仓库、源)挖掘现有影像,以便创建单个(1D)和多维(2D等)流形图像组,诸如pano(全景)、自旋、墙壁和步行,以及用于从空中和陆地影像中提取流形。在多数情况下(不涉及使用多相机系统的同时捕获),所述流形也是时间性的。如在本文中所描述的,所公开的体系结构可以使用流形来根据流形内的局部空间探索而扩展到流形之间以及在时间上探索。
现在对附图进行参考,其中,从头至尾,相同参考数字用于指相同元件。在下面的描述中,为进行解释,阐述了大量特定细节,以便提供对其的透彻理解。然而,可以显而易见的是,可以在没有这些特定细节的情况下实践新颖实施例。在其他实例中,以框图形式示出了熟知的结构和设备,以便促进对其进行的描述。本发明将覆盖落在所要求保护的主题的精神和范围内的全部修改、等价项和可替换项。
图1图示出了根据所公开的体系结构的系统100。系统100可以包括提取构件102,该提取构件102被配置为提取与位置106(例如建筑物、交叉点、外立面等)相关的图像104(例如地图)。图像104的每个可以例如关联于元数据或将图像标识为与位置106相关或接近相关的其他标识数据。
可以基于位置106,从诸如第一图像源(图像源1——结构化基于空中图像的结构化基于空中图像源)、第二图像源(图像源2——结构化基于地面图像的结构化基于地面图像源)、第三图像源(图像源3——众包图像的众包图像源)和/或其他图像源(图像源N)之类的图像源108中的任何一个或多个中提取图像104。应当理解,图像源108可以包括相同类型的源(例如,可以通过空中拍摄而被不同地定位)以及其他不同类型的源(诸如街道相机、基于云的个人图像仓库、街道级相机、建筑物相机等)的多个实例。相机“拍摄”指相机相对于将被捕获(成像)的场景的相机放置(例如空中、低角度、过肩、反向等)和角度。全景视图是具有加长视野的图像组合(也称为宽格式摄影)。
系统100可以进一步包括格式化构件110,该格式化构件110将来自源108中的一个或多个源108的已提取图像104格式化为已格式化图像112。源108可以包括成为(一个或者多个)适当格式以用于可视化模板114的结构化空中图像、结构化基于地面图像和众包图像。格式化过程可以包括将来自源的图像构造为与模板兼容,所述模板用于实施面向图的地图。例如,1D和2D空中图像可以被格式化为相互链接的依赖于主题的模板,诸如市中心商业区、主要地标、建筑物等的“自旋”。模板114使能实现新的用户体验,所述新用户体验对于在平板电脑和类似设备上查看是更基于语义和触摸友好的,并且也比现有系统更具有真实感。
系统100的模板构件116可以被配置为根据(模板114的)可视化模板118,对已提取并格式化的图像112进行安排;可视化模板118(和模板114)使能实现经由查看器(未示出)在已格式化图像112之间的转换。模板114(也称为流形)是根据特定可视化(例如外立面)来安排的图像组(或分组)。例如,一个模板可以是一系列图像,其被格式化为使用户能够使用查看器进行交互和在模板图像之间转变。
可视化模板118可以基于从结构化基于地面图像源中的一个或者多个中提取的街道级视图,表示位置106的基于街道级视图。可视化模板118可以基于从结构化基于空中图像源中的一个或多个中提取的空中拍摄,表示位置106的空中视图。提取构件102可以被配置为从例如源108的全景图像中提取前向拍摄和侧向拍摄的透视图像。
可视化模板118使能经由查看器感知图像在时间和空间上的改变。可视化模板118来自基于图的可视化模板组。可视化模板118使能播放对应于导航通过可视化模板118的图像的时间信息(经由查看器)。模板构件116创建从地图获得的模板的空间相关分组的图,并且在层级上结构化以用于分组之间的交互式转变。
图2图示出了根据所公开的体系结构的系统200的可替换实施例。系统200可以包括提取构件102,该提取构件102被配置为从多维地图的图像源108的一个或多个中提取与位置106相关的图像104。当考虑创建单个模板时,图像104用于与所创建的多个不同类型的模板114的可视化模板(例如一维的、二维的、三维的等)一同使用。根据所选可视化模板118,安排图像104,以使能实现图像104之间的转换。根据模板118来安排的图像也称为流形(和合成分组)。查看器构件202被提供,并被配置为响应于对模板118的图像104的用户交互式导航,播放图像104(或流形)的所选可视化模板118。
在该实施例中,如果需要,则格式化操作可以结合由提取构件102进行的提取而被执行。附加地,提取构件102可以被配置为直接访问针对期望的模板118的可视化模板114,其中,图像104被处理为期望的模板118,以便进行响应于用户交互式导航的真实感转变。
尽管未示出,但为防止针对个人的隐私问题,可以采用隐私图像处理软件,该隐私图像处理软件自动使面部、车辆号牌和可以在图像中捕获的其他个人可识别信息模糊不清。附加地,任何被认为不合适或敏感的图像可以被标记,以便进行回顾和可能的移除。
应当理解,在所公开的体系结构中,可以重新安排、合并、省略特定构件,以及可以包括附加构件。附加地,在某些实施例中,所述构件的全部或一些存在在客户端上,而在其他实施例中,某些构件可以驻留在服务器上,或者由本地或远程服务提供。
图3图示出了系统300,该系统300使能实现对从其他类型的3D图像源获得的图像进行提取和格式化以便转换为1D和2D流形302。相应地,提取构件102与3D合成分组的一个或多个源304接合。提取构件102从3D图像组搜索和提取连接的图像组;所提取的组包括针对1D和2D流形302的组的pano(全景)、自旋、墙壁和步行等。在需要的情况下,使用格式化构件110对所提取的连接的图像组进行格式化,从而使所提取的组可以在1D和2D流形302中使用。例如,1D和2D流形包括但不限于1D全景流形306、1D步行流形308、1D墙壁流形310、1D自旋流形312和2D流形314。
图4图示出了根据所公开的体系结构的示例性时间自旋步行流形400。时间流形通过以下来获得:明确选择在一个时间间隔中捕获的位置(例如位置106)的图像组,以及然后基于按时间排序的该图像组而创建1D图像流形(也称为模板)。就像步行流形当其前进时可以在某个较小程度上偏移一样,时间流形也可以具有空间程度;例如,在一天或甚至一个季度的过程中的时间流逝相机移动,其可以看起来像围绕树的1D自旋,其中,在自旋弧线的一端,时间是一月,而在自旋弧线的另一端,时间是八月。世界上存在被密集拍照的地方,其中,可以从现有影像中获得此种时间自旋和/或时间墙壁(并行照片的2D网格)。通常情况是静止或近似静止的相机和纯时间的合成。
时间自旋步行流形400(如使用查看构件202所渲染的)被呈现,其示出时钟402,该时钟402呈现与流形(或模板)400的图像栈的图像相关的时间。用户可以通过执行手势来与流形400进行交互,所述手势诸如是在自旋物体(或控件)400上的触摸型刷动运动,其可以是被自旋(顺时针或逆时针地旋转)为递增或递减流形400的时间方面。与自旋动作的改变的时间同步地,关联的图像被流畅地转变,因此用户看见步行流形中的向后或向前移动,如由取决于时间和用户导航而淡入或淡出(转变)的对应图像所呈现的。
在纯空间视图(没有任何时间方面)中,不呈现时间功能可见性,并且自旋物体404或某个其他合适的物体可以被自动提供和用于(重定向为)使用户手势能够促使在流形图像之间的向前和向后移动和转变,如在该步行流形示例中。可替换地,如在本文中所描述的,视图中的向前/向后运动可以使用上/下手势来实施:“上”手势将视图向前转变通过流形图像,而“下”手势将视图向后转变通过流形图像。
对于纯时间上的静止合成,导航交互允许刷动(例如水平的)手势来翻转(递增地导航)通过流形图像。与本文中描述的任何合成同样地,当释放或停止手势(刷动交互的)时,视图漂移到时间上的最近图像。
当与1D稳定轨迹相关时,视图可以在刷动期间保持空间上固定,从刷动所开始的角度开始对流形中的全部其他图像进行渲染。这使刷动能够被用于针对跨时间的直接视觉比较的最佳效果,同时信守当释放活动时漂移到(减缓以停在)原始图像的原则,并且由此避免在屏幕上留下视图外推或混合人为缺陷。
在刷动(或其他合适的用户交互)期间可以显示时间;然而,时间可以被配置为基于特定的条件被显示。一般可以是这样的情况,在合成查看期间显示时间和日期。还可以通过不同方式来呈现时间(例如,不仅是绝对时间,而是以一天为模的时间——以一天中的取模来包装(wrap)全部源影像,并且,取代绝对时间而基于一天中的时间构造流形)。还可以考虑其他模数(例如一年中的时间)。
特别地,可以通过从相机胶卷中做多个选择来使同步创建体验变得轻量。(除查看器自身之外,应用的其他部分可以使用移动网站来执行,该移动网站可以使合成创建在没有任何应用的情况下被执行,如在计算机上可能的那样)。
手动时间流形创建也被提供,并且可以如下来提供。给定起始图像,时间流形挖掘(例如,如果期望,则指定模数)寻找附近可能匹配的图像,标识较好的组,并从该组产出新的时间合成。
时间流形和图像流形的概念暗示了一个图像可以在多于一个合成中。给定图像,可以执行反向查找以搜索图像在其中被使用的合成。
在查看器的一个实施方案中,如果当前图像或其邻居之一在时间合成中,则时钟功能可见性出现。激活时钟功能可见性(时钟控件402)移向右边(在时间上关联的)的图像,并且允许用户在时间上自旋,实际上经由共享图像无缝切换正在其上进行导航的合成。在查看器和服务器这两者上,为图像指派唯一ID,并且仅通过引用对图像制作副本(而不是复制)。该技术可以用于对图像进行反向查找。然而,缩略图可以被复制以用于多个“联系表(contactsheet)”,以便加速合成的加载。
该方法可以用于链接流形。图像共享可以用于链接流形,因为全部所需的是从图像到合成的成员身份查找。
关于导航体验,查看器使用户能够“切换轨道”,以使得手势在接合点处沿一个流形或另一个移动。对于特定种类的接合点,有可能“缝隙填充”来一次为多个(例如两个、三个等)不同流形类型提供导航功能可见性。例如,在水平线上的拖动在合适的地方旋转(对旋转的2D流形进行导航);大致面向前方沿1D步行流形移动的同时在街道上拖动;面向侧面扫射的同时在街道上拖动;如果用户正尝试拖动超过扫射的终点,以及存在共享终点图像且将允许进一步移动地类似地进行取向的扫射,则切换轨道以允许手势继续。可以以类似方式对步行进行扩展。
应当指出,导航功能可见性也可以应用于流形类型之间的接合点。另一实施方案采用“圆形语言”进行从流形到流形的遍历。
为解决对图的度数的限制,以使得使存在来自任何给定图像的有限(小)数量的用于运动的选项,一种用于完成此的机制是用于对图像所属的合成进行排名的排名功能。然后,当移动到新图像时,获得指向顶部N个的指针。还可以将该排名功能个人化,以使得例如用户创建的任何合成在图片说明(针对已排名列表的阈值)上被排名。并且好友的合成也可以被提高。
本文中包括了表示用于执行所公开的体系结构的新颖方面的示例性方法的一组流程图。尽管为了解释简单起见,在本文中例如以流程图表或流程图解形式示出的一个或多个方法被示出和描述为一系列动作,但应当理解和领会到,所述方法不受动作次序的限制,因为据此某些动作可以以与本文中所示和描述的不同的次序和/或与其他动作并发地出现。例如,本领域的技术人员将理解和领会,方法可替换地可以被表示为诸如状态图中的一系列相关的状态或事件。此外,并非在方法中图示出的全部动作可以是对于新颖实施方案所要求的。
图5图示出了根据所公开的体系结构的方法。在500处,选择可视化模板,其中,通过该可视化模板对位置(地理的)进行渲染以用于交互式导航。该模板可以是一维可视化模板(例如步行)或二维可视化模板(例如墙壁)。用户例如可以选择创建针对建筑物或街道的街道级视图的合成分组(或模板)。在502处,从图像源或图像仓库(3D)中提取与位置相关的图像以供与所选模板一同使用。假设图像适于针对给定模板的1D或2D图像转变,则图像可以被连接(例如,顺序地捕获并被提取为顺序的组)。
在504处,根据所选模板安排图像(例如,空间上排序、时间上排序等),以使能实现图像之间的转换。在506处,使能实现图像的可视化模板,以便对于经由图像对位置的用户交互式导航进行渲染。即,如果模板是针对墙壁的,则图像被选择为与位置或场景相关,并且在2D安排中取向以便在两个方向上(例如水平和垂直地)的流畅导航,以充分体验墙壁或外立面。
所述方法可以进一步包括,根据可视化模板创建多个内容类型的图像之间的真实感转变。这可以通过使用从3D源获得的(诸如3D全景拍摄的)连接的(或连续的)照片或图像来完成。所述方法可以进一步包括将图像内容格式化为与模板兼容,所述模板是基于图的照片模板。
所述方法可以进一步包括对来自包括结构化的空中图像、结构化的基于地面图像和众包图像的源的图像内容进行格式化。该格式化过程可以是可选的,因为有可能所获得的图像是采用适当格式的,以供在模板中使用;然而,在多数情况下更有可能将执行格式化。所述方法可以进一步包括对应于一天中的时间对可视化模板的图像进行渲染。当使用时间流形时,随着用户使用时间控件经由查看器对可视化进行导航,由用户选择的关联于特定时间的图像然后结合所呈现的时间被渲染。基于图的技术使能实现沿时间轴在流形(模板)之间的移动。可以将手势理解为促使在图接合点处沿一个流形或另一流形移动。对同一点(位置)的重复驾驶捕获(拍摄)、飞行捕获和/或众包捕获使能实现这样的能力,即:该能力用于在保持空间上固定的同时在时间上对图像进行分析和聚集。
所述方法可以进一步包括从三维图像集合提取图像。例如,天底和倾斜影像通常伴随2D加变焦体验和3D体验。由此,使用空中影像使能使用相互链接的依赖于主题的流形,诸如市中心商业区、主要地标、建筑物等的自旋。相应地,所述方法可以进一步包括使能实现作为全景、墙壁、步行和自旋之一来对可视化模板进行渲染。
图6图示出了根据所公开的体系结构的可替换方法。所述方法可以被体现为包括计算机可执行指令的计算机可读存储介质,所述计算机可执行指令当被微处理器执行时促使该微处理器执行以下动作。在600处,从三维图像集合中提取图像。在602处,对所提取的图像进行格式化,以便在包括一维模板和二维模板的可视化模板中使用。在604处,根据可视化模版,安排图像,以使能实现响应于交互在可视化模板的图像之间的转换。在606处,创建链接可视化模板的面向图的地图。在608处,基于对地图的可视化模板的渲染,使能实现对位置的交互式可视化。
所述方法可以进一步包括,使能实现位置的街道级交互式地图可视化或位置的空中级交互式地图可视化。所述方法可以进一步包括标识位置的特征,以及基于所述特征选择可视化模板。所述特征可以包括诸如社区、街道、建筑物、地标等之类的位置类型。
所述方法可以进一步包括将给定模板映射到显示器的轴线,这提供了接近直接操纵的体验。所述方法可以进一步包括响应于交互式轻敲在链接的模板(流形)之间导航、移动超过模板边缘、或与模板正交地移动。
当用在本申请中时,术语“构件”和“系统”旨在指计算机相关实体,其是硬件、软件与有形硬件的组合、软件或执行中的软件。例如,构件可以但不限于是:诸如微处理器、芯片存储器、大容量存储设备(例如光驱、固态驱动器和/或磁存储介质驱动器)和计算机之类的有形硬件以及诸如在微处理器上运行的进程、物体、可执行文件、数据结构(存储在易失性或非易失性存储介质中)、模块、执行线程和/或程序之类的软件构件。
作为图示,运行在服务器上的应用和该服务器这两者都可以是构件。一个或多个构件可以驻留在进程和/或执行线程内,以及构件可以本地化在一个计算机上和/或分布在两个或更多个计算机之间。术语“示例性”在本文中可以用于指充当示例、实例或图示。在本文中被描述为“示例性”的任何方面或设计不必解读为比其他方面或设计优选或有利。
现在参考图7,图示出了根据所公开的体系结构的计算系统700的框图,该计算系统700为陆地和空中可视化的流形执行了图像提取和基于图像的渲染。然而,应当领会到,所公开的方法和/或系统的某些或全部方面可以被实施为单片系统,其中,模拟、数字、混合信号和其他功能被制造在单个芯片基板上。
为了为其各种方面提供附加上下文,图7和下面的描述旨在提供对各种方面可以在其中被实施的合适计算系统700的简要、一般描述。尽管上面的描述处在可以运行在一个或多个计算机上的计算机可执行指令的一般上下文中,但本领域的技术人员应当认识到,新颖实施例还可以结合其他程序模块和/或作为硬件和软件的组合来实施。
用于实施各种方面的计算系统700包括计算机702,该计算机702具有(一个或者多个)微处理单元704(也称为(一个或者多个)微处理器和(一个或者多个)处理器)、诸如系统存储器706之类的计算机可读存储介质(一个/多个计算机可读存储介质还包括磁盘、光盘、固态驱动器、外部存储器系统和闪存驱动器)以及系统总线708。微处理单元704可以是各种商业可得微处理器中的任一个,诸如单个处理器、多处理器、处理和/或存储电路的单核单元和多核单元。此外,本领域的技术人员将领会到,所述新颖系统和方法可以通过其他计算机系统配置来实践,所述其他计算机系统配置包括微型计算机、大型计算机以及个人计算机(例如台式电脑、膝上电脑、平板PC等)、手持计算设备、基于微处理器的或可编程的消费电子装置等,其每个可以操作耦合到一个或多个关联的设备。
计算机702可以是在支持针对便携式和/或移动计算设备的云计算服务的数据中心和/或计算资源(硬件和/或软件)中采用的几个计算机中的一个,所述便携式和/或移动计算系统诸如是无线通信设备、蜂窝电话和其他有移动能力的设备。云计算服务例如包括但不限于作为服务的基础设施、作为服务的平台、作为服务的软件、作为服务的存储、作为服务的桌面、作为服务的数据、作为服务的安全以及作为服务的API(应用程序接口)。
系统存储器706可以包括诸如易失性(VOL)存储器710(例如随机存取存储器(RAM))和非易失性存储器(NON-VOL)712(例如ROM、EPROM、EEPROM等)之类的计算机可读存储(物理存储)介质。基本输入/输出系统(BIOS)可以存储在非易失性存储器712中,并且包括促进诸如启动期间计算机702内的构件之间的数据和信号通信的基本例程。易失性存储器710还可以包括用于对数据进行高速缓存的高速RAM,诸如静态RAM。
系统总线708为包括但不限于系统存储器706的系统构件提供与(一个或者多个)微处理单元704的接口。系统总线708可以是几种类型的总线结构中的任一个,所述几种类型的总线结构可以使用各种各样商业可得总线体系结构中的任一个进一步互连到存储器总线(具有或不具有存储器控制器)和外围设备总线(例如PCI、PCIe、AGP、LPC等)。
计算机702进一步包括(一个或者多个)机器可读存储子系统714和(一个或者多个)存储接口716,其用于将(一个或者多个)存储子系统714接合到系统总线708和其他期望的计算机构件和电路。(一个或者多个)存储子系统714(物理存储介质)例如可以包括硬盘驱动器(HDD)、磁软盘驱动器(FDD)、固态驱动器(SSD)、闪存驱动器和/或光盘存储驱动器(例如CD-ROM驱动器、DVD驱动器)中的一个或多个。(一个或者多个)存储接口716例如可以包括诸如EIDE、ATA、SATA和IEEE1394之类的接口技术。
一个或多个程序和数据可以存储在存储器子系统706、机器可读和可移除存储器子系统718(例如闪存驱动器形状因子技术)和/或(一个或者多个)存储子系统714(例如光、磁、固态)中,所述存储子系统714包括操作系统720、一个或多个应用程序722、其他程序模块724和程序数据726。
操作系统720、一个或多个应用程序722、其他程序模块724和/或程序数据726例如可以包括图1的系统100的项和构件、图2的系统200的项和构件、图3的系统300的项和构件、图4的流形400的项和构件以及由图5和6的流程图表示的方法。
一般说来,程序包括执行特定任务、功能或实施特定抽象数据类型的例程、方法、数据结构、其他软件构件等。操作系统720、应用722、模块724和/或数据726的全部或部分例如还可以被高速缓存在诸如易失性存储器710和/或非易失性存储器之类的存储器中。应当领会,所公开的体系结构可以通过各种商业可得的操作系统或操作系统的组合(例如作为虚拟机)来实施。
(一个或者多个)存储子系统714和存储器子系统(706和718)充当用于对数据、数据结构、计算机可执行指令等进行易失性和非易失性存储的计算机可读介质。这样的指令当被计算机或其他机器执行时,可以促使该计算机或其他机器执行方法的一个或多个动作。计算机可执行指令例如包括这样的指令和数据,即:所述指令和数据促使通用计算机、专用计算机或(一个或者多个)专用微处理器设备执行特定功能或特定一组功能。计算机可执行指令例如可以是二进制、诸如汇编语言之类的中间格式指令、或甚至源代码。用于执行动作的指令可以存储在一个介质中,或者可以跨多个介质存储,以使得指令共同出现在一个或多个计算机可读存储介质上,不论是否所述指令全部都在同一介质上。
一个或者多个计算机可读存储介质排除可被计算机702访问的传播信号本身,并且包括可移除和/或不可移除的、易失性和非易失性、内部和/或外部介质。对于计算机702,各种类型的存储介质容纳对采用任何合适数字格式的数据的存储。本领域的技术人员应当领会,可以采用其他类型的计算机可读介质,诸如极碟驱动器(zipdrive)、固态驱动器、磁带、闪存卡、闪存驱动器、盒带等,以用以存储用于执行所公开的体系结构的新颖方法(动作)的计算机可执行指令。
用户可以使用诸如键盘和鼠标之类的外部用户输入设备728、以及通过由语音识别促进的话音命令来与计算机702、程序和数据进行交互。其他外部用户输入设备728可以包括麦克风、IR(红外)远程控制、操纵杆、游戏板、相机识别系统、触笔、触摸屏、手势系统(例如,眼睛移动,诸如与(一个或者多个)手、(一个或者多个)手指、(一个或者多个)手臂、头部等相关的身体姿势)等。用户可以使用诸如触摸板、麦克风、键盘等的机载用户输入设备730与计算机702、程序和数据进行交互,其中,计算机702例如是便携式计算机。
这些和其他输入设备经由系统总线708通过(一个或者多个)输入/输出(I/O)设备接口732连接到(一个或者多个)微处理单元704,但可以通过其他接口来连接,所述其他接口诸如是并行端口、IEEE1394串行端口、游戏端口、USB端口、IR接口、短距无线(例如蓝牙)和其他个域网(PAN)技术等。(一个或者多个)I/O设备接口732还促进了输出外围设备734的使用,所述外围输出设备734诸如是打印机、音频设备、相机设备等,诸如声卡和/或机载音频处理能力。
一个或多个图形接口736(通常也称为图形处理单元(GPU))在计算机702与(一个或者多个)外部显示器738(例如LCD、等离子)和/或机载显示器40(例如,对于便携式计算机)之间提供图形和视频信号。(一个或者多个)图形接口736还可以被制造为计算机系统板的部分。
计算机702可以经由有线/无线通信连接742与一个或多个网络和/或其他计算机使用逻辑连接在联网环境(例如基于IP的)中操作。所述其他计算机可以包括工作站、服务器、路由器、个人计算机、基于微处理器的娱乐器具、对等设备或其他常见网络节点,并且通常包括相对于计算机702所描述的元件中的许多或全部。所述逻辑连接可以包括与局域网(LAN)、广域网(WAN)、热点等的有线/无线连通性。LAN和WAN联网环境是在办公室和公司中常见的,并且促进了诸如内联网之类的的企业范围计算机网络,其全部可以连接到诸如互联网之类的全球通信网络。
当在联网环境中使用时,计算机702经由有线/无线通信子系统742(例如网络接口适配器、机载收发器子系统等)连接到网络,以便与有线/无线网络、有线/无线打印机、有线/无线输入设备744等进行通信。计算机702可以包括调制解调器或其他用于建立通过网络的通信的装备。在联网环境中,当关联于分布式系统时,与计算机702相关的程序和数据可以存储在远程存储器/存储设备中。将领会,所示的网络连接是示例性的,并且可以使用其他建立计算机之间的通信链路的装备。
计算机702可操作使用诸如IEEE802.xx标准族之类的无线电技术与有线/无线设备或实体进行通信,诸如可操作地安置在与例如打印机、扫描仪、台式和/或便携式计算机、个人数字助理(PDA)、通信卫星、关联于无线可检测标签的装置或位置(例如报刊亭、新闻站、卫生间)的任何一部分以及电话中的无线通信(例如基于空中调制技术的IEEE802.11)中的无线设备。这至少包括用于热点的Wi-FiTM(用于证明无线计算机联网设备的互操作)、WiMax和BluetoothTM无线技术。由此,通信可以是与常规网络的预定义结构,或者简单地是至少两个设备之间的自组织通信。Wi-Fi网络使用称为IEEE802.11x(a、b、g等)的无线电技术来提供安全、可靠、快速的无线连接。Wi-Fi网络可以用于将计算机连接到彼此、连接到互联网以及连接到有线网络(其使用IEEE802.3相关的技术和功能)。
上面已描述的包括所公开的体系结构的示例。当然,不可能描述构件和/或方法的每个可想象的组合,但本领域的技术人员可以认识到,许多进一步的组合和排列是可能的。相应地,所述新颖体系结构旨在涵盖落在所附权利要求的精神和范围内的全部这样的更改、修改和变化。此外,以术语“包括”在详细描述或权利要求中被使用的程度,这样的术语旨在是以与术语“包含”类似的方式包罗广泛的,因为“包含”当被用在权利要求中时被理解为过渡词。

Claims (10)

1.一种系统,包括:
提取构件,其被配置为基于位置,从图像源提取与所述位置相关的图像,所述图像源包括结构化基于空中的图像源或结构化基于地面的图像源中的至少一个;
格式化构件,其将来自所述图像源的所提取的图像格式化为适当的格式,以用于可视化模板;
模板构件,其被配置为使能实现根据所述可视化模板对所提取的图像的安排,所述可视化模板使能实现经由查看器在所述图像之间的转换;以及
至少一个微处理器,其被配置为执行存储在存储器中并关联于所述提取构件、所述格式化构件和所述模板构件的计算机可执行指令。
2.根据权利要求1所述的系统,其中,所述可视化模板表示基于从所述结构化基于地面的图像源中提取的街道级拍摄的位置的街道级视图。
3.根据权利要求1所述的系统,其中,所述可视化模板表示基于从所述结构化基于空中的图像源中提取的空中拍摄的位置的空中视图。
4.根据权利要求1所述的系统,其中,所述提取构件被配置为从全景图像中提取前向拍摄和侧向拍摄的透视图像。
5.根据权利要求1所述的系统,其中,所述可视化模板使能实现经由所述查看器感知在时间和空间上的图像改变。
6.根据权利要求1所述的系统,其中,所述可视化模板使能播放时间信息,所述时间信息对应于导航通过所述可视化模板的图像。
7.一种方法,包括如下动作:
选择一维或二维可视化模板,其中,通过所述一维或二维可视化模板对位置进行渲染,以便进行交互式导航;
从图像源提取与所述位置相关的图像,以供所选模板使用;
根据所选模板,安排所述图像,以使能实现所述图像之间的转换;以及
使能渲染图像的可视化模板,以供经由所述图像对所述位置的用户交互式导航使用。
8.根据权利要求7所述的方法,进一步包括,根据所述可视化模板创建多个内容类型的图像之间的真实感转变,所述可视化模板被渲染为全景、墙壁、步行和自旋中的一项。
9.根据权利要求7所述的方法,进一步包括,将图像内容格式化为与所述模板兼容,所述模板是基于图的照片模板。
10.根据权利要求7所述的方法,进一步包括,对来自包括结构化空中图像、结构化基于地面图像和众包图像的源的图像内容进行格式化。
CN201480032522.8A 2013-06-07 2014-06-04 针对陆地、空中和/或众包可视化的流形的图像提取和基于图像的渲染 Active CN105339987B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810705926.9A CN108830918B (zh) 2013-06-07 2014-06-04 针对陆地、空中和/或众包可视化的流形的图像提取和基于图像的渲染

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361832769P 2013-06-07 2013-06-07
US61/832769 2013-06-07
US14/214343 2014-03-14
US14/214,343 US9786075B2 (en) 2013-06-07 2014-03-14 Image extraction and image-based rendering for manifolds of terrestrial and aerial visualizations
PCT/US2014/040781 WO2014197529A1 (en) 2013-06-07 2014-06-04 Image extraction and image-based rendering for manifolds of terrestrial, aerial and/or crowd-sourced visualizations

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810705926.9A Division CN108830918B (zh) 2013-06-07 2014-06-04 针对陆地、空中和/或众包可视化的流形的图像提取和基于图像的渲染

Publications (2)

Publication Number Publication Date
CN105339987A true CN105339987A (zh) 2016-02-17
CN105339987B CN105339987B (zh) 2018-07-31

Family

ID=52005103

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480032522.8A Active CN105339987B (zh) 2013-06-07 2014-06-04 针对陆地、空中和/或众包可视化的流形的图像提取和基于图像的渲染
CN201810705926.9A Active CN108830918B (zh) 2013-06-07 2014-06-04 针对陆地、空中和/或众包可视化的流形的图像提取和基于图像的渲染

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810705926.9A Active CN108830918B (zh) 2013-06-07 2014-06-04 针对陆地、空中和/或众包可视化的流形的图像提取和基于图像的渲染

Country Status (4)

Country Link
US (1) US9786075B2 (zh)
EP (1) EP3005307B1 (zh)
CN (2) CN105339987B (zh)
WO (1) WO2014197529A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108064397A (zh) * 2017-08-11 2018-05-22 深圳前海达闼云端智能科技有限公司 建立物体三维图像模型的方法、众包平台及系统

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140321770A1 (en) * 2013-04-24 2014-10-30 Nvidia Corporation System, method, and computer program product for generating an image thumbnail
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
WO2016001321A1 (en) * 2014-07-04 2016-01-07 Mapillary Ab Methods for navigating through a set of images
US9916328B1 (en) 2014-07-11 2018-03-13 Google Llc Providing user assistance from interaction understanding
US9965559B2 (en) 2014-08-21 2018-05-08 Google Llc Providing automatic actions for mobile onscreen content
US10083532B2 (en) * 2015-04-13 2018-09-25 International Business Machines Corporation Sychronized display of street view map and video stream
US10970646B2 (en) 2015-10-01 2021-04-06 Google Llc Action suggestions for user-selected content
US10055390B2 (en) 2015-11-18 2018-08-21 Google Llc Simulated hyperlinks on a mobile device based on user intent and a centered selection of text
US10748312B2 (en) 2016-02-12 2020-08-18 Microsoft Technology Licensing, Llc Tagging utilizations for selectively preserving chart elements during visualization optimizations
US10347017B2 (en) * 2016-02-12 2019-07-09 Microsoft Technology Licensing, Llc Interactive controls that are collapsible and expandable and sequences for chart visualization optimizations
CN107239463B (zh) * 2016-03-28 2020-07-07 中国移动通信集团江苏有限公司 一种景区地图生成方法及装置
US10535005B1 (en) 2016-10-26 2020-01-14 Google Llc Providing contextual actions for mobile onscreen content
US11237696B2 (en) 2016-12-19 2022-02-01 Google Llc Smart assist for repeated actions
US10628997B2 (en) 2017-08-24 2020-04-21 Emilio Santos Method for generating three-dimensional models from constrained sketches and an instruction set
KR102008482B1 (ko) * 2018-11-21 2019-08-07 제주대학교 산학협력단 Cctv 영상 스마트 감시 시스템 및 그 방법
RU2716415C1 (ru) * 2019-02-04 2020-03-12 Общество с ограниченной ответственностью "Сити Консьерж" Способ интерактивной навигации на основе краудсорсинга с мультимедийным сопровождением и дополненной реальностью
US10812627B2 (en) * 2019-03-05 2020-10-20 Sap Se Frontend process mining
US10977058B2 (en) 2019-06-20 2021-04-13 Sap Se Generation of bots based on observed behavior
US11405549B2 (en) * 2020-06-05 2022-08-02 Zillow, Inc. Automated generation on mobile devices of panorama images for building locations and subsequent use

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785667B2 (en) * 2000-02-14 2004-08-31 Geophoenix, Inc. Method and apparatus for extracting data objects and locating them in virtual space
US20100225644A1 (en) * 2009-03-05 2010-09-09 Navteq North America, Llc Method and System for Transitioning Between Views in a Traffic Report
CN102265242A (zh) * 2008-10-29 2011-11-30 因文森斯公司 在移动设备上使用运动处理来控制和访问内容
CN102359791A (zh) * 2010-07-23 2012-02-22 微软公司 地图元数据的3d分层

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7555157B2 (en) * 2001-09-07 2009-06-30 Geoff Davidson System and method for transforming graphical images
US20080246759A1 (en) * 2005-02-23 2008-10-09 Craig Summers Automatic Scene Modeling for the 3D Camera and 3D Video
US20070070069A1 (en) 2005-09-26 2007-03-29 Supun Samarasekera System and method for enhanced situation awareness and visualization of environments
US7840032B2 (en) 2005-10-04 2010-11-23 Microsoft Corporation Street-side maps and paths
WO2008147561A2 (en) * 2007-05-25 2008-12-04 Google Inc. Rendering, viewing and annotating panoramic images, and applications thereof
US8274506B1 (en) * 2008-04-28 2012-09-25 Adobe Systems Incorporated System and methods for creating a three-dimensional view of a two-dimensional map
US20100045666A1 (en) * 2008-08-22 2010-02-25 Google Inc. Anchored Navigation In A Three Dimensional Environment On A Mobile Device
US9286624B2 (en) * 2009-09-10 2016-03-15 Google Inc. System and method of displaying annotations on geographic object surfaces
US9367954B2 (en) 2010-09-24 2016-06-14 The Research Foundation For The State University Of New York Illumination information icon for enriching navigable panoramic street view maps
US9342998B2 (en) * 2010-11-16 2016-05-17 Microsoft Technology Licensing, Llc Techniques to annotate street view images with contextual information
US9063936B2 (en) * 2011-12-30 2015-06-23 Verisign, Inc. Image, audio, and metadata inputs for keyword resource navigation links
US20130321400A1 (en) * 2012-06-05 2013-12-05 Apple Inc. 3D Map Views for 3D Maps
US8880336B2 (en) * 2012-06-05 2014-11-04 Apple Inc. 3D navigation
US10655979B2 (en) * 2013-06-08 2020-05-19 Apple Inc. User interface for displaying predicted destinations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785667B2 (en) * 2000-02-14 2004-08-31 Geophoenix, Inc. Method and apparatus for extracting data objects and locating them in virtual space
CN102265242A (zh) * 2008-10-29 2011-11-30 因文森斯公司 在移动设备上使用运动处理来控制和访问内容
US20100225644A1 (en) * 2009-03-05 2010-09-09 Navteq North America, Llc Method and System for Transitioning Between Views in a Traffic Report
CN102359791A (zh) * 2010-07-23 2012-02-22 微软公司 地图元数据的3d分层

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NOAH SNAVELY 等: "Finding Paths through the World"s Photos", 《ACM TRANSACTIONS ON GRAPHICS》 *
SHENCHANG ERIC CHEN: "QuickTime VR - An Image-Based Approach to Virtual Environment Navigation", 《CONFERENCE ON COMPUTER GRAPHICS & INTERACTIVE TECHNIQUES》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108064397A (zh) * 2017-08-11 2018-05-22 深圳前海达闼云端智能科技有限公司 建立物体三维图像模型的方法、众包平台及系统
CN108064397B (zh) * 2017-08-11 2021-07-23 深圳前海达闼云端智能科技有限公司 建立物体三维图像模型的方法、众包平台及系统

Also Published As

Publication number Publication date
CN105339987B (zh) 2018-07-31
US20140362108A1 (en) 2014-12-11
US9786075B2 (en) 2017-10-10
EP3005307A1 (en) 2016-04-13
WO2014197529A1 (en) 2014-12-11
CN108830918B (zh) 2022-08-09
EP3005307B1 (en) 2017-03-15
CN108830918A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN105339987B (zh) 针对陆地、空中和/或众包可视化的流形的图像提取和基于图像的渲染
US20210272372A1 (en) Augmented and virtual reality
CN103797443B (zh) 模拟三维特征
Snavely et al. Scene reconstruction and visualization from community photo collections
CN108140260A (zh) 来自地图数据的3d模型生成以及用户界面
Knabb et al. Scientific visualization, 3D immersive virtual reality environments, and archaeology in Jordan and the Near East
CN106462997A (zh) 街道视图和地球视图之间的混合
Du et al. Social street view: blending immersive street views with geo-tagged social media.
CN110442813A (zh) 一种基于ar的旅游纪念信息处理系统及方法
Aydın et al. ARCAMA-3D–a context-aware augmented reality mobile platform for environmental discovery
Ahmed et al. Preserving heritage sites using 3D modeling and virtual reality technology
Chagnaud et al. Visualization of documented 3D cities
Adorjan Opensfm: A collaborative structure-from-motion system
KR20090092153A (ko) 이미지 처리 장치 및 방법
WO2023006011A1 (zh) 壁纸生成方法、装置及电子设备
Raposo et al. Revisiting the city, augmented with digital technologies: the SeeARch tool
Du Fusing multimedia data into dynamic virtual environments
Ma et al. Enhanced expression and interaction of paper tourism maps based on augmented reality for emergency response
Miles et al. Crowd-sourced digitisation of cultural heritage assets
Verhoeff Performative cartography
Liarokapis et al. Design experiences of multimodal mixed reality interfaces
Mamani et al. Systematic Review on Photogrammetry, Streaming, Virtual and Augmented Reality for Virtual Tourism
Deren et al. On three-dimensional visualization of geospatial information: graphics based or imagery based?
Iquira Becerra et al. Systematic Review on Photogrammetry, Streaming, Virtual and Augmented Reality for Virtual Tourism
Martedi et al. Augmented fly-through using shared geographical data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant