CN104040546B - 用于显示全景图像的方法和系统 - Google Patents

用于显示全景图像的方法和系统 Download PDF

Info

Publication number
CN104040546B
CN104040546B CN201380005344.5A CN201380005344A CN104040546B CN 104040546 B CN104040546 B CN 104040546B CN 201380005344 A CN201380005344 A CN 201380005344A CN 104040546 B CN104040546 B CN 104040546B
Authority
CN
China
Prior art keywords
visual angle
threshold value
view
panoramic picture
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380005344.5A
Other languages
English (en)
Other versions
CN104040546A (zh
Inventor
乔纳·琼斯
马修·罗伯特·辛普森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN104040546A publication Critical patent/CN104040546A/zh
Application granted granted Critical
Publication of CN104040546B publication Critical patent/CN104040546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了用于导航全景图像的方法和系统。如果用户将全景图像旋转到具有偏离超过阈值视角的视角的视图，则将所述全景图像的所述视图调整到所述阈值视角。在特定的实施方式中，将所述视图漂移到所述阈值视角，使得用户可以至少暂时查看偏离超过所述阈值视角的图像。当将所述图像漂移到所述阈值视角时，可以使用各种转变动画。例如，可以使所述视图弹性回弹到所述阈值视角，以向用户提供视觉上吸引人的转变。

Description

用于显示全景图像的方法和系统
技术领域
本公开一般地涉及显示图像，更具体地涉及显示全景图像。
背景技术
用于显示图像(具体地是全景图像)的计算机化的方法和系统是已知的。在地理信息系统和数字地图系统的背景下，例如谷歌地图的服务能够提供地理位置的街道级图像。在谷歌地图称为“街景图”的这些图像通常提供以感兴趣的地理区域为中心的身临其境的360°全景视图。全景视图允许用户从一个人的角度查看地理位置，就像用户位于与该地理位置相关联的街道面或地面上那样。
用于导航全景图像的用户界面通常允许用户平移、倾斜、旋转和缩放全景图像。在某些情况下，用户可以导航到使进一步导航更麻烦的图像的特定视图。例如，用户可以导航到其中用户完全仰视或完全俯视的状态。由于缺乏在这些视图中描绘的特征，从这些视图进行导航可能是迷惑和困难的，从而导致用户受挫。
发明内容
本发明的方面和优点将部分在下面的描述中阐述，或可以是从描述中显而易见，或者可以通过本发明的实践而得知。
本公开的一个示例性方面涉及一种用于导航全景图像的计算机实现的方法。该方法包括：在显示设备的视口上以第一视角呈现全景图像的至少一部分的第一视图；接收将全景图像的视图旋转到第二视角的用户输入；将全景图像的视图从第一视角旋转到第二视角；以及确定第二视角是否偏离超过阈值视角。如果第二视角偏离超过阈值视角，则该方法包括将全景图像的视图从第二视角调整到阈值视角。
本公开的其它示例性实施方式涉及用于导航全景图像的系统、装置、计算机可读介质、设备和用户界面。
参考下面的描述和所附的权利要求，本发明的这些和其它特征、方面和优点将变得更好理解。合并在本说明书中并构成本说明书的一部分的附图示出了本发明的实施例，并与描述一起用于解释本发明的原理。
附图说明
在本说明书中参考附图阐述针对本领域的普通技术人员的本发明的完整和能够实现的公开，包括其最佳模式，在附图中：
图1描绘了根据本公开的示例性实施例的用于显示全景图像的示例性系统；
图2描绘了根据本公开的示例性实施例的用于显示全景图像的示例性用户界面；
图3和图4提供了呈现为关于感兴趣的地理点的三维圆柱表面的示例性360°全景图像的概念图；
图5描绘了根据本公开的示例性实施例的具有已偏离超过阈值倾斜角的倾斜角的示例性的街道级图像；
图6描绘了根据本公开的示例性实施例的具有调整到阈值倾斜角的倾斜角的示例性的街道级图像；
图7提供了根据本公开的示例性实施例的示例性方法的流程图；
图8提供了与图5中描绘的街道级图像相关联的概念图；
图9提供了与图6中描绘的街道级图像相关联的概念图；
图10描绘了根据本公开的示例性实施例的具有已偏离超过阈值方位角的方位角的示例性的街道级图像；
图11描绘了根据本公开的示例性实施例的具有已调整到阈值方位角的方位角的示例性的街道级图像；
图12提供了与图10中描绘的街道级图像相关联的概念图；以及
图13提供了与图11中描绘的街道级图像相关联的概念图。
具体实施方式
现在将对本发明的实施例进行详细参考，其一个或多个示例在附图中示出。每个示例是通过解释本发明而不是限制本发明的方式提供。事实上，对于本领域技术人员显而易见的是，在不脱离本发明的范围或精神的前提下，可以在本发明中进行各种修改和变化。例如，被示出或描述为一个实施例的一部分的特征可以与另一个实施例一起使用，以产生又一个实施例。因此，意在本发明涵盖归入所附权利要求及其等同物的范围内的这些修改和变化。
一般地，本公开涉及导航图像，例如与地理区域相关联的身临其境的全景图像。根据本公开的方面，将与图像相关联的一个或多个阈值视角定义为使得如果用户导航超过阈值视角中的一个，则全景图像的视图将漂移回到阈值视角。因为视图漂移回到阈值视角，因此允许用户至少暂时查看超过阈值角度的图像，同时避免用户被卡在潜在迷惑和/或麻烦的视图的情形。
例如，在一个特定的实施方式中，可以定义相对于与图像相关联的水平轴的最大倾斜角，使得如果用户旋转图像超过最大倾斜角，则视图将漂移回到最大倾斜角。在这个示例中，如果用户拖动或旋转图像过高或过低时，视图将转回到靠近地平线，以防止用户被卡在其中用户完全仰视或俯视的视图。
作为另一个示例，可以定义关于图像的方位的一个或多个角度作为阈值角度。在这个示例中，如果用户沿方位角方向旋转或拖动视图超过阈值视角，则视图将转回到最接近的阈值视角。在特定的实施方式中，可以基于与图像相关联的规范视图或主导特征来定义阈值视角，使得用户可以更容易地在感兴趣的区域的主导视图当中导航。例如，如果用户旋转超过感兴趣的主导特征的视图，则视图将漂移回到主导视图，使得用户不必精确导航以观察主导特征。
根据本发明的特定方面，可以使用各种转变动画(transitionanimation)来将视图向阈值视角的漂移动画化。例如，在一个示例性实施方式中，转变动画可以包括以恒定的漂移速率来漂移视图。在另一个示例性实施方式中，转变动画可以包括以不同漂移速率来漂移视图，例如当视角接近阈值视角时以较慢的漂移速率来漂移视图。在又一个示例性实施方式中，视图可以包括使视图弹性回弹到阈值视角。转变动画的使用可以在图像漂移回到阈值视角时向用户提供更吸引人的视觉体验。以这种方式，本发明的主题可以在导航图像时提供改进的用户体验。
图1描绘了根据本公开的示例性实施例的用于显示全景图像的示例性系统100。尽管是参考全景图像对本公开进行讨论，但是本领域的普通技术人员通过使用本文提供的公开内容应当理解本发明的主题同样适用于任何类型的图像，例如在谷歌地球中提供的三维图像、斜视图图像、街道地图图像、卫星图像或其它合适的图像。
如图所示，系统100包括计算设备110，用于向用户显示身临其境的全景图像。计算设备110设备可以采取任何适当的形式，例如个人计算机、智能电话、桌上型计算机、膝上型计算机、PDA、平板电脑或其它计算设备。计算设备110包括适当的输入和输出设备115，例如显示屏、触摸屏、触摸板、数据输入键、鼠标、扬声器和/或适合于语音识别的麦克风。用户可以通过与计算设备110上的适当的用户界面交互来请求全景图像。然后，计算设备110可以接收全景图像和与全景图像相关联的数据，并通过任何合适的输出设备上的视口，例如通过在显示屏上呈现的浏览器中阐述的视口，来呈现全景图像的至少一部分。
图2描绘了计算设备110的示例性用户界面200，例如浏览器。用户界面200包括显示例如街道级图像320的身临其境的全景图像的一部分的视口210。街道级图像320描述了由一个或多个相机从在地面或街道面或者接近地面或街道面的角度捕获的对象的图像。尽管本公开使用术语“街道级”图像，但是全景图可以描绘非街道区域，例如小路(trail)和建筑物内部。如所示，街道级图像320可以向用户提供地理区域的身临其境的查看体验。
返回参考图1，计算设备110包括(多个)处理器112和存储器114。(多个)处理器112可以是任何已知的处理设备。存储器114可以包括任何合适的计算机可读介质，其中包括但不限于RAM、ROM、硬盘驱动器、闪存驱动器或其它存储设备。存储器114存储由(多个)处理器112可访问的信息，包括可以通过(多个)处理器112执行的指令。指令可以是任何指令集合，当由(多个)处理器112执行时，使(多个)处理器112提供期望的功能。例如，指令可以是以计算机可读形式渲染的软件指令。当使用软件时，可以使用任何合适的编程、脚本或其它类型的语言或语言的组合来实现本文中所包含的教导。替选地，可以通过包括但不限于特定于应用的电路的硬连线逻辑或其它电路来实现指令。
计算设备110可以包括网络接口116，用于通过网络120访问信息。网络120可以包括网络的组合，例如蜂窝网络、WiFi网络、LAN、WAN、因特网和/或其它合适的网络并且可以包括任何数量的有线或无线通信链路。例如，计算设备110可以使用WAP标准或其它适当的通信协议通过蜂窝网络来通信。蜂窝网络可以进而与因特网直接或通过另一网络通信。
计算设备110可以通过网络120与另一个计算设备130通信。计算设备130可以是服务器，例如web服务器，其通过网络120向例如计算设备110和150的多个客户端计算设备提供信息。计算设备130从计算设备110接收请求并且响应于该请求而定位信息以返回到计算设备110。计算设备130可以采取任何适用的形式，并且可以例如包括提供地图服务的系统，所述地图服务例如由谷歌公司提供的谷歌地图服务。
类似于计算设备110，计算设备130包括(多个)处理器132和存储器134。存储器134可以包括用于接收对地理信息的请求，例如来自客户端设备的对街道级图像的请求，以及用于将所请求的信息提供到客户端设备以呈现给用户的指令136。存储器134还可以包括或耦合到包含用于呈现给用户的信息的各种数据库。例如，存储器134可以包括地图数据库138和街道级图像数据库140。此外，计算设备130可以根据需要与其它数据库进行通信。数据库可以通过高带宽LAN或WAN连接到计算设备130，或者也可以通过网络120连接到计算设备130。包括地图数据库138和街道级图像数据库140的数据库可以被分割，使得它们位于多个地点。
地图数据库138存储地图相关的信息，其至少一部分可以被发送到客户端设备，例如计算设备110。例如，地图数据库138可以存储地图瓦片，其中每一瓦片是特定的地理区域的图像。取决于分辨率(例如地图是否被放大或缩小)，单个瓦片可以以相对小的细节覆盖较大的地理区域或以高细节仅覆盖几条街道。地图信息不限于任何特定的格式。例如，图像可以包括街道地图、卫星图像、斜视图图像或这些的组合。
各种地图瓦片每个与地理位置相关联，使得计算设备130能够响应于接收到地理位置而选择、检索和发送一个或多个瓦片。可以以各种方式来表示位置，包括但不限于纬度/经度的位置、街道地址、地图上的点、建筑名称以及能够识别地理位置的其它数据。
地图数据库138还可以包括感兴趣点。感兴趣点可以是一个或多个用户感兴趣并且与地理位置相关联的任何项。例如，感兴趣点可以包括地标、体育场、公园、古迹、餐厅、商业、建筑或其它合适的感兴趣点。感兴趣点可以由专业的地图提供商、个人用户或其它实体添加到地图数据库138。
地图数据库138还可以存储街道信息。除了瓦片中的街道图像，街道信息可以包括街道相对于地理区域或其它街道的位置。例如，它可以存储指示旅行者是否可以从另一条街道直接到达一个街道的信息。街道信息还可以包括街道名称(如果可获得的话)和潜在的其它信息，例如路口之间的距离和速度限制。
街道级图像数据库140存储与地理位置相关联的街道级图像。街道级图像包括由定位在地理位置处的相机从在地面或街道面或者接近地面或街道面的角度捕获的地理位置处的对象的图像。尽管使用术语“街道级”图像，但是图像可以描绘非街道区域，例如小路和建筑物内部。示例性街道级图像320描绘于图2中。街道级图像320可以从地面以上几英尺的角度描绘对象，例如建筑物、树木、古迹等。可以使用街道级图像来以感兴趣的地理区域为中心向用户提供身临其境的360°全景查看体验。
可以使用任何合适的技术来捕获图像。例如，街道级图像可以由安装在车辆的顶部的相机从大致平行于地面指向的相机角度和从处于或低于车辆高度的法律限制(例如7到14英尺)的相机位置捕获。街道级图像不限于地面以上的任何特定的高度。例如，可以从建筑物的顶部拍摄街道级图像。可以通过将从不同的角度拍摄的多个照片拼接在一起来创建全景街道级图像。可以将全景图像呈现为平的表面或呈现为纹理映射的三维表面，例如圆柱体或球体。
可以将街道级图像作为与颜色和亮度值相关联的一组像素存储在街道级数据库140中。例如，如果以JPEG格式存储图像，则图像可以显示为一组像素行和列，其中每一个像素与定义图像在像素的位置处的颜色和亮度的值相关联。
除了与地理位置相关联外，用于构成360°全景图像的街道级图像还可以与指示在街道级图像中描绘的视图的方向或视角的信息相关联。特定的街道级图像的视角可以是与特定的视图相关联的相机角度，并且可以由倾斜角和方位角二者定义。在街道级图像中描绘的视图的倾斜角可以是视图相对于水平轴的角度。方位角可以是关于360°全景图像相对于例如与正北相关联的视角的参考角的特定角度。例如，特定视图的方位角可以是正北偏东30°。
参考图3和图4可以更容易地理解示范性街道级图像的视角。图3和图4提供示例性360°全景图像300的概念图，其被呈现为关于感兴趣的地理点的三维圆柱面。全景图像300也可以被呈现为平的表面或球形表面。全景图像300包括多个街道级图像，例如街道级图像320，其提供在全景图像300中描绘的地理区域的各种视图。构成全景图像300的每个街道级图像中的每一个与由在街道级图像中呈现的视图的倾斜角和/或方位角定义的视角相关联。
例如，街道级图像320与相对于水平轴330的倾斜角相关联。街道级图像也与全景图像300相对于预定义的方向340的方位角θ相关联。预定义的方向340或0°方位参考可以与例如正北的方向相关联，或者可以与在全景图像300中描绘的兴趣的规范视图或主导特征相关联。
返回参考图1，计算设备130可以通过网络120向计算设备110提供映射信息，包括街道级图像和相关联的方向信息。可以以任何合适的格式将信息提供到计算设备110。信息可以包括HTML代码、XML消息、WAP代码、Flash、Java小程序、xhtml、纯文本、语音XML、VoxML、VXML或其它合适的格式的信息。计算设备110可以以任何合适的格式向用户显示信息。在一个实施例中，可以在浏览器中显示信息，例如谷歌浏览器或其它合适的浏览器。
图2描绘了通过视口210显示例如街道级图像320的身临其境的全景图像的示例性用户界面200。用户界面200可以是浏览器显示，其呈现与地图服务和身临其境的全景图像二者相关联的信息。例如，除了街道级图像320外，用户界面可以向用户显示地图和其它信息，例如行进方向230。可以在任何合适的计算设备上，例如在移动设备、智能电话、PDA、平板电脑、膝上型计算机、桌上型计算机或其它合适的计算设备上，呈现用户界面200。
用户界面200可以为用户请求与将通过视口210显示的地理区域相关联的街道级图像提供灵活性。例如，用户可以在搜索域240中输入文本，例如地址、建筑物的名称或特定的纬度和经度。用户也可以使用例如鼠标或触摸屏的输入设备来选择显示在地图上的特定地理位置。更进一步地，用户界面200可以提供图标或其它特征，其允许用户请求在指定的地理位置的街道级视图。当通过视口210提供街道级图像时，用户界面200可以用街道级视点标记250指示视图的位置和方向。
用户界面200可以包括用于导航与图像320相关联的视点的用户可选择的控件260。控件可以包括用于放大和缩小图像的控件，以及用于改变在图像320中描绘的视图的方向的控件。用户也可以通过例如用用户可操作的光标或通过与触摸屏的交互将图像选择和拖动到不同的视图来调整视点。如果街道级图像被下载作为完整的360度全景，则改变视图的方向可能仅需要显示全景的不同部分，而不用从服务器检索更多信息。也可以包括其它导航控件，例如沿着街道布置的箭头形式的控件，可以选择这些控件以沿街道上下移动优越位置点。
在某些情况下，用户可能将图像导航到可能是迷惑或难以从其导航的视图。例如，如图5所示，用户可能导航到完全仰视的图像320的视图。由于在此视图中缺乏特征，从这个视点进一步导航可能是困难或麻烦的，从而导致用户受挫。根据本发明的各方面，可以自动将图像320的视图转移到更合适的视点，使得用户能够更容易地继续身临其境的查看体验。例如，图像320可以被转移到在图6所示中描绘的视图，它描绘了更多的特征并促进用户导航。
图7描绘了根据本公开的方面的用于呈现全景图像的示例性方法500。在(502)，方法包括以第一视角呈现全景图像的视图。第一视角可以包括与视图相关联的倾斜角和/或与视图相关联的方位角。图2描绘了在用户界面200的视口210上呈现的示例性街道级图像320。如所示，街道级图像320从第一视角的优越位置点向用户提供示例性360°全景图像的视图。
返回参考图7，在(504)，方法包括接收将全景图像的视图从以第一视角的第一视图旋转到以第二视角的第二视图的用户输入。用户输入可以是与例如图2所描绘的导航控件260的导航控件的用户交互，其将全景图像的视图从第一视角旋转到第二视角。用户输入也可以是将全景图像的视图从第一视角选择和拖动到第二视角。例如，用户可以通过跨越视口210向上或向下选择和拖动图像320来调整图2中的图像320的倾斜角。用户可以通过跨越视口210向左或向右选择和拖动图像320来调整图2的图像230的方位角。本领域的普通技术人员通过使用本文提供的公开内容应当理解可以在不脱离本公开的范围的情况下使用用于旋转全景图像的视图的任何合适的用户输入。
参考图7，在(506)，方法响应于用户输入而将全景图像的视图从以第一视角的第一视图调整到以第二视角的第二视图。例如，如图5所示，可以将图2中描绘的图像320调整到以第二视角的第二视图。
参考图7，在(508)，方法确定第二视角是否偏离超过与全景图像相关联的阈值视角。如果第二视角未偏离超过阈值视角，则全景图像的视图保持相同，并且方法返回到(502)，直到接收到旋转全景图像的视图的另一个用户输入。如果第二视角偏离超过阈值视角，方法将全景图像的视图调整到阈值视角(510)。例如，可以将图5中描绘的图像320的视图调整到如图6所示的阈值视角。优选地，预先确定阈值视角以向用户提供期望的视图。因为方法500自动将全景图像的视图调整到阈值视角，因此能够避免用户卡在全景图像的麻烦的视图的情况。
在本公开的一个示例性实施方式中，阈值视角包括用于全景图像的阈值倾斜角。例如，图8描绘了包括多个阈值倾斜角的示例性360°全景图像300的概念图。相对于与全景图像300相关联的水平轴330来定义阈值倾斜角可以将阈值倾斜角定义为使得在阈值倾斜角的视图向用户提供易于导航的视图。例如，在特定的实施例中，可以将阈值倾斜角定义为在距与全景图像330相关联的水平轴330约45°到约60°的范围内。
如果全景图像300的视角偏离超过阈值倾斜角中的任何一个，则视图将转移回到最接近的阈值倾斜角例如，图5描绘了具有偏离超过阈值倾斜角的视角的图像320。这在图8概念性地示出，其示出图像320的倾斜角偏离超过阈值倾斜角
因为图像320的倾斜角偏离超过阈值倾斜角因此图像320的倾斜角将被调整为近似等于阈值倾斜角图6描绘了在视图已被调整到最接近的阈值倾斜角之后的图5的示例性图像320。这在图9概念性地示出，它示出了具有已被调整为近似等于阈值倾斜角的倾斜角的图6的图像320。图6的图像320的视图相比于图5的图像320的视图描绘了更多的特征。因此，在用户导航到麻烦的视图，例如在全景图像中完全仰视或完全俯视的视图的情况下，可以向用户呈现图像的更易于导航的视图。
在本公开的另一个示例性实施方式中，阈值视角可以包括用于全景图像的阈值方位角。例如，图12描绘了包括多个阈值方位角θ1和θ2的示例性360°全景图像300的概念图。可以相对于参考角度340，例如与正北或其它方向相关联的角度，来定义阈值方位角。可以基于全景图像300的预定视图来定义阈值方位角。
在一个示例中，可以基于与全景图像相关联的规范视图来定义阈值方位角。规范视图是从标准化的方向或视点的图像的视图。例如，感兴趣的地理区域的规范视图可以包括向北视图、向南视图、向东视图或向西视图。感兴趣的地理区域的规范视图还可以包括东北视图、西北视图、东南视图和西南视图。在其它实施方式中，规范视图可以一般地沿图像中所描绘的主导道路或矢量或一般地垂直于图像中所描绘的主导道路或矢量。
在另一个示例中，可以基于感兴趣的主导特征的视图来定义阈值方位角。例如，可以将阈值方位角定义为提供在全景图像中描绘的感兴趣的特征的最佳视图。例如，可以将阈值方位角定义为提供建筑物、地标、路口、街道或是在全景图像中描绘的其它特征的最佳视图。
图12描绘了具有两个阈值方位角θ1和θ2的示例性全景图像300的概念图。虽然在图12描绘了两个阈值方位角，但是本领域的普通技术人员通过使用本文提供的公开内容应当理解可以根据需要使用任何数量的阈值方位角。可以基于与全景图像相关联的规范视图，例如与全景图像300相关联的向南视图，来定义阈值方位角θ1。可以基于感兴趣的主导特征的视图，例如在全景图像300中描绘的建筑物322的最佳视图(在图11示出)，来定义阈值方位角θ2。
如果全景图像300的视角偏离超过阈值方位角θ1和θ2中的任何一个，则视图将转移回到最接近的阈值方位角。例如，图10描绘了已旋转至稍微偏离超过阈值视角θ2的方位角视角θ的图像320。如所示，图10的图像320未描绘在图像320中描绘的建筑物322的完整视图。这在图12概念性地示出，它示出了图11的图像320的方位角θ偏离超过阈值方位角θ2。
因为图像320的方位角θ偏离超过阈值方位角θ2，因此图像320的视图将被调整到近似等于阈值方位角θ2的视角。图11描绘了在视图已被调整到阈值方位角θ2之后的图10的示例性图像320。这在图13概念性地示出，它描绘了具有已被调整为近似等于阈值方位角θ2的方位角θ的图11的图像320。由于阈值方位角θ2开始被定义为提供感兴趣的主导特征(例如建筑物322)的视图，因此与图10的视图相比，图11的视图提供建筑物320的更好视图。通过提供方位角的调整，用户可以在规范视图或感兴趣的主导特征的视图之间更轻松地导航，而不必精确导航。
为了防止在用户导航期间意外校正全景图像的视图，可以只有当视角稍微偏离超过阈值视角时才将视角调整到阈值视角。例如，如果视角偏离超过阈值视角20°或更小，则可以将视角调整到阈值视角。然而，如果视角偏离超过阈值方位角视角20°，则不对视角进行任何调整。因此，如果用户导航显著超过阈值视角，则用户不必担心视图调整到意外的视角。
根据本发明的特定的方面，可以通过将全景图像的视图漂移到阈值视角来将全景图像的视图调整到阈值视角。漂移视图可以包括将图像的视图从视角连续平移到阈值角度。例如，用户可以通过跨越视口选择和拖动全景图像来将全景图像的视图从第一视角旋转到第二视角。在用户释放全景图像时，全景图像的视图可以从第二视角漂移或平移到阈值视角。漂移全景图像允许用户在视角向阈值视角漂移时至少暂时以超过阈值视角的视角查看全景图像。
为了增强用户的查看体验，可以使用各种转变动画来将视角漂移到阈值视角。例如，在一个示例中，转变动画可以包括以恒定漂移速率将视角漂移到阈值视角。漂移速率指定当全景图像的视图连续向阈值视角平移时，视角随时间改变的速率。可以根据需要将恒定漂移速率指定为相对较快或相对较慢。使用较慢的恒定漂移速率可以在全景图像的视图向阈值视角漂移时为用户提供更多的时间来查看全景图像的特征。
在另一个示例中，转变动画可以包括以变化的漂移速率将视角漂移到阈值视角。使用变化的漂移速率可以允许转变动画向用户提供各种美观的效果。例如，在一个示例中，当全景图像的视角接近阈值视角时，漂移速率可以减速或减慢。这可以向用户提供缓入阈值视角的外观。
在又一个示例中，转变动画可以包括使全景图像弹性回弹到阈值视角。使全景图像弹性回弹可以包括将转变动画化，使得全景图像的视图相对于阈值视角似乎被弹性构件支撑。在用户在偏离超过阈值视角的视角释放全景图像时(即在用户停止旋转全景图像的视图之后)，全景图像的视图以类似于弹性构件在被拉伸之后回弹到平衡位置的方式回弹到阈值视角。
也可以在用户导航全景图像时实现弹性回弹动画。例如，当用户旋转全景图像的视角超过阈值视角时，可以将全景图像的视图动画化以模拟弹性构件“拉伸”超过平衡位置。用户旋转图像的视图超过阈值视角越远，用户导航到该视角可能越困难。在用户释放全景图像时，全景图像如上面所讨论地回弹到阈值角度。
使用弹性回弹动画可以通过向用户通知阈值角度的位置来改进用户的查看体验。具体地，回弹到阈值角度可以向用户提供强大的视觉象征，向用户表明阈值角度的位置。此外，视图“拉伸”超过阈值角度可以向用户表明用户正导航到全景图像的麻烦或不期望的视图。
可以使用其它转变动画来向用户提供改进的视觉体验。例如，可以将视图动画化为当到达阈值视角时反弹或摆动。本领域的普通技术人员通过使用本文提供的公开内容应当理解在不脱离本公开的范围的前提下，可以使用各种转变动画来向用户提供视觉上吸引人的导航体验。
虽然已经关于具体的示例性实施例和方法对本发明的主题进行了详细的描述，但是应当理解的是，本领域技术人员一旦获得对前文的理解可容易地产生这些实施例的替代、变体和等同物。因此，本公开的范围是通过举例的方式而不是通过限制的方式，并且本公开不排除包括对于本领域的普通技术人员来说将是显而易见的对本发明的主题的这样的修改、变化和/或添加。

Claims (27)

1.一种用于显示全景图像的计算机实现的方法，包括：
在显示设备的视口上以第一视角呈现所述全景图像的至少一部分的第一视图；
接收将所述全景图像的所述视图旋转到第二视角的用户输入；
将所述全景图像的所述视图从所述第一视角旋转到所述第二视角；
确定所述第二视角是否偏离超过阈值视角；以及
如果所述第二视角偏离超过所述阈值视角，则将所述全景图像的所述视图从所述第二视角调整到所述阈值视角，
其中，至少部分地基于所述全景图像的规范视图来定义所述阈值视角。
2.根据权利要求1所述的计算机实现的方法，其中，将所述全景图像的所述视图从所述第二视角调整到所述阈值视角包括：将所述全景图像的所述视图从所述第二视角漂移到所述阈值视角。
3.根据权利要求1所述的计算机实现的方法，其中，使用转变动画将所述全景图像的所述视图从所述第二视角漂移到所述阈值视角。
4.根据权利要求3所述的计算机实现的方法，其中，所述转变动画包括以恒定的漂移速率在所述第一视角和所述第二视角之间漂移所述图像。
5.根据权利要求3所述的计算机实现的方法，其中，所述转变动画包括以变化的漂移速率在所述第一视角和所述第二视角之间漂移所述图像。
6.根据权利要求5所述的计算机实现的方法，其中，所述转变动画包括在所述全景图像的所述视图达到所述阈值视角之前将所述漂移速率减速。
7.根据权利要求3所述的计算机实现的方法，其中，所述转变动画包括使所述全景图像从所述第二视角弹性回弹到所述阈值视角。
8.根据权利要求1所述的计算机实现的方法，其中，所述阈值视角包括阈值倾斜角。
9.根据权利要求7所述的计算机实现的方法，其中，所述阈值倾斜角在距与所述全景图像相关联的水平轴约45°到约60°的范围内。
10.根据权利要求1所述的计算机实现的方法，其中，所述阈值视角包括阈值方位角。
11.根据权利要求1所述的计算机实现的方法，其中，至少部分地基于所述全景图像中的主导特征的视图来定义所述阈值视角。
12.根据权利要求1所述的计算机实现的方法，其中，确定所述第二视角是否偏离超过阈值视角包括：确定所述第二视角是否偏离超过多个阈值视角中的一个。
13.根据权利要求11所述的计算机实现的方法，其中，所述方法包括：如果所述第二视角偏离超过多个阈值视角中的一个，则将所述全景图像的所述视图从所述第二视角调整到最接近的阈值视角。
14.根据权利要求1所述的计算机实现的方法，其中，所述全景图像包括街道级图像。
15.一种用于显示图像的系统，包括：
显示设备；
一个或多个处理器；以及
耦合到所述一个或多个处理器的至少一个存储器，所述至少一个存储器包括由所述一个或多个处理器执行以使所述一个或多个处理器执行操作的计算机可读指令，所述操作包括：
在所述显示设备的视口上以第一视角呈现所述全景图像的至少一部分的第一视图；
接收将所述全景图像的所述视图旋转到第二视角的用户输入；
将所述全景图像的所述视图从所述第一视角旋转到所述第二视角；
确定所述第二视角是否偏离超过阈值视角；以及
如果所述第二视角偏离超过所述阈值视角，则将所述全景图像的所述视图从所述第二视角漂移到所述阈值视角，
其中，至少部分地基于规范视图或所述全景图像中的主导特征的视图来定义所述阈值视角。
16.根据权利要求15所述的系统，其中，使用转变动画将所述全景图像从所述第二视角漂移到所述阈值视角。
17.根据权利要求16所述的系统，其中，所述转变动画包括所述视图从所述第二视角弹性回弹到所述阈值视角。
18.根据权利要求15所述的系统，其中，所述阈值视角包括阈值倾斜角。
19.根据权利要求18所述的系统，其中，所述阈值倾斜角在距与所述全景图像相关联的水平轴约45°到约60°的范围内。
20.根据权利要求15所述的系统，其中，所述阈值视角包括阈值方位角。
21.根据权利要求15所述的系统，其中，所述一个或多个处理器被配置为执行确定所述第二视角是否偏离超过多个阈值视角中的一个的操作。
22.根据权利要求21所述的系统，其中，一个或多个处理器被配置为执行如果所述第二视角视图偏离超过所述多个阈值视角中的一个则将所述全景图像的所述视图从所述第二视角调整到最接近的阈值视角的操作。
23.一种用于提供全景图像的系统，所述系统包括处理设备和网络接口，所述处理设备被配置为：
经由所述网络接口以第一视角提供全景图像的至少一部分的第一视图；
接收对以第二视角的所述全景图像的至少一部分的第二视图的请求；
经由所述网络接口提供以所述第二视角的所述全景图像的所述第二视图；
确定所述第二视角是否偏离超过阈值视角；以及
为所述全景图像的所述第二视图提供指令，用以如果所述第二视角偏离超过所述阈值视角，则将所述全景图像的所述视图从所述第二视角调整到所述阈值视角，
其中，基于规范视图或所述全景图像中的感兴趣的主导特征来定义所述阈值视角。
24.根据权利要求23所述的系统，其中，所述指令指定用于将所述全景图像的所述视图从所述第二视角调整到所述阈值视角的转变动画。
25.根据权利要求23所述的系统，其中，所述阈值视角包括阈值倾斜视角。
26.根据权利要求25所述的系统，其中，所述阈值倾斜视角在距与所述全景图像相关联的水平轴40°到约60°的范围内。
27.根据权利要求23所述的系统，其中，所述阈值视角包括阈值方位角视角。
CN201380005344.5A 2012-01-11 2013-01-11 用于显示全景图像的方法和系统 Active CN104040546B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/348,048 US8767040B2 (en) 2012-01-11 2012-01-11 Method and system for displaying panoramic imagery
US13/348,048 2012-01-11
PCT/US2013/021149 WO2013106652A1 (en) 2012-01-11 2013-01-11 Method and system for displaying panoramic imagery

Publications (2)

Publication Number Publication Date
CN104040546A CN104040546A (zh) 2014-09-10
CN104040546B true CN104040546B (zh) 2016-06-08

Family

ID=48743633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380005344.5A Active CN104040546B (zh) 2012-01-11 2013-01-11 用于显示全景图像的方法和系统

Country Status (6)

Country Link
US (2) US8767040B2 (zh)
EP (2) EP2786352B1 (zh)
CN (1) CN104040546B (zh)
AU (1) AU2013207909B2 (zh)
DE (1) DE202013012426U1 (zh)
WO (1) WO2013106652A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569066B2 (en) * 2011-10-03 2017-02-14 Google Inc. Interface for navigating imagery
US9396577B2 (en) * 2012-02-16 2016-07-19 Google Inc. Using embedded camera parameters to determine a position for a three-dimensional model
US9311750B2 (en) * 2012-06-05 2016-04-12 Apple Inc. Rotation operations in a mapping application
US9482296B2 (en) 2012-06-05 2016-11-01 Apple Inc. Rendering road signs during navigation
US10156455B2 (en) 2012-06-05 2018-12-18 Apple Inc. Context-aware voice guidance
US9886794B2 (en) 2012-06-05 2018-02-06 Apple Inc. Problem reporting in maps
US9418672B2 (en) 2012-06-05 2016-08-16 Apple Inc. Navigation application with adaptive instruction text
US8983778B2 (en) 2012-06-05 2015-03-17 Apple Inc. Generation of intersection information by a mapping service
US9052197B2 (en) 2012-06-05 2015-06-09 Apple Inc. Providing navigation instructions while device is in locked mode
US9235923B1 (en) * 2012-09-28 2016-01-12 Google Inc. Systems and methods for providing a visualization of satellite sightline obstructions
US9245372B2 (en) 2012-12-04 2016-01-26 Nintendo Co., Ltd. Map systems and methods for displaying panoramic images
US9241103B2 (en) 2013-03-15 2016-01-19 Voke Inc. Apparatus and method for playback of multiple panoramic videos with control codes
US9396697B2 (en) 2013-06-01 2016-07-19 Apple Inc. Intelligently placing labels
CN104376007B (zh) * 2013-08-14 2018-08-17 高德软件有限公司 兴趣点的街景图像显示方法及装置
KR20150101915A (ko) * 2014-02-27 2015-09-04 삼성전자주식회사 3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스
CN105021205A (zh) * 2014-04-28 2015-11-04 高德软件有限公司 导航预览方法、相关设备和导航预览系统
CN105100688B (zh) * 2014-05-12 2019-08-20 索尼公司 图像处理方法、图像处理装置和监视系统
CA2966400C (en) * 2014-06-16 2020-04-14 Huawei Technologies Co., Ltd. Method and apparatus for presenting panoramic photo in mobile terminal, and mobile terminal
US20160092518A1 (en) * 2014-09-25 2016-03-31 Microsoft Corporation Dynamic results
US9984494B2 (en) * 2015-01-26 2018-05-29 Uber Technologies, Inc. Map-like summary visualization of street-level distance data and panorama data
JP6503881B2 (ja) * 2015-05-20 2019-04-24 株式会社リコー コンテンツ提供システム、情報処理装置、プログラム、コンテンツ再生方法
US9571738B2 (en) * 2015-06-23 2017-02-14 Toshiba Tec Kabushiki Kaisha Image processing apparatus
KR102524641B1 (ko) 2016-01-22 2023-04-21 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
KR20170095030A (ko) * 2016-02-12 2017-08-22 삼성전자주식회사 통신 시스템에서 vr 컨텐트 디스플레이를 지원하는 기법
CN106101517A (zh) * 2016-08-25 2016-11-09 中国电建集团西北勘测设计研究院有限公司 一种车载全景相机系统及其操作方法
CN106447788B (zh) * 2016-09-26 2020-06-16 北京疯景科技有限公司 观看视角的指示方法及装置
CN112702523B (zh) 2016-11-17 2022-05-06 英特尔公司 解码器、视频处理方法、系统和装置
EP3823276B1 (en) 2016-11-17 2024-08-14 INTEL Corporation Indication of suggested regions of interest in the metadata of an omnidirectional video
US10219009B2 (en) * 2016-11-18 2019-02-26 Twitter, Inc. Live interactive video streaming using one or more camera devices
US10616551B2 (en) * 2017-01-27 2020-04-07 OrbViu Inc. Method and system for constructing view from multiple video streams
US10332413B2 (en) * 2017-05-30 2019-06-25 Honeywell International Inc. System and method for adjusting the correlation between a visual display perspective and a flight path of an aircraft
CN109300182B (zh) * 2017-07-25 2023-08-01 中国移动通信有限公司研究院 全景图像数据处理方法、处理设备及存储介质
CN107749945B (zh) * 2017-09-27 2019-11-08 深圳岚锋创视网络科技有限公司 一种调整全景影像观看视角的方法、装置及便携式终端
US10102611B1 (en) * 2017-10-16 2018-10-16 Xplorit Llc Interconnected 360 video virtual travel
US10558343B1 (en) * 2018-11-15 2020-02-11 Adobe Inc. Interaction plane rotation for manipulation of three-dimensional objects
US11347788B2 (en) * 2019-01-16 2022-05-31 Toyota Research Institute, Inc. Systems and methods for generating a requested image view
CN110430411B (zh) * 2019-08-08 2021-05-25 青岛一舍科技有限公司 一种全景视频的显示方法及装置
CN112601065B (zh) * 2019-10-01 2022-02-11 浙江大学 一种重构高自由度视频可观看范围的方法与装置
EP3819873A1 (en) * 2019-11-05 2021-05-12 Koninklijke Philips N.V. An image synthesis system and method therefor
US11328157B2 (en) * 2020-01-31 2022-05-10 Honeywell International Inc. 360-degree video for large scale navigation with 3D in interactable models
CN111586295B (zh) * 2020-04-27 2021-09-14 北京字节跳动网络技术有限公司 图像生成方法、装置和电子设备
CN111750872B (zh) * 2020-06-17 2021-04-13 北京嘀嘀无限科技发展有限公司 信息交互方法、装置、电子设备和计算机可读存储介质
CN111595349A (zh) * 2020-06-28 2020-08-28 浙江商汤科技开发有限公司 导航方法及装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549650B1 (en) * 1996-09-11 2003-04-15 Canon Kabushiki Kaisha Processing of image obtained by multi-eye camera
CN102054289A (zh) * 2009-11-04 2011-05-11 沈阳隆惠科技有限公司 一种基于全景实景和地理信息的3d虚拟社区构建方法
US7990394B2 (en) * 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5276785A (en) 1990-08-02 1994-01-04 Xerox Corporation Moving viewpoint with respect to a target in a three-dimensional workspace
JPH0820511B2 (ja) 1993-04-19 1996-03-04 日本電気株式会社 相対方位測定装置
US6192393B1 (en) 1998-04-07 2001-02-20 Mgi Software Corporation Method and system for panorama viewing
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US20080062173A1 (en) 2006-09-13 2008-03-13 Eric Tashiro Method and apparatus for selecting absolute location on three-dimensional image on navigation display
WO2008094458A1 (en) 2007-01-26 2008-08-07 F-Origin, Inc. Viewing images with tilt control on a hand-held device
US8063929B2 (en) 2007-05-31 2011-11-22 Eastman Kodak Company Managing scene transitions for video communication
US7890256B2 (en) 2007-08-08 2011-02-15 Alpine Electronics, Inc Map image scrolling method and apparatus for navigation system
WO2009089129A1 (en) 2008-01-04 2009-07-16 3M Innovative Properties Company Global camera path optimization
US8493408B2 (en) 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas
US20100188397A1 (en) 2009-01-28 2010-07-29 Apple Inc. Three dimensional navigation using deterministic movement of an electronic device
US9454847B2 (en) 2009-02-24 2016-09-27 Google Inc. System and method of indicating transition between street level images
US8175794B1 (en) 2009-10-06 2012-05-08 Google Inc. Switching between best views of a place
JP4820462B1 (ja) * 2010-10-22 2011-11-24 パイオニア株式会社 端末装置、端末装置によって実行される画像処理方法及び画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549650B1 (en) * 1996-09-11 2003-04-15 Canon Kabushiki Kaisha Processing of image obtained by multi-eye camera
US7990394B2 (en) * 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
CN102054289A (zh) * 2009-11-04 2011-05-11 沈阳隆惠科技有限公司 一种基于全景实景和地理信息的3d虚拟社区构建方法

Also Published As

Publication number Publication date
EP2786352A1 (en) 2014-10-08
US20130176384A1 (en) 2013-07-11
EP2786352A4 (en) 2015-09-16
CN104040546A (zh) 2014-09-10
WO2013106652A1 (en) 2013-07-18
US9007440B1 (en) 2015-04-14
EP2786352B1 (en) 2018-07-18
US8767040B2 (en) 2014-07-01
EP3382653A1 (en) 2018-10-03
AU2013207909B2 (en) 2014-07-31
DE202013012426U1 (de) 2016-10-28

Similar Documents

Publication Publication Date Title
CN104040546B (zh) 用于显示全景图像的方法和系统
US11829592B2 (en) Integrating maps and street views
US8681149B2 (en) 3D layering of map metadata
US9269190B1 (en) System and method for displaying transitions between map views
US9916673B2 (en) Method and apparatus for rendering a perspective view of objects and content related thereto for location-based services on mobile device
US8812990B2 (en) Method and apparatus for presenting a first person world view of content
EP3359918B1 (en) Systems and methods for orienting a user in a map display
USRE46737E1 (en) Method and apparatus for an augmented reality user interface
US8543917B2 (en) Method and apparatus for presenting a first-person world view of content
US9361283B2 (en) Method and system for projecting text onto surfaces in geographic imagery
US9791290B2 (en) Manipulation of user attention with respect to a simulated field of view for geographic navigation via constrained focus on, perspective attraction to, and/or correction and dynamic adjustment of, points of interest
US20120221552A1 (en) Method and apparatus for providing an active search user interface element

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.