CN102016927A - 使用图像内容来帮助在全景图像数据中导航 - Google Patents
使用图像内容来帮助在全景图像数据中导航 Download PDFInfo
- Publication number
- CN102016927A CN102016927A CN2009801148855A CN200980114885A CN102016927A CN 102016927 A CN102016927 A CN 102016927A CN 2009801148855 A CN2009801148855 A CN 2009801148855A CN 200980114885 A CN200980114885 A CN 200980114885A CN 102016927 A CN102016927 A CN 102016927A
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- panoramic picture
- ray
- dummy model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000004422 calculation algorithm Methods 0.000 claims description 28
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000006978 adaptation Effects 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 3
- 230000008878 coupling Effects 0.000 description 27
- 238000010168 coupling process Methods 0.000 description 27
- 238000005859 coupling reaction Methods 0.000 description 27
- 230000000007 visual effect Effects 0.000 description 18
- 239000000463 material Substances 0.000 description 11
- 239000013598 vector Substances 0.000 description 10
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Processing Or Creating Images (AREA)
- Navigation (AREA)
- User Interface Of Digital Computer (AREA)
- Image Generation (AREA)
Abstract
本发明涉及使用图像内容来帮助在全景图像数据中导航。在一个实施例中,一种计算机实现的用于在全景图像数据中导航的方法包括:(1)确定射线和虚拟模型的交点,其中射线自图像的照相机视口延伸,以及虚拟模型包括多个立面平面;(2)检索全景图像;(3)将全景图像定向为朝向交点;以及(4)显示定向的全景图像。
Description
技术领域
本发明涉及在全景图像之间导航。
背景技术
存在包括被地理编码到地图上的位置的多个全景图像的计算机系统。为了在邻近全景图像之间导航,用户可以选择地图上的按钮,然后新的邻近全景图像可以被加载并显示。尽管该技术是有益的,但是从一个图像跳到下一个图像对用户来说会分散注意力。因此,需要新的导航方法和系统。
发明内容
本发明涉及使用图像内容来帮助在全景图像数据中导航。在第一实施例中,一种用于在全景图像数据中导航的计算机实现的方法包括:(1)确定射线(ray)和虚拟模型的交点,其中射线自图像的照相机视口(viewport)延伸,以及虚拟模型包括多个立面平面(facade planes)(2)检索全景图像;(3)将全景图像定向为朝向交点(orienting the panoramic image to the intersection)以及(4)显示定向的(oriented)全景图像。
在第二实施例中,一种用于创建并显示注释的方法包括:(1)从多个二维图像创建虚拟模型;(2)确定射线和虚拟模型的交点,其中射线自第一图像的照相机视口延伸;(3)检索全景图像;(4)将全景图像定向为面向交点;以及(5)显示全景图像。
在第三实施例中,一种系统创建并显示对应于虚拟模型的注释,其中虚拟模型是从多个二维图像创建的。该系统包括导航控制器,其确定自第一图像的照相机视口延伸的射线和虚拟模型的交点、检索第三全景图像以及将第三全景图像定向为面向交点。虚拟模型包括多个立面平面。
在下面参照附图详细描述本发明的进一步实施例、特征和优势以及本发明的各种实施例的结构和操作。
附图说明
合并于此并且形成说明书的一部分的附图图示了本发明,并且与描述一起进一步用于解释本发明的原理,并且使相关领域的技术人员能够制作并使用本发明。
图1是图示了根据本发明的一个实施例的使用图像内容来帮助在全景图像数据中导航的图。
图2A-D是更详细地示范了帮助在全景图像数据中导航的方式的图。
图3是图示了根据本发明的一个实施例的用于在全景图像数据内导航的方法的流程图。
图4是图示了根据本发明的一个实施例的用于从图像数据创建虚拟模型的方法的流程图。
图5A-C是图示了根据图4的方法找到匹配特征的图。
图6-7是图示了根据图4中的方法基于匹配特征对来确定点的图。
图8A-B是图示了根据图4的方法确定的多个点的图。
图9A-C是图示了根据图4的方法基于多个点来确定表面的图。
图10是示出了根据本发明的一个实施例的用于使用虚拟模型来在图像数据内导航的系统的图。
图11是示出了根据本发明的一个实施例的用于从图像数据创建虚拟模型的系统的图。
元素首次出现的附图典型地由对应的参考数字中最左边的数字指示。在附图中,相同的参考数字可以指示相同或功能上相似的元素。
具体实施方式
本发明涉及使用图像内容来帮助在全景图像数据中导航。在下文的本发明的详细描述中,对“一个实施例”、“实施例”、“示例实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性,但是每一个实施例可以不必包括该特定特征、结构或特性。而且,这样的短语不必是指同一实施例。此外,当结合实施例描述特定特征、结构或特性时,应认为,无论是否明确描述,与其它实施例结合来实现这样的特征、结构或特性是在本领域技术人员的知识范围内。
如在此所描述的,本发明的实施例使用户能够使用图像内容来在全景图像之间导航。在一个实施例中,创建表示图像内容的模型。用户可以选择包含在第一全景图像中的对象。该对象的位置由用户的选择到模型上的投影来确定。根据该位置来选择和/或定向第二全景图。以这种方式,本发明的实施例使用户能够使用图像内容来在第一和第二全景图之间导航。
图1是图示了根据本发明的实施例的使用图像内容来帮助在全景图像数据中导航的图100。图100示出了建筑物114和树116。建筑物114和树116的位置由虚拟模型112估计。虚拟模型112可以如下所述是使用拍摄有建筑物114和树116的图像来生成的三维模型。街道102在建筑物114和树116旁边伸展。
在街道102上的位置处示出了数个化身(avatar)(例如,汽车)104、106、108和110。每一个化身104、106、108和110具有被地理编码到化身在街道102上的位置的相关联的全景图像。全景图像可以包括360度围绕化身的内容。然而,每次可以例如通过视口向用户显示全景图的仅一部分。在图100中,向用户显示的全景图的部分由每一个化身的朝向示出。化身104、106、108和110分别具有朝向124、126、122、120。
化身104具有面向点118的朝向124。化身104的视口将显示被地理编码到化身104的位置的全景图的一部分。在视口中显示的全景图的该部分将包含点118。本发明的实施例使用虚拟模型112来从化身104的位置导航到化身106、108和110的位置。
在下文中被称为转换车道实施例的本发明的第一实施例中,用户可以在车道之间导航。转换车道实施例使用户能够从化身104的全景图导航到化身106的全景图。化身106的全景图被地理编码到相似于化身104的全景图但是位于街道102的不同车道的位置。由于全景图被地理编码到不同的位置,所以如果化身104和化身106具有相同的朝向,则其对应的视口将显示不同的内容。改变在视口中显示的内容对用户来说会迷失方向。转换车道实施例使化身106定向为面向虚拟模型112上的点118。以这种方式,在化身106的视口中显示的全景图的部分包含与在化身104的视口中显示的全景图的部分相同的内容。以这种方式,转换车道实施例使在车道之间的转换较少使人迷失方向。
在下文中被称为绕行(walk-around)实施例的本发明的第二实施例中,用户可以从不同的视角更容易地查看对象。用户可以获得他/她正绕对象步行的感觉。绕行实施例使用户能够从化身104的全景图导航到化身108的全景图。化身108的位置可以例如由用户选择。例如,用户可以通过选择在地图上的位置或按下在键盘上的箭头按钮来选择化身108的位置。由于全景图被地理编码到不同的位置,所以如果化身104和化身106具有相同的朝向,则其对应的视口将显示不同的内容,并且在化身104的视口中显示的感兴趣的对象可能不在化身106的视口中显示。绕行实施例使化身108定向为面向虚拟模型112上的点118。以这种方式,在化身106的视口中显示的全景图的部分包含与在化身104的视口中显示的全景图的部分相同的内容。结果,用户可以从不同的视角更容易地查看对象。
在一个实施例中,可以向用户显示在化身104和化身108之间的过渡。过渡可以示出用于在化身104和化身108之间的化身位置的中间全景图。也可以将中间全景图定向为面向点118。
在下文中被称为点击进入(click-and-go)实施例的第三实施例中,用户可以根据第一全景图的对象的位置导航到在新位置处的第二全景图像。点击进入实施例使用户能够从化身104的全景图导航到化身110的全景图。化身110的位置是对虚拟模型112上的点118来说最靠近的可用全景图的位置。点118可以根据用户在第一全景图上的选择来确定。
在实施例中,化身110可以具有面向点118的朝向120或不同的朝向128。朝向128可以是街道102的朝向的朝向。
通过根据虚拟模型112上的点118来选择化身110,点击进入实施例使用虚拟模型112来在全景图像之间导航。如下所述,在一个实施例中,虚拟模型112使用全景图像的内容来生成。
在一个示例中,点击进入实施例可以使用户能够更近查看对象。在该示例中,用户可以选择第一全景图中的对象,然后靠近该对象的第二全景图被加载。此外,可以在视口中显示包含该对象的第二全景图的部分。以这种方式,使用全景图像的内容来在全景图像之间导航创建了更满意并且更少迷失方向的用户体验。
在一个实施例中,全景图查看器可以显示在化身104和化身108之间的过渡。过渡可以显示用于在化身104和化身108之间的化身位置的中间全景图。也可以将中间全景图定向到面向点118。
图2A-D是更详细地示范了帮助在全景图像数据中导航的方式的图。
图2A是示出了可以如何生成诸如图1中的点118的在模型上的点的图200。图200示出了建筑物262和树264。虚拟模型202表示建筑物262和树264。模型202可以如下所详细描述使用图像内容来生成。图200还示出了拍摄有建筑物262和树264的图像266。图像266可以是从街面拍摄的通过视口向用户显示的全景图像的一部分。在图像266上示出了点268。在诸如转换车道和绕行实施例的一些实施例中,点268可以是图像266的中心。在诸如点击进入实施例的其它实施例中,点268可以由用户使用诸如鼠标的输入设备来选择。
射线212自照相机视点(viewpoint)210延伸经过点268。在一个示例中,照相机视点210可以是用来拍摄照片图像266的照相机的焦点。在该示例中,在图像266和照相机视点210之间的距离为焦距270。
点204为射线212和虚拟模型202之间的交点。可以如在图2B-D中所示使用点204来在街面全景图像之间导航。
图2B是示出了转换车道实施例的示例的图220。使用具有在街道208上的位置214的图像来确定模型202上的点204和射线212。在图2B中还识别了从靠近位置214但是位于街道208的不同车道的位置206拍摄的全景图像。将具有位置206的全景图像定向为面向点204。
图2C是示出了绕行实施例的示例的图230。使用从位置214拍摄的图像来确定模型202上的点204和射线212。可以例如由用户选择具有位置232的全景图像。将具有位置232的全景图像定向为面向点204。
图2D是示出了点击进入实施例的示例的图250。使用具有位置214的图像来确定模型202上的点204和射线212。选择具有位置252、靠近位置204的全景图像。在一个示例中,点204可以如图2D中所示从位置252与街道208正交。在另一个示例中,位置252可以从点204与虚拟模型202正交。可以将具有位置252的全景图像定向为面向点204或可以将具有位置252的全景图像定向为面向街道208的方向。
图3是示范了根据本发明的一个实施例的用于在全景图像数据内导航的方法300的流程图。方法300以在步骤302定向第一全景图像开始。在步骤304,沿第一全景图像的定向的方向延伸射线,如例如关于图2A所述。还可以根据在全景图像上用户所选择的点来确定射线。在步骤306,确定在射线和虚拟模型之间的交点。可以使用图像内容来确定虚拟模型。
在实施例中,可以以数种方式使用交点来在全景图像之间导航。例如,在转换车道或绕行实施例中,可以在步骤310选择第二全景图像。在转换车道实施例中,第二全景图像具有与第一全景图像相似但位于不同车道的位置。在绕行实施例中,可以例如由用户来选择第二全景图像。在步骤316将第二全景图像定向为面向交点。在步骤316后,方法300结束。
在点击进入实施例中,在步骤308,第二全景图像如关于图2D所述可以是这样的:其靠近交点(例如,在交点的所选择或预定的距离内)。在步骤314,可以将第二全景图像定向为面向交点,或可以将第二全景图像定向到其它方向。例如,可以将第二全景图像定向到街道的方向。在步骤314后,方法300结束。
图4是示范了根据本发明的一个实施例的用于从图像数据创建虚拟模型的方法400的流程图。
方法400以步骤402开始。在步骤402,识别图像的特征。在一个实施例中,从图像提取特征以用于随后的比较。将在下面关于图5A-B更详细地描述这一点。在一个实施例中,所使用的图像是街面全景图像,所述街面全景图像是沿着行进路线从彼此接近的位置拍摄的。
在步骤404,匹配在邻近图像中的特征。在一个实施例中,匹配特征可以包括构建溢出树(spill tree)。将在下面关于图5C更详细地描述这一点。
在步骤406,将特征的位置计算为例如在三维空间中的点。在一个实施例中,通过使用如在步骤404中确定的匹配特征对,计算立体三角来确定点。将在下面关于图6-7更详细地描述如何计算三维空间中的点。步骤406的结果为点云。
在步骤408,基于在步骤406中计算的点云来估计立面平面。在一个实施例中,步骤408可以包括使用自适应优化算法或最佳适应算法。在一个实施例中,步骤408包括扫过(sweep)例如与如将在下面关于图9描述的街道对准的平面。
在步骤410,基于街道的位置来估计街道平面。这些街道平面与在步骤408中估计的立面平面一起用于形成虚拟模型,所述虚拟模型对应于在多个二维图像中所示的对象。
图5A-C图示了如何根据方法400识别并匹配图像中的特征的示例。
图5A描述了图像502和图像504。图像502和图像504例如表示从不同视角的同一建筑物和树的两张照片。在一个实施例中,图像502和图像504可以是街面全景图像的部分。可以从附近的位置但是以不同的视角来拍摄两个图像502和504。
在一个实施例中,可以从附接有8个照相机的丛簇(a rosette of eight cameras)的移动车辆拍摄图像502和504。所述8个照相机从不同的视角同时拍摄8个图像。可以随后将所述8个图像拼接在一起以形成全景图。图像502可以是来自所述8个照相机丛簇中的第一照相机的未拼接的图像,所述第一照相机被定向为与车辆垂直。图像504可以是在稍后的时间点期间拍摄的来自第二照相机的未拼接的图像,所述第二照相机与第一照相机相邻。
图5B图示了具有根据方法400的步骤404识别/提取的代表性特征的图像502和图像504。图像502包括代表性特征506、508和512。图像504包括代表性特征510、514和516。虽然仅示出了6个代表性特征,但实际上可以有为每一个图像识别和提取的成千上万的特征。
在一个实施例中,提取特征的步骤可以包括兴趣点检测和特征描述。兴趣点检测根据条件来检测在图像中的点,并且优选地在图像变化的情况下可再现,所述图像变化诸如在亮度和视角上的变化。每一个兴趣点的邻域是特征。每一个特征由特征描述符表示。特征描述符优选地是独特的。
在一个示例中,使用快速鲁棒特征(SURF)算法来从邻近图像提取特征。例如,在2006年5月Proceedings of the Ninth European Conference on Computer Vision(第九届欧洲计算机视觉会议的论文集)中,Herbert Bay,Tinne Tuytelaars,Luc Van Gool的“SURF:Speeded Up Robust Features(SURF:快速鲁棒特征)”中描述了SURF算法。SURF算法包括兴趣点检测和特征描述方案。在SURF算法中,每一个特征描述符包括向量。在一种实施方式中,向量可以是128维的。在图像为从街面拍摄的全景图的一个示例中,SURF算法可以在每一个图像中提取四到五千个特征,导致在大小上为一到二兆字节的特征描述符文件。
图5C图示了匹配的提取特征。图5C描述了匹配520和匹配522。匹配520包括特征512和特征514。匹配522包括特征506和特征516。如在图5C中所表示的,不是在图像502中的每个特征都在图像504中具有匹配特征,反之亦然。例如,由于特征508示出了在图像504中被遮掩的树的一部分,所以在图像502中的特征508在图像504中没有匹配特征。在另一个示例中,例如由于在特征识别上的不精确,所以在图像504中的特征510在图像502中没有匹配。特征识别应当尽可能精确。然而,由于在照明、朝向和其它因素上的变化,某种程度的不精确是可能的。因为这个原因,需要补偿不精确的特征匹配方案。将在下面描述示例特征匹配方案。
在一个实施例中,诸如特征512的每一个特征由特征描述符表示。每一个特征描述符包括128维向量。可以通过找到在第一特征描述符的向量和第二特征描述符的向量之间的欧几里得距离来确定在第一特征和第二特征之间的相似度。
例如可以如下确定第一图像中的特征在第二图像中的特征中的匹配。首先,从在第二图像中的特征中确定在第一图像中的特征的最近邻域(例如,在128维空间中)。其次,从在第二图像中的特征中确定在第一图像中的特征的第二最近邻域(例如,在128维空间中)。第三,确定在第一图像中的特征和在第二图像中的最近邻近特征之间的第一距离,并且确定在第一图像中的特征和在第二图像中的第二最近邻近特征之间的第二距离。第四,通过以第一距离除以第二距离来计算特征相似度比值。如果所述特征相似度比值低于特定阈值,则在第一图像中的特征和在第二图像中的其最近邻域之间存在匹配。
如果特征相似度比值太低,则不能确定足够的匹配。如果特征相似度比值太高,则存在太多的误匹配。在一个实施例中,特征相似度比值可以在0.5和0.95之间并且包括0.5和0.95。
在一个实施例中,可以通过构建在第二图像中的特征的溢出树来确定所述最近邻域和所述第二最近邻域。溢出树紧密逼近最近邻域,并且有效地使用处理器资源。在被比较的图像为从街面拍摄的全景图像的一个示例中,对于每一个图像对,可以有成百上千匹配的特征对。对于每一个匹配的特征对,可以例如使用立体三角来确定在三维空间中的点。
图6和7图示了使用三维立体三角基于匹配的特征来确定在三维空间中的点的示例。在一个实施例中,这种技术例如用于实现方法400的步骤406。为了确定在三维空间中的与匹配的特征对相对应的点,为所述匹配的特征对构建射线,并且基于射线的交点来确定所述点。将在下面更详细地描述这一点。
图6示出了说明如何形成射线的示例600。如图6中所示,可以通过将射线从图像608的照相机视点602投影或延伸经过图像608的特征604来形成射线606。在示例600中,照相机视点602对应于用来拍摄图像608的照相机的焦点。在图像608和照相机视点602之间的距离等于焦距610。
在形成用于匹配特征中的每一个的射线后,可以确定在三维空间中的点。图7图示了描绘如何确定点的示例700。
在示例700中,示出了两个照相机丛簇702和704。在一个实施例中,这两个照相机丛簇可以是相同的(例如同一照相机丛簇可以用于在不同的位置和在不同的时间点拍摄图像)。每一个照相机丛簇702和704包括具有匹配的特征的图像。在示例700中,照相机丛簇702包括与照相机丛簇704的特征708相匹配的特征706。如图7中所示,通过将射线710从照相机丛簇702的照相机视点延伸经过特征706来形成第一射线710。类似地,通过将射线712从照相机丛簇704的照相机视点延伸经过特征708来形成第二射线712。射线710和射线712的交点为三维点714。在实施例中,例如,由于特征识别和匹配上的不精确,射线710和712可能实际上并未在点714相交。如果射线710和712实际上未相交,则可以确定这两个射线最靠近的线段。在这些情况下,所使用的三维点714可以是线段的中点。
在实施例中,如上所述,对于每一个匹配的特征对重复由示例600和700图示的步骤,以确定三维点云。
图8A示出了包括建筑物806和树808的三维空间的示例800。示例800还包括街道810。在一个实施例中,可以从沿着街道810移动的车辆拍摄建筑物806和树808的照片图像。可以从位置802拍摄第一照片图像,而可以从位置804拍摄第二照片图像。
如在此所述,根据本发明的一个实施例,从第一和第二图像提取特征。识别匹配特征,并且对于每一个匹配特征对,例如使用立体三角来确定三维点。这产生三维点云,诸如在图8B中所图示的那些。图8B图示了其中描述了三维点云852的示例850。
图9A-C图示了如何基于在三维空间中的多个点来确定立面表面的示例。这个示例仅是说明性的,并且可以例如用于实现方法400的步骤408。在其它实施例中,可以使用诸如最小二乘方或自适应优化算法的最佳适应或回归分析算法来确定所述表面。自适应优化算法的示例包括但不限于爬山算法、随机爬山算法、A星算法和遗传算法。
图9A描述了街道908和三维点云910。立面平面902与街道908平行。在操作中,立面平面902从街道908沿轴向外平移。在向外移动的每一个位置,求取在立面平面902的特定范围内的点的数量。在图9A中,所述范围由虚线912和914示出。如图9A中所示,零点位于虚线912和914之间。
图9B示出了从街道908沿轴向外平移的立面平面904。在图9B中,立面平面904比在图9A中所示的立面平面902从街道908向外移动了更大的距离。结果,有三个点在立面平面904的范围内。
在一个实施例中,如果未找到立面平面的位置(例如具有指定数量的接近点的位置),则可以相对于街道来改变立面平面的角度。因此,图9C示出了相对于街道908在非平行的角度的立面平面906。如图9C中所示,存在5个点靠近立面平面906。
如在此所述,从立面平面形成根据本发明的虚拟模型。可以根据图像内容来生成立面平面。在一个实施例中,模型还可以包括一个或多个街道平面(例如,平行于街道的平面)。在一个实施例中,可以基于街道的已知位置来计算街道平面(例如,可以知道街道相对于用于拍摄图像的照相机的位置)。虚拟模型可以是二维或三维的。
图10示出了根据本发明的一个实施例的用于使用三维模型来在图像数据内导航的系统1000。如图10中所示,系统1000包括客户端1002。客户端1002例如跨网络1044与一个或多个服务器1024进行通信。客户端1002可以是通用的计算机。替选地,客户端1002可以是诸如移动电话的专用计算设备。类似地,可以使用能够向客户端1002提供数据的任何计算设备来实现服务器1024。
服务器1024可以包括web服务器。Web服务器是软件组件,其用超文本传送协议(HTTP)应答来响应HTTP请求。作为说明性示例,web服务器在没有限制的情况下可以是Apache HTTP服务器、Apache Tomcat、Microsoft Internet Information Server(微软因特网信息服务器)、JBoss应用服务器、WebLogic应用服务器或Sun Java System Web服务器。所述web服务器可以提供内容,诸如超文本标记语言(HTML)、可扩展标记语言(XML)、文档、视频、图像、多媒体特征或其任何组合。这个示例严格地说是说明性的,并且不限制本发明。
服务器1024可以如下所述提供地图瓦片(tile)1014、程序1016、配置信息1018和/或全景图瓦片1020。
网络1044可以是可以承载数据通信的任何网络或网络组合,并且在此可以被称为计算机网络。网络1044可以包括但不限于局域网、中间区域网和/或诸如因特网的广域网。网络1044可以支持协议和技术,包括但不限于万维网协议和/或服务。可以取决于特定应用或环境在系统1000的组件之间提供中间web服务器、网关或其它服务器。
服务器1024耦接到全景图数据库1028和模型数据库1030。全景图数据库1028存储图像。在一个示例中,图像可以是从街面拍摄的照片图像。可以将从同一位置拍摄的照片图像拼接在一起,以形成全景图。模型数据库1030存储与全景图数据库1028中的图像相对应的三维模型。将在下面进一步详细论述可以如何生成三维模型的示例。注释数据库1032存储用户生成的注释。
可以在关系数据库管理系统上实现全景图数据库1028、模型数据库1030和注释数据库1032中的每一个。关系数据库的示例包括Oracle、微软SQL Server和MySQL。这些示例是说明性的,并且并不意在限制本发明。
服务器1024包括导航控制器1032。导航控制器1032使用模型数据库1030中的从图像内容生成的模型来帮助在全景图之间导航。导航控制器1032从导航数据1042接收输入。导航数据1042包含关于当前位置和朝向的数据以及关于期望的下一位置的数据。例如,在点击进入实施例中,导航数据1042可以包含第一全景图像和第一全景图像中的用户意欲前往的位置。导航数据1042可以是例如带有被编码为HTTP参数的数据的HTTP请求。
响应于导航数据1042,导航控制器1032基于在模型数据库1030中的模型来确定在全景图数据库1028中的新的全景图。导航控制器1032还确定显示第二全景图的朝向。导航控制器1032将新的全景图和朝向输出在配置信息1018和全景图瓦片1020中。
导航控制器1032可以包括转换车道控制器1034、点击进入控制器1036和绕行控制器1038。转换车道控制器1034、点击进入控制器1036和绕行控制器1038中的每一个根据本发明的实施例对导航数据1042作出响应。
转换车道控制器1034根据本发明的转换车道实施例来操作。响应于导航数据1042,转换车道控制器1034从全景图数据库1028选择第二全景图像。第二全景图像靠近第一全景图像的位置,但是在不同的车道。在一个示例中,第二全景图像可以是在全景图数据库1028中的存在于不同车道的最靠近的全景图像。转换车道控制器1034根据导航数据1042中的第一全景图的位置和朝向来确定模型数据库1030中的模型中的位置。在一个实施例中,为了确定位置,转换车道控制器1034如关于图2A所述从该位置沿朝向的方向延伸射线。转换车道控制器1034然后如关于图2B所述确定第二全景图的朝向。最后,转换车道控制器1034将第二全景图返回在全景图瓦片1020中,以及将第二全景图的朝向返回在配置信息1018中。
点击进入控制器1036根据本发明的点击进入实施例操作。响应于导航数据1042,点击进入控制器1036从全景图数据库1028选择第二全景图像。点击进入控制器1036基于来自导航数据1042的第一全景图像中的位置来选择第二全景图像。在第一全景图像中的位置可以由诸如鼠标的用户输入来确定。点击进入控制器1036如关于图2A所述使用在第一全景图像中的位置来确定在模型数据库1042中的模型中的位置。点击进入控制器1036然后基于模型中的位置来选择第二全景图像。第二全景图像如关于图2D所述靠近模型中的位置。在一个示例中,第二全景图像可以具有使得模型上的位置与街道正交的位置。在另一个示例中,第二全景图像可以具有与虚拟模型正交的位置。点击进入控制器1036然后确定第二全景图的朝向。可以将第二全景图定向为面向模型中的位置,或者可以将第二全景图定向到街道的方向。最后,点击进入控制器1036将第二全景图返回在全景图瓦片1020中,以及将其朝向返回在配置信息1018中。
绕行控制器1038响应于导航数据1042从全景图数据库1028选择第二全景图像。第二全景图像可以例如根据导航数据1042中的由用户输入的位置来选择。绕行控制器1038根据导航数据1042中的第一全景图的位置和朝向来确定模型数据库1030中的模型中的位置。为了确定位置,绕行控制器1038如关于图2A所述从该位置沿朝向的方向延伸射线。绕行控制器1038如上所述确定第二全景图的朝向。最后,绕行控制器1038将第二全景图返回在全景图瓦片1020中,以及将第二全景图的朝向返回在配置信息1018中。
在一个实施例中,客户端1002可以包含地图服务1006和全景图查看器1008。地图服务1006和全景图查看器1008中的每一个可以是单独的应用或可以在浏览器1004中执行。在实施例中,浏览器1004可以是Mozilla Firefox或微软的Internet Explorer。例如可以将全景图查看器1008作为在浏览器1004内的脚本、作为在浏览器1004内的插件或作为在诸如Adobe(Macromedia)Flash插件的浏览器插件内执行的程序来执行。
地图服务1006将地图的可视表示例如作为视口显示到地图瓦片的网格中。使用标记和脚本元素的组合,例如使用HTML和Javascript,来实现地图系统1006。当移动视口时,地图服务1006从服务器1024请求额外的地图瓦片1014,假定所请求的地图瓦片还未被缓存在本地高速缓冲存储器中。值得注意地,提供地图瓦片1014的服务器可以是与提供全景图瓦片1020、配置信息1018或在此涉及的其它数据的服务器相同或不同的服务器。
在一个实施例中,地图服务1006可以请求浏览器1004从服务器1024下载用于全景图查看器1008的程序1016,并且实例化运行程序1016所必需的任何插件。程序1016可以是Flash文件或某种其它形式的可执行内容。全景图查看器1008根据程序1016来执行和操作。
全景图查看器1008从服务器1024请求配置信息1018。配置信息包括关于待加载的全景图的元信息,包括关于在全景图内的到其它全景图的链接的信息。在一个实施例中,以诸如可扩展标记语言(XML)的形式来呈现配置信息。全景图查看器1008例如以全景图像形式或以全景图像瓦片形式检索用于全景图的可视资产(visual asset)1020。在另一个实施例中,可视资产包括以相关文件格式的配置信息。全景图查看器1008在全景图的客户端显示器和额外的用户界面元素上呈现如从配置信息1018和可视资产1020生成的可视表示。当用户与输入设备交互以操纵全景图的可视表示时,全景图查看器1008更新可视表示,并且根据需要下载额外的配置信息和可视资产。
可以以硬件、软件、固件或其任何组合来实现浏览器1004、地图服务1006和全景图查看器1008中的每一个。
图11示出了根据本发明的一个实施例的用于从图像数据创建虚拟模型的系统1100。系统1100包括全景图数据库1028和模型数据库1030,其中每一个耦接到处理管线服务器1124。处理管线服务器1124可以是任何计算设备。示例计算设备包括但不限于计算机、工作站、分布式计算系统、嵌入式系统、独立电子设备、联网设备、移动设备、机架式服务器、电视或其它类型的计算系统。
处理管线服务器1124包括特征提取器1116、特征匹配器1118、点计算器1120和表面估计器1122。可以以硬件、软件、固件或其任何组合来实现特征提取器1116、特征匹配器1118、点计算器1120和表面估计器1122中的每一个。
特征提取器1116从全景图数据库1028选择图像1102。在一个实施例中,图像1102可以包括两个图像,所述两个图像为街面未拼接的全景图像。可以从彼此接近的位置但是从不同的视角来拍摄所述两个图像。在一个实施例中,从安装有8个照相机的丛簇的移动车辆拍摄图像。所述8个照相机同时从不同的视角拍摄8个图像。随后可以将所述8个图像拼接在一起以形成全景图。第一图像可以是来自所述8个照相机丛簇中的第一照相机的未拼接的图像。第二图像可以是在稍后的时间点期间拍摄的来自第二照相机的未拼接的图像,所述第二照相机与第一照相机相邻。
特征提取器1116从图像1102提取特征。在一个实施例中,特征提取器1116可以执行多于一个功能,诸如兴趣点检测和特征描述。兴趣点检测根据条件来检测在图像中的点,并且优选地在图像变化的情况下可再现,所述图像变化诸如在亮度和视角上的变化。每一个兴趣点的邻域因此被描述为特征。这些特征由特征描述符表示。特征描述符优选地是独特的。
在一个示例中,可以使用快速鲁棒特征(SURF)算法从图像提取特征。SURF算法包括兴趣点检测和特征描述方案。在SURF算法中,每一个特征描述符包括向量。在一种实施方式中,所述向量可以是128维的。在图像为从街面拍摄的全景图的一个示例中,SURF算法可以在每一个图像中提取四到五千个特征,导致在大小上为一到二兆字节的特征描述符文件1104。
特征匹配器1118使用每一个特征描述符文件1104来匹配在两个图像中的特征。在一个示例中,每一个特征由在特征描述符文件1104中的特征描述符表示。每一个特征描述符包括128维向量。可以通过找到在第一特征的向量和第二特征的向量之间的欧几里得距离来确定在第一特征和第二特征之间的相似度。
可以如下确定第一图像中的特征在第二图像中的特征中的匹配。首先,特征匹配器1118确定从在第二图像中的特征中确定的在第一图像中的特征的最近邻域(例如,在118维空间中)。其次,特征匹配器1118确定从在第二图像中的特征中确定的在第一图像中的特征的第二最近邻域。第三,特征匹配器1118确定在第一图像中的特征和在第二图像中的最近邻近特征之间的第一距离,并且特征匹配器1118确定在第一图像中的特征和在第二图像中的第二最近邻近特征之间的第二距离。第四,特征匹配器1118通过以第一距离除以第二距离来计算特征相似度比值。如果所述特征相似度比值低于特定阈值,则在第一图像中的特征和在第二图像中的其最近邻域之间存在匹配。
特征匹配器1118可以例如通过构造溢出树来确定最近邻域和第二最近邻域。
如果特征相似度比值太低,则特征匹配器1118可能不能确定足够的匹配。如果特征相似度比值太高,则特征匹配器1118可能确定太多的误匹配。在一个实施例中,特征相似度比值可以在0.5和0.95之间并且包括0.5和0.95。在图像为从街面拍摄的全景图的示例中,可以有数百个匹配的特征。所述匹配的特征作为匹配的特征1106被发送到点计算器1120。
点计算器1120对于每一个匹配的特征1106对确定三维空间中的点。为了确定三维空间中的点,对于每一个特征形成或确定射线,并且基于特征的射线的交点来确定所述点。在一个实施例中,如果射线未相交,则基于连接两条射线的最短线段的中点来确定所述点。点计算器1120的输出为三维点云1108(例如一个点用于每一个匹配的特征对)。
表面估计器1122基于点云1108来确定立面平面。表面估计器1122可以通过使用诸如最小二乘方或自适应优化算法的最佳适应或回归分析算法来确定立面平面。自适应优化算法的示例包括但不限于爬山算法、随机爬山算法、A星算法和遗传算法。替选地,表面估计器1122可以通过下述方式来确定立面表面:通过沿轴平移平面以确定平面的最佳位置,如在上面关于图9A-C所述。
表面估计器1122还可以确定一个或多个街道平面。街道平面和立面平面一起形成表面平面1110。表面估计器1122将表面平面1110存储在模型数据库1030中。
应当理解,意在使用具体实施方式部分而不是发明内容和摘要部分解释权利要求。发明内容和摘要部分可以阐明发明人考虑的本发明的一个或多个而非所有的示例性实施例,因此发明内容和摘要部分并不意在以任何方式来限制本发明和所附的权利要求。
在上面借助于说明指定的功能及其关系的实现的功能构造块来描述了本发明。在此为了便于描述,任意地限定了这些功能构造块的边界。可以限定替选边界,只要所述指定的功能及其关系被适当地执行。
特定实施例的前述描述如此充分地揭示了本发明的一般特性,使得其他人可以在不背离本发明的一般思想的情况下,通过应用在本领域的技术内的知识而容易地修改和/或调整本发明的一般特性以用于这样的特定实施例的各种应用,而不用进行过度的实验。因此,基于在此提供的教导和指导,这样的调整和修改意在在所公开的实施例的等同物的含义和范围内。应当明白的是,在此的措词或术语用于描述而非限制的目的,因此本说明书的术语或措词应当由技术人员根据所述教导和指导来解释。
本发明的宽度和范围不应当由上述示例性实施例的任何一个限制,而是应当仅根据所附权利要求及其等同物来限定。
Claims (23)
1.一种计算机实现的用于在全景图像数据中导航的方法,包括:
(1)确定射线和虚拟模型的交点,其中所述射线自图像的照相机视口延伸,并且所述虚拟模型包括多个立面平面;
(2)检索全景图像;
(3)将所述全景图像定向为朝向所述交点;以及
(4)显示所定向的全景图像。
2.如权利要求1所述的方法,其中(2)包括检索具有带有与街道的第一车道相对应的位置的照相机视点的全景图像,以及所述图像的所述具有与所述街道的第二车道相对应的位置。
3.如权利要求1所述的方法,其中(2)包括检索具有带有用户所选择的位置的照相机视点的全景图像。
4.如权利要求1所述的方法,其中(2)包括检索在所述交点的所选择的距离内的全景图像。
5.如权利要求1所述的方法,其中所述图像包括从街面拍摄的照片图像,以及所述全景图像包括从街面拍摄的照片图像。
6.一种用于创建并显示注释的方法,包括:
(1)从多个二维图像创建虚拟模型;
(2)确定自第一图像的照相机视口延伸的射线和所述虚拟模型的交点,其中所述虚拟模型对应于第二图像中的特征;
(3)检索全景图像;
(4)将所述全景图像定向为面向所述交点;以及
(5)显示所定向的全景图像。
7.如权利要求6所述的方法,其中(1)包括:
(a)识别第一图像的第一多个特征和第二图像的第二多个特征;
(b)确定多个特征对,其中每一个特征对包括来自所述第一多个特征的第一特征和来自所述第二多个特征的第二特征,所述第二特征与所述第一特征相匹配;
(c)确定与所述多个特征对相对应的多个点;以及
(d)基于所述多个点来确定立面平面;
(e)确定与街道的位置相对应的街道平面;以及
(f)创建与所述立面平面和所述街道平面相对应的虚拟模型。
8.如权利要求7所述的方法,其中(a)包括使用快速鲁棒特征(SURF)算法。
9.如权利要求8所述的方法,其中(b)包括:
(i)确定用于所述第一多个特征的溢出树;
(ii)对所述溢出树搜索在所述第二图像中的每一个特征的近似最近邻域和近似第二最近邻域;以及
(iii)将所述近似最近邻域和所述近似第二最近邻域的特征相似度比值与阈值相比较。
10.如权利要求9所述的方法,其中(iii)包括将所述近似最近邻域和所述近似第二最近邻域的特征相似度比值与在0.5和0.95之间并且包括0.5和0.95的阈值相比较。
11.如权利要求7所述的方法,其中(c)包括:
(i)对于所述多个特征对中的每一个特征对,确定第一射线和第二射线,所述第一射线从所述第一图像的第一照相机视点延伸经过来自所述对的所述第一特征,并且所述第二射线从所述第二图像的第二照相机视点延伸经过来自所述对的所述第二特征;以及
(ii)对于所述多个特征对中的每一个特征对,确定与所述第一射线和所述第二射线的交点相对应的点。
12.如权利要求7所述的方法,其中(d)包括使用最佳适应或自适应优化算法。
13.一种用于创建并显示与虚拟模型相对应的注释的系统,其中所述虚拟模型创建自多个二维图像,包括:
包括导航控制器的服务器,所述导航控制器确定自图像的照相机视口延伸的射线和虚拟模型的交点、检索全景图像以及将所述全景图像定向为面向所述交点,其中所述虚拟模型包括多个立面平面。
14.如权利要求13所述的系统,其中所述导航控制器包括转换车道控制器,所述转换车道控制器确定位于不同于第二车道的第一车道中的所述全景图像的所述照相机视口的位置,其中所述图像的所述照相机视口的所述位置位于所述第二车道。
15.如权利要求13所述的系统,其中所述导航控制器包括点击进入控制器,所述点击进入控制器确定与用户选择相对应的所述全景图像的照相机视口的位置。
16.如权利要求15所述的系统,其中所述导航控制器包括绕行控制器,所述绕行控制器确定与所述交点相对应的所述全景图像的照相机视口的位置。
17.如权利要求13所述的系统,进一步包括:
处理管线服务器,所述处理管线服务器从多个二维图像创建虚拟模型。
18.如权利要求17所述的系统,其中所述处理管线服务器包括:
特征提取器,所述特征提取器识别第一图像的第一多个特征和第二图像的第二多个特征;
特征匹配器,所述特征匹配器确定多个特征对,其中每一个特征对包括来自所述第一多个特征的第一特征和来自所述第二多个特征的第二特征,并且其中所述第一特征与所述第二特征相匹配;
点计算器,所述点计算器确定与所述多个特征对相对应的多个点;以及
表面估计器,所述表面估计器基于所述多个点来创建所述虚拟模型。
19.如权利要求18所述的系统,其中所述特征提取器使用快速鲁棒特征(SURF)算法。
20.如权利要求18所述的系统,其中所述特征匹配器确定用于所述第一多个特征的溢出树,对所述溢出树搜索在所述第二图像中的每一个特征的近似最近邻域和近似第二最近邻域,以及确定所述近似最近邻域和所述近似第二最近邻域的特征相似度比值是否低于阈值。
21.如权利要求20所述的系统,其中所述阈值在0.5和0.95之间,并且包括0.5和0.95。
22.如权利要求18所述的系统,其中对于所述多个特征对中的每一个特征对,所述点计算器确定第一射线和第二射线,所述第一射线从所述第一图像的第一照相机视点延伸经过来自所述对的所述第一特征,所述第二射线从来自所述对的所述第二特征的第二照相机视点延伸,以及将来自所述多个点的点确定为在所述第一射线和所述第二射线之间的交点。
23.一种计算机实现的用于在全景图像数据中导航的方法,包括:
用于确定射线和虚拟模型的交点的装置,其中所述射线从图像的照相机视口延伸,并且所述虚拟模型包括多个立面平面;
用于检索全景图像的装置;
用于将所述全景图像定向为朝向所述交点的装置;以及
用于显示所定向的全景图像的装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310473478.1A CN103824317B (zh) | 2008-02-27 | 2009-02-26 | 使用图像内容来帮助在全景图像数据中导航 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/038,325 | 2008-02-27 | ||
US12/038,325 US8525825B2 (en) | 2008-02-27 | 2008-02-27 | Using image content to facilitate navigation in panoramic image data |
PCT/US2009/001216 WO2009108333A2 (en) | 2008-02-27 | 2009-02-26 | Using image content to facilitate navigation in panoramic image data |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310473478.1A Division CN103824317B (zh) | 2008-02-27 | 2009-02-26 | 使用图像内容来帮助在全景图像数据中导航 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102016927A true CN102016927A (zh) | 2011-04-13 |
CN102016927B CN102016927B (zh) | 2013-11-20 |
Family
ID=40677548
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310473478.1A Active CN103824317B (zh) | 2008-02-27 | 2009-02-26 | 使用图像内容来帮助在全景图像数据中导航 |
CN2009801148855A Active CN102016927B (zh) | 2008-02-27 | 2009-02-26 | 使用图像内容来帮助在全景图像数据中导航 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310473478.1A Active CN103824317B (zh) | 2008-02-27 | 2009-02-26 | 使用图像内容来帮助在全景图像数据中导航 |
Country Status (8)
Country | Link |
---|---|
US (4) | US8525825B2 (zh) |
EP (1) | EP2260470B1 (zh) |
JP (2) | JP5337822B2 (zh) |
CN (2) | CN103824317B (zh) |
AU (1) | AU2009217725B2 (zh) |
CA (1) | CA2716360C (zh) |
DE (1) | DE202009019124U1 (zh) |
WO (1) | WO2009108333A2 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107272007A (zh) * | 2012-09-20 | 2017-10-20 | 伟摩有限责任公司 | 检测公路天气状况的方法和系统 |
CN108604380A (zh) * | 2016-05-03 | 2018-09-28 | 谷歌有限责任公司 | 用于在移动设备上获得成对极线约束和解决全景姿态的方法和系统 |
CN109859612A (zh) * | 2019-01-16 | 2019-06-07 | 中德(珠海)人工智能研究院有限公司 | 一种街景数据的三维注释的方法及其系统 |
CN111189440A (zh) * | 2019-12-31 | 2020-05-22 | 中国电建集团华东勘测设计研究院有限公司 | 一种基于空间信息模型与实时图像比对的定位导航方法 |
Families Citing this family (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8072448B2 (en) * | 2008-01-15 | 2011-12-06 | Google Inc. | Three-dimensional annotations for street view data |
US8525825B2 (en) | 2008-02-27 | 2013-09-03 | Google Inc. | Using image content to facilitate navigation in panoramic image data |
US20090244100A1 (en) * | 2008-04-01 | 2009-10-01 | Schwegler William C | Gradually changing perspective map |
US20110113315A1 (en) * | 2008-12-31 | 2011-05-12 | Microsoft Corporation | Computer-assisted rich interactive narrative (rin) generation |
US9454847B2 (en) | 2009-02-24 | 2016-09-27 | Google Inc. | System and method of indicating transition between street level images |
KR100971778B1 (ko) * | 2009-09-16 | 2010-07-22 | (주)올라웍스 | 그래프 구조를 이용하여 파노라마 이미지에 대한 이미지 매칭을 수행하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
KR20110052124A (ko) * | 2009-11-12 | 2011-05-18 | 삼성전자주식회사 | 파노라마 이미지 생성 및 조회 방법과 이를 이용한 휴대 단말기 |
JP5387906B2 (ja) * | 2009-12-28 | 2014-01-15 | 学校法人福岡大学 | 3次元座標特定装置、その方法、及びプログラム |
US8447136B2 (en) | 2010-01-12 | 2013-05-21 | Microsoft Corporation | Viewing media in the context of street-level images |
CA2818695C (en) * | 2010-11-24 | 2018-06-26 | Google, Inc. | Guided navigation through geo-located panoramas |
US8447116B2 (en) | 2011-07-22 | 2013-05-21 | Honeywell International Inc. | Identifying true feature matches for vision based navigation |
US9036000B1 (en) * | 2011-09-27 | 2015-05-19 | Google Inc. | Street-level imagery acquisition and selection |
US9384711B2 (en) * | 2012-02-15 | 2016-07-05 | Microsoft Technology Licensing, Llc | Speculative render ahead and caching in multiple passes |
US9396577B2 (en) | 2012-02-16 | 2016-07-19 | Google Inc. | Using embedded camera parameters to determine a position for a three-dimensional model |
US8885952B1 (en) * | 2012-02-29 | 2014-11-11 | Google Inc. | Method and system for presenting similar photos based on homographies |
US20130271488A1 (en) * | 2012-04-12 | 2013-10-17 | Nokia Corporation | Method and apparatus for filtering and transmitting virtual objects |
US9286122B2 (en) | 2012-05-31 | 2016-03-15 | Microsoft Technology Licensing, Llc | Display techniques using virtual surface allocation |
US9235925B2 (en) | 2012-05-31 | 2016-01-12 | Microsoft Technology Licensing, Llc | Virtual surface rendering |
US9230517B2 (en) | 2012-05-31 | 2016-01-05 | Microsoft Technology Licensing, Llc | Virtual surface gutters |
US9177533B2 (en) | 2012-05-31 | 2015-11-03 | Microsoft Technology Licensing, Llc | Virtual surface compaction |
US9786097B2 (en) | 2012-06-22 | 2017-10-10 | Matterport, Inc. | Multi-modal method for interacting with 3D models |
US10127722B2 (en) | 2015-06-30 | 2018-11-13 | Matterport, Inc. | Mobile capture visualization incorporating three-dimensional and two-dimensional imagery |
US10163261B2 (en) * | 2014-03-19 | 2018-12-25 | Matterport, Inc. | Selecting two-dimensional imagery data for display within a three-dimensional model |
US10139985B2 (en) | 2012-06-22 | 2018-11-27 | Matterport, Inc. | Defining, displaying and interacting with tags in a three-dimensional model |
US9256961B2 (en) | 2012-06-28 | 2016-02-09 | Here Global B.V. | Alternate viewpoint image enhancement |
US9256983B2 (en) * | 2012-06-28 | 2016-02-09 | Here Global B.V. | On demand image overlay |
US9275460B2 (en) * | 2012-10-17 | 2016-03-01 | Google Inc. | Reference orientations for viewing panoramic images |
US9885789B2 (en) * | 2013-03-14 | 2018-02-06 | Google Llc | Accounting for atmospheric and terrestrial obstacles in geographic positioning |
ITMO20130086A1 (it) * | 2013-04-02 | 2014-10-03 | Gabriele Garavini | Metodo e sistema per la visita virtuale di luoghi inaccessibili e/o intransitabili mediante veicoli |
US9307007B2 (en) | 2013-06-14 | 2016-04-05 | Microsoft Technology Licensing, Llc | Content pre-render and pre-fetch techniques |
JP2015095802A (ja) * | 2013-11-13 | 2015-05-18 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
US20150206337A1 (en) * | 2014-01-17 | 2015-07-23 | Nokia Corporation | Method and apparatus for visualization of geo-located media contents in 3d rendering applications |
US10311633B2 (en) | 2014-01-17 | 2019-06-04 | Nokia Technologies Oy | Method and apparatus for visualization of geo-located media contents in 3D rendering applications |
US20150206343A1 (en) * | 2014-01-17 | 2015-07-23 | Nokia Corporation | Method and apparatus for evaluating environmental structures for in-situ content augmentation |
US9235215B2 (en) | 2014-04-03 | 2016-01-12 | Honeywell International Inc. | Feature set optimization in vision-based positioning |
USD780777S1 (en) | 2014-04-22 | 2017-03-07 | Google Inc. | Display screen with graphical user interface or portion thereof |
USD781317S1 (en) | 2014-04-22 | 2017-03-14 | Google Inc. | Display screen with graphical user interface or portion thereof |
US9934222B2 (en) | 2014-04-22 | 2018-04-03 | Google Llc | Providing a thumbnail image that follows a main image |
US9972121B2 (en) * | 2014-04-22 | 2018-05-15 | Google Llc | Selecting time-distributed panoramic images for display |
US9185391B1 (en) | 2014-06-17 | 2015-11-10 | Actality, Inc. | Adjustable parallax distance, wide field of view, stereoscopic imaging system |
US9569498B2 (en) * | 2014-06-27 | 2017-02-14 | Google Inc. | Using image features to extract viewports from images |
KR102300034B1 (ko) * | 2014-07-04 | 2021-09-08 | 엘지전자 주식회사 | 디지털 이미지 처리 장치 및 제어 방법 |
US9772281B2 (en) | 2014-10-25 | 2017-09-26 | Isle Management Co. | Air quality analyzing apparatus |
CN104717278A (zh) * | 2014-12-04 | 2015-06-17 | 广西蕴藏科技有限公司 | 一种标记位置引导方法和系统 |
US9754413B1 (en) | 2015-03-26 | 2017-09-05 | Google Inc. | Method and system for navigating in panoramic images using voxel maps |
US9652896B1 (en) * | 2015-10-30 | 2017-05-16 | Snap Inc. | Image based tracking in augmented reality systems |
US9984499B1 (en) | 2015-11-30 | 2018-05-29 | Snap Inc. | Image and point cloud based tracking and in augmented reality systems |
US10523865B2 (en) | 2016-01-06 | 2019-12-31 | Texas Instruments Incorporated | Three dimensional rendering for surround view using predetermined viewpoint lookup tables |
US10319149B1 (en) | 2017-02-17 | 2019-06-11 | Snap Inc. | Augmented reality anamorphosis system |
US10074381B1 (en) | 2017-02-20 | 2018-09-11 | Snap Inc. | Augmented reality speech balloon system |
CN108510433B (zh) * | 2017-02-28 | 2020-03-24 | 贝壳找房(北京)科技有限公司 | 空间展示方法、装置及终端 |
US10387730B1 (en) | 2017-04-20 | 2019-08-20 | Snap Inc. | Augmented reality typography personalization system |
US10740974B1 (en) | 2017-09-15 | 2020-08-11 | Snap Inc. | Augmented reality system |
US10102611B1 (en) * | 2017-10-16 | 2018-10-16 | Xplorit Llc | Interconnected 360 video virtual travel |
US10997760B2 (en) | 2018-08-31 | 2021-05-04 | Snap Inc. | Augmented reality anthropomorphization system |
US11972529B2 (en) | 2019-02-01 | 2024-04-30 | Snap Inc. | Augmented reality system |
CN111323028B (zh) * | 2020-02-20 | 2022-08-19 | 川谷汇(北京)数字科技有限公司 | 一种基于图像识别的室内室外定位装置以及定位方法 |
EP3923121A1 (en) * | 2020-06-09 | 2021-12-15 | Diadrasis Ladas I & Co Ike | Object recognition method and system in augmented reality enviroments |
US11443443B2 (en) * | 2020-07-16 | 2022-09-13 | Siemens Industry Software Inc | Method and a data processing system for aligning a first panoramic image and a second panoramic image in a navigation procedure |
CN112465696A (zh) * | 2020-12-04 | 2021-03-09 | 中国科学院深圳先进技术研究院 | 一种全景呈现方法及其装置 |
CN113008252B (zh) * | 2021-04-15 | 2023-08-22 | 东莞市异领电子有限公司 | 基于全景照片的高精度导航装置及导航方法 |
Family Cites Families (74)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06223198A (ja) | 1993-01-26 | 1994-08-12 | Hitachi Ltd | 光線追跡による画像生成装置及び方法 |
US5737533A (en) | 1995-10-26 | 1998-04-07 | Wegener Internet Projects Bv | System for generating a virtual reality scene in response to a database search |
US5973699A (en) * | 1996-09-19 | 1999-10-26 | Platinum Technology Ip, Inc. | System and method for increasing the performance for real-time rendering of three-dimensional polygonal data |
US6308144B1 (en) | 1996-09-26 | 2001-10-23 | Computervision Corporation | Method and apparatus for providing three-dimensional model associativity |
US6111582A (en) * | 1996-12-20 | 2000-08-29 | Jenkins; Barry L. | System and method of image generation and encoding using primitive reprojection |
US6009190A (en) * | 1997-08-01 | 1999-12-28 | Microsoft Corporation | Texture map construction method and apparatus for displaying panoramic image mosaics |
US6157747A (en) * | 1997-08-01 | 2000-12-05 | Microsoft Corporation | 3-dimensional image rotation method and apparatus for producing image mosaics |
US6256043B1 (en) | 1997-09-26 | 2001-07-03 | Lucent Technologies Inc. | Three dimensional virtual reality enhancement techniques |
JPH11259672A (ja) * | 1998-03-13 | 1999-09-24 | Mitsubishi Electric Corp | 3次元仮想空間表示装置 |
IL127314A0 (en) | 1998-11-27 | 1999-09-22 | Algotec Systems Ltd | A method for forming a perspective rendering from a voxel space |
US6346938B1 (en) * | 1999-04-27 | 2002-02-12 | Harris Corporation | Computer-resident mechanism for manipulating, navigating through and mensurating displayed image of three-dimensional geometric model |
US7620909B2 (en) | 1999-05-12 | 2009-11-17 | Imove Inc. | Interactive image seamer for panoramic images |
US7148898B1 (en) | 2000-03-29 | 2006-12-12 | Sourceprose Corporation | System and method for synchronizing raster and vector map images |
JP2002183150A (ja) | 2000-12-13 | 2002-06-28 | Nec Corp | 位置関連情報提示システム及び位置関連情報提示方法並びにその制御プログラムを記録した記録媒体 |
US7096428B2 (en) | 2001-09-28 | 2006-08-22 | Fuji Xerox Co., Ltd. | Systems and methods for providing a spatially indexed panoramic video |
US20040196282A1 (en) | 2003-02-14 | 2004-10-07 | Oh Byong Mok | Modeling and editing image panoramas |
US7570261B1 (en) | 2003-03-06 | 2009-08-04 | Xdyne, Inc. | Apparatus and method for creating a virtual three-dimensional environment, and method of generating revenue therefrom |
US20050128212A1 (en) | 2003-03-06 | 2005-06-16 | Edecker Ada M. | System and method for minimizing the amount of data necessary to create a virtual three-dimensional environment |
JP2004342004A (ja) | 2003-05-19 | 2004-12-02 | Minolta Co Ltd | 画像処理装置およびプログラム |
WO2005029264A2 (en) | 2003-09-19 | 2005-03-31 | Alphatech, Inc. | Tracking systems and methods |
JP4437677B2 (ja) | 2004-03-01 | 2010-03-24 | 三菱電機株式会社 | 景観表示装置 |
US7966563B2 (en) * | 2004-03-12 | 2011-06-21 | Vanbree Ken | System for organizing and displaying registered images |
US20050210008A1 (en) | 2004-03-18 | 2005-09-22 | Bao Tran | Systems and methods for analyzing documents over a network |
US7746376B2 (en) | 2004-06-16 | 2010-06-29 | Felipe Mendoza | Method and apparatus for accessing multi-dimensional mapping and information |
US7460953B2 (en) | 2004-06-30 | 2008-12-02 | Navteq North America, Llc | Method of operating a navigation system using images |
US7714859B2 (en) | 2004-09-03 | 2010-05-11 | Shoemaker Garth B D | Occlusion reduction and magnification for multidimensional data presentations |
US20060132482A1 (en) | 2004-11-12 | 2006-06-22 | Oh Byong M | Method for inter-scene transitions |
US20070210937A1 (en) | 2005-04-21 | 2007-09-13 | Microsoft Corporation | Dynamic rendering of map information |
US8103445B2 (en) | 2005-04-21 | 2012-01-24 | Microsoft Corporation | Dynamic map rendering as a function of a user parameter |
JP2006309626A (ja) * | 2005-04-28 | 2006-11-09 | Ntt Docomo Inc | 任意視点画像生成装置 |
US7373246B2 (en) | 2005-05-27 | 2008-05-13 | Google Inc. | Using boundaries associated with a map view for business location searching |
US7353114B1 (en) | 2005-06-27 | 2008-04-01 | Google Inc. | Markup language for an interactive geographic information system |
US7933001B2 (en) | 2005-07-11 | 2011-04-26 | Kabushiki Kaisha Topcon | Geographic data collecting system |
US20070030396A1 (en) | 2005-08-05 | 2007-02-08 | Hui Zhou | Method and apparatus for generating a panorama from a sequence of video frames |
US8818076B2 (en) * | 2005-09-01 | 2014-08-26 | Victor Shenkar | System and method for cost-effective, high-fidelity 3D-modeling of large-scale urban environments |
US20070070069A1 (en) * | 2005-09-26 | 2007-03-29 | Supun Samarasekera | System and method for enhanced situation awareness and visualization of environments |
US7840032B2 (en) | 2005-10-04 | 2010-11-23 | Microsoft Corporation | Street-side maps and paths |
US7933897B2 (en) | 2005-10-12 | 2011-04-26 | Google Inc. | Entity display priority in a distributed geographic information system |
WO2007108090A1 (ja) * | 2006-03-20 | 2007-09-27 | Fujitsu Limited | 画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置および画像解析方法 |
CN101055494B (zh) * | 2006-04-13 | 2011-03-16 | 上海虚拟谷数码科技有限公司 | 基于空间索引立方体全景视频的虚拟场景漫游方法及其系统 |
US8190649B2 (en) | 2006-04-25 | 2012-05-29 | Google Inc. | Ranking and clustering of geo-located objects |
CN101090460B (zh) * | 2006-06-13 | 2011-11-02 | 上海杰图软件技术有限公司 | 一种在多幅全景图之间切换的方法 |
US8098934B2 (en) | 2006-06-29 | 2012-01-17 | Google Inc. | Using extracted image text |
GB2440197A (en) * | 2006-07-20 | 2008-01-23 | Alan Stuart Radley | 3D Perspective Image of a User Interface for Manipulating Focus and Context |
US20080033641A1 (en) | 2006-07-25 | 2008-02-07 | Medalia Michael J | Method of generating a three-dimensional interactive tour of a geographic location |
US7712052B2 (en) | 2006-07-31 | 2010-05-04 | Microsoft Corporation | Applications of three-dimensional environments constructed from images |
US7698336B2 (en) | 2006-10-26 | 2010-04-13 | Microsoft Corporation | Associating geographic-related information with objects |
US9369679B2 (en) * | 2006-11-07 | 2016-06-14 | The Board Of Trustees Of The Leland Stanford Junior University | System and process for projecting location-referenced panoramic images into a 3-D environment model and rendering panoramic images from arbitrary viewpoints within the 3-D environment model |
US20080143709A1 (en) * | 2006-12-14 | 2008-06-19 | Earthmine, Inc. | System and method for accessing three dimensional information from a panoramic image |
CN1987857A (zh) * | 2006-12-18 | 2007-06-27 | 于慧 | 采用虚拟仿真综合图文信息交互实现数字城市系统的方法 |
US20080268876A1 (en) | 2007-04-24 | 2008-10-30 | Natasha Gelfand | Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities |
EP2518686B1 (en) | 2007-05-25 | 2018-08-08 | Google LLC | Rendering, viewing and annotating panoramic images, and applications thereof |
US7843451B2 (en) | 2007-05-25 | 2010-11-30 | Google Inc. | Efficient rendering of panoramic images, and applications thereof |
US7990394B2 (en) * | 2007-05-25 | 2011-08-02 | Google Inc. | Viewing and navigating within panoramic images, and applications thereof |
US20090132646A1 (en) | 2007-11-16 | 2009-05-21 | Iac Search & Media, Inc. | User interface and method in a local search system with static location markers |
US8072448B2 (en) * | 2008-01-15 | 2011-12-06 | Google Inc. | Three-dimensional annotations for street view data |
US8774950B2 (en) | 2008-01-22 | 2014-07-08 | Carnegie Mellon University | Apparatuses, systems, and methods for apparatus operation and remote sensing |
US8525825B2 (en) | 2008-02-27 | 2013-09-03 | Google Inc. | Using image content to facilitate navigation in panoramic image data |
US8676001B2 (en) | 2008-05-12 | 2014-03-18 | Google Inc. | Automatic discovery of popular landmarks |
US8700301B2 (en) | 2008-06-19 | 2014-04-15 | Microsoft Corporation | Mobile computing devices, architecture and user interfaces based on dynamic direction information |
US20100076976A1 (en) | 2008-09-06 | 2010-03-25 | Zlatko Manolov Sotirov | Method of Automatically Tagging Image Data |
US7882286B1 (en) | 2008-09-26 | 2011-02-01 | EMC (Benelux)B.V., S.A.R.L. | Synchronizing volumes for replication |
US20100250120A1 (en) | 2009-03-31 | 2010-09-30 | Microsoft Corporation | Managing storage and delivery of navigation images |
US8306973B2 (en) | 2009-04-06 | 2012-11-06 | Google Inc. | Method for generating location targeted, keyword-triggered, ads and generating user recallable layer-based ads |
US20100305855A1 (en) | 2009-05-27 | 2010-12-02 | Geodelic, Inc. | Location relevance processing system and method |
US20110137561A1 (en) | 2009-12-04 | 2011-06-09 | Nokia Corporation | Method and apparatus for measuring geographic coordinates of a point of interest in an image |
US8447136B2 (en) | 2010-01-12 | 2013-05-21 | Microsoft Corporation | Viewing media in the context of street-level images |
US8525834B2 (en) | 2010-02-17 | 2013-09-03 | Lockheed Martin Corporation | Voxel based three dimensional virtual environments |
US8392354B2 (en) | 2010-02-17 | 2013-03-05 | Lockheed Martin Corporation | Probabilistic voxel-based database |
US20110270517A1 (en) | 2010-04-29 | 2011-11-03 | Nokia Corporation | Method and apparatus for providing personalized presentations based on navigation information |
US9582166B2 (en) | 2010-05-16 | 2017-02-28 | Nokia Technologies Oy | Method and apparatus for rendering user interface for location-based service having main view portion and preview portion |
US8587583B2 (en) | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
US9245383B2 (en) | 2012-08-17 | 2016-01-26 | Google Inc. | Accelerated three-dimensional intersection testing using compressed volumes |
US9460510B2 (en) | 2013-03-29 | 2016-10-04 | Siemens Medical Solutions Usa, Inc. | Synchronized navigation of medical images |
-
2008
- 2008-02-27 US US12/038,325 patent/US8525825B2/en active Active
-
2009
- 2009-02-26 CN CN201310473478.1A patent/CN103824317B/zh active Active
- 2009-02-26 EP EP09714989.2A patent/EP2260470B1/en active Active
- 2009-02-26 CA CA2716360A patent/CA2716360C/en active Active
- 2009-02-26 WO PCT/US2009/001216 patent/WO2009108333A2/en active Application Filing
- 2009-02-26 JP JP2010548720A patent/JP5337822B2/ja active Active
- 2009-02-26 AU AU2009217725A patent/AU2009217725B2/en active Active
- 2009-02-26 CN CN2009801148855A patent/CN102016927B/zh active Active
- 2009-02-26 DE DE202009019124.9U patent/DE202009019124U1/de not_active Expired - Lifetime
-
2012
- 2012-09-06 US US13/605,635 patent/US8963915B2/en active Active
-
2013
- 2013-06-19 JP JP2013128251A patent/JP5678131B2/ja active Active
-
2014
- 2014-12-29 US US14/584,183 patent/US9632659B2/en active Active
-
2017
- 2017-03-16 US US15/460,727 patent/US10163263B2/en active Active
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107272007A (zh) * | 2012-09-20 | 2017-10-20 | 伟摩有限责任公司 | 检测公路天气状况的方法和系统 |
CN107272007B (zh) * | 2012-09-20 | 2020-03-03 | 伟摩有限责任公司 | 检测公路天气状况的方法和系统 |
CN108604380A (zh) * | 2016-05-03 | 2018-09-28 | 谷歌有限责任公司 | 用于在移动设备上获得成对极线约束和解决全景姿态的方法和系统 |
US11080871B2 (en) | 2016-05-03 | 2021-08-03 | Google Llc | Method and system for obtaining pair-wise epipolar constraints and solving for panorama pose on a mobile device |
CN108604380B (zh) * | 2016-05-03 | 2022-04-12 | 谷歌有限责任公司 | 用于在移动设备上获得成对极线约束和解决全景姿态的方法和系统 |
US11568551B2 (en) | 2016-05-03 | 2023-01-31 | Google Llc | Method and system for obtaining pair-wise epipolar constraints and solving for panorama pose on a mobile device |
CN109859612A (zh) * | 2019-01-16 | 2019-06-07 | 中德(珠海)人工智能研究院有限公司 | 一种街景数据的三维注释的方法及其系统 |
CN111189440A (zh) * | 2019-12-31 | 2020-05-22 | 中国电建集团华东勘测设计研究院有限公司 | 一种基于空间信息模型与实时图像比对的定位导航方法 |
Also Published As
Publication number | Publication date |
---|---|
US8963915B2 (en) | 2015-02-24 |
JP2013242881A (ja) | 2013-12-05 |
US10163263B2 (en) | 2018-12-25 |
CA2716360A1 (en) | 2009-09-03 |
JP5337822B2 (ja) | 2013-11-06 |
AU2009217725A1 (en) | 2009-09-03 |
US20150116326A1 (en) | 2015-04-30 |
JP2011513829A (ja) | 2011-04-28 |
CN103824317B (zh) | 2017-08-08 |
WO2009108333A3 (en) | 2009-11-05 |
JP5678131B2 (ja) | 2015-02-25 |
CN102016927B (zh) | 2013-11-20 |
US8525825B2 (en) | 2013-09-03 |
US20170186229A1 (en) | 2017-06-29 |
EP2260470B1 (en) | 2018-05-02 |
CN103824317A (zh) | 2014-05-28 |
WO2009108333A2 (en) | 2009-09-03 |
CA2716360C (en) | 2014-07-08 |
EP2260470A2 (en) | 2010-12-15 |
AU2009217725B2 (en) | 2013-10-17 |
US20120327184A1 (en) | 2012-12-27 |
US20090213112A1 (en) | 2009-08-27 |
US9632659B2 (en) | 2017-04-25 |
DE202009019124U1 (de) | 2016-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102016927B (zh) | 使用图像内容来帮助在全景图像数据中导航 | |
CN101918983B (zh) | 街道视图数据的三维注释 | |
US8902282B1 (en) | Generating video from panoramic images using transition trees | |
KR20160112898A (ko) | 증강현실 기반 동적 서비스 제공 방법 및 장치 | |
CN109859612A (zh) | 一种街景数据的三维注释的方法及其系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: American California Patentee after: Google limited liability company Address before: American California Patentee before: Google Inc. |