CN104700393B - 多个激光扫描的配准 - Google Patents

多个激光扫描的配准 Download PDF

Info

Publication number
CN104700393B
CN104700393B CN201410569378.3A CN201410569378A CN104700393B CN 104700393 B CN104700393 B CN 104700393B CN 201410569378 A CN201410569378 A CN 201410569378A CN 104700393 B CN104700393 B CN 104700393B
Authority
CN
China
Prior art keywords
point
image
scanning circle
scene
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410569378.3A
Other languages
English (en)
Other versions
CN104700393A (zh
Inventor
伯恩哈德·蔡斯尔
凯文·科泽
马克·波勒费斯
格雷戈里·C·瓦尔什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Geosystems AG
Original Assignee
Leica Geosystems AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Geosystems AG filed Critical Leica Geosystems AG
Publication of CN104700393A publication Critical patent/CN104700393A/zh
Application granted granted Critical
Publication of CN104700393B publication Critical patent/CN104700393B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Architecture (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种确定扫描界之间的配准的方法，该方法可以包括基于第一扫描界的第一点数据来确定场景的第一视点。第一扫描界可以包括由第一激光扫描仪在第一位置处所取得的关于场景的信息。该方法还可以包括基于第二扫描界的第二点数据来确定场景的第二视点。第二扫描界可以包括由第二激光扫描仪在第二位置处所取得的关于场景的信息。该方法还可以包括基于第一视点来生成第一经矫正图像并且基于第二视点来生成第二经矫正图像。另外，该方法可以包括基于第一视点和第二视点来确定第一扫描界与第二扫描界之间的配准。

Description

多个激光扫描的配准
技术领域
本文所讨论的实施方式涉及多个激光扫描的配准(registration)。
背景技术
激光扫描被用于探测许多不同的场景，例如建筑工地、历史建筑物、工业设施或任何其他适用的场景。激光扫描可以被用于获得场景的准确三维(3D)模型。在多个位置处对场景进行许多次多个扫描并且组合多个扫描以获得场景的完整3D模型。扫描的组合通常包括确定在扫描之一中场景的位置相对于在另一扫描中场景的相同位置的定位的相对定位，这可以被称为“扫描配准”。
发明内容
根据至少一个实施方式，一种确定扫描界(Scanworld)之间的配准的方法可以包括基于第一扫描界的第一点数据来确定场景的第一视点(viewpoint)。第一扫描界可以包括由第一激光扫描仪在第一位置处所取得的关于场景的信息，并且第一点数据可以表示场景的三维(3D)几何。该方法还可以包括基于第二扫描界的第二点数据来确定场景的第二视点。第二扫描界可以包括由第二激光扫描仪在第二位置处所取得的关于场景的信息，并且第二点数据可以表示场景的3D几何。该方法还可以包括基于第一视点来生成第一经矫正图像并且基于第二视点来生成第二经矫正图像。另外，该方法可以包括基于第一视点和第二视点来确定第一扫描界与第二扫描界之间的配准。
实施方式的目的和优点将至少由在权利要求中特别指出的元素、特征和组合来实现和取得。
应理解的是，前面的总体描述和下午的详细描述二者均为示例性和说明性的，而并非是对如所要求保护的本发明的限制。
附图说明
将通过使用附图来额外地具体并且详细地描述和说明示例性实施方式。
图1示出了可以由一个或更多个扫描激光器扫描的示例性场景；
图2示出了用于生成扫描界的图像特征和关联点的集合的示例性方法的流程图；
图3示出了用于确定扫描界之间的配准的示例性方法的流程图；以及
图4是示出被布置成确定扫描界之间的配准的示例性计算设备的框图。
具体实施方式
激光扫描仪通过利用激光扫描场景并且采集数千、数百万或者数十亿个与该场景相关联的三维位置信息的点来收集关于场景的数据。点和相关联信息可以被保存作为点数据，该点数据可以被收集作为“点云”。在一些实施方式中，这些点可以被密集地收集以使得关联的点数据可以被用于高效地重建由激光扫描仪扫描的场景的情景。
许多激光扫描仪还包括被配置成获取场景的画面的一个或更多个摄像机，使得可以由激光扫描仪生成场景的一个或更多个图像。图像和关联的图像数据可以被组合在一起并且被映射到点数据中的点，以生成比只使用图像或点数据实现的情景重建的更完整的情景重建。由激光扫描仪在特定位置取得的点和关联的点数据和/或图像和关联的图像数据可以被称作“扫描界”。另外，扫描界中的点数据和图像数据可以称作扫描界数据集合。在本公开内容中，术语“扫描界”和“扫描界数据集合”有时可以被互换地使用。此外，术语“图像”和“图像数据”有时可以被互换地使用，以及术语“点”和“点数据”有时也可以被互换地使用。在一些实施方式中，激光扫描仪可以被配置成基于包含在由激光扫描仪的激光所测量的点云中的信息而不是由一个或更多个摄像机拍摄的图像来生成图像。例如，可以基于由激光所记录的且包含在点数据中的点的点强度或点颜色来生成图像。
在多个位置对场景进行许多次多扫描以生成多个扫描界。如在下面进一步详细公开的，包含在多个扫描界中的图像和点数据可以被用于确定在扫描界之一中与场景的位置相关联的点相对于在另一扫描界中与相同位置相关联的对应点的定位的相对定位。使得来自一个扫描界的点和图像能够被映射到另一扫描界的点和图像的变换可以被称为“扫描配准”。用于与特定场景相关联的扫描界的扫描配准可以被用于通过组合来自不同扫描界的点和图像数据来生成特定场景的三维(3D)模型。
在一些实施方式中，扫描配准可以被执行以确定扫描界之间的一个或更多个变换元组{S，R，T}。变换元组{S，R，T}可以表示一个扫描界中的点相对于另一扫描界中的对应点的比例(“S”)、旋转(“R”)和平移(“T”)。
例如，第一扫描界和第二扫描界可以与特定场景相关联。另外，第一扫描界可以具有与特定场景的位置相关联的、在第一扫描界中具有坐标“A”(“pA”)的点。第二扫描界可以具有与相同位置相关联的、在第二扫描界中具有坐标“B”(“pB”)的对应点。另外，第一扫描界中的坐标的关系相对于第二扫描界中的坐标的关系可以由变换元组{S，R，T}AB来表示，使得“pB”相对于第一扫描界的坐标系的位置可以通过以下表达式来表示：
pB＝S*R*pA+T
现在将参照附图来说明本公开内容的实施方式。
图1示出了根据本文所描述的至少一个实施方式的、可以由一个或更多个扫描激光器扫描的示例性场景100。在所示实施方式中，第一扫描激光器102a可以被配置成在第一位置104a处扫描场景100以生成场景100的第一扫描界，该第一扫描界包括场景100的第一点云和第一图像。另外，第二扫描激光器102b可以被配置成在第二位置104b处扫描场景100以生成场景100的第二扫描界，该第二扫描界包括场景100的第二点云和第二图像。
在所示示例中，场景100可以包括建筑物106，使得第一扫描界和第二扫描界的第一点云和第二点云中的点数据可以包括与建筑物106的3D几何和总体外观相关联的信息。另外，包含在第一扫描界和第二扫描界中的图像可以包括关于建筑物106的整体外观和颜色的信息。
在一些实施方式中，第一扫描激光器102a可以被配置成还通过将第一扫描激光器移动至第二位置104b并且在第二位置104b处执行扫描来替代第二扫描激光器102b生成第二扫描界。类似地，第二扫描激光器102b可以被配置成还通过将第二扫描激光器移动至第一位置104a并且在第一位置104a处执行扫描来替代第一扫描激光器102a生成第一扫描界。
可以确定第一扫描界和第二扫描界的配准(例如，变换元组)使得可以生成场景100的3D模型。在一些实施方式中，可以根据下面针对图2和图3描述的方法200和300来确定配准。
图2示出了根据本文所描述的至少一个实施方式的、用于生成扫描界的图像特征和关联点的集合的示例性方法200的流程图。图像特征和关联点的集合可以被称为“点特征”，并且可以被用于确定与扫描界和另一扫描界相关联的配准，如下面针对图3的方法300进一步详细描述的。为了帮助说明方法200，参考上述包括第一扫描界和第二扫描界的图1的元素。然而，所描述的原理适用于从任何适用场景中导出的任何适用的扫描界。
方法200可以开始，并且在块202处，可以确定来自扫描界的一个或更多个视点。视点可以是基于在另一扫描界中有可能相似的视点而确定的。例如，在块202处，来自针对图1所描述的第一扫描界的第一视点可以是基于与第二扫描界中的第二视点可能具有场景100的相似视角(perspective)的第一视点而确定的。使第一扫描界和第二扫描界的视点具有相似视角可以有助于识别第一扫描界和第二扫描界的共同特征，这还可以有助于确定第一扫描界和第二扫描界之间的配准。
在一些实施方式中，可以基于默认视点例如立方体贴图(cube map)投影来选择一个或更多个视点。例如，针对图1，如果第一立方体位于第一位置104a处，则可以从第一立方体的视角。针对第一扫描界而生成与第一立方体贴图相关联的视点。类似地，如果第二立方体位于第二位置104b处，则可以从第二立方体的视角、针对第二扫描界而生成与第二立方体贴图相关联的视点。
在一些实施方式中，还可以基于可以从包含在扫描界中的点数据导出的信息来选择一个或更多个视点。例如，可以基于可从每个扫描界中的点数据导出的一个或更多个突出方向来选择一个或更多个视点。突出方向可以是与对应于扫描界的场景相关联的主导方向。例如，作为示例而非限定，突出方向可以包括表面法线、消失点、对称性、重力或可从扫描界的点数据得到的其他主导方向。突出方向因此可以用于选择与可以具有相似视角的扫描界相关联的视点。在一些实施方式中，可以基于突出方向和/或默认视点来选择视点。
可以根据任何合适的方法或过程来基于点数据确定突出方向。例如，在一些实施方式中，激光扫描仪102a和102b可以包括可检测重力方向的倾斜传感器，所述重力方向可以由第一扫描界的第二扫描界中的点数据来指示。因此，可以从第一扫描界和第二扫描界的点数据中导出包括重力方向及其相反方向的突出方向(例如，指向下和指向上的突出方向)。
作为另一示例，可以基于共同表面法线中的分布峰值来确定突出方向，所述分布峰值可以包含在点数据中并且可以指示与扫描界相关联的场景的主导特征。例如，图1中的建筑物106可以包括具有图1中以从建筑物106延伸的箭头描绘的表面法线的主导面。第一扫描界的第一点云中的点数据和/或第二扫描界的第二点云中的点数据因此可以指示在以从建筑物106延伸的箭头描绘的箭头方向中的高分布表面法线。因此可以选择如图1所示的、与建筑物106的表面法线平行并且相对的突出方向(“dsal”)。在突出方向(“dsal”)的方向中从第一位置104a获取的第一视点可以与在突出方向(“dsal”)的方向中从第二位置104b获取的第二视点相类似，原因是第一视点和第二视点均可以来自在突出方向(“dsal”)中在场景100观看的相似视角。
在块204，可以基于包含在扫描界中的点云和图像来生成针对在块202生成的每个视点的经矫正的图像。经矫正的图像均可以包括表示在与关联的经矫正图像相关联的视点处的场景整体外观的图像部分。另外，可以将点数据和其关联的点映射到经矫正的图像，使得3D几何信息也可以包含于经矫正的图像。
可以经由与其各视点相关联的特定视角来生成经矫正的图像，使得经矫正的图像可以是来自其各视点的视角、表示与其关联扫描界相关联的场景的透视图或正交视图的图像。例如，在一些实施方式中，可以从垂直于与视点相关联的各突出方向的正交图像平面的视角中生成经矫正的图像。
作为示例，可以基于突出方向“dsal”和可以垂直于突出方向“dsal”的正交图像平面108、从针对图1所描述的第一扫描界中生成被正交投影的第一经矫正图像。第一经矫正图像可以基于突出方向“dsal”和正交图像平面108来被生成，使得第一经矫正图像基本上沿正交图像平面108、从面对沿突出方向“dsal”的场景100且以第一位置104a为中心的视角来描绘场景100。
类似地，作为另一示例，还可以基于突出方向“dsal”和正交图像平面108、从针对图1所描述的第二扫描界中生成相对于正交图像平面108正交投影的第二经矫正图像。第二经矫正图像可以基于突出方向“dsal”和正交图像平面108来被生成，使得第二经矫正图像基本上沿正交图像平面108、从面对沿突出方向“dsal”的场景100且以第二位置104为中心的视角来描绘场景100。
作为透视图的另一示例，与特定扫描界相关联的场景可以包括大型圆柱形容纳罐，例如在化学处理工厂中发现的那些。这些缓慢弯曲的圆筒可以被认为是具有可以与一个或更多个突出方向相关联的主导表面法线的缓慢弯曲的壁。因此可以以可将经矫正图像投影到正交图像平面作为正交图像的类似方式，将与特定扫描界相关联的经矫正图像沿一个或更多个罐的表面投影为透视图。
在一些实施方式中，可以基于包含在扫描界中的多个图像和关联点数据来生成一个或更多个经矫正图像，以生成所需视点，这是因为与扫描界相关联的激光扫描仪定位可能未被定位成从用于经矫正图像的所需视点中捕获图像和点数据。因此，在一些实例中，经矫正图像——特别是采用正交投影的那些——可能在与用于经矫正图像的所需视点相关联的信息中包括间隙。在这些和其他实例中，可以执行填充和/或图像修补以帮助填充遗失的信息和数据。可以使用的填充和/或图像修补方法的示例是通常能够在开源软件中获得的Navier-Stokes方法或Alexandru Teleau方法。
在块206，可以从在块204生成的经矫正图像中提取图像特征。所提取的图像特征可以包括可包含在经矫正图像中的关键或主导特征。另外，被配置成提取图像特征的一些算法可以寻找特别放置的特征，例如目标和标签，使得所提取图像特征可以属于相对窄的对象类别。在一些实施方式中，图像特征可以利用任何合适的程序或算法来提取，例如尺度不变特征变换(SIFT)算法、加速稳健特征(SURF)算法、加速分割检测特征(FAST)算法、二元稳健独立基本特特征(BRIEF，Binary Robust Independent Elementary Features)算法、定向FAST和旋转BRIEF(ORB，Oriented FAST and Rotated BRIEF)算法、最大稳定极值区域算法(MSER，Maximally Stable Extremal Regions algorithm)、哈里斯角点(HarrisCorners)算法或者任何其他合适的特征检测算法。
在一些实施方式中，如下面针对图3进一步描述的，可以向所提取图像特征施加描述符检测算法以促进确定来自不同扫描界的经矫正图像的图像特征是否彼此相对应。例如，在一些实例中，可以利用描述符检测算法来确定一个或更多个经提取图像特征的物理大小。作为另一个例子，在一些实施方式中，点数据可以包括关于所提取图像特征的定向的信息。因此，所提取图像特征的定向可以被提取作为描述符。如下面针对图3进一步详细说明的，在一些实施方式中，描述符可以用于在不同扫描界的图像特征之间进行区分，因为图像特征的特性例如大小和/或定向可能是已知的。在一些实例中，并非所有的所提取图像特征都具有确定的描述符。另外，在一些实例中，用于提取图像特征的算法可能不支持描述符标识和确定。此外，如上面所指出的，所提取的图像特征可以包括特别放置的特征，使得可以不使用特征描述符，这是因为所提取图像特征可能已经属于相对窄的对象类。
所提取图像特征中的一个或更多个可以包含在所提取图像特征的集合中。在一些实施方式中，所有的所提取图像特征可以包含在所提取图像特征的集合中。在其他实施方式中，仅具有确定的描述符的图像特征可以包含在所提取图像特征的集合中以减小所提取图像特征的集合的大小。
在块208，可以确定来自与所提取图像特征的集合相关联的点云的点数据。点数据可以对应于场景中与所提取图像特征相同的位置并且可以给出关于所提取图像特征的附加信息，例如所提取图像特征的3D几何。在一些示例中，所提取图像特征可以不具有关联的点数据，并且可以丢弃或忽略不具有关联点数据的所提取图像特征。在块210，可以生成点特征的集合。点特征的集合可以包括所提取图像特征和关联点数据。另外，当已经针对所提取图像特征确定了描述符时，点特征可以包括关联的描述符。
因此，方法200可以用于针对扫描界生成点特征的集合，其中点特征的集合包括扫描界的图像特征和关联点。方法200可以被施加于多个扫描界——例如与图1相关联的第一扫描界和第二扫描界——使得可以针对每个扫描界生成点特征的集合。如下面针对图3详细描述的，可以比较来自不同扫描界的点特征的集合以确定扫描界之间的配准。
图3示出了根据本文所描述的至少一个实施方式的、用于确定扫描界之间的配准的示例性方法300的流程图。为了帮助说明方法300，参考上述包括第一扫描界和第二扫描界的图1中的元素。然而，所描述的原理可以适用于从任何适用场景中导出的任何适用的扫描界。
方法300可以开始，并且在块302，可以接收与第一扫描界(例如与图1相关联的第一扫描界)相关联的第一点特征集合。在块304，可以接收与第二扫描界(例如与图1相关联的第二扫描界)相关联的第二点特征集合。第二扫描界可以关联于与第一扫描界相同的场景，但是可以是在与第一扫描界不同的位置处获取的。在一些实施方式中，可以使用上述方法200来生成第一点特征集合和/或第二点特征集合。
在块306，可以执行点匹配，其中可以将第一点特征集合的第一点的点数据与第二点特征集合的第二点的点数据进行比较。与第一点和第二点相关联的点数据的比较还可以被称为第一点和第二点之间的比较。可以比较第一点和第二点以确定第一点特征集合中的哪个点特征可以与第二点特征集合中的点特征相对应。例如，第一点与第二点之间的比较可以通过确定与点特征相关联的哪些位置和/或对象具有相似的3D几何来指示第一点特征集合和第二点特征集合中的哪些点特征可以与关联于第一扫描界和第二扫描界的场景中的相同位置相对应，所述3D几何是通过第一点和第二点来指示的。给定可能匹配的集合和候选变换，可以实施若干公知的一致方法以确定集合之间的最可能正确的变换，如下面进一步详述的。
在一些实施方式中，当第一点特征集合和第二点特征集合中的点特征包括描述符时，还可以比较描述符以确定哪些点特征可以与相同位置相对应。同样，可以比较图像描述符集合并且可以利用描述符本身来确定可能的匹配。另外，由于点数据以及图像数据可能包含在扫描界数据集合中，因此描述符可以与关联于点特征的对象的大小相关联。可以比较大小以确定点特征是否可以与场景中的相同位置或不同位置相对应。作为示例，指示成对点特征之间的不同大小的对象的描述符，可以被用于消除与场景中的相同位置相对应的那些点特征。可以在点匹配之前或之后执行描述符匹配，但是可能更经常在点匹配之前执行以减少所执行的点匹配的量。
例如，在一些实施方式中，可以将第一点特征集合中的每个点特征的点与第二点特征集合中的每个点特征的点进行比较，以确定哪些点特征可以彼此相对应，这可能是计算密集型的。因此，在一些实施方式中，可以在点匹配之前执行描述符匹配以减少可能在点匹配期间进行的比较的数目。
在块308，可以基于点匹配来确定点特征成对可能性的集合。每个点特征成对可能性都可以包括来自第一点特征集合的点特征和来自第二点特征集合的点特征。每个点特征成对可能性的点特征都可以包括由其各个点指示的相似3D几何特性，这可以指示它们可以与场景中的相同位置相关联。另外，在描述符包含于点特征中的实施方式中，每个点特征成对可能性的点特征可以包括相似的描述符信息，这也可以指示它们可以与场景中的相同位置相关联。
在块310，可以基于点特征成对可能性来估计用于第一扫描界和第二扫描界的变换元组。例如，变换可以针对点特征成对可能性而被确定，并且彼此一致的那些变换可以指示与第一扫描界和第二扫描界相关联的实际变换元组或第一扫描界和第二扫描界的近似。具有与大量其他点特征成对可能性不一致的变换的点特征成对可能性，可能不表示与第一扫描界和第二扫描界相关联的变换元组并且可以被称作假阳性或异常值。
在一些实例中，点特征成对可能性的数目可以足够小使得可以针对点特征成对可能性中的每一个来确定变换，以确定所估计的变换元组。然而，在其他实例中，点特征成对可能性的数目可以使所有点特征成对可能性的分析变得计算繁重。因此，在一些实施方式中，可以使用随机抽样一致性(RANSAC)算法来确定一个或更多个候选变换元组，并且确定哪个候选变换元组有可能或最有可能表示与第一扫描界和第二扫描界相关联的实际变换元组或第一扫描界和第二扫描界的近似。
RANSAC算法可以选择点特征成对可能性的随机子集，并且可以基于所选子集的点特征成对可能性来确定候选变换元组。然后可以将候选变换元组施加到较大的点特征成对可能性集合(例如，整个点特征成对可能性集合)，以确定“内围层(inliers)”的集合，例如与候选变换元组可能一致的那些点特征成对可能性。RANSAC算法可以多次执行该过程以生成多个候选变换元组。然后可以确定哪个候选变换元组可能更接近地表示与第一扫描界和第二扫描界相关联的变换元组。
例如，在一些实施方式中，可以将返回最大内围层集合的候选变换元组选择为所估计的变换元组。在这些或其它实施方方式中，可以基于(例如根据距离的)所需度量来对在与候选变换元组相关联的内围层集合中的点特征成对可能性进行加权，使得与不具有或者未在相同程度上具有所需度量的点特征成对可能性相比，具有所需度量的点特征成对可能性可以被更重地加权作为内围层。
在一些实施方式中，可以细化所选择的估计变换元组，使得其可以更准确地表示与第一扫描界和第二扫描界相关联的变换元组。例如，在一些实施方式中，可以将最小二乘法运算或其他性能度量施加到与估计的变换元组相关联的内围层集合以细化内围层。可以基于已细化的内围层来修改估计的变换元组。
在这些或其它实施方式中，可以通过将关联于第一扫描界和第二扫描界的内围层集合与关联于另一对扫描界的内围层集合进行比较和对准来细化估计的变换元组，其中另一对扫描界关联于与第一扫描界和第二扫描界相同的场景并且包括不是第一扫描界或第二扫描界的至少一个扫描界。内围层集合可以被用于利用任何合适的联合姿态优化例如姿态图优化和捆绑调整来优化姿态。在该背景下，扫描界的姿态可以等同于变换元组{S,R,T}。给定包括变换元组{S,R,T}的成对变换元组的集合——称作变换元组集合{S，R，T}i，则可以实施优化以减少在变换元组集合{S,R,T}i的变换元组之间可能存在的几何不一致性，从而更好地细化变换元组{S,R,T}。
在一些实施方式中，可以利用第一扫描界、第二扫描界或视点数据来使姿态对准。在一些实施方式中，可以使用算法例如迭代最近点(ICP)算法来细化变换元组集合{S,R,T}i。迭代最近点可以利用整个点云并且找到基本上重叠的子集来使点云之间的对准误差最小化。
因此，可以使用方法300来确定与第一扫描界和第二扫描界相关联的变换元组，该变换元组可以用作第一扫描界和第二扫描界的配准。第一扫描界和第二扫描界的配准可以与其他扫描界之间的其他配准(包括在第一扫描界与不是第二扫描界的另一扫描界之间的其他配准以及在第二扫描界与不是第一扫描界的另一扫描界之间的其他配准)一起使用以生成与扫描界相关联的场景的3D模型。
本领域技术人员应当认识到，对于本文所公开的这个或其它过程和方法，在图2和图3的过程和方法中执行的功能可以以不同的顺序来实现。此外，所概述的步骤和操作仅作为示例提供，并且在不减损所公开的实施方式的本质的情况下，步骤和操作中的一些可以是可选的，可以被组合成更少的步骤和操作，或者或可以扩展成附加的步骤和操作。
例如，方法200和300不限于对图1的第一扫描界和第二扫描界的应用，而是可以应用于与任何适用场景相关联的任何数目的扫描界和扫描界集合。另外，如上所述，在一些实施方式中，可以基于包含在由激光扫描仪的激光所测量的点云中的信息而不是由一个或更多个摄像机拍摄的图像来生成图像(包括经矫正图像的图像部分)。例如，可以基于由激光扫描仪102a和102b的激光所记录的点的点强度或点颜色来生成图像。
图4是示出根据本公开内容的至少一个实施方式的、被布置成确定扫描界之间的配准的示例性计算设备400的框图。在一个非常基本的配置402中，计算设备400通常包括一个或更多个处理器404和系统存储器406。存储器总线408可以用于在处理器404和系统存储器406之间通信。
根据所需配置，处理器404可以是任何类型，包括但不限于微处理器(μP)、微控制器(μC)、数字信号处理器(DSP)或其任意组合。处理器404可以包括多于一级的缓存例如一级缓存410和二级缓存412、处理器核414和寄存器416。示例性处理器核414可以包括算术逻辑单元(ALU)、浮点单元(FPU)、数字信号处理核(DSP核)或其任意组合。示例性存储器控制器418还可以与处理器404一起使用，或者在一些实现中，存储器控制器418可以是处理器404的内部部分。
根据所需配置，系统存储器406可以是任何类型的，包括但不限于易失性存储器(例如RAM)、非易失性存储器(例如ROM，闪速存储器等)或其任意组合。系统存储器406可以包括操作系统420、一个或更多个应用422和程序数据424。应用422可以包括被布置成执行与上述方法200和方法300相关联的一个或更多个操作的一个或更多个扫描界配准算法。程序数据424可以包括如本文所述的、可以用于确定扫描界配准的扫描界配准数据428。例如程序数据424可以包括第一扫描界和第二扫描界的图像和点数据。在一些实施方式中，应用422可以被布置成与程序数据424一起在操作系统420上操作，使得可以执行扫描界配准。在图4中由内虚线内的那些部件示出了所描述的基本配置402。
计算设备400可以具有附加的特征或功能以及附加的接口以促进在基本配置402和任何所需设备以及接口之间的通信。例如，总线/接口控制器430可以用于促进经由存储接口总线在基本配置402与一个或更多个数据存储设备432之间的通信。数据存储设备432可以是可移除存储设备436、不可移除存储设备438或其组合。可移除存储设备和不可移除存储设备的示例包括磁盘设备例如软盘驱动器和硬盘驱动器(HDD)、光盘驱动器例如光盘(CD)驱动器或数字多用途光盘(DVD)驱动器、固态硬盘(SSD)和磁带驱动器等。示例性计算机存储介质可以包括以用于存储信息的任何方法或技术——例如计算机可读指令、数据结构、程序模块或其他数据——实现的易失性和非易失性、可移除和不可移除的介质。
系统存储器406、可移除存储设备436和不可移除存储设备438是计算机存储介质的示例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪速存储器或其他存储技术、CD-ROM、数字多用途光盘(DVD)或其他光盘存储装置、磁带盒、磁带、磁盘存储或其他磁存储设备、或者可以用于存储所需信息并且可以由计算设备400访问的任何其他介质。任何这样的计算机存储介质都可以是计算设备400的一部分。
计算设备400还可以包括用于促进经由总线/接口控制器430从各种接口设备(例如，输出设备442、外围接口444和通信设备446)到基本配置402的通信的接口总线440。示例性输出设备442包括可以被配置成经由一个或更多个A/V端口452传达到各种外部设备例如显示器或扬声器的图形处理单元448和音频处理单元450。示例性外围接口444包括可以被配置成经由一个或更多个I/O端口458与外部设备例如输入设备(例如键盘、鼠标、笔、语音输入设备、触摸输入设备等)或其他外围设备(例如打印机、扫描仪等)通信的串行接口控制器454或并行接口控制器456。示例性通信设备446包括可以被布置成促进经由一个或更多个通信端口464、通过网络通信链路与一个或更多个其他计算设备462通信的网络控制器460。
网络通信链路可以是通信介质的一个示例。通信介质通常可以由计算机可读指令、数据结构、程序模块或在已调制数据信号例如载波或其它传输机制中的其它数据来体现，并且可以包括任何信息传递介质。“已调制数据信号”可以是具有其特征集合中的一个或更多个或者以关于在信号中对信息编码的方式而改变的信号。作为示例并且并非限制地，通信介质可以包括有线介质例如有线网络或直接有线连接，以及无线介质例如声学、射频(RF)、微波、红外线(IR)和其它无线介质。本文所使用的术语计算机可读介质可以包括存储介质和通信介质二者。
计算设备40可以被实现为小型化便携式(或移动)电子设备，例如手机、个人数字助理(PDA)、个人媒体播放器设备、无线网络观看(web-wathc)设备、个人耳机设备，应用特定的设备或包括上述功能中任一种的混合设备。计算设备400还可以被实现为个人计算机，包括膝上型计算机和非膝上型计算机配置二者。
本公开内容不限于本文所描述的、旨在对各方面进行说明的特定实施方式方面。如对于本领域技术人员来说明显的是，可以在不背离其精神和范围的情况下做出许多修改和变型。根据前述描述，除了本文所列举的那些方法和装置，在本公开内容范围内的功能上等同的方法和装置对于本领域技术人员来说是显而易见的。这样的修改和变型旨在落入所附权利要求的范围之内。本公开内容仅由所附权利要求的术语以及等同于赋予这样的权利要求的整个范围来限定。应当理解的是，本公开内容不限于特定的方法、试剂、化合物、组合物或生物系统，其当然能够变化。还应当理解的是，本文所使用的术语仅是为了描述特定实施方式，而并不旨在限定。
关于本文使用基本上任何复数和/或单数术语，本领域技术人员可以将复数变换成单数和/或将单数变换成复数，只要适用于上下文和/或应用即可。为了清楚起见，本文可以明确阐述各种单数/复数置换。
本领域技术人员应理解的是，一般而言，本文中特别是所附权利要求(例如，所附权利要求的主体)中所使用的术语通常旨在作为“开放式”术语(例如，术语“包括有”应被解释为“包括但不限于”，术语“具有”应被解释为“至少具有”，术语“包含”应被解释为“包含但不限于”等)。本领域技术人员还应理解的是，如果特定数目的引入权利要求陈述是有意的，则这样的意图将在权利要求中被明确陈述，并且不存在这样的陈述则不存在这样的意图。例如，为了有助于理解，以下所附权利要求可以包含对引导性短语“至少之一”和“一个或更多个”的使用以引入权利要求陈述。然而，这样的短语的使用不应被看作是暗示通过不定冠词“一”或“一个”的权利要求陈述的引用，将包含这样的引入权利要求陈述的任何特定权利要求限制为仅包含一个这样的陈述的实施方式，即使是在同样的权利要求包括引导性短语“一个或更多个”或“至少之一”以及不定冠词例如“一”或“一个”(例如“一”和/或“一个”应被解释为是指“至少之一”或“一个或更多个”)的情况下；这同样也适用于使用用于引入权利要求陈述的定冠词。另外，即使特定数目的引入权利要求陈述被明确陈述，本领域技术人员也应认识到，这样的陈述不应被解释成是指至少所陈述的数目(例如在没有其他修改的情况下、“两个陈述”的直白陈述是指至少两个陈述或者两个或更多个陈述)。此外，在使用类同于“A、B和C等中的至少之一”的约定的那些实例中，通常这样的结构是指本领域技术人员将理解约定(例如，“具有A、B和C中至少之一的系统将会包括但不限于具有单独A、单独B、单独C、A连同B、A连同C、B连同C和/或A、B连同C等的系统)。在使用类同于“A、B或C等中的至少之一”的约定的那些实例中，通常这样的结构是指本领域技术人员将理解约定(例如，“具有A、B或C中至少之一的系统将包括但不限于具有单独A、单独B、单独C、A连同B、A连同C、B连同C和/或A、B连同C等的系统)。本领域技术人员还将理解的是，无论在说明书、权利要求书还是附图中，表示两个或更多个替选术语的几乎任何反意词和/或短语应被理解成预计包括术语中之一、术语中任一个或者术语二者的可能性。例如，短语“A或B”将被理解成包括“A”或“B”或者“A和B”的可能性。
另外，在本公开内容的特征或方面是就马库西群组(Markush group)来描述的情况下，本领域技术人员将认识到，本公开内容从而也是就马库西群组的成员中的任何单个成员或子组来描述的。
如本领域技术人员将理解的，出于所有目的，例如就提供书面描述而言，本文所公开的所有范围还包括其全部可能的子范围和子范围的组合。任何列出的范围可以被容易地识别为充分描述了相同范围并且使得相同范围能够被分解为至少二等分、三等分、四等分、五等分、十等分等。作为非限制性示例，本文所讨论的每个范围可以被容易地分解成下三分之一、中间三分之一和上三分之一等。如本领域技术人员还将理解的，所有语言例如“最高达”、“至少”等包括所陈述的数目并且是指随后可以被分解成如上所讨论的子范围的范围。最后，如本领域技术人员将理解的，范围包括每个单独成员。因此，例如，具有1到3个元胞的组是指具有1、2或3个元胞的组。类似地，具有1到5个元胞的组是指具有1、2、3、4或5个元胞的组，以此类推。
根据前述内容，应当认识到，出于说明的目的，在本文中已经描述了本公开内容的各种实施方式，并且在不背离本公开内容的范围和精神的情况下，可以做出各种修改。因此，本文所公开的各种实施方式并非旨在限制，真正范围和精神是由所附权利要求指示的。

Claims (15)

1.一种确定扫描界之间的配准的方法，其中，各个扫描界包括由激光扫描仪在一位置取得的点数据和图像数据，所述方法包括以下步骤：
基于第一扫描界的第一点数据和第二扫描界的第二点数据来确定突出方向，所述第一点数据由第一激光扫描仪在第一位置取得并且指示场景的三维3D几何，所述第二点数据由第二激光扫描仪在第二位置取得，所述第二点数据指示所述场景的所述3D几何；
确定与所述突出方向基本上正交的正交图像平面；
在所述突出方向的方向上从所述第一位置确定所述场景的第一视点；
在所述突出方向的方向上从所述第二位置确定所述场景的第二视点；
基于所述突出方向、所述正交图像平面和在所述第一位置取得的所述第一扫描界的第一图像数据生成正交投影的第一经矫正图像，使得所述第一经矫正图像基本上沿所述正交图像平面、从面对沿所述突出方向的所述场景且以所述第一位置为中心的视角来描绘所述场景；
基于所述突出方向、所述正交图像平面和在所述第二位置取得的所述第二扫描界的第二图像数据生成正交投影的第二经矫正图像，使得所述第二经矫正图像基本上沿所述正交图像平面、从面对沿所述突出方向的所述场景且以所述第二位置为中心的视角来描绘所述场景；以及
基于所述第一经矫正图像和所述第二经矫正图像来确定所述第一扫描界与所述第二扫描界之间的配准。
2.根据权利要求1所述的方法，其中，所述第一激光扫描仪和所述第二激光扫描仪为相同的激光扫描仪。
3.根据权利要求1或2所述的方法，其中，
基于表面法线、消失点、对称性和重力中的至少一个来确定所述突出方向。
4.根据权利要求1所述的方法，该方法还包括以下步骤：
从所述第一经矫正图像中提取一个或更多个第一描述符；
从所述第二经矫正图像中提取一个或更多个第二描述符；
将所述一个或更多个第一描述符与所述一个或更多个第二描述符进行比较；以及
基于所述一个或更多个第一描述符与所述一个或更多个第二描述符的所述比较来确定所述配准。
5.根据权利要求1所述的方法，该方法还包括以下步骤：
基于所述第一经矫正图像和所述第二经矫正图像来估计与所述第一扫描界和所述第二扫描界相关联的变换元组，以确定所述第一扫描界与所述第二扫描界之间的配准；
对内围层点特征成对可能性实施性能度量，以细化所述变换元组；和/或
基于针对与所述场景相关联的、排除所述第一扫描界和所述第二扫描界中的至少一个的一对扫描界所确定的另一变换元组来细化所述变换元组。
6.根据权利要求5所述的方法，该方法还包括以下步骤：
在包含在所述第一扫描界中的第一点云与包含在所述第二扫描界中的第二点云之间实施点云匹配；以及
基于所述点云匹配来细化所述变换元组。
7.根据权利要求1所述的方法，该方法还包括以下步骤：
从所述第一经矫正图像中提取第一点特征集合，所述第一点特征集合包括所述第一经矫正图像中所包含的第一图像特征和指示所述第一图像特征的3D几何的关联的第一点数据；
从所述第二经矫正图像中提取第二点特征集合，所述第二点特征集合包括所述第二经矫正图像中所包含的第二图像特征和指示所述第二图像特征的3D几何的关联的第二点数据；
基于包含在所述第一点特征集合中的所述关联的第一点数据且基于包含在所述第二点特征集合中的所述关联的第二点数据，从所述第一点特征集合和所述第二点特征集合来确定点特征成对可能性的集合；以及
基于所述点特征成对可能性的集合来确定所述第一扫描界与所述第二扫描界之间的配准。
8.根据权利要求7所述的方法，该方法还包括以下步骤：
从所述第一经矫正图像中提取所述第一图像特征；
将所述关联的第一点数据与所述第一图像特征进行匹配以生成所述第一点特征集合；
从所述第二经矫正图像中提取所述第二图像特征；以及
将所述关联的第二点数据与所述第二图像特征进行匹配以生成所述第二点特征集合。
9.根据权利要求7或8所述的方法，该方法还包括以下步骤：
从所述第一图像特征和所述第二图像特征中排除不具有关联的点数据的那些图像特征；和/或
对所述点特征成对可能性实施随机采样一致性RANSAC算法，以确定所述第一扫描界与所述第二扫描界之间的配准。
10.一种确定扫描界之间的配准的装置，其中，各个扫描界包括由激光扫描仪在一位置取得的点数据和图像数据，所述装置包括：
用于基于第一扫描界的第一点数据和第二扫描界的第二点数据来确定突出方向的装置，所述第一点数据由第一激光扫描仪在第一位置取得并且指示场景的三维3D几何，所述第二点数据由第二激光扫描仪在第二位置取得，所述第二点数据指示所述场景的所述3D几何；
用于确定与所述突出方向基本上正交的正交图像平面的装置；
用于在所述突出方向的方向上从所述第一位置确定所述场景的第一视点的装置；
用于在所述突出方向的方向上从所述第二位置确定所述场景的第二视点的装置；
用于基于所述突出方向、所述正交图像平面和在所述第一位置取得的所述第一扫描界的第一图像数据生成正交投影的第一经矫正图像，使得所述第一经矫正图像基本上沿所述正交图像平面、从面对沿所述突出方向的所述场景且以所述第一位置为中心的视角来描绘所述场景的装置；
用于基于所述突出方向、所述正交图像平面和在所述第二位置取得的所述第二扫描界的第二图像数据生成正交投影的第二经矫正图像，使得所述第二经矫正图像基本上沿所述正交图像平面、从面对沿所述突出方向的所述场景且以所述第二位置为中心的视角来描绘所述场景的装置；以及
用于基于所述第一经矫正图像和所述第二经矫正图像来确定所述第一扫描界与所述第二扫描界之间的配准的装置。
11.根据权利要求10所述的装置，其中，所述第一激光扫描仪和所述第二激光扫描仪为相同的激光扫描仪。
12.根据权利要求10所述的装置，其中，
基于表面法线、消失点、对称性和重力中的至少一个来确定所述突出方向。
13.根据权利要求10所述的装置，其中，所述装置还包括：
用于从所述第一经矫正图像中提取一个或更多个第一描述符的装置；
用于从所述第二经矫正图像中提取一个或更多个第二描述符的装置；
用于将所述一个或更多个第一描述符与所述一个或更多个第二描述符进行比较的装置；以及
用于基于所述一个或更多个第一描述符与所述一个或更多个第二描述符的所述比较来确定所述配准的装置。
14.根据权利要求10所述的装置，其中，所述装置还包括：
用于基于所述第一经矫正图像和所述第二经矫正图像来估计与所述第一扫描界和所述第二扫描界相关联的变换元组，以确定所述第一扫描界与所述第二扫描界之间的配准的装置；
用于对内围层点特征成对可能性实施性能度量，以细化所述变换元组的装置；和/或用于基于针对与所述场景相关联的、排除所述第一扫描界和所述第二扫描界中的至少一个的一对扫描界所确定的另一变换元组细化所述变换元组的装置。
15.根据权利要求10所述的装置，其中，所述装置还包括：
用于从所述第一经矫正图像中提取第一点特征集合的装置，所述第一点特征集合包括所述第一经矫正图像中所包含的第一图像特征和指示所述第一图像特征的3D几何的关联的第一点数据；
用于从所述第二经矫正图像中提取第二点特征集合的装置，所述第二点特征集合包括所述第二经矫正图像中所包含的第二图像特征和指示所述第二图像特征的3D几何的关联的第二点数据；
用于基于包含在所述第一点特征集合中的所述关联的第一点数据且基于包含在所述第二点特征集合中的所述关联的第二点数据，从所述第一点特征集合和所述第二点特征集合来确定点特征成对可能性的集合的装置；以及
用于对所述点特征成对可能性实施随机采样一致性RANSAC算法，以基于所述点特征成对可能性的集合来确定所述第一扫描界与所述第二扫描界之间的配准的装置。
CN201410569378.3A 2013-10-22 2014-10-22 多个激光扫描的配准 Active CN104700393B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/060,405 2013-10-22
US14/060,405 US10198533B2 (en) 2013-10-22 2013-10-22 Registration of multiple laser scans

Publications (2)

Publication Number Publication Date
CN104700393A CN104700393A (zh) 2015-06-10
CN104700393B true CN104700393B (zh) 2018-03-27

Family

ID=51794736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410569378.3A Active CN104700393B (zh) 2013-10-22 2014-10-22 多个激光扫描的配准

Country Status (3)

Country Link
US (1) US10198533B2 (zh)
EP (2) EP2866198A3 (zh)
CN (1) CN104700393B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260989B (zh) * 2015-09-10 2019-01-29 安徽工业大学 基于多图配准复原三维图像的方法
EP3384428B1 (en) * 2015-12-04 2023-07-26 Autodesk, Inc. Keypoint-based point-pair-feature for scalable automatic global registration of large rgb-d scans
JP6688151B2 (ja) * 2016-05-13 2020-04-28 株式会社トプコン 位置特定装置、位置特定方法および位置特定用プログラム
JP7040147B2 (ja) * 2018-03-09 2022-03-23 セイコーエプソン株式会社 制御装置、ロボット、ロボットシステム，及び、物体を認識する方法
US10740957B1 (en) * 2018-06-14 2020-08-11 Kilburn Live, Llc Dynamic split screen
US10573060B1 (en) * 2018-06-14 2020-02-25 Kilburn Live, Llc Controller binding in virtual domes
EP3623752A1 (de) 2018-09-17 2020-03-18 Riegl Laser Measurement Systems GmbH Verfahren zum generieren einer orthogonalansicht eines objekts
US11927438B2 (en) * 2020-01-02 2024-03-12 The Boeing Company Methods and systems for calibrating fiducial markers relative to an object

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
CN103295239A (zh) * 2013-06-07 2013-09-11 北京建筑工程学院 一种基于平面基准影像的激光点云数据的自动配准方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5581259A (en) * 1994-11-03 1996-12-03 Trimble Navigation Limited Life for old maps
US6424351B1 (en) * 1999-04-21 2002-07-23 The University Of North Carolina At Chapel Hill Methods and systems for producing three-dimensional images using relief textures
US20020128742A1 (en) * 2001-03-12 2002-09-12 Zieverink Robert M. Accurate portraits
JP2004240931A (ja) * 2003-02-05 2004-08-26 Sony Corp 画像照合装置、画像照合方法、およびプログラム
AU2003903511A0 (en) * 2003-07-08 2003-07-24 Canon Kabushiki Kaisha Image registration method improvement
US7440591B1 (en) * 2003-11-12 2008-10-21 Rockwell Collins, Inc. Validation of terrain and obstacle databases
US20050283294A1 (en) * 2004-06-16 2005-12-22 Lehman Allen A Jr Method and apparatus for machine guidance at a work site
EP1920423A2 (en) * 2005-09-01 2008-05-14 GeoSim Systems Ltd. System and method for cost-effective, high-fidelity 3d-modeling of large-scale urban environments
CA2657161C (en) * 2008-03-04 2016-07-12 The University Of Sydney Scanning system for 3d mineralogy modelling
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
CA2683206C (en) * 2009-10-17 2018-07-03 Hermary Opto Electronics Inc. Enhanced imaging method and apparatus
US8655513B2 (en) * 2010-03-12 2014-02-18 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Methods of real time image enhancement of flash LIDAR data and navigating a vehicle using flash LIDAR data
US9042645B2 (en) * 2012-05-16 2015-05-26 Imec Feature detection in numeric data
US9330501B2 (en) * 2012-08-20 2016-05-03 Autodesk, Inc. Systems and methods for augmenting panoramic image data with performance related data for a building
US9679414B2 (en) * 2013-03-01 2017-06-13 Apple Inc. Federated mobile device positioning
US9832487B2 (en) * 2013-03-15 2017-11-28 Leica Geosystems, Ag Model-based scan line encoder
US11051000B2 (en) * 2014-07-14 2021-06-29 Mitsubishi Electric Research Laboratories, Inc. Method for calibrating cameras with non-overlapping views

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
CN103295239A (zh) * 2013-06-07 2013-09-11 北京建筑工程学院 一种基于平面基准影像的激光点云数据的自动配准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Leveraging 3D City Models for Rotation Invariant Place-of-Interest Recognition;Georges Baatz 等;《International Journal of Computer Vision》;20120229;第96卷(第3期);第4.3，6节，附图6，7 *
Robust Alignment of Wide baseline Terrestrial Laser Scans via 3D Viewpoint Normalization;Yanpeng Cao 等;《2011 IEEE Workshop on Applications of Computer Vision》;20110210;摘要，第1，2，4.2，4.3，5.1，5.3节 *

Also Published As

Publication number Publication date
EP3309743B1 (en) 2020-09-30
EP2866198A3 (en) 2015-06-10
US20150112645A1 (en) 2015-04-23
EP3309743A1 (en) 2018-04-18
CN104700393A (zh) 2015-06-10
EP2866198A2 (en) 2015-04-29
US10198533B2 (en) 2019-02-05

Similar Documents

Publication Publication Date Title
CN104700393B (zh) 多个激光扫描的配准
CN109887003B (zh) 一种用于进行三维跟踪初始化的方法与设备
US7554575B2 (en) Fast imaging system calibration
CN104169965B (zh) 用于多拍摄装置系统中图像变形参数的运行时调整的系统、方法和计算机程序产品
US20210274358A1 (en) Method, apparatus and computer program for performing three dimensional radio model construction
US8355592B1 (en) Generating a modified image with semantic constraint
CN108875133A (zh) 确定建筑布局
CN106256124B (zh) 结构化立体
WO2016132371A1 (en) Gesture recognition using multi-sensory data
US8565557B2 (en) Free view generation in ray-space
JP2010267113A (ja) 部品管理方法、装置、プログラム、記録媒体
Andaló et al. Efficient height measurements in single images based on the detection of vanishing points
Brown et al. A family of globally optimal branch-and-bound algorithms for 2D–3D correspondence-free registration
US10628998B2 (en) System and method for three dimensional object reconstruction and quality monitoring
JP6017343B2 (ja) データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム
Liu et al. Infrared-visible image registration for augmented reality-based thermographic building diagnostics
Luo et al. Effective outlier matches pruning algorithm for rigid pairwise point cloud registration using distance disparity matrix
Chen et al. An adaptive feature region-based line segment matching method for viewpoint-changed images with discontinuous parallax and poor textures
WO2024022301A1 (zh) 视角路径获取方法、装置、电子设备及介质
JP6086491B2 (ja) 画像処理装置およびそのデータベース構築装置
CN110849380A (zh) 一种基于协同vslam的地图对齐方法及系统
Li et al. SRHEN: stepwise-refining homography estimation network via parsing geometric correspondences in deep latent space
JP6304815B2 (ja) 画像処理装置ならびにその画像特徴検出方法、プログラムおよび装置
CN112950726B (zh) 摄像头朝向标定方法及相关产品
US11418716B2 (en) Spherical image based registration and self-localization for onsite and offsite viewing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant