CN110458871A - 模型与全景图的配准方法、系统、设备和介质以及地图 - Google Patents
模型与全景图的配准方法、系统、设备和介质以及地图 Download PDFInfo
- Publication number
- CN110458871A CN110458871A CN201910749983.1A CN201910749983A CN110458871A CN 110458871 A CN110458871 A CN 110458871A CN 201910749983 A CN201910749983 A CN 201910749983A CN 110458871 A CN110458871 A CN 110458871A
- Authority
- CN
- China
- Prior art keywords
- contour line
- live
- virtual panoramic
- panorama
- threedimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013519 translation Methods 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及数据采集领域，特别涉及模型与全景图的配准方法、系统、设备和介质以及地图。本发明的三维模型与实景全景图的配准方法，包括：对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；从虚拟全景图中提取第一轮廓线，并且从实景全景图中提取第二轮廓线；根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准。本发明在三维模型质量较低、实景全景图存在遮挡、实景全景图和三维模型时空不匹配等不利情况下，仍可以自动化地达到较高的配置精度。本发明提出了在大规模采集数据之后的处理中自动地进行三维模型与实景全景图的配准的新方法，规避了异源图像之间特征点自动匹配失效的弊端，可以有效降低数据处理的时间与人力成本。
Description
技术领域
本发明涉及数据采集领域，特别涉及模型与全景图的配准方法、系统、设备和介质以及地图。
背景技术
目前地理信息系统(Geographic Information System，GIS)应用中，数据是重要的组成部分，GIS数据的种类较多，包括GIS基础数据、卫星影像数据、倾斜摄影数据、实景三维全景数据、地形数据、三维模型数据、路网数据等。随着倾斜摄影测量软硬件技术的发展，以及快速构建大范围地形地貌的需要，可同时提供精细纹理与几何特征以及高精度定位的倾斜摄影测量产品，已经成为建立大规模地形地貌特别是城市区域中数字表面模型(DSM)与数字高程模型(DEM)的重要源数据。
倾斜摄影测量基于被动光学测量方法，利用无人机密集拍摄的影像，通过空中三角测量和优化加密方法，获取地面目标的稠密高精度点云；在建模的同时获取了地物的色彩纹理信息，可输出地面不规则三角网模型。三维倾斜摄影模型呈现地表一定范围区域内位于基准坐标系内的三角面以及场景中精细纹理信息。高分辨率、高质量建模的三维倾斜摄影测量模型是对真实世界的高度近似。倾斜摄影测量在同等范围、同等精度要求下，其数据建模成本比激光测量方法要低很多。因此，高精度倾斜摄影测量在测绘和GIS领域都有重要的应用价值。
然而，三维倾斜摄影模型有一些局限性。该模型是室外、静态、不透明目标的几何模拟，无法有效建模水面和玻璃面等透明反光目标；模型对较小尺度的目标建模能力有限，容易造成细节丢失和几何失真；模型反映的是拍摄时地物的纹理和几何信息，具有静态和瞬时性，缺少真实世界中的运动目标和实时信息；靠近地面附近的目标因为建筑物和树木遮挡等因素，出现模型细节缺失和变形等问题。
球型实景全景图是拍摄瞬间对周围真实场景信息的记录。高分辨率全景数据可记录场景中色彩、光照、纹理和运动目标信息，为三维倾斜摄影模型等其他三维模型补充所需的细节内容。实景全景图是拍摄瞬间空间场景的真实投影，除了提供地物详实的色彩和纹理等属性信息，同时保留了拍摄时刻的场景事件、运动物体和目标空间关系等重要信息，这些都是三维模型中所欠缺的内容。
综上，将三维模型和实景全景图结合起来，实现地面纹理与几何信息的准确融合，在发挥两种数据各自的优势、形成新型的地理信息数据和可视化展示、节约数据采集与加工成本、高效快速获取一定精度测绘成果等方面意义巨大。
三维数据与全景数据的配准方面，目前主要是传统三维点云数据与全景的自动配准，其主要实现手段是：先依靠初步标定参数进行大致对齐，再通过点云模型和全景关键点的自动或半自动匹配优化配准参数，将全景和点云纳入统一坐标系中。传统配准模式中，点云和全景采集几乎同时进行，目标场景差异较小，因而经过深度图像化的点云数据和全景图像相关性较高；点云和全景配准初始参数可以通过简单的量测得出，且一经匹配，点云模型和全景空间关系是刚性变换，可推广到任一测站中以实现大范围数据的配准。
然而，三维倾斜摄影模型等其他三维模型和实景全景之间的配准难度很大，主要表现有：时空分辨率不同，全景采集时间和精度与倾斜摄影模型有差异；全景定位精度与GPS采集相关，后者可能因为GPS信号弱或多路径干扰导致定位误差升高；实景全景图像和倾斜摄影模型图像属于异源图像，同名点在色彩、纹理、梯度等常规相似性度量上均较差，无法通过自动匹配点进行模型配准；遮挡和视差也会导致的相关性大幅度降低。
发明内容
本发明的目的在于提供模型与全景图的配准方法、系统、设备和介质以及地图，可以先利用实景全景图的粗精度位置和姿态信息，渲染三维模型的虚拟全景图；再利用虚拟全景图和实景全景图的轮廓线的相关性，通过随机优化方法，实现三维模型与实景全景图的高精度配准。本发明在三维模型质量较低、实景全景图存在遮挡、实景全景图和三维模型时空不匹配等不利情况下，仍可以自动化地达到较高的配置精度。本发明提出了在大规模采集数据之后的处理中自动地进行三维模型与实景全景图的配准的新方法，规避了异源图像之间特征点自动匹配失效的弊端，可以有效降低数据处理的时间与人力成本。
本发明公开了一种三维模型与实景全景图的配准方法，包括：
对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；
从虚拟全景图中提取第一轮廓线，并且从实景全景图中提取第二轮廓线；
根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准。
可选地，对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图，包括：
确定实景全景图的全景中心在三维模型的坐标系下的坐标，以得到虚拟全景视点；
确定实景全景图的坐标系与三维模型的坐标系的旋转矩阵；
在虚拟全景视点处，根据旋转矩阵，对三维模型中的可见三角面进行光栅化，以生成虚拟全景视点处的具有深度信息的虚拟全景图，深度信息指示三维模型中的点到虚拟全景视点的距离。
可选地，从虚拟全景图中提取第一轮廓线，包括：根据深度阈值，确定虚拟全景图的前景和背景，第一轮廓线为虚拟全景图的前景和背景的分割线。
可选地，从实景全景图中提取第二轮廓线，包括：根据梯度阈值，确定实景全景图的前景和背景，第二轮廓线为实景全景图的前景和背景的分割线。
可选地，根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准，包括：
使用随机优化方法来确定旋转平移参数，旋转平移参数使得第一轮廓线和第二轮廓线的相关性最大；
根据旋转平移参数，旋转平移虚拟全景图或实景全景图以进行配准。
本发明公开了一种三维模型与实景全景图的配准系统，包括：
虚拟全景图生成模块，用于对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；
轮廓线提取模块，用于从虚拟全景图中提取第一轮廓线，并且从实景全景图中提取第二轮廓线；
配准模块，用于根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准。
可选地，虚拟全景图生成模块对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图，包括：
确定实景全景图的全景中心在三维模型的坐标系下的坐标，以得到虚拟全景视点；
确定实景全景图的坐标系与三维模型的坐标系的旋转矩阵；
在虚拟全景视点处，根据旋转矩阵，对三维模型中的可见三角面进行光栅化，以生成虚拟全景视点处的具有深度信息的虚拟全景图，深度信息指示三维模型中的点到虚拟全景视点的距离。
可选地，轮廓线提取模块从虚拟全景图中提取第一轮廓线，包括：根据深度阈值，确定虚拟全景图的前景和背景，第一轮廓线为虚拟全景图的前景和背景的分割线。
可选地，轮廓线提取模块从实景全景图中提取第二轮廓线，包括：根据梯度阈值，确定实景全景图的前景和背景，第二轮廓线为实景全景图的前景和背景的分割线。
可选地，配准模块根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准，包括：
使用随机优化方法来确定旋转平移参数，旋转平移参数使得第一轮廓线和第二轮廓线的相关性最大；
根据旋转平移参数，旋转平移虚拟全景图或实景全景图以进行配准。
本发明公开了一种三维模型与实景全景图的配准设备，设备包括存储有计算机可执行指令的存储器和处理器，处理器被配置为执行指令以实施三维模型与实景全景图的配准方法，包括：
对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；
从虚拟全景图中提取第一轮廓线，并且从实景全景图中提取第二轮廓线；
根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准。
本发明公开了一种使用计算机程序编码的计算机存储介质，计算机程序包括指令，指令被一个以上的计算机执行以实施三维模型与实景全景图的配准方法，包括：
对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；
从虚拟全景图中提取第一轮廓线，并且从实景全景图中提取第二轮廓线；
根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准。
本发明公开了一种融合三维模型与实景全景图的地图，使用三维模型与实景全景图的配准方法来生成地图，方法包括：
对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；
从虚拟全景图中提取第一轮廓线，并且从实景全景图中提取第二轮廓线；
根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准。
本发明与现有技术相比，主要区别及其效果在于：
本发明对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；更具体地，确定实景全景图的全景中心在三维模型的坐标系下的坐标，以得到虚拟全景视点；确定实景全景图的坐标系与三维模型的坐标系的旋转矩阵；在虚拟全景视点处，根据旋转矩阵，对三维模型中的可见三角面进行光栅化，以生成虚拟全景视点处的具有深度信息的虚拟全景图；本发明可以先利用实景全景图的粗精度位置和姿态信息，渲染三维模型的虚拟全景图。
本发明根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准；更具体地，使用随机优化方法来确定旋转平移参数，旋转平移参数使得第一轮廓线和第二轮廓线的相关性最大；根据旋转平移参数，旋转平移虚拟全景图或实景全景图以进行配准。本发明可以再利用虚拟全景图和实景全景图的轮廓线的相关性，通过随机优化方法，实现三维模型与实景全景图的高精度配准。
本发明在三维模型质量较低、实景全景图存在遮挡、实景全景图和三维模型时空不匹配等不利情况下，仍可以自动化地达到较高的配置精度。本发明提出了在大规模采集数据之后的处理中自动地进行三维模型与实景全景图的配准的新方法，规避了异源图像之间特征点自动匹配失效的弊端，可以有效降低数据处理的时间与人力成本。
附图说明
图1是根据本发明第一实施方式的三维模型与实景全景图的配准方法的流程示意图；
图2是根据本发明第一实施方式的三维模型的示意图；
图3是根据本发明第一实施方式的对三维模型进行光栅化的示意图；
图4是根据本发明第一实施方式的从虚拟全景图中提取第一轮廓线，并且从实景全景图中提取第二轮廓线的示意图；
图5是根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准的示意图；
图6是根据本发明第二实施方式的三维模型与实景全景图的配准系统的结构示意图。
具体实施方式
为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的第一实施方式涉及一种三维模型与实景全景图的配准方法。图1是根据本发明第一实施方式的三维模型与实景全景图的配准方法的流程示意图。
具体地，如图1所示，该方法包括：
步骤102，对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；
步骤104，从虚拟全景图中提取第一轮廓线，并且从实景全景图中提取第二轮廓线；
步骤106，根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准。
其中，三维模型可以是根据GIS数据等生成的任意三维模型，例如但不限于三维倾斜摄影模型。
其中，实景全景图可以是根据GPS采集装置和陀螺仪等生成的实景全景图。
可选地，对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图，包括：
确定实景全景图的全景中心在三维模型的坐标系下的坐标，以得到虚拟全景视点；
确定实景全景图的坐标系与三维模型的坐标系的旋转矩阵；
在虚拟全景视点处，根据旋转矩阵，对三维模型中的可见三角面进行光栅化，以生成虚拟全景视点处的具有深度信息的虚拟全景图，深度信息指示三维模型中的点到虚拟全景视点的距离。
图2是根据本发明第一实施方式的三维模型的示意图。
其中，三维模型的坐标系可以是局部地平坐标系，该坐标系为右手系，原点O默认位于WGS-84椭球面上。Y轴切椭球面指向北极，Z轴垂直于椭球面指向椭球面外部，X轴与YOZ平面垂直，指向地面东方向。倾斜摄影模型的元数据中可以包含原点O的BL信息，H可以默认为0。
其中，实景全景图的坐标系可以是WGS-84大地坐标系。
其中，可以使用GPS采集装置和陀螺仪来确定实景全景图的全景中心在三维模型的坐标系下的坐标，以得到虚拟全景视点。
具体地，GPS采集装置可以记录GPS采集中心在大地坐标系下的坐标。利用大地坐标系和局部地平坐标系的转换关系，可以确定GPS采集中心在三维模型的坐标系下的坐标。
在大地坐标系下，考虑到采集误差和信号异常导致的定位问题，可以根据路基大地高和GPS采集装置高度等信息来校正GPS采集中心的坐标，并且同时校正GPS采集中心在三维模型的坐标系下的坐标。
在大地坐标系下，确定GPS采集中心与全景中心的偏移量，并且使用陀螺仪来确定大地坐标系到局部地平坐标系的旋转信息，根据偏移量和旋转信息确定实景全景图的全景中心在三维模型的坐标系下的坐标，以得到虚拟全景视点。
其中，可以使用陀螺仪来确定大地坐标系到局部地平坐标系的旋转信息，根据旋转信息确定实景全景图的坐标系与三维模型的坐标系的旋转矩阵。
图3是根据本发明第一实施方式的对三维模型进行光栅化的示意图。
其中，可以创建例如宽高比2:1的球型虚拟全景图，该虚拟全景图具有RGB信息和深度信息。在虚拟全景视点处，以旋转矩阵所表征的姿态，观察三维模型。可以根据可见性等约束条件，选择三维模型的三角面集合。可以依次对三角面集合中的每个三角面进行光栅化，根据当前深度更新深度信息，并且生成虚拟全景视点处的具有深度信息的虚拟全景图，深度信息指示三维模型中的点到虚拟全景视点的距离。
图4是根据本发明第一实施方式的从虚拟全景图中提取第一轮廓线，并且从实景全景图中提取第二轮廓线的示意图。
可选地，从虚拟全景图中提取第一轮廓线，包括：根据深度阈值，确定虚拟全景图的前景和背景，第一轮廓线为虚拟全景图的前景和背景的分割线。
其中，可以设置深度阈值，例如300米，其中深度小于300米的点作为虚拟全景图的前景点，深度大于300米的点作为虚拟全景图的背景点，第一轮廓线为虚拟全景图的前景和背景的分割线。
其中，前景可以是经光栅化的区域，背景可以是未经光栅化的区域，第一轮廓线可以是虚拟全景图的天际线。
可选地，从实景全景图中提取第二轮廓线，包括：根据梯度阈值，确定实景全景图的前景和背景，第二轮廓线为实景全景图的前景和背景的分割线。
其中，可以设置梯度阈值，例如80％分位数，其中梯度大于80％分位数的点作为实景全景图的前景点，梯度小于80％分位数的点作为实景全景图的背景点，第二轮廓线为实景全景图的前景和背景的分割线。
其中，第二轮廓线可以是实景全景图的天际线。
其中，可以对所提取的第一轮廓线和第二轮廓线进行降噪平滑和杂点抑制等处理，以提高图像质量。
图5是根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准的示意图。
可选地，根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准，包括：
使用随机优化方法来确定旋转平移参数，旋转平移参数使得第一轮廓线和第二轮廓线的相关性最大；
根据旋转平移参数，旋转平移虚拟全景图或实景全景图以进行配准。
其中，在虚拟全景图和实景全景图是一对差异性较大的异源图像基础上，第一轮廓线和第二轮廓线在较大视差和遮挡等不利因素干扰下，依然保持一定相关性。因此，可以使用随机优化方法来确定旋转平移参数，旋转平移参数使得第一轮廓线和第二轮廓线的相关性最大，从而根据旋转平移参数，旋转平移虚拟全景图或实景全景图以进行配准。
具体地，随机优化方法例如但不限于模拟退火随机优化方法，可以设置旋转角和三维平移量的范围，例如在偏航角yaw<＝20，俯仰角pitch<＝10，翻滚角roll<＝10，X方向平移dx<＝2.0米，Y方向平移dy<＝2.0米，Z方向平移dz<＝1.0米内，确定旋转平移参数。
根据该旋转平移参数，第一轮廓线上的点在旋转平移之后，可以被投影到实景全景图。可以计算投影点的边缘能量，并且将所有投影点的能量之和作为变换前后的相关性度量值。
通过不断的迭代优化，可以获得相关性度量值最大的最优旋转平移参数(yaw,pitch,roll,dx,dy,dz)，其中，yaw,pitch,roll是实景全景图相对于虚拟全景图的姿态，dx,dy,dz是实景全景图相对于虚拟全景图的三维平移量。如图5所示，粗实线代表最优参数下的投影结果，虚线代表其他参数下的投影结果。
可以将该最优旋转平移参数转换到三维模型的坐标系，以获得三维模型的坐标系下的坐标和旋转矩阵。可以根据该坐标和旋转矩阵，旋转平移虚拟全景图或实景全景图以进行配准，从而实现三维模型与实景全景图的可视化切换过渡以及同名点量测功能。
本发明对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；更具体地，确定实景全景图的全景中心在三维模型的坐标系下的坐标，以得到虚拟全景视点；确定实景全景图的坐标系与三维模型的坐标系的旋转矩阵；在虚拟全景视点处，根据旋转矩阵，对三维模型中的可见三角面进行光栅化，以生成虚拟全景视点处的具有深度信息的虚拟全景图；本发明可以先利用实景全景图的粗精度位置和姿态信息，渲染三维模型的虚拟全景图。
本发明根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准；更具体地，使用随机优化方法来确定旋转平移参数，旋转平移参数使得第一轮廓线和第二轮廓线的相关性最大；根据旋转平移参数，旋转平移虚拟全景图或实景全景图以进行配准。本发明可以再利用虚拟全景图和实景全景图的轮廓线的相关性，通过随机优化方法，实现三维模型与实景全景图的高精度配准。
本发明在三维模型质量较低、实景全景图存在遮挡、实景全景图和三维模型时空不匹配等不利情况下，仍可以自动化地达到较高的配置精度。本发明提出了在大规模采集数据之后的处理中自动地进行三维模型与实景全景图的配准的新方法，规避了异源图像之间特征点自动匹配失效的弊端，可以有效降低数据处理的时间与人力成本。
本发明的第二实施方式涉及一种三维模型与实景全景图的配准系统。图6是根据本发明第二实施方式的三维模型与实景全景图的配准系统的结构示意图。
具体地，如图6所示，该系统包括：
虚拟全景图生成模块，用于对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；
轮廓线提取模块，用于从虚拟全景图中提取第一轮廓线，并且从实景全景图中提取第二轮廓线；
配准模块，用于根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准。
可选地，虚拟全景图生成模块对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图，包括：
确定实景全景图的全景中心在三维模型的坐标系下的坐标，以得到虚拟全景视点；
确定实景全景图的坐标系与三维模型的坐标系的旋转矩阵；
在虚拟全景视点处，根据旋转矩阵，对三维模型中的可见三角面进行光栅化，以生成虚拟全景视点处的具有深度信息的虚拟全景图，深度信息指示三维模型中的点到虚拟全景视点的距离。
可选地，轮廓线提取模块从虚拟全景图中提取第一轮廓线，包括：根据深度阈值，确定虚拟全景图的前景和背景，第一轮廓线为虚拟全景图的前景和背景的分割线。
可选地，轮廓线提取模块从实景全景图中提取第二轮廓线，包括：根据梯度阈值，确定实景全景图的前景和背景，第二轮廓线为实景全景图的前景和背景的分割线。
可选地，配准模块根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准，包括：
使用随机优化方法来确定旋转平移参数，旋转平移参数使得第一轮廓线和第二轮廓线的相关性最大；
根据旋转平移参数，旋转平移虚拟全景图或实景全景图以进行配准。
第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明的第三实施方式涉及一种三维模型与实景全景图的配准设备，设备包括存储有计算机可执行指令的存储器和处理器，处理器被配置为执行指令以实施三维模型与实景全景图的配准方法，包括：
对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；
从虚拟全景图中提取第一轮廓线，并且从实景全景图中提取第二轮廓线；
根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准。
第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明的第四实施方式涉及一种使用计算机程序编码的计算机存储介质，计算机程序包括指令，指令被一个以上的计算机执行以实施三维模型与实景全景图的配准方法，包括：
对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；
从虚拟全景图中提取第一轮廓线，并且从实景全景图中提取第二轮廓线；
根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准。
第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明的第五实施方式涉及一种融合三维模型与实景全景图的地图，使用三维模型与实景全景图的配准方法来生成地图，方法包括：
对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；
从虚拟全景图中提取第一轮廓线，并且从实景全景图中提取第二轮廓线；
根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准。
第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以对这些特征进行变型或者可以与其他特征组合。
需要说明的是，本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable Array Logic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically ErasableProgrammable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。
需要说明的是，本发明各设备实施方式中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。
需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (13)
1.一种三维模型与实景全景图的配准方法，其特征在于，包括：
对所述三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；
从所述虚拟全景图中提取第一轮廓线，并且从所述实景全景图中提取第二轮廓线；
根据所述第一轮廓线和所述第二轮廓线，对所述虚拟全景图和所述实景全景图进行配准。
2.根据权利要求1所述的方法，其特征在于，对所述三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图，包括：
确定所述实景全景图的全景中心在所述三维模型的坐标系下的坐标，以得到所述虚拟全景视点；
确定所述实景全景图的坐标系与所述三维模型的坐标系的旋转矩阵；
在所述虚拟全景视点处，根据所述旋转矩阵，对所述三维模型中的可见三角面进行光栅化，以生成虚拟全景视点处的具有深度信息的所述虚拟全景图，所述深度信息指示所述三维模型中的点到所述虚拟全景视点的距离。
3.根据权利要求2所述的方法，其特征在于，从所述虚拟全景图中提取第一轮廓线，包括：根据深度阈值，确定所述虚拟全景图的前景和背景，所述第一轮廓线为所述虚拟全景图的前景和背景的分割线。
4.根据权利要求1至3中任一项所述的方法，其特征在于，从所述实景全景图中提取第二轮廓线，包括：根据梯度阈值，确定所述实景全景图的前景和背景，所述第二轮廓线为所述实景全景图的前景和背景的分割线。
5.根据权利要求4所述的方法，其特征在于，根据所述第一轮廓线和所述第二轮廓线，对所述虚拟全景图和所述实景全景图进行配准，包括：
使用随机优化方法来确定旋转平移参数，所述旋转平移参数使得所述第一轮廓线和所述第二轮廓线的相关性最大；
根据所述旋转平移参数，旋转平移所述虚拟全景图或所述实景全景图以进行配准。
6.一种三维模型与实景全景图的配准系统，其特征在于，包括：
虚拟全景图生成模块，用于对所述三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；
轮廓线提取模块，用于从所述虚拟全景图中提取第一轮廓线，并且从所述实景全景图中提取第二轮廓线；
配准模块，用于根据所述第一轮廓线和所述第二轮廓线，对所述虚拟全景图和所述实景全景图进行配准。
7.根据权利要求6所述的系统，其特征在于，所述虚拟全景图生成模块对所述三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图，包括：
确定所述实景全景图的全景中心在所述三维模型的坐标系下的坐标，以得到所述虚拟全景视点；
确定所述实景全景图的坐标系与所述三维模型的坐标系的旋转矩阵；
在所述虚拟全景视点处，根据所述旋转矩阵，对所述三维模型中的可见三角面进行光栅化，以生成虚拟全景视点处的具有深度信息的所述虚拟全景图，所述深度信息指示所述三维模型中的点到所述虚拟全景视点的距离。
8.根据权利要求7所述的系统，其特征在于，所述轮廓线提取模块从所述虚拟全景图中提取第一轮廓线，包括：根据深度阈值，确定所述虚拟全景图的前景和背景，所述第一轮廓线为所述虚拟全景图的前景和背景的分割线。
9.根据权利要求6至8中任一项所述的系统，其特征在于，所述轮廓线提取模块从所述实景全景图中提取第二轮廓线，包括：根据梯度阈值，确定所述实景全景图的前景和背景，所述第二轮廓线为所述实景全景图的前景和背景的分割线。
10.根据权利要求9所述的系统，其特征在于，所述配准模块根据所述第一轮廓线和所述第二轮廓线，对所述虚拟全景图和所述实景全景图进行配准，包括：
使用随机优化方法来确定旋转平移参数，所述旋转平移参数使得所述第一轮廓线和所述第二轮廓线的相关性最大；
根据所述旋转平移参数，旋转平移所述虚拟全景图或所述实景全景图以进行配准。
11.一种三维模型与实景全景图的配准设备，其特征在于，所述设备包括存储有计算机可执行指令的存储器和处理器，所述处理器被配置为执行所述指令以实施三维模型与实景全景图的配准方法，包括：
对所述三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；
从所述虚拟全景图中提取第一轮廓线，并且从所述实景全景图中提取第二轮廓线；
根据所述第一轮廓线和所述第二轮廓线，对所述虚拟全景图和所述实景全景图进行配准。
12.一种使用计算机程序编码的计算机存储介质，其特征在于，所述计算机程序包括指令，所述指令被一个以上的计算机执行以实施三维模型与实景全景图的配准方法，包括：
对所述三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；
从所述虚拟全景图中提取第一轮廓线，并且从所述实景全景图中提取第二轮廓线；
根据所述第一轮廓线和所述第二轮廓线，对所述虚拟全景图和所述实景全景图进行配准。
13.一种融合三维模型与实景全景图的地图，其特征在于，使用三维模型与实景全景图的配准方法来生成所述地图，所述方法包括：
对所述三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；
从所述虚拟全景图中提取第一轮廓线，并且从所述实景全景图中提取第二轮廓线；
根据所述第一轮廓线和所述第二轮廓线，对所述虚拟全景图和所述实景全景图进行配准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910749983.1A CN110458871A (zh) | 2019-08-14 | 2019-08-14 | 模型与全景图的配准方法、系统、设备和介质以及地图 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910749983.1A CN110458871A (zh) | 2019-08-14 | 2019-08-14 | 模型与全景图的配准方法、系统、设备和介质以及地图 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110458871A true CN110458871A (zh) | 2019-11-15 |
Family
ID=68486587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910749983.1A Pending CN110458871A (zh) | 2019-08-14 | 2019-08-14 | 模型与全景图的配准方法、系统、设备和介质以及地图 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110458871A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091595A (zh) * | 2019-12-23 | 2020-05-01 | 吉林省广播电视研究所(吉林省广播电视局科技信息中心) | 斜视三维测绘方法及测绘系统 |
| CN111145085A (zh) * | 2019-12-26 | 2020-05-12 | 上海霁目信息科技有限公司 | 拣选片元的方法和模型栅格化的方法、系统、设备和介质 |
| CN112184815A (zh) * | 2020-09-27 | 2021-01-05 | 北京鼎联网络科技有限公司 | 全景图像在三维模型中的位置和姿态确定方法及装置 |
| CN112465732A (zh) * | 2020-11-27 | 2021-03-09 | 武汉大学 | 一种车载激光点云与序列全景影像的配准方法 |
| CN114065336A (zh) * | 2021-09-28 | 2022-02-18 | 广州优比建筑咨询有限公司 | 一种基于Revit的高支模区域的检查方法、装置、介质及设备 |
| CN114332648A (zh) * | 2022-03-07 | 2022-04-12 | 荣耀终端有限公司 | 一种位置标识方法及电子设备 |
| CN116883550A (zh) * | 2023-07-01 | 2023-10-13 | 浙江利恩工程设计咨询有限公司 | 一种三维虚拟实景动画显示方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120127169A1 (en) * | 2010-11-24 | 2012-05-24 | Google Inc. | Guided Navigation Through Geo-Located Panoramas |
| CN105516654A (zh) * | 2015-11-25 | 2016-04-20 | 华中师范大学 | 一种基于场景结构分析的城市监控视频融合方法 |
| CN109186551A (zh) * | 2018-08-08 | 2019-01-11 | 广州市城市规划勘测设计研究院 | 倾斜摄影测量建筑物特征点提取方法、装置与存储介质 |
| CN109255808A (zh) * | 2018-09-12 | 2019-01-22 | 北京建筑大学 | 基于倾斜影像的建筑物纹理提取方法和装置 |
| CN109443359A (zh) * | 2018-09-27 | 2019-03-08 | 北京空间机电研究所 | 一种地面全景影像的地理定位方法 |
| CN109816790A (zh) * | 2018-12-26 | 2019-05-28 | 江苏嘉禾环境科技有限公司 | 一种用于水文监测的三维实景建模方法 |
-
2019
- 2019-08-14 CN CN201910749983.1A patent/CN110458871A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120127169A1 (en) * | 2010-11-24 | 2012-05-24 | Google Inc. | Guided Navigation Through Geo-Located Panoramas |
| CN105516654A (zh) * | 2015-11-25 | 2016-04-20 | 华中师范大学 | 一种基于场景结构分析的城市监控视频融合方法 |
| CN109186551A (zh) * | 2018-08-08 | 2019-01-11 | 广州市城市规划勘测设计研究院 | 倾斜摄影测量建筑物特征点提取方法、装置与存储介质 |
| CN109255808A (zh) * | 2018-09-12 | 2019-01-22 | 北京建筑大学 | 基于倾斜影像的建筑物纹理提取方法和装置 |
| CN109443359A (zh) * | 2018-09-27 | 2019-03-08 | 北京空间机电研究所 | 一种地面全景影像的地理定位方法 |
| CN109816790A (zh) * | 2018-12-26 | 2019-05-28 | 江苏嘉禾环境科技有限公司 | 一种用于水文监测的三维实景建模方法 |
Non-Patent Citations (2)
| Title |
|---|
| NINGNING ZHU等: "Registration of Panoramic/Fish-Eye Image Sequence and LiDAR Points Using Skyline Features", 《SENSORS》 * |
| 陈驰等: "车载MMS激光点云与序列全景影像自动配准方法", 《测绘学报》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091595A (zh) * | 2019-12-23 | 2020-05-01 | 吉林省广播电视研究所(吉林省广播电视局科技信息中心) | 斜视三维测绘方法及测绘系统 |
| CN111145085A (zh) * | 2019-12-26 | 2020-05-12 | 上海霁目信息科技有限公司 | 拣选片元的方法和模型栅格化的方法、系统、设备和介质 |
| CN111145085B (zh) * | 2019-12-26 | 2023-09-22 | 上海杰图天下网络科技有限公司 | 拣选片元的方法和模型栅格化的方法、系统、设备和介质 |
| CN112184815A (zh) * | 2020-09-27 | 2021-01-05 | 北京鼎联网络科技有限公司 | 全景图像在三维模型中的位置和姿态确定方法及装置 |
| CN112184815B (zh) * | 2020-09-27 | 2024-07-23 | 北京鼎联网络科技有限公司 | 全景图像在三维模型中的位置和姿态确定方法及装置 |
| CN112465732A (zh) * | 2020-11-27 | 2021-03-09 | 武汉大学 | 一种车载激光点云与序列全景影像的配准方法 |
| CN114065336A (zh) * | 2021-09-28 | 2022-02-18 | 广州优比建筑咨询有限公司 | 一种基于Revit的高支模区域的检查方法、装置、介质及设备 |
| CN114332648A (zh) * | 2022-03-07 | 2022-04-12 | 荣耀终端有限公司 | 一种位置标识方法及电子设备 |
| CN114332648B (zh) * | 2022-03-07 | 2022-08-12 | 荣耀终端有限公司 | 一种位置标识方法及电子设备 |
| CN116883550A (zh) * | 2023-07-01 | 2023-10-13 | 浙江利恩工程设计咨询有限公司 | 一种三维虚拟实景动画显示方法 |
| CN116883550B (zh) * | 2023-07-01 | 2024-02-23 | 浙江利恩工程设计咨询有限公司 | 一种三维虚拟实景动画显示方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458871A (zh) | 模型与全景图的配准方法、系统、设备和介质以及地图 | |
| Verhoeven et al. | Computer vision‐based orthophoto mapping of complex archaeological sites: The ancient quarry of Pitaranha (Portugal–Spain) | |
| US10297074B2 (en) | Three-dimensional modeling from optical capture | |
| US7509241B2 (en) | Method and apparatus for automatically generating a site model | |
| US20190026400A1 (en) | Three-dimensional modeling from point cloud data migration | |
| CN103971404B (zh) | 一种高性价比的3d实景复制装置 | |
| CN108168521A (zh) | 一种基于无人机实现景观三维可视化的方法 | |
| CN106327573A (zh) | 一种针对城市建筑的实景三维建模方法 | |
| US20090154793A1 (en) | Digital photogrammetric method and apparatus using intergrated modeling of different types of sensors | |
| CN105931234A (zh) | 一种地面三维激光扫描点云与影像融合及配准的方法 | |
| CN107833280A (zh) | 一种基于地理网格与图像识别相结合的户外移动增强现实方法 | |
| Javadnejad et al. | Dense point cloud quality factor as proxy for accuracy assessment of image-based 3D reconstruction | |
| Lu et al. | Digital preservation for heritages: Technologies and applications | |
| KR100732915B1 (ko) | 디지털사진 측량기술 및 인공위성영상을 이용한 기본설계용도로노선의 3차원적 결정 방법 | |
| CN109785421B (zh) | 一种基于空地影像组合的纹理映射方法及系统 | |
| Wang et al. | Unmanned aerial vehicle and structure‐from‐motion photogrammetry for three‐dimensional documentation and digital rubbing of the Zuo River Valley rock paintings | |
| CN104166995B (zh) | 一种基于马步测度的Harris‑SIFT双目视觉定位方法 | |
| Hu et al. | Collaborative 3D real modeling by multi-view images photogrammetry and laser scanning: the case study of Tangwei Village, China | |
| CN117115243B (zh) | 一种基于街景图片的建筑群外立面窗户定位方法及装置 | |
| Zhao et al. | Completing point clouds using structural constraints for large-scale points absence in 3D building reconstruction | |
| Li et al. | A review of true orthophoto rectification algorithms | |
| Gong et al. | Roof-cut guided localization for building change detection from imagery and footprint map | |
| Deng et al. | Automatic true orthophoto generation based on three-dimensional building model using multiview urban aerial images | |
| Gu et al. | Surveying and mapping of large-scale 3D digital topographic map based on oblique photography technology | |
| Hoegner et al. | Thermal leakage detection on building facades using infrared textures generated by mobile mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |