CN116863085A - 一种三维重建系统、三维重建方法、电子设备及存储介质 - Google Patents

一种三维重建系统、三维重建方法、电子设备及存储介质 Download PDF

Info

Publication number
CN116863085A
CN116863085A CN202311127094.4A CN202311127094A CN116863085A CN 116863085 A CN116863085 A CN 116863085A CN 202311127094 A CN202311127094 A CN 202311127094A CN 116863085 A CN116863085 A CN 116863085A
Authority
CN
China
Prior art keywords
image
aerial survey
module
survey data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311127094.4A
Other languages
English (en)
Other versions
CN116863085B (zh
Inventor
魏威
杜慧丽
张佩
张玥珺
邹圣兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shuhui Spatiotemporal Information Technology Co ltd
Original Assignee
Beijing Shuhui Spatiotemporal Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shuhui Spatiotemporal Information Technology Co ltd filed Critical Beijing Shuhui Spatiotemporal Information Technology Co ltd
Priority to CN202311127094.4A priority Critical patent/CN116863085B/zh
Publication of CN116863085A publication Critical patent/CN116863085A/zh
Application granted granted Critical
Publication of CN116863085B publication Critical patent/CN116863085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种三维重建系统、三维重建方法、电子设备及存储介质，所述系统包括：采集模块、质检模块、数据存储模块、预处理模块、纠正模块以及三维重建模块。本发明实现了大规模的航测影像数据处理与三维重建的自动化协同生产，显著提高三维重建的自动化程度、生产作业效率以及三维重建的精度和完整性。

Description

一种三维重建系统、三维重建方法、电子设备及存储介质
技术领域
本发明属于三维重建领域，具体涉及一种三维重建系统、三维重建方法、电子设备及存储介质。
背景技术
无人机遥感已经成为除卫星遥感之外的一种重要遥感手段，如何由无人机获取的影像快速稳健地恢复场景的三维信息，已成为摄影测量和计算机视觉领域共同关注的热点问题。
三维重建是采用相机等视觉传感器，通过对目标区域或物体进行图像采集，获取不同角度的RGB图像，从而获得目标区域或物体的二维图像。对获得的图像进行一系列的处理，便可以重建出目标区域或物体的三维模型。
众所周知，现有的三维重建技术是依据摄影测量的原理，在地面布置地面控制点，利用无人机航测得到相片，根据GNSS接收机测得控制点的位置信息，在无人机飞行结束后回到地面，将航测相片和位置信息导入到电脑中，然后进行三维重建。或者是通过在无人机上搭载惯性导航系统（IMU）和GNSS接收机，获得无人机在拍摄每张相片时的位置和姿态信息，在无人机飞行结束后回到地面，将相片和位置信息导入到电脑中进行三维重建。
上述方法都是将图像和信息的采集，与三维重建计算过程分开进行，这就大大延长了整个三维重建的周期，也不能实时地三维重建。此外对照相机与摄影设备有一定的要求，这些大量的影像文件也需要足够的存储空间来保存；同时还存在无人机数据处理和生产中人机交互多、自动化程度低、处理效率低等问题。此外，无人机采集包括视频影像，但是视频图像中复杂目标、光线及视角变化等因素影响，使得视频图像的特征提取和匹配成为了一个颇具挑战的问题。
发明内容
为了解决上述技术问题，本发明提供一种三维重建系统、三维重建方法、电子设备及存储介质，构建全工序、自动化的三维重建系统，实现了大规模的航测影像产品自动化协同生产；同时针对无人机采集的视频图像匹配中特征点性能和匹配效率不足的问题，通过对算法进行改进，既满足特征点的数量可实现稠密重建的需求，又提升匹配运算速度，进一步提高三维重建的自动化程度、生产作业效率以及三维重建的精度和完整性。
本发明第一目的在于提供一种三维重建系统，该系统包括：
采集模块，被配置为获取航测数据和像控点信息；所述航测数据包括实体影像和POS数据；所述实体影像包括正射影像和倾斜影像。
质检模块，被配置为对所述航测数据进行筛选，以获取合格的航测数据。
数据存储模块，被配置为对合格的航测数据、像控点信息进行存储。
预处理模块，被配置为对数据存储模块中的合格的航测数据进行预处理。
纠正模块，被配置为通过变换矩阵对倾斜影像进行纠正处理，获取纠正后的倾斜影像。
匹配模块，被配置为将航测数据中的正射影像和纠正后的倾斜影像进行特征点提取及特征点匹配、联合平差、密集匹配，以输出稠密点云。
三维重建模块，被配置为基于稠密点云，构建三角网，并进行简化、平滑、纹理映射处理，输出三维重建结果。
具体地，所述质检模块包括质检单元和筛选单元。
所述质检单元用于对采集模块中的航测数据进行质量检测，得到质量检测结果；所述质量检测包括航测数据文件内容评定、实体影像的可用性评定、POS数据完整性评定。
所述筛选单元用于根据质量检测结果对航测数据进行筛选，以获取合格的航测数据。
具体地，所述质检单元进一步被配置为当航测数据文件内容评定结果、实体影像的可用性评定结果和POS数据完整性评定结果均合格时，确定所述质量检测结果为合格，否则，确定所述质量检测结果为不合格。
所述实体影像的可用性评定包括基于质量项对实体影像进行可用性评定，所述质量项包括云检测、阴影检测、空值检测和直方图检测。
具体地，所述纠正模块包括POS数据纠正单元、变换矩阵计算单元、重采样单元；其中POS数据纠正单元用于对POS数据中的平面坐标和高程值进行转换和精化处理；变换矩阵计算单元用于模拟影像拍摄视角的变换，计算各视角下的倾斜影像与各视角下的倾斜影像对应正射影像之间的变换矩阵；重采样单元用于将各个倾斜视角的倾斜影像变换至正射视角下，获取纠正后的倾斜影像。
具体地，所述匹配模块包括特征点处理单元、联合平差单元和密集匹配单元；其中，特征点处理单元用于对正射影像和纠正后的倾斜影像进行SURF特征点提取，使用改进SURF特征点的描述符算子对SURF特征点进行描述，通过改进的FLANN算法进行SURF特征点匹配，得到匹配的特征点对。
具体地，所述预处理模块用于对合格的航测数据中实体影像进行匀光匀色和去畸变处理。
本发明第二目的在于提供一种三维重建系统的三维重建方法，该方法包括：
S1、使用采集模块获取多源传感器的航测数据和像控点信息，所述航测数据包括实体影像和POS数据，实体影像包括正射影像和倾斜影像。
S2、使用质检模块对所述航测数据进行质量检测，并筛选出合格的航测数据；使用数据存储模块对合格的航测数据和像控点信息进行存储。
S3、使用预处理模块对数据存储模块中的合格的航测数据进行预处理；使用纠正模块获取变换矩阵，采用变换矩阵对倾斜影像进行纠正处理，得到纠正后的倾斜影像。
S4、使用匹配模块对航测数据中的正射影像和纠正后的倾斜影像进行特征点提取及特征点匹配、联合平差、密集匹配，以输出稠密点云。
S5、使用三维重建模块在稠密点云基础上构建三角网，对三角网进行平滑和简化，并基于倾斜摄影影像进行纹理映射处理，生成三维模型结果。
本发明第三目的在于提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述的方法。
本发明第四目的在于提供一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述的方法。
本发明的有益效果为：
（1）本发明提供一种三维重建系统、三维重建方法及设备，通过构建全工序、自动化的三维重建系统，实现了大规模的航测影像产品自动化协同生产；同时在提取影像的特征点中，既满足特征点的数量可实现稠密重建的需求，又提升匹配运算速度，进一步提高三维重建的自动化程度、生产作业效率以及三维重建的精度和完整性。
（2）本发明在航测数据存储前，通过对航测数据的文件内容、实体影像以及POS数据进行质量检测，能够保证航测数据有效性，进而有利于后续提高遥三维重建的精度和完整性。
（3）本发明通过改进FLANN算法，先找到特征点匹配的预测区域，然后在预测区域进行特征点搜索，从而避免了大量无用特征点的匹配，在满足特征点的数量可实现稠密重建的需求的同时，提高了特征点的匹配效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中三维重建系统的结构示意图；
图2为本发明实施例中纠正模块的结构示意图；
图3为本发明实施例中匹配模块的结构示意图；
图4为本发明实施例中三维重建方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
请参阅图1，本发明提供一种基于无人机航测影像的三维重建系统100，系统包括：采集模块11、质检模块12、数据存储模块13、预处理模块14、纠正模块15、匹配模块16和三维重建模块17。
在本发明的实施例中，采集模块11被配置为获取多源传感器的航测数据和像控点信息；航测数据包括正射影像、倾斜影像和POS数据。
采集模块11包括具有影像捕获功能的传感器，即同一飞行平台上搭载五镜头相机，能够同时从垂直、倾斜等不同角度采集地面影像。
航测数据例如可以包括镜头垂直于地面角度拍摄的一组正射影像、镜头朝向与地面呈一定夹角拍摄的四组倾斜影像，以及POS数据。
本实施例的实施例中，在目标区域内执行倾斜摄影测区共2.32km2，数据采集设定航高150m，航向重叠度为75%，旁向重叠度为65%，进行固定航线采集，获取航测数据。在目标区域内布设像控点，并对像控点进行坐标测量，得到所述像控点坐标信息。
本实施例的实施例中，质检模块12包括质检单元121、筛选单元122。其中，质检单元121用于对采集模块中的航测数据进行质量检测，得到质量检测结果。质量检测包括航测数据文件内容评定、实体影像的可用性评定、POS数据完整性评定；质量检测结果包括合格和不合格。筛选单元122用于根据质量检测结果对航测数据进行筛选，以获取合格的航测数据。
在一些实施例中，质检单元121进一步配置为当航测数据文件内容评定结果、实体影像的可用性评定结果和POS数据完整性评定结果均合格时，质量检测结果为合格，否则质量检测结果为不合格；实体影像的可用性评定为基于质量项对实体影像进行可用性评定，质量项包括云检测、阴影检测、空值检测和直方图检测。
在本发明的实施例中，质检单元121被配置为执行以下步骤。
步骤1：航测数据文件内容进行评定。
航测数据文件内容包括文件包和文件包中的实体影像、POS数据以及文件名。对航测数据文件内容进行检测包括：实体影像与文件名匹配性、文件包中数据的完整性等。在本发明实施例中，在实体影像与文件名能够匹配、文件包能够打开、且文件包中数据完整的情况下，则认为航测数据文件内容评定结果为合格。在一些实施例中，可以采用人工方式来检测航测数据文件内容，然后接收用户输出的航测数据文件内容评定结果，用于最终的质量检测结果的评定。
步骤2：实体影像的可用性评定。
对所述航测数据中的正射影像和倾斜影像基于质量项进行检测，并对实体影像的可用性进行评定并输出评定结果。质量项包括云检测、阴影检测、空值检测和直方图检测。在本发明的实施例中，基于多个质量项对实体影像的可用性进行评定，以实现对遥感影像数据进行全方位的检测。
每个质量项的检测方法可以有多种。例如，云检测的检测方法可以是物理阈值法，也可以是全概率贝叶斯法，还可以是其他的检测方法，云检测的结果为正射影像和倾斜影像的含云量，当含云量小于预设的阈值，则认为对应的正射影像和倾斜影像基于云检测的实体影像可用性评定为合格。
基于多个质量项依次对正射影像和倾斜影像进行可用性评定，将每项质量项的可用性评定的检测结果自动归一化并汇总，得到实体影像的最终可用性评定结果。在本发明的实施例中，每项质量项的可用性评定结果均为合格时，实体影像的可用性评定结果为合格，否则为不合格。
步骤3：POS数据完整性评定结果。
无人机在飞行作业时，获取的无人机影像通常会携带配套的POS数据，从而更加方便处理影像。POS数据主要包括拍摄时刻无人机的位置信息（GPS）和飞行姿态信息。GPS数据一般用x、y、z表示，代表了无人机在飞行中曝光点时刻的地理位置信息。飞行姿态信息主要包含：航向角、俯仰角及翻滚角，分别用，ω，k表示。此外，POS数据还包括地面分辨率、传感器等信息。
通过MD5（Message Digest Algorithm 5，信息摘要算法）算法，分别计算航测数据中POS数据（以下称为“第一POS数据”）的第一哈希值和历史存储的同一行政区域的POS数据（以下称为“第二POS数据”）的第二哈希值，若第一哈希值与第二哈希值相等，则判定获取的POS数据是完整的。
MD5是一种常用的哈希算法，用于将任意长度的数据映射为固定长度的哈希值，通常是128位的二进制串或32位的十六进制字符串。MD5算法接受输入数据，并通过一系列复杂的数学运算和逻辑操作，生成一个唯一的128位哈希值。这个哈希值是根据输入数据的内容计算得出的，即使输入数据只有微小的变化，生成的哈希值也会完全不同。
实际应用中，该实施例中计算得到第一哈希值后，将第一哈希值与第二哈希值值进行比较，若两者相等，则说明航测数据的POS数据与历史存储的相同行政区域的POS数据是一致的，则POS数据完整性评定结果为合格，若两者不相等，则POS数据完整性评定结果为不合格。
步骤4：质量检测结果。
如果步骤1-3中输出的评定结果中任一项被评定为不合格，质检单元121判定相关航测数据的质量检测结果为不合格。
筛选单元122用于根据质量检测结果对航测数据进行筛选，以获取合格的航测数据。在本发明的实施例中，在数据存储前，通过对航测数据的文件内容、实体影像以及POS数据进行质量检测，以筛选出合格的航测数据，能够保证对航测数据有效性，以及便于后续保证遥三维重建的精度和完整性。
在本发明的实施例中，数据存储模块13被配置为对合格的航测数据、像控点信息进行存储。实体影像以例如JPG格式存储，POS数据文件以例如TXT格式存储。
在本发明的实施例中，预处理模块14用于对航测数据中正射影像、倾斜影像进行匀光匀色和去畸变处理。
请参阅图2，纠正模块15包括POS数据纠正单元151、变换矩阵计算单元152、重采样单元153。
POS数据纠正单元151用于对POS数据中的平面坐标和高程值进行转换和精化处理；变换矩阵计算单元152用于模拟影像拍摄视角的变换，计算各视角下的倾斜影像与各视角下的倾斜影像对应正射影像之间的变换矩阵；重采样单元153用于将各个倾斜视角的倾斜影像变换至正射视角下，获取纠正后的倾斜影像。
在本发明的实施例中，POS数据纠正单元151被配置为根据实地选取像控点坐标信息，对POS数据中的平面坐标和高程值进行转换和精化处理，以获取高精度POS数据。
示例性地，可以基于平面坐标采用高斯-克吕格直角平面投影方法对POS数据中的平面坐标进行坐标转换。例如可以采用像控点所求的七参数对POS数据中的高程值进行转换。
在本发明的实施例中，变换矩阵计算单元通过POS数据纠正单元151输出的高精度POS数据中的影像姿态角信息，计算出各视角下倾斜影像与各视角下的倾斜影像对应正射影像间的变换矩阵。
在本发明的实施例中，重采样单元153被配置为通过变换矩阵对各视角下的倾斜影像中进行纠正处理，得到纠正后的倾斜影像。
请参阅图3，在本发明的实施例中，匹配模块16包括特征点处理单元161、联合平差单元162和密集匹配单元163。
特征点处理单元161用于将航测数据中的正射影像和纠正后的倾斜影像进行SURF特征点提取，使用改进SURF特征点的描述符算子对SURF特征点进行描述，得到特征点的局部信息，基于SURF特征点的局部信息，使用改进的FLANN算法进行SURF特征点匹配，得到匹配的特征点对。
SURF（Speeded Up Robust Features，加速稳健特征）是一个稳健的图像识别和描述算法，该算法可被用于计算机视觉任务，如物件识别和3D重构。SURF具有旋转尺度不变特征，其不但能测出图像中的关键点，稳定描述关键点的局部信息，而且理论上是SIFT算子速度的3倍。FLANN算法（Fast Library for Approximate Nearest Neighbors，快速近似最邻近算法）是一种快速的特征匹配算法，它可以在大数据集中进行快速的搜索匹配FLANN匹配的原理是将查询点与已知点之间的距离转换为高维空间的距离，然后使用k-d树来加快搜索速度。
在本发明的实施例中，进一步地在改进的FLANN搜索算法的基础上，结合RANSAC算法，以剔除无匹配、误匹配的特征点，进一步提升匹配速度和匹配精度。
RANSAC(RAndom SAmple Consensus,随机采样一致)算法是从一组含有“外点”的数据中正确估计数学模型参数的迭代算法。“外点”一般指的数据中的噪声，比如说匹配中的误匹配和估计曲线中的离群点。所以，RANSAC也是一种“外点”检测算法。
在本发明的实施例中，特征点处理单元161执行以下步骤。
提取特征点。基于Hessian矩阵行列式的特征点提取SURF特征点的过程，首先是用图像的Hessian矩阵行列式构成SURF尺度空间，用非极大值抑制提取特征点。特征点受Hessian行列式阈值的影响，阈值越大得到的特征点的鲁棒性越好，实际中需要适当的调整阈值。
由于匹配对图像特征点描述的局部信息依赖性较高，单个特征点不足以描述该特征点的局部区域信息。针对此问题，在不改变SURF特征点原有的旋转尺度不变性的前提下，本发明提出了改进的特征点描述符，在特征向量中加入了特征点4-邻域内的特征点描述符信息。在构成的SURF尺度空间中提取到的特征点，用f0表示该特征点原有的描述符。在图像中该特征点的4个方向距离10s（s为特征点所在的尺度）的特征点分别用f1、f2、f3、f4表示。为了使该特征点能够更准确地描述局部信息，构建特征点4-邻域的描述符f1、f2、f3、f4都使用f0的主方向，以确保特征点的旋转不变性。然后由该特征点及其它4个特征点描述符构建新的描述符，作为特征点的特征向量，表示为v={f0，f1，f2，f3，f4}。新构成的特征点不仅保留SURF特征点原有的旋转尺度不变性，还加大对局部信息的描述，对复杂的目标有更大的区分度。
特征点匹配。利用RANSAC算法增加特征点的匹配先验信息，以减少大量的配对计算。首先根据前一帧图像求得的匹配点对，利用RANSAC算法求出配对点之间的映射关系。RANSAC每次迭代都随机选取4组特征点计算出它们的映射关系，统计符合该映射的特征点。迭代一定次数后选出符合特征点数量最多的模型作为最终模型。
改进的FLANN匹配算法步骤如下。
（1）将RANSAC算法加入到FLANN算法中。由于前一帧已经求得最佳的配对特征点对，故不需要迭代，只需从前一帧中配对好的特征点对选出4组即可求出映射矩阵H。其中的映射关系如下式（1）所示：
(1)
其中，(xi,yi)为第i对匹配特征点对，通过映射矩阵的变换后得到对应特征点对(xi',yi')，根据特征点对估计映射矩阵H中的8个参数，即h11，h12，h13，h21，h22，h23，h31，h32。
可将式（1）展开，得到式（2）：
(2)
将式（2）整理可得式（3）：
(3)
每组匹配的特征点对可以得到两个方程组，因此通过4组特征点对可得8组方程，即可算出映射矩阵H的8个参数，求得映射矩阵H进入步骤（3）。
在一些实施例中，若当前帧是视频的第一帧或者上一帧没找到配对点则跳过这步进入步骤（3），直接用原来的FLANN算法求配对点。
（2）在FLANN算法中，根据RANSAC算法增加了配对点的预测区域，在局部区域搜索配对点。通过计算特征点p0(x0，y0)的预测配对点，以该预测点的30邻域作为配对点的预测区域。首先通过式（1）计算出p0的映射点坐标，然后优先在映射点的30邻域内搜索配对点，找到与p0点邻域内有最小欧氏距离的配对点。
假设两个m维特征点分别为p(xp1，xp2，…，xpm)、q(xq1，xq2，…，xqm)，则两个特征点p和特征点q间的欧氏距离Dpq如式（4）所示。
(4)
在p0的映射点邻域内有很大概率可以找到最小欧氏距离小于100的最佳配对点，因为通常前后一帧图像移动范围会比较小。否则进入步骤（3）和步骤（4）继续调用原来的FLANN算法搜索剩余的特征点。
（3）在进行FLANN算法匹配之前，先对特征点迹的符号归类，以进一步筛选配对点，减少配对计算量。判断两个特征点的迹符号是否相同，若符号相同再进行下一步，否则，跳过欧氏距离计算直接判为不同点，如式（5）所示：
(5)
（4）FLANN算法的核心是计算两特征点的欧氏距离。
通过判断距离某SURF特征点最小欧氏距离和次小欧氏距离的比值是否低于某阈值，来筛选该特征点是否存在唯一的匹配点。可通过式（6）进一步筛选特征点匹配对：
(6)
式中：为特征点q距离特征点p的最小欧氏距离，/>为特征点q距离特征点p的次小欧氏距离。V为比率阈值，本发明经过多次实验得出V=0.6最为合适。使用改进的FLANN算法进行特征点匹配时，该算法都可以找到特征点对应的配对点。
联合平差单元162用于将平差后的数据赋予每张倾斜影像，使得所述倾斜影像具有在虚拟三维空间中的位置和姿态数据，每张倾斜影像上的每个像素对应真实的地理坐标位置，所述平差后的数据包括三个坐标信息及三个方向角信息。
密集匹配单元163被配置为执行以下步骤：在稀疏点云的基础上，采用基于聚簇和面片模型的多视角密集匹配（Clustering Multiple View Stereo&Patch-based Multi-View Stereo，CMVS+PMVS）算法生成稠密点云，即在稀疏点云的基础上，划分面片并通过面片扩散扩充面片结构，从而获得密集点云。
三维重建模块18被配置为基于融合点云来构建三角网，并进行简化、平滑、纹理映射处理，输出三维重建结果。
不规则三角网构建的流程为：通过“地形转不规则三角网”的地理处理工具将地形数据集转换为不规则三角网。
纹理映射处理是通过将纹理空间中的纹理像素映射到屏幕空间，先对纹理对象进行定义，然后使用glBlind Texture函数选择纹理对象并在绘制三维实景时加载相应的纹理，最后在输出三维重建结果前使用glBlindTexture函数删除纹理对象。其中，glBindTexture是OpenGL核心函数库中的一个函数，允许建立一个绑定到目标纹理的有名称的纹理。
请参阅图4，本发明第二目的在于提供一种适用于上述三维重建系统的三维重建方法，该方法应用于上述的系统中，包括：
S1、使用采集模块获取多源传感器的航测数据和像控点信息，所述航测数据包括实体影像和POS数据，实体影像包括正射影像和倾斜影像。
S2、使用质检模块对所述航测数据进行质量检测，并筛选出合格的航测数据；使用数据存储模块对合格的航测数据和像控点信息进行存储。
S3、使用预处理模块对数据存储模块中的合格的航测数据进行预处理；使用纠正模块获取变换矩阵，采用变换矩阵对倾斜影像进行纠正处理，得到纠正后的倾斜影像。
S4、使用匹配模块对航测数据中的正射影像和纠正后的倾斜影像进行特征点提取及特征点匹配、联合平差、密集匹配，以输出稠密点云。
S5、使用三维重建模块在稠密点云基础上构建三角网，对三角网进行平滑和简化，并基于倾斜摄影影像进行纹理映射处理，生成三维模型结果。
本发明第三目的在于提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述的方法。
本发明第四目的在于提供一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述的方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种三维重建系统，其特征在于，所述系统包括：
采集模块，被配置为获取航测数据和像控点信息；所述航测数据包括实体影像和POS数据；所述实体影像包括正射影像和倾斜影像；
质检模块，被配置为对所述航测数据进行筛选，以获取合格的航测数据；
数据存储模块，被配置为对合格的航测数据、像控点信息进行存储；
预处理模块，被配置为对数据存储模块中的合格的航测数据进行预处理；
纠正模块，被配置为通过变换矩阵对倾斜影像进行纠正处理，获取纠正后的倾斜影像；
匹配模块，被配置为将航测数据中的正射影像和纠正后的倾斜影像进行特征点提取及特征点匹配、联合平差、密集匹配，以输出稠密点云；
三维重建模块，被配置为基于稠密点云，构建三角网，并进行简化、平滑、纹理映射处理，输出三维重建结果。
2.根据权利要求1所述的系统，其特征在于，所述质检模块包括质检单元和筛选单元；
所述质检单元用于对采集模块中的航测数据进行质量检测，得到质量检测结果；所述质量检测包括航测数据文件内容评定、实体影像的可用性评定、POS数据完整性评定；
所述筛选单元用于根据质量检测结果对航测数据进行筛选，以获取合格的航测数据。
3.根据权利要求2所述的系统，其特征在于，所述质检单元进一步被配置为当航测数据文件内容评定结果、实体影像的可用性评定结果和POS数据完整性评定结果均合格时，确定所述质量检测结果为合格，否则，确定所述质量检测结果为不合格；
所述实体影像的可用性评定包括基于质量项对实体影像进行可用性评定，所述质量项包括云检测、阴影检测、空值检测和直方图检测。
4.根据权利要求1所述的系统，其特征在于，所述纠正模块包括POS数据纠正单元、变换矩阵计算单元、重采样单元；
其中POS数据纠正单元用于对POS数据中的平面坐标和高程值进行转换和精化处理；
变换矩阵计算单元用于模拟影像拍摄视角的变换，计算各视角下的倾斜影像与各视角下的倾斜影像对应正射影像之间的变换矩阵；
重采样单元用于将各个倾斜视角的倾斜影像变换至正射视角下，获取纠正后的倾斜影像。
5.根据权利要求1所述的系统，其特征在于，所述匹配模块包括特征点处理单元、联合平差单元和密集匹配单元；
其中，特征点处理单元用于对正射影像和纠正后的倾斜影像进行SURF特征点提取，使用改进SURF特征点的描述符算子对SURF特征点进行描述，通过改进的FLANN算法进行SURF特征点匹配，得到匹配的特征点对。
6.根据权利要求1所述的系统，其特征在于，所述预处理模块用于对合格的航测数据中实体影像进行匀光匀色和去畸变处理。
7.一种适用于如权利要求1~6中任一项所述的三维重建系统的三维重建方法，其特征在于，包括：
S1、使用采集模块获取多源传感器的航测数据和像控点信息，所述航测数据包括实体影像和POS数据，所述实体影像包括正射影像和倾斜影像；
S2、使用质检模块对所述航测数据进行质量检测，并筛选出合格的航测数据；使用数据存储模块对合格的航测数据和像控点信息进行存储；
S3、使用预处理模块对数据存储模块中的合格的航测数据进行预处理；使用纠正模块获取变换矩阵，采用变换矩阵对倾斜影像进行纠正处理，得到纠正后的倾斜影像；
S4、使用匹配模块对航测数据中的正射影像和纠正后的倾斜影像进行特征点提取及特征点匹配、联合平差、密集匹配，以输出稠密点云；
S5、使用三维重建模块在稠密点云基础上构建三角网，对三角网进行平滑和简化，并基于倾斜摄影影像进行纹理映射处理，生成三维模型结果。
8.一种电子设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求7所述的方法。
9.一种计算机可读存储介质，其特征在于，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求7所述的方法。
CN202311127094.4A 2023-09-04 2023-09-04 一种三维重建系统、三维重建方法、电子设备及存储介质 Active CN116863085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311127094.4A CN116863085B (zh) 2023-09-04 2023-09-04 一种三维重建系统、三维重建方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311127094.4A CN116863085B (zh) 2023-09-04 2023-09-04 一种三维重建系统、三维重建方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116863085A true CN116863085A (zh) 2023-10-10
CN116863085B CN116863085B (zh) 2024-01-09

Family

ID=88221960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311127094.4A Active CN116863085B (zh) 2023-09-04 2023-09-04 一种三维重建系统、三维重建方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116863085B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180082027A (ko) * 2017-01-09 2018-07-18 한국전자통신연구원 컴퓨터 단층 촬영 장치 및 이를 이용한 컴퓨터 단층 촬영 영상 보정 방법
CN110866531A (zh) * 2019-10-15 2020-03-06 深圳新视达视讯工程有限公司 一种基于三维建模的建筑物特征提取方法、系统及存储介质
CN111023999A (zh) * 2019-12-26 2020-04-17 北京交通大学 一种基于空间编码结构光的稠密点云生成方法
CN111629193A (zh) * 2020-07-28 2020-09-04 江苏康云视觉科技有限公司 一种实景三维重建方法及系统
CN111784585A (zh) * 2020-09-07 2020-10-16 成都纵横自动化技术股份有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN113096250A (zh) * 2021-04-02 2021-07-09 华中师范大学 基于无人机航拍影像序列的三维建筑模型库系统构建方法
CN113178009A (zh) * 2021-04-19 2021-07-27 中国人民解放军陆军工程大学 一种利用点云分割和网格修补的室内三维重建方法
CN113205590A (zh) * 2021-04-30 2021-08-03 山东产研信息与人工智能融合研究院有限公司 基于倾斜摄影原理的室内三维建模方法及系统
US20210358206A1 (en) * 2020-05-14 2021-11-18 Star Institute Of Intelligent Systems Unmanned aerial vehicle navigation map construction system and method based on three-dimensional image reconstruction technology
US20210368147A1 (en) * 2019-10-30 2021-11-25 Goertek Inc. Projection image automatic correction method and system based on binocular vision
CN113971768A (zh) * 2021-10-27 2022-01-25 国网安徽省电力有限公司马鞍山供电公司 一种基于无人机的输电线路违章建筑三维动态检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180082027A (ko) * 2017-01-09 2018-07-18 한국전자통신연구원 컴퓨터 단층 촬영 장치 및 이를 이용한 컴퓨터 단층 촬영 영상 보정 방법
CN110866531A (zh) * 2019-10-15 2020-03-06 深圳新视达视讯工程有限公司 一种基于三维建模的建筑物特征提取方法、系统及存储介质
US20210368147A1 (en) * 2019-10-30 2021-11-25 Goertek Inc. Projection image automatic correction method and system based on binocular vision
CN111023999A (zh) * 2019-12-26 2020-04-17 北京交通大学 一种基于空间编码结构光的稠密点云生成方法
US20210358206A1 (en) * 2020-05-14 2021-11-18 Star Institute Of Intelligent Systems Unmanned aerial vehicle navigation map construction system and method based on three-dimensional image reconstruction technology
CN111629193A (zh) * 2020-07-28 2020-09-04 江苏康云视觉科技有限公司 一种实景三维重建方法及系统
CN111784585A (zh) * 2020-09-07 2020-10-16 成都纵横自动化技术股份有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN113096250A (zh) * 2021-04-02 2021-07-09 华中师范大学 基于无人机航拍影像序列的三维建筑模型库系统构建方法
CN113178009A (zh) * 2021-04-19 2021-07-27 中国人民解放军陆军工程大学 一种利用点云分割和网格修补的室内三维重建方法
CN113205590A (zh) * 2021-04-30 2021-08-03 山东产研信息与人工智能融合研究院有限公司 基于倾斜摄影原理的室内三维建模方法及系统
CN113971768A (zh) * 2021-10-27 2022-01-25 国网安徽省电力有限公司马鞍山供电公司 一种基于无人机的输电线路违章建筑三维动态检测方法

Also Published As

Publication number Publication date
CN116863085B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN111795704B (zh) 一种视觉点云地图的构建方法、装置
CN111780764B (zh) 一种基于视觉地图的视觉定位方法、装置
Tao et al. Dense point cloud extraction from UAV captured images in forest area
US10152828B2 (en) Generating scene reconstructions from images
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN112750203B (zh) 模型重建方法、装置、设备及存储介质
CN104077760A (zh) 一种航空摄影测量的快速拼接系统及其实现方法
CN109671109B (zh) 密集点云生成方法及系统
CN109214254B (zh) 一种确定机器人位移的方法及装置
CN111899345B (zh) 一种基于2d视觉图像的三维重建方法
Hong et al. Rapid three-dimensional detection approach for building damage due to earthquakes by the use of parallel processing of unmanned aerial vehicle imagery
KR20170143439A (ko) 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치 및 방법
Gupta et al. Augmented reality system using lidar point cloud data for displaying dimensional information of objects on mobile phones
CN116863085B (zh) 一种三维重建系统、三维重建方法、电子设备及存储介质
Seong et al. Image-based 3D building reconstruction using A-KAZE feature extraction algorithm
US20230089827A1 (en) Method for selecting stereo pairs of aerial or satellite images to generate elevation data
Atik et al. An automatic image matching algorithm based on thin plate splines
Ding et al. Stereo vision SLAM-based 3D reconstruction on UAV development platforms
CN113610952A (zh) 一种三维场景重建方法、装置、电子设备和存储介质
Huang et al. Image network generation of uncalibrated UAV images with low-cost GPS data
Hwang et al. 3D modeling and accuracy assessment-a case study of photosynth
CN115100535B (zh) 基于仿射相机模型的卫星遥感图像快速重建方法及装置
Porzi et al. An automatic image-to-DEM alignment approach for annotating mountains pictures on a smartphone
CN113298871B (zh) 地图生成方法、定位方法及其系统、计算机可读存储介质
US11776148B1 (en) Multi-view height estimation from satellite images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant