CN117036622B - 融合航拍图像和地面扫描的三维重建方法、装置和设备 - Google Patents
融合航拍图像和地面扫描的三维重建方法、装置和设备 Download PDFInfo
- Publication number
- CN117036622B CN117036622B CN202311286703.0A CN202311286703A CN117036622B CN 117036622 B CN117036622 B CN 117036622B CN 202311286703 A CN202311286703 A CN 202311286703A CN 117036622 B CN117036622 B CN 117036622B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- image
- ground
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000004927 fusion Effects 0.000 claims abstract description 154
- 230000002146 bilateral effect Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000001914 filtration Methods 0.000 claims description 42
- 238000013519 translation Methods 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229910010293 ceramic material Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011118 depth filtration Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供一种融合航拍图像和地面扫描的三维重建方法、装置和设备，涉及图像处理技术领域。该方法包括：获取航拍图像的稠密点云和地面扫描点云之间的对应关系；根据所述对应关系获取第一融合点云，并通过数据配准算法对所述第一融合点云进行优化，得到第二融合点云；根据所述第二融合点云中各个点的空间坐标和颜色值，获取所述第二融合点云的双边滤波因子，并进行滤波处理，得到第三融合点云；根据所述第三融合点云的点云密度，获取所述第三融合点云的第一体素边长，并根据所述第一体素边长圈定第一体素，在每个所述第一体素中选出一个点，重新构建所述第三融合点云。本申请的方法可以提升三维重建的精准度。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种融合航拍图像和地面扫描的三维重建方法、装置和设备。
背景技术
航拍影像与地面激光扫描数据融合的三维重建方法是一种用于创建城市或地区的三维模型的技术，其结合了两种不同类型的数据源：一种是通过航拍获取的空中影像，另一种是通过地面激光扫描仪获取的地面数据；这两种数据源都用于捕捉同一区域的信息，但它们从不同的角度和高度提供了不同的视角和精度，可提供更丰富的点云数据。
要融合航拍影像和地面激光扫描数据两种数据，自然需要考虑融合过程是否会对三维重建结果产生影响，导致精准度不足；目前常用的对点云进行配准的方法包括最近点迭代算法（Iterative Closest Point，ICP），为了保证ICP算法的精确性，一般要先进行粗配准，然后再通过ICP算法进行精配准，但是在航拍影像和地面激光扫描数据融合的实际应用中，现有的粗配准方式一般为手动取点，虽然确实在一定程度上保证了ICP算法的精确性，但是手动取点的操作难度大，且准确率也并不高。
因此，本申请提出一种更加精准的融合航拍图像和地面扫描的三维重建方法。
发明内容
本申请提供一种融合航拍图像和地面扫描的三维重建方法、装置和设备，用以解决现有技术中三维重建的精准度不足的问题。
第一方面，本申请提供融合航拍图像和地面扫描的三维重建方法，包括：
根据第一图像对中的航拍图像和地面图像，获取多个第一内点，其中，每个所述第一内点包括相互对应的一个航拍图像空间点和一个地面图像空间点，每个所述第一图像对中包括一张航拍图像和一张地面图像；
根据所述第一内点，获取所述航拍图像的稠密点云和地面扫描点云之间的对应关系，其中，所述对应关系包括第一旋转矩阵和第一平移向量；
根据所述对应关系获取第一融合点云，并通过数据配准算法对所述第一融合点云进行优化，得到第二融合点云；
根据所述第二融合点云中各个点的空间坐标和颜色值，获取所述第二融合点云的双边滤波因子，并通过所述双边滤波因子对所述第二融合点云进行滤波处理，得到第三融合点云；
根据所述第三融合点云的点云密度，获取所述第三融合点云的第一体素边长，并根据所述第一体素边长圈定第一体素，在每个所述第一体素中选出一个点，重新构建所述第三融合点云。
在一种可能的实现方式中，所述根据第一图像对中的航拍图像和地面图像，获取多个第一内点，包括：
获取所述第一图像对中其中一张图像的第一特征点，并确认所述第一特征点与另一张图像的最近特征点之间的第一距离，以及次近特征点的第二距离；
若所述第一距离与所述第二距离的比值小于预设比例阈值，则确认所述第一特征点与所述最近特征点为一个特征匹配点对；
将所述特征匹配点对进行坐标系转换，得到空间匹配点对，从多个所述空间匹配点对中选取第一预设数量的空间匹配点对作为第一内点。
在一种可能的实现方式中，所述根据所述第一内点，获取所述航拍图像的稠密点云和地面扫描点云之间的对应关系，包括：
获取所述第一内点中空间点之间的初始对应关系，其中，所述初始对应关系包括所述第一旋转矩阵的旋转初始值和所述第一平移向量的平移初始值；
根据所述初始对应关系，确认外点之间的匹配性，将匹配性超过匹配性阈值的外点划分为第二内点，其中，所述外点为未被选为第一内点的匹配点；
根据所述第一内点和所述第二内点更新所述初始对应关系，得到更新的对应关系，并重复外点划分，直到不再出现新的划分或者划分次数超过预设次数时，将最后一次更新的对应关系作为所述航拍图像的稠密点云和地面扫描点云之间的对应关系。
在一种可能的实现方式中，所述根据所述对应关系获取第一融合点云，并通过数据配准算法对所述第一融合点云进行优化，得到第二融合点云，包括：
通过所述对应关系对所述航拍图像的稠密点云和所述地面扫描点云中其中一种点云进行变换，得到变换点云和非变换点云，并将所述变换点云和所述非变换点云组合为所述第一融合点云；
通过所述数据配准算法对所述第一融合点云进行精配准，得到所述第一融合点云的第二旋转矩阵和第二平移向量；
通过所述第二旋转矩阵和所述第二平移向量对所述第一融合点云进行处理，得到所述第二融合点云。
在一种可能的实现方式中，所述根据所述第二融合点云中各个点的空间坐标和颜色值，获取所述第二融合点云的双边滤波因子，包括：
获取所述第二融合点云中各个选取点与其他点之间的第三距离，并选取预设距离范围内的其他点作为所述选取点的邻域点集，其中，每个所述第二融合点云中的点均包括空间坐标和颜色值；
获取所述选取点和所述邻域点集中的点之间的第四距离，以及获取所述选取点和所述邻域点集中的点的距离向量在法向上的投影；
根据所述第四距离获取空间距离权重，根据所述投影获取特征保持权重，根据所述颜色值获取颜色权重；
根据所述空间距离权重、所述特征保持权重和所述颜色权重，获取联合权重；
根据所述联合权重，获取所述第二融合点云的双边滤波因子。
在一种可能的实现方式中，所述根据所述第三融合点云的点云密度，获取所述第三融合点云的第一体素边长，包括：
通过初始体素边长对所述第三融合点云进行体素化，得到第二体素；
通过三维网格圈定所述第二体素，并获取每个网格中的点云密度，其中，每个所述网格包括多个第二体素；
根据所述第二体素和所述点云密度，获取所述第三融合点云的第一体素边长。
在一种可能的实现方式中，所述根据第一图像对中的航拍图像和地面图像，获取多个第一内点之前，所述方法还包括：
根据图像集中各个图像之间的相关性，获取第一候选图像对，其中，所述图像集中包括航拍图像和地面图像，所述第一候选图像对包括多个第二图像对，且每个所述第二图像对按照类别区分；
获取类别概率超过预设类别阈值的所述第二图像对，得到第二候选图像对，其中，所述类别概率为所述第二图像对与自身所分配的类别匹配的概率；
在同一类别中，若确认所述航拍图像的数量和所述地面图像的数量均超过第二预设数量，则选出所述第二预设数量的所述航拍图像和所述第二预设数量的所述地面图像；
在同一类别中，若确认所述航拍图像的数量和/或所述地面图像的数量未超过所述第二预设数量，则将所述航拍图像的数量和所述地面图像的数量相比更少的一种作为选择标准，得到相等数量的所述航拍图像和所述地面图像；
将同一类别中的所述航拍图像和所述地面图像一一匹配，得到所述第一图像对。
第二方面，本申请提供一种融合航拍图像和地面扫描的三维重建装置，包括：
第一配准模块，用于根据第一图像对中的航拍图像和地面图像，获取多个第一内点，其中，每个所述第一内点包括相互对应的一个航拍图像空间点和一个地面图像空间点，每个所述第一图像对中包括一张航拍图像和一张地面图像；
第二配准模块，用于根据所述第一内点，获取所述航拍图像的稠密点云和地面扫描点云之间的对应关系，其中，所述对应关系包括第一旋转矩阵和第一平移向量；
融合模块，用于根据所述对应关系获取第一融合点云，并通过数据配准算法对所述第一融合点云进行优化，得到第二融合点云；
第一滤波模块，用于根据所述第二融合点云中各个点的空间坐标和颜色值，获取所述第二融合点云的双边滤波因子，并通过所述双边滤波因子对所述第二融合点云进行滤波处理，得到第三融合点云；
第二滤波模块，用于根据所述第三融合点云的点云密度，获取所述第三融合点云的第一体素边长，并根据所述第一体素边长圈定第一体素，在每个所述第一体素中选出一个点，重新构建所述第三融合点云。
在一种可能的实现方式中，所述第一配准模块具体用于：
获取所述第一图像对中其中一张图像的第一特征点，并确认所述第一特征点与另一张图像的最近特征点之间的第一距离，以及次近特征点的第二距离；
若所述第一距离与所述第二距离的比值小于预设比例阈值，则确认所述第一特征点与所述最近特征点为一个特征匹配点对；
将所述特征匹配点对进行坐标系转换，得到空间匹配点对，从多个所述空间匹配点对中选取第一预设数量的空间匹配点对作为第一内点。
第三方面，本申请提供一种融合航拍图像和地面扫描的三维重建设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上所述的融合航拍图像和地面扫描的三维重建方法。
本申请提供的一种融合航拍图像和地面扫描的三维重建方法、装置和设备，根据第一图像对中的航拍图像和地面图像，获取多个第一内点，其中，每个所述第一内点包括相互对应的一个航拍图像空间点和一个地面图像空间点，每个所述第一图像对中包括一张航拍图像和一张地面图像；
根据所述第一内点，获取所述航拍图像的稠密点云和地面扫描点云之间的对应关系，其中，所述对应关系包括第一旋转矩阵和第一平移向量；
根据所述对应关系获取第一融合点云，并通过数据配准算法对所述第一融合点云进行优化，得到第二融合点云；
根据所述第二融合点云中各个点的空间坐标和颜色值，获取所述第二融合点云的双边滤波因子，并通过所述双边滤波因子对所述第二融合点云进行滤波处理，得到第三融合点云；
根据所述第三融合点云的点云密度，获取所述第三融合点云的第一体素边长，并根据所述第一体素边长圈定第一体素，在每个所述第一体素中选出一个点，重新构建所述第三融合点云。
上述方法中，通过筛选好的航拍图像和地面图像（即第一图像对），进行航拍图像和地面图像之间的粗配准，得到可描述航拍图像的稠密点云和地面扫描点云之间对应关系的对应关系，通过对应关系对航拍图像的稠密点云和地面扫描点云进行融合，得到第一融合点云；并且因为在此基础上通过数据配准算法对第一融合点云进行精配准，使得精配准结果更加精确；后续又通过双边滤波和体素化去冗余，得到十分精准的点云结果，即重新构建的第三融合点云。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种融合航拍图像和地面扫描的三维重建的场景示意图；
图2为本申请实施例提供的一种融合航拍图像和地面扫描的三维重建方法的流程示意图一；
图3为本申请实施例提供的一种融合航拍图像和地面扫描的三维重建方法的流程示意图二；
图4为本申请实施例提供的一种融合航拍图像和地面扫描的三维重建方法的流程示意图三；
图5为本申请实施例提供的一种融合航拍图像和地面扫描的三维重建方法的流程示意图四；
图6为本申请实施例提供的一种融合航拍图像和地面扫描的三维重建方法的流程示意图五；
图7为本发明实施例提供的一种融合航拍图像和地面扫描的三维重建装置图；
图8为本发明实施例提供的融合航拍图像和地面扫描的三维重建设备的硬件示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
航拍影像与地面激光扫描数据融合的三维重建方法是一种用于创建城市或地区的三维模型的技术。航拍影像提供了地表的视觉信息，包括建筑物、道路、植被等，而地面激光扫描数据则提供了更加准确的地形和物体高度信息。空地异源数据的融合受配准问题、噪声和冗余的影响，融合精度并不高；现有处理过程在配准、去噪声和冗余各个环节上的处理都有不足之处，最终导致三维重建的结果还不够精准的问题。
于是本申请在多个环节上进行升级，提出一种新的融合航拍图像和地面扫描的三维重建方法。
下面结合附图和具体的实施例阐述本申请提出的一种融合航拍图像和地面扫描的三维重建方法的实现过程。
图1为本申请实施例提供的一种融合航拍图像和地面扫描的三维重建的场景示意图。如图1所示，该系统包括：航拍设备101、地面激光扫描装置102和采集区域103；
航拍设备101从采集区域103获取航拍图像，且在拍摄过程中要保证连续图像间的重叠率在60%以上（或70%左右）；为了获取更好的重建效果，还可以选用五目相机，从五个不同角度拍摄采集区域103；
地面激光扫描装置102采用非接触式高速激光进行扫描测量，可以获得地面图像和地面扫描点云；在扫描测量过程中，可以根据采集区域103的范围和结构，调整视场角的大小以及扫描站点的大小，对所有站点进行联测，保证测量结果的坐标系是统一的；
获取到多个航拍图像和地面图像之后，对图像进行筛选配对，得到第一图像对，每个第一图像对中有相对应的一张航拍图像和一张地面图像；通过每个第一图像对中航拍图像和地面图像之间的匹配度，选取内点，每个内点包括一个航拍图像空间点和一个地面图像空间点；根据航拍图像空间点和地面图像空间点之间的对应关系，获取对应关系，该对应关系可表示航拍图像和地面图像之间的关系，或者说表示航拍图像的稠密点云和地面扫描点云之间的关系；这样就可以将航拍图像的稠密点云和地面扫描点云进行粗配准，得到第一融合点云，并进行精配准得到第二融合点云；本申请的粗配准过程可以更加方便精准描述航拍图像的点与地面图像的点之间的关系，保证配准的精准度；
配准后又通过双边滤波和体素化去除冗余方式对第二融合点云进行进一步处理，得到精确的重新构建的第三融合点云。
图2为本申请实施例提供的一种融合航拍图像和地面扫描的三维重建方法的流程示意图一。如图2所示，该方法包括：
S201、根据第一图像对中的航拍图像和地面图像，获取多个第一内点，其中，每个所述第一内点包括相互对应的一个航拍图像空间点和一个地面图像空间点，每个所述第一图像对中包括一张航拍图像和一张地面图像。
对第一图像对中地面图像进行SIFT特征提取，得到地面图像的多个特征点，为了加快特征提取，可以通过CUDA构架进行加速；将每个第一图像对中的地面图像SIFT特征与航拍图像SIFT特征分别进行匹配，以确认该第一图像对中的航拍图像特征点和地面图像特征点相似度，可将相似度达到预设相似度标准的两个对应点留下，选作特征匹配点对，对特征匹配点对进行空间坐标系的转换后，得到空间匹配点对，在空间匹配点对中选出第一内点，则每个第一内点都包括相对应的一个航拍图像空间点和一个地面图像空间点；
第一图像对并不是采集得到的全部航拍图像和地面图像进行配对得到的，该第一图像对有一个筛选过程：
示例的，根据图像集中各个图像之间的相关性，获取第一候选图像对，其中，所述图像集中包括航拍图像和地面图像，所述第一候选图像对包括多个第二图像对，且每个所述第二图像对按照类别区分。
一开始图像集中有获取到的大量的航拍图像和地面图像，通过模糊C均值聚类方法，对图像集中的图像进行重叠特征的确认，以计算出各个图像之间的相关性，将相关性超过相关性阈值的两张图像配成一对，得到第二图像对，多个第二图像对构成第一候选图像对。
获取类别概率超过预设类别阈值的所述第二图像对，得到第二候选图像对，其中，所述类别概率为所述第二图像对与自身所分配的类别匹配的概率。
每个第二图像对都有类别标签，如有类似同样建筑的第二图像对类别标签一致；分好类别后还可以获取第二图像对与其对应的类别是否真的匹配，并且用类别概率表示匹配度；如果第二图像对的类别概率超过预设类别阈值（如将预设类别阈值设置为0.3），那么可以将这些第二图像对留下，构成第二候选图像对。
在同一类别中，若确认所述航拍图像的数量和所述地面图像的数量均超过第二预设数量，则选出所述第二预设数量的所述航拍图像和所述第二预设数量的所述地面图像。
一个类别中可能对应很多个第二图像对；配对第二图像对时，没有将航拍图像和地面图像进行一对一配对，所以一个类别中的航拍图像的数量和地面图像的数量可能不相等；那么先确认航拍图像的数量和地面图像的数量是否均超过第二预设数量（如将第二预设数量设置为10张），如果均超过，直接选取第二预设数量的航拍图像和第二预设数量的地面图像，构成第二预设数量的第一图像对（如构成10个第一图像对）。
在同一类别中，若确认所述航拍图像的数量和/或所述地面图像的数量未超过所述第二预设数量，则将所述航拍图像的数量和所述地面图像的数量相比更少的一种作为选择标准，得到相等数量的所述航拍图像和所述地面图像。
如果一个类别中的航拍图像的数量和地面图像的数量中有至少一种图像的数量未超过第二预设数量，那么以数量少的一种图像作为选择标准，选出相等数量的航拍图像和地面图像，如，在一个类别中有13张航拍图像、9张地面图像时，则选出9张航拍图像和9张地面图像；在一个类别中有6张航拍图像、12张地面图像时，则选出6张航拍图像和6张地面图像；在一个类别中有4张航拍图像、6张地面图像时，则选出4张航拍图像和4张地面图像。
将同一类别中的所述航拍图像和所述地面图像一一匹配，得到所述第一图像对。
在同一类别中将相等数量的航拍图像和地面图像进行一对一匹配，得到第一图像对，即每个第一图像对中包括一张航拍图像和一张地面图像。
S202、根据所述第一内点，获取所述航拍图像的稠密点云和地面扫描点云之间的对应关系，其中，所述对应关系包括第一旋转矩阵和第一平移向量。
通过SFM算法（稀疏重建算法）对图像集中的航拍图像进行处理得到航拍图像的稀疏点云（在此过程中获取了航拍图像的SIFT特征），在此基础上通过深度图融合的稠密重建方法将稀疏点云处理为稠密点云，得到航拍图像的稠密点云；稠密重建过程中，为每一张图像选择邻域图像构成立体图像对，计算配对图像特征对应的匹配代价，通过代价聚合计算深度值，然后进行深度过滤，深度图融合，最终得到航拍图像的稠密点云；地面扫描点云则为地面激光扫描装置获取的数据，与图像集中的地面图像对应；
航拍图像的稠密点云有多个点，地面扫描点云也有多个点，且点与点之间存在对应关系，这个对应关系可以由对应关系表达，对应关系可以由第一内点中点与点之间的关系获得。
S203、根据所述对应关系获取第一融合点云，并通过数据配准算法对所述第一融合点云进行优化，得到第二融合点云。
对应关系表述的是航拍图像的稠密点云与地面扫描点云之间的关系，所以在融合两种点云的时候，只需要通过对应关系对其中一种进行变换即可，优选的，将变换了的地面扫描点云和未变换的航拍图像的稠密点云构成第一融合点云，这是一个粗配准阶段；
接下来可以通过数据配准算法进行一次精配准，数据配准算法可选用ICP算法，通过ICP算法对第一融合点云进行优化后，得到第二融合点云。
S204、根据所述第二融合点云中各个点的空间坐标和颜色值，获取所述第二融合点云的双边滤波因子，并通过所述双边滤波因子对所述第二融合点云进行滤波处理，得到第三融合点云。
点云数据可能受到噪声的影响，因此需要一些方法来减少噪声、平滑点云，并保留重要的几何特征；本申请利用的是联合双边滤波进行去噪，该方法结合颜色相似性，可以尽可能地去除点云中的随机噪声，以及伪影、震荡等细节干扰，同时保留点云表面的特征和边缘细节；在用联合双边滤波进行去噪时，需要基于各个点的空间坐标和颜色值，求取双边滤波因子，再通过双边滤波因子对第二融合点云进行滤波处理，得到第三融合点云。
S205、根据所述第三融合点云的点云密度，获取所述第三融合点云的第一体素边长，并根据所述第一体素边长圈定第一体素，在每个所述第一体素中选出一个点，重新构建所述第三融合点云。
点云数据中的点有三维坐标，在确认第三融合点云的点云密度时，是按照体素方式对点云数据进行体块划分，将几个相邻的体素圈在一起，可以获得这几个体素中的点云密度，根据点云密度，重新确认划分体素的边长，即得到第一体素边长；按照第一体素边长再次圈定体素，得到第一体素；在每个体素中获取一个点（可选中心点）作为代表，去除体素中其他点，即去除冗余，可获得精准构建的第三融合点云。
本申请实施例中，通过筛选好的航拍图像和地面图像（即第一图像对），进行航拍图像和地面图像之间的粗配准，得到可描述航拍图像的稠密点云和地面扫描点云之间对应关系的对应关系，通过对应关系对航拍图像的稠密点云和地面扫描点云进行融合，得到第一融合点云；并且因为在此基础上通过数据配准算法对第一融合点云进行精配准，使得精配准结果更加精确；后续又通过双边滤波和体素化去冗余，得到十分精准的点云结果，即重新构建的第三融合点云。
图3为本申请实施例提供的一种融合航拍图像和地面扫描的三维重建方法的流程示意图二。如图3所示，该方法包括：
S301、获取所述第一图像对中其中一张图像的第一特征点，并确认所述第一特征点与另一张图像的最近特征点之间的第一距离，以及次近特征点的第二距离。
第一图像对包括一张航拍图像和一张地面图像，将其中一张图像作为参照选出某个特征点（第一特征点），并在另一张图像中找到该特征点的最近的特征点和次近的特征点；假设选作参照的图像为地面图像，那么另一张图像为航拍图像，计算地面图像的第一特征点与航拍图像的最近特征点之间的第一距离，以及地面图像的第一特征点与航拍图像的次近特征点的第二距离；其中，次近特征点为航拍图像中除最近特征点之外距离地面图像的第一特征点最近的特征点，第一特征点可以有多个；其中，第一距离和第二距离可取欧式距离。
S302、若所述第一距离与所述第二距离的比值小于预设比例阈值，则确认所述第一特征点与所述最近特征点为一个特征匹配点对。
将第一距离除以第二距离，得到的比值一定小于等于1；如果该比值小于等于预设比例阈值（如将预设比例阈值设置为0.4），那么将第一特征点和第一特征点对应的最近特征点留下，构成一个特征匹配点对，处理多个第一特征点，可得到多个特征匹配点对，且每个特征匹配点对包括相互对应的一个航拍图像特征点和一个地面图像特征点。
S303、将所述特征匹配点对进行坐标系转换，得到空间匹配点对，从多个所述空间匹配点对中选取第一预设数量的空间匹配点对作为第一内点。
对特征匹配点对进行空间坐标系的转换，特征匹配点对中的特征点变空间点，得到空间匹配点对，即每个空间匹配点对中包括相互对应的一个航拍图像空间点和一个地面图像空间点，第一预设数量可设置为3，则从多个空间匹配点对中选取3个空间匹配点对，作为第一内点，未被选中的空间匹配点对为外点。
S304、获取所述第一内点中空间点之间的初始对应关系，其中，所述初始对应关系包括所述第一旋转矩阵的旋转初始值和所述第一平移向量的平移初始值。
根据选出来的3个第一内点，分析地面图像的空间点与航拍图像的空间点之间的对应关系，得到表示地面图像的空间点与航拍图像的空间点关系的初始对应关系，例如通过RANSAC（随机抽样一致）算法获取初始对应关系，即第一旋转矩阵有了旋转初始值、第一平移向量有了平移初始值；
每个第一内点中有一个空间点来自于地面扫描点云，有一个空间点来自于航拍图像的稠密点云，为了后续方便计算，可将空间点量少的点云-地面扫描点云作为源点云，将航拍图像的稠密点云作为目标点云，将第一内点中来自源点云的点乘以第一旋转矩阵的旋转初始值、加上第一平移向量的平移初始值，可对应第一内点中来自目标点云的空间点。
S305、根据所述初始对应关系，确认外点之间的匹配性，将匹配性超过匹配性阈值的外点划分为第二内点，其中，所述外点为未被选为第一内点的匹配点。
外点也可能在一定程度下满足初始对应关系，如果满足那说明该外点也可以作为内点使用，越是能被初始对应关系表征的外点，匹配性越高，将匹配性超过匹配性阈值的外点划分为第二内点；例如，每个外点中同样有一个空间点来自于地面扫描点云（作为源点云），有一个空间点来自于航拍图像的稠密点云（作为目标点云），将外点中自于地面扫描点云的空间点乘以第一旋转矩阵的旋转初始值、加上第一平移向量的平移初始值，得到的空间点越接近于外点中自于航拍图像的稠密点云的空间点，匹配度越高；后续可以进一步优化初始对应关系。
S306、根据所述第一内点和所述第二内点更新所述初始对应关系，得到更新的对应关系，并重复外点划分，直到不再出现新的划分或者划分次数超过预设次数时，将最后一次更新的对应关系作为所述航拍图像的稠密点云和地面扫描点云之间的对应关系。
将第一内点和第二内点结合起来，重新构建一个新的对应关系，由于此时的内点更多，得到的更新的对应关系会更准确；用新的对应关系还可以再次进行外点划分，将更多外点划分为内点，直到没有外点能划分为内点，或者直到划分次数超过预设次数（可设置为两次以上），最终得到的更新的对应关系就足够使用了，可以作为对应关系，用于表征航拍图像的稠密点云和地面扫描点云之间关系。
本申请实施例中，提出基于特征的粗配准方式对航拍图像和地面图像进行处理，为后续精配准打好基础，使得最终配准结果更加精确且鲁棒。
图4为本申请实施例提供的一种融合航拍图像和地面扫描的三维重建方法的流程示意图三。如图4所示，该方法包括：
S401、通过所述对应关系对所述航拍图像的稠密点云和所述地面扫描点云中其中一种点云进行变换，得到变换点云和非变换点云，并将所述变换点云和所述非变换点云组合为所述第一融合点云。
如果在获取对应关系过程中，是地面图像的特征点根据对应关系获取航拍图像对应的特征点，直到获得最终的对应关系；那么在融合点云时，将地面扫描点云根据对应关系，获取变换点云；航拍图像的稠密点云不作变换，为非变换点云，变换点云和非变换点云放在一起，成为第一融合点云；这一次变换为粗配准。
S402、通过所述数据配准算法对所述第一融合点云进行精配准，得到所述第一融合点云的第二旋转矩阵和第二平移向量。
后续通过数据配准算法进行精配准，精配准过程中，可将第一融合点云中地面扫描点云作为源点云，将第一融合点云中航拍图像的稠密点云作为目标点云；对于每个源点云中的点，在目标点云中获取最近邻点，利用源点云中的点在目标点云中的对应点和最近邻点可获取误差函数；
将点到点的距离作为误差函数，则误差函数为：
其中，R为第二旋转矩阵，t为第二平移向量，n为最近邻点的个数，为源点云中的第k个点，/>为目标点云中的第k个点（源点云中的第k个点的对应点），/>为第k个点的系数，/>为范数；
利用最小二乘法迭代计算出第二旋转矩阵和第二平移向量，使得误差函数最小；将此时对应的第二旋转矩阵和第二平移向量给源点云作变换，得到新的源点云，完成一次迭代更新；以上通过源点云和目标点云，更新源点云的过程可根据预设迭代次数结束或者根据误差函数的值小于某个阈值结束，结束后最新得到的第二旋转矩阵和第二平移向量，可用于对源点云进行精配准。
S403、通过所述第二旋转矩阵和所述第二平移向量对所述第一融合点云进行处理，得到所述第二融合点云。
上述过程中已得到最新的第二旋转矩阵和第二平移向量，通过最新的第二旋转矩阵和第二平移向量对源点云进行变换，如将源点云乘以第二旋转矩阵再加上第二平移向量，则可得到变换后的源点云，目标点云和变换后的源点云，可组成第二融合点云。
本申请实施例中，在粗配准的基础上，实现精配准，保证最终融合的点云更加准确。
图5为本申请实施例提供的一种融合航拍图像和地面扫描的三维重建方法的流程示意图四。如图5所示，该方法包括：
S501、获取所述第二融合点云中各个选取点与其他点之间的第三距离，并选取预设距离范围内的其他点作为所述选取点的邻域点集，其中，每个所述第二融合点云中的点均包括空间坐标和颜色值。
精配准后，进行联合双边滤波，对于第二融合点云中每个点（即每个点都是选取点），计算与其他点的第三距离（可为欧式距离），并且按照距离大小从小排到大，根据需求选取距离选取点最近的m个点，构成选取点的邻域点集；第i个选取点对应的邻域点集可表示为，其中，j=1,2,3…,m，/>为邻域点集中第j个点的空间坐标，第i个选取点的空间坐标可表示为/>。
S502、获取所述选取点和所述邻域点集中的点之间的第四距离，以及获取所述选取点和所述邻域点集中的点的距离向量在法向上的投影。
根据空间坐标，获取选取点和其邻域点集中的点之间的第四距离，该第四距离L为：
；
基于局部表面拟合法计算所有选取点的法向量，进一步可计算选取点与邻域点集中的点的距离向量在法向上的投影。
S503、根据所述第四距离获取空间距离权重，根据所述投影获取特征保持权重，根据所述颜色值获取颜色权重。
根据第四距离获取空间距离权重的公式为：
/>
其中，为以自然常数e为底的指数函数，/>为距离权重因子；
根据投影获取特征保持权重的公式为：
其中，为第i个选取点与邻域点集中的第j个点的距离向量在法向上的投影，/>为特征保持因子；
根据颜色值获取颜色权重的公式为：
其中，为第i个选取点的颜色值，/>为邻域点集中的第j个点的颜色值，/>为颜色权重因子。
S504、根据所述空间距离权重、所述特征保持权重和所述颜色权重，获取联合权重。
将空间距离权重、特征保持权重和颜色权重相乘可得到联合权重，则根据空间距离权重、特征保持权重和颜色权重，获取联合权重的公式为：。
S505、根据所述联合权重，获取所述第二融合点云的双边滤波因子。
根据联合权重，获取第二融合点云的双边滤波因子的公式为：
；
在得到双边滤波因子后，可以通过该双边滤波因子对第二融合点云中的点进行滤波处理，滤波公式为：
其中，为第二融合点云中第i个选取点滤波后的点；将第二融合点云进行联合双边滤波后，可以得到第三融合点云。
本申请实施例中，通过对第二融合点云中的每个点使用双边滤波，可以减少噪声、平滑点云，并保持重要的几何特征，如边缘和曲率；颜色值在这里起到了重要作用，使得在双边滤波过程中可在不同颜色的点之间进行适当的权衡，从而更好地去除噪声，确保去噪后保留了重要的特征信息。
图6为本申请实施例提供的一种融合航拍图像和地面扫描的三维重建方法的流程示意图五。如图6所示，该方法包括：
S601、通过初始体素边长对所述第三融合点云进行体素化，得到第二体素。
城市场景下的融合点云有着大量的冗余数据，所以需要进行冗余去除操作，本申请提出自适应体素滤波方式去除点云冗余；首先，对第三融合点云进行初始体素化（体素是三维体积元素），即设置一个初始体素边长，在该初始体素边长基础下，对第三融合点云进行体素划分，得到多个第二体素。
S602、通过三维网格圈定所述第二体素，并获取每个网格中的点云密度，其中，每个所述网格包括多个第二体素。
通过三维网格将多个第二体素圈在一起，如每个三维网格包括16个第二体素，那么可根据公式：
获取每个网格中的点云密度D，其中，N为每个网格中点的总数，每个三维网格大小相同。
S603、根据所述第二体素和所述点云密度，获取所述第三融合点云的第一体素边长。
这一步进行体素边长的自适应更新，根据第二体素和点云密度，获取第三融合点云的第一体素边长V的公式为：
其中，e为自然常数，为初始体素边长，W为权重；第一体素边长也就是自适应更新后的体素边长；根据该第一体素边长，可重新圈定体素，得到第一体素，第一体素是根据点云密度圈出来的，在相同三维网格大小下，点云密度高的地方第一体素多，点云密度低的地方第一体素少；对于每个第一体素可选出一个点作代表，这里选的是第一体素中心点，未被选中的点则去除，完成冗余去除。
本申请实施例中，考虑点云密度大小自适应划分体素，保证在点云密度高的区域，划分的体素较小，从而获得更好的细节表示，能够在处理不均匀分布的点云时更加灵活和有效。
图7为本发明实施例提供的一种融合航拍图像和地面扫描的三维重建装置图，如图7所示，该装置包括：第一配准模块701、第二配准模块702、融合模块703、第一滤波模块704和第二滤波模块705；
第一配准模块701，用于根据第一图像对中的航拍图像和地面图像，获取多个第一内点，其中，每个所述第一内点包括相互对应的一个航拍图像空间点和一个地面图像空间点，每个所述第一图像对中包括一张航拍图像和一张地面图像。
第二配准模块702，用于根据所述第一内点，获取所述航拍图像的稠密点云和地面扫描点云之间的对应关系，其中，所述对应关系包括第一旋转矩阵和第一平移向量。
融合模块703，用于根据所述对应关系获取第一融合点云，并通过数据配准算法对所述第一融合点云进行优化，得到第二融合点云。
第一滤波模块704，用于根据所述第二融合点云中各个点的空间坐标和颜色值，获取所述第二融合点云的双边滤波因子，并通过所述双边滤波因子对所述第二融合点云进行滤波处理，得到第三融合点云。
第二滤波模块705，用于根据所述第三融合点云的点云密度，获取所述第三融合点云的第一体素边长，并根据所述第一体素边长圈定第一体素，在每个所述第一体素中选出一个点，重新构建所述第三融合点云。
第一配准模块701，还用于获取所述第一图像对中其中一张图像的第一特征点，并确认所述第一特征点与另一张图像的最近特征点之间的第一距离，以及次近特征点的第二距离；
若所述第一距离与所述第二距离的比值小于预设比例阈值，则确认所述第一特征点与所述最近特征点为一个特征匹配点对；
将所述特征匹配点对进行坐标系转换，得到空间匹配点对，从多个所述空间匹配点对中选取第一预设数量的空间匹配点对作为第一内点。
本申请还提供一种融合航拍图像和地面扫描的三维重建设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行融合航拍图像和地面扫描的三维重建方法。
图8为本发明实施例提供的融合航拍图像和地面扫描的三维重建设备的硬件示意图。如图8所示，本实施例提供的融合航拍图像和地面扫描的三维重建设备80包括：至少一个处理器801和存储器802。该设备80还包括通信部件803。其中，处理器801、存储器802以及通信部件803通过总线804连接。
在具体实现过程中，至少一个处理器801执行所述存储器802存储的计算机执行指令，使得至少一个处理器801执行如上融合航拍图像和地面扫描的三维重建方法。
处理器801的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图8所示的实施例中，应理解，处理器可以是中央处理单元（英文：Central Processing Unit，简称：CPU），还可以是其他通用处理器、数字信号处理器（英文：Digital Signal Processor，简称：DSP）、专用集成电路（英文：Application SpecificIntegrated Circuit，简称：ASIC）等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速存储器（Random Access Memory，RAM），也可能还包括非易失性存储器（Non-volatile Memory，NVM），例如至少一个磁盘存储器。
总线可以是工业标准体系结构（Industry Standard Architecture，ISA）总线、外部设备互连（Peripheral Component，PCI）总线或扩展工业标准体系结构（ExtendedIndustry Standard Architecture，EISA）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
最后应说明的是：本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段，并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种融合航拍图像和地面扫描的三维重建方法，其特征在于，包括：
根据第一图像对中的航拍图像和地面图像，获取多个第一内点，其中，每个所述第一内点包括相互对应的一个航拍图像空间点和一个地面图像空间点，每个所述第一图像对中包括一张航拍图像和一张地面图像；
根据所述第一内点，获取所述航拍图像的稠密点云和地面扫描点云之间的对应关系，其中，所述对应关系包括第一旋转矩阵和第一平移向量；
根据所述对应关系获取第一融合点云，并通过数据配准算法对所述第一融合点云进行优化，得到第二融合点云；
根据所述第二融合点云中各个点的空间坐标和颜色值，获取所述第二融合点云的双边滤波因子，并通过所述双边滤波因子对所述第二融合点云进行滤波处理，得到第三融合点云；
根据所述第三融合点云的点云密度，获取所述第三融合点云的第一体素边长，并根据所述第一体素边长圈定第一体素，在每个所述第一体素中选出一个点，重新构建所述第三融合点云。
2.根据权利要求1所述的方法，其特征在于，所述根据第一图像对中的航拍图像和地面图像，获取多个第一内点，包括：
获取所述第一图像对中其中一张图像的第一特征点，并确认所述第一特征点与另一张图像的最近特征点之间的第一距离，以及次近特征点的第二距离；
若所述第一距离与所述第二距离的比值小于预设比例阈值，则确认所述第一特征点与所述最近特征点为一个特征匹配点对；
将所述特征匹配点对进行坐标系转换，得到空间匹配点对，从多个所述空间匹配点对中选取第一预设数量的空间匹配点对作为第一内点。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一内点，获取所述航拍图像的稠密点云和地面扫描点云之间的对应关系，包括：
获取所述第一内点中空间点之间的初始对应关系，其中，所述初始对应关系包括所述第一旋转矩阵的旋转初始值和所述第一平移向量的平移初始值；
根据所述初始对应关系，确认外点之间的匹配性，将匹配性超过匹配性阈值的外点划分为第二内点，其中，所述外点为未被选为第一内点的空间匹配点；
根据所述第一内点和所述第二内点更新所述初始对应关系，得到更新的对应关系，并重复外点划分，直到不再出现新的划分或者划分次数超过预设次数时，将最后一次更新的对应关系作为所述航拍图像的稠密点云和地面扫描点云之间的对应关系。
4.根据权利要求1所述的方法，其特征在于，所述根据所述对应关系获取第一融合点云，并通过数据配准算法对所述第一融合点云进行优化，得到第二融合点云，包括：
通过所述对应关系对所述航拍图像的稠密点云和所述地面扫描点云中其中一种点云进行变换，得到变换点云和非变换点云，并将所述变换点云和所述非变换点云组合为所述第一融合点云；
通过所述数据配准算法对所述第一融合点云进行精配准，得到所述第一融合点云的第二旋转矩阵和第二平移向量；
通过所述第二旋转矩阵和所述第二平移向量对所述第一融合点云进行处理，得到所述第二融合点云。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第二融合点云中各个点的空间坐标和颜色值，获取所述第二融合点云的双边滤波因子，包括：
获取所述第二融合点云中各个选取点与其他点之间的第三距离，并选取预设距离范围内的其他点作为所述选取点的邻域点集，其中，每个所述第二融合点云中的点均包括空间坐标和颜色值；
获取所述选取点和所述邻域点集中的点之间的第四距离，以及获取所述选取点和所述邻域点集中的点的距离向量在法向上的投影；
根据所述第四距离获取空间距离权重，根据所述投影获取特征保持权重，根据所述颜色值获取颜色权重；
根据所述空间距离权重、所述特征保持权重和所述颜色权重，获取联合权重；
根据所述联合权重，获取所述第二融合点云的双边滤波因子。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第三融合点云的点云密度，获取所述第三融合点云的第一体素边长，包括：
通过初始体素边长对所述第三融合点云进行体素化，得到第二体素；
通过三维网格圈定所述第二体素，并获取每个网格中的点云密度，其中，每个所述网格包括多个第二体素；
根据所述第二体素和所述点云密度，获取所述第三融合点云的第一体素边长。
7.根据权利要求1所述的方法，其特征在于，所述根据第一图像对中的航拍图像和地面图像，获取多个第一内点之前，所述方法还包括：
根据图像集中各个图像之间的相关性，获取第一候选图像对，其中，所述图像集中包括航拍图像和地面图像，所述第一候选图像对包括多个第二图像对，且每个所述第二图像对按照类别区分；
获取类别概率超过预设类别阈值的所述第二图像对，得到第二候选图像对，其中，所述类别概率为所述第二图像对与自身所分配的类别匹配的概率；
在同一类别中，若确认所述航拍图像的数量和所述地面图像的数量均超过第二预设数量，则选出所述第二预设数量的所述航拍图像和所述第二预设数量的所述地面图像；
在同一类别中，若确认所述航拍图像的数量和/或所述地面图像的数量未超过所述第二预设数量，则将所述航拍图像的数量和所述地面图像的数量相比更少的一种作为选择标准，得到相等数量的所述航拍图像和所述地面图像；
将同一类别中的所述航拍图像和所述地面图像一一匹配，得到所述第一图像对。
8.一种融合航拍图像和地面扫描的三维重建装置，其特征在于，包括：
第一配准模块，用于根据第一图像对中的航拍图像和地面图像，获取多个第一内点，其中，每个所述第一内点包括相互对应的一个航拍图像空间点和一个地面图像空间点，每个所述第一图像对中包括一张航拍图像和一张地面图像；
第二配准模块，用于根据所述第一内点，获取所述航拍图像的稠密点云和地面扫描点云之间的对应关系，其中，所述对应关系包括第一旋转矩阵和第一平移向量；
融合模块，用于根据所述对应关系获取第一融合点云，并通过数据配准算法对所述第一融合点云进行优化，得到第二融合点云；
第一滤波模块，用于根据所述第二融合点云中各个点的空间坐标和颜色值，获取所述第二融合点云的双边滤波因子，并通过所述双边滤波因子对所述第二融合点云进行滤波处理，得到第三融合点云；
第二滤波模块，用于根据所述第三融合点云的点云密度，获取所述第三融合点云的第一体素边长，并根据所述第一体素边长圈定第一体素，在每个所述第一体素中选出一个点，重新构建所述第三融合点云。
9.根据权利要求8所述的装置，其特征在于，所述第一配准模块具体用于：
获取所述第一图像对中其中一张图像的第一特征点，并确认所述第一特征点与另一张图像的最近特征点之间的第一距离，以及次近特征点的第二距离；
若所述第一距离与所述第二距离的比值小于预设比例阈值，则确认所述第一特征点与所述最近特征点为一个特征匹配点对；
将所述特征匹配点对进行坐标系转换，得到空间匹配点对，从多个所述空间匹配点对中选取第一预设数量的空间匹配点对作为第一内点。
10.一种融合航拍图像和地面扫描的三维重建设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-7任一项所述的融合航拍图像和地面扫描的三维重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311286703.0A CN117036622B (zh) | 2023-10-08 | 2023-10-08 | 融合航拍图像和地面扫描的三维重建方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311286703.0A CN117036622B (zh) | 2023-10-08 | 2023-10-08 | 融合航拍图像和地面扫描的三维重建方法、装置和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117036622A CN117036622A (zh) | 2023-11-10 |
| CN117036622B true CN117036622B (zh) | 2024-02-23 |
Family
ID=88641423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311286703.0A Active CN117036622B (zh) | 2023-10-08 | 2023-10-08 | 融合航拍图像和地面扫描的三维重建方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117036622B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931234A (zh) * | 2016-04-19 | 2016-09-07 | 东北林业大学 | 一种地面三维激光扫描点云与影像融合及配准的方法 |
| CN109727278A (zh) * | 2018-12-31 | 2019-05-07 | 中煤航测遥感集团有限公司 | 一种机载LiDAR点云数据与航空影像的自动配准方法 |
| CN110415342A (zh) * | 2019-08-02 | 2019-11-05 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
| WO2020221284A1 (zh) * | 2019-04-29 | 2020-11-05 | 黄河勘测规划设计研究院有限公司 | 一种流域性洪涝场景的无人机监测方法及系统 |
| WO2021088481A1 (zh) * | 2019-11-08 | 2021-05-14 | 南京理工大学 | 一种基于条纹投影的高精度动态实时360度全方位点云获取方法 |
| CN113012205A (zh) * | 2020-11-17 | 2021-06-22 | 浙江华云电力工程设计咨询有限公司 | 一种基于多源数据融合的三维重建方法 |
| CN113643434A (zh) * | 2021-07-12 | 2021-11-12 | 广东省国土资源测绘院 | 基于空地协同的三维建模方法、智能终端以及存储装置 |
| CN114332348A (zh) * | 2021-11-16 | 2022-04-12 | 西南交通大学 | 一种融合激光雷达与图像数据的轨道三维重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103489218B (zh) * | 2013-09-17 | 2016-06-29 | 中国科学院深圳先进技术研究院 | 点云数据质量自动优化方法及系统 |
-
2023
- 2023-10-08 CN CN202311286703.0A patent/CN117036622B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931234A (zh) * | 2016-04-19 | 2016-09-07 | 东北林业大学 | 一种地面三维激光扫描点云与影像融合及配准的方法 |
| CN109727278A (zh) * | 2018-12-31 | 2019-05-07 | 中煤航测遥感集团有限公司 | 一种机载LiDAR点云数据与航空影像的自动配准方法 |
| WO2020221284A1 (zh) * | 2019-04-29 | 2020-11-05 | 黄河勘测规划设计研究院有限公司 | 一种流域性洪涝场景的无人机监测方法及系统 |
| CN110415342A (zh) * | 2019-08-02 | 2019-11-05 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
| WO2021088481A1 (zh) * | 2019-11-08 | 2021-05-14 | 南京理工大学 | 一种基于条纹投影的高精度动态实时360度全方位点云获取方法 |
| CN113012205A (zh) * | 2020-11-17 | 2021-06-22 | 浙江华云电力工程设计咨询有限公司 | 一种基于多源数据融合的三维重建方法 |
| CN113643434A (zh) * | 2021-07-12 | 2021-11-12 | 广东省国土资源测绘院 | 基于空地协同的三维建模方法、智能终端以及存储装置 |
| CN114332348A (zh) * | 2021-11-16 | 2022-04-12 | 西南交通大学 | 一种融合激光雷达与图像数据的轨道三维重建方法 |
Non-Patent Citations (4)
| Title |
|---|
| Point Cloud Alignment Method Based on Improved ISS-ICP Algorithm;Jing Xiang;《IEEE Xplore》;全文 * |
| 一种三维激光数据与数码影像自动配准的方法;宋二非;童小华;刘向锋;陈鹏;;地矿测绘(第01期);全文 * |
| 三维激光点云与CCD影像融合的研究;邵杰;张爱武;王书民;孟宪刚;杨玲波;王致华;;中国激光(第05期);全文 * |
| 基于激光点云图像融合的三维重建方法与应用;李红帅;《万方数据库》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117036622A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111063021B (zh) | 一种空间运动目标的三维重建模型建立方法及装置 | |
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| Zhang et al. | Multi-image matching for DSM generation from IKONOS imagery | |
| CN111583110A (zh) | 一种航拍图像的拼接方法 | |
| CN103822616B (zh) | 一种图分割与地形起伏约束相结合的遥感影像匹配方法 | |
| WO2018061010A1 (en) | Point cloud transforming in large-scale urban modelling | |
| US20030014224A1 (en) | Method and apparatus for automatically generating a site model | |
| JP2002157576A (ja) | ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体 | |
| CN113358091B (zh) | 一种利用三线阵立体卫星影像生产数字高程模型dem的方法 | |
| CN113689535B (zh) | 基于无人机影像的建筑物模型的生成方法和装置 | |
| CN111383335B (zh) | 一种众筹照片与二维地图结合的建筑物三维建模方法 | |
| US20230186561A1 (en) | Method for 3d reconstruction from satellite imagery | |
| CN106875364A (zh) | 一种真正射影像生成方法 | |
| CN114782636A (zh) | 三维重建方法、装置及系统 | |
| CN113566793A (zh) | 基于无人机倾斜影像的真正射影像生成方法和装置 | |
| CN114663298A (zh) | 基于半监督深度学习的视差图修补方法及系统 | |
| CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
| CN116740288B (zh) | 一种融合激光雷达、倾斜摄影的三维重建方法 | |
| CN117036622B (zh) | 融合航拍图像和地面扫描的三维重建方法、装置和设备 | |
| CN114742876B (zh) | 一种土地视觉立体测量方法 | |
| CN114998397B (zh) | 一种多视角卫星影像立体像对优化选择方法 | |
| US20220276046A1 (en) | System and method for providing improved geocoded reference data to a 3d map representation | |
| Bethmann et al. | Object-based semi-global multi-image matching | |
| Bartelsen et al. | Orientation and dense reconstruction from unordered wide baseline image sets | |
| Ahmed et al. | High-quality building information models (BIMs) using geospatial datasets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |