CN117274605B - 一种从无人机拍摄的照片中提取水域轮廓的方法及装置 - Google Patents
一种从无人机拍摄的照片中提取水域轮廓的方法及装置 Download PDFInfo
- Publication number
- CN117274605B CN117274605B CN202311540616.3A CN202311540616A CN117274605B CN 117274605 B CN117274605 B CN 117274605B CN 202311540616 A CN202311540616 A CN 202311540616A CN 117274605 B CN117274605 B CN 117274605B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- photo
- aerial vehicle
- water area
- contour line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 156
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000013135 deep learning Methods 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/752—Contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明涉及水域轮廓提取技术领域，公开了一种从无人机拍摄的照片中提取水域轮廓的方法及装置。所述从无人机拍摄的照片中提取水域轮廓的方法包括：获取初始照片集，所述初始照片集包括至少两张无人机下视照片；根据初始照片集中的各个无人机下视照片获取初始照片集所拍摄的水域的完整的三维闭合轮廓线。本申请的方法通过多视点立体算法，融合深度学习的方法，找到无人机拍摄的照片中的水域区域轮廓，准确的获取水域区域的边界并生成多边形轮廓，生成的多边形轮廓线可以作为MVS三维重建的几何约束线进行三维重建，达到水域区域外观美观，水面平整的效果，减少人工修模的工作量。
Description
技术领域
本申请涉及水域轮廓提取技术领域，尤其涉及一种从无人机拍摄的照片中提取水域轮廓的方法及装置。
背景技术
随着无人机技术的发展，以及基于多视点立体算法(MVS)的三维重建技术的成熟，越来越多的领域开始利用无人机航拍进行实景三维模型重建，但是对于水域区域，因为水体的反射以及水体特征点较少，导致在对照片进行空三时很难提取到特征点，甚至导致照片无法完成匹配，这就导致水域区域在后续的MVS重建过程中，会出现破面，表面凹凸起伏很大的情况。
对于水面破洞的修复，目前主要有两种人工处理方式：
一是在最终重建的三维模型结果的基础上，进行人工修模操作。这种操作需要依赖各种商业软件而且操作起来也很费时费力。
二是在空三结束后，在空三的结果中添加水域多边形几何约束。添加几何约束很难准确的得到水域的水岸边缘轮廓，而且对于处理有落差的水域也麻烦，经常导致最终重建的三维模型中水域部分岸边和水域存在一定的落差，影响模型精度和效果。
因此，希望有一种技术方案来解决或至少减轻现有技术的上述不足。
发明内容
本发明的目的在于提供一种从无人机拍摄的照片中提取水域轮廓的方法来至少解决上述的一个技术问题。
本发明提供了下述方案：
根据本发明的一个方面，提供一种从无人机拍摄的照片中提取水域轮廓的方法，所述从无人机拍摄的照片中提取水域轮廓的方法包括：
获取初始照片集，所述初始照片集包括至少两张无人机下视照片；
根据初始照片集中的各个无人机下视照片获取初始照片集所拍摄的水域的完整的三维闭合轮廓线。
可选地，所述从无人机拍摄的照片中提取水域轮廓的方法进一步包括：
根据获取的水域的完整的三维闭合轮廓线建立水域三维模型。
可选地，所述根据初始照片集中的各个无人机下视照片获取初始照片集所拍摄的水域的完整的三维闭合轮廓线包括：
对所述初始照片集中的各个无人机下视照片进行处理，从而获取每个无人机下视照片中的每个水域的准确分割轮廓；
对各个无人机下视照片中的每个水域的准确分割轮廓进行识别及融合，从而获取每个水域的最终轮廓线信息；
获取每个水域的最终轮廓线信息中的每个像素点的三维坐标信息以及深度信息；其中，各个三维坐标信息组成所述完整的三维闭合轮廓线。
可选地，所述对所述初始照片集中的各个无人机下视照片进行处理，从而获取每个无人机下视照片中的每个水域的准确分割轮廓包括：
分别对每个无人机下视照片进行如下处理：
对无人机下视照片首先使用基于深度学习的目标检测算法提取照片中每个水域的外包框范围；
将各个所述外包框范围送入深度学习检测模型获取每个水域的准确分割轮廓。
可选地，所述对各个无人机下视照片中的每个水域的准确分割轮廓进行识别及融合，从而获取每个水域的最终轮廓线信息包括：
选取每个无人机下视照片中的每个水域的准确分割轮廓中每个水域的准确分割轮廓线作为待匹配的轮廓线；
利用空中三角测量结果获取与待匹配的轮廓线有重叠区且有水域轮廓线的无人机下视照片作为待融合无人机下视照片；
将各个待融合无人机下视照片中的待匹配的轮廓线进行匹配融合，从而获取每个水域的最终轮廓线信息。
可选地，所述将各个待融合无人机下视照片中的待匹配的轮廓线进行匹配融合，从而获取每个水域的最终轮廓线信息包括：
分别对每张待融合无人机下视照片进行如下操作：
将待融合无人机下视照片中的每个待匹配的轮廓线中的每一个像素点进行如下操作：
将像素点分别与其他每张待融合无人机下视照片进行配对，从而分别获取每张待融合无人机下视照片中的最匹配像素点，其中，每张具有最匹配像素点的待融合无人机下视照片中的最匹配像素点与该像素点组成一对特征匹配对，所述特征匹配对的数量与具有最匹配像素点的待融合无人机下视照片的数量相同，具有相同像素点的各个特征匹配对组成一组特征匹配对组；
为每一组特征匹配对组进行如下操作：
利用摄影测量中的前方交会算法分别计算该组特征匹配对组中的每个特征匹配对的初始三维坐标，从而获取与该特征匹配对组中的特征匹配对数量相同的初始三维坐标；
根据非线性最小二乘法对各个初始三维坐标进行计算，从而获取最终一个初始三维坐标作为该组特征匹配对组中的像素点的三维坐标；其中，
各个待融合无人机下视照片中的待匹配的轮廓线中的每一个像素点的三维坐标组成所述最终轮廓线信息；所述最终轮廓线信息包括各个像素点以及每个像素点的三维坐标。
可选地，所述将像素点分别与其他每张待融合无人机下视照片进行配对，从而分别获取每张待融合无人机下视照片中的最匹配像素点包括：
将像素点分别与其他每张待融合无人机下视照片进行如下处理：
通过极线约束原理获取其他待融合无人机下视照片中位于极线附近的像素点集；
利用NCC作为匹配代价函数分别选取像素点集中的一个像素点作为最匹配像素点。
本申请还提供了一种从无人机拍摄的照片中提取水域轮廓的装置，所述从无人机拍摄的照片中提取水域轮廓的装置包括：
初始照片集获取模块，所述初始照片集获取模块用于获取初始照片集，所述初始照片集包括至少两张无人机下视照片；
三维闭合轮廓线获取模块，所述三维闭合轮廓线获取模块用于根据初始照片集中的各个无人机下视照片获取初始照片集所拍摄的水域的完整的三维闭合轮廓线。
本申请还提供了一种电子设备，所述电子设备包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器中存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行如上所述的从无人机拍摄的照片中提取水域轮廓的方法的步骤。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有可由电子设备执行的计算机程序，当计算机程序在电子设备上运行时，能够实现如上所述的从无人机拍摄的照片中提取水域轮廓的方法的步骤。
本申请的从无人机拍摄的照片中提取水域轮廓的方法通过多视点立体算法，融合深度学习的方法，找到无人机拍摄的照片中的水域区域轮廓，准确的获取水域区域的边界并生成多边形轮廓，生成的多边形轮廓线可以作为MVS三维重建的几何约束线进行三维重建，同时也可以在最终生成的实景三维模型上，利用多边形轮廓线切割掉原始破损的水域模型，并在水域多边形轮廓内填充预设的水面模型，达到水域区域外观美观，水面平整的效果，减少人工修模的工作量。
附图说明
图1是本申请一实施例中的从无人机拍摄的照片中提取水域轮廓的方法的流程示意图；
图2是本申请一个实施例提供的一种电子设备结构框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本申请一实施例中的从无人机拍摄的照片中提取水域轮廓的方法的流程示意图。
如图1所示的从无人机拍摄的照片中提取水域轮廓的方法包括：
步骤1：获取初始照片集，所述初始照片集包括至少两张无人机下视照片；
步骤2：根据初始照片集中的各个无人机下视照片获取初始照片集所拍摄的水域的完整的三维闭合轮廓线。
本申请的从无人机拍摄的照片中提取水域轮廓的方法通过多视点立体算法，融合深度学习的方法，找到无人机拍摄的照片中的水域区域轮廓，准确的获取水域区域的边界并生成多边形轮廓，生成的多边形轮廓线可以作为MVS三维重建的几何约束线进行三维重建，同时也可以在最终生成的实景三维模型上，利用多边形轮廓线切割掉原始破损的水域模型，并在水域多边形轮廓内填充预设的水面模型，达到水域区域外观美观，水面平整的效果，减少人工修模的工作量。
在本实施例中，所述从无人机拍摄的照片中提取水域轮廓的方法进一步包括：
根据获取的水域的完整的三维闭合轮廓线建立水域三维模型。
在本实施例中，所述根据初始照片集中的各个无人机下视照片获取初始照片集所拍摄的水域的完整的三维闭合轮廓线包括：
对所述初始照片集中的各个无人机下视照片进行处理，从而获取每个无人机下视照片中的每个水域的准确分割轮廓；
对各个无人机下视照片中的每个水域的准确分割轮廓进行识别及融合，从而获取每个水域的最终轮廓线信息；
获取每个水域的最终轮廓线信息中的每个像素点的三维坐标信息以及深度信息；其中，各个三维坐标信息组成所述完整的三维闭合轮廓线。
在本实施例中，所述对所述初始照片集中的各个无人机下视照片进行处理，从而获取每个无人机下视照片中的每个水域的准确分割轮廓包括：
分别对每个无人机下视照片进行如下处理：
对无人机下视照片首先使用基于深度学习的目标检测算法提取照片中每个水域的外包框范围；
将各个所述外包框范围送入深度学习检测模型获取每个水域的准确分割轮廓。
在本实施例中，所述对各个无人机下视照片中的每个水域的准确分割轮廓进行识别及融合，从而获取每个水域的最终轮廓线信息包括：
选取每个无人机下视照片中的每个水域的准确分割轮廓中每个水域的准确分割轮廓线作为待匹配的轮廓线；
利用空中三角测量结果获取与待匹配的轮廓线有重叠区且有水域轮廓线的无人机下视照片作为待融合无人机下视照片；
将各个待融合无人机下视照片中的待匹配的轮廓线进行匹配融合，从而获取每个水域的最终轮廓线信息。
在本实施例中，所述将各个待融合无人机下视照片中的待匹配的轮廓线进行匹配融合，从而获取每个水域的最终轮廓线信息包括：
分别对每张待融合无人机下视照片进行如下操作：
将待融合无人机下视照片中的每个待匹配的轮廓线中的每一个像素点进行如下操作：
将像素点分别与其他每张待融合无人机下视照片进行配对，从而分别获取每张待融合无人机下视照片中的最匹配像素点，其中，每张具有最匹配像素点的待融合无人机下视照片中的最匹配像素点与该像素点组成一对特征匹配对，所述特征匹配对的数量与具有最匹配像素点的待融合无人机下视照片的数量相同，具有相同像素点的各个特征匹配对组成一组特征匹配对组；
为每一组特征匹配对组进行如下操作：
利用摄影测量中的前方交会算法分别计算该组特征匹配对组中的每个特征匹配对的初始三维坐标，从而获取与该特征匹配对组中的特征匹配对数量相同的初始三维坐标；
根据非线性最小二乘法对各个初始三维坐标进行计算，从而获取最终一个初始三维坐标作为该组特征匹配对组中的像素点的三维坐标；其中，
各个待融合无人机下视照片中的待匹配的轮廓线中的每一个像素点的三维坐标组成所述最终轮廓线信息；所述最终轮廓线信息包括各个像素点以及每个像素点的三维坐标。
举例来说，一共7张照片，分别为A、B、C、D、E、F、G，其中，
分别对每张待融合无人机下视照片进行如下操作（即上述的7张照片，每张照片都要进行如下的操作，在此仅以照片A为例）：
将待融合无人机下视照片（A照片）中的每个待匹配的轮廓线中的每一个像素点进行如下操作：
假设A照片的轮廓线中的像素点有3个，分别是A1、A2、A3，即分别对A1、A2、A3进行如下操作，在此仅以A1为例：
将像素点A1分别与其他每张待融合无人机下视照片（B、C、D、E、F、G）进行配对，从而分别获取每张待融合无人机下视照片中的最匹配像素点（以B照片为例，则获取B照片中的最匹配像素点H1，以C照片为例，则获取C照片中的最匹配像素点J1，其他几个照片也相同，在此不再赘述），其中，每张具有最匹配像素点的待融合无人机下视照片中的最匹配像素点与该像素点组成一对特征匹配对（例如，（A1、H1）组成一对特征匹配对，（A1、J1）组成一对特征匹配对，其他几个照片中的某个像素点也会跟A1分别组成一对特征匹配对，在此不再赘述），所述特征匹配对的数量与具有最匹配像素点的待融合无人机下视照片的数量相同（在本实施例中，B、C、D、E、F、G一共有6个待融合无人机下视照片具有最匹配像素点，也就是说，在该例子中，具有像素点A1的特征匹配对一共6对），具有相同像素点的各个特征匹配对组成一组特征匹配对组（即上述的具有像素点A1的6对组成一组特征匹配对组，在下述描述成该组称为A1匹配组）；
采用这种方式，还可以获取到A2的各个特征匹配对、A3的各个特征匹配对，在此不再赘述。
可以理解的是，每张图片都会采用上述方法获取，也就是说，照片B、照片C、照片D、照片E、照片F、照片G也会采用上述的方法获取。例如，照片B轮廓线中的像素点有1个，即B1，则通过上述的方法，也会获取到B1的各个特征匹配对，B1的各个特征匹配对也同样会组成具有B1的特征匹配对组。
当获取到各组特征匹配对组后，为每一组特征匹配对组进行如下操作（以A1匹配组为例）：
利用摄影测量中的前方交会算法分别计算该组特征匹配对组中的每个特征匹配对的初始三维坐标（即（A1、H1）计算出一个初始三维坐标，（A1、J1）计算出一个初始三维坐标），从而获取与该特征匹配对组中的特征匹配对数量相同的初始三维坐标（在本实施例中，一共有6个初始三维坐标）；
根据非线性最小二乘法对各个初始三维坐标（上述的6个初始三维坐标）进行计算，从而获取最终一个初始三维坐标作为该组特征匹配对组中的像素点A1的三维坐标。
通过上述方式，就可以获取到每个图片中的每个轮廓线中的每一个像素点的三维坐标，各个三维坐标组成所述最终轮廓线信息。
在本实施例中，将像素点分别与其他每张待融合无人机下视照片进行配对，从而分别获取每张待融合无人机下视照片中的最匹配像素点包括：
将像素点分别与其他每张待融合无人机下视照片进行如下处理（以像素点A1为例）：
通过极线约束原理获取其他待融合无人机下视照片（例如，照片B、照片C、照片D、照片E、照片F、照片G）中位于极线附近的像素点集（假设照片B中的极线附近的像素点集为H1、H2，照片C中的极线附近的像素点集为J1、J2）；
利用NCC作为匹配代价函数分别选取像素点集中的一个像素点作为最匹配像素点（例如，利用NCC作为匹配代价函数，选取H1、H2中的H1作为最匹配像素点，利用NCC作为匹配代价函数，选取J1、J2中的J1作为最匹配像素点）。
下面以举例的方式对本申请进行进一步详细阐述，可以理解的是，该举例并不构成对本申请的任何限制。
获取初始照片集，在本实施例中，选取空三入网的无人机下视照片集为初始照片集。对该照片集中的每一张照片，首先使用YOLOv5这个基于深度学习的目标检测算法提取照片中每个水域的外包框范围(BoundingBox),然后将这些外包框范围送入SegmentAnything Model深度学习检测模型(简称SAM)获取每个水域的准确分割轮廓。
根据初始照片集中的各个无人机下视照片获取初始照片集所拍摄的水域的完整的三维闭合轮廓线。
具体而言，对所述初始照片集中的各个无人机下视照片进行处理，从而获取每个无人机下视照片中的每个水域的准确分割轮廓；
对各个无人机下视照片中的每个水域的准确分割轮廓进行识别及融合，从而获取每个水域的最终轮廓线信息；
获取每个水域的最终轮廓线信息中的每个像素点的三维坐标信息以及深度信息；其中，各个三维坐标信息组成所述完整的三维闭合轮廓线。
在本实施例中，对各个无人机下视照片中的每个水域的准确分割轮廓进行识别及融合，从而获取每个水域的最终轮廓线信息包括：
选取每个无人机下视照片中的每个水域的准确分割轮廓中每个水域的准确分割轮廓线作为待匹配的轮廓线；
利用空中三角测量结果获取与待匹配的轮廓线有重叠区且有水域轮廓线的无人机下视照片作为待融合无人机下视照片；
将各个待融合无人机下视照片中的待匹配的轮廓线进行匹配融合，从而获取每个水域的最终轮廓线信息。
在本实施例中，因为图像边缘的水域轮廓可能不是水域的真实水岸线，因此选取非图片边缘的轮廓线作为待匹配的轮廓线。对于每个轮廓线，利用空中三角测量(简称空三)结果，获取与之有重叠区且有水域轮廓线的图片集。
具体而言，在做mvs之前，会先做空中三角测量（简称空三），得到的计算结果是：每张照片拍摄时的外参（位置和姿态），照片的内参（拍摄相机的焦距，畸变等）以及每张照片与哪些照片有重叠区域，因此对于照片A中的水域轮廓线，可以根据这个空三结果，先获取与A有重叠的照片，再根据相应的内外参，能计算得到照片A中的水域轮廓线是否有部分或者全部出现在上述的与A有重叠的照片中，只要水域轮廓线有部分出现在那些照片中，就是需要的图片集。
在本实施例中，将各个待融合无人机下视照片中的待匹配的轮廓线进行匹配融合，从而获取每个水域的最终轮廓线信息包括：
分别对每张待融合无人机下视照片进行如下操作：
将待融合无人机下视照片中的每个待匹配的轮廓线中的每一个像素点进行如下操作：
将像素点分别与其他每张待融合无人机下视照片进行配对，从而分别获取每张待融合无人机下视照片中的最匹配像素点，其中，每张具有最匹配像素点的待融合无人机下视照片中的最匹配像素点与该像素点组成一对特征匹配对，所述特征匹配对的数量与具有最匹配像素点的待融合无人机下视照片的数量相同，具有相同像素点的各个特征匹配对组成一组特征匹配对组；
为每一组特征匹配对组进行如下操作：
利用摄影测量中的前方交会算法分别计算该组特征匹配对组中的每个特征匹配对的初始三维坐标，从而获取与该特征匹配对组中的特征匹配对数量相同的初始三维坐标；
根据非线性最小二乘法对各个初始三维坐标进行计算，从而获取最终一个初始三维坐标作为该组特征匹配对组中的像素点的三维坐标；其中，
各个待融合无人机下视照片中的待匹配的轮廓线中的每一个像素点的三维坐标组成所述最终轮廓线信息；所述最终轮廓线信息包括各个像素点以及每个像素点的三维坐标。
在本实施例中，所述将像素点分别与其他每张待融合无人机下视照片进行配对，从而分别获取每张待融合无人机下视照片中的最匹配像素点包括：
将像素点分别与其他每张待融合无人机下视照片进行如下处理：
通过极线约束原理获取其他待融合无人机下视照片中位于极线附近的像素点集；
利用NCC作为匹配代价函数分别选取像素点集中的一个像素点作为最匹配像素点。
具体而言，NCC是用来度量图像相似性的，NCC（Normalized Cross Correlation）算法是一种基于像素灰度值相似性的匹配算法。它通过计算左右两幅图像中每个像素点周围邻域内的灰度值相关系数，来确定最佳匹配位置和视差值。
在本实施例中，利用得到的一系列特征匹配点，利用摄影测量中的前方交会算法（前方交会，这个是摄影测量里面的一个概念，主要就是利用拍摄时的照片相机内外参，根据特征匹配点，计算三维坐标点。），可以初略的计算得到每一对特征匹配点的三维坐标，因为轮廓线上的每个像素点，与多张照片有重叠区，因此存在多对特征匹配点，这些特征匹配点计算得到的三维坐标存在一定的误差，因此对于每一个轮廓线中的每一个像素点，以及与之相匹配的特征点，使用非线性最小二乘法计算最终每个像素点的三维坐标点以及深度信息。
举例来说，比如像素点Pi，与之相匹配的特征点如果是Q1，Q3，Q7，那么根据前方交会原理，Pi和Q1能计算得到一个三维坐标点V1，同理得到V3，V7，因为像素点的精度，相机内外参精度等原因，因此这三个点V1，V3，V7值不可能相同，但是实际这个点是Pi对应的三维坐标点，从理论上来说这计算得到的V1，V3，V7应该一样，因此需要通过非线性最小二乘法，计算一个三维坐标点作为Pi对应的三维坐标点，这个计算得到的点V与V1，V3，V7的误差总和最小。
利用得到的每个图像二维轮廓线对应的三维闭合轮廓线（每个像素点的三维坐标点），进行融合匹配操作，获取完整的闭合轮廓线。然后进行轮廓线拓扑包含匹配，确定轮廓线的包含关系，对于被其他轮廓包括的轮廓线被认定为内环线或者岛屿轮廓线。
在本实施例中，利用完整的闭合轮廓线，作为几何约束，添加到MVS三维重建算法中生成完整的水域模型。
在本实施例中，利用完整的闭合轮廓线，对实景三维模型进行内裁操作，轮廓线内的原始模型全部删除，同时对轮廓线进行Delaunay三角化得到水域的三角网格，并对水域三角网格赋上指定样式的材质和纹理，达到水域区域网格平整，贴图美观的效果。
本申请还提供了一种从无人机拍摄的照片中提取水域轮廓的装置，所述从无人机拍摄的照片中提取水域轮廓的装置包括初始照片集获取模块以及三维闭合轮廓线获取模块，其中，
初始照片集获取模块用于获取初始照片集，所述初始照片集包括至少两张无人机下视照片；
三维闭合轮廓线获取模块用于根据初始照片集中的各个无人机下视照片获取初始照片集所拍摄的水域的完整的三维闭合轮廓线。
图2是本发明一个或多个实施例提供的一种客户端结构框图。
如图2所示，本申请还公开了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器中存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行从无人机拍摄的照片中提取水域轮廓的方法的步骤。
本申请还提供了一种计算机可读存储介质，其存储有可由电子设备执行的计算机程序，当计算机程序在电子设备上运行时，能够实现从无人机拍摄的照片中提取水域轮廓的方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
电子设备包括硬件层，运行在硬件层之上的操作系统层，以及运行在操作系统上的应用层。该硬件层包括中央处理器(CPU，Central Processing Unit)、内存管理单元(MMU，Memory Management Unit)和内存等硬件。该操作系统可以是任意一种或多种通过进程(Process)实现电子设备控制的计算机操作系统，例如，Linux操作系统、Unix操作系统、Android操作系统、iOS操作系统或windows操作系统等。并且在本发明实施例中该电子设备可以是智能手机、平板电脑等手持设备，也可以是桌面计算机、便携式计算机等电子设备，本发明实施例中并未特别限定。
本发明实施例中的电子设备控制的执行主体可以是电子设备，或者是电子设备中能够调用程序并执行程序的功能模块。电子设备可以获取到存储介质对应的固件，存储介质对应的固件由供应商提供，不同存储介质对应的固件可以相同可以不同，在此不做限定。电子设备获取到存储介质对应的固件后，可以将该存储介质对应的固件写入存储介质中，具体地是往该存储介质中烧入该存储介质对应固件。将固件烧入存储介质的过程可以采用现有技术实现，在本发明实施例中不做赘述。
电子设备还可以获取到存储介质对应的重置命令，存储介质对应的重置命令由供应商提供，不同存储介质对应的重置命令可以相同可以不同，在此不做限定。
此时电子设备的存储介质为写入了对应的固件的存储介质，电子设备可以在写入了对应的固件的存储介质中响应该存储介质对应的重置命令，从而电子设备根据存储介质对应的重置命令，对该写入对应的固件的存储介质进行重置。根据重置命令对存储介质进行重置的过程可以现有技术实现，在本发明实施例中不做赘述。
为了描述的方便，描述以上装置时以功能分为各种单元、模块分别描述。当然在实施本申请时可以把各单元、模块的功能在同一个或多个软件和/或硬件中实现。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器或者网络设备等）执行本申请各个实施方式或者实施方式的某些部分所述的方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (3)
1.一种从无人机拍摄的照片中提取水域轮廓的方法，其特征在于，所述从无人机拍摄的照片中提取水域轮廓的方法包括：
获取初始照片集，所述初始照片集包括至少两张无人机下视照片；
根据初始照片集中的各个无人机下视照片获取初始照片集所拍摄的水域的完整的三维闭合轮廓线
所述从无人机拍摄的照片中提取水域轮廓的方法进一步包括：
根据获取的水域的完整的三维闭合轮廓线建立水域三维模型；
所述根据初始照片集中的各个无人机下视照片获取初始照片集所拍摄的水域的完整的三维闭合轮廓线包括：
对所述初始照片集中的各个无人机下视照片进行处理，从而获取每个无人机下视照片中的每个水域的准确分割轮廓；
对各个无人机下视照片中的每个水域的准确分割轮廓进行识别及融合，从而获取每个水域的最终轮廓线信息；
获取每个水域的最终轮廓线信息中的每个像素点的三维坐标信息以及深度信息；其中，各个三维坐标信息组成所述完整的三维闭合轮廓线；
所述对所述初始照片集中的各个无人机下视照片进行处理，从而获取每个无人机下视照片中的每个水域的准确分割轮廓包括：
分别对每个无人机下视照片进行如下处理：
对无人机下视照片首先使用基于深度学习的目标检测算法提取照片中每个水域的外包框范围；
将各个所述外包框范围送入深度学习检测模型获取每个水域的准确分割轮廓；
所述对各个无人机下视照片中的每个水域的准确分割轮廓进行识别及融合，从而获取每个水域的最终轮廓线信息包括：
选取每个无人机下视照片中的每个水域的准确分割轮廓中每个水域的准确分割轮廓线作为待匹配的轮廓线；
利用空中三角测量结果获取与待匹配的轮廓线有重叠区且有水域轮廓线的无人机下视照片作为待融合无人机下视照片；
将各个待融合无人机下视照片中的待匹配的轮廓线进行匹配融合，从而获取每个水域的最终轮廓线信息；
所述将各个待融合无人机下视照片中的待匹配的轮廓线进行匹配融合，从而获取每个水域的最终轮廓线信息包括：
分别对每张待融合无人机下视照片进行如下操作：
将待融合无人机下视照片中的每个待匹配的轮廓线中的每一个像素点进行如下操作：
将像素点分别与其他每张待融合无人机下视照片进行配对，从而分别获取每张待融合无人机下视照片中的最匹配像素点，其中，每张具有最匹配像素点的待融合无人机下视照片中的最匹配像素点与该像素点组成一对特征匹配对，所述特征匹配对的数量与具有最匹配像素点的待融合无人机下视照片的数量相同，具有相同像素点的各个特征匹配对组成一组特征匹配对组；
为每一组特征匹配对组进行如下操作：
利用摄影测量中的前方交会算法分别计算该组特征匹配对组中的每个特征匹配对的初始三维坐标，从而获取与该特征匹配对组中的特征匹配对数量相同的初始三维坐标；
根据非线性最小二乘法对各个初始三维坐标进行计算，从而获取最终一个初始三维坐标作为该组特征匹配对组中的像素点的三维坐标；其中，
各个待融合无人机下视照片中的待匹配的轮廓线中的每一个像素点的三维坐标组成所述最终轮廓线信息；所述最终轮廓线信息包括各个像素点以及每个像素点的三维坐标。
2.如权利要求1所述的从无人机拍摄的照片中提取水域轮廓的方法，其特征在于，所述将像素点分别与其他每张待融合无人机下视照片进行配对，从而分别获取每张待融合无人机下视照片中的最匹配像素点包括：
将像素点分别与其他每张待融合无人机下视照片进行如下处理：
通过极线约束原理获取其他待融合无人机下视照片中位于极线附近的像素点集；
利用NCC作为匹配代价函数分别选取像素点集中的一个像素点作为最匹配像素点。
3.一种从无人机拍摄的照片中提取水域轮廓的装置，其特征在于，所述从无人机拍摄的照片中提取水域轮廓的装置包括：
初始照片集获取模块，所述初始照片集获取模块用于获取初始照片集，所述初始照片集包括至少两张无人机下视照片；
三维闭合轮廓线获取模块，所述三维闭合轮廓线获取模块用于根据初始照片集中的各个无人机下视照片获取初始照片集所拍摄的水域的完整的三维闭合轮廓线；
所述从无人机拍摄的照片中提取水域轮廓的装置进一步包括：
根据获取的水域的完整的三维闭合轮廓线建立水域三维模型；
所述根据初始照片集中的各个无人机下视照片获取初始照片集所拍摄的水域的完整的三维闭合轮廓线包括：
对所述初始照片集中的各个无人机下视照片进行处理，从而获取每个无人机下视照片中的每个水域的准确分割轮廓；
对各个无人机下视照片中的每个水域的准确分割轮廓进行识别及融合，从而获取每个水域的最终轮廓线信息；
获取每个水域的最终轮廓线信息中的每个像素点的三维坐标信息以及深度信息；其中，各个三维坐标信息组成所述完整的三维闭合轮廓线；
所述对所述初始照片集中的各个无人机下视照片进行处理，从而获取每个无人机下视照片中的每个水域的准确分割轮廓包括：
分别对每个无人机下视照片进行如下处理：
对无人机下视照片首先使用基于深度学习的目标检测算法提取照片中每个水域的外包框范围；
将各个所述外包框范围送入深度学习检测模型获取每个水域的准确分割轮廓；
所述对各个无人机下视照片中的每个水域的准确分割轮廓进行识别及融合，从而获取每个水域的最终轮廓线信息包括：
选取每个无人机下视照片中的每个水域的准确分割轮廓中每个水域的准确分割轮廓线作为待匹配的轮廓线；
利用空中三角测量结果获取与待匹配的轮廓线有重叠区且有水域轮廓线的无人机下视照片作为待融合无人机下视照片；
将各个待融合无人机下视照片中的待匹配的轮廓线进行匹配融合，从而获取每个水域的最终轮廓线信息；
所述将各个待融合无人机下视照片中的待匹配的轮廓线进行匹配融合，从而获取每个水域的最终轮廓线信息包括：
分别对每张待融合无人机下视照片进行如下操作：
将待融合无人机下视照片中的每个待匹配的轮廓线中的每一个像素点进行如下操作：
将像素点分别与其他每张待融合无人机下视照片进行配对，从而分别获取每张待融合无人机下视照片中的最匹配像素点，其中，每张具有最匹配像素点的待融合无人机下视照片中的最匹配像素点与该像素点组成一对特征匹配对，所述特征匹配对的数量与具有最匹配像素点的待融合无人机下视照片的数量相同，具有相同像素点的各个特征匹配对组成一组特征匹配对组；
为每一组特征匹配对组进行如下操作：
利用摄影测量中的前方交会算法分别计算该组特征匹配对组中的每个特征匹配对的初始三维坐标，从而获取与该特征匹配对组中的特征匹配对数量相同的初始三维坐标；
根据非线性最小二乘法对各个初始三维坐标进行计算，从而获取最终一个初始三维坐标作为该组特征匹配对组中的像素点的三维坐标；其中，
各个待融合无人机下视照片中的待匹配的轮廓线中的每一个像素点的三维坐标组成所述最终轮廓线信息；所述最终轮廓线信息包括各个像素点以及每个像素点的三维坐标；
所述将像素点分别与其他每张待融合无人机下视照片进行配对，从而分别获取每张待融合无人机下视照片中的最匹配像素点包括：
将像素点分别与其他每张待融合无人机下视照片进行如下处理：
通过极线约束原理获取其他待融合无人机下视照片中位于极线附近的像素点集；
利用NCC作为匹配代价函数分别选取像素点集中的一个像素点作为最匹配像素点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311540616.3A CN117274605B (zh) | 2023-11-20 | 2023-11-20 | 一种从无人机拍摄的照片中提取水域轮廓的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311540616.3A CN117274605B (zh) | 2023-11-20 | 2023-11-20 | 一种从无人机拍摄的照片中提取水域轮廓的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117274605A CN117274605A (zh) | 2023-12-22 |
| CN117274605B true CN117274605B (zh) | 2024-03-01 |
Family
ID=89204731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311540616.3A Active CN117274605B (zh) | 2023-11-20 | 2023-11-20 | 一种从无人机拍摄的照片中提取水域轮廓的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117274605B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117541740B (zh) * | 2024-01-09 | 2024-04-26 | 广东广宇科技发展有限公司 | 一种基于无人机数据采集的河湖区域三维建模方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104484668A (zh) * | 2015-01-19 | 2015-04-01 | 武汉大学 | 一种无人机多重叠遥感影像的建筑物轮廓线提取方法 |
| CN110599583A (zh) * | 2019-07-26 | 2019-12-20 | 深圳眸瞳科技有限公司 | 无人机飞行轨迹生成方法、装置、计算机设备和存储介质 |
| CN111369579A (zh) * | 2020-03-03 | 2020-07-03 | 东南数字经济发展研究院 | 一种提取三维云建模目标区域轮廓的方法 |
| EP3792658A1 (en) * | 2019-09-13 | 2021-03-17 | The Boeing Company | Obstacle detection and vehicle navigation using resolution-adaptive fusion of point clouds |
| CN113658329A (zh) * | 2021-08-17 | 2021-11-16 | 南方电网调峰调频发电有限公司有限责任有限公司 | 一种建筑物体框模型精细三维建模方法及系统 |
| CN115049825A (zh) * | 2022-08-16 | 2022-09-13 | 北京大学 | 水面清洁方法、装置、设备及计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11288814B2 (en) * | 2019-07-15 | 2022-03-29 | Mujin, Inc. | System and method of object detection based on image data |
-
2023
- 2023-11-20 CN CN202311540616.3A patent/CN117274605B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104484668A (zh) * | 2015-01-19 | 2015-04-01 | 武汉大学 | 一种无人机多重叠遥感影像的建筑物轮廓线提取方法 |
| CN110599583A (zh) * | 2019-07-26 | 2019-12-20 | 深圳眸瞳科技有限公司 | 无人机飞行轨迹生成方法、装置、计算机设备和存储介质 |
| EP3792658A1 (en) * | 2019-09-13 | 2021-03-17 | The Boeing Company | Obstacle detection and vehicle navigation using resolution-adaptive fusion of point clouds |
| CN111369579A (zh) * | 2020-03-03 | 2020-07-03 | 东南数字经济发展研究院 | 一种提取三维云建模目标区域轮廓的方法 |
| CN113658329A (zh) * | 2021-08-17 | 2021-11-16 | 南方电网调峰调频发电有限公司有限责任有限公司 | 一种建筑物体框模型精细三维建模方法及系统 |
| CN115049825A (zh) * | 2022-08-16 | 2022-09-13 | 北京大学 | 水面清洁方法、装置、设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117274605A (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135455B (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
| CN109683699B (zh) | 基于深度学习实现增强现实的方法、装置及移动终端 | |
| CN111428579A (zh) | 人脸图像的获取方法与系统 | |
| CN109697688A (zh) | 一种用于图像处理的方法和装置 | |
| CN108124489B (zh) | 信息处理方法、装置、云处理设备以及计算机程序产品 | |
| US20230252664A1 (en) | Image Registration Method and Apparatus, Electronic Apparatus, and Storage Medium | |
| CN117274605B (zh) | 一种从无人机拍摄的照片中提取水域轮廓的方法及装置 | |
| CN113689578B (zh) | 一种人体数据集生成方法及装置 | |
| CN111696196A (zh) | 一种三维人脸模型重建方法及装置 | |
| CN110930503A (zh) | 一种服装三维模型建立方法、系统、存储介质及电子设备 | |
| CN108648141B (zh) | 一种图像拼接方法及装置 | |
| CN111680573B (zh) | 人脸识别方法、装置、电子设备和存储介质 | |
| US11069134B2 (en) | Methods, devices and computer program products for generation of mesh in constructed 3D images containing incomplete information | |
| CN114170290A (zh) | 图像的处理方法及相关设备 | |
| CN118247429A (zh) | 一种空地协同快速三维建模方法及系统 | |
| CN114663598A (zh) | 三维建模方法、装置和存储介质 | |
| US11087536B2 (en) | Methods, devices and computer program products for generation of mesh in constructed 3D images | |
| CN117409149A (zh) | 基于立体约束的光束法平差方程的三维建模方法及系统 | |
| CN117132737A (zh) | 一种三维建筑模型构建方法、系统及设备 | |
| CN116051980B (zh) | 基于倾斜摄影的建筑识别方法、系统、电子设备及介质 | |
| CN115239776B (zh) | 点云的配准方法、装置、设备和介质 | |
| CN112288817B (zh) | 基于图像的三维重建处理方法及装置 | |
| CN116681745A (zh) | 基于激光深度的三维重建方法、装置、服务器及存储介质 | |
| CN116167925A (zh) | 图像修复方法、装置、电子设备及计算机可读存储介质 | |
| CN114387532A (zh) | 边界的识别方法及其装置、终端、电子设备和无人设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |