CN114241150A - 一种倾斜摄影建模中的水域数据预处理方法 - Google Patents
一种倾斜摄影建模中的水域数据预处理方法 Download PDFInfo
- Publication number
- CN114241150A CN114241150A CN202111536321.XA CN202111536321A CN114241150A CN 114241150 A CN114241150 A CN 114241150A CN 202111536321 A CN202111536321 A CN 202111536321A CN 114241150 A CN114241150 A CN 114241150A
- Authority
- CN
- China
- Prior art keywords
- entering
- next step
- water body
- water area
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000007781 pre-processing Methods 0.000 title claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 210000000746 body region Anatomy 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000003745 diagnosis Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 9
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000006748 scratching Methods 0.000 abstract description 2
- 230000002393 scratching effect Effects 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种倾斜摄影建模中的水域数据预处理方法，利用神经网络技术，对用于三维重建的原始影像数据进行预处理，识别出原始影像中的水体区域，并对水体区域进行纯色填充或抠除，之后使用经过预处理后的影像进行三维重建过程，最终生成完全不包含水体区域的完整三维重建成果模型，由此可以衍生出完全针对包含水域环境的不需要人工干预的全自动三维重建过程。
Description
技术领域
本发明涉及水域三维重建技术领域，尤其涉及一种倾斜摄影建模中的水域数据预处理方法。
背景技术
三维重建是指基于对环境或者物体的一系列不同角度的照片，通过一系列的处理，获得环境或物体的三维模型。
其通常表达方式包括：点云、网格、体素、深度图等。
比较常见的流程是：
提取图像特征(如SIFT、SURF等)；
利用特征将图像计算图像之间的特征匹配；
基于匹配的特征进行稀疏重建，得到各个图像的相机位姿和稀疏的特征点云(SFM)；
基于相机位姿进行稠密重建，得到稠密点云(PMVS/CMVS)；
基于点云重建网格、体素或者纹理
其中，提取特征点是第一步，也是后续所有三维重建工作的基础。目前比较常用的方法包括SIFT、SURF等算法，用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。
我们以SIFT算法为例来说明特征检测的过程。
SIFT算法中的特征检测步骤分为四步：
尺度空间的极值检测：搜索所有尺度空间上的图像，通过高斯微分函数来识别潜在的对尺度和选择不变的兴趣点。
特征点定位：在每个候选的位置上，通过一个拟合精细模型来确定位置尺度，关键点的选取依据他们的稳定程度。
特征方向赋值：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向，后续的所有操作都是对于关键点的方向、尺度和位置进行变换，从而提供这些特征的不变性。
特征点描述：在每个特征点周围的邻域内，在选定的尺度上测量图像的局部梯度，这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变换。
最终，通过SIFT算法提取出来的特征，以其对旋转、尺度缩放、亮度等保持不变性，是一种非常稳定的局部特征。也构成了整个三维重建后续过程的数据基础。
SIFT或者SURF等算法对于静止环境或者物体的特征点提取非常优秀，但是当面对水域时则无能为力。通常会导致水域区域的模型效果发生严重的空洞、变形或扭曲。如图1和图2所示：
目前业内针对该问题的主流处理方式是在进行三维重建时增加对水域的约束，即通过人力手工标注的方式，将水域勾选出来，然后在三维重建过程中将该区域从最终的成果模型中抠出，但使用该种方式则无法实现这种场景下的全自动重建。
导致原因是：水域是非静止环境，因为水体的流动性，导致水体没有固定的特征，以致于无论是何种特征提取算法都无法提取出水体区域的特征点或者是正确提取水体区域的特征点，继而导致后续的整个三维重建成果，在水域区域表现为不正常。
因此需要研发出一种倾斜摄影建模中的水域数据预处理方法来解决上述问题。
发明内容
本发明的目的就在于为了解决上述问题设计了一种倾斜摄影建模中的水域数据预处理方法。
本发明通过以下技术方案来实现上述目的：
一种倾斜摄影建模中的水域数据预处理方法，包括以下步骤：
S1、原始影像输入；
S2、判断原始影像中是否包含水体区域；如是则进入步骤S3；如否则进入步骤S4；
S3、对水体区域进行纯色填充或抠出；进入下一步骤；
S4、特征点提取；进入下一步骤；
S5、特诊点匹配；进入下一步骤；
S6、稀疏重建；进入下一步骤；
S7、稠密重建；进入下一步骤；
S8、三角面网络；进入下一步骤；
S9、表面纹理贴图；进入下一步骤；
S10、模型成果输出。
具体地，在步骤S2中，判断原始影像中是否包含水体区域包括：
对原始影像进行MSER影像分割获得待识别目标子区；
通过DCNN水体识别模型基于待识别目标子区进行判断是否包含水体区域。
本发明的有益效果在于：
利用神经网络技术，对用于三维重建的原始影像数据进行预处理，识别出原始影像中的水体区域，并对水体区域进行纯色填充或抠除，之后使用经过预处理后的影像进行三维重建过程，最终生成完全不包含水体区域的完整三维重建成果模型，由此可以衍生出完全针对包含水域环境的不需要人工干预的全自动三维重建过程。
附图说明
图1是现有技术示意图一；
图2是现有技术示意图一；
图3是本发明的方法流程图；
图4是本发明中步骤S2的具体示意图；
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图，对本发明的具体实施方式进行详细说明。
如图3所示：一种倾斜摄影建模中的水域数据预处理方法，包括以下步骤：
S1、原始影像输入；
S2、判断原始影像中是否包含水体区域；如是则进入步骤S3；如否则进入步骤S4；
S3、对水体区域进行纯色填充或抠出；进入下一步骤；
S4、特征点提取；进入下一步骤；
S5、特诊点匹配；进入下一步骤；
S6、稀疏重建；进入下一步骤；
S7、稠密重建；进入下一步骤；
S8、三角面网络；进入下一步骤；
S9、表面纹理贴图；进入下一步骤；
S10、模型成果输出。
如图4所示，在步骤S2中，判断原始影像中是否包含水体区域包括：
对原始影像进行MSER影像分割获得待识别目标子区；
通过DCNN水体识别模型基于待识别目标子区进行判断是否包含水体区域。
本申请通过引入图像预处理步骤，对原始影像中的水域予以纯色填充或抠出，以避免最终因为水域的影像导致三维重建成果模型中的水域部分的空洞、变形或扭曲。
其中最重要的部分则是，通过神经网络技术对原始影像中水体区域的识别。传统的遥感影像目标提取方法大多采用目视解译或基于像素信息进行处理,难以适用于高分辨率影像中的复杂场景，深度学习方法能够有效实现遥感影像建筑物精细化提取。
在实际应用中，首先通过MSER算法对无人机采集影像进行影像分割，得到待识别目标子区，然后采用深度卷积神经网络(DCNN)模型进行水体识别。
最大稳定极值区域(MSER)是基于分水岭的概念求解稳定区域，使用时，首先需要通过使用一系列阈值获得相对应的二值化图像。二值化即:将像素灰度值大于或者等于阈值的灰度值设置为255，即白色，反之若像素灰度值小于阈值，则设置为0，即黑色。二值化阈值t的取值范围t＝{0，1，…，255}。若阈值为0则得到全白图像，当阈值增加到255时，则得到全黑图像。从0～255，逐渐增加灰度变化量大小的阈值，对图像的每个像素点灰度值进行检查，将灰度值大于或等于阈值的像素点进行记录，极值区域由当中相邻接的点组成。在不断增加阈值的过程中，有些极值区域经过若干个阈值变化后其区域的面积基本保持不变，这些区域即最稳定极值区域。MSER算法计算获得最大稳定极值区域能够保障分割时水体目标的完整性，因此分割后水体目标子区相对更完整。
DCNN水体识别模型中，可以选择比较常见的深度卷积神经网络模型如DenseNet、ResNet、VGG、SegNet、DeepLabV3+等。
本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。
Claims (2)
1.一种倾斜摄影建模中的水域数据预处理方法，其特征在于，包括以下步骤：
S1、原始影像输入；
S2、判断原始影像中是否包含水体区域；如是则进入步骤S3；如否则进入步骤S4；
S3、对水体区域进行纯色填充或抠出；进入下一步骤；
S4、特征点提取；进入下一步骤；
S5、特诊点匹配；进入下一步骤；
S6、稀疏重建；进入下一步骤；
S7、稠密重建；进入下一步骤；
S8、三角面网络；进入下一步骤；
S9、表面纹理贴图；进入下一步骤；
S10、模型成果输出。
2.根据权利要求1所述的一种倾斜摄影建模中的水域数据预处理方法，其特征在于，在步骤S2中，判断原始影像中是否包含水体区域包括：
对原始影像进行MSER影像分割获得待识别目标子区；
通过DCNN水体识别模型基于待识别目标子区进行判断是否包含水体区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111536321.XA CN114241150A (zh) | 2021-12-15 | 2021-12-15 | 一种倾斜摄影建模中的水域数据预处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111536321.XA CN114241150A (zh) | 2021-12-15 | 2021-12-15 | 一种倾斜摄影建模中的水域数据预处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114241150A true CN114241150A (zh) | 2022-03-25 |
Family
ID=80756524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111536321.XA Pending CN114241150A (zh) | 2021-12-15 | 2021-12-15 | 一种倾斜摄影建模中的水域数据预处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114241150A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152364A (zh) * | 2023-10-31 | 2023-12-01 | 航天宏图信息技术股份有限公司 | 基于影像数据的水体边界三维重建的方法、装置和设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111247790A (zh) * | 2019-02-21 | 2020-06-05 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置、图像拍摄和处理系统及载体 |
| CN112465977A (zh) * | 2020-12-14 | 2021-03-09 | 埃洛克航空科技（北京）有限公司 | 基于稠密点云修补三维模型水面漏洞的方法 |
| US20210358206A1 (en) * | 2020-05-14 | 2021-11-18 | Star Institute Of Intelligent Systems | Unmanned aerial vehicle navigation map construction system and method based on three-dimensional image reconstruction technology |
-
2021
- 2021-12-15 CN CN202111536321.XA patent/CN114241150A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111247790A (zh) * | 2019-02-21 | 2020-06-05 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置、图像拍摄和处理系统及载体 |
| US20210358206A1 (en) * | 2020-05-14 | 2021-11-18 | Star Institute Of Intelligent Systems | Unmanned aerial vehicle navigation map construction system and method based on three-dimensional image reconstruction technology |
| CN112465977A (zh) * | 2020-12-14 | 2021-03-09 | 埃洛克航空科技（北京）有限公司 | 基于稠密点云修补三维模型水面漏洞的方法 |
Non-Patent Citations (5)
| Title |
|---|
| 徐娜;: "基于Street Factory的实景三维模型编辑方案研究", 测绘与空间地理信息, no. 07, 25 July 2020 (2020-07-25), pages 142 - 144 * |
| 房丽秀;: "浅谈倾斜摄影和实景三维模型制作的检查", 测绘与空间地理信息, no. 03, 25 March 2018 (2018-03-25), pages 175 - 177 * |
| 朱征;包腾飞;郑东健;龚健;胡雨菡;谈家诚;: "基于无人机倾斜摄影的白格堰塞区三维重建", 水利水电科技进展, no. 05, 10 September 2020 (2020-09-10), pages 81 - 86 * |
| 杜敬;: "基于深度学习的无人机遥感影像水体识别", 江西科学, no. 01, 20 February 2017 (2017-02-20), pages 158 - 161 * |
| 罗天银;张平;马玉强;谢啸宇;: "实景三维模型修饰方法研究", 测绘, no. 02, 15 April 2020 (2020-04-15), pages 51 - 56 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152364A (zh) * | 2023-10-31 | 2023-12-01 | 航天宏图信息技术股份有限公司 | 基于影像数据的水体边界三维重建的方法、装置和设备 |
| CN117152364B (zh) * | 2023-10-31 | 2024-02-27 | 航天宏图信息技术股份有限公司 | 基于影像数据的水体边界三维重建的方法、装置和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109655019B (zh) | 一种基于深度学习和三维重建的货物体积测量方法 | |
| Hughes et al. | A deep learning framework for matching of SAR and optical imagery | |
| CN110021024B (zh) | 一种基于lbp和链码技术的图像分割方法 | |
| EP0526881B1 (en) | Three-dimensional model processing method, and apparatus therefor | |
| CN108052942B (zh) | 一种飞机飞行姿态的视觉图像识别方法 | |
| CN110610505A (zh) | 一种融合深度和色彩信息的图像分割方法 | |
| CN110675464A (zh) | 一种医疗影像的处理方法、装置、服务器及存储介质 | |
| CN110334762A (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
| CN113343976B (zh) | 基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法 | |
| CN108550165A (zh) | 一种基于局部不变特征的图像匹配方法 | |
| CN114549603B (zh) | 细胞病理图像的标注坐标转换方法、系统、设备及介质 | |
| CN113688846B (zh) | 物体尺寸识别方法、可读存储介质及物体尺寸识别系统 | |
| CN116279592A (zh) | 一种用于无人物流车的可行驶区域划分方法 | |
| CN115861409A (zh) | 大豆叶面积测算方法、系统、计算机设备及存储介质 | |
| CN115035089A (zh) | 适用于二维脑图像数据的脑解剖结构定位方法 | |
| CN108022245A (zh) | 基于面线基元关联模型的光伏面板模板自动生成方法 | |
| CN114241150A (zh) | 一种倾斜摄影建模中的水域数据预处理方法 | |
| Omidalizarandi et al. | Segmentation and classification of point clouds from dense aerial image matching | |
| CN112330660B (zh) | 一种基于神经网络的精子尾部检测方法及其系统 | |
| CN113487741B (zh) | 稠密三维地图更新方法及装置 | |
| Becker et al. | Lidar inpainting from a single image | |
| CN110751189B (zh) | 一种基于感知对比度和特征选择的椭圆检测方法 | |
| CN112395985B (zh) | 基于无人飞行器图像的地面无人车辆视觉道路检测方法 | |
| Yuan et al. | Graph neural network based multi-feature fusion for building change detection | |
| Arevalo et al. | Improving piecewise linear registration of high-resolution satellite images through mesh optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |