CN112465977B - 基于稠密点云修补三维模型水面漏洞的方法 - Google Patents
基于稠密点云修补三维模型水面漏洞的方法 Download PDFInfo
- Publication number
- CN112465977B CN112465977B CN202011468514.1A CN202011468514A CN112465977B CN 112465977 B CN112465977 B CN 112465977B CN 202011468514 A CN202011468514 A CN 202011468514A CN 112465977 B CN112465977 B CN 112465977B
- Authority
- CN
- China
- Prior art keywords
- image
- point cloud
- module
- dense point
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003062 neural network model Methods 0.000 claims abstract description 46
- 230000008439 repair process Effects 0.000 claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000013480 data collection Methods 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012876 topography Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010923 batch production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Remote Sensing (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Graphics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本本发明公开了基于稠密点云修补三维模型水面漏洞的方法，包括以下步骤：S1航拍影像：通过航拍设备在设定区域上空拍摄影像，将所拍影像传输至控制端；S2训练神经网络模型：控制端将S1中航拍影像制成射影像图或者正下视图像，并将射影像图或者正下视图像输入神经网络模型，神经网络模型识别水面对象和漏洞区域。本发明提出的基于稠密点云修补三维模型水面漏洞的方法，将航拍影像图生成正射影像图，将所拍影像传输至控制端，控制端设置有DOM影像生成系统和稠密点云生成系统，稠密点云与神经网络结合来进行预测水面对象和修复漏洞，通过神经网络模型快速定位水面和漏洞区域范围，修复模型能够对缺失的点云信息进行快速填充。
Description
技术领域
本发明涉及三维模型技术领域，特别涉及基于稠密点云修补三维模型水面漏洞的方法。
背景技术
目前，三维模型是物体的多边形表示，通常用计算机或者其它视频设备进行显示。显示的物体可以是现实世界的实体，也可以是虚构的物体。任何物理自然界存在的东西都可以用三维模型表示。现在，三维模型已经用于各种不同的领域。在医疗行业使用它们制作器官的精确模型；电影行业将它们用于活动的人物、物体以及现实电影；视频游戏产业将它们作为计算机与视频游戏中的资源；在科学领域将它们作为化合物的精确模型；建筑业将它们用来展示提议的建筑物或者风景表现；工程界将它们用于设计新设备、交通工具、结构以及其它应用领域；在最近几十年，地球科学领域开始构建三维地质模型。
在三维模型重建过程中，经常出现水面漏洞，使得模型无法成功重建水面区域，现有的修补方法是人工筛选出有漏洞的三维模型，通过输入三维模型，并通过第三方软件进行人工修复，采用人工修复效率低下，且工作繁琐，还不能批量修复三维模型水面漏洞的问题，严重制约三维模型的批量生产。
中国专利CN110379011A公开了一种基于改进三次B样条曲线的水下地形点云孔洞修补方法。首先将水下地形点云按固定间隔均匀切片，并沿坐标系投影到二维平面上，通过改进的三次B样条曲线进行拟合，具体为通过三点共线的补点方式使得拟合后的曲线通过原有型值点，然后对于原始投影点列中间隔较大的相邻点区域，再次使用改进的三次B样条曲线进行拟合，解决了点列稀疏的问题，最后将拟合后的点列还原到三维空间中，完成了对点云孔洞的修补。相比传统的三次B样条曲线方法，该发明能够很好地考虑到点云切片的局部性特征以及点云整体的均匀性和连续性，紧密结合了等间隔测深采样的特点，在有效修补水下地形点云孔洞的同时最大限度地还原了原始的水下地形起伏情况。
该申请虽然在一定程度上解决了背景技术中的问题，但是该申请中将水下地形点云按固定间隔均匀切片，通过改进的三次B样条曲线进行拟合，将拟合后的点列还原到三维空间，完成对点云孔洞的修补，需要进行多次使用三次B样条曲线进行拟合，过程复杂。
发明内容
本发明的目的在于提供基于稠密点云修补三维模型水面漏洞的方法，将航拍影像图生成正射影像图，将所拍影像传输至控制端，控制端设置有DOM影像生成系统和稠密点云生成系统，稠密点云与神经网络结合来进行预测水面对象和修复漏洞，通过神经网络模型快速定位水面和漏洞区域范围，修复模型能够对缺失的点云信息进行快速填充，将神经网络与稠密点云结合，对水面对象的检测与提取提供了高精度的保障，将修复效率几何级增长可用于G级别到T级别以上大数据量的平面漏洞修复，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：基于稠密点云修补三维模型水面漏洞的方法，包括以下步骤：
S1航拍影像：通过航拍设备在设定区域上空拍摄影像，将所拍影像传输至控制端；
S2训练神经网络模型：控制端将S1中航拍影像制成射影像图或者正下视图像，并将射影像图或者正下视图像输入神经网络模型，神经网络模型识别水面对象和漏洞区域；
S3生成稠密点云：控制端将S1中航拍影像通过控制端利用三维实景建模方法重建生成稠密点云；
S4输入修复模型：将水面/漏洞区域文件和重建生成的稠密点云输入修复模型中，修复模型对稠密点云漏洞区域进行点云填充；
S5生成三维模型：将修复后的密集点云继续生产，生成最终三维模型。
优选的，S1航拍影像包括以下步骤：
S11：根据待测工程所在区域，设定航测范围，同时设定飞行航线，并获得每条航线的绝对航高；
S12：无人机按照规定航线飞行测试，并航拍影像，实时将航拍影像传给地面控制端；
S13：采用多角度拍摄，同时无人机上的相机聚焦水面，并同时将水面以外的地方模糊化，重点采集水面图像数据，也将航拍影像传输给地面控制端。
优选的，所述控制端设置有DOM影像生成系统和稠密点云生成系统，DOM影像生成系统包括重叠区确定模块、计算模块和拼接模块，重叠区确定模块、计算模块和拼接模块依次连接，稠密点云生成系统包括影像接收模块、图像特征点提取模块、干扰物剔除模块和稠密点云制成模块，影像接收模块、图像特征点提取模块、干扰物剔除模块和稠密点云制成模块依次连接。
优选的，所述DOM影像生成系统生成射影像图或者正下视图像包括以下步骤：
S211：重叠区确定模块接收多张航拍图像，并分别确定重叠区域，确定区域后，再确定每个重叠区域中每个像素点和中心像素点之间的距离；
S212：由计算模块计算每张航拍图像中像素点之间对应的颜色差值和结构差值，通过颜色差值、结构差值以及每个像素点和中心像素点之间的距离，计算最优缝合线；
S213：拼接模块根据最优缝合线拼接射影像图或者正下视图像，并设定射影像图或者正下视图像的规格大小。
优选的，所述稠密点云生成系统生成稠密点云包括以下步骤：
S31：影像接收模块接收无人机所拍摄的影像；
S32：并通过图像特征点提取模块提取全景视频帧中的特征点，构建半稠密点云；
S33：由干扰物剔除模块剔除半稠密点云中干扰物的特征点，对半稠密点云进行过滤处理；
S34：在稠密点云制成模块中提取水面聚焦影像中的特征点，添加至半稠密点云中，制成稠密点云。
优选的，所述S2训练神经网络模型包括以下步骤：
S21：DOM影像生成系统生成指定规格大小的射影像图或者正下视图像，并通过DOM影像生成系统将射影像图或者正下视图像输入神经网络模型，初步训练神经网络模型，神经网络模型输出识别水面对象和漏洞区域；
S22：对神经网络模型输出的识别水面对象和漏洞区域进行核实，判断神经网络模型输出的准确性，根据实际输出，计算误差，修改权系数和阀值；
S23：将大批量的射影像图或者正下视图像输入神经网络模型，通过神经网络模型识别水面和漏洞，不断根据实际输出，计算误差值，修改权系数和阀值，直至误差满足要求。
优选的，所述神经网络模型包括性能估计模块、部分选择模块、新神经网络生成模块和最终神经网络输出模块，性能估计模块分别与部分选择模块和新神经网络生成模块电性连接，部分选择模块的输出端与新神经网络生成模块的输入端电性连接，新神经网络生成模块的输出端与最终神经网络输出模块电性连接。
根据本发明的另一方面，提供给了基于稠密点云修补三维模型水面漏洞的方法，包括以下步骤：
S1航拍影像：通过航拍设备在设定区域上空拍摄影像，将所拍影像传输至控制端；
S2输入漏洞检测算法：控制端将S1中航拍影像制成射影像图或者正下视图像，并将射影像图或者正下视图像输入漏洞检测算法中，漏洞检测算法计算漏洞区域；
S3生成稠密点云：控制端将S1中航拍影像通过控制端利用三维实景建模方法重建生成稠密点云；
S4输入修复模型：将漏洞区域文件和重建生成的稠密点云输入修复模型中，修复模型对稠密点云漏洞区域进行点云填充；
S5生成三维模型：将修复后的密集点云继续生产，生成最终三维模型。
优选的，所述漏洞检测算法包括获取模块、扫描模块和发送模块，获取模块、扫描模块和发送模块依次连接。
优选的，S2输入漏洞检测算法包括以下步骤：
S21：DOM影像生成系统生成指定规格大小的射影像图或者正下视图像，并通过DOM影像生成系统将射影像图或者正下视图像输入漏洞检测算法，获取模块接收射影像图或者正下视图像；
S22：扫描模块采用多个漏洞扫描节点对射影像图或者正下视图像进行扫描，发现漏洞后，通知数据收集服务器，数据收集服务器通过发送模块将漏洞区域输出。
与现有技术相比，本发明的有益效果是：
1、本发明提出的基于稠密点云修补三维模型水面漏洞的方法，将航拍影像图生成正射影像图，将所拍影像传输至控制端，控制端设置有DOM影像生成系统和稠密点云生成系统，稠密点云与神经网络结合来进行预测水面对象和修复漏洞。
2、本发明提出的基于稠密点云修补三维模型水面漏洞的方法，通过神经网络模型快速定位水面和漏洞区域范围，修复模型能够对缺失的点云信息进行快速填充，将神经网络与稠密点云结合，对水面对象的检测与提取提供了高精度的保障，将修复效率几何级增长可用于G级别到T级别以上大数据量的平面漏洞修复。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明的流程图；
图2为本发明的航拍影像流程图；
图3为本发明的训练神经网络模型流程图；
图4为本发明的DOM影像生成系统生成射影像图流程图；
图5为本发明的生成稠密点云流程图；
图6为本发明的控制端模块图；
图7为本发明的工作流程图；
图8为本发明的实施例二流程图；
图9为本发明的实施例二DOM影像生成系统生成射影像图流程图；
图10为本发明的实施例二工作流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
另外，术语“多个”的含义应为两个以及两个以上。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例一：
请参阅图1-图7，基于稠密点云修补三维模型水面漏洞的方法，包括以下步骤：
S1航拍影像：通过航拍设备在设定区域上空拍摄影像，将所拍影像传输至控制端，所述控制端设置有DOM影像生成系统和稠密点云生成系统，DOM影像生成系统包括重叠区确定模块、计算模块和拼接模块，重叠区确定模块、计算模块和拼接模块依次连接，稠密点云生成系统包括影像接收模块、图像特征点提取模块、干扰物剔除模块和稠密点云制成模块，影像接收模块、图像特征点提取模块、干扰物剔除模块和稠密点云制成模块依次连接。
S1航拍影像包括以下步骤：
S11：根据待测工程所在区域，设定航测范围，同时设定飞行航线，并获得每条航线的绝对航高；
S12：无人机按照规定航线飞行测试，并航拍影像，实时将航拍影像传给地面控制端；
S13：采用多角度拍摄，同时无人机上的相机聚焦水面，并同时将水面以外的地方模糊化，重点采集水面图像数据，也将航拍影像传输给地面控制端。
S2训练神经网络模型：控制端将S1中航拍影像制成射影像图或者正下视图像，并将射影像图或者正下视图像输入神经网络模型，神经网络模型识别水面对象和漏洞区域，所述漏洞检测算法包括获取模块、扫描模块和发送模块，获取模块、扫描模块和发送模块依次连接。
训练神经网络模型包括以下步骤：
S21：DOM影像生成系统生成指定规格大小的射影像图或者正下视图像，并通过DOM影像生成系统将射影像图或者正下视图像输入神经网络模型，初步训练神经网络模型，神经网络模型输出识别水面对象和漏洞区域；
DOM影像生成系统生成射影像图或者正下视图像包括以下步骤：
S211：重叠区确定模块接收多张航拍图像，并分别确定重叠区域，确定区域后，再确定每个重叠区域中每个像素点和中心像素点之间的距离；
S212：由计算模块计算每张航拍图像中像素点之间对应的颜色差值和结构差值，通过颜色差值、结构差值以及每个像素点和中心像素点之间的距离，计算最优缝合线；
S213：拼接模块根据最优缝合线拼接射影像图或者正下视图像，并设定射影像图或者正下视图像的规格大小。
S22：对神经网络模型输出的识别水面对象和漏洞区域进行核实，判断神经网络模型输出的准确性，根据实际输出，计算误差，修改权系数和阀值；
S23：将大批量的射影像图或者正下视图像输入神经网络模型，通过神经网络模型识别水面和漏洞，不断根据实际输出，计算误差值，修改权系数和阀值，直至误差满足要求。
神经网络模型包括性能估计模块、部分选择模块、新神经网络生成模块和最终神经网络输出模块，性能估计模块分别与部分选择模块和新神经网络生成模块电性连接，部分选择模块的输出端与新神经网络生成模块的输入端电性连接，新神经网络生成模块的输出端与最终神经网络输出模块电性连接，神经网络模型具有并行分布处理能力，高度鲁棒性和容错能力，能够分布存储及学习，还能充分逼近复杂的非线性关系，通过不断学习，实现纠错能力的提高。
S3生成稠密点云：控制端将S1中航拍影像通过控制端利用三维实景建模方法重建生成稠密点云；
稠密点云生成系统生成稠密点云包括以下步骤：
S31：影像接收模块接收无人机所拍摄的影像；
S32：并通过图像特征点提取模块提取全景视频帧中的特征点，构建半稠密点云；
S33：由干扰物剔除模块剔除半稠密点云中干扰物的特征点，对半稠密点云进行过滤处理；
S34：在稠密点云制成模块中提取水面聚焦影像中的特征点，添加至半稠密点云中，制成稠密点云，通过图像进行三维点云重建，就是利用相机来采集图像，然后利用计算机视觉和计算机图像学的知识，来生成点云的过程，通过对算法的不断优化改进，三维点云的过程趋于简单和自动化，费用相对较低。
S4输入修复模型：将水面/漏洞区域文件和重建生成的稠密点云输入修复模型中，修复模型对稠密点云漏洞区域进行点云填充；
S5生成三维模型：将修复后的密集点云继续生产，生成最终三维模型。
实施例二：
请参阅图8-图10，基于稠密点云修补三维模型水面漏洞的方法，包括以下步骤：
S1航拍影像：通过航拍设备在设定区域上空拍摄影像，将所拍影像传输至控制端，所述控制端设置有DOM影像生成系统和稠密点云生成系统，DOM影像生成系统包括重叠区确定模块、计算模块和拼接模块，重叠区确定模块、计算模块和拼接模块依次连接，稠密点云生成系统包括影像接收模块、图像特征点提取模块、干扰物剔除模块和稠密点云制成模块，影像接收模块、图像特征点提取模块、干扰物剔除模块和稠密点云制成模块依次连接。
S1航拍影像包括以下步骤：
S11：根据待测工程所在区域，设定航测范围，同时设定飞行航线，并获得每条航线的绝对航高；
S12：无人机按照规定航线飞行测试，并航拍影像，实时将航拍影像传给地面控制端；
S13：采用多角度拍摄，同时无人机上的相机聚焦水面，并同时将水面以外的地方模糊化，重点采集水面图像数据，也将航拍影像传输给地面控制端；
S2输入漏洞检测算法：控制端将S1中航拍影像制成射影像图或者正下视图像，并将射影像图或者正下视图像输入漏洞检测算法中，漏洞检测算法计算漏洞区域，所述漏洞检测算法包括获取模块、扫描模块和发送模块，获取模块、扫描模块和发送模块依次连接。
输入漏洞检测算法包括以下步骤：
S21：DOM影像生成系统生成指定规格大小的射影像图或者正下视图像，并通过DOM影像生成系统将射影像图或者正下视图像输入漏洞检测算法，获取模块接收射影像图或者正下视图像；
DOM影像生成系统生成射影像图或者正下视图像包括以下步骤：
S211：重叠区确定模块接收多张航拍图像，并分别确定重叠区域，确定区域后，再确定每个重叠区域中每个像素点和中心像素点之间的距离；
S212：由计算模块计算每张航拍图像中像素点之间对应的颜色差值和结构差值，通过颜色差值、结构差值以及每个像素点和中心像素点之间的距离，计算最优缝合线；
S213：拼接模块根据最优缝合线拼接射影像图或者正下视图像，并设定射影像图或者正下视图像的规格大小。
S22：扫描模块采用多个漏洞扫描节点对射影像图或者正下视图像进行扫描，发现漏洞后，通知数据收集服务器，数据收集服务器通过发送模块将漏洞区域输出，漏洞检测算法是基于目标的漏洞检测技术，它采用被动的、非破坏性的办法检查系统属性和文件属性，这种技术的实现是运行在一个闭环上，不断地处理文件、系统目标、系统目标属性，然后产生检验数，把这些检验数同原来的检验数相比较，一旦发现改变就通知管理员，相比于神经网络模型，制作成本更低廉。
S3生成稠密点云：控制端将S1中航拍影像通过控制端利用三维实景建模方法重建生成稠密点云；
稠密点云生成系统生成稠密点云包括以下步骤：
S31：影像接收模块接收无人机所拍摄的影像；
S32：并通过图像特征点提取模块提取全景视频帧中的特征点，构建半稠密点云；
S33：由干扰物剔除模块剔除半稠密点云中干扰物的特征点，对半稠密点云进行过滤处理；
S34：在稠密点云制成模块中提取水面聚焦影像中的特征点，添加至半稠密点云中，制成稠密点云，通过图像进行三维点云重建，就是利用相机来采集图像，然后利用计算机视觉和计算机图像学的知识，来生成点云的过程，通过对算法的不断优化改进，三维点云的过程趋于简单和自动化，费用相对较低。
S4输入修复模型：将漏洞区域文件和重建生成的稠密点云输入修复模型中，修复模型对稠密点云漏洞区域进行点云填充；
S5生成三维模型：将修复后的密集点云继续生产，生成最终三维模型。
综上所述：本基于稠密点云修补三维模型水面漏洞的方法，将稠密点云与神经网络结合来进行预测水面对象和修复漏洞，神经网络模型具有并行分布处理能力，高度鲁棒性和容错能力，能够分布存储及学习，还能充分逼近复杂的非线性关系，通过神经网络模型快速定位水面和漏洞区域范围，修复模型能够对缺失的点云信息进行快速填充，将神经网络与稠密点云结合，对水面对象的检测与提取提供了高精度的保障，将修复效率几何级增长可用于G级别到T级别以上大数据量的平面漏洞修复。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.基于稠密点云修补三维模型水面漏洞的方法，其特征在于，包括以下步骤：
S1航拍影像：通过航拍设备在设定区域上空拍摄影像，将所拍影像传输至控制端；
S2训练神经网络模型：控制端将S1中航拍影像制成射影像图或者正下视图像，并将射影像图或者正下视图像输入神经网络模型，神经网络模型识别水面对象和漏洞区域；
S3生成稠密点云：控制端将S1中航拍影像通过控制端利用三维实景建模方法重建生成稠密点云；
S4输入修复模型：将水面/漏洞区域文件和重建生成的稠密点云输入修复模型中，修复模型对稠密点云漏洞区域进行点云填充；
S5生成三维模型：将修复后的密集点云继续生产，生成最终三维模型。
2.如权利要求1所述的基于稠密点云修补三维模型水面漏洞的方法，其特征在于：S1航拍影像包括以下步骤：
S11：根据待测工程所在区域，设定航测范围，同时设定飞行航线，并获得每条航线的绝对航高；
S12：无人机按照规定航线飞行测试，并航拍影像，实时将航拍影像传给地面控制端；
S13：采用多角度拍摄，同时无人机上的相机聚焦水面，并同时将水面以外的地方模糊化，重点采集水面图像数据，也将航拍影像传输给地面控制端。
3.如权利要求2所述的基于稠密点云修补三维模型水面漏洞的方法，其特征在于：所述控制端设置有DOM影像生成系统和稠密点云生成系统，DOM影像生成系统包括重叠区确定模块、计算模块和拼接模块，重叠区确定模块、计算模块和拼接模块依次连接，稠密点云生成系统包括影像接收模块、图像特征点提取模块、干扰物剔除模块和稠密点云制成模块，影像接收模块、图像特征点提取模块、干扰物剔除模块和稠密点云制成模块依次连接。
4.如权利要求3所述的基于稠密点云修补三维模型水面漏洞的方法，其特征在于：所述DOM影像生成系统生成射影像图或者正下视图像包括以下步骤：
S211：重叠区确定模块接收多张航拍图像，并分别确定重叠区域，确定区域后，再确定每个重叠区域中每个像素点和中心像素点之间的距离；
S212：由计算模块计算每张航拍图像中像素点之间对应的颜色差值和结构差值，通过颜色差值、结构差值以及每个像素点和中心像素点之间的距离，计算最优缝合线；
S213：拼接模块根据最优缝合线拼接射影像图或者正下视图像，并设定射影像图或者正下视图像的规格大小。
5.如权利要求3所述的基于稠密点云修补三维模型水面漏洞的方法，其特征在于：所述稠密点云生成系统生成稠密点云包括以下步骤：
S31：影像接收模块接收无人机所拍摄的影像；
S32：并通过图像特征点提取模块提取全景视频帧中的特征点，构建半稠密点云；
S33：由干扰物剔除模块剔除半稠密点云中干扰物的特征点，对半稠密点云进行过滤处理；
S34：在稠密点云制成模块中提取水面聚焦影像中的特征点，添加至半稠密点云中，制成稠密点云。
6.如权利要求1所述的基于稠密点云修补三维模型水面漏洞的方法，其特征在于：S2训练神经网络模型包括以下步骤：
S21：DOM影像生成系统生成指定规格大小的射影像图或者正下视图像，并通过DOM影像生成系统将射影像图或者正下视图像输入神经网络模型，初步训练神经网络模型，神经网络模型输出识别水面对象和漏洞区域；
S22：对神经网络模型输出的识别水面对象和漏洞区域进行核实，判断神经网络模型输出的准确性，根据实际输出，计算误差，修改权系数和阀值；
S23：将大批量的射影像图或者正下视图像输入神经网络模型，通过神经网络模型识别水面和漏洞，不断根据实际输出，计算误差值，修改权系数和阀值，直至误差满足要求。
7.如权利要求6所述的基于稠密点云修补三维模型水面漏洞的方法，其特征在于：所述神经网络模型包括性能估计模块、部分选择模块、新神经网络生成模块和最终神经网络输出模块，性能估计模块分别与部分选择模块和新神经网络生成模块电性连接，部分选择模块的输出端与新神经网络生成模块的输入端电性连接，新神经网络生成模块的输出端与最终神经网络输出模块电性连接。
8.如权利要求1所述的基于稠密点云修补三维模型水面漏洞的方法，其特征在于，还包括以下步骤：
S1航拍影像：通过航拍设备在设定区域上空拍摄影像，将所拍影像传输至控制端；
S2输入漏洞检测算法：控制端将S1中航拍影像制成射影像图或者正下视图像，并将射影像图或者正下视图像输入漏洞检测算法中，漏洞检测算法计算漏洞区域；
S3生成稠密点云：控制端将S1中航拍影像通过控制端利用三维实景建模方法重建生成稠密点云；
S4输入修复模型：将漏洞区域文件和重建生成的稠密点云输入修复模型中，修复模型对稠密点云漏洞区域进行点云填充；
S5生成三维模型：将修复后的密集点云继续生产，生成最终三维模型。
9.如权利要求8所述的基于稠密点云修补三维模型水面漏洞的方法，其特征在于：所述漏洞检测算法包括获取模块、扫描模块和发送模块，获取模块、扫描模块和发送模块依次连接。
10.如权利要求8所述的基于稠密点云修补三维模型水面漏洞的方法，其特征在于：S2输入漏洞检测算法包括以下步骤：
S21：DOM影像生成系统生成指定规格大小的射影像图或者正下视图像，并通过DOM影像生成系统将射影像图或者正下视图像输入漏洞检测算法，获取模块接收射影像图或者正下视图像；
S22：扫描模块采用多个漏洞扫描节点对射影像图或者正下视图像进行扫描，发现漏洞后，通知数据收集服务器，数据收集服务器通过发送模块将漏洞区域输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011468514.1A CN112465977B (zh) | 2020-12-14 | 2020-12-14 | 基于稠密点云修补三维模型水面漏洞的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011468514.1A CN112465977B (zh) | 2020-12-14 | 2020-12-14 | 基于稠密点云修补三维模型水面漏洞的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112465977A CN112465977A (zh) | 2021-03-09 |
| CN112465977B true CN112465977B (zh) | 2022-05-10 |
Family
ID=74804003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011468514.1A Active CN112465977B (zh) | 2020-12-14 | 2020-12-14 | 基于稠密点云修补三维模型水面漏洞的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465977B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808103A (zh) * | 2021-09-16 | 2021-12-17 | 广州大学 | 基于图像处理的路面坑洼自动检测方法、设备和存储介质 |
| CN114155346B (zh) * | 2021-11-19 | 2022-10-11 | 埃洛克航空科技（北京）有限公司 | 用于地形匹配的数据处理方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600686A (zh) * | 2016-12-06 | 2017-04-26 | 西安电子科技大学 | 一种基于多幅未标定图像的三维点云重建方法 |
| CN107341851A (zh) * | 2017-06-26 | 2017-11-10 | 深圳珠科创新技术有限公司 | 基于无人机航拍影像数据的实时三维建模方法及系统 |
| CN108701374A (zh) * | 2017-02-17 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 用于三维点云重建的方法和装置 |
| CN109376579A (zh) * | 2018-08-29 | 2019-02-22 | 浙江农林大学 | 基于无人机正射图像的银杏树冠生物量的预测方法 |
| CN111402414A (zh) * | 2020-03-10 | 2020-07-10 | 北京京东叁佰陆拾度电子商务有限公司 | 一种点云地图构建方法、装置、设备和存储介质 |
-
2020
- 2020-12-14 CN CN202011468514.1A patent/CN112465977B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600686A (zh) * | 2016-12-06 | 2017-04-26 | 西安电子科技大学 | 一种基于多幅未标定图像的三维点云重建方法 |
| CN108701374A (zh) * | 2017-02-17 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 用于三维点云重建的方法和装置 |
| CN107341851A (zh) * | 2017-06-26 | 2017-11-10 | 深圳珠科创新技术有限公司 | 基于无人机航拍影像数据的实时三维建模方法及系统 |
| CN109376579A (zh) * | 2018-08-29 | 2019-02-22 | 浙江农林大学 | 基于无人机正射图像的银杏树冠生物量的预测方法 |
| CN111402414A (zh) * | 2020-03-10 | 2020-07-10 | 北京京东叁佰陆拾度电子商务有限公司 | 一种点云地图构建方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112465977A (zh) | 2021-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427917B (zh) | 用于检测关键点的方法和装置 | |
| CN107679537B (zh) | 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法 | |
| CN108053437B (zh) | 基于体态的三维模型获取方法及装置 | |
| US6987885B2 (en) | Systems and methods for using visual hulls to determine the number of people in a crowd | |
| CN110866531A (zh) | 一种基于三维建模的建筑物特征提取方法、系统及存储介质 | |
| CN106856012B (zh) | 一种实时大规模场景三维扫描建模方法及系统 | |
| CN112465977B (zh) | 基于稠密点云修补三维模型水面漏洞的方法 | |
| CN112634340A (zh) | 基于点云数据确定bim模型的方法、装置、设备和介质 | |
| CN113393577B (zh) | 一种倾斜摄影地形重建方法 | |
| CN113435282B (zh) | 基于深度学习的无人机影像麦穗识别方法 | |
| CN106530407A (zh) | 一种用于虚拟现实的三维全景拼接方法、装置和系统 | |
| CN116051747A (zh) | 一种基于缺失点云数据的房屋三维模型重建方法及设备、介质 | |
| CN110175954A (zh) | 改进的icp点云快速拼接方法、装置、电子设备及存储介质 | |
| Yang et al. | Deep neural network based visual inspection with 3d metric measurement of concrete defects using wall-climbing robot | |
| CN114255285B (zh) | 视频与城市信息模型三维场景融合方法、系统及存储介质 | |
| CN113686314A (zh) | 船载摄像头的单目水面目标分割及单目测距方法 | |
| CN116740288B (zh) | 一种融合激光雷达、倾斜摄影的三维重建方法 | |
| CN117197388A (zh) | 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统 | |
| CN112258647A (zh) | 地图重建方法及装置、计算机可读介质和电子设备 | |
| CN105574844A (zh) | 辐射响应函数估计方法和装置 | |
| Coorg | Pose imagery and automated three-dimensional modeling of urban environments | |
| CN116433822A (zh) | 一种神经辐射场训练方法、装置、设备及介质 | |
| CN115841546A (zh) | 一种场景结构关联的地铁站多视矢量仿真渲染方法及系统 | |
| CN117252914A (zh) | 深度估计网络的训练方法、装置、电子设备及存储介质 | |
| CN110619677B (zh) | 三维流场内粒子重构方法及装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |