CN113436313A - 一种基于无人机的三维重建误差主动修正方法 - Google Patents
一种基于无人机的三维重建误差主动修正方法 Download PDFInfo
- Publication number
- CN113436313A CN113436313A CN202110566991.XA CN202110566991A CN113436313A CN 113436313 A CN113436313 A CN 113436313A CN 202110566991 A CN202110566991 A CN 202110566991A CN 113436313 A CN113436313 A CN 113436313A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- visual field
- dimensional reconstruction
- particle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012937 correction Methods 0.000 title claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 51
- 239000002245 particle Substances 0.000 claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 9
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 230000000694 effects Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 8
- 238000012952 Resampling Methods 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000009827 uniform distribution Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 abstract 1
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于无人机的三维重建误差主动修正方法，包括以下步骤：利用等距正视约束对无人机拍摄轨迹进行规划，以达到期望的三维重建优化效果；通过基于分块深度直方图的改进粒子滤波定位算法对无人机机载相机进行定位；设计一组定量指标来评估实际飞行与期望规划位姿的误差所导致的图像视野损失；根据视野重叠率以及损失函数评分，在无人机采集的图像中挑选关键帧参与重建。本发明采用等距正视约束对无人机重建轨迹进行规划，提出了一种基于深度分块直方图分析的粒子滤波优化方法，来对无人机进行精准定位，并进一步设计了一组定量指标来评估位姿误差导致的图像期望视野损失，并重新选择参与三维重建的关键帧，增强了视觉重建的效果。
Description
技术领域
本发明属于无人机三维重建领域，尤其涉及一种基于无人机的三维重建误差主动修正方法。
背景技术
执行完整的视觉覆盖任务旨在重建复杂的三维野外环境并实现动态更新，最终的呈现结果是带纹理的三维表面模型，使用配备视觉设备的无人机平台可以执行有效的长期区域监视，并同时执行各种广域任务，例如地形重建、场景动态更新、目标搜索和跟踪等。
然而在复杂地形下的无人机视觉覆盖任务中，存在很多挑战。例如由于轨迹跟踪过程中存在噪声、机体晃动等不确定误差，导致无法完全维持摄影测量约束下的规划轨迹来获取图像，进而难以达到约束下重建的最优化效果指标。因此考虑对飞行相机进行精准定位来获取视野损失以指导关键帧的重新选择。
目前，机器人定位问题主要是指借助各种传感器信息来估计环境中某一时刻机器人的姿态和位置，结合视觉辅助信息的各种滤波方法和优化方法被广泛使用，例如借助图优化方法处理IMU与视觉传感融合数据，以及使用扩展卡尔曼滤波方法处理非线性视觉里程计信息等。然而，由于尺寸和重量的限制，高质量的传感器和处理器很难搭载在无人机上。并且由于野外广域环境表面植被往往存在重复性特征，会给图像间特征匹配带来困难，因此一些基于特征点匹配的定位方法也存在较大误差。近年来，深度学习方法也被广泛应用到定位研究中，例如通过搭建神经网络来融合RGBD信息和IMU数据，可以有效地提高定位精度，但这类方法会对数据集有强依赖性。
关键帧选择问题一般考虑几个标准：特征点匹配组的比例、单应性误差、相邻帧重叠率以及重投影误差等。几何鲁棒性信息准则也用于计算加权代价来优化关键帧选择过程，同时对图像的模糊检测也纳入了选择标准中。近年来，光流法被用于检测相关约束是否被满足。但是，大多数研究并没有分析各种约束的特征以及具体的实现程度。尤其是在主动视觉引导下的三维重建图像采集过程中，对于在摄影几何约束下跟踪规划轨迹拍摄得到的图像的实际视野误差，并没有很好地进行监测，从而影响到了关键帧选择的标准。
因此，提出一种基于无人机的三维重建误差主动修正方法，以解决上述问题。
发明内容
为了解决上述技术问题，本发明提供一种基于无人机的三维重建误差主动修正方法，包括以下步骤：
步骤1：利用等距正视约束对无人机拍摄轨迹进行规划，以达到期望的三维重建优化效果；
步骤2：通过基于分块深度直方图的改进粒子滤波定位算法对无人机机载相机进行定位；
步骤3：设计一组定量指标来评估实际飞行与期望规划位姿的误差所导致的图像视野损失；
步骤4：根据视野重叠率以及损失函数评分，在无人机采集的图像中挑选关键帧参与重建。
优选的，所述步骤1中利用等距正视约束对无人机拍摄轨迹进行规划，是利用等距正视约束以及重叠率要求确定空中拍摄点，并以时间最优原则将其串联成轨迹，同时进行平滑处理。
优选的，所述步骤2包括以下步骤：
步骤21：在以规划点为中心的立方体邻域内，以绝对均匀的分布方式进行初始粒子采样；
步骤22：对相机视锥进行建模，计算视锥视野内拍摄到的环境表面对应的深度信息作为粒子滤波过程中的观测量；
步骤23：将每个粒子对应的虚拟相机视野分为四等分，分别计算每个子区域内的深度直方图，并与实际拍摄图像的深度直方图进行相似度计算，其中总相似度为直方图的余弦相似度与值域相似度的加权求和值；
步骤24：将子区域视作彼此独立的，则视野总相似度为四个子相似度的连乘结果；
步骤25：根据归一化前的重要性权值进行粒子重采样，并根据加权平均结果输出当前时刻相机位姿。
优选的，所述步骤3包括以下步骤：
步骤31：以齐次变换矩阵来描述步骤2中得到的的定位结果，即实际轨迹位姿与规划轨迹位姿之间的变换关系；
步骤32：将上述齐次变换矩阵表示为Y-X-Z欧拉角的形式，来表征相机分别绕三个轴的旋转情况以及平移情况；
步骤33：根据视野不同方向的偏移或旋转将视野损失情况进行分类，并对应到相机三个欧拉角的取值情况以及其沿轴平移的情况；
步骤34：以三个角度以及平移量作为变量分别定义每一类的视野损失函数，并对其进行加权求和作为整体的视野损失定量评估。
优选的，所述步骤4包括以下步骤：
步骤41：根据重建的重叠率要求，在无人机采集的图像序列中粗略选取关键帧；
步骤42：对所选出的关键帧进行视野损失评分，若该分数低于设定的标准阈值，则将其剔出关键帧序列，并对其时间邻域内的其他图像帧也进行评分，选取其中分数最高的成为新的关键帧参与三维重建工作；
步骤43：通过SfM、PMVS算法进行图像重建工作，最终输出环境表面的稠密点云模型。
优选的，所述等距正视约束规定了无人机飞行轨迹需满足机载相机始终与环境表面保持等距离拍摄的条件，且相机光轴始终垂直于其延长线和环境表面相交处的切线。
优选的，所述粒子滤波优化算法，是将常规的二维平面有地标应用拓展到三维空间无地标应用，分别从粒子初始采样、权重更新以及粒子重采样三部分进行改进，所述的粒子初始采样，是选择以规划位姿为中心的立方体空间为采样区域，以绝对均匀分布的方式进行粒子初始化；所述权重更新，是基于DEM信息计算得到每个粒子虚拟相机视野内的深度直方图，并以此作为观测量，计算其与实际测量值之间的趋势和值域相似度作为粒子权重；所述粒子重采样骤是当归一化前的权重低于某固定值的粒子数量大于某阈值时进行重采样工作，过程采用轮盘赌模式。
优选的，所述的图像视野损失的定量指标，是以欧拉角变换来表示飞行相机实际位姿与规划位姿之间的差异，从而对水平、竖直、旋转和放缩四个方向的视野损失分类讨论，基于此定义综合损失函数。
与现有技术相比，本发明的有益效果为：
1、本发明利用分块深度直方图之间的趋势和数值相似性作为粒子滤波过程中支持权重更新的观测量，能在无地标和环境表面特征重复性较大的情况下对飞行相机的位姿进行准确估计。
2、本发明中利用欧拉角变换形式表示了相机实际位姿与期望位姿之间的偏差，并将三个角度以及平移量分别对应到图像不同方向上的视野损失中，能够定量地定义视野损失函数。
3、本发明中利用对视野损失的评价函数计算值，在基于一般标准选择的初始关键帧邻域内进行关键帧重新选择，能够较好地达到前期规划所期望的三维重建效果。
附图说明
图1是本发明的视野损失评估与关键帧重新选择方法的结构框图；
图2是本发明的实施例中无人机实际飞行无法准确跟踪规划位姿时的视野损失情况示意图；
图3是本发明的实施例中粒子滤波方法初始采样均匀和绝对均匀分布示意图；
图4是本发明的实施例中相机视锥建模示意图；
图5是本发明的实施例中四等分视野以及深度直方图信息结果示意图；
图6是本发明的实施例中深度直方图相似度特征示意图；
图7是本发明的实施例中视野损失分类示意图。
具体实施方式
以下结合附图对本发明做进一步描述：
实施例：
为验证该方法的有效性，在虚拟仿真平台环境下，进行了飞行相机定位、图像视野损失评估以及关键帧重新选择下的三维重建实验，人为规定可以从商业卫星数据中获取3D静态感兴趣区域的数字高程模型(DEM)并以点云的形式表示，同时前期规划的飞行轨迹是基于等距正视的拍摄约束得到的。
实施例：
如图1、2所示，本实施例将基于该流程检验方法的有效性，包括具体如下步骤：
步骤1：利用等距正视约束对无人机拍摄轨迹进行规划，以达到期望的三维重建优化效果；
步骤2：通过基于分块深度直方图的改进粒子滤波定位算法对无人机机载相机进行定位；
步骤3：设计一组定量指标来评估实际飞行与期望规划位姿的误差所导致的图像视野损失；
步骤4：根据视野重叠率以及损失函数评分，在无人机采集的图像中挑选关键帧参与重建。
具体的，所述步骤1中利用等距正视约束对无人机拍摄轨迹进行规划，是利用等距正视约束以及重叠率要求确定空中拍摄点，并以时间最优原则将其串联成轨迹，同时进行平滑处理。
进一步的，所述步骤2包括以下步骤：
步骤21：与常规的服从高斯分布或均匀分布采样不同，这里选择在以规划点为中心的立方体邻域内，以绝对均匀的分布方式进行初始粒子采样，采样方式如图3所示。
步骤22：为了对环境点云模型建立每时刻粒子对应虚拟相机的视野约束，对相机视锥进行建模，其中视锥被视作正四棱锥，其附着的相机本体坐标系定义为沿光轴向前为Z方向，向右为X方向的右手坐标系，相关符号定义如图4所示：
步骤23：根据步骤22所定义的视锥模型，划分每个粒子对应的虚拟相机视野内拍摄到的环境点云范围，为了建立深度分布与视野内绝对位置的关系，将每个视野作田字形四等分，分别计算深度直方图信息，如图5所示，根据正四棱锥的几何特性，每个四等分子区域有着如下坐标关系：
步骤24：分别计算每个子区域内的深度直方图，并与实际拍摄图像的深度直方图进行相似度计算，以此作为粒子滤波权重更新过程中的观测量；
该相似度包含两部分，如图6所示，一方面是深度直方图的趋势，这里使用余弦相似度进行度量：
其中，Hc、Hp分别为实际拍摄图像以及粒子虚拟相机视野分别对应的深度直方图矢量。
另一方面是深度直方图的深度值域，这里使用直方图矢量计算每个深度区间的比例作为权重，每个区间取其左右两边界的平均值为该区间的深度值，记为矢量Bp、Bc，粒子视野和实际视野对应直方图的加权平均深度值分别为：
则深度值域相似度为在当前粒子位姿下，能观测到实际视野中直方图值域的概率，即将x代入以μ为均值，σ为方差的高斯概率密度函数所得到的值：
将上述两部分相似度加权求和作为视野子区域的总相似度：
ωt＝πcωc+πddb
步骤25：将子区域视作彼此独立的，则视野总相似度为四个子相似度的连乘结果；
步骤26：根据归一化前的重要性权值进行粒子重采样，并根据加权平均结果输出当前时刻相机位姿。
具体的，所述步骤3包括以下步骤：
步骤31：以齐次变换矩阵来描述上述定位结果即实际轨迹位姿{C}与规划轨迹位姿{G}之间的变换关系，其中{W}为世界坐标系：
步骤32：将步骤31所述齐次变换矩阵表示为Y-X-Z欧拉角的形式，来表征相机分别绕三个轴的旋转情况以及平移情况：
计算所得欧拉角为：
θ1＝atan2(r13,r33)；
θ3＝atan2(r21,r22)。
步骤33：根据不同视野方向的偏移或旋转，将视野损失情况分为四类，并对应到相机三个欧拉角的取值情况以及其沿轴平移的情况，如图7所示。具体偏移情况与视野损失分类对应如下：
水平方向：由{G}沿其X轴平移或绕其Y轴旋转造成。当GxC＞0或者θ1＞0时，{G}向左变换，此时视野右侧损失；
竖直方向：由{G}沿其Y轴平移或绕其X轴旋转造成。当GyC＞0或者θ2＜0时，{G}向上变换，此时视野下侧损失；
平面旋转方向：由{G}绕其Z轴旋转造成。当θ3＞0时，{G}顺时针旋转，视野随之顺时针变化；
深度方向：由{G}沿其Z轴平移造成。当GzC＞0时，{G}向靠近环境表面的方向移动，此时视野范围整体缩小，而其中保留的区域所占像素点数量增加，分辨率增大。
步骤34：以三个角度以及平移量作为变量分别定义每一类的视野损失函数，对应C3中的四个方向，令损失函数为Lw(R,t)、Lh(R,t)、Lrotate(R)以及Lscale(t)：
其中αw、αh、αr、αs是相关权重系数，d是期望的当前视野中心深度值，W、H为视野范围的宽和高。
对上述四个函数进行加权求和作为最终的视野损失定量评估：
Ls(R,t)＝α(LW+LH)+βLrorate+γLscale
其中，α、β、γ是权重系数,且满足α＜β＜γ以及2α+β+γ＝1两个条件。
具体的，所述步骤4包括以下步骤：
步骤41：根据重建的重叠率要求，在无人机采集的图像序列中粗略选取关键帧；
步骤42：对所选出的关键帧进行视野损失评分，若该分数低于设定的标准阈值，则将其剔出关键帧序列，并对其时间邻域内的其他图像帧也进行评分，选取其中分数最高的成为新的关键帧参与三维重建工作；
步骤43：通过SfM、PMVS算法进行图像重建工作，最终输出环境表面的稠密点云模型。
在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括至少一个该特征。
在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及等同物限定。
Claims (8)
1.一种基于无人机的三维重建误差主动修正方法，其特征在于，包括以下步骤：
步骤1：利用等距正视约束对无人机拍摄轨迹进行规划，以达到期望的三维重建优化效果；
步骤2：通过基于分块深度直方图的改进粒子滤波定位算法对无人机机载相机进行定位；
步骤3：设计一组定量指标来评估实际飞行与期望规划位姿的误差所导致的图像视野损失；
步骤4：根据视野重叠率以及损失函数评分，在无人机采集的图像中挑选关键帧参与重建。
2.如权利要求1所述的一种基于无人机的三维重建误差主动修正方法，其特征在于，所述步骤1中利用等距正视约束对无人机拍摄轨迹进行规划，是利用等距正视约束以及重叠率要求确定空中拍摄点，并以时间最优原则将其串联成轨迹，同时进行平滑处理。
3.如权利要求1所述的一种基于无人机的三维重建误差主动修正方法，其特征在于，所述步骤2包括以下步骤：
步骤21：在以规划点为中心的立方体邻域内，以绝对均匀的分布方式进行初始粒子采样；
步骤22：对相机视锥进行建模，计算视锥视野内拍摄到的环境表面对应的深度信息作为粒子滤波过程中的观测量；
步骤23：将每个粒子对应的虚拟相机视野分为四等分，分别计算每个子区域内的深度直方图，并与实际拍摄图像的深度直方图进行相似度计算，其中总相似度为直方图的余弦相似度与值域相似度的加权求和值；
步骤24：将子区域视作彼此独立的，则视野总相似度为四个子相似度的连乘结果；
步骤25：根据归一化前的重要性权值进行粒子重采样，并根据加权平均结果输出当前时刻相机位姿。
4.如权利要求1所述的一种基于无人机的三维重建误差主动修正方法，其特征在于，所述步骤3包括以下步骤：
步骤31：以齐次变换矩阵来描述步骤2中得到的的定位结果，即实际轨迹位姿与规划轨迹位姿之间的变换关系；
步骤32：将上述齐次变换矩阵表示为Y-X-Z欧拉角的形式，来表征相机分别绕三个轴的旋转情况以及平移情况；
步骤33：根据视野不同方向的偏移或旋转将视野损失情况进行分类，并对应到相机三个欧拉角的取值情况以及其沿轴平移的情况；
步骤34：以三个角度以及平移量作为变量分别定义每一类的视野损失函数，并对其进行加权求和作为整体的视野损失定量评估。
5.如权利要求1所述的一种基于无人机的三维重建误差主动修正方法，其特征在于，所述步骤4包括以下步骤：
步骤41：根据重建的重叠率要求，在无人机采集的图像序列中粗略选取关键帧；
步骤42：对所选出的关键帧进行视野损失评分，若该分数低于设定的标准阈值，则将其剔出关键帧序列，并对其时间邻域内的其他图像帧也进行评分，选取其中分数最高的成为新的关键帧参与三维重建工作；
步骤43：通过SfM、PMVS算法进行图像重建工作，最终输出环境表面的稠密点云模型。
6.如权利要求1所述的一种基于无人机的三维重建误差主动修正方法，其特征在于，所述等距正视约束规定了无人机飞行轨迹需满足机载相机始终与环境表面保持等距离拍摄的条件，且相机光轴始终垂直于其延长线和环境表面相交处的切线。
7.如权利要求1所述的一种基于无人机的三维重建误差主动修正方法，其特征在于，所述粒子滤波优化算法，是将常规的二维平面有地标应用拓展到三维空间无地标应用，分别从粒子初始采样、权重更新以及粒子重采样三部分进行改进，所述的粒子初始采样，是选择以规划位姿为中心的立方体空间为采样区域，以绝对均匀分布的方式进行粒子初始化；所述权重更新，是基于DEM信息计算得到每个粒子虚拟相机视野内的深度直方图，并以此作为观测量，计算其与实际测量值之间的趋势和值域相似度作为粒子权重；所述粒子重采样骤是当归一化前的权重低于某固定值的粒子数量大于某阈值时进行重采样工作，过程采用轮盘赌模式。
8.如权利要求1所述的一种基于无人机的三维重建误差主动修正方法，其特征在于，所述的图像视野损失的定量指标，是以欧拉角变换来表示飞行相机实际位姿与规划位姿之间的差异，从而对水平、竖直、旋转和放缩四个方向的视野损失分类讨论，基于此定义综合损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110566991.XA CN113436313B (zh) | 2021-05-24 | 2021-05-24 | 一种基于无人机的三维重建误差主动修正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110566991.XA CN113436313B (zh) | 2021-05-24 | 2021-05-24 | 一种基于无人机的三维重建误差主动修正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113436313A true CN113436313A (zh) | 2021-09-24 |
| CN113436313B CN113436313B (zh) | 2022-11-29 |
Family
ID=77802790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110566991.XA Active CN113436313B (zh) | 2021-05-24 | 2021-05-24 | 一种基于无人机的三维重建误差主动修正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113436313B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113947301A (zh) * | 2021-10-13 | 2022-01-18 | 广东巍智科技有限公司 | 海绵城市项目的评估方法、装置、终端设备以及存储介质 |
| CN115031674A (zh) * | 2022-04-28 | 2022-09-09 | 四川大学 | 一种复杂地形下的地表变形监测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130085317A (ko) * | 2012-01-19 | 2013-07-29 | 한국전자통신연구원 | 컬러 히스토그램을 이용한 사람 추적 방법 |
| CN107657660A (zh) * | 2017-09-15 | 2018-02-02 | 南开大学 | 一种基于等距正视摄影测量约束的无人机视觉快速三维重建方法 |
| CN108629797A (zh) * | 2018-04-28 | 2018-10-09 | 四川大学 | 一种基于粒子滤波的视觉目标跟踪方法 |
| CN110211189A (zh) * | 2019-05-21 | 2019-09-06 | 清华大学 | ToF相机深度误差建模校正方法及装置 |
| CN111161395A (zh) * | 2019-11-19 | 2020-05-15 | 深圳市三维人工智能科技有限公司 | 一种人脸表情的跟踪方法、装置及电子设备 |
| CN111369597A (zh) * | 2020-03-09 | 2020-07-03 | 南京理工大学 | 一种基于多特征融合的粒子滤波目标跟踪方法 |
-
2021
- 2021-05-24 CN CN202110566991.XA patent/CN113436313B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130085317A (ko) * | 2012-01-19 | 2013-07-29 | 한국전자통신연구원 | 컬러 히스토그램을 이용한 사람 추적 방법 |
| CN107657660A (zh) * | 2017-09-15 | 2018-02-02 | 南开大学 | 一种基于等距正视摄影测量约束的无人机视觉快速三维重建方法 |
| CN108629797A (zh) * | 2018-04-28 | 2018-10-09 | 四川大学 | 一种基于粒子滤波的视觉目标跟踪方法 |
| CN110211189A (zh) * | 2019-05-21 | 2019-09-06 | 清华大学 | ToF相机深度误差建模校正方法及装置 |
| CN111161395A (zh) * | 2019-11-19 | 2020-05-15 | 深圳市三维人工智能科技有限公司 | 一种人脸表情的跟踪方法、装置及电子设备 |
| CN111369597A (zh) * | 2020-03-09 | 2020-07-03 | 南京理工大学 | 一种基于多特征融合的粒子滤波目标跟踪方法 |
Non-Patent Citations (3)
| Title |
|---|
| 侯荣波: "室内移动机器人的鲁棒视觉 SLAM和自主导航系统研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 张凯: "融合深度数据的人机交互手势识别研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 * |
| 张良桥: "基于单目相机的视觉 SLAM 算法研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113947301A (zh) * | 2021-10-13 | 2022-01-18 | 广东巍智科技有限公司 | 海绵城市项目的评估方法、装置、终端设备以及存储介质 |
| CN115031674A (zh) * | 2022-04-28 | 2022-09-09 | 四川大学 | 一种复杂地形下的地表变形监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113436313B (zh) | 2022-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106651942B (zh) | 基于特征点的三维旋转运动检测与旋转轴定位方法 | |
| JP6681729B2 (ja) | オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム | |
| CN112233177B (zh) | 一种无人机位姿估计方法及系统 | |
| US8340400B2 (en) | Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features | |
| EP2442275A2 (en) | Method and apparatus for three-dimensional image reconstruction | |
| CN113436313B (zh) | 一种基于无人机的三维重建误差主动修正方法 | |
| CN113470090A (zh) | 基于sift-shot特征的多固态激光雷达外参标定方法 | |
| CN110223380B (zh) | 融合航拍与地面视角图像的场景建模方法、系统、装置 | |
| CN109871739B (zh) | 基于yolo-sioctl的机动站自动目标检测与空间定位方法 | |
| CN112365592B (zh) | 一种基于双向高程模型的局部环境特征描述方法 | |
| Müller et al. | Squeezeposenet: Image based pose regression with small convolutional neural networks for real time uas navigation | |
| CN111798453A (zh) | 用于无人驾驶辅助定位的点云配准方法及其系统 | |
| CN109871024A (zh) | 一种基于轻量级视觉里程计的无人机位姿估计方法 | |
| CN107845096B (zh) | 基于图像的行星三维信息测定方法 | |
| CN108369739A (zh) | 物体检测装置和物体检测方法 | |
| CN116921932A (zh) | 焊接轨迹识别方法、装置、设备及存储介质 | |
| CN106767841A (zh) | 基于自适应容积卡尔曼滤波和单点随机抽样的视觉导航方法 | |
| CN110992291A (zh) | 基于三目视觉的测距方法、系统及存储介质 | |
| Bikmaev et al. | Visual Localization of a Ground Vehicle Using a Monocamera and Geodesic-Bound Road Signs | |
| Troiani et al. | 1-point-based monocular motion estimation for computationally-limited micro aerial vehicles | |
| Song et al. | Improved FCM algorithm for fisheye image cluster analysis for tree height calculation | |
| Baker et al. | Limb-based shape modeling and localization for autonomous navigation around small bodies | |
| CN118640878B (zh) | 一种基于航空测绘技术的地形测绘方法 | |
| CN117870652B (zh) | 一种基于雷达、惯性、视觉融合的陆空在线协同定位方法 | |
| Rui et al. | Real-Time obstacle detection based on monocular vision for unmanned surface vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |