CN114485577A - 一种基于视觉的无人机着陆姿态估计方法 - Google Patents
一种基于视觉的无人机着陆姿态估计方法 Download PDFInfo
- Publication number
- CN114485577A CN114485577A CN202111517361.XA CN202111517361A CN114485577A CN 114485577 A CN114485577 A CN 114485577A CN 202111517361 A CN202111517361 A CN 202111517361A CN 114485577 A CN114485577 A CN 114485577A
- Authority
- CN
- China
- Prior art keywords
- image
- matrix
- equation
- dimensional
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 230000009466 transformation Effects 0.000 claims abstract description 34
- 239000003550 marker Substances 0.000 claims abstract description 9
- 238000011084 recovery Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 57
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 230000000875 corresponding effect Effects 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 11
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 10
- 239000000126 substance Substances 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 239000006185 dispersion Substances 0.000 claims 1
- 230000036544 posture Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
Abstract
一种基于视觉的无人机着陆姿态估计方法，使用聚类技术来识别跑道标记，使用边缘检测器和特征检测变换来验证标记是否位于恢复目标，使用优化器来将检测到的标记与三维空间中的坐标进行匹配，使用非线性变换和投影解算器来观察摄像机的位置和方向，使用扩展卡尔曼滤波器获取最优姿态估计；将目标图像、角标记颜色、边缘颜色和跑道目标几何形状作为输入，机载摄像机将提供图像，姿态估计将被传递给摄像机控制器和自动着陆控制器，前者用于调整视场角。
Description
技术领域
本发明涉及无人机，尤其是一种基于视觉的无人机着陆姿态估计方法。
背景技术
目前无人机的姿态估计通常需要使用卫星导航系统，卫星导航系统非常适合中分辨率导航要求，具有RTK功能的更先进的单元提供几英寸量级的精度，甚至在完美的条件下提供更好的精度。然而，这种装置的性能取决于卫星的可用性、动态条件，甚至地理特征。卫星导航系统容易受到干扰，主要来自密集的云层、太阳耀斑以及如树木和建筑物等永久性障碍物，不满足细粒度导航任务的性能要求，例如无人机在跑道、直升机停机坪或网中着陆。此外，无人机经常降落在偏远地区，显然需要着陆辅助设备在不同的天气条件下准确检测跑道，迫切需要对无人机的着陆姿态进行实时监控。
发明内容
本发明为了克服现有技术方案的不足，提供了一种基于视觉的无人机着陆姿态估计方法。
为了实现上述目的，本发明的技术方案为：一种基于视觉的无人机着陆姿态估计方法，使用聚类技术来识别跑道标记，使用边缘检测器和特征检测变换来验证标记是否位于恢复目标，使用优化器来将检测到的标记与三维空间中的坐标进行匹配，使用非线性变换和投影解算器来观察摄像机的位置和方向，使用扩展卡尔曼滤波器获取最优姿态估计。
控制机载摄像机的视场角或变焦，机载摄像机安装在万向架上，无论无人机的方向或位置如何，万向架都将机载摄像机的视角定向在跑道方向。
将目标图像、角标记颜色、边缘颜色和跑道目标几何形状作为输入，机载摄像机将提供图像，姿态估计将被传递给摄像机控制器和自动着陆控制器，前者用于调整视场角。
步骤1、确定坐标系和图像几何约束,
控制机载摄像机的视场角或变焦，机载摄像机安装在万向架上，无论无人机的方向或位置如何，万向架都将机载摄像机的视角定向在跑道方向；
将目标图像、角标记颜色、边缘颜色和跑道目标几何形状作为输入，机载摄像机将提供图像，姿态估计将被传递给摄像机控制器和自动着陆控制器，前者用于调整视场角；
步骤1包括如下步骤：
步骤1.1，归一化；
步骤1.2，建立视场角等式；
步骤2、跑道识别；
在给定图像中选择最佳二维四边形并将目标图像中的四个最终二维点与世界坐标系中的四个三维点相关联；
步骤2包括如下步骤：
步骤2.1、图像对比；
步骤2.2、聚类计算；
步骤2.3、边缘检测；
计算出梯度大小和方向后，进行如下步骤:
步骤2.3.1、确定阈值梯度大小，产生边缘候选二值图像,算法中使用10％总强度的恒定值；
步骤2.3.2、将边缘方向离散成45度的面元；
步骤2.3.3、对于来自步骤2.3.1的图像中的每个像素，如果该像素位于具有一致方向的区域中，则认为是边缘；
步骤2.4、特征检测变换；
步骤2.4、还包括如下步骤：
步骤2.4.1、将特征检测的映射初始化为全零；
步骤2.4.2、每当在图像空间中遇到非零元素时，沿着特征检测变换图中相应的正弦曲线增加值以及最强相关的线位于特征检测变换的峰值处，进行图像的特征检测变换；
步骤2.5、图像过滤；
步骤2.6、二维图像坐标到三维世界坐标的优化；
步骤3、姿态观测；
步骤4、最优姿态估计；
利用扩展卡尔曼滤波和当前姿态观测值，结合无人机姿态和动力学的先验知识，获得无人机真实姿态的近似最优估计的算法；
步骤4包括如下步骤：
步骤4.1,系统动态学；
步骤4.2，预测校正。
本发明与现有技术相比，其有益效果体现在：用于增强和备份基于卫星导航系统的系统，该方法可用于固定翼常规着陆、旋翼直升机停机坪着陆或固定翼网着陆。此外，它可以适用于可选驾驶无人机、飞行员训练设备，甚至其他机器人平台。使用该系统的要求是良好的照明条件、恢复目标清晰的边缘、恢复目标角落的单色标记以及恢复目标物理尺寸和位置的知识。
在实际的测试中，该方法的准确性确保了横向误差在2米以内，纵向误差在0.4米以内，随着跑道进入更大的视野，误差逐渐减小到接近0，其精度水平超过了卫星导航系统。俯仰和滚转的精度保持在0.1度以内，摆动角具有大约-0.75度的一致偏差，远远优于其他方法。算法的准确性已经在一组2米宽的跑道上的得到验证，横向误差在1.2厘米以内，纵向误差在1厘米以内，当跑道进入更大视野时，高度误差表现出接近0，对于小的下滑角，高度灵敏度比横向位置灵敏度低得多，位置估计误差很小，可以归因于系统误差，该系统误差涉及在使用跟踪设备拍照时在机载摄像机上呈现不对称的力。欧拉角的误差比合成试验中的要大一些，滚转误差可达1.2度，俯仰误差可达0.6度。同样，航向角呈现出轻微的负偏差。
附图说明
图1为本发明的流程框图；
具体实施方式
下面结合附图与实施例对本发明作进一步的说明。
一种基于视觉的无人机着陆姿态估计方法，该方法用于增强或支持卫星导航系统，作为无人机着陆期间的主要导航手段，使用聚类技术来识别跑道标记，使用边缘检测器和特征检测变换来验证标记是否位于恢复目标，使用优化器来将检测到的标记与三维空间中的坐标进行匹配，使用非线性变换和投影解算器来观察摄像机的位置和方向，使用扩展卡尔曼滤波器改进姿态估计。
该方法所提出的算法给出了比现有视觉系统更好的姿态估计。
该方法包括：
步骤1、确定坐标系和图像几何约束,
控制机载摄像机的视场角或变焦，机载摄像机安装在万向架上，无论无人机的方向或位置如何，万向架都将机载摄像机的视角定向在跑道方向。
将目标图像、角标记颜色、边缘颜色和跑道目标几何形状作为输入，机载摄像机将提供图像，姿态估计将被传递给摄像机控制器和自动着陆控制器，前者用于调整视场角。
步骤1包括如下步骤：
步骤1.1，归一化
显示用于图像几何的约束，表明垂直和水平两个方向上视场角的约束，以及用于在垂直和水平方向上归一化区间[-1，1]上的每个图像的归一化界面坐标，归一化等式如下：
其中，xndc为归一化界面x坐标，yndc为归一化界面y坐标，ximg为图像x坐标，yimg为图像y坐标w为图像宽度，h为图像高度
步骤1.2，建立视场角等式，
建立x和y方向的视场角等式，
其中，fovx为图像x方向上的机载摄像机视场角，fovy图像y方向上的机载摄像机视场角，d为分隔近平面和远平面的距离，
y方向上的视场根据x方向上的视场和图像纵横比来求解，有助于约束之间进行转换，如下所示
其中，
为图像纵横比；
步骤2、跑道识别
在给定图像中选择最佳二维四边形并将目标图像中的四个最终二维点与世界坐标系中的四个三维点相关联；
步骤2包括如下步骤：
步骤2.1、图像对比
基于感兴趣的颜色从目标图像计算高对比度图像，生成两个和方误差图像，一个和方误差来自目标标记颜色，一个和方误差来自目标边缘颜色。
大大减少了算法后期必须解决的空间误差问题。
计算图像I中由<r，g，b>定义的目标颜色的和方误差，如下所示：
其中，
表示第i行第j列像素的目标整体颜色的和方误差，
表示第i行第j列像素的红色分量，
表示第i行第j列像素的绿色分量，
表示第i行第j列像素的蓝色分量，r，g，b为分别为图像I整体红色、绿色和蓝色的均值。
步骤2.2、聚类计算
根据步骤2.1
确定目标图像，并找出目标图像的哪些像素属于连续的候选标记，并返回每个结果聚类的中心坐标，聚类的子集将以二维屏幕坐标呈现，其坐标被映射到三维世界坐标并被传递给姿态估计器，有以下输入:来自目标标记颜色的图像阈值，聚类的搜索半径，输出一组具有x和y图像空间坐标的聚类。
对目标图像进行阈值化，迭代通过每个超过阈值的像素，如果该像素在一个聚类的附近，在该聚类中任何其他像素的搜索半径内，则该像素被添加到该聚类，如果该像素不属于现有的聚类，则创建一个新的聚类，其中像素是唯一的成员，像素都从阈值集中按照阈值集中移除，计算每个聚类的平均值；
步骤2.3,边缘检测
边缘检测定位目标图像，边缘检测依靠目标图像的梯度大小和梯度方向来定位边缘，将高斯与导数结合使用，以减少生成的边缘图中的噪声。边缘检测的输入是高斯算子使用的标准偏差值、线强度使用的最小阈值以及目标图像本身。二维高斯函数G(x,y)由如下等式给出。
其中，
分别为高斯平滑器在x、y方向的标准偏差，
取x和y的偏导数，得到如下等式：
其中，Gx(x,y)，Gy(x,y)分别为二维高斯函数G(x,y)在x、y偏导函数，
将图像I(x,y)与由G(x,y)的两个偏导数生成的图像进行卷积，以生成x方向和y方向上的图像梯度，使用卷积定理，卷积由如下等式给出，
*表示卷积，
为傅里叶变换，ωυ分别为与x,y向对应的傅立叶变换中的频率,
分别对x和y方向上的二维高斯偏导数进行傅里叶变换
得到等式，如下所示，
总梯度大小IGM(x,y)和梯度方向IGD(x,y)由如下等式给出，
IGD(x,y)＝arctan2((I(x,y)*Gy(x,y)，(I(x,y)*Gx(x,y))
计算出梯度大小和方向后，进行如下步骤:
步骤2.3.1,确定阈值梯度大小，产生边缘候选二值图像,算法中使用10％总强度的恒定值；
步骤2.3.2,将边缘方向离散成45度的面元；
步骤2.3.3,对于来自步骤2.3.1的图像中的每个像素，如果该像素位于具有一致方向的区域中，则认为是边缘；
步骤2.4特征检测变换
对步骤2.3边缘检测的输出执行特征检测变换，特征检测变换针对二进制图像，并返回一个图像，该图像指示图像中特征最显著的线的位置，通过将图像空间中的每个点视为特征检测空间中的正弦曲线来处理，特征检测空间中具有许多正弦曲线交点的区域对应于图像空间中的强相关线，图像空间中的点到特征检测空间中的正弦曲线的映射由如下等式给出：
ρ＝xcosφ+ysinφ
其中，ρ为特征检测变换中的半径，φ为特征检测变换中的角方向；
步骤2.4还包括如下步骤：
步骤2.4.1,将特征检测的映射初始化为全零；
步骤2.4.2,每当在图像空间中遇到非零元素时，沿着特征检测变换图中相应的正弦曲线增加值以及最强相关的线位于特征检测变换的峰值处，进行图像的特征检测变换；
步骤2.5图像过滤
为了减少图像中候选标记的数量，使用图像过滤来检查标记与强边缘的接近度，给定候选标记A，通过图像过滤，存在标记B，使得由AB形成的线C基本上与跑道边缘共线。
图像过滤具有以下输入:一组输入候选标记、特征检测变换、特征检测变换中的φandρvalues范围、归一化间隔[0，1]上的最小线强度以及以像素为单位的搜索半径。
由图像空间中的两个候选标记形成的线通过找到以下等式组的解而在特征检测空间中找到:
x1cosφ+y1sinφ＝ρ
x2cosφ+y2sinφ＝ρ
x1 y1和x2 y2分别为两个候选标所在坐标，
改写为:
给出如下解:
B＝A-1C
φ＝cot-1(B)
ρ＝Bsin(φ)
步骤2.6二维图像坐标到三维世界坐标的优化，
在执行姿态观察之前，算法的最后一步是将前一步中的二维聚类坐标与真实的三维世界坐标进行匹配。该步骤依赖于先验知识来执行优化。给定先前的映射
新的最佳映射最小化了前一组二维点和新的一组二维点之间的平方和距离，保持如下式所示的顺序，
步骤3、姿态观测
根据二维四边形和相应的三维几何形状估计欧拉角和局部位置，姿态观测算法负责获取姿态的初始估计值、机载摄像机的纵横比和视场角、归一化界面坐标列表以及这些点的相应物理坐标，并获得观测者姿态的最佳估计值，
常数是:AR，机载摄像机的长宽比；fovy，摄像机的视野角度；动态输入为:二维聚类坐标与真实的三维世界坐标的映射，观测者姿态的初始估计、观测者方向的三个欧拉角、从图像原点开始的三维位移向量。
建立方程组，使用欧拉角和平移向量将三维点投影到二维图像上，机载摄像机安装在无人机重心处，垂直放置，z轴指向无人机前方，x轴指向右舷翼展方向，通过旋转或平移矩阵用来解释无人机重心和机载摄像机位置之间的差异，所用的变换矩阵假设x方向最初指向右侧，y方向指向上方，初始化变换矩阵需要考虑必要的旋转，必要的旋转是围绕y轴和x轴旋转90度进行的，如下式所示：
其中，Ry为y轴旋转矩阵Rx为x轴旋转矩阵
欧拉旋转矩阵是航空航天坐标系的标准，如等式所示，
RΦ为滚动角旋转矩阵；Φ为滚动角；RΘ为俯仰角旋转矩阵Θ为俯仰角；RΨ为航向角旋转矩阵；Ψ为航向角；
平移矩阵T将摄像机移动到原点，如下所示：
其中，T为平移矩阵；bx by bz分别为世界坐标系中的机载摄像机机身x、y、z坐标
等式给出了投影矩阵P，znear和zfar参数，区间[-1，1]上的归一化z坐标表示观察体积内的几何形状。由于没有可用的深度信息，并且不使用z坐标，该信息对于投影矩阵P有如下表示：
P为投影矩阵，znear和zfar分别为远场和近场姿态观察，将所有这些矩阵以适当的顺序组合起来，得到：
M＝P×Ry×Rx×RΦ×RΘ×RΨ×T
M为变换矩阵，就可以将对象坐标(即世界坐标系中的三维跑道坐标)变换为裁剪坐标，如下式所示
xclip yclip zclip为裁剪坐标，wclip为裁剪w坐标，xobj yobj zobj为对象坐标；
通过投影操作将裁剪坐标转换为归一化界面坐标，将物体坐标正向投影到观察平面上，如下式所示：
得到的非线性等式组用牛顿法以自适应步长求解，最终得到的等式是非常非线性的，在总体上是局部线性的，计算雅可比矩阵，如下式所示：
雅可比矩阵J中的12个唯一项中的每一个进行分析计算，通过计算雅可比，将应用等式收敛到一个解，该点对应的世界坐标，迭代该等式，直到收敛达到合理的容差；
κ为自适应步长常数，基于方程组近似局部线性，变换等式在任意欧拉角的π/6弧度变化范围内和任意距离变化范围内大致呈线性，寻找接近初始条件的解，并从整体上提高求解器的稳定性，κ的表达式在如下所示：
求解该系统只需要三个二维点，推广到过约束系统，产生最小二乘意义上的最优解，从而提高解的精度以及算法实现的收敛特性，使用雅可比矩阵J
的奇异值分解来计算，J的奇异值分解如下所示：
J+＝VΣ+UT
其中，J+为J的奇异值,U和V分别为酉矩阵，Σ是对角矩阵，Σ+是通过取矩阵每个对角元素的标量倒数给出的，用于求解系统在区间[3，∞]上的二维点的数量；
步骤4、最优姿态估计
利用扩展卡尔曼滤波和当前姿态观测值，结合无人机姿态和动力学的先验知识，获得无人机真实姿态的近似最优估计的算法；
步骤4包括如下步骤：
步骤4.1,系统动态学
无人机动力学等式式被设计用于模拟运动，目标是提供一个模拟平台，用于模拟无人机的轨迹，而不会被真实无人机动力学的细节所拖累。使用一组简化的动态特性，更容易调整扩展卡尔曼滤波器。
所讨论的动力学集合是使用以下假设开发的:无人机总是朝着无人机机头的方向飞行:即没有迎角或侧滑角；无人机的总前进速度是恒定的。三个控制输入直接和瞬时影响欧拉角。无人机在进场时的轨迹用这组动力学来模拟，该算法可以跟踪飞行中运动物体的轨迹。则系统动力学等式如下式所示。
其中
分别为Φ、Θ、Ψ、bx、by、by的一阶导数，U为无人机总速度，uΦ为滚动速率控制输入；uΘ为俯仰速率控制输入；uΨ为横摆率控制输入ΔT为间隔时间；
步骤4.2，预测校正
包括两个步骤:预测步骤和校正步骤，
预测步骤通过如下等式实现：
其中，
为第k步的最佳姿态估计；Γk为第k步的
为第k步的输入矢量；Pk为第k步的透视矩阵Φk为第k步的透视矩阵Qk为过程噪声协方差；(-)表示当前步的负向侧。
最佳卡尔曼增益K使用如下公式计算.然后使用相应等式执行校正，
Kk为第k步的卡尔曼增益，Hk为第k步的卡尔曼观察矩阵，Rk为第k步的测量噪声协方差矩阵；(+)表示当前步的正向侧zk为第k步的姿态观测向量，
下式实现了转移矩阵的离散化，
测量矩阵Hk如下等式所示形成,
其中，h为测量函数
由于上述的输出为欧拉角和笛卡尔坐标，因此没有对U的直接观测。因此，离散测量等式变成等式
其中，
分别为zk、xk、vk线性离散量，
求解Q过程噪声协方差和R测量噪声协方差，Q和R是如下所示等式中的常数矩阵，在无限长的时间内，过程噪声的方差是测量噪声的1/10，并且所有噪声完全不相关，会产生良好的结果，
在每次测试中，算法给出的观测值从未差于横向位置跑道总长度的0.48％或垂直位置跑道总长度的0.44％。事实上，当机载摄像机接近跑道时，观测通常会变得更好，卡尔曼滤波器大大改善了系统的跟踪。将图像精度数字应用于大约457.2米的更典型的无人机跑道长度，并且在所有其他条件相同的情况下，那么在最坏的情况下，位置精度可以预期在1.5米之内，并且当无人机接近阈值时，通过更精确的标记、对标记质心检测的轻微修改以及对真实视场角的更好了解，甚至可以实现更好的位置估计。这种水平的位置精度对于无人机自动着陆来说肯定是足够的。
以上所述实施方式仅表达了本发明的一种实施方式，但并不能因此而理解为对本发明范围的限制。应当指出，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (10)
1.一种基于视觉的无人机着陆姿态估计方法，使用聚类技术来识别跑道标记，使用边缘检测器和特征检测变换来验证标记是否位于恢复目标，使用优化器来将检测到的标记与三维空间中的坐标进行匹配，使用非线性变换和投影解算器来观察摄像机的位置和方向，使用扩展卡尔曼滤波器获取最优姿态估计；将目标图像、角标记颜色、边缘颜色和跑道目标几何形状作为输入，机载摄像机将提供图像，姿态估计将被传递给摄像机控制器和自动着陆控制器，前者用于调整视场角；
步骤1、确定坐标系和图像几何约束,
步骤1包括如下步骤：
步骤1.1，归一化；
步骤1.2，建立视场角等式；
步骤2、跑道识别；
在给定图像中选择最佳二维四边形并将目标图像中的四个最终二维点与世界坐标系中的四个三维点相关联；
步骤2包括如下步骤：
步骤2.1、图像对比；
步骤2.2、聚类计算；
步骤2.3、边缘检测；
计算出梯度大小和方向后，进行如下步骤:
步骤2.3.1、确定阈值梯度大小，产生边缘候选二值图像,算法中使用10％总强度的恒定值；
步骤2.3.2、将边缘方向离散成45度的面元；
步骤2.3.3、对于来自步骤2.3.1的图像中的每个像素，如果该像素位于具有一致方向的区域中，则认为是边缘；
步骤2.4、特征检测变换；
步骤2.4还包括如下步骤：
步骤2.4.1、将特征检测的映射初始化为全零；
步骤2.4.2、每当在图像空间中遇到非零元素时，沿着特征检测变换图中相应的正弦曲线增加值以及最强相关的线位于特征检测变换的峰值处，进行图像的特征检测变换；
步骤2.5、图像过滤；
步骤2.6、二维图像坐标到三维世界坐标的优化；
步骤3、姿态观测；
步骤4、最优姿态估计；
利用扩展卡尔曼滤波和当前姿态观测值，结合无人机姿态和动力学的先验知识，获得无人机真实姿态的近似最优估计的算法；
步骤4包括如下步骤：
步骤4.1,系统动态学；
步骤4.2，预测校正。
2.根据权利要求1所述的一种基于视觉的无人机着陆姿态估计方法，其特征在于步骤1.1具体为：
显示用于图像几何的约束，表明垂直和水平两个方向上视场角的约束，以及用于在垂直和水平方向上归一化区间[-1，1]上的每个图像的归一化界面坐标，归一化等式如下：
其中，xndc为归一化界面x坐标，yndc为归一化界面y坐标，ximg为图像x坐标，yimg为图像y坐标，w为图像宽度，h为图像高度。
3.根据权利要求1所述的一种基于视觉的无人机着陆姿态估计方法，其特征在于步骤1.2具体为：
建立x和y方向的视场角等式，
其中，fovx为图像x方向上的机载摄像机视场角，fovy图像y方向上的机载摄像机视场角，d为分隔近平面和远平面的距离，
y方向上的视场根据x方向上的视场和图像纵横比来求解，如下所示，
其中，
为图像纵横比。
4.根据权利要求1所述的一种基于视觉的无人机着陆姿态估计方法，其特征在于步骤2.1具体为：
基于感兴趣的颜色从目标图像计算高对比度图像，生成两个和方误差图像，一个和方误差来自目标标记颜色，一个和方误差来自目标边缘颜色；
计算图像I中由<r，g，b>定义的目标颜色的和方误差，如下所示：
其中，
表示第i行第j列像素的目标整体颜色的和方误差，
表示第i行第j列像素的红色分量，
表示第i行第j列像素的绿色分量，
表示第i行第j列像素的蓝色分量，r，g，b为分别为图像I整体红色、绿色和蓝色的均值。
5.根据权利要求4所述的一种基于视觉的无人机着陆姿态估计方法，其特征在于步骤2.2具体为：
根据步骤2.1
确定目标图像，并找出目标图像的哪些像素属于连续的候选标记，并返回每个结果聚类的中心坐标，聚类的子集将以二维屏幕坐标呈现，其坐标被映射到三维世界坐标并被传递给姿态估计器，有以下输入:来自目标标记颜色的图像阈值，聚类的搜索半径，输出一组具有x和y图像空间坐标的聚类；
对目标图像进行阈值化，迭代通过每个超过阈值的像素，如果该像素在一个聚类的附近，在该聚类中任何其他像素的搜索半径内，则该像素被添加到该聚类，如果该像素不属于现有的聚类，则创建一个新的聚类，其中像素是唯一的成员，像素都从阈值集中按照阈值集中移除，计算每个聚类的平均值。
6.根据权利要求1所述的一种基于视觉的无人机着陆姿态估计方法，其特征在于步骤2.3具体为：边缘检测定位目标图像，边缘检测依靠目标图像的梯度大小和梯度方向来定位边缘，将高斯与导数结合使用，边缘检测的输入是高斯算子使用的标准偏差值、线强度使用的最小阈值以及目标图像本身，二维高斯函数G(x,y)由如下等式给出：
其中，
分别为高斯平滑器在x、y方向的标准偏差，
取x和y的偏导数，得到如下等式：
其中，Gx(x,y)，Gy(x,y)分别为二维高斯函数G(x,y)在x、y偏导函数，
将图像I(x,y)与由G(x,y)的两个偏导数生成的图像进行卷积，以生成x方向和y方向上的图像梯度，卷积由如下等式给出，
其中，*表示卷积，
为傅里叶变换，ω、υ分别为与x,y向对应的傅立叶变换中的频率,
分别对x和y方向上的二维高斯偏导数进行傅里叶变换
得到等式，如下所示，
总梯度大小IGM(x,y)和梯度方向IGD(x,y)由如下等式给出，
IGD(x,y)＝arctan2((I(x,y)*Gy(x,y)，(I(x,y)*Gx(x,y))。
7.根据权利要求6所述的一种基于视觉的无人机着陆姿态估计方法，其特征在于步骤2.4具体为：
对步骤2.3边缘检测的输出执行特征检测变换，特征检测变换针对二进制图像，并返回一个图像，该图像指示图像中特征最显著的线的位置，通过将图像空间中的每个点视为特征检测空间中的正弦曲线来处理，特征检测空间中具有许多正弦曲线交点的区域对应于图像空间中的强相关线，图像空间中的点到特征检测空间中的正弦曲线的映射由如下等式给出：
ρ＝xcosφ+ysinφ，
其中，ρ为特征检测变换中的半径，φ为特征检测变换中的角方向。
8.根据权利要求1所述的一种基于视觉的无人机着陆姿态估计方法，其特征在于步骤3具体为：根据二维四边形和相应的三维几何形状估计欧拉角和局部位置，姿态观测算法负责获取姿态的初始估计值、机载摄像机的纵横比和视场角、归一化界面坐标列表以及这些点的相应物理坐标，并获得观测者姿态的最佳估计值。算法中的常数是:AR，机载摄像机的长宽比；fovy，摄像机的视野角度；动态输入为:二维聚类坐标与真实的三维世界坐标的映射，观测者姿态的初始估计、观测者方向的三个欧拉角、从图像原点开始的三维位移向量；
建立方程组，使用欧拉角和平移向量将三维点投影到二维图像上，机载摄像机安装在无人机重心处，垂直放置，z轴指向无人机前方，x轴指向右舷翼展方向，通过旋转或平移矩阵用来解释无人机重心和机载摄像机位置之间的差异，所用的变换矩阵假设x方向最初指向右侧，y方向指向上方，初始化变换矩阵需要考虑必要的旋转，必要的旋转是围绕y轴和x轴旋转90度进行的，如下式所示：
其中，Ry为y轴旋转矩阵Rx为x轴旋转矩阵
欧拉旋转矩阵是航空航天坐标系的标准，如等式所示，
RΦ为滚动角旋转矩阵；Φ为滚动角；RΘ为俯仰角旋转矩阵Θ为俯仰角；RΨ为航向角旋转矩阵；Ψ为航向角。
平移矩阵T将摄像机移动到原点，如下所示：
其中，T为平移矩阵；bx by bz分别为世界坐标系中的机载摄像机机身x、y、z坐标
等式给出了投影矩阵P，znear和zfar参数，区间[-1，1]上的归一化z坐标表示观察体积内的几何形状。由于没有可用的深度信息，并且不使用z坐标，该信息对于投影矩阵P有如下表示：
P为投影矩阵，znear和zfar分别为远场和近场姿态观察，将所有这些矩阵以适当的顺序组合起来，得到：
M＝P×Ry×Rx×RΦ×RΘ×RΨ×T，
M为变换矩阵，将对象坐标变换为裁剪坐标，如下式所示：
xclip yclip zclip为裁剪坐标，wclip为裁剪w坐标，xobj yobj zobj为对象坐标；
通过投影操作将裁剪坐标转换为归一化界面坐标，将物体坐标正向投影到观察平面上，如下式所示：
得到的非线性等式组用牛顿法以自适应步长求解，最终得到的等式是非常非线性的，在总体上是局部线性的，计算雅可比矩阵，如下式所示：
雅可比矩阵J中的12个唯一项中的每一个进行分析计算，通过计算雅可比，将应用等式收敛到一个解，该点对应的世界坐标，迭代该等式，直到收敛达到合理的容差，通常迭代5到10次，对于初始条件较好的后续观测，迭代2-3次，
κ为自适应步长常数，基于方程组近似局部线性，变换等式在任意欧拉角的π/6弧度变化范围内和任意距离变化范围内大致呈线性，寻找接近初始条件的解，并从整体上提高求解器的稳定性。κ的表达式在如下所示：
求解该系统只需要三个二维点，，推广到过约束系统，产生最小二乘意义上的最优解，从而提高解的精度以及算法实现的收敛特性，伪逆使用雅可比矩阵的奇异值分解来计算，J的奇异值分解如下所示：
J+＝VΣ+UT，
其中，J+为J的奇异值,U和V分别为酉矩阵，Σ是对角矩阵，Σ+是通过取矩阵每个对角元素的标量倒数给出的，可用于求解系统在区间[3，∞]上的二维点的数量。
9.根据权利要求1所述的一种基于视觉的无人机着陆姿态估计方法，其特征在于步骤4.1具体为:
无人机动力学等式式被设计用于模拟运动，目标是提供一个模拟平台，用于模拟无人机的轨迹，而不会被真实无人机动力学的细节所拖累。使用一组简化的动态特性，更容易调整扩展卡尔曼滤波器。
所讨论的动力学集合是使用以下假设开发的:无人机总是朝着无人机机头的方向飞行:即没有迎角或侧滑角；无人机的总前进速度是恒定的。三个控制输入直接和瞬时影响欧拉角。无人机在进场时的轨迹用这组动力学来模拟，该算法可以跟踪飞行中运动物体的轨迹。则系统动力学等式如下式所示。
其中
分别为Φ、Θ、Ψ、bx、by、by的一阶导数，U为无人机总速度，uΦ为滚动速率控制输入；uΘ为俯仰速率控制输入；uΨ为横摆率控制输入ΔT为间隔时间。
10.根据权利要求1所述的一种基于视觉的无人机着陆姿态估计方法，其特征在于步骤4.2具体为:
包括两个步骤:预测步骤和校正步骤，
预测步骤通过如下等式实现：
其中，
为第k步的最佳姿态估计；Γk为第k步的
为第k步的输入矢量；Pk为第k步的透视矩阵Φk为第k步的透视矩阵Qk为过程噪声协方差；(-)表示当前步的负向侧；
最佳卡尔曼增益K使用如下公式计算.然后使用相应等式执行校正，
Kk为第k步的卡尔曼增益，Hk为第k步的卡尔曼观察矩阵，Rk为第k步的测量噪声协方差矩阵；(+)表示当前步的正向侧；zk为第k步的姿态观测向量，
下式实现了转移矩阵的离散化，
测量矩阵Hk如下等式所示,
其中，h为测量函数,
离散测量等式如下式所示，
其中，
分别为zk、xk、vk线性离散矩阵，
求解Q过程噪声协方差和R测量噪声协方差，Q和R是如下所示等式中的常数矩阵，在无限长的时间内，过程噪声的方差是测量噪声的1/10，并且所有噪声完全不相关；
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111517361.XA CN114485577B (zh) | 2021-12-13 | 2021-12-13 | 一种基于视觉的无人机着陆姿态估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111517361.XA CN114485577B (zh) | 2021-12-13 | 2021-12-13 | 一种基于视觉的无人机着陆姿态估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114485577A true CN114485577A (zh) | 2022-05-13 |
| CN114485577B CN114485577B (zh) | 2024-04-12 |
Family
ID=81492443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111517361.XA Active CN114485577B (zh) | 2021-12-13 | 2021-12-13 | 一种基于视觉的无人机着陆姿态估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114485577B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105405165A (zh) * | 2015-10-21 | 2016-03-16 | 北京航空航天大学 | 一种通用型无人机飞行中地貌分析及迫降区域提取仿真系统 |
| CN105501457A (zh) * | 2015-12-16 | 2016-04-20 | 南京航空航天大学 | 基于红外视觉的固定翼无人机自动着陆引导方法及系统 |
| CN108873917A (zh) * | 2018-07-05 | 2018-11-23 | 太原理工大学 | 一种面向移动平台的无人机自主着陆控制系统及方法 |
| WO2019029099A1 (zh) * | 2017-08-11 | 2019-02-14 | 浙江大学 | 基于图像梯度联合优化的双目视觉里程计算方法 |
| CN109341700A (zh) * | 2018-12-04 | 2019-02-15 | 中国航空工业集团公司西安航空计算技术研究所 | 一种低能见度下固定翼飞机视觉辅助着陆导航方法 |
| WO2020087846A1 (zh) * | 2018-10-31 | 2020-05-07 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
-
2021
- 2021-12-13 CN CN202111517361.XA patent/CN114485577B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105405165A (zh) * | 2015-10-21 | 2016-03-16 | 北京航空航天大学 | 一种通用型无人机飞行中地貌分析及迫降区域提取仿真系统 |
| CN105501457A (zh) * | 2015-12-16 | 2016-04-20 | 南京航空航天大学 | 基于红外视觉的固定翼无人机自动着陆引导方法及系统 |
| WO2019029099A1 (zh) * | 2017-08-11 | 2019-02-14 | 浙江大学 | 基于图像梯度联合优化的双目视觉里程计算方法 |
| CN108873917A (zh) * | 2018-07-05 | 2018-11-23 | 太原理工大学 | 一种面向移动平台的无人机自主着陆控制系统及方法 |
| WO2020087846A1 (zh) * | 2018-10-31 | 2020-05-07 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
| CN109341700A (zh) * | 2018-12-04 | 2019-02-15 | 中国航空工业集团公司西安航空计算技术研究所 | 一种低能见度下固定翼飞机视觉辅助着陆导航方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114485577B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mondragón et al. | 3D pose estimation based on planar object tracking for UAVs control | |
| US9542600B2 (en) | Cloud feature detection | |
| Sharp et al. | A vision system for landing an unmanned aerial vehicle | |
| CN106097304B (zh) | 一种无人机实时在线地图生成方法 | |
| CN108225327B (zh) | 一种顶标地图的构建与定位方法 | |
| Coutard et al. | Visual detection and 3D model-based tracking for landing on an aircraft carrier | |
| CN111413708A (zh) | 基于激光雷达的无人机自主识别着陆选址方法 | |
| Nguyen et al. | Vision-based qualitative path-following control of quadrotor aerial vehicle | |
| Fan et al. | Vision algorithms for fixed-wing unmanned aerial vehicle landing system | |
| Oszust et al. | A vision-based method for supporting autonomous aircraft landing | |
| Martínez et al. | Towards autonomous air-to-air refuelling for UAVs using visual information | |
| Wang et al. | A visual navigation framework for the aerial recovery of UAVs | |
| JP2017524932A (ja) | ビデオ支援着艦誘導システム及び方法 | |
| Garcia et al. | Real-time navigation for drogue-type autonomous aerial refueling using vision-based deep learning detection | |
| Deng et al. | A binocular vision-based measuring system for UAVs autonomous aerial refueling | |
| Li et al. | Metric sensing and control of a quadrotor using a homography-based visual inertial fusion method | |
| Silva et al. | Saliency-based cooperative landing of a multirotor aerial vehicle on an autonomous surface vehicle | |
| Mansur et al. | Real time monocular visual odometry using optical flow: study on navigation of quadrotors UAV | |
| CN114485577B (zh) | 一种基于视觉的无人机着陆姿态估计方法 | |
| Trisiripisal et al. | Stereo analysis for vision-based guidance and control of aircraft landing | |
| Vendra et al. | Addressing corner detection issues for machine vision based UAV aerial refueling | |
| CN113436276B (zh) | 基于视觉相对定位的多无人机编队方法 | |
| Roozing et al. | Low-cost vision-based 6-DOF MAV localization using IR beacons | |
| Yuan et al. | A method of vision-based state estimation of an unmanned helicopter | |
| Mathur et al. | A generalized kalman filter augmented deep-learning based approach for autonomous landing in mavs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |