CN111968128B - 一种基于图像标记的无人机视觉姿态和位置解算方法 - Google Patents

一种基于图像标记的无人机视觉姿态和位置解算方法 Download PDF

Info

Publication number
CN111968128B
CN111968128B CN202010659969.5A CN202010659969A CN111968128B CN 111968128 B CN111968128 B CN 111968128B CN 202010659969 A CN202010659969 A CN 202010659969A CN 111968128 B CN111968128 B CN 111968128B
Authority
CN
China
Prior art keywords
coordinate system
point
image
coordinates
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010659969.5A
Other languages
English (en)
Other versions
CN111968128A (zh
Inventor
王学运
张京娟
陈刚
于泽龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010659969.5A priority Critical patent/CN111968128B/zh
Publication of CN111968128A publication Critical patent/CN111968128A/zh
Application granted granted Critical
Publication of CN111968128B publication Critical patent/CN111968128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Abstract

本发明公开了一种基于图像标记的无人机视觉姿态和位置解算方法，采集无人机航拍图像视频流，从图像中提取感兴趣区域，从感兴趣区域中提取角点坐标，求解单应性矩阵，基于成像原理求解无人机的相对位置和相对姿态角。考虑到全局进行角点检测存在时间较长的问题，因此利用检索圆环区域对圆环内部的区域进行角点检测，这样可以减少计算量，减少运算时间，提高位姿确定的实时性，还可以避免圆环外杂点的干扰，提高抗干扰能力，同时采用三个矩形，能够高效地提取目标角点，也便于对于角点进行标记和匹配。上述方法能够长时间保持较高航向测量精度和较高位置测量精度，适用于着舰等两个运动载体汇合时对无人机相对位置和姿态精度要求较高的应用场合。

Description

一种基于图像标记的无人机视觉姿态和位置解算方法
技术领域
本发明涉及无人机导航技术领域，尤其涉及一种基于图像标记的无人机视觉姿态和位置解算方法。
背景技术
无人机导航技术是无人机系统实现自主飞行的关键技术之一。无人机常用的导航技术主要包括惯性导航、GPS导航、视觉导航、无线电导航和地形辅助导航等。无人机路径规划、实时避障、精准着陆、着舰和飞行控制等功能的实现需要导航模块提供持续全面的导航信息，其中着舰更是对导航技术要求极高的领域。
无人机自主着舰不同于地面上的着陆。舰船相当于海上不停歇的移动机场，舰船甲板空间狭小，意味着无人机自主着舰控制技术是一项极其复杂且具有挑战性的项目研究。若要实现无人机高精度、安全可靠地着舰，需要充分理解设计无人机下落着舰的各项通道的反馈控制以及高精度的着舰方法。
在自主着舰过程中，由于传统导航方式比如GPS等精度不够，无法确定与舰船的相对运动等，会给着舰带来未知的威胁，甚至导致着舰失败。而视觉导航恰好可以弥补此缺陷，提供机、舰相对位置和姿态信息，因此，可以给无人机安装视觉传感器(摄像机)，利用视觉图像来引导无人机着舰，提高着舰精度及自主性。
近年来，随着计算机视觉算法的改进、模式识别理论的进一步完善以及计算机计算和存储能力的提高，视觉图像算法的可靠性和实时性都得到了较大的进步。基于视觉的着舰方式具有自主实时、精度较高、成本低廉、抗干扰能力强等优点。但国内无人机视觉技术引导着舰控制技术研究还尚处于软件仿真和半实物仿真阶段，未能达到实用要求。
发明内容
有鉴于此，本发明提供了一种基于图像标记的无人机视觉姿态和位置解算方法，用以解决基于图像标记的无人机视觉姿态和位置解算问题。
本发明提供的一种基于图像标记的无人机视觉姿态和位置解算方法，包括如下步骤：
S1：采集无人机航拍图像视频流；
S2：利用图像的饱和空间S对采集的图像进行分割，经过色彩空间转换后，通过自适应阈值对图像进行阈值二值化操作，从图像中寻找最大联通区域作为感兴趣区域；
S3：使用一个固定窗口在所述感兴趣区域上进行任意方向上的滑动，比较滑动前后窗口中的像素灰度值；
S4：判断是否任意方向上的滑动都使所述窗口中的像素灰度变化值大于阈值；若是，则所述窗口包含角点，执行步骤S5；若否，则所述窗口不包含角点，返回步骤S1；
S5：从所述感兴趣区域中提取角点坐标；
S6：根据提取的角点坐标，求解单应性矩阵；
S7：根据所述单应性矩阵，基于成像原理求解无人机的相对位置和相对姿态角。
在一种可能的实现方式中，在本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法中，步骤S5，从所述感兴趣区域中提取角点坐标，具体包括：
Harris算子的基本公式如下：
Figure BDA0002578132450000031
其中，Harris算子采用高斯窗口，(u,v)表示沿横纵两个方向的微小滑动量，E(u,v)表示尺寸为N*N的局部检测窗口沿横纵两个方向做微小滑动(u,v)时，窗口的平均能量变化值，N＝3,4,…,10；w(x,y)表示高斯窗口的权重，(x,y)表示当前像素点坐标；I(x+u,y+v)表示窗口滑动后所包含的图像，I(x,y)表示窗口滑动前所包含的图像，Ix和Iy分别表示图像像素点在水平和垂直方向的梯度；令
Figure BDA0002578132450000032
其中，M为协方差矩阵，采用如下公式对协方差矩阵M的特征值进行评估：
R＝det(M)-λ(trace(M))2 (3)
其中，
det(M)＝λ1λ2 (4)
trace(M)＝λ1+λ2 (5)
其中，R的值越大，表示角点的响应程度越大；λ＝0.04～0.08；λ1和λ2分别表示矩阵M的特征值；取R最大值的1％为阈值点，在以待判像素点为中心点的N*N矩阵窗口中提取R最大值点作为角点。
在一种可能的实现方式中，在本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法中，步骤S6中，根据提取的角点坐标，求解单应性矩阵，具体包括：
图像坐标系下图像与世界坐标系下图像的透射关系如下：
Figure BDA0002578132450000041
其中，
Figure BDA0002578132450000042
表示图像坐标系下点的深度；(xP,yP,1)表示图像坐标系下像素点p的坐标；
Figure BDA0002578132450000043
表示世界坐标系下点的齐次坐标，
Figure BDA0002578132450000044
表示以特征平面为基准的世界坐标系下点的齐次坐标；H为单应性矩阵；
设单应性矩阵H为：
Figure BDA0002578132450000045
由式(6)与式(7)联立得到：
Figure BDA0002578132450000046
Figure BDA0002578132450000047
设h33＝1，则式(8)和式(9)化为：
Figure BDA0002578132450000048
Figure BDA0002578132450000049
由于单应性矩阵的自由度为8，因此，至少需要图像坐标系下四个角点坐标(xiP,yiP)及其对应点在世界坐标系下的齐次坐标
Figure BDA00025781324500000410
求解单应性矩阵；
Figure BDA0002578132450000051
根据式(12)，利用线性求解方式求解单应性矩阵。
在一种可能的实现方式中，在本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法中，步骤S7，根据所述单应性矩阵，基于成像原理求解无人机的相对位置和相对姿态角，具体包括：
根据以下公式计算相对姿态角：
Figure BDA0002578132450000052
Figure BDA0002578132450000053
其中，
Figure BDA0002578132450000054
表示俯仰角，θ表示横滚角；f表示相机焦距；
Figure BDA0002578132450000055
为
Figure BDA0002578132450000056
的逆矩阵；
在图像坐标系下的π1平面的y轴表示齐次坐标为：
y0＝(1,0,0)T (15)
单应性矩阵与图像坐标系下π1平面的y轴的表示向量相乘得到：
Figure BDA0002578132450000057
求得在世界坐标系下的π2平面的直线Lw为：
Lw＝(h11,h12,h13)T (17)
利用Lw的齐次坐标的性质，求得Lw的斜率，为相对偏航角ψ；
下面计算相对位置：
由图像坐标系与世界坐标系的对应关系可知：
Figure BDA0002578132450000061
其中，(Xw,Yw)表示世界坐标系下点的坐标；
已知世界坐标系下原点Ow的坐标为(0,0,1)T，根据单应性矩阵对应在图像坐标系下的O'w点的坐标为：
Figure BDA0002578132450000062
π1平面的像素点p点与π2平面的Xw轴无穷远处映射，得到：
Figure BDA0002578132450000063
Figure BDA0002578132450000064
光源点Oc到O'w点的距离为：
Figure BDA0002578132450000065
光源点Oc到p点的距离为：
Figure BDA0002578132450000066
设q点在世界坐标系下的坐标为
Figure BDA0002578132450000067
且经过q点投影到π1平面的无穷远处，根据单应性矩阵得到：
Figure BDA0002578132450000071
其中，(xq,yq)表示q点在图像坐标系下的坐标；根据式(24)得到：
Figure BDA0002578132450000072
根据三角形相似ΔOcO'wp～ΔOwOcq，得到如下等式：
Figure BDA0002578132450000073
其中，OcOw表示光源点Oc与Ow点之间的距离，OcO'w表示光源点Oc与O'w点之间的距离，Ocp表示光源点Oc与p点之间的距离，|Xqw|表示Xqw的绝对值；根据式(26)得到：
Figure BDA0002578132450000074
过Ow点做垂直于Zc轴的直线并交于O”点，OcO”为世界坐标系下原点Ow在相机坐标系下沿Zc方向的位置信息，得到：
Figure BDA0002578132450000075
其中，OcO”表示光源点Oc与O”点之间的距离；根据计算的图像坐标系和相机坐标系的转换关系，得到：
Figure BDA0002578132450000076
其中，(Xc,Y,Zc)表示p点在相机坐标系下的位置，
Figure BDA0002578132450000077
将式(19)带入式(30)得到：
Figure BDA0002578132450000081
根据标定相机的焦距和主点坐标、12个目标特征点在世界坐标系下的坐标以及透射到图像坐标系下的坐标，求解出世界坐标系相对于相机坐标系的三个位置距离信息。
本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法，采集无人机航拍图像视频流，从图像中提取感兴趣区域，从感兴趣区域中提取角点坐标，根据角点坐标求解单应性矩阵，根据单应性矩阵基于成像原理求解无人机的相对位置和相对姿态角。考虑到全局进行角点检测会存在时间较长的问题，因此，利用检索圆环区域，对圆环内部的区域进行角点检测，这样可以减少计算量，减少运算时间，提高位姿确定的实时性，还可以避免圆环外杂点的干扰，提高抗干扰能力，同时采用三个矩形，能够高效地提取目标角点，也便于对于角点进行标记和匹配。本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法，能够长时间保持较高航向测量精度和较高位置测量精度，适用于着舰等两个运动载体汇合时对无人机相对位置和姿态精度要求较高的应用场合。
附图说明
图1为本发明提供的一种基于图像标记的无人机视觉姿态和位置解算方法的流程图；
图2为视觉图像标志图；
图3感兴趣区域提取流程及结果图；
图4为相对航向角测量图；
图5a为在637mm相对距离下的相对位置测量图；
图5b为在890mm相对距离下的相对位置测量图。
具体实施方式
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本发明。
本发明提供的一种基于图像标记的无人机视觉姿态和位置解算方法，如图1所示，包括如下步骤：
S1：采集无人机航拍图像视频流；
S2：利用图像的饱和空间S对采集的图像进行分割，经过色彩空间转换后，通过自适应阈值对图像进行阈值二值化操作，从图像中寻找最大联通区域作为感兴趣区域；
S3：使用一个固定窗口在感兴趣区域上进行任意方向上的滑动，比较滑动前后窗口中的像素灰度值；
S4：判断是否任意方向上的滑动都使窗口中的像素灰度变化值大于阈值；若是，则窗口包含角点，执行步骤S5；若否，则窗口不包含角点，返回步骤S1；
S5：从感兴趣区域中提取角点坐标；
S6：根据提取的角点坐标，求解单应性矩阵；
S7：根据单应性矩阵，基于成像原理求解无人机的相对位置和相对姿态角。
下面通过一个具体的实施例对本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法的具体实施进行详细说明。
实施例1：
第一步：视觉标记的特征标志提取，细分为如下步骤：
(1)采集无人机航拍图像视频流
(2)提取感兴趣区域
考虑到全局的角点提取的时间较长，利用感兴趣区域来缩短遍历全局的特征角点检测。在HSV的颜色空间下，其中，H代表色调，其范围为0～360°；V代表图像的亮度，其值通常取0～1，1(或者100％)表示亮度最大，0表示亮度最暗；S代表饱和度，表示颜色接近光谱色的程度，表示其与所对应亮度空间的比值，其值取为0～1，当1(或者100％)时表示其饱和度最大，对应图像色彩最为鲜艳，0表示只有亮度对应的灰度值。本发明利用图像的饱和空间S，在理想情况下，利用S空间对采集的图像进行分割，可以有效地将图像的色彩饱和区域较高的区域进行提取。原始图像经过色彩空间转换后，通过自适应阈值对图像进行阈值二值化操作，从图像中寻找最大联通区域作为感兴趣区域。
图2给出了视觉图像标志图，充分考虑到全局进行角点检测时会存在时间较长的问题，因此，利用检索圆环区域(圆环区域的颜色可以是红色、蓝色或黑色等任意单一颜色)，对圆环内部的区域进行角点检测，这样做如下优势：a)可以减少计算量，从而可以减少运算时间，提高位姿确定的实时性；b)可以避免圆环外杂点的干扰，使抗干扰的能力大幅度提高；c)同时采用三个矩形，能够高效地提取目标角点，也便于对于角点进行标记和匹配。
图3给出了提取感兴趣区域的流程和结果，首先获得饱和度V空间图像，据此进行图像二值化处理，根据圆环区域提取感兴趣区域(ROI)，再在灰度图上进行区域分割，最终得到ROI区域图像。
(3)提取感兴趣区域内特征角点
特征角点具有位姿估计所需要的特征信息，并且其本身具有旋转不变性，能够有效地减少遍历全局信息的数据量，从而提高运算速度，并且信息的可靠匹配也能得到保证，使得实时处理成为可能。Harris特征角点检测是指使用一个固定窗口在感兴趣区域上进行任意方向上的滑动，比较滑动前与滑动后两种情况下窗口中像素灰度的变化程度，如果存在任意方向上的滑动都使所述窗口中的像素灰度变化值大于阈值，即存在任意方向上的滑动都使窗口中的像素有着较大的灰度变化，那么可以认为该窗口包含角点。
Harris算子的基本公式如下：
Figure BDA0002578132450000111
其中，Harris算子采用高斯窗口，(u,v)表示沿横纵两个方向的微小滑动量，E(u,v)表示尺寸为N*N的局部检测窗口沿横纵两个方向做微小滑动(u,v)时，窗口的平均能量变化值，N＝3,4,…,10；w(x,y)表示高斯窗口的权重，(x,y)表示当前像素点坐标；I(x+u,y+v)表示窗口滑动后所包含的图像，I(x,y)表示窗口滑动前所包含的图像，Ix和Iy分别表示图像像素点在水平和垂直方向的梯度；令
Figure BDA0002578132450000112
其中，M为协方差矩阵；对于协方差矩阵M来说，椭圆形的焦点对应于矩阵M的特征值。当特征值都比较大的时候，窗口包含角点；当一个特征值较大，另一个特征值较小的时候，窗口包含边缘；当特征值都比较小的时候，图像的灰度变化较小，窗口不包含角点；采用如下公式对协方差矩阵M的特征值进行评估：
R＝det(M)-λ(trace(M))2 (3)
其中，
det(M)＝λ1λ2 (4)
trace(M)＝λ1+λ2 (5)
其中，R的值越大，表示角点的响应程度越大；λ＝0.04～0.08；λ1和λ2分别表示矩阵M的特征值；取R最大值的1％为阈值点，在以待判像素点为中心点的N*N矩阵窗口中提取R最大值点作为角点。
第二步：基于图像的角点信息确定相对位姿，细分为如下步骤：
(1)求解单应性矩阵
由于特征图像是一个平面，经过透射变换于像平面仍保留其相似的某些特征，因此，可以根据单目相机进行位姿解算。在位姿解算的过程中，提出用单应性矩阵来进行位姿解算。单应性矩阵H是指在透射变换中，一个物体在不同视角透射平面或者在相机模型中，三维物体或者平面到另一个平面的映射。图像坐标系下图像与世界坐标系下图像的透射关系如下：
Figure BDA0002578132450000121
其中，
Figure BDA0002578132450000122
表示图像坐标系下点的深度；(xP,yP,1)表示图像坐标系下像素点p的坐标；
Figure BDA0002578132450000123
表示世界坐标系下点的齐次坐标，
Figure BDA0002578132450000124
表示以特征平面为基准的世界坐标系下点的齐次坐标；H为单应性矩阵；
设单应性矩阵H为：
Figure BDA0002578132450000125
由式(6)与式(7)联立得到：
Figure BDA0002578132450000126
Figure BDA0002578132450000127
设h33＝1，则式(8)和式(9)化为：
Figure BDA0002578132450000128
Figure BDA0002578132450000131
由于单应性矩阵的自由度为8，因此，至少需要图像坐标系下四个角点坐标(xiP,yiP)及其对应点在世界坐标系下的齐次坐标
Figure BDA0002578132450000132
求解单应性矩阵；
Figure BDA0002578132450000133
根据式(12)，利用线性求解方式(DLT)求解单应性矩阵。例如，可以给出12组特征匹配点，对于此方程组求解属于超定方程组的求解方式，对于越多的匹配点，运行时间会越长，但与此同时其求解精度也会增加。
(2)基于成像原理求解相对位置和姿态
得到单应性矩阵后，根据以下公式计算相对姿态角：
Figure BDA0002578132450000134
Figure BDA0002578132450000135
其中，
Figure BDA0002578132450000136
表示俯仰角，θ表示横滚角；f表示相机焦距；
Figure BDA0002578132450000137
为
Figure BDA0002578132450000138
的逆矩阵；
在图像坐标系下的π1平面的y轴表示齐次坐标为：
y0＝(1,0,0)T (15)
单应性矩阵与图像坐标系下π1平面的y轴的表示向量相乘得到：
Figure BDA0002578132450000141
求得在世界坐标系下的π2平面的直线Lw为：
Lw＝(h11,h12,h13)T (17)
利用Lw的齐次坐标的性质，求得Lw的斜率，为相对偏航角ψ；
下面计算相对位置：
由图像坐标系与世界坐标系的对应关系可知：
Figure BDA0002578132450000142
其中，(Xw,Yw)表示世界坐标系下点的坐标；
已知世界坐标系下原点Ow的坐标为(0,0,1)T，根据单应性矩阵对应在图像坐标系下的O'w点的坐标为：
Figure BDA0002578132450000143
π1平面的像素点p点与π2平面的Xw轴无穷远处映射，得到：
Figure BDA0002578132450000144
Figure BDA0002578132450000145
光源点Oc到O'w点的距离为：
Figure BDA0002578132450000151
光源点Oc到p点的距离为：
Figure BDA0002578132450000152
设q点在世界坐标系下的坐标为(Xqw,0,1)，且经过q点投影到π1平面的无穷远处，根据单应性矩阵得到：
Figure BDA0002578132450000153
其中，(xq,yq)表示q点在图像坐标系下的坐标；根据式(24)得到：
Figure BDA0002578132450000154
根据三角形相似ΔOcO'wp～ΔOwOcq，得到如下等式：
Figure BDA0002578132450000155
其中，OcOw表示光源点Oc与Ow点之间的距离，OcO'w表示光源点Oc与O'w点之间的距离，Ocp表示光源点Oc与p点之间的距离，
Figure BDA0002578132450000156
表示
Figure BDA0002578132450000157
的绝对值；根据式(26)得到：
Figure BDA0002578132450000158
过Ow点做垂直于Zc轴的直线并交于O”点，OcO”为世界坐标系下原点Ow在相机坐标系下沿Zc方向的位置信息，即深度信息，得到：
Figure BDA0002578132450000159
其中，OcO”表示光源点Oc与O”点之间的距离；根据计算的图像坐标系和相机坐标系的转换关系，得到：
Figure BDA0002578132450000161
其中，(Xc,Y,Zc)表示p点在相机坐标系下的位置，
Figure BDA0002578132450000162
将式(19)带入式(30)得到：
Figure BDA0002578132450000163
根据标定相机的焦距和主点坐标、12个目标特征点在世界坐标系下的坐标以及透射到图像坐标系下的坐标，求解出世界坐标系相对于相机坐标系的三个位置距离信息。
图4给出了相对航向角测量图，结果表明，本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法，能够长时间保持较高航向测量精度，半物理仿真结果显示，相对航向准确度在1°内，相对航向误差标准差在0.05°内。图5a和图5b分别给出了637mm相对距离和890mm相对距离下的相对位置测量图，结果表明，本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法，能够长时间保持较高位置测量精度，半物理仿真结果显示，相对距离误差优于1.5％。
本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法，采集无人机航拍图像视频流，从图像中提取感兴趣区域，从感兴趣区域中提取角点坐标，根据角点坐标求解单应性矩阵，根据单应性矩阵基于成像原理求解无人机的相对位置和相对姿态角。考虑到全局进行角点检测会存在时间较长的问题，因此，利用检索圆环区域，对圆环内部的区域进行角点检测，这样可以减少计算量，减少运算时间，提高位姿确定的实时性，还可以避免圆环外杂点的干扰，提高抗干扰能力，同时采用三个矩形，能够高效地提取目标角点，也便于对于角点进行标记和匹配。本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法，能够长时间保持较高航向测量精度和较高位置测量精度，适用于着舰等两个运动载体汇合时对无人机相对位置和姿态精度要求较高的应用场合。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (2)

1.一种基于图像标记的无人机视觉姿态和位置解算方法，其特征在于，包括如下步骤：
S1：采集无人机航拍图像视频流；
S2：利用图像的饱和空间S对采集的图像进行分割，经过色彩空间转换后，通过自适应阈值对图像进行阈值二值化操作，从图像中寻找最大联通区域作为感兴趣区域；
S3：使用一个固定窗口在所述感兴趣区域上进行任意方向上的滑动，比较滑动前后窗口中的像素灰度值；
S4：判断是否任意方向上的滑动都使所述窗口中的像素灰度变化值大于阈值；若是，则所述窗口包含角点，执行步骤S5；若否，则所述窗口不包含角点，返回步骤S1；
S5：从所述感兴趣区域中提取角点坐标；
S6：根据提取的角点坐标，求解单应性矩阵；
S7：根据所述单应性矩阵，基于成像原理求解无人机的相对位置和相对姿态角；
步骤S6中，根据提取的角点坐标，求解单应性矩阵，具体包括：
图像坐标系下图像与世界坐标系下图像的透射关系如下：
Figure FDA0003949019010000011
其中，
Figure FDA0003949019010000014
表示图像坐标系下点的深度；(xP,yP,1)表示图像坐标系下像素点p的坐标；
Figure FDA0003949019010000012
表示世界坐标系下点的齐次坐标，
Figure FDA0003949019010000013
表示以特征平面为基准的世界坐标系下点的齐次坐标；H为单应性矩阵；
设单应性矩阵H为：
Figure FDA0003949019010000021
由式(6)与式(7)联立得到：
Figure FDA0003949019010000022
Figure FDA0003949019010000023
设h33＝1，则式(8)和式(9)化为：
Figure FDA0003949019010000024
Figure FDA0003949019010000025
由于单应性矩阵的自由度为8，因此，至少需要图像坐标系下四个角点坐标(xiP,yiP)及其对应点在世界坐标系下的齐次坐标
Figure FDA0003949019010000026
i＝1,2,3,4，求解单应性矩阵；
Figure FDA0003949019010000027
根据式(12)，利用线性求解方式求解单应性矩阵；
步骤S7，根据所述单应性矩阵，基于成像原理求解无人机的相对位置和相对姿态角，具体包括：
根据以下公式计算相对姿态角：
Figure FDA0003949019010000031
Figure FDA0003949019010000032
其中，
Figure FDA0003949019010000033
表示俯仰角，θ表示横滚角；f表示相机焦距；
Figure FDA0003949019010000034
为
Figure FDA0003949019010000035
的逆矩阵；
在图像坐标系下的π1平面的y轴表示齐次坐标为：
y0＝(1,0,0)T (15)
单应性矩阵与图像坐标系下π1平面的y轴的表示向量相乘得到：
Figure FDA0003949019010000036
求得在世界坐标系下的π2平面的直线Lw为：
Lw＝(h11,h12,h13)T (17)
利用Lw的齐次坐标的性质，求得Lw的斜率，为相对偏航角ψ；
下面计算相对位置：
由图像坐标系与世界坐标系的对应关系可知：
Figure FDA0003949019010000037
其中，(Xw,Yw)表示世界坐标系下点的坐标；
已知世界坐标系下原点Ow的坐标为(0,0,1)T，根据单应性矩阵对应在图像坐标系下的O'w点的坐标为：
Figure FDA0003949019010000041
π1平面的像素点p点与π2平面的Xw轴无穷远处映射，得到：
Figure FDA0003949019010000042
Figure FDA0003949019010000043
光源点Oc到O'w点的距离为：
Figure FDA0003949019010000044
光源点Oc到p点的距离为：
Figure FDA0003949019010000045
设q点在世界坐标系下的坐标为(Xqw,0,1)，且经过q点投影到π1平面的无穷远处，根据单应性矩阵得到：
Figure FDA0003949019010000046
其中，(xq,yq)表示q点在图像坐标系下的坐标；根据式(24)得到：
Figure FDA0003949019010000047
根据三角形相似ΔOcO'wp～ΔOwOcq，得到如下等式：
Figure FDA0003949019010000048
其中，OcOw表示光源点Oc与Ow点之间的距离，OcO'w表示光源点Oc与O'w点之间的距离，Ocp表示光源点Oc与p点之间的距离，
Figure FDA0003949019010000049
表示
Figure FDA00039490190100000410
的绝对值；根据式(26)得到：
Figure FDA0003949019010000051
过Ow点做垂直于Zc轴的直线并交于O”点，OcO”为世界坐标系下原点Ow在相机坐标系下沿Zc方向的位置信息，得到：
Figure FDA0003949019010000052
其中，OcO”表示光源点Oc与O”点之间的距离；根据计算的图像坐标系和相机坐标系的转换关系，得到：
Figure FDA0003949019010000053
其中，(Xc,Y,Zc)表示p点在相机坐标系下的位置，
Figure FDA0003949019010000054
将式(19)带入式(30)得到：
Figure FDA0003949019010000055
根据标定相机的焦距和主点坐标、12个目标特征点在世界坐标系下的坐标以及透射到图像坐标系下的坐标，求解出世界坐标系相对于相机坐标系的三个位置距离信息。
2.如权利要求1所述的基于图像标记的无人机视觉姿态和位置解算方法，其特征在于，步骤S5，从所述感兴趣区域中提取角点坐标，具体包括：
Harris算子的基本公式如下：
Figure FDA0003949019010000061
其中，Harris算子采用高斯窗口，(u,v)表示沿横纵两个方向的微小滑动量，E(u,v)表示尺寸为N*N的局部检测窗口沿横纵两个方向做微小滑动(u,v)时，窗口的平均能量变化值，N＝3,4,…,10；w(x,y)表示高斯窗口的权重，(x,y)表示当前像素点坐标；I(x+u,y+v)表示窗口滑动后所包含的图像，I(x,y)表示窗口滑动前所包含的图像，Ix和Iy分别表示图像像素点在水平和垂直方向的梯度；令
Figure FDA0003949019010000062
其中，M为协方差矩阵，采用如下公式对协方差矩阵M的特征值进行评估：
R＝det(M)-λ(trace(M))2 (3)
其中，
det(M)＝λ1λ2 (4)
trace(M)＝λ1+λ2 (5)
其中，R的值越大，表示角点的响应程度越大；λ＝0.04～0.08；λ1和λ2分别表示矩阵M的特征值；取R最大值的1％为阈值点，在以待判像素点为中心点的N*N矩阵窗口中提取R最大值点作为角点。
CN202010659969.5A 2020-07-10 2020-07-10 一种基于图像标记的无人机视觉姿态和位置解算方法 Active CN111968128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010659969.5A CN111968128B (zh) 2020-07-10 2020-07-10 一种基于图像标记的无人机视觉姿态和位置解算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010659969.5A CN111968128B (zh) 2020-07-10 2020-07-10 一种基于图像标记的无人机视觉姿态和位置解算方法

Publications (2)

Publication Number Publication Date
CN111968128A CN111968128A (zh) 2020-11-20
CN111968128B true CN111968128B (zh) 2022-12-20

Family

ID=73361607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010659969.5A Active CN111968128B (zh) 2020-07-10 2020-07-10 一种基于图像标记的无人机视觉姿态和位置解算方法

Country Status (1)

Country Link
CN (1) CN111968128B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419403A (zh) * 2020-11-30 2021-02-26 海南大学 一种基于二维码阵列的室内无人机定位方法
CN112541925A (zh) * 2020-12-15 2021-03-23 华南理工大学 结合视觉仿真的图像感兴趣区域截取方法、系统及存储介质
CN113112545B (zh) * 2021-04-15 2023-03-21 西安电子科技大学 基于计算机视觉的手持移动打印装置定位方法
CN113191032B (zh) * 2021-07-02 2021-11-30 北京远度互联科技有限公司 一种视角仿真方法、装置、系统和存储介质
CN113671994B (zh) * 2021-09-01 2024-03-05 重庆大学 基于强化学习的多无人机与多无人船巡检控制系统
CN113834488B (zh) * 2021-11-25 2022-03-25 之江实验室 基于结构光阵列远程识别的机器人空间姿态解算方法
CN114440889A (zh) * 2022-01-19 2022-05-06 南京航空航天大学 一种针对实时兴趣区动态进化的多域集群协同导航方法
CN115357052B (zh) * 2022-10-19 2022-12-27 复亚智能科技(太仓)有限公司 一种无人机自动探索视频画面中兴趣点的方法及系统
CN115880783B (zh) * 2023-02-21 2023-05-05 山东泰合心康医疗科技有限公司 用于儿科保健的儿童运动姿态识别方法
CN116026316B (zh) * 2023-03-30 2023-08-29 山东科技大学 一种耦合视觉惯性里程计与gnss的无人船航迹推算方法
CN116051630B (zh) * 2023-04-03 2023-06-16 慧医谷中医药科技(天津)股份有限公司 高频率6DoF姿态估计方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949361A (zh) * 2018-12-16 2019-06-28 内蒙古工业大学 一种基于单目视觉定位的旋翼无人机姿态估计方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949361A (zh) * 2018-12-16 2019-06-28 内蒙古工业大学 一种基于单目视觉定位的旋翼无人机姿态估计方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
基于Harris角点的视频图像检测算法的研究;滕书娟等;《辽宁大学学报》;20110815;全文 *
基于三维重建的大区域无人机影像全自动拼接方法;邹松等;《计算机工程》;20190415(第04期);全文 *
基于局部光流约束的角点匹配算法;蒋晓瑜等;《光学技术》;20100315(第02期);正文2-3 *
基于无人机单视场全景图的地块面积测量研究;韦蕾蕾等;《遥感技术与应用》;20200420(第02期);全文 *
无人机视觉导航算法;黄楠楠等;《红外与激光工程》;20160725(第07期);全文 *

Also Published As

Publication number Publication date
CN111968128A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN111968128B (zh) 一种基于图像标记的无人机视觉姿态和位置解算方法
CN110782481B (zh) 无人艇智能决策方法及系统
CN103149939B (zh) 一种基于视觉的无人机动态目标跟踪与定位方法
CN110426046B (zh) 一种无人机自主着陆跑道区域障碍物判断与跟踪方法
CN111598952B (zh) 一种多尺度合作靶标设计与在线检测识别方法及系统
US20220024549A1 (en) System and method for measuring the distance to an object in water
Liu et al. Detection and pose estimation for short-range vision-based underwater docking
CN113627473B (zh) 基于多模态传感器的水面无人艇环境信息融合感知方法
Dusha et al. Fixed-wing attitude estimation using computer vision based horizon detection
CN110245566B (zh) 一种基于背景特征的红外目标远距离追踪方法
CN109213204A (zh) 基于数据驱动的auv海底目标搜寻航行系统及方法
Zhang et al. A object detection and tracking method for security in intelligence of unmanned surface vehicles
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及系统
CN115861860B (zh) 一种无人机的目标跟踪定位方法和系统
Wang et al. Autonomous landing of multi-rotors UAV with monocular gimbaled camera on moving vehicle
CN110298855B (zh) 一种基于高斯混合模型和纹理分析的海天线检测方法
Yuan et al. High Speed Safe Autonomous Landing Marker Tracking of Fixed Wing Drone Based on Deep Learning
Wu et al. Autonomous UAV landing system based on visual navigation
Del Pizzo et al. Reliable vessel attitude estimation by wide angle camera
CN117496401A (zh) 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法
Kim et al. Target detection and position likelihood using an aerial image sensor
CN116185049A (zh) 基于视觉引导的无人直升机自主着舰方法
Duan et al. Image digital zoom based single target apriltag recognition algorithm in large scale changes on the distance
CN115792912A (zh) 一种弱观测条件下基于视觉与毫米波雷达融合的水面无人艇环境感知方法及系统
CN112862862B (zh) 基于人工智能视觉跟踪的飞机自主受油装置及应用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant