CN111968128A - 一种基于图像标记的无人机视觉姿态和位置解算方法 - Google Patents

一种基于图像标记的无人机视觉姿态和位置解算方法 Download PDF

Info

Publication number
CN111968128A
CN111968128A CN202010659969.5A CN202010659969A CN111968128A CN 111968128 A CN111968128 A CN 111968128A CN 202010659969 A CN202010659969 A CN 202010659969A CN 111968128 A CN111968128 A CN 111968128A
Authority
CN
China
Prior art keywords
coordinate system
image
point
coordinates
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010659969.5A
Other languages
English (en)
Other versions
CN111968128B (zh
Inventor
王学运
张京娟
陈刚
于泽龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010659969.5A priority Critical patent/CN111968128B/zh
Publication of CN111968128A publication Critical patent/CN111968128A/zh
Application granted granted Critical
Publication of CN111968128B publication Critical patent/CN111968128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Algebra (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像标记的无人机视觉姿态和位置解算方法，采集无人机航拍图像视频流，从图像中提取感兴趣区域，从感兴趣区域中提取角点坐标，求解单应性矩阵，基于成像原理求解无人机的相对位置和相对姿态角。考虑到全局进行角点检测存在时间较长的问题，因此利用检索圆环区域对圆环内部的区域进行角点检测，这样可以减少计算量，减少运算时间，提高位姿确定的实时性，还可以避免圆环外杂点的干扰，提高抗干扰能力，同时采用三个矩形，能够高效地提取目标角点，也便于对于角点进行标记和匹配。上述方法能够长时间保持较高航向测量精度和较高位置测量精度，适用于着舰等两个运动载体汇合时对无人机相对位置和姿态精度要求较高的应用场合。

Description

一种基于图像标记的无人机视觉姿态和位置解算方法
技术领域
本发明涉及无人机导航技术领域，尤其涉及一种基于图像标记的无人机视觉姿态和位置解算方法。
背景技术
无人机导航技术是无人机系统实现自主飞行的关键技术之一。无人机常用的导航技术主要包括惯性导航、GPS导航、视觉导航、无线电导航和地形辅助导航等。无人机路径规划、实时避障、精准着陆、着舰和飞行控制等功能的实现需要导航模块提供持续全面的导航信息，其中着舰更是对导航技术要求极高的领域。
无人机自主着舰不同于地面上的着陆。舰船相当于海上不停歇的移动机场，舰船甲板空间狭小，意味着无人机自主着舰控制技术是一项极其复杂且具有挑战性的项目研究。若要实现无人机高精度、安全可靠地着舰，需要充分理解设计无人机下落着舰的各项通道的反馈控制以及高精度的着舰方法。
在自主着舰过程中，由于传统导航方式比如GPS等精度不够，无法确定与舰船的相对运动等，会给着舰带来未知的威胁，甚至导致着舰失败。而视觉导航恰好可以弥补此缺陷，提供机、舰相对位置和姿态信息，因此，可以给无人机安装视觉传感器(摄像机)，利用视觉图像来引导无人机着舰，提高着舰精度及自主性。
近年来，随着计算机视觉算法的改进、模式识别理论的进一步完善以及计算机计算和存储能力的提高，视觉图像算法的可靠性和实时性都得到了较大的进步。基于视觉的着舰方式具有自主实时、精度较高、成本低廉、抗干扰能力强等优点。但国内无人机视觉技术引导着舰控制技术研究还尚处于软件仿真和半实物仿真阶段，未能达到实用要求。
发明内容
有鉴于此，本发明提供了一种基于图像标记的无人机视觉姿态和位置解算方法，用以解决基于图像标记的无人机视觉姿态和位置解算问题。
本发明提供的一种基于图像标记的无人机视觉姿态和位置解算方法，包括如下步骤：
S1：采集无人机航拍图像视频流；
S2：利用图像的饱和空间S对采集的图像进行分割，经过色彩空间转换后，通过自适应阈值对图像进行阈值二值化操作，从图像中寻找最大联通区域作为感兴趣区域；
S3：使用一个固定窗口在所述感兴趣区域上进行任意方向上的滑动，比较滑动前后窗口中的像素灰度值；
S4：判断是否任意方向上的滑动都使所述窗口中的像素灰度变化值大于阈值；若是，则所述窗口包含角点，执行步骤S5；若否，则所述窗口不包含角点，返回步骤S1；
S5：从所述感兴趣区域中提取角点坐标；
S6：根据提取的角点坐标，求解单应性矩阵；
S7：根据所述单应性矩阵，基于成像原理求解无人机的相对位置和相对姿态角。
在一种可能的实现方式中，在本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法中，步骤S5，从所述感兴趣区域中提取角点坐标，具体包括：
Harris算子的基本公式如下：
Figure BDA0002578132450000031
其中，Harris算子采用高斯窗口，(u,v)表示沿横纵两个方向的微小滑动量，E(u,v)表示尺寸为N*N的局部检测窗口沿横纵两个方向做微小滑动(u,v)时，窗口的平均能量变化值，N＝3,4,…,10；w(x,y)表示高斯窗口的权重，(x,y)表示当前像素点坐标；I(x+u,y+v)表示窗口滑动后所包含的图像，I(x,y)表示窗口滑动前所包含的图像，Ix和Iy分别表示图像像素点在水平和垂直方向的梯度；令
Figure BDA0002578132450000032
其中，M为协方差矩阵，采用如下公式对协方差矩阵M的特征值进行评估：
R＝det(M)-λ(trace(M))2 (3)
其中，
det(M)＝λ1λ2 (4)
trace(M)＝λ1+λ2 (5)
其中，R的值越大，表示角点的响应程度越大；λ＝0.04～0.08；λ1和λ2分别表示矩阵M的特征值；取R最大值的1％为阈值点，在以待判像素点为中心点的N*N矩阵窗口中提取R最大值点作为角点。
在一种可能的实现方式中，在本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法中，步骤S6中，根据提取的角点坐标，求解单应性矩阵，具体包括：
图像坐标系下图像与世界坐标系下图像的透射关系如下：
Figure BDA0002578132450000041
其中，
Figure BDA0002578132450000042
表示图像坐标系下点的深度；(xP,yP,1)表示图像坐标系下像素点p的坐标；
Figure BDA0002578132450000043
表示世界坐标系下点的齐次坐标，
Figure BDA0002578132450000044
表示以特征平面为基准的世界坐标系下点的齐次坐标；H为单应性矩阵；
设单应性矩阵H为：
Figure BDA0002578132450000045
由式(6)与式(7)联立得到：
Figure BDA0002578132450000046
Figure BDA0002578132450000047
设h33＝1，则式(8)和式(9)化为：
Figure BDA0002578132450000048
Figure BDA0002578132450000049
由于单应性矩阵的自由度为8，因此，至少需要图像坐标系下四个角点坐标(xiP,yiP)及其对应点在世界坐标系下的齐次坐标
Figure BDA00025781324500000410
求解单应性矩阵；
Figure BDA0002578132450000051
根据式(12)，利用线性求解方式求解单应性矩阵。
在一种可能的实现方式中，在本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法中，步骤S7，根据所述单应性矩阵，基于成像原理求解无人机的相对位置和相对姿态角，具体包括：
根据以下公式计算相对姿态角：
Figure BDA0002578132450000052
Figure BDA0002578132450000053
其中，
Figure BDA0002578132450000054
表示俯仰角，θ表示横滚角；f表示相机焦距；
Figure BDA0002578132450000055
为
Figure BDA0002578132450000056
的逆矩阵；
在图像坐标系下的π1平面的y轴表示齐次坐标为：
y0＝(1,0,0)T (15)
单应性矩阵与图像坐标系下π1平面的y轴的表示向量相乘得到：
Figure BDA0002578132450000057
求得在世界坐标系下的π2平面的直线Lw为：
Lw＝(h11,h12,h13)T (17)
利用Lw的齐次坐标的性质，求得Lw的斜率，为相对偏航角ψ；
下面计算相对位置：
由图像坐标系与世界坐标系的对应关系可知：
Figure BDA0002578132450000061
其中，(Xw,Yw)表示世界坐标系下点的坐标；
已知世界坐标系下原点Ow的坐标为(0,0,1)T，根据单应性矩阵对应在图像坐标系下的O'w点的坐标为：
Figure BDA0002578132450000062
π1平面的像素点p点与π2平面的Xw轴无穷远处映射，得到：
Figure BDA0002578132450000063
Figure BDA0002578132450000064
光源点Oc到O'w点的距离为：
Figure BDA0002578132450000065
光源点Oc到p点的距离为：
Figure BDA0002578132450000066
设q点在世界坐标系下的坐标为
Figure BDA0002578132450000067
且经过q点投影到π1平面的无穷远处，根据单应性矩阵得到：
Figure BDA0002578132450000071
其中，(xq,yq)表示q点在图像坐标系下的坐标；根据式(24)得到：
Figure BDA0002578132450000072
根据三角形相似ΔOcO'wp～ΔOwOcq，得到如下等式：
Figure BDA0002578132450000073
其中，OcOw表示光源点Oc与Ow点之间的距离，OcO'w表示光源点Oc与O'w点之间的距离，Ocp表示光源点Oc与p点之间的距离，|Xqw|表示Xqw的绝对值；根据式(26)得到：
Figure BDA0002578132450000074
过Ow点做垂直于Zc轴的直线并交于O”点，OcO”为世界坐标系下原点Ow在相机坐标系下沿Zc方向的位置信息，得到：
Figure BDA0002578132450000075
其中，OcO”表示光源点Oc与O”点之间的距离；根据计算的图像坐标系和相机坐标系的转换关系，得到：
Figure BDA0002578132450000076
其中，(Xc,Y,Zc)表示p点在相机坐标系下的位置，
Figure BDA0002578132450000077
将式(19)带入式(30)得到：
Figure BDA0002578132450000081
根据标定相机的焦距和主点坐标、12个目标特征点在世界坐标系下的坐标以及透射到图像坐标系下的坐标，求解出世界坐标系相对于相机坐标系的三个位置距离信息。
本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法，采集无人机航拍图像视频流，从图像中提取感兴趣区域，从感兴趣区域中提取角点坐标，根据角点坐标求解单应性矩阵，根据单应性矩阵基于成像原理求解无人机的相对位置和相对姿态角。考虑到全局进行角点检测会存在时间较长的问题，因此，利用检索圆环区域，对圆环内部的区域进行角点检测，这样可以减少计算量，减少运算时间，提高位姿确定的实时性，还可以避免圆环外杂点的干扰，提高抗干扰能力，同时采用三个矩形，能够高效地提取目标角点，也便于对于角点进行标记和匹配。本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法，能够长时间保持较高航向测量精度和较高位置测量精度，适用于着舰等两个运动载体汇合时对无人机相对位置和姿态精度要求较高的应用场合。
附图说明
图1为本发明提供的一种基于图像标记的无人机视觉姿态和位置解算方法的流程图；
图2为视觉图像标志图；
图3感兴趣区域提取流程及结果图；
图4为相对航向角测量图；
图5a为在637mm相对距离下的相对位置测量图；
图5b为在890mm相对距离下的相对位置测量图。
具体实施方式
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本发明。
本发明提供的一种基于图像标记的无人机视觉姿态和位置解算方法，如图1所示，包括如下步骤：
S1：采集无人机航拍图像视频流；
S2：利用图像的饱和空间S对采集的图像进行分割，经过色彩空间转换后，通过自适应阈值对图像进行阈值二值化操作，从图像中寻找最大联通区域作为感兴趣区域；
S3：使用一个固定窗口在感兴趣区域上进行任意方向上的滑动，比较滑动前后窗口中的像素灰度值；
S4：判断是否任意方向上的滑动都使窗口中的像素灰度变化值大于阈值；若是，则窗口包含角点，执行步骤S5；若否，则窗口不包含角点，返回步骤S1；
S5：从感兴趣区域中提取角点坐标；
S6：根据提取的角点坐标，求解单应性矩阵；
S7：根据单应性矩阵，基于成像原理求解无人机的相对位置和相对姿态角。
下面通过一个具体的实施例对本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法的具体实施进行详细说明。
实施例1：
第一步：视觉标记的特征标志提取，细分为如下步骤：
(1)采集无人机航拍图像视频流
(2)提取感兴趣区域
考虑到全局的角点提取的时间较长，利用感兴趣区域来缩短遍历全局的特征角点检测。在HSV的颜色空间下，其中，H代表色调，其范围为0～360°；V代表图像的亮度，其值通常取0～1，1(或者100％)表示亮度最大，0表示亮度最暗；S代表饱和度，表示颜色接近光谱色的程度，表示其与所对应亮度空间的比值，其值取为0～1，当1(或者100％)时表示其饱和度最大，对应图像色彩最为鲜艳，0表示只有亮度对应的灰度值。本发明利用图像的饱和空间S，在理想情况下，利用S空间对采集的图像进行分割，可以有效地将图像的色彩饱和区域较高的区域进行提取。原始图像经过色彩空间转换后，通过自适应阈值对图像进行阈值二值化操作，从图像中寻找最大联通区域作为感兴趣区域。
图2给出了视觉图像标志图，充分考虑到全局进行角点检测时会存在时间较长的问题，因此，利用检索圆环区域(圆环区域的颜色可以是红色、蓝色或黑色等任意单一颜色)，对圆环内部的区域进行角点检测，这样做如下优势：a)可以减少计算量，从而可以减少运算时间，提高位姿确定的实时性；b)可以避免圆环外杂点的干扰，使抗干扰的能力大幅度提高；c)同时采用三个矩形，能够高效地提取目标角点，也便于对于角点进行标记和匹配。
图3给出了提取感兴趣区域的流程和结果，首先获得饱和度V空间图像，据此进行图像二值化处理，根据圆环区域提取感兴趣区域(ROI)，再在灰度图上进行区域分割，最终得到ROI区域图像。
(3)提取感兴趣区域内特征角点
特征角点具有位姿估计所需要的特征信息，并且其本身具有旋转不变性，能够有效地减少遍历全局信息的数据量，从而提高运算速度，并且信息的可靠匹配也能得到保证，使得实时处理成为可能。Harris特征角点检测是指使用一个固定窗口在感兴趣区域上进行任意方向上的滑动，比较滑动前与滑动后两种情况下窗口中像素灰度的变化程度，如果存在任意方向上的滑动都使所述窗口中的像素灰度变化值大于阈值，即存在任意方向上的滑动都使窗口中的像素有着较大的灰度变化，那么可以认为该窗口包含角点。
Harris算子的基本公式如下：
Figure BDA0002578132450000111
其中，Harris算子采用高斯窗口，(u,v)表示沿横纵两个方向的微小滑动量，E(u,v)表示尺寸为N*N的局部检测窗口沿横纵两个方向做微小滑动(u,v)时，窗口的平均能量变化值，N＝3,4,…,10；w(x,y)表示高斯窗口的权重，(x,y)表示当前像素点坐标；I(x+u,y+v)表示窗口滑动后所包含的图像，I(x,y)表示窗口滑动前所包含的图像，Ix和Iy分别表示图像像素点在水平和垂直方向的梯度；令
Figure BDA0002578132450000112
其中，M为协方差矩阵；对于协方差矩阵M来说，椭圆形的焦点对应于矩阵M的特征值。当特征值都比较大的时候，窗口包含角点；当一个特征值较大，另一个特征值较小的时候，窗口包含边缘；当特征值都比较小的时候，图像的灰度变化较小，窗口不包含角点；采用如下公式对协方差矩阵M的特征值进行评估：
R＝det(M)-λ(trace(M))2 (3)
其中，
det(M)＝λ1λ2 (4)
trace(M)＝λ1+λ2 (5)
其中，R的值越大，表示角点的响应程度越大；λ＝0.04～0.08；λ1和λ2分别表示矩阵M的特征值；取R最大值的1％为阈值点，在以待判像素点为中心点的N*N矩阵窗口中提取R最大值点作为角点。
第二步：基于图像的角点信息确定相对位姿，细分为如下步骤：
(1)求解单应性矩阵
由于特征图像是一个平面，经过透射变换于像平面仍保留其相似的某些特征，因此，可以根据单目相机进行位姿解算。在位姿解算的过程中，提出用单应性矩阵来进行位姿解算。单应性矩阵H是指在透射变换中，一个物体在不同视角透射平面或者在相机模型中，三维物体或者平面到另一个平面的映射。图像坐标系下图像与世界坐标系下图像的透射关系如下：
Figure BDA0002578132450000121
其中，
Figure BDA0002578132450000122
表示图像坐标系下点的深度；(xP,yP,1)表示图像坐标系下像素点p的坐标；
Figure BDA0002578132450000123
表示世界坐标系下点的齐次坐标，
Figure BDA0002578132450000124
表示以特征平面为基准的世界坐标系下点的齐次坐标；H为单应性矩阵；
设单应性矩阵H为：
Figure BDA0002578132450000125
由式(6)与式(7)联立得到：
Figure BDA0002578132450000126
Figure BDA0002578132450000127
设h33＝1，则式(8)和式(9)化为：
Figure BDA0002578132450000128
Figure BDA0002578132450000131
由于单应性矩阵的自由度为8，因此，至少需要图像坐标系下四个角点坐标(xiP,yiP)及其对应点在世界坐标系下的齐次坐标
Figure BDA0002578132450000132
求解单应性矩阵；
Figure BDA0002578132450000133
根据式(12)，利用线性求解方式(DLT)求解单应性矩阵。例如，可以给出12组特征匹配点，对于此方程组求解属于超定方程组的求解方式，对于越多的匹配点，运行时间会越长，但与此同时其求解精度也会增加。
(2)基于成像原理求解相对位置和姿态
得到单应性矩阵后，根据以下公式计算相对姿态角：
Figure BDA0002578132450000134
Figure BDA0002578132450000135
其中，
Figure BDA0002578132450000136
表示俯仰角，θ表示横滚角；f表示相机焦距；
Figure BDA0002578132450000137
为
Figure BDA0002578132450000138
的逆矩阵；
在图像坐标系下的π1平面的y轴表示齐次坐标为：
y0＝(1,0,0)T (15)
单应性矩阵与图像坐标系下π1平面的y轴的表示向量相乘得到：
Figure BDA0002578132450000141
求得在世界坐标系下的π2平面的直线Lw为：
Lw＝(h11,h12,h13)T (17)
利用Lw的齐次坐标的性质，求得Lw的斜率，为相对偏航角ψ；
下面计算相对位置：
由图像坐标系与世界坐标系的对应关系可知：
Figure BDA0002578132450000142
其中，(Xw,Yw)表示世界坐标系下点的坐标；
已知世界坐标系下原点Ow的坐标为(0,0,1)T，根据单应性矩阵对应在图像坐标系下的O'w点的坐标为：
Figure BDA0002578132450000143
π1平面的像素点p点与π2平面的Xw轴无穷远处映射，得到：
Figure BDA0002578132450000144
Figure BDA0002578132450000145
光源点Oc到O'w点的距离为：
Figure BDA0002578132450000151
光源点Oc到p点的距离为：
Figure BDA0002578132450000152
设q点在世界坐标系下的坐标为(Xqw,0,1)，且经过q点投影到π1平面的无穷远处，根据单应性矩阵得到：
Figure BDA0002578132450000153
其中，(xq,yq)表示q点在图像坐标系下的坐标；根据式(24)得到：
Figure BDA0002578132450000154
根据三角形相似ΔOcO'wp～ΔOwOcq，得到如下等式：
Figure BDA0002578132450000155
其中，OcOw表示光源点Oc与Ow点之间的距离，OcO'w表示光源点Oc与O'w点之间的距离，Ocp表示光源点Oc与p点之间的距离，
Figure BDA0002578132450000156
表示
Figure BDA0002578132450000157
的绝对值；根据式(26)得到：
Figure BDA0002578132450000158
过Ow点做垂直于Zc轴的直线并交于O”点，OcO”为世界坐标系下原点Ow在相机坐标系下沿Zc方向的位置信息，即深度信息，得到：
Figure BDA0002578132450000159
其中，OcO”表示光源点Oc与O”点之间的距离；根据计算的图像坐标系和相机坐标系的转换关系，得到：
Figure BDA0002578132450000161
其中，(Xc,Y,Zc)表示p点在相机坐标系下的位置，
Figure BDA0002578132450000162
将式(19)带入式(30)得到：
Figure BDA0002578132450000163
根据标定相机的焦距和主点坐标、12个目标特征点在世界坐标系下的坐标以及透射到图像坐标系下的坐标，求解出世界坐标系相对于相机坐标系的三个位置距离信息。
图4给出了相对航向角测量图，结果表明，本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法，能够长时间保持较高航向测量精度，半物理仿真结果显示，相对航向准确度在1°内，相对航向误差标准差在0.05°内。图5a和图5b分别给出了637mm相对距离和890mm相对距离下的相对位置测量图，结果表明，本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法，能够长时间保持较高位置测量精度，半物理仿真结果显示，相对距离误差优于1.5％。
本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法，采集无人机航拍图像视频流，从图像中提取感兴趣区域，从感兴趣区域中提取角点坐标，根据角点坐标求解单应性矩阵，根据单应性矩阵基于成像原理求解无人机的相对位置和相对姿态角。考虑到全局进行角点检测会存在时间较长的问题，因此，利用检索圆环区域，对圆环内部的区域进行角点检测，这样可以减少计算量，减少运算时间，提高位姿确定的实时性，还可以避免圆环外杂点的干扰，提高抗干扰能力，同时采用三个矩形，能够高效地提取目标角点，也便于对于角点进行标记和匹配。本发明提供的上述基于图像标记的无人机视觉姿态和位置解算方法，能够长时间保持较高航向测量精度和较高位置测量精度，适用于着舰等两个运动载体汇合时对无人机相对位置和姿态精度要求较高的应用场合。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种基于图像标记的无人机视觉姿态和位置解算方法，其特征在于，包括如下步骤：
S1：采集无人机航拍图像视频流；
S2：利用图像的饱和空间S对采集的图像进行分割，经过色彩空间转换后，通过自适应阈值对图像进行阈值二值化操作，从图像中寻找最大联通区域作为感兴趣区域；
S3：使用一个固定窗口在所述感兴趣区域上进行任意方向上的滑动，比较滑动前后窗口中的像素灰度值；
S4：判断是否任意方向上的滑动都使所述窗口中的像素灰度变化值大于阈值；若是，则所述窗口包含角点，执行步骤S5；若否，则所述窗口不包含角点，返回步骤S1；
S5：从所述感兴趣区域中提取角点坐标；
S6：根据提取的角点坐标，求解单应性矩阵；
S7：根据所述单应性矩阵，基于成像原理求解无人机的相对位置和相对姿态角。
2.如权利要求1所述的基于图像标记的无人机视觉姿态和位置解算方法，其特征在于，步骤S5，从所述感兴趣区域中提取角点坐标，具体包括：
Harris算子的基本公式如下：
Figure FDA0002578132440000011
其中，Harris算子采用高斯窗口，(u,v)表示沿横纵两个方向的微小滑动量，E(u,v)表示尺寸为N*N的局部检测窗口沿横纵两个方向做微小滑动(u,v)时，窗口的平均能量变化值，N＝3,4,…,10；w(x,y)表示高斯窗口的权重，(x,y)表示当前像素点坐标；I(x+u,y+v)表示窗口滑动后所包含的图像，I(x,y)表示窗口滑动前所包含的图像，Ix和Iy分别表示图像像素点在水平和垂直方向的梯度；令
Figure FDA0002578132440000021
其中，M为协方差矩阵，采用如下公式对协方差矩阵M的特征值进行评估：
R＝det(M)-λ(trace(M))2 (3)
其中，
det(M)＝λ1λ2 (4)
trace(M)＝λ1+λ2 (5)
其中，R的值越大，表示角点的响应程度越大；λ＝0.04～0.08；λ1和λ2分别表示矩阵M的特征值；取R最大值的1％为阈值点，在以待判像素点为中心点的N*N矩阵窗口中提取R最大值点作为角点。
3.如权利要求2所述的基于图像标记的无人机视觉姿态和位置解算方法，其特征在于，步骤S6中，根据提取的角点坐标，求解单应性矩阵，具体包括：
图像坐标系下图像与世界坐标系下图像的透射关系如下：
Figure FDA0002578132440000022
其中，
Figure FDA0002578132440000023
表示图像坐标系下点的深度；(xP,yP,1)表示图像坐标系下像素点p的坐标；
Figure FDA0002578132440000024
表示世界坐标系下点的齐次坐标，
Figure FDA0002578132440000025
Figure FDA0002578132440000026
表示以特征平面为基准的世界坐标系下点的齐次坐标；H为单应性矩阵；
设单应性矩阵H为：
Figure FDA0002578132440000031
由式(6)与式(7)联立得到：
Figure FDA0002578132440000032
Figure FDA0002578132440000033
设h33＝1，则式(8)和式(9)化为：
Figure FDA0002578132440000034
Figure FDA0002578132440000035
由于单应性矩阵的自由度为8，因此，至少需要图像坐标系下四个角点坐标(xiP,yiP)及其对应点在世界坐标系下的齐次坐标
Figure FDA0002578132440000036
求解单应性矩阵；
Figure FDA0002578132440000037
根据式(12)，利用线性求解方式求解单应性矩阵。
4.如权利要求3所述的基于图像标记的无人机视觉姿态和位置解算方法，其特征在于，步骤S7，根据所述单应性矩阵，基于成像原理求解无人机的相对位置和相对姿态角，具体包括：
根据以下公式计算相对姿态角：
Figure FDA0002578132440000041
Figure FDA0002578132440000042
其中，
Figure FDA0002578132440000043
表示俯仰角，θ表示横滚角；f表示相机焦距；
Figure FDA0002578132440000044
为
Figure FDA0002578132440000045
的逆矩阵；
在图像坐标系下的π1平面的y轴表示齐次坐标为：
y0＝(1,0,0)T (15)
单应性矩阵与图像坐标系下π1平面的y轴的表示向量相乘得到：
Figure FDA0002578132440000046
求得在世界坐标系下的π2平面的直线Lw为：
Lw＝(h11,h12,h13)T (17)
利用Lw的齐次坐标的性质，求得Lw的斜率，为相对偏航角ψ；
下面计算相对位置：
由图像坐标系与世界坐标系的对应关系可知：
Figure FDA0002578132440000047
其中，(Xw,Yw)表示世界坐标系下点的坐标；
已知世界坐标系下原点Ow的坐标为(0,0,1)T，根据单应性矩阵对应在图像坐标系下的O'w点的坐标为：
Figure FDA0002578132440000051
π1平面的像素点p点与π2平面的Xw轴无穷远处映射，得到：
Figure FDA0002578132440000052
Figure FDA0002578132440000053
光源点Oc到O'w点的距离为：
Figure FDA0002578132440000054
光源点Oc到p点的距离为：
Figure FDA0002578132440000055
设q点在世界坐标系下的坐标为(Xqw,0,1)，且经过q点投影到π1平面的无穷远处，根据单应性矩阵得到：
Figure FDA0002578132440000056
其中，(xq,yq)表示q点在图像坐标系下的坐标；根据式(24)得到：
Figure FDA0002578132440000057
根据三角形相似ΔOcO'wp～ΔOwOcq，得到如下等式：
Figure FDA0002578132440000058
其中，OcOw表示光源点Oc与Ow点之间的距离，OcO'w表示光源点Oc与O'w点之间的距离，Ocp表示光源点Oc与p点之间的距离，
Figure FDA0002578132440000061
表示
Figure FDA0002578132440000062
的绝对值；根据式(26)得到：
Figure FDA0002578132440000063
过Ow点做垂直于Zc轴的直线并交于O”点，OcO”为世界坐标系下原点Ow在相机坐标系下沿Zc方向的位置信息，得到：
Figure FDA0002578132440000064
其中，OcO”表示光源点Oc与O”点之间的距离；根据计算的图像坐标系和相机坐标系的转换关系，得到：
Figure FDA0002578132440000065
其中，(Xc,Y,Zc)表示p点在相机坐标系下的位置，
Figure FDA0002578132440000066
将式(19)带入式(30)得到：
Figure FDA0002578132440000067
根据标定相机的焦距和主点坐标、12个目标特征点在世界坐标系下的坐标以及透射到图像坐标系下的坐标，求解出世界坐标系相对于相机坐标系的三个位置距离信息。
CN202010659969.5A 2020-07-10 2020-07-10 一种基于图像标记的无人机视觉姿态和位置解算方法 Active CN111968128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010659969.5A CN111968128B (zh) 2020-07-10 2020-07-10 一种基于图像标记的无人机视觉姿态和位置解算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010659969.5A CN111968128B (zh) 2020-07-10 2020-07-10 一种基于图像标记的无人机视觉姿态和位置解算方法

Publications (2)

Publication Number Publication Date
CN111968128A true CN111968128A (zh) 2020-11-20
CN111968128B CN111968128B (zh) 2022-12-20

Family

ID=73361607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010659969.5A Active CN111968128B (zh) 2020-07-10 2020-07-10 一种基于图像标记的无人机视觉姿态和位置解算方法

Country Status (1)

Country Link
CN (1) CN111968128B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419403A (zh) * 2020-11-30 2021-02-26 海南大学 一种基于二维码阵列的室内无人机定位方法
CN112541925A (zh) * 2020-12-15 2021-03-23 华南理工大学 结合视觉仿真的图像感兴趣区域截取方法、系统及存储介质
CN113112545A (zh) * 2021-04-15 2021-07-13 西安电子科技大学 基于计算机视觉的手持移动打印装置定位方法
CN113191032A (zh) * 2021-07-02 2021-07-30 北京远度互联科技有限公司 一种视角仿真方法、装置、系统和存储介质
CN113671994A (zh) * 2021-09-01 2021-11-19 重庆大学 基于强化学习的多无人机与多无人船巡检控制系统
CN113834488A (zh) * 2021-11-25 2021-12-24 之江实验室 基于结构光阵列远程识别的机器人空间姿态解算方法
CN114440889A (zh) * 2022-01-19 2022-05-06 南京航空航天大学 一种针对实时兴趣区动态进化的多域集群协同导航方法
CN115357052A (zh) * 2022-10-19 2022-11-18 复亚智能科技(太仓)有限公司 一种无人机自动探索视频画面中兴趣点的方法及系统
CN115880783A (zh) * 2023-02-21 2023-03-31 山东泰合心康医疗科技有限公司 用于儿科保健的儿童运动姿态识别方法
CN116026316A (zh) * 2023-03-30 2023-04-28 山东科技大学 一种耦合视觉惯性里程计与gnss的无人船航迹推算方法
CN116051630A (zh) * 2023-04-03 2023-05-02 慧医谷中医药科技(天津)股份有限公司 高频率6DoF姿态估计方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949361A (zh) * 2018-12-16 2019-06-28 内蒙古工业大学 一种基于单目视觉定位的旋翼无人机姿态估计方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949361A (zh) * 2018-12-16 2019-06-28 内蒙古工业大学 一种基于单目视觉定位的旋翼无人机姿态估计方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
滕书娟等: "基于Harris角点的视频图像检测算法的研究", 《辽宁大学学报》 *
蒋晓瑜等: "基于局部光流约束的角点匹配算法", 《光学技术》 *
邹松等: "基于三维重建的大区域无人机影像全自动拼接方法", 《计算机工程》 *
韦蕾蕾等: "基于无人机单视场全景图的地块面积测量研究", 《遥感技术与应用》 *
黄楠楠等: "无人机视觉导航算法", 《红外与激光工程》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419403A (zh) * 2020-11-30 2021-02-26 海南大学 一种基于二维码阵列的室内无人机定位方法
CN112541925A (zh) * 2020-12-15 2021-03-23 华南理工大学 结合视觉仿真的图像感兴趣区域截取方法、系统及存储介质
CN113112545B (zh) * 2021-04-15 2023-03-21 西安电子科技大学 基于计算机视觉的手持移动打印装置定位方法
CN113112545A (zh) * 2021-04-15 2021-07-13 西安电子科技大学 基于计算机视觉的手持移动打印装置定位方法
CN113191032A (zh) * 2021-07-02 2021-07-30 北京远度互联科技有限公司 一种视角仿真方法、装置、系统和存储介质
CN113671994A (zh) * 2021-09-01 2021-11-19 重庆大学 基于强化学习的多无人机与多无人船巡检控制系统
CN113671994B (zh) * 2021-09-01 2024-03-05 重庆大学 基于强化学习的多无人机与多无人船巡检控制系统
CN113834488A (zh) * 2021-11-25 2021-12-24 之江实验室 基于结构光阵列远程识别的机器人空间姿态解算方法
CN114440889A (zh) * 2022-01-19 2022-05-06 南京航空航天大学 一种针对实时兴趣区动态进化的多域集群协同导航方法
CN114440889B (zh) * 2022-01-19 2024-05-28 南京航空航天大学 一种针对实时兴趣区动态进化的多域集群协同导航方法
CN115357052A (zh) * 2022-10-19 2022-11-18 复亚智能科技(太仓)有限公司 一种无人机自动探索视频画面中兴趣点的方法及系统
CN115880783A (zh) * 2023-02-21 2023-03-31 山东泰合心康医疗科技有限公司 用于儿科保健的儿童运动姿态识别方法
CN116026316A (zh) * 2023-03-30 2023-04-28 山东科技大学 一种耦合视觉惯性里程计与gnss的无人船航迹推算方法
CN116026316B (zh) * 2023-03-30 2023-08-29 山东科技大学 一种耦合视觉惯性里程计与gnss的无人船航迹推算方法
CN116051630A (zh) * 2023-04-03 2023-05-02 慧医谷中医药科技(天津)股份有限公司 高频率6DoF姿态估计方法及系统

Also Published As

Publication number Publication date
CN111968128B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN111968128B (zh) 一种基于图像标记的无人机视觉姿态和位置解算方法
CN113485441B (zh) 结合无人机高精度定位和视觉跟踪技术的配网巡检方法
CN105930819B (zh) 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统
CN111598952B (zh) 一种多尺度合作靶标设计与在线检测识别方法及系统
CN108305264A (zh) 一种基于图像处理的无人机精确着陆方法
CN103149939A (zh) 一种基于视觉的无人机动态目标跟踪与定位方法
CN110245566B (zh) 一种基于背景特征的红外目标远距离追踪方法
Zhang et al. A object detection and tracking method for security in intelligence of unmanned surface vehicles
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及系统
Wang et al. Autonomous landing of multi-rotors UAV with monocular gimbaled camera on moving vehicle
CN109871024A (zh) 一种基于轻量级视觉里程计的无人机位姿估计方法
Wu et al. Autonomous UAV landing system based on visual navigation
Yuan et al. High Speed Safe Autonomous Landing Marker Tracking of Fixed Wing Drone Based on Deep Learning
Kim et al. Target detection and position likelihood using an aerial image sensor
CN117496401A (zh) 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法
Duan et al. Image digital zoom based single target apriltag recognition algorithm in large scale changes on the distance
CN116185049A (zh) 基于视觉引导的无人直升机自主着舰方法
CN115792912A (zh) 一种弱观测条件下基于视觉与毫米波雷达融合的水面无人艇环境感知方法及系统
Ma et al. Automated Ship Berthing Guidance Method Based on Three-dimensional Target Measurement
CN112648998A (zh) 一种基于形状与颜色的无人机合作靶标自主引导测量方法
Rui et al. Real-Time obstacle detection based on monocular vision for unmanned surface vehicles
Majidi et al. Aerial tracking of elongated objects in rural environments
Zhang et al. Video image target recognition and geolocation method for UAV based on landmarks
Hamarsudi et al. Radial Search Lines Method for Estimating Soccer Robot Position Using an Omnidirectional Camera
CN118603103B (zh) 基于视觉slam的无人机室内导航系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant