CN107677274A - 基于双目视觉的无人机自主着陆导航信息实时解算方法 - Google Patents

基于双目视觉的无人机自主着陆导航信息实时解算方法 Download PDF

Info

Publication number
CN107677274A
CN107677274A CN201710818825.8A CN201710818825A CN107677274A CN 107677274 A CN107677274 A CN 107677274A CN 201710818825 A CN201710818825 A CN 201710818825A CN 107677274 A CN107677274 A CN 107677274A
Authority
CN
China
Prior art keywords
mrow
key feature
angle point
image
msubsup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710818825.8A
Other languages
English (en)
Other versions
CN107677274B (zh
Inventor
李靖
段晓军
刘慧英
陈怀民
陈楸
马晓东
孙景峰
张彦龙
肖奔
许涛
孔峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Lingkong Electronic Technology Co Ltd
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201710818825.8A priority Critical patent/CN107677274B/zh
Publication of CN107677274A publication Critical patent/CN107677274A/zh
Application granted granted Critical
Publication of CN107677274B publication Critical patent/CN107677274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于双目视觉的无人机自主着陆导航信息实时解算方法，以4个关键特征角点来表征着陆地标图像，通过金字塔L‑K光流法跟踪这4个关键特征角点，来达到跟踪着陆地标的目的，避免直接跟踪整幅地标图像，可大大提高算法的实时性；对4个关键特征角点进行排序之后，结合关键特征角点对应的世界坐标，基于P4P问题求解算法，计算求取目标中心O在无人机机体坐标系下的三维位置坐标以及无人机的姿态信息，解算得到的三维位置信息与基于双目视觉原理计算得到的三维位置信息加和平均之后，最为最终的三维位置信息，提高算法精度。

Description

基于双目视觉的无人机自主着陆导航信息实时解算方法
技术领域
本发明属于无人机视觉导航、计算机视觉处理技术领域，涉及一种基于双目视觉的无人机自主着陆导航信息实时解算方法。
背景技术
近些年来，随着科技的快速发展，无人机发展迅速，运用区域及涉及领域越来越广泛，且一步一步的朝着自主化、智能化发展。无人机自主着陆作为其自主化、智能化发展的最重要的一环，受到广泛关注。目前，无人机自主着陆常用的导航方式为GPS导航、GPS/INS信息融合导航等。然而，GPS信号依赖卫星进行信息传输，极易受到干扰；而INS导航单独使用时，容易累计误差。故需要探索新的技术，在不依赖GPS的情况下，为无人机提供精确导航信息，完成自主着陆。
目前，基于视觉的无人机自主导航着陆技术发展迅速，该技术采用视觉传感器采集图像进行处理，来获取导航信息，辅助无人机进行自主着陆。该技术具备抗干扰性好，精度高、易装备等优点，受到广泛关注。根据视觉传感器的个数，主要分为基于单目视觉的无人机自主着陆和基于多目视觉的无人机自主着陆。基于单目视觉的无人机自主着陆是基于一个视觉传感器来进行视觉图像处理，从而获得无人机相对位置与自身姿态信息进行导航，但此方法精度较低；基于多目视觉的无人机自主着陆是基于两个或多个视觉传感器来进行视觉图像处理，从而获得无人机相对位置与自身姿态信息进行导航，此法精度较高，但却需要多目视觉图像进行匹配，获得视差，从而进行三维重建，故较为耗时，不符合无人机自主着陆对图像处理算法实时性的要求。
参考文献：
【1】Bouguet J Y.Pyramidal implementation of the Lucas Kanade featuretracker description of the algorithm[J].Opencv Documents,1999,22(2):363-381.
【2】Lepetit V,Moreno-Noguer F,Fua P.EP n P:An Accurate O(n)Solution tothe P n P Problem[J].International Journal of Computer Vision,2009,81(2):155-166.
发明内容
针对上述现有技术中存在的问题，本发明的目的在于，提供一种基于双目视觉的无人机自主着陆导航信息实时解算方法。
为实现上述目的，本发明采用如下技术方案：
基于双目视觉的无人机自主着陆导航信息实时解算方法，包括以下步骤：
步骤一，获取包含有目标的双目视觉图像，双目视觉图像包括左目视觉图像和右目视觉图像；分别在左目视觉图像和右目视觉图像中提取目标图像，并对提取出的目标图像进行灰度化处理，分别得到左目目标灰度图像和右目目标灰度图像；
步骤二，分别对左目目标灰度图像和右目灰度目标图像，利用亚像素级Shi-Tomasi角点提取算法进行处理，均得到四个关键特征角点，根据四个关键特征角点的横纵坐标值的大小对四个关键特征角点进行排序，分别形成关键特征角点集合Current_left1和关键特征角点集合Current_right1；
步骤三，利用关键特征角点集合Current_left1和关键特征角点集合Current_right1，利用双目视觉原理求取目标中心O在无人机机体坐标系下的三维位置坐标(Xs,Ys,Zs)，利用P4P求解方法求取目标中心O在无人机机体坐标系下的三维位置坐标(XP,YP,ZP)和无人机的姿态信息；求三维位置坐标(Xs,Ys,Zs)和三维位置坐标(XP,YP,ZP)的均值作为最终求得的目标中心O在无人机机体坐标系下的三维位置坐标(X,Y,Z)；
步骤四，获取下一帧包含有目标的双目视觉图像，双目视觉图像包括本帧左目视觉图像和本帧右目视觉图像；分别对本帧左目视觉图像和本帧右目视觉图像进行灰度化处理，分别得到本帧左目灰度图像和本帧右目灰度图像；
步骤五，将关键特征角点集合Current_left1更新为上一帧关键特征角点集合Last_left，将关键特征角点集合Current_right1更新为上一帧关键特征角点集合Last_right；
步骤六，利用金字塔L-K光流法，基于上一帧关键特征角点集合Last_left和本帧左目灰度图像，预测得到本帧的关键特征角点集合Current_left2；基于上一帧关键特征角点集合Last_left和本帧右目灰度图像，预测得到本帧的关键特征角点集合Current_right2；
步骤七，分别针对关键特征角点集合Current_left2和关键特征角点集合Current_right2中的每一个关键特征角点，在以关键特征角点为中心的周围设定区域内，进行亚像素级Shi-Tomasi角点检测，检测得到新的角点，以检测得到的新的角点替换区域中心位置的关键特征角点，使得关键特征角点集合Current_left2更新为关键特征角点集合Current_left3，使得关键特征角点集合Current_right2更新为关键特征角点集合Current_right3；
步骤八，计算关键特征角点集合Current_left3中的关键特征角点与上一帧关键特征角点集合Last_left中的关键特征角点之间的相关系数，根据计算得到的相关系数对关键特征角点集合Current_left3进行筛选，得到关键特征角点集合Current_left4；
计算关键特征角点集合Current_right3中的关键特征角点与上一帧关键特征角点集合Last_right中的关键特征角点之间的相关系数，根据计算得到的相关系数对关键特征角点集合Current_right 3进行筛选，得到关键特征角点集合Current_right 4；
步骤九，若关键特征角点集合Current_left4与关键特征角点集合Current_right4中的关键特征角点数目都为4，则进入步骤三，其中的关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用关键特征角点集合Current_left4和关键特征角点集合Current_right4代替；
若关键特征角点集合Current_left4与关键特征角点集合Current_right4中的关键特征角点数目都小于4，进入步骤十；
若关键特征角点集合Current_left4中的键特征角点数目小于4，关键特征角点集合Current_right4中的关键特征角点数目等于4，进入步骤十一；
若关键特征角点集合Current_left4中的键特征角点数目等于4，关键特征角点集合Current_right4中的关键特征角点数目小于4，进入步骤十二；
步骤十，分别在步骤四中得到的本帧左目灰度图像和本帧右目灰度图像中，确定左目目标再搜索区域和右目目标再搜索区域；
构建模板图像，基于归一化相关性匹配法，分别在左目目标再搜索区域和右目目标再搜索区域内进行目标搜索，得到重新确定的左目目标灰度图像和重新确定的右目目标灰度图像；
分别针对重新确定的左目目标灰度图像和重新确定的右目目标灰度图像，采用亚像素级Shi-Tomasi角点提取方法提取4个关键特征角点，提取到的4个关键特征角点形成关键特征角点集合Current_left5和关键特征角点集合Current_right5；执行步骤三，将其中的关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用键特征角点集合Current_left5和关键特征角点集合Current_right5代替；
步骤十一，在步骤四中得到的本帧左目灰度图像中，确定左目目标再搜索区域；构建模板图像，基于归一化相关性匹配法，在左目目标再搜索区域内进行目标搜索，得到重新确定的左目目标灰度图像；针对重新确定的左目目标灰度图像，采用亚像素级Shi-Tomasi角点提取方法提取4个关键特征角点，提取到的4个关键特征角点形成关键特征角点集合Current_left5；执行步骤三，将关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用关键特征角点集合Current_left5和关键特征角点集合Current_right4代替；
步骤十二，在步骤四中得到的本帧右目灰度图像中，确定右目目标再搜索区域；构建模板图像，基于归一化相关性匹配法，在右目目标再搜索区域内进行目标搜索，得到重新确定的右目目标灰度图像；针对重新确定的右目目标灰度图像，采用亚像素级Shi-Tomasi角点提取方法提取4个关键特征角点，提取到的4个关键特征角点形成关键特征角点集合Current_right5；执行步骤三，将关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用关键特征角点集合Current_left4和关键特征角点集合Current_right5代替。
具体地，所述步骤三中的利用双目视觉原理求取目标中心O在无人机机体坐标系下的三维位置坐标(Xs,Ys,Zs)，具体包括以下步骤：
求左目目标灰度图像中目标中心Ol在左目摄像机坐标系下的三维坐标
其中，为左目目标灰度图像中目标中心Ol的像素坐标，为关键特征角点集合Current_left1中的关键特征角点角点的像素坐标，dx为图像单个像素对应的实际尺寸，d表示左目摄像机和右目摄像机的视差值，表示左目摄像机的摄像头的光心坐标位置；T为左目摄像机和右目摄像机光心间的直线距离，一般称为基线，f为左目摄像机和右目摄像机的焦距；
求右目目标灰度图像中目标中心Ol在右目摄像机坐标系下的三维坐标
其中，为右目目标灰度图像中目标中心Or的像素坐标，为关键特征角点集合Current_right1中的关键特征角点角点的像素坐标，表示右目摄像机的摄像头的光心坐标位置；
利用旋转矩阵Ml将目标中心Ol在左目摄像机坐标系下的三维坐标变换为目标中心Ol在无人机机体坐标系下的三维坐标利用利用旋转矩阵Mr将目标中心Or在左目摄像机坐标系下的三维坐标变换为目标中心Or在无人机机体坐标系下的三维坐标采用的公式如下：
则目标中心O在无人机机体坐标系下的三维位置坐标(Xs,Ys,Zs)为：
具体地，所述步骤三中的利用P4P求解方法求取目标中心O在无人机机体坐标系下的三维位置坐标(XP,YP,ZP)和无人机的姿态信息；具体包括以下步骤：
步骤3.2.1：基于张正友标定法对左目摄像机和右目摄像机进行标定，得到左目摄像机的内外参数和右目摄像机的内外参数；
步骤3.2.2：基于左目摄像机的内外参数、关键特征角点集合Current_left1中的关键特征角点的像素坐标以及关键特征角点集合Current_left1中的关键特征角点的世界坐标，利用P4P求解方法，获得左目目标灰度图像中目标中心Ol在左目摄像机坐标系下的三维坐标以及无人机的姿态信息：俯仰角θl，滚转角φl，偏航角ψl；
步骤3.2.3：基于右目摄像机的内外参数、关键特征角点集合Current_right1中的关键特征角点的像素坐标以及关键特征角点集合Current_right1中的关键特征角点的世界坐标，利用P4P求解方法，获得右目目标灰度图像中目标中心Or在右目摄像机坐标系下的三维坐标以及无人机的姿态信息：俯仰角θr，滚转角φr，偏航角ψr；
步骤3.2.4：利用旋转矩阵Ml将目标中心Ol在左目摄像机坐标系下的三维坐标变换为目标中心Ol在无人机机体坐标系下的三维坐标利用利用旋转矩阵Mr将目标中心Or在左目摄像机坐标系下的三维坐标变换为目标中心Or在无人机机体坐标系下的三维坐标即：
步骤3.2.5：根据目标中心Ol在无人机机体坐标系下的三维坐标和目标中心Or在无人机机体坐标系下的三维坐标求得目标中心O在无人机机体坐标系下的三维位置坐标(XP,YP,ZP)为：
根据步骤3.2.2得到的无人机的姿态信息和根据步骤3.2.3得到的无人机的姿态信息，求得最终的无人机的姿态信息：俯仰角θ＝(θl+θr)/2，滚转角φ＝(φl+φr)/2，偏航角ψ＝(ψl+ψr)/2。
具体地，所述步骤十中的分别在步骤四中得到的本帧左目灰度图像和本帧右目灰度图像中，确定左目目标再搜索区域和右目目标再搜索区域；包括以下步骤：
在步骤四中得到的本帧左目灰度图像中，确定左目目标再搜索区域的方法如下：
Step1：计算上一帧的关键特征角点集合Last_left中关键特征角点的横坐标的最大值与最小值之差为W1 l，纵坐标的最大值与最小值之差为
Step2：在本帧左目灰度图像中，确定左目目标再搜索区域，左目目标再搜索区域是中心点为宽为高为的矩形区域；其中，其中为上一帧的关键特征角点集合Last_left中的关键特征角点；
在步骤四中得到的本帧右目灰度图像中，确定右目目标再搜索区域，方法如下：
Step1：确定上一帧的关键特征角点集合Last_right中关键特征角点的横坐标的最大值与最小值之差为W1 r，纵坐标的最大值与最小值之差为
Step2：在本帧右目灰度图像中，确定右目目标再搜索区域，右目目标再搜索区域是中心点为宽为高为的矩形区域；其中，其中为上一帧的关键特征角点集合Last_right中的关键特征角点；
具体地，所述步骤十中的构建模板图像，基于归一化相关性匹配法，分别在左目目标再搜索区域和右目目标再搜索区域内进行目标搜索，得到重新确定的左目目标灰度图像和重新确定的右目目标灰度图像；包括以下步骤：
在左目目标再搜索区域内进行目标搜索，得到重新确定的左目目标灰度图像，方法如下：
Step1：确定模板图像，模板图像用A表示，模板图像A是是在上一帧左目目标灰度图像中，中心点为宽为高为的矩形区域；其中，其中为上一帧的关键特征角点集合Last_left中的关键特征角点，宽的取值范围为高的取值范围为其中，W1 l为上一帧的关键特征角点集合Last_left中关键特征角点的横坐标的最大值与最小值之差，为上一帧的关键特征角点集合Last_left中关键特征角点的纵坐标的最大值与最小值之差；
Step2：对左目目标再搜索区域进行预处理，得到包含有多个轮廓的轮廓集，预处理包括中值滤波去噪、图像自适应阈值化处理和Canny边缘检测；
Step3：针对轮廓集中的每一个轮廓设置最小矩形框，最小矩形框的长为构成该轮廓的像素点中的横坐标的最大值与最小值之差，最小矩形框的宽为构成轮廓的像素点中的纵坐标的最大值与最小值之差；轮廓位于最小矩形框的内部；每一个轮廓对应的最小矩形框所在区域图像构成疑似目标图像集；
Step4：将模板图像A与疑似目标图像集中的图像统一尺寸，计算模板图像A与疑似目标图像集中的每一个疑似目标图像的相关系数，计算公式如下:
其中，A(x′,y′)为模板图像A在像素点(x′,y′)处的灰度值，构成该图像的像素点用(x′,y′)表示，I(x′,y′)为图像I在像素点(x′,y′)处的灰度值，构成该图像的像素点用(x′,y′)表示，R(x,y)为模板图像A与图像I的相关系数，图像I为疑似目标图像集中的任意一个疑似目标图像；
Step5：在疑似目标图像集中，选出相关系数最大值对应的疑似目标图像作为重新确定的左目目标灰度图像；
在右目目标再搜索区域内进行目标搜索，得到重新确定的右目目标灰度图像；方法如下：
Step1：确定模板图像，模板图像用B表示，模板图像B在上一帧右目目标灰度图像中，中心点为宽为高为的矩形区域；其中，其中为上一帧的关键特征角点集合Last_right中的关键特征角点，宽的取值范围为高的取值范围为W1 r为上一帧的关键特征角点集合Last_right中关键特征角点的横坐标的最大值与最小值之差，为上一帧的关键特征角点集合Last_right中关键特征角点的纵坐标的最大值与最小值之差；
Step2：对右目目标再搜索区域进行预处理，得到包含有多个轮廓的轮廓集，预处理包括中值滤波去噪、图像自适应阈值化处理和Canny边缘检测；
Step3：针对轮廓集中的每一个轮廓设置最小矩形框，最小矩形框的长为构成该轮廓的像素点中的横坐标的最大值与最小值之差，最小矩形框的宽为构成轮廓的像素点中的纵坐标的最大值与最小值之差；轮廓位于最小矩形框的内部；每一个轮廓对应的最小矩形框所在区域图像构成疑似目标图像集；
Step4：将模板图像B与疑似目标图像集中的图像统一尺寸，计算模板图像B与疑似目标图像集中的每一个疑似目标图像的相关系数，计算公式如下：
其中，B(x′,y′)为模板图像B在像素点(x′,y′)处的灰度值，构成该图像的像素点用(x′,y′)表示，I(x′,y′)为图像I在像素点(x′,y′)处的灰度值，构成该图像的像素点用(x′,y′)表示，R(x,y)即为模板图像B与图像I的归一化相关系数，图像I为疑似目标图像集中的任意一个疑似目标图像；
Step5：在疑似目标图像集中，选出相关系数最大值对应的疑似目标图像作为重新确定的右目目标灰度图像。
具体地，所述步骤十一中的构建模板图像，采用的方法如下：
模板图像用C表示，模板图像C是在本帧右目灰度图像中，中心点为宽为高为的矩形区域；其中为关键特征角点集合Current_right4中的关键特征角点，宽的取值范围为高的取值范围为其中为关键特征角点集合Current_right4中关键特征角点的横坐标的最大值与最小值之差，为关键特征角点集合Current_right4中关键特征角点的纵坐标的最大值与最小值之差。
具体地，所述步骤十二中的构建模板图像，采用的方法如下：
模板图像用D表示，模板图像D是在本帧左目灰度图像中，中心点为宽为高为的矩形区域；其中为关键特征角点集合Current_left4中的关键特征角点，宽的取值范围为高的取值范围为其中为关键特征角点集合Current_left4中角点的横坐标的最大值与最小值之差，为关键特征角点集合Current_left4中角点的纵坐标的最大值与最小值之差。
与现有技术相比，本发明具有以下技术效果：
1、本发明以4个关键特征角点来表征着陆地标图像，通过金字塔L-K光流法跟踪这4个关键特征角点，来达到跟踪着陆地标的目的，避免直接跟踪整幅地标图像，可大大提高算法的实时性；
2、通过金字塔L-K光流法跟踪到4个关键特征角点后，在每个关键特征角点周围20*20区域内重新进行亚像素级角点检测，保证每一帧所需的用于解算导航信息的角点的精度；
3、将本帧跟踪到的关键特征角点与上一帧的关键特征角点，进行局部相似性匹配检验，保证本帧跟踪到的关键特征角点的准确性；
4、本发明对提取到的4个关键特征角点进行排序之后，关键特征角点一一对应，随后求取视差，计算着陆地标的三维位置信息；此方法不需对整幅图像进行匹配，求取视差，故大大节省时间，提高算法的实时性；
5、本发明对4个关键特征角点进行排序之后，结合关键特征角点对应的世界坐标，基于P4P问题求解算法，计算求取目标中心O在无人机机体坐标系下的三维位置坐标以及无人机的姿态信息，解算得到的三维位置信息与基于双目视觉原理计算得到的三维位置信息加和平均之后，最为最终的三维位置信息，提高算法精度。
附图说明
图1是本发明采用的着陆地标图；
图2是着陆地标上4个关键特征角点示意图；
图3是本发明的方法流程图；
图4是利用提取的关键特征角点进行导航信息解算的流程图；
图5是双目视觉原理示意图。
下面结合附图和具体实施方式对本发明的方案作进一步详细地解释和说明。
具体实施方式
本发明的基于双目视觉的无人机自主着陆导航信息实时解算方法，参见图3，具体包括以下步骤：
步骤一，利用无人机上的机载双目摄像机对着陆区域进行拍摄，获取包含有目标的双目视觉图像，机载双目摄像机包括左目摄像机和右目摄像机，因此双目视觉图像包括左目视觉图像和右目视觉图像；
在左目视觉图像提取目标图像，并对提取出的目标图像进行灰度化，得到左目目标灰度图像；在右目视觉图像提取目标图像，并对提取出的目标图像进行灰度化，得到右目目标灰度图像。此处的目标为着陆地标，目标中心为O。
步骤二，分别对左目目标灰度图像和右目灰度目标图像，利用亚像素级Shi-Tomasi角点提取算法进行处理，均得到四个关键特征角点，针对左目目标灰度图像得到的四个关键特征角点，根据四个关键特征角点的横纵坐标值的大小进行排序，形成关键特征角点集合Current_left1，针对右目目标灰度图像得到的四个关键特征角点，根据四个关键特征角点的横纵坐标值的大小进行排序，形成关键特征角点集合Current_right1，参见图2。
关键特征角点集合Current_left1中的四个关键特征角点的排列顺序为：纵坐标最小、横坐标最大、纵坐标最大和横坐标最小。
关键特征角点集合Current_right1中的四个关键特征角点的排列顺序为：纵坐标最小、横坐标最大、纵坐标最大和横坐标最小。
步骤三，利用关键特征角点集合Current_left1和关键特征角点集合Current_right1，利用双目视觉原理和P4P求解方法求取无人机自主着陆导航信息，即目标中心O在无人机机体坐标系下的三维位置坐标以及无人机的姿态信息。
步骤3.1，利用关键特征角点集合Current_left1和关键特征角点集合Current_right1，基于双目视觉原理求取目标中心O在无人机机体坐标系下的三维位置坐标(Xs,Ys,Zs)；具体过程如下：
如图5所示，xl和xr分别为限定范围内空间中某点P在左目摄像机和右目摄像机中成像的横坐标，f为左目摄像机和右目摄像机的焦距，D表示P点到双目成像平面的垂直距离，分别表示左目摄像机的摄像头和右目摄像机的摄像头的光心坐标位置，T为左目摄像机和右目摄像机光心间的直线距离，一般称为基线。设d表示左目摄像机和右目摄像机的视差值，可由下式得到：
d＝xl-xr
根据相似三角形定理及相关数学推导可以得到公式(1)：
其中：
其中dx为图像单个像素对应的实际尺寸，假设已经校准完毕，由于左目摄像机和右目摄像机的主光线平行，根据平行线定义，可知二者相交于无穷远处，可表示为则由式(1)可得三维坐标为：
参见图2，目标灰度图像中目标中心O为四个关键特征角点构成的正方形的中心，因此可利用关键特征角点集合Current_left1求得左目目标灰度图像中目标中心Ol的像素坐标利用关键特征角点集合Current_right1求得右目灰度目标图像中目标中心Or的像素坐标其中，为关键特征角点集合Current_left1中的关键特征角点的像素坐标，为关键特征角点集合Current_right1中的关键特征角点的像素坐标。
根据公式(2)和左目目标灰度图像中目标中心Ol的像素坐标得到目标中心Ol在左目摄像机坐标系下的三维坐标为：
同理，根据公式(2)和右目灰度目标图像中目标中心Or的像素坐标得到目标中心Or在右目摄像机坐标系下的三维坐标为：
由于左目摄像机和右目摄像机安装在无人机上的位置固定，故可知左目摄像机相对于无人机机体坐标系的旋转矩阵为Ml，右目摄像机相对于无人机机体坐标系的旋转矩阵为Mr；
利用旋转矩阵Ml可将目标中心Ol在左目摄像机坐标系下的三维坐标变换为目标中心Ol在无人机机体坐标系下的三维坐标利用利用旋转矩阵Mr可将目标中心Or在左目摄像机坐标系下的三维坐标变换为目标中心Or在无人机机体坐标系下的三维坐标即：
根据目标中心Ol在无人机机体坐标系下的三维坐标和目标中心Or在无人机机体坐标系下的三维坐标求得目标中心O在无人机机体坐标系下的三维位置坐标(Xs,Ys,Zs)为：
步骤3.2：利用关键特征角点集合Current_left1和关键特征角点集合Current_right1，基于P4P求解方法求取目标中心O在无人机机体坐标系下的三维位置坐标以及无人机的姿态信息，具体过程如下：
步骤3.2.1：基于张正友标定法对左目摄像机和右目摄像机进行标定，得到左目摄像机的内外参数和右目摄像机的内外参数；
步骤3.2.2：基于左目摄像机的内外参数、关键特征角点集合Current_left1中的关键特征角点的像素坐标以及关键特征角点集合Current_left1中的关键特征角点的世界坐标，利用P4P求解方法，获得左目目标灰度图像中目标中心Ol在左目摄像机坐标系下的三维坐标以及无人机的姿态信息：俯仰角θl，滚转角φl，偏航角ψl；具体求解方法可参考文献[2]。
步骤3.2.3：基于右目摄像机的内外参数、关键特征角点集合Current_right1中的关键特征角点的像素坐标以及关键特征角点集合Current_right1中的关键特征角点的世界坐标，利用P4P求解方法，获得右目目标灰度图像中目标中心Or在右目摄像机坐标系下的三维坐标以及无人机的姿态信息：俯仰角θr，滚转角φr，偏航角ψr；
步骤3.2.4：利用旋转矩阵Ml可将目标中心Ol在左目摄像机坐标系下的三维坐标变换为目标中心Ol在无人机机体坐标系下的三维坐标利用利用旋转矩阵Mr可将目标中心Or在左目摄像机坐标系下的三维坐标变换为目标中心Or在无人机机体坐标系下的三维坐标即：
步骤3.2.5：根据目标中心Ol在无人机机体坐标系下的三维坐标和目标中心Or在无人机机体坐标系下的三维坐标求得目标中心O在无人机机体坐标系下的三维位置坐标(XP,YP,ZP)为：
根据步骤3.2.2得到的无人机的姿态信息和根据步骤3.2.3得到的无人机的姿态信息，求得最终的无人机的姿态信息：俯仰角θ＝(θl+θr)/2，滚转角φ＝(φl+φr)/2，偏航角ψ＝(ψl+ψr)/2；
步骤3.3：将步骤3.1获得的目标中心O在无人机机体坐标系下的三维位置坐标(Xs,Ys,Zs)和步骤3.2获得的目标中心O在无人机机体坐标系下的三维位置坐标(XP,YP,ZP)，进行加和平均，以提高精度，得到最终的目标中心O在无人机机体坐标系下的三维位置坐标为：姿态信息为：俯仰角θ，滚转角φ，偏航角ψ。
步骤四，利用无人机上的机载双目摄像机对着陆区域进行拍摄，获取下一帧包含有目标的双目视觉图像，双目视觉图像包括本帧左目视觉图像和本帧右目视觉图像；对本帧左目视觉图像进行灰度化，得到本帧左目灰度图像，对本帧右目视觉图像进行灰度化，得到本帧右目灰度图像。
步骤五，将利用上一帧左目视觉图像得到的关键特征角点集合Current_left1更新为上一帧关键特征角点集合Last_left，将利用上一帧右目视觉图像得到的关键特征角点集合Current_right1更新为上一帧关键特征角点集合Last_right。
步骤六，利用金字塔L-K光流法，基于上一帧关键特征角点集合Last_left和本帧左目灰度图像，预测得到本帧的关键特征角点集合Current_left2，基于上一帧关键特征角点集合Last_left和本帧右目灰度图像，预测得到本帧的关键特征角点集合Current_right2。具体求解方法可参考文献[1]。
步骤七，针对关键特征角点集合Current_left2中的每一个关键特征角点，在以关键特征角点为中心的周围20*20的区域内，进行亚像素级Shi-Tomasi角点检测，检测得到新的角点，以检测得到的新的角点替换区域中心位置的关键特征角点，从而将关键特征角点集合Current_left2更新为关键特征角点集合Current_left3；同理，将关键特征角点集合Current_right2更新为关键特征角点集合Current_right3；
步骤八，计算关键特征角点集合Current_left3中的关键特征角点与上一帧关键特征角点集合Last_left中的关键特征角点之间的相关系数，根据计算得到的相关系数对关键特征角点集合Current_left3进行筛选，得到关键特征角点集合Current_left4；
计算关键特征角点集合Current_right3中的关键特征角点与上一帧关键特征角点集合Last_right中的关键特征角点之间的相关系数，根据计算得到的相关系数对关键特征角点集合Current_right 3进行筛选，得到关键特征角点集合Current_right 4，具体过程如下：
记为关键特征角点集合Current_left3中的第i个关键特征角点，为上一帧的关键特征角点集合Last_left中对应的一个关键特征角点，分别以关键特征角点和为中心的20*20大小的区域通过归一化相关系数匹配计算公式，计算两个关键特征角点的相关系数，计算公式如下：
其中，T(x′,y′)为图像T在像素点(x′,y′)处的灰度值，I(x′,y′)为图像I在(x′,y′)处的灰度值；图像T为以关键特征角点为中心的20*20大小的区域形成的图像，构成该图像的像素点用(x′,y′)表示；图像I为以特征角点为中心的20*20大小的区域形成的图像，构成该图像的像素点用(x′,y′)表示；为图像T与图像I的归一化相关系数，也就是关键特征角点集合Current_left3中角点与上一帧的关键特征角点集合Last_left中对应角点的相关系数。
以计算得到的相关系数对关键特征角点集合Current_left3进行筛选，去除跟踪效果较差的角点，即当针对关键特征角点计算得到的满足则认为该关键特征角点局部相似，跟踪效果较好，则保留；反之，则认为跟踪效果较差，将该关键特征角点由关键特征角点集合Current_left3中去除，经过上述处理后得到筛选后的关键特征角点集合Current_left4；Threshold基于实际情况设定，Threshold＝0.75。
同理，可由关键特征角点集合Current_right3与上一帧的关键特征角点集合Last_right，得到筛选后的关键特征角点集合Current_right4。
步骤九，若关键特征角点集合Current_left4与关键特征角点集合Current_right4中的关键特征角点数目都为4，则进入步骤三，其中的关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用关键特征角点集合Current_left4和关键特征角点集合Current_right4代替；
若关键特征角点集合Current_left4与关键特征角点集合Current_right4中的关键特征角点数目都小于4，进入步骤十；
若关键特征角点集合Current_left4中的键特征角点数目小于4，关键特征角点集合Current_right4中的关键特征角点数目等于4，进入步骤十一；
若关键特征角点集合Current_left4中的键特征角点数目等于4，关键特征角点集合Current_right4中的关键特征角点数目小于4，进入步骤十二；
步骤十，分别在步骤四中得到的本帧左目灰度图像和本帧右目灰度图像中，确定左目目标再搜索区域和右目目标再搜索区域；
基于归一化相关性匹配法分别在左目目标再搜索区域和右目目标再搜索区域内进行目标搜索，得到重新确定的左目目标灰度图像和重新确定的右目目标灰度图像；
分别针对重新确定的左目目标灰度图像和重新确定的右目目标灰度图像，采用亚像素级Shi-Tomasi角点提取方法提取4个关键特征角点，提取到的4个关键特征角点形成关键特征角点集合Current_left5和关键特征角点集合Current_right5；执行步骤三，将其中的关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用键特征角点集合Current_left5和关键特征角点集合Current_right5代替；
步骤10.1，在步骤四中得到的本帧左目灰度图像中，确定左目目标再搜索区域；在步骤四中得到的本帧右目灰度图像中，确定右目目标再搜索区域；具体确定方法如下：
在步骤四中得到的本帧左目灰度图像中，确定左目目标再搜索区域的方法如下：
Step1：计算上一帧的关键特征角点集合Last_left中关键特征角点的横坐标的最大值与最小值之差为W1 l，纵坐标的最大值与最小值之差为
Step2：在本帧左目灰度图像中，确定左目目标再搜索区域，左目目标再搜索区域是中心点为宽为高为的矩形区域；其中，其中为上一帧的关键特征角点集合Last_left中的关键特征角点；
在步骤四中得到的本帧右目灰度图像中，确定右目目标再搜索区域，方法如下：
Step1：确定上一帧的关键特征角点集合Last_right中关键特征角点的横坐标的最大值与最小值之差为W1 r，纵坐标的最大值与最小值之差为
Step2：在本帧右目灰度图像中，确定右目目标再搜索区域，右目目标再搜索区域是中心点为宽为高为的矩形区域；其中，其中为上一帧的关键特征角点集合Last_right中的关键特征角点；
步骤10.2，基于归一化相关性匹配法在左目目标再搜索区域内进行目标搜索，得到重新确定的左目目标灰度图像；在右目目标再搜索区域内进行目标搜索，得到重新确定的右目目标灰度图像；具体过程如下：
在左目目标再搜索区域内进行目标搜索，得到重新确定的左目目标灰度图像，方法如下：
Step1：确定模板图像，模板图像用A表示，模板图像A是在上一帧左目目标灰度图像中，中心点为宽为高为的矩形区域；其中，其中为上一帧的关键特征角点集合Last_left中的关键特征角点，宽的取值范围为高的取值范围为
Step2：对左目目标再搜索区域进行预处理，得到包含有多个轮廓的轮廓集，预处理包括中值滤波去噪、图像自适应阈值化处理和Canny边缘检测；
Step3：针对轮廓集中的每一个轮廓设置最小矩形框，最小矩形框的长为构成该轮廓的像素点中的横坐标的最大值与最小值之差，最小矩形框的宽为构成轮廓的像素点中的纵坐标的最大值与最小值之差；轮廓位于最小矩形框的内部；每一个轮廓对应的最小矩形框所在区域图像构成疑似目标图像集；
Step4：将模板图像A与疑似目标图像集中的图像统一尺寸(256*256)，计算模板图像A与疑似目标图像集中的每一个疑似目标图像的相关系数，计算公式如下:
其中，T(x′,y′)为模板图像A在像素点(x′,y′)处的灰度值，构成该图像的像素点用(x′,y′)表示，I(x′,y′)为图像I在像素点(x′,y′)处的灰度值，构成该图像的像素点用(x′,y′)表示，R(x,y)为模板图像A与图像I的相关系数，图像I为疑似目标图像集中的任意一个疑似目标图像；
Step5：在疑似目标图像集中，选出相关系数最大值对应的疑似目标图像作为重新确定的左目目标灰度图像。
在右目目标再搜索区域内进行目标搜索，得到重新确定的右目目标灰度图像；方法如下：
Step1：确定模板图像，模板图像用B表示，模板图像B在上一帧右目目标灰度图像中，中心点为宽为高为的矩形区域；其中，其中为上一帧的关键特征角点集合Last_right中的关键特征角点，宽的取值范围为高的取值范围为
Step2：对右目目标再搜索区域进行预处理，得到包含有多个轮廓的轮廓集，预处理包括中值滤波去噪、图像自适应阈值化处理和Canny边缘检测；
Step3：针对轮廓集中的每一个轮廓设置最小矩形框，最小矩形框的长为构成该轮廓的像素点中的横坐标的最大值与最小值之差，最小矩形框的宽为构成轮廓的像素点中的纵坐标的最大值与最小值之差；轮廓位于最小矩形框的内部；每一个轮廓对应的最小矩形框所在区域图像构成疑似目标图像集；
Step4：将模板图像B与疑似目标图像集中的图像统一尺寸(256*256)，计算模板图像B与疑似目标图像集中的每一个疑似目标图像的相关系数，计算公式如下:
中，B(x′,y′)为模板图像B在像素点(x′,y′)处的灰度值，构成该图像的像素点用(x′,y′)表示，I(x′,y′)为图像I在像素点(x′,y′)处的灰度值，构成该图像的像素点用(x′,y′)表示，R(x,y)即为模板图像B与图像I的归一化相关系数，图像I为疑似目标图像集中的任意一个疑似目标图像。
Step5：在疑似目标图像集中，选出相关系数最大值对应的疑似目标图像作为重新确定的右目目标灰度图像。
步骤10.3，针对重新确定的左目目标灰度图像，采用亚像素级Shi-Tomasi角点提取方法提取4个关键特征角点，提取到的4个关键特征角点形成关键特征角点集合Current_left5；针对重新确定的右目目标灰度图像，采用亚像素级Shi-Tomasi角点提取方法提取4个关键特征角点，提取到的4个关键特征角点形成关键特征角点集合Current_right5；
步骤10.4：执行步骤三，将其中的关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用关键特征角点集合Current_left5和关键特征角点集合Current_right5代替；
步骤十一，在步骤四中得到的本帧左目灰度图像中，确定左目目标再搜索区域；构建模板图像，基于归一化相关性匹配法，在左目目标再搜索区域内进行目标搜索，得到重新确定的左目目标灰度图像；针对重新确定的左目目标灰度图像，采用亚像素级Shi-Tomasi角点提取方法提取4个关键特征角点，提取到的4个关键特征角点形成关键特征角点集合Current_left5；
具体实现方法同步骤十，但其中模板图像的确定方法不同，此时的模板图像用C表示，模板图像C是在本帧右目灰度图像中，中心点为宽为高为的矩形区域；其中为关键特征角点集合Current_right4中的关键特征角点，宽的取值范围为高的取值范围为其中为关键特征角点集合Current_right4中关键特征角点的横坐标的最大值与最小值之差，为关键特征角点集合Current_right4中关键特征角点的纵坐标的最大值与最小值之差。
执行步骤三，将关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用关键特征角点集合Current_left5和关键特征角点集合Current_right4代替；
步骤十二，在步骤四中得到的本帧右目灰度图像中，确定右目目标再搜索区域；构建模板图像，基于归一化相关性匹配法，在右目目标再搜索区域内进行目标搜索，得到重新确定的右目目标灰度图像；针对重新确定的右目目标灰度图像，采用亚像素级Shi-Tomasi角点提取方法提取4个关键特征角点，提取到的4个关键特征角点形成关键特征角点集合Current_right5；
具体实现方法同步骤十，但其中模板图像的确定方法不同，此时的模板图像用D表示，模板图像D是在本帧左目灰度图像中，中心点为宽为高为的矩形区域；其中为关键特征角点集合Current_left4中的关键特征角点，宽的取值范围为高的取值范围为其中为关键特征角点集合Current_left4中角点的横坐标的最大值与最小值之差，为关键特征角点集合Current_left4中角点的纵坐标的最大值与最小值之差。
执行步骤三，将关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用关键特征角点集合Current_left4和关键特征角点集合Current_right5代替。

Claims (7)

1.基于双目视觉的无人机自主着陆导航信息实时解算方法，其特征在于，包括以下步骤：
步骤一，获取包含有目标的双目视觉图像，双目视觉图像包括左目视觉图像和右目视觉图像；分别在左目视觉图像和右目视觉图像中提取目标图像，并对提取出的目标图像进行灰度化处理，分别得到左目目标灰度图像和右目目标灰度图像；
步骤二，分别对左目目标灰度图像和右目灰度目标图像，利用亚像素级Shi-Tomasi角点提取算法进行处理，均得到四个关键特征角点，根据四个关键特征角点的横纵坐标值的大小对四个关键特征角点进行排序，分别形成关键特征角点集合Current_left1和关键特征角点集合Current_right1；
步骤三，利用关键特征角点集合Current_left1和关键特征角点集合Current_right1，利用双目视觉原理求取目标中心O在无人机机体坐标系下的三维位置坐标(Xs,Ys,Zs)，利用P4P求解方法求取目标中心O在无人机机体坐标系下的三维位置坐标(XP,YP,ZP)和无人机的姿态信息；求三维位置坐标(Xs,Ys,Zs)和三维位置坐标(XP,YP,ZP)的均值作为最终求得的目标中心O在无人机机体坐标系下的三维位置坐标(X,Y,Z)；
步骤四，获取下一帧包含有目标的双目视觉图像，双目视觉图像包括本帧左目视觉图像和本帧右目视觉图像；分别对本帧左目视觉图像和本帧右目视觉图像进行灰度化处理，分别得到本帧左目灰度图像和本帧右目灰度图像；
步骤五，将关键特征角点集合Current_left1更新为上一帧关键特征角点集合Last_left，将关键特征角点集合Current_right1更新为上一帧关键特征角点集合Last_right；
步骤六，利用金字塔L-K光流法，基于上一帧关键特征角点集合Last_left和本帧左目灰度图像，预测得到本帧的关键特征角点集合Current_left2；基于上一帧关键特征角点集合Last_left和本帧右目灰度图像，预测得到本帧的关键特征角点集合Current_right2；
步骤七，分别针对关键特征角点集合Current_left2和关键特征角点集合Current_right2中的每一个关键特征角点，在以关键特征角点为中心的周围设定区域内，进行亚像素级Shi-Tomasi角点检测，检测得到新的角点，以检测得到的新的角点替换区域中心位置的关键特征角点，使得关键特征角点集合Current_left2更新为关键特征角点集合Current_left3，使得关键特征角点集合Current_right2更新为关键特征角点集合Current_right3；
步骤八，计算关键特征角点集合Current_left3中的关键特征角点与上一帧关键特征角点集合Last_left中的关键特征角点之间的相关系数，根据计算得到的相关系数对关键特征角点集合Current_left3进行筛选，得到关键特征角点集合Current_left4；
计算关键特征角点集合Current_right3中的关键特征角点与上一帧关键特征角点集合Last_right中的关键特征角点之间的相关系数，根据计算得到的相关系数对关键特征角点集合Current_right 3进行筛选，得到关键特征角点集合Current_right 4；
步骤九，若关键特征角点集合Current_left4与关键特征角点集合Current_right4中的关键特征角点数目都为4，则进入步骤三，其中的关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用关键特征角点集合Current_left4和关键特征角点集合Current_right4代替；
若关键特征角点集合Current_left4与关键特征角点集合Current_right4中的关键特征角点数目都小于4，进入步骤十；
若关键特征角点集合Current_left4中的键特征角点数目小于4，关键特征角点集合Current_right4中的关键特征角点数目等于4，进入步骤十一；
若关键特征角点集合Current_left4中的键特征角点数目等于4，关键特征角点集合Current_right4中的关键特征角点数目小于4，进入步骤十二；
步骤十，分别在步骤四中得到的本帧左目灰度图像和本帧右目灰度图像中，确定左目目标再搜索区域和右目目标再搜索区域；
构建模板图像，基于归一化相关性匹配法，分别在左目目标再搜索区域和右目目标再搜索区域内进行目标搜索，得到重新确定的左目目标灰度图像和重新确定的右目目标灰度图像；
分别针对重新确定的左目目标灰度图像和重新确定的右目目标灰度图像，采用亚像素级Shi-Tomasi角点提取方法提取4个关键特征角点，提取到的4个关键特征角点形成关键特征角点集合Current_left5和关键特征角点集合Current_right5；执行步骤三，将其中的关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用键特征角点集合Current_left5和关键特征角点集合Current_right5代替；
步骤十一，在步骤四中得到的本帧左目灰度图像中，确定左目目标再搜索区域；构建模板图像，基于归一化相关性匹配法，在左目目标再搜索区域内进行目标搜索，得到重新确定的左目目标灰度图像；针对重新确定的左目目标灰度图像，采用亚像素级Shi-Tomasi角点提取方法提取4个关键特征角点，提取到的4个关键特征角点形成关键特征角点集合Current_left5；执行步骤三，将关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用关键特征角点集合Current_left5和关键特征角点集合Current_right4代替；
步骤十二，在步骤四中得到的本帧右目灰度图像中，确定右目目标再搜索区域；构建模板图像，基于归一化相关性匹配法，在右目目标再搜索区域内进行目标搜索，得到重新确定的右目目标灰度图像；针对重新确定的右目目标灰度图像，采用亚像素级Shi-Tomasi角点提取方法提取4个关键特征角点，提取到的4个关键特征角点形成关键特征角点集合Current_right5；执行步骤三，将关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用关键特征角点集合Current_left4和关键特征角点集合Current_right5代替。
2.如权利要求1所述的基于双目视觉的无人机自主着陆导航信息实时解算方法，其特征在于，所述步骤三中的利用双目视觉原理求取目标中心O在无人机机体坐标系下的三维位置坐标(Xs,Ys,Zs)，具体包括以下步骤：
求左目目标灰度图像中目标中心Ol在左目摄像机坐标系下的三维坐标
<mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>s</mi> <mi>l</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Y</mi> <mi>s</mi> <mi>l</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Z</mi> <mi>s</mi> <mi>l</mi> </msubsup> <mo>)</mo> <mo>=</mo> <mo>(</mo> <mfrac> <mrow> <mi>T</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>O</mi> <mi>l</mi> </msubsup> <mo>-</mo> <msubsup> <mi>c</mi> <mi>x</mi> <mi>l</mi> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>-</mo> <mi>d</mi> </mrow> </mfrac> <mo>,</mo> <mfrac> <mrow> <mi>T</mi> <mrow> <mo>(</mo> <msubsup> <mi>y</mi> <mi>O</mi> <mi>l</mi> </msubsup> <mo>-</mo> <msubsup> <mi>c</mi> <mi>y</mi> <mi>l</mi> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>-</mo> <mi>d</mi> </mrow> </mfrac> <mo>,</mo> <mfrac> <mrow> <mi>T</mi> <mi>f</mi> </mrow> <mrow> <mo>-</mo> <mi>d</mi> <mo>&amp;CenterDot;</mo> <mi>d</mi> <mi>x</mi> </mrow> </mfrac> <mo>)</mo> </mrow>
其中，为左目目标灰度图像中目标中心Ol的像素坐标，为关键特征角点集合Current_left1中的关键特征角点角点的像素坐标，dx为图像单个像素对应的实际尺寸，d表示左目摄像机和右目摄像机的视差值，表示左目摄像机的摄像头的光心坐标位置；T为左目摄像机和右目摄像机光心间的直线距离，一般称为基线，f为左目摄像机和右目摄像机的焦距；
求右目目标灰度图像中目标中心Ol在右目摄像机坐标系下的三维坐标
<mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>s</mi> <mi>r</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Y</mi> <mi>s</mi> <mi>r</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Z</mi> <mi>s</mi> <mi>r</mi> </msubsup> <mo>)</mo> <mo>=</mo> <mo>(</mo> <mfrac> <mrow> <mi>T</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>O</mi> <mi>r</mi> </msubsup> <mo>-</mo> <msubsup> <mi>c</mi> <mi>x</mi> <mi>r</mi> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>-</mo> <mi>d</mi> </mrow> </mfrac> <mo>,</mo> <mfrac> <mrow> <mi>T</mi> <mrow> <mo>(</mo> <msubsup> <mi>y</mi> <mi>O</mi> <mi>r</mi> </msubsup> <mo>-</mo> <msubsup> <mi>c</mi> <mi>y</mi> <mi>r</mi> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>-</mo> <mi>d</mi> </mrow> </mfrac> <mo>,</mo> <mfrac> <mrow> <mi>T</mi> <mi>f</mi> </mrow> <mrow> <mo>-</mo> <mi>d</mi> <mo>&amp;CenterDot;</mo> <mi>d</mi> <mi>x</mi> </mrow> </mfrac> <mo>)</mo> </mrow>
其中，为右目目标灰度图像中目标中心Or的像素坐标，为关键特征角点集合Current_right1中的关键特征角点角点的像素坐标，表示右目摄像机的摄像头的光心坐标位置；
利用旋转矩阵Ml将目标中心Ol在左目摄像机坐标系下的三维坐标变换为目标中心Ol在无人机机体坐标系下的三维坐标利用利用旋转矩阵Mr将目标中心Or在左目摄像机坐标系下的三维坐标变换为目标中心Or在无人机机体坐标系下的三维坐标采用的公式如下：
<mrow> <msup> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mrow> <mi>O</mi> <mi>S</mi> </mrow> <mi>l</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Y</mi> <mrow> <mi>O</mi> <mi>S</mi> </mrow> <mi>l</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Z</mi> <mrow> <mi>O</mi> <mi>S</mi> </mrow> <mi>l</mi> </msubsup> <mo>,</mo> <mn>1</mn> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>=</mo> <msub> <mi>M</mi> <mi>l</mi> </msub> <mo>&amp;CenterDot;</mo> <msup> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>s</mi> <mi>l</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Y</mi> <mi>s</mi> <mi>l</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Z</mi> <mi>s</mi> <mi>l</mi> </msubsup> <mo>,</mo> <mn>1</mn> <mo>)</mo> </mrow> <mi>T</mi> </msup> </mrow>
<mrow> <msup> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mrow> <mi>O</mi> <mi>S</mi> </mrow> <mi>r</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Y</mi> <mrow> <mi>O</mi> <mi>S</mi> </mrow> <mi>r</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Z</mi> <mrow> <mi>O</mi> <mi>S</mi> </mrow> <mi>r</mi> </msubsup> <mo>,</mo> <mn>1</mn> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>=</mo> <msub> <mi>M</mi> <mi>r</mi> </msub> <mo>&amp;CenterDot;</mo> <msup> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>s</mi> <mi>r</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Y</mi> <mi>s</mi> <mi>r</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Z</mi> <mi>s</mi> <mi>r</mi> </msubsup> <mo>,</mo> <mn>1</mn> <mo>)</mo> </mrow> <mi>T</mi> </msup> </mrow>
则目标中心O在无人机机体坐标系下的三维位置坐标(Xs,Ys,Zs)为：
<mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>s</mi> </msub> <mo>,</mo> <msub> <mi>Y</mi> <mi>s</mi> </msub> <mo>,</mo> <msub> <mi>Z</mi> <mi>s</mi> </msub> <mo>)</mo> <mo>=</mo> <mo>(</mo> <mfrac> <mrow> <msubsup> <mi>X</mi> <mrow> <mi>O</mi> <mi>S</mi> </mrow> <mi>l</mi> </msubsup> <mo>+</mo> <msubsup> <mi>X</mi> <mrow> <mi>O</mi> <mi>S</mi> </mrow> <mi>r</mi> </msubsup> </mrow> <mn>2</mn> </mfrac> <mo>,</mo> <mfrac> <mrow> <msubsup> <mi>Y</mi> <mrow> <mi>O</mi> <mi>S</mi> </mrow> <mi>l</mi> </msubsup> <mo>+</mo> <msubsup> <mi>Y</mi> <mrow> <mi>O</mi> <mi>S</mi> </mrow> <mi>r</mi> </msubsup> </mrow> <mn>2</mn> </mfrac> <mo>,</mo> <mfrac> <mrow> <msubsup> <mi>Z</mi> <mrow> <mi>O</mi> <mi>S</mi> </mrow> <mi>l</mi> </msubsup> <mo>+</mo> <msubsup> <mi>Z</mi> <mrow> <mi>O</mi> <mi>S</mi> </mrow> <mi>r</mi> </msubsup> </mrow> <mn>2</mn> </mfrac> <mo>)</mo> </mrow>
3.如权利要求1所述的基于双目视觉的无人机自主着陆导航信息实时解算方法，其特征在于，所述步骤三中的利用P4P求解方法求取目标中心O在无人机机体坐标系下的三维位置坐标(XP,YP,ZP)和无人机的姿态信息；具体包括以下步骤：
步骤3.2.1：基于张正友标定法对左目摄像机和右目摄像机进行标定，得到左目摄像机的内外参数和右目摄像机的内外参数；
步骤3.2.2：基于左目摄像机的内外参数、关键特征角点集合Current_left1中的关键特征角点的像素坐标以及关键特征角点集合Current_left1中的关键特征角点的世界坐标，利用P4P求解方法，获得左目目标灰度图像中目标中心Ol在左目摄像机坐标系下的三维坐标以及无人机的姿态信息：俯仰角θl，滚转角φl，偏航角ψl；
步骤3.2.3：基于右目摄像机的内外参数、关键特征角点集合Current_right1中的关键特征角点的像素坐标以及关键特征角点集合Current_right1中的关键特征角点的世界坐标，利用P4P求解方法，获得右目目标灰度图像中目标中心Or在右目摄像机坐标系下的三维坐标以及无人机的姿态信息：俯仰角θr，滚转角φr，偏航角ψr；
步骤3.2.4：利用旋转矩阵Ml将目标中心Ol在左目摄像机坐标系下的三维坐标变换为目标中心Ol在无人机机体坐标系下的三维坐标利用利用旋转矩阵Mr将目标中心Or在左目摄像机坐标系下的三维坐标变换为目标中心Or在无人机机体坐标系下的三维坐标即：
<mrow> <msup> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mrow> <mi>O</mi> <mi>P</mi> </mrow> <mi>l</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Y</mi> <mrow> <mi>O</mi> <mi>P</mi> </mrow> <mi>l</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Z</mi> <mrow> <mi>O</mi> <mi>P</mi> </mrow> <mi>l</mi> </msubsup> <mo>,</mo> <mn>1</mn> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>=</mo> <msub> <mi>M</mi> <mi>l</mi> </msub> <mo>&amp;CenterDot;</mo> <msup> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>P</mi> <mi>l</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Y</mi> <mi>P</mi> <mi>l</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Z</mi> <mi>P</mi> <mi>l</mi> </msubsup> <mo>,</mo> <mn>1</mn> <mo>)</mo> </mrow> <mi>T</mi> </msup> </mrow>
<mrow> <msup> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mrow> <mi>O</mi> <mi>P</mi> </mrow> <mi>r</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Y</mi> <mrow> <mi>O</mi> <mi>P</mi> </mrow> <mi>r</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Z</mi> <mrow> <mi>O</mi> <mi>P</mi> </mrow> <mi>r</mi> </msubsup> <mo>,</mo> <mn>1</mn> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>=</mo> <msub> <mi>M</mi> <mi>r</mi> </msub> <mo>&amp;CenterDot;</mo> <msup> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>P</mi> <mi>r</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Y</mi> <mi>P</mi> <mi>r</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Z</mi> <mi>P</mi> <mi>r</mi> </msubsup> <mo>,</mo> <mn>1</mn> <mo>)</mo> </mrow> <mi>T</mi> </msup> </mrow>
步骤3.2.5：根据目标中心Ol在无人机机体坐标系下的三维坐标和目标中心Or在无人机机体坐标系下的三维坐标求得目标中心O在无人机机体坐标系下的三维位置坐标(XP,YP,ZP)为：
<mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>P</mi> </msub> <mo>,</mo> <msub> <mi>Y</mi> <mi>P</mi> </msub> <mo>,</mo> <msub> <mi>Z</mi> <mi>P</mi> </msub> <mo>)</mo> <mo>=</mo> <mo>(</mo> <mfrac> <mrow> <msubsup> <mi>X</mi> <mrow> <mi>O</mi> <mi>P</mi> </mrow> <mi>r</mi> </msubsup> <mo>+</mo> <msubsup> <mi>X</mi> <mrow> <mi>O</mi> <mi>P</mi> </mrow> <mi>l</mi> </msubsup> </mrow> <mn>2</mn> </mfrac> <mo>,</mo> <mfrac> <mrow> <msubsup> <mi>Y</mi> <mrow> <mi>O</mi> <mi>P</mi> </mrow> <mi>r</mi> </msubsup> <mo>+</mo> <msubsup> <mi>Y</mi> <mrow> <mi>O</mi> <mi>P</mi> </mrow> <mi>l</mi> </msubsup> </mrow> <mn>2</mn> </mfrac> <mo>,</mo> <mfrac> <mrow> <msubsup> <mi>Z</mi> <mrow> <mi>O</mi> <mi>P</mi> </mrow> <mi>r</mi> </msubsup> <mo>+</mo> <msubsup> <mi>Z</mi> <mrow> <mi>O</mi> <mi>P</mi> </mrow> <mi>l</mi> </msubsup> </mrow> <mn>2</mn> </mfrac> <mo>)</mo> </mrow>
根据步骤3.2.2得到的无人机的姿态信息和根据步骤3.2.3得到的无人机的姿态信息，求得最终的无人机的姿态信息：俯仰角θ＝(θl+θr)/2，滚转角φ＝(φl+φr)/2，偏航角ψ＝(ψl+ψr)/2。
4.如权利要求1所述的基于双目视觉的无人机自主着陆导航信息实时解算方法，其特征在于，所述步骤十中的分别在步骤四中得到的本帧左目灰度图像和本帧右目灰度图像中，确定左目目标再搜索区域和右目目标再搜索区域；包括以下步骤：
在步骤四中得到的本帧左目灰度图像中，确定左目目标再搜索区域的方法如下：
Step1：计算上一帧的关键特征角点集合Last_left中关键特征角点的横坐标的最大值与最小值之差为W1 l，纵坐标的最大值与最小值之差为
Step2：在本帧左目灰度图像中，确定左目目标再搜索区域，左目目标再搜索区域是中心点为宽为高为的矩形区域；其中，其中为上一帧的关键特征角点集合Last_left中的关键特征角点；
在步骤四中得到的本帧右目灰度图像中，确定右目目标再搜索区域，方法如下：
Step1：确定上一帧的关键特征角点集合Last_right中关键特征角点的横坐标的最大值与最小值之差为W1 r，纵坐标的最大值与最小值之差为
Step2：在本帧右目灰度图像中，确定右目目标再搜索区域，右目目标再搜索区域是中心点为宽为高为的矩形区域；其中，其中为上一帧的关键特征角点集合Last_right中的关键特征角点；
5.如权利要求1所述的基于双目视觉的无人机自主着陆导航信息实时解算方法，其特征在于，所述步骤十中的构建模板图像，基于归一化相关性匹配法，分别在左目目标再搜索区域和右目目标再搜索区域内进行目标搜索，得到重新确定的左目目标灰度图像和重新确定的右目目标灰度图像；包括以下步骤：
在左目目标再搜索区域内进行目标搜索，得到重新确定的左目目标灰度图像，方法如下：
Step1：确定模板图像，模板图像用A表示，模板图像A是是在上一帧左目目标灰度图像中，中心点为宽为高为的矩形区域；其中，其中为上一帧的关键特征角点集合Last_left中的关键特征角点，宽的取值范围为高的取值范围为其中，W1 l为上一帧的关键特征角点集合Last_left中关键特征角点的横坐标的最大值与最小值之差，为上一帧的关键特征角点集合Last_left中关键特征角点的纵坐标的最大值与最小值之差；
Step2：对左目目标再搜索区域进行预处理，得到包含有多个轮廓的轮廓集，预处理包括中值滤波去噪、图像自适应阈值化处理和Canny边缘检测；
Step3：针对轮廓集中的每一个轮廓设置最小矩形框，最小矩形框的长为构成该轮廓的像素点中的横坐标的最大值与最小值之差，最小矩形框的宽为构成轮廓的像素点中的纵坐标的最大值与最小值之差；轮廓位于最小矩形框的内部；每一个轮廓对应的最小矩形框所在区域图像构成疑似目标图像集；
Step4：将模板图像A与疑似目标图像集中的图像统一尺寸，计算模板图像A与疑似目标图像集中的每一个疑似目标图像的相关系数，计算公式如下:
<mrow> <mi>R</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mo>&amp;Sigma;</mo> <mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <mrow> <mo>(</mo> <mi>A</mi> <mo>(</mo> <mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mo>)</mo> <mo>&amp;CenterDot;</mo> <mi>I</mi> <mo>(</mo> <mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow> <msqrt> <mrow> <msub> <mo>&amp;Sigma;</mo> <mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <mi>A</mi> <msup> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <msub> <mo>&amp;Sigma;</mo> <mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <mi>I</mi> <msup> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
其中，A(x′,y′)为模板图像A在像素点(x′,y′)处的灰度值，构成该图像的像素点用(x′,y′)表示，I(x′,y′)为图像I在像素点(x′,y′)处的灰度值，构成该图像的像素点用(x′,y′)表示，R(x,y)为模板图像A与图像I的相关系数，图像I为疑似目标图像集中的任意一个疑似目标图像；
Step5：在疑似目标图像集中，选出相关系数最大值对应的疑似目标图像作为重新确定的左目目标灰度图像；
在右目目标再搜索区域内进行目标搜索，得到重新确定的右目目标灰度图像；方法如下：
Step1：确定模板图像，模板图像用B表示，模板图像B在上一帧右目目标灰度图像中，中心点为宽为高为的矩形区域；其中，其中为上一帧的关键特征角点集合Last_right中的关键特征角点，宽的取值范围为高的取值范围为W1 r为上一帧的关键特征角点集合Last_right中关键特征角点的横坐标的最大值与最小值之差，为上一帧的关键特征角点集合Last_right中关键特征角点的纵坐标的最大值与最小值之差；
Step2：对右目目标再搜索区域进行预处理，得到包含有多个轮廓的轮廓集，预处理包括中值滤波去噪、图像自适应阈值化处理和Canny边缘检测；
Step3：针对轮廓集中的每一个轮廓设置最小矩形框，最小矩形框的长为构成该轮廓的像素点中的横坐标的最大值与最小值之差，最小矩形框的宽为构成轮廓的像素点中的纵坐标的最大值与最小值之差；轮廓位于最小矩形框的内部；每一个轮廓对应的最小矩形框所在区域图像构成疑似目标图像集；
Step4：将模板图像B与疑似目标图像集中的图像统一尺寸，计算模板图像B与疑似目标图像集中的每一个疑似目标图像的相关系数，计算公式如下：
<mrow> <mi>R</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mo>&amp;Sigma;</mo> <mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <mrow> <mo>(</mo> <mi>B</mi> <mo>(</mo> <mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mo>)</mo> <mo>&amp;CenterDot;</mo> <mi>I</mi> <mo>(</mo> <mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow> <msqrt> <mrow> <msub> <mo>&amp;Sigma;</mo> <mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <mi>B</mi> <msup> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <msub> <mo>&amp;Sigma;</mo> <mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <mi>I</mi> <msup> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> </mrow>
其中，B(x′,y′)为模板图像B在像素点(x′,y′)处的灰度值，构成该图像的像素点用(x′,y′)表示，I(x′,y′)为图像I在像素点(x′,y′)处的灰度值，构成该图像的像素点用(x′,y′)表示，R(x,y)即为模板图像B与图像I的归一化相关系数，图像I为疑似目标图像集中的任意一个疑似目标图像；
Step5：在疑似目标图像集中，选出相关系数最大值对应的疑似目标图像作为重新确定的右目目标灰度图像。
6.如权利要求1所述的基于双目视觉的无人机自主着陆导航信息实时解算方法，其特征在于，所述步骤十一中的构建模板图像，采用的方法如下：
模板图像用C表示，模板图像C是在本帧右目灰度图像中，中心点为宽为高为的矩形区域；其中为关键特征角点集合Current_right4中的关键特征角点，宽的取值范围为高的取值范围为其中为关键特征角点集合Current_right4中关键特征角点的横坐标的最大值与最小值之差，为关键特征角点集合Current_right4中关键特征角点的纵坐标的最大值与最小值之差。
7.如权利要求1所述的基于双目视觉的无人机自主着陆导航信息实时解算方法，其特征在于，所述步骤十二中的构建模板图像，采用的方法如下：
模板图像用D表示，模板图像D是在本帧左目灰度图像中，中心点为宽为高为的矩形区域；其中为关键特征角点集合Current_left4中的关键特征角点，宽的取值范围为高的取值范围为其中为关键特征角点集合Current_left4中角点的横坐标的最大值与最小值之差，为关键特征角点集合Current_left4中角点的纵坐标的最大值与最小值之差。
CN201710818825.8A 2017-09-12 2017-09-12 基于双目视觉的无人机自主着陆导航信息实时解算方法 Active CN107677274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710818825.8A CN107677274B (zh) 2017-09-12 2017-09-12 基于双目视觉的无人机自主着陆导航信息实时解算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710818825.8A CN107677274B (zh) 2017-09-12 2017-09-12 基于双目视觉的无人机自主着陆导航信息实时解算方法

Publications (2)

Publication Number Publication Date
CN107677274A true CN107677274A (zh) 2018-02-09
CN107677274B CN107677274B (zh) 2019-02-19

Family

ID=61135901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710818825.8A Active CN107677274B (zh) 2017-09-12 2017-09-12 基于双目视觉的无人机自主着陆导航信息实时解算方法

Country Status (1)

Country Link
CN (1) CN107677274B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520559A (zh) * 2018-04-04 2018-09-11 西安因诺航空科技有限公司 一种基于双目视觉的无人机定位导航的方法
CN108873917A (zh) * 2018-07-05 2018-11-23 太原理工大学 一种面向移动平台的无人机自主着陆控制系统及方法
CN108974373A (zh) * 2018-07-19 2018-12-11 西安恒宇众科空间技术有限公司 基于双目视觉飞行器自主着陆装置
CN109003307A (zh) * 2018-06-11 2018-12-14 西北工业大学 基于水下双目视觉测量的捕鱼网目尺寸设计方法
CN109164825A (zh) * 2018-08-13 2019-01-08 上海机电工程研究所 一种用于多旋翼无人机的自主导航避障方法及装置
CN109292099A (zh) * 2018-08-10 2019-02-01 顺丰科技有限公司 一种无人机着陆判断方法、装置、设备及存储介质
CN110058604A (zh) * 2019-05-24 2019-07-26 中国科学院地理科学与资源研究所 一种基于计算机视觉的无人机精准降落系统
CN111232234A (zh) * 2020-02-10 2020-06-05 江苏大学 一种飞行器空间实时定位系统的方法
CN111796605A (zh) * 2019-05-23 2020-10-20 北京京东尚科信息技术有限公司 无人机降落控制方法、控制器和无人机
CN113221253A (zh) * 2021-06-01 2021-08-06 山东贝特建筑项目管理咨询有限公司 一种用于锚栓图像检测的无人机控制方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102914302A (zh) * 2012-09-12 2013-02-06 西北工业大学 一种无人机着陆视觉导航合作目标鲁棒检测方法
CN106529587A (zh) * 2016-08-26 2017-03-22 北京航空航天大学 基于目标点识别的视觉航向识别方法
CN106709950A (zh) * 2016-11-28 2017-05-24 西安工程大学 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN106934809A (zh) * 2017-03-29 2017-07-07 厦门大学 基于双目视觉的无人机空中自主加油快速对接导航方法
CN107063228A (zh) * 2016-12-21 2017-08-18 上海交通大学 基于双目视觉的目标姿态解算方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102914302A (zh) * 2012-09-12 2013-02-06 西北工业大学 一种无人机着陆视觉导航合作目标鲁棒检测方法
CN106529587A (zh) * 2016-08-26 2017-03-22 北京航空航天大学 基于目标点识别的视觉航向识别方法
CN106709950A (zh) * 2016-11-28 2017-05-24 西安工程大学 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN107063228A (zh) * 2016-12-21 2017-08-18 上海交通大学 基于双目视觉的目标姿态解算方法
CN106934809A (zh) * 2017-03-29 2017-07-07 厦门大学 基于双目视觉的无人机空中自主加油快速对接导航方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520559A (zh) * 2018-04-04 2018-09-11 西安因诺航空科技有限公司 一种基于双目视觉的无人机定位导航的方法
CN108520559B (zh) * 2018-04-04 2022-04-05 西安因诺航空科技有限公司 一种基于双目视觉的无人机定位导航的方法
CN109003307A (zh) * 2018-06-11 2018-12-14 西北工业大学 基于水下双目视觉测量的捕鱼网目尺寸设计方法
CN109003307B (zh) * 2018-06-11 2021-10-22 西北工业大学 基于水下双目视觉测量的捕鱼网目尺寸设计方法
CN108873917A (zh) * 2018-07-05 2018-11-23 太原理工大学 一种面向移动平台的无人机自主着陆控制系统及方法
CN108974373A (zh) * 2018-07-19 2018-12-11 西安恒宇众科空间技术有限公司 基于双目视觉飞行器自主着陆装置
CN108974373B (zh) * 2018-07-19 2019-12-13 西安恒宇众科空间技术有限公司 一种飞行器自主着陆方法和基于双目视觉飞行器自主着陆装置
CN109292099A (zh) * 2018-08-10 2019-02-01 顺丰科技有限公司 一种无人机着陆判断方法、装置、设备及存储介质
CN109164825A (zh) * 2018-08-13 2019-01-08 上海机电工程研究所 一种用于多旋翼无人机的自主导航避障方法及装置
CN111796605A (zh) * 2019-05-23 2020-10-20 北京京东尚科信息技术有限公司 无人机降落控制方法、控制器和无人机
CN110058604A (zh) * 2019-05-24 2019-07-26 中国科学院地理科学与资源研究所 一种基于计算机视觉的无人机精准降落系统
CN111232234A (zh) * 2020-02-10 2020-06-05 江苏大学 一种飞行器空间实时定位系统的方法
CN113221253A (zh) * 2021-06-01 2021-08-06 山东贝特建筑项目管理咨询有限公司 一种用于锚栓图像检测的无人机控制方法和系统

Also Published As

Publication number Publication date
CN107677274B (zh) 2019-02-19

Similar Documents

Publication Publication Date Title
CN107677274B (zh) 基于双目视觉的无人机自主着陆导航信息实时解算方法
WO2021004312A1 (zh) 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN107392964B (zh) 基于室内特征点和结构线结合的室内slam方法
CN106681353B (zh) 基于双目视觉与光流融合的无人机避障方法及系统
CN106651942B (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
CN109579825B (zh) 基于双目视觉和卷积神经网络的机器人定位系统及方法
CN104536009A (zh) 一种激光红外复合的地面建筑物识别及导航方法
CN106683173A (zh) 一种基于邻域块匹配提高三维重建点云稠密程度的方法
CN108534782A (zh) 一种基于双目视觉系统的地标地图车辆即时定位方法
CN106934809A (zh) 基于双目视觉的无人机空中自主加油快速对接导航方法
CN104700414A (zh) 一种基于车载双目相机的前方道路行人快速测距方法
CN104899590A (zh) 一种无人机视觉目标跟随方法及系统
CN108009494A (zh) 一种基于无人机的道路交叉口车辆跟踪方法
CN106096621B (zh) 基于矢量约束的着降位置检测用随机特征点选取方法
CN108776989A (zh) 基于稀疏slam框架的低纹理平面场景重建方法
CN108597009A (zh) 一种基于方向角信息进行三维目标检测的方法
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN113744315A (zh) 一种基于双目视觉的半直接视觉里程计
CN108225273A (zh) 一种基于传感器先验知识的实时跑道检测方法
CN109871024A (zh) 一种基于轻量级视觉里程计的无人机位姿估计方法
CN116468786A (zh) 一种面向动态环境的基于点线联合的语义slam方法
CN117523461B (zh) 一种基于机载单目相机的运动目标跟踪与定位方法
CN107301371A (zh) 一种基于图像信息融合的非结构化道路检测方法及系统
CN104156933A (zh) 一种基于光流场的图像配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230308

Address after: 710075 Floor 11, Aerospace Technology Application Innovation Center, No. 32, Tuanjie South Road, High-tech Zone, Xi'an, Shaanxi Province

Patentee after: XI'AN LINGKONG ELECTRONIC TECHNOLOGY Co.,Ltd.

Address before: 710068 No.127, Youyi West Road, Xi'an City, Shaanxi Province

Patentee before: Northwestern Polytechnical University

TR01 Transfer of patent right