CN110968722A - 一种用于无人机自主着陆的平台识别测量方法 - Google Patents

一种用于无人机自主着陆的平台识别测量方法 Download PDF

Info

Publication number
CN110968722A
CN110968722A CN201911238098.3A CN201911238098A CN110968722A CN 110968722 A CN110968722 A CN 110968722A CN 201911238098 A CN201911238098 A CN 201911238098A CN 110968722 A CN110968722 A CN 110968722A
Authority
CN
China
Prior art keywords
target
area
region
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911238098.3A
Other languages
English (en)
Inventor
张翰墨
贺亮
胡阳修
赵长春
陈扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aerospace Control Technology Institute
Original Assignee
Shanghai Aerospace Control Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aerospace Control Technology Institute filed Critical Shanghai Aerospace Control Technology Institute
Priority to CN201911238098.3A priority Critical patent/CN110968722A/zh
Publication of CN110968722A publication Critical patent/CN110968722A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于无人机自主着陆的平台识别测量算法，属于无人机领域着陆光学测量技术领域，其步骤包括(1)合作靶标设计方法；(2)特征提取方法，得到视场内合作靶标；(3)基于特征分类的靶标识别方法，得到靶标的模型；(4)基于特征点的相对测量方法，计算靶标的4个特征点，计算得到靶标相对于无人机的相对位置。可用此方法利用合作靶标实现无人机的自主着陆需要的相对位置信息。本发明提出的用于无人机自主着陆的光学测量算法，引入单目相机合作靶标测量的优势，通过特征提取、特征识别、相对测量，实现在不同相对测量距离下对合作靶标的准确相对测量。

Description

一种用于无人机自主着陆的平台识别测量方法
技术领域
本发明涉及无人机自主着陆技术，基于特征提取、特征识别和相对测量方法，具体涉及一种用于无人机自主着陆的平台识别测量方法。
背景技术
随着无人机领域的快速扩张需求，要求着陆智能化，利用单目相机在悬停或飞行过程中对合作靶标进行自动识别并测量是自主着陆的基础条件。由于实际环境限制，一般采用合作靶标或双目视觉测量来得到靶标的着陆信息。
在进行靶标设计时，主要依据的是设计不同与常规环境的颜色信息和结构信息的特征，但是缺点是基于颜色信息的靶标识别取决于实际工作环境的光照条件，在不同天气情况设定的颜色信息可能无法进行特征提取。另外靶标的设计往往结构简单并且尺寸单一，无法满足在无人机实际飞行着陆过程中相机出现一定幅度偏摆情况下的清晰完整成像，进而无法有效提供相对测量信息引导无人机自主着陆。
发明内容
本发明的目的在于提供一种用于无人机自主着陆的平台识别测量方法，以解决无人机自主着陆过程中靶标的动态自动识别问题。
为达到上述发明内容，本发明的技术解决方案是：
步骤1：设计靶标，并进行靶标编码，构建得到靶标的结构信息数据库；
步骤2：无人机运动过程中成像的图像进行靶标区域识别和特征提取，计算视场内靶标的编码；
步骤3：在得到的靶标区域中，进行特征点提取，得到图像上的靶标结构特征数据；
步骤4：在提取得到的特征数据库和靶标的结构信息数据库进行匹配，进行相对测量计算，得到靶标的相对位置信息。
所述步骤1的设计靶标，靶标为五个尺寸的子靶标进行组合而成，其中每个子靶标都由3×3的网格组成，并且按照黑白两种填充进行编码，最终子靶标分布在整个靶标的对角线上，并且越靠近中心位置靶标尺寸越小，如图2所示。
在设计完成后，对子靶标进行编码，按照从左到右顺时针序依次组成二进制，然后转成十进制编号，并且按照实际尺寸对3×3的网格进行角点提取，得到单位为mm的信息数据，并按照D:{idx:pt_numidx,(xj,yj)；...}构建得到整个靶标的结构信息数据库，其中idx表示编号，pt_numidx为编码idx对应的靶标中所有特征点的个数，(xi,yi)为该类中特征点的物理坐标。
对图像I进行灰度值变换，因为不同光照环境的影响，靶标在图像上的灰度值表达不是0和255，计算整幅图像的直方图信息，采样率为16，统计整幅图的灰度值分别在0-15，16-31，32-47，48-63，64-79，80-95，96-111，112-127，128-143，144-159，160-175，176-191，192-207，208-223，224-239，240-255上的数量histr，取统计量中的最大值，将其对应的灰度值区域r的最小值作为阈值r_thresh，对I进行阈值化处理，得到新的图像I'，计算公式为：
Figure BDA0002305410900000031
其中，I(x,y)为图像I在坐标(x,y)上的灰度值。
在I'上，进行连通域处理，将所有连通域按照面积大小依次排序，取面积最大的连通域regionmax和面积第二大的连通域region2，判断是否为满足比例阈值：
Area(region2)/Area(regionmax)＜Area_thresh
其中Area_thresh取值范围为：[0.8,0.95]。
若不满足比例要求，则依次选择面积第二和面积第三的连通域进行比例判断，依次遍历整个排序。若满足比例要求，则得到此时的region2为靶标区域。
若遍历了整个排序后依旧没有得到结果，则进行第二次迭代，判断是否满足比例阈值block_thresh：
Area(region2)/Area(region1)＜block_thresh
若不满足比例要求，则依次选择面积第二和面积第三的连通域进行比例判断，依次遍历整个排序。若满足比例要求，则得到此时的region1为靶标区域。
然后针对靶标区域进行特征提取，首先在靶标区域内进行连通域处理，将得到的连通域按照大小依次排列，记为Bu，取最大面积B1，筛选与其相近的连通域，，判断公式为：
area_Bu/area_B1≥0.7
得到一组
Figure BDA0002305410900000041
连通域，记录它们的中心点为(xm,ym)，计算
Figure BDA0002305410900000042
里中心点相距区域中心最远的3个连通域，标记为1、3和5，计算三个中心之间相距最远的两个，记为3和5，中心点为(x3,y3)和(x5,y5)。
则剩下的一个连通域标记为1，中心点为(x1,y1)，并计算((x3+x5)/2,(y3+y5)/2)之间连线的斜率：
Figure BDA0002305410900000043
遍历
Figure BDA0002305410900000044
连通域，依次计算(xm,ym)与((x3+x5)/2,(y3+y5)/2)之间的斜率：
Figure BDA0002305410900000051
计算角度差：θ＝arctan(km)-arctan(k1)
按照45°进行二进制编码，得到此靶标区域的编号idxc。
并且按照标记点1开始顺时针方向记录每个网格块的角点坐标，每个块的角点坐标也按顺时针记录。得到当前靶标数据：
Figure BDA0002305410900000052
对步骤3得到的数据Dc和步骤1得到的数据集进行匹配，得到靶标模板和实际图像上的特征点对(xj,yj,xcj,ycj)，然后利用最小二乘求解相对位置Δx,Δy,Δh。
附图说明
图1是本发明实施例的靶标编码示意图；
图2是本发明实施例的靶标设计图。
具体实施方式
参照图1，本发明的一种用于无人机自主着陆的平台识别测量方法，具体实现过程如下：
步骤1：设计靶标为五个尺寸的子靶标进行组合而成，其中每个子靶标都由3×3的网格组成，并且按照黑白两种填充进行编码，最终子靶标分布在整个靶标的对角线上，并且越靠近中心位置靶标尺寸越小。
在设计完成后，对子靶标进行编码，按照从左到右顺时针序依次组成二进制，然后转成十进制编号，并且按照实际尺寸对3×3的网格进行角点提取，得到单位为mm的信息数据，并按照D:{idx:pt_numidx,(xj,yj)；...}构建得到整个靶标的结构信息数据库，其中idx表示编号，pt_numidx为编码idx对应的靶标中所有特征点的个数，(xi,yi)为该类中特征点的物理坐标。
步骤2：首先对图像I进行灰度值变换，因为不同光照环境的影响，靶标在图像上的灰度值表达不是0和255，计算整幅图像的直方图信息，采样率为16，统计整幅图的灰度值分别在0-15，16-31，32-47，48-63，64-79，80-95，96-111，112-127，128-143，144-159，160-175，176-191，192-207，208-223，224-239，240-255上的数量histr，取统计量中的最大值，将其对应的灰度值区域r的最小值作为阈值r_thresh，对I进行阈值化处理，得到新的图像I'，计算公式为：
Figure BDA0002305410900000061
其中，I(x,y)为图像I在坐标(x,y)上的灰度值。
在I'上，进行连通域处理，将所有连通域按照面积大小依次排序，取面积最大的连通域regionmax和面积第二大的连通域region2，判断是否为满足比例阈值：
Area(region2)/Area(regionmax)＜Area_thresh
其中Area_thresh取值范围为：[0.8,0.95]。
若不满足比例要求，则依次选择面积第二和面积第三的连通域进行比例判断，依次遍历整个排序。若满足比例要求，则得到此时的region2为靶标区域。
若遍历了整个排序后依旧没有得到结果，则进行第二次迭代，判断是否满足比例阈值block_thresh：
Area(region2)/Area(region1)＜block_thresh
若不满足比例要求，则依次选择面积第二和面积第三的连通域进行比例判断，依次遍历整个排序。若满足比例要求，则得到此时的region1为靶标区域。
然后针对靶标区域进行特征提取，首先在靶标区域内进行连通域处理，将得到的连通域按照大小依次排列，记为Bu，取最大面积B1，筛选与其相近的连通域，，判断公式为：
area_Bu/area_B1≥0.7
得到一组
Figure BDA0002305410900000084
连通域，记录它们的中心点为(xm,ym)，计算
Figure BDA0002305410900000085
里中心点相距区域中心最远的3个连通域，标记为1、3和5，计算三个中心之间相距最远的两个，记为3和5，中心点为(x3,y3)和(x5,y5)。
则剩下的一个连通域标记为1，中心点为(x1,y1)，并计算((x3+x5)/2,(y3+y5)/2)之间连线的斜率：
Figure BDA0002305410900000081
遍历
Figure BDA0002305410900000082
连通域，依次计算(xm,ym)与((x3+x5)/2,(y3+y5)/2)之间的斜率：
Figure BDA0002305410900000083
计算角度差：θ＝arctan(km)-arctan(k1)
按照45°进行二进制编码，得到此靶标区域的编号idxc。
步骤3：按照标记点1开始顺时针方向记录每个网格块的角点坐标，每个块的角点坐标也按顺时针记录。得到当前靶标数据：Dc:{idxc:pt_numidxc,(xcj,ycj)；...}。
步骤4：是对步骤3得到的数据Dc和步骤1得到的数据集进行匹配，得到靶标模板和实际图像上的特征点对(xj,yj,xcj,ycj)，然后利用最小二乘求解相对位置Δx,Δy,Δh。

Claims (6)

1.一种用于无人机自主着陆的平台识别测量方法，其特征在于，包括以下步骤：
步骤1：设计靶标，并进行靶标编码，构建得到靶标的结构信息数据库；
步骤2：无人机运动过程中成像的图像进行靶标区域识别和特征提取，计算视场内靶标的编码；
步骤3：在得到的靶标区域中，进行特征点提取，得到图像上的靶标结构特征数据；
步骤4：在提取得到的特征数据库和靶标的结构信息数据库进行匹配，进行相对测量计算，得到靶标的相对位置信息。
2.如权利要求1所述的一种用于无人机自主着陆的平台识别测量方法，其特征在于，所述步骤1的设计靶标，靶标为五个尺寸的子靶标进行组合而成，其中每个子靶标都由3×3的网格组成，并且按照黑白两种填充进行编码，最终子靶标分布在整个靶标的对角线上，并且越靠近中心位置靶标尺寸越小。
3.如权利要求2所述的一种用于无人机自主着陆的平台识别测量方法，其特征在于，在设计完成后，对子靶标进行编码，按照从左到右顺时针序依次组成二进制，然后转成十进制编号，并且按照实际尺寸对3×3的网格进行角点提取，得到单位为mm的信息数据，并按照D:{idx:pt_numidx,(xj,yj)；...}构建得到整个靶标的结构信息数据库，其中idx表示编号，pt_numidx为编码idx对应的靶标中所有特征点的个数，(xi,yi)为该类中特征点的物理坐标。
4.如权利要求1所述的一种用于无人机自主着陆的平台识别测量方法，其特征在于，在所述步骤2中靶标区域识别和特征提取，首先对图像I进行灰度值变换，因为不同光照环境的影响，靶标在图像上的灰度值表达不是0和255，计算整幅图像的直方图信息，采样率为16，统计整幅图的灰度值分别在0-15，16-31，32-47，48-63，64-79，80-95，96-111，112-127，128-143，144-159，160-175，176-191，192-207，208-223，224-239，240-255上的数量histr，取统计量中的最大值，将其对应的灰度值区域r的最小值作为阈值r_thresh，对I进行阈值化处理，得到新的图像I'，计算公式为：
Figure FDA0002305410890000021
其中，I(x,y)为图像I在坐标(x,y)上的灰度值；
在I'上，进行连通域处理，将所有连通域按照面积大小依次排序，取面积最大的连通域regionmax和面积第二大的连通域region2，判断是否为满足比例阈值：
Area(region2)/Area(regionmax)＜Area_thresh
其中Area_thresh取值范围为：[0.8,0.95]；
若不满足比例要求，则依次选择面积第二和面积第三的连通域进行比例判断，依次遍历整个排序；若满足比例要求，则得到此时的region2为靶标区域；
若遍历了整个排序后依旧没有得到结果，则进行第二次迭代，判断是否满足比例阈值block_thresh：
Area(region2)/Area(region1)＜block_thresh
若不满足比例要求，则依次选择面积第二和面积第三的连通域进行比例判断，依次遍历整个排序；若满足比例要求，则得到此时的region1为靶标区域；
然后针对靶标区域进行特征提取，首先在靶标区域内进行连通域处理，将得到的连通域按照大小依次排列，记为Bu，取最大面积B1，筛选与其相近的连通域，，判断公式为：
area_Bu/area_B1≥0.7
得到一组
Figure FDA0002305410890000031
连通域，记录它们的中心点为(xm,ym)，计算
Figure FDA0002305410890000032
里中心点相距区域中心最远的3个连通域，标记为1、3和5，计算三个中心之间相距最远的两个，记为3和5，中心点为(x3,y3)和(x5,y5)；
则剩下的一个连通域标记为1，中心点为(x1,y1)，并计算((x3+x5)/2,(y3+y5)/2)之间连线的斜率：
Figure FDA0002305410890000033
遍历
Figure FDA0002305410890000036
连通域，依次计算(xm,ym)与((x3+x5)/2,(y3+y5)/2)之间的斜率：
Figure FDA0002305410890000034
计算角度差：θ＝arctan(km)-arctan(k1)
按照45°进行二进制编码，得到此靶标区域的编号idxc。
5.如权利要求1所述的一种用于无人机自主着陆的平台识别测量方法，其特征在于，所述步骤3中靶标区域特征点提取，按照标记点1开始顺时针方向记录每个网格块的角点坐标，每个块的角点坐标也按顺时针记录；得到当前靶标数据：
Figure FDA0002305410890000035
6.如权利要求5所述的一种用于无人机自主着陆的平台识别测量方法，其特征在于，所述步骤4中，对步骤3得到的数据Dc和步骤1得到的数据集进行匹配，得到靶标模板和实际图像上的特征点对(xj,yj,xcj,ycj)，然后利用最小二乘求解相对位置Δx,Δy,Δh。
CN201911238098.3A 2019-12-06 2019-12-06 一种用于无人机自主着陆的平台识别测量方法 Pending CN110968722A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911238098.3A CN110968722A (zh) 2019-12-06 2019-12-06 一种用于无人机自主着陆的平台识别测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911238098.3A CN110968722A (zh) 2019-12-06 2019-12-06 一种用于无人机自主着陆的平台识别测量方法

Publications (1)

Publication Number Publication Date
CN110968722A true CN110968722A (zh) 2020-04-07

Family

ID=70033104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911238098.3A Pending CN110968722A (zh) 2019-12-06 2019-12-06 一种用于无人机自主着陆的平台识别测量方法

Country Status (1)

Country Link
CN (1) CN110968722A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114578855A (zh) * 2022-03-03 2022-06-03 北京新科汇智科技发展有限公司 一种无人机备降方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107202982A (zh) * 2017-05-22 2017-09-26 徐泽宇 一种基于无人机位姿计算的信标布置及图像处理方法
CN109949361A (zh) * 2018-12-16 2019-06-28 内蒙古工业大学 一种基于单目视觉定位的旋翼无人机姿态估计方法
CN110222612A (zh) * 2019-05-27 2019-09-10 北京交通大学 用于无人机自主降落的动态标靶识别与跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107202982A (zh) * 2017-05-22 2017-09-26 徐泽宇 一种基于无人机位姿计算的信标布置及图像处理方法
CN109949361A (zh) * 2018-12-16 2019-06-28 内蒙古工业大学 一种基于单目视觉定位的旋翼无人机姿态估计方法
CN110222612A (zh) * 2019-05-27 2019-09-10 北京交通大学 用于无人机自主降落的动态标靶识别与跟踪方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114578855A (zh) * 2022-03-03 2022-06-03 北京新科汇智科技发展有限公司 一种无人机备降方法及系统

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN109784333B (zh) 基于点云带权通道特征的三维目标检测方法及系统
CN112818988B (zh) 一种指针式仪表自动识别读数方法及系统
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
CN106022232A (zh) 基于深度学习的车牌检测方法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN102865859B (zh) 一种基于surf特征的航空序列图像位置估计方法
CN108764004B (zh) 一种基于编码环采样的环状编码标记点解码识别方法
CN110378957B (zh) 面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统
CN105574527A (zh) 一种基于局部特征学习的快速物体检测方法
CN109492525B (zh) 一种测量基站天线工程参数的方法
CN104121902A (zh) 基于Xtion摄像机的室内机器人视觉里程计实现方法
CN113222940B (zh) 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法
CN104517101A (zh) 一种基于像素平方差匹配的游戏扑克牌识别方法
CN115717894A (zh) 一种基于gps和普通导航地图的车辆高精度定位方法
CN114241438B (zh) 一种基于先验信息的交通信号灯快速精确的识别方法
CN113538585B (zh) 基于无人机的高精度多目标智能识别定位追踪方法及系统
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
CN114660579A (zh) 一种全自动激光雷达与相机标定方法
CN114463425A (zh) 一种基于概率Hough直线检测的工件表面无特征点定位方法
CN112613437B (zh) 一种违章建筑识别方法
CN110968722A (zh) 一种用于无人机自主着陆的平台识别测量方法
CN111444777B (zh) 一种同时标记阴影的前视声呐目标检测标记方法
Sun et al. Automatic targetless calibration for LiDAR and camera based on instance segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination