CN105387860B - 结合单目视觉与激光测距的无人机自主着陆导引方法 - Google Patents

结合单目视觉与激光测距的无人机自主着陆导引方法 Download PDF

Info

Publication number
CN105387860B
CN105387860B CN201510943566.2A CN201510943566A CN105387860B CN 105387860 B CN105387860 B CN 105387860B CN 201510943566 A CN201510943566 A CN 201510943566A CN 105387860 B CN105387860 B CN 105387860B
Authority
CN
China
Prior art keywords
camera
unmanned plane
laser device
angle
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510943566.2A
Other languages
English (en)
Other versions
CN105387860A (zh
Inventor
杨涛
张艳宁
李治
王斯丙
刘小飞
谢秀川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201510943566.2A priority Critical patent/CN105387860B/zh
Publication of CN105387860A publication Critical patent/CN105387860A/zh
Application granted granted Critical
Publication of CN105387860B publication Critical patent/CN105387860B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种结合单目视觉与激光测距的无人机自主着陆导引方法，用于解决现有无人机自主着陆导引方法精度差的技术问题。技术方案是采用激光测距仪实时获取无人机距离着陆点的距离信息，利用单目视觉进行目标识别。首先通过一个三维度可独立调节的水平载台调节相机使其前后俯仰以及左右倾斜的角度至水平零度状态，然后依据目标图像确定其实际位置信息和像素坐标之间的几何转换关系，最后计算出无人机在给定坐标系下三维坐标。从而实现对无人机的自主着陆导引。本发明将激光测距仪与单目视觉相结合，故精度高、范围广而且性能稳定。经测试，无人机自主着陆导引方法的精度由背景技术的200米内5米减少到200米内0.5米。

Description

结合单目视觉与激光测距的无人机自主着陆导引方法
技术领域
本发明涉及一种无人机自主着陆导引方法，特别涉及一种结合单目视觉与激光测距的无人机自主着陆导引方法。
背景技术
运动目标定位是获取空间中运动目标三维坐标的方法，对无人机空间位置动态地实时测量具有非常重要的意义。
文献“Target positioning for UAV Tracking Based on Camera Calibration”公开了一种基于相机标定的无人机定位算法，并将其应用四旋翼无人机中。此方法首先建立线性相机成像模型，运用张正友平面标定方法来计算相机内部参数，然后根据已知特殊标记的相对位置确定相机姿态参数。但是，张正友所述的外参标定方法只能针对小范围场景，且在距离的测量上误差大。因此不适用于大场景内的目标定位。
发明内容
为了克服现有无人机自主着陆导引方法精度差的不足，本发明提供一种结合单目视觉与激光测距的无人机自主着陆导引方法。该方法采用激光测距仪实时获取无人机距离着陆点的距离信息，利用单目视觉进行目标识别。首先通过一个三维度可独立调节的水平载台调节相机使其前后俯仰以及左右倾斜的角度至水平零度状态，然后依据目标图像确定其实际位置信息和像素坐标之间的几何转换关系，最后计算出无人机在给定坐标系下三维坐标。从而实现对无人机的自主着陆导引。本发明将激光测距仪与单目视觉相结合，故精度高、范围广而且性能稳定。
本发明解决其技术问题所采用的技术方案：一种结合单目视觉与激光测距的无人机自主着陆导引方法，其特点是包括以下步骤：
步骤一、设备的安装以及放置。
首先根据所需定位的目标空间视野，在实验环境中选择三脚架的摆放位置，选择平坦的地方作为三脚架的摆放地点，并将三维度可独立调节的水平载台固定在三脚架上；然后装配相机镜头并将其装在水平转台上；最后，将安装在转动电机上的激光测距装置放置在临近三脚架的一侧并同相机等高的位置，然后测试激光测距仪以保证其能够正常工作。
步骤二、相机以及激光测距装置的姿态调整。
首先分别调节水平载台的水平和竖直转轴使得相机的前后俯仰以及左右倾斜的角度至水平0°；其次，连接电脑并打开相机，将标志灯放置在使标志灯在图像中处于靠近中心的位置打开，调节转台的水平转轴使得光点移至图像长轴的中心，确定相机的光轴方向，建立光轴方向上的相机坐标系；最后，再次检查相机的俯仰以及左右倾斜的角度是否为0°，如是，相机的姿态调整完成，否则继续重复上述步骤调整直至0°。
根据无人机着陆的实际导引范围控制电机转动使激光测距装置与水平方向有一夹角，保证激光测距仪能尽快地检测到无人机上的标志物。
步骤三、确定物体的位置信息和图像像素坐标之间的几何关系。
根据相机的小孔成像模型，物体的位置信息和图像像素坐标存在以下关系。
θ＝arctan(off_u/f) (1)
其中θ为像与实物连线与水平轴所成的锐角，off_u为目标光点距离光心的水平像素偏移，f为焦距。
运用张正友平面标定方法来求解相机内部参数fx,fy以及光点中心的坐标(X,Y)；设图像上目标光点的像素坐标(u,v)，三脚架高度Height。
off_u＝u-X (2)
off_v＝Y-v (3)
其中，off_v为目标光点距离光心的竖直像素偏移。
α＝arctan(off_u/fx) (4)
其中，α为目标与相机光轴方向的竖直夹角。
δ＝arctan(off_v/fy) (5)
其中，δ为目标与相机光轴方向的水平夹角。
β＝arctan(sqrt(tan2(α)+tan2(δ))) (6)
其中，β为目标与相机光轴方向的夹角。
γ＝arctan(off_v/off_u*(fx/fy)) (7)
其中，γ为目标在相机坐标系下竖直距离与水平距离所成的夹角。
激光器的测量：
由于激光测距仪束散角有限，该激光组合装置所能覆盖的测量区域有限，因此需要借助电机的转动来保证其一直能够测量到无人机。当测量数据来自于最下端的激光器时，表明无人机当前处于激光测量区域的偏下方位置，此时控制电机向下转动使无人机处于测量区域偏中心位置并读取数据记Dist，该过程使得无人机在着陆阶段一直处在激光器测量区域内。
步骤四、计算三维坐标。
目标的三维坐标为：
Xw＝Dist*cos(β) (8)
Yw＝Dist*sin(β)*cos(γ) (9)
Zw＝Dist*sin(β)*sin(γ)+Height (10)
其中Xw,Yw,Zw分别为目标在当前坐标系下的X,Y,Z方向上的坐标，Dist为激光测距仪测得的目标无人机的距离，Height为相机的高度。
所述激光测距装置与三脚架的距离是1米。
本发明的有益效果是：该方法采用激光测距仪实时获取无人机距离着陆点的距离信息，利用单目视觉进行目标识别。首先通过一个三维度可独立调节的水平载台调节相机使其前后俯仰以及左右倾斜的角度至水平零度状态，然后依据目标图像确定其实际位置信息和像素坐标之间的几何转换关系，最后计算出无人机在给定坐标系下三维坐标。从而实现对无人机的自主着陆导引。本发明将激光测距仪与单目视觉相结合，故精度高、范围广而且性能稳定。经测试，无人机自主着陆导引方法的精度由背景技术的200米内5米减少到200米内0.5米。
下面结合附图和具体实施方式对本发明作详细说明。
附图说明
图1是本发明方法所用装置示意图。
图2是本发明方法中相机坐标系下的实物模型。
图中，①-三脚架，②-三维度可独立调节的水平载台，③-相机镜头，④-转动电机，⑤-激光器装置，⑥-无人机。
具体实施方式
参照图1-2。本发明结合单目视觉与激光测距的无人机自主着陆导引方法具体步骤如下：
1、设备的安装以及放置。
首先根据所需定位的目标空间视野，在实验环境中选择三脚架①的摆放位置，选择平坦的地方作为三脚架的摆放地点，并将三维度可独立调节的水平载台②固定在三脚架上；然后装配相机镜头③并将其装在水平转台上；最后，将安装在转动电机④上的激光测距装置⑤放置在临近三脚架的一侧并同相机等高的位置，一般靠近相机1米内，然后测试激光测距仪以保证其能够正常工作。
2、相机以及激光测距装置的姿态调整。
首先分别调节水平载台的水平和竖直转轴使得相机的前后俯仰以及左右倾斜的角度至水平0°，可用高精度电子水平仪测量；其次，连接电脑并打开相机，将标志灯放置在使标志灯在图像中处于靠近中心位置的位置打开，调节转台的水平转轴使得光点移至图像长轴的中心，此时就确定了相机的光轴方向，便建立了该方向上的相机坐标系；最后，再次检查相机的俯仰以及左右倾斜的角度是否为0°，如是,相机的姿态调整步骤完成，否则继续重复上述步骤调整直至0°。
激光测距仪的安装：对于激光测距装置的调整则要根据无人机着陆的实际导引范围来控制电机转动使其与水平方向呈一定的夹角，保证激光测距仪能尽快地检测到无人机上的标志物。
3、确定物体的位置信息和图像像素坐标之间的几何关系。
根据相机的小孔成像模型知，物体的位置信息和图像像素坐标存在以下关系。
θ＝arctan(off_u/f) (1)
其中θ为像与实物连线与水平轴所成的锐角，off_u为目标光点距离光心的水平像素偏移，f为焦距。
运用张正友平面标定方法来求解相机内部参数fx,fy以及光点中心的坐标(X,Y)；设图像上目标光点的像素坐标(u,v)，三脚架高度Height。
off_u＝u-X (2)
off_v＝Y-v (3)
其中，off_v为目标光点距离光心的竖直像素偏移。
α＝arctan(off_u/fx) (4)
其中，α为目标与相机光轴方向的竖直夹角。
δ＝arctan(off_v/fy) (5)
其中，δ为目标与相机光轴方向的水平夹角。
β＝arctan(sqrt(tan2(α)+tan2(δ))) (6)
其中，β为目标与相机光轴方向的夹角。-
γ＝arctan(off_v/off_u*(fx/fy)) (7)
其中，γ为目标在相机坐标系下竖直距离与水平距离所成的夹角。
激光器的测量：
由于激光测距仪束散角有限，该激光组合装置所能覆盖的测量区域有限，因此需要借助电机的转动来保证其一直能够测量到无人机。具体则是：当测量数据来自于最下端的激光器时，表明无人机当前处于激光测量区域的偏下方位置，此时控制电机向下转动使无人机处于测量区域偏中心位置并读取数据记Dist，该过程使得无人机在着陆阶段一直处在激光器测量区域内。
4、计算三维坐标。
目标的三维坐标为：
Xw＝Dist*cos(β) (8)
Yw＝Dist*sin(β)*cos(γ) (9)
Zw＝Dist*sin(β)*sin(γ)+Height (10)
其中Xw,Yw,Zw分别为目标在当前坐标系下的X,Y,Z方向上的坐标，Dist为激光测距仪测得的目标无人机的距离，Height为相机的高度。

Claims (2)

1.一种结合单目视觉与激光测距的无人机自主着陆导引方法，其特征在于包括以下步骤：
步骤一、设备的安装以及放置；
首先根据所需定位的目标空间视野，在实验环境中选择三脚架的摆放位置，选择平坦的地方作为三脚架的摆放地点，并将三维度可独立调节的水平载台固定在三脚架上；然后装配相机镜头并将其装在水平转台上；最后，将安装在转动电机上的激光器装置放置在临近三脚架的一侧并同相机等高的位置，然后测试激光器装置以保证其能够正常工作；
步骤二、相机以及激光器装置的姿态调整；
首先分别调节水平载台的水平和竖直转轴使得相机的前后俯仰以及左右倾斜的角度至水平0°；其次，连接电脑并打开相机，将标志灯放置在使标志灯在图像中处于靠近中心的位置打开，调节转台的水平转轴使得光点移至图像长轴的中心，确定相机的光轴方向，建立光轴方向上的相机坐标系；最后，再次检查相机的俯仰以及左右倾斜的角度是否为0°，如是，相机的姿态调整完成，否则继续重复上述步骤调整直至0°；
根据无人机着陆的实际导引范围控制电机转动使激光器装置与水平方向有一夹角，保证激光器装置能尽快地检测到无人机上的标志物；
步骤三、确定物体的位置信息和图像像素坐标之间的几何关系；
根据相机的小孔成像模型，物体的位置信息和图像像素坐标存在以下关系；
θ＝arctan(off_u/f) (1)
其中θ为像与实物连线与水平轴所成的锐角，off_u为目标光点距离光心的水平像素偏移，f为焦距；
运用张正友平面标定方法来求解相机内部参数fx,fy以及光点中心的坐标(X,Y)；设图像上目标光点的像素坐标(u,v)，三脚架高度Height；
off_u＝u-X (2)
off_v＝Y-v (3)
其中，off_v为目标光点距离光心的竖直像素偏移；
α＝arctan(off_u/fx) (4)
其中，α为目标与相机光轴方向的竖直夹角；
δ＝arctan(off_v/fy) (5)
其中，δ为目标与相机光轴方向的水平夹角；
β＝arctan(sqrt(tan2(α)+tan2(δ))) (6)
其中，β为目标与相机光轴方向的夹角；
γ＝arctan(off_v/off_u*(fx/fy)) (7)
其中，γ为目标在相机坐标系下竖直距离与水平距离所成的夹角；
激光器装置的测量：
由于激光器装置束散角有限，该激光器装置所能覆盖的测量区域有限，因此需要借助电机的转动来保证其一直能够测量到无人机；当测量数据来自于最下端的激光器装置时，表明无人机当前处于激光测量区域的偏下方位置，此时控制电机向下转动使无人机处于测量区域偏中心位置并读取数据记Dist，该过程使得无人机在着陆阶段一直处在激光器装置测量区域内；
步骤四、计算三维坐标；
目标的三维坐标为：
Xw＝Dist*cos(β) (8)
Yw＝Dist*sin(β)*cos(γ) (9)
Zw＝Dist*sin(β)*sin(γ)+Height (10)
其中Xw,Yw,Zw分别为目标在当前坐标系下的X,Y,Z方向上的坐标，Dist为激光器装置测得的目标无人机的距离。
2.根据权利要求1所述的结合单目视觉与激光测距的无人机自主着陆导引方法，其特征在于：所述激光器装置与三脚架的距离是1米。
CN201510943566.2A 2015-12-16 2015-12-16 结合单目视觉与激光测距的无人机自主着陆导引方法 Expired - Fee Related CN105387860B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510943566.2A CN105387860B (zh) 2015-12-16 2015-12-16 结合单目视觉与激光测距的无人机自主着陆导引方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510943566.2A CN105387860B (zh) 2015-12-16 2015-12-16 结合单目视觉与激光测距的无人机自主着陆导引方法

Publications (2)

Publication Number Publication Date
CN105387860A CN105387860A (zh) 2016-03-09
CN105387860B true CN105387860B (zh) 2017-12-22

Family

ID=55420410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510943566.2A Expired - Fee Related CN105387860B (zh) 2015-12-16 2015-12-16 结合单目视觉与激光测距的无人机自主着陆导引方法

Country Status (1)

Country Link
CN (1) CN105387860B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020239A (zh) * 2016-08-02 2016-10-12 南京奇蛙智能科技有限公司 无人机精准降落控制方法
WO2018027338A1 (en) 2016-08-06 2018-02-15 SZ DJI Technology Co., Ltd. Automatic terrain evaluation of landing surfaces, and associated systems and methods
CN107218922A (zh) * 2016-12-29 2017-09-29 恩泊泰（天津）科技有限公司 一种基于单目相机的测距方法
CN106683137B (zh) * 2017-01-11 2019-12-31 中国矿业大学 基于人工标志的单目多目标识别与定位方法
CN106940888B (zh) * 2017-04-14 2023-11-24 上海工程技术大学 一种用于高空结构物的图像像素标定的辅助装置
CN107194941A (zh) * 2017-05-23 2017-09-22 武汉科技大学 一种基于单目视觉的无人机自主着陆方法、系统及电子设备
CN107885223B (zh) * 2017-10-31 2020-02-14 武汉大学 基于激光的无人机回收引导系统
CN109839065A (zh) * 2017-11-29 2019-06-04 刘松林 一种视觉测量试验平台
CN110621962A (zh) * 2018-02-28 2019-12-27 深圳市大疆创新科技有限公司 可移动平台的定位方法及相关装置、系统
CN109573088B (zh) * 2018-10-29 2022-01-04 南京航空航天大学 一种舰载无人机光电引导着舰系统及着舰方法
CN109814119A (zh) * 2019-03-14 2019-05-28 江阴市艺澜电子技术有限公司 一种激光照射式gps坐标获取系统
CN110940312A (zh) * 2019-11-25 2020-03-31 的卢技术有限公司 一种结合激光设备的单目相机测距方法及系统
CN111191625A (zh) * 2020-01-03 2020-05-22 浙江大学 一种激光-单目视觉融合的物体识别与定位方法
CN111998772B (zh) * 2020-08-05 2021-11-16 浙江大学 一种基于激光与单目视觉融合的像素级目标定位方法
CN112561997B (zh) * 2020-12-10 2022-07-26 之江实验室 一种面向机器人的行人定位方法、装置、电子设备及介质
CN113050108B (zh) * 2021-03-23 2024-01-09 湖南盛鼎科技发展有限责任公司 电子界址视觉测量系统及测量方法
CN114355982A (zh) * 2022-01-24 2022-04-15 四川通信科研规划设计有限责任公司 无人机自动增程巡航系统的无人机自动着陆方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504287B (zh) * 2009-01-22 2011-01-05 浙江大学 基于视觉信息的无人飞行器自主着陆的姿态参数估算方法
CN101629806B (zh) * 2009-06-22 2011-01-05 哈尔滨工程大学 结合激光发射器的非线性ccd三维定位装置及定位方法
DE102012223928A1 (de) * 2012-12-20 2014-06-26 Hilti Aktiengesellschaft Verfahren und Vorrichtung zum Bestimmen der Ortskoordinaten eines Zielobjektes
CN104215239B (zh) * 2014-08-29 2017-02-08 西北工业大学 基于视觉的无人机自主着陆导引装置实现的导引方法

Also Published As

Publication number Publication date
CN105387860A (zh) 2016-03-09

Similar Documents

Publication Publication Date Title
CN105387860B (zh) 结合单目视觉与激光测距的无人机自主着陆导引方法
WO2022017419A1 (zh) 一种激光雷达校准装置和方法
JP5361421B2 (ja) 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム
CN105184776B (zh) 目标跟踪方法
CA2832956C (en) System and method for controlling an unmanned aerial vehicle
WO2017045315A1 (zh) 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
CN109029391B (zh) 基于坐标变换的实物测量方法、系统及装置
US20130021471A1 (en) Reflective Surface Orientating with Multiple View Ports
CN104822020B (zh) 基于视频目标跟踪的自动跟焦装置
CN110427055A (zh) 一种舞台追光灯自动控制系统及方法
CN104296655B (zh) 一种激光跟踪仪像旋公式初始角的标定方法
CN109341701B (zh) 基于激光跟踪全站仪的地面机器人航向角实时获取方法
CN103017686A (zh) 一种利用激光跟踪仪调整主镜光轴与水平轴垂直的方法
CN103017666A (zh) 用于确定几何空间中测量点的位置的过程和装置
CN109573088A (zh) 一种舰载无人机光电引导着舰系统及着舰方法
CN107421515A (zh) 一种多功能几何量精密智能测量装置及方法
CN109211573A (zh) 一种无人机悬停稳定性的评测方法
CN106019247A (zh) 地物波谱rcs测量系统运载平台圆周运动方位误差修正方法
US7768631B1 (en) Method and system for providing a known reference point for an airborne imaging platform
WO2008061307A1 (en) A method of determining characteristics of a remote surface with application to the landing of an aerial vehicle
JP5616949B2 (ja) 三次元座標測定システム及び三次元座標測定方法
CN110779469B (zh) 一种地平式光电跟踪系统的轴系垂直度检测装置及方法
CN111928774A (zh) 一种基于相机与测距仪结合的目标跟踪定位和测量方法
CN108489396B (zh) 一种二维转顶精度检测方法
CN115902816A (zh) 一种用于工程测量的自动测量系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171222

Termination date: 20191216