CN113311873A - 一种基于视觉的无人机伺服跟踪方法 - Google Patents
一种基于视觉的无人机伺服跟踪方法 Download PDFInfo
- Publication number
- CN113311873A CN113311873A CN202110493964.4A CN202110493964A CN113311873A CN 113311873 A CN113311873 A CN 113311873A CN 202110493964 A CN202110493964 A CN 202110493964A CN 113311873 A CN113311873 A CN 113311873A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- coordinate system
- camera
- aerial vehicle
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000003287 optical effect Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 14
- 230000015572 biosynthetic process Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 238000012958 reprocessing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及一种基于视觉的无人机伺服跟踪方法。包括：无人机的双目相机拍摄待检测图像与图库中背景模板图像进行差分运算提取前景目标车辆图像，计算世界坐标系下无人机与目标车辆的车头或车尾的距离、目标车辆行进航向，优化无人机下一时刻的经纬度位置期望；通过PID控制器生成位置增量给动力执行器，从而调整无人机飞行轨迹位置完成无人机对被测目标车辆的伺服跟随。
Description
技术领域
本发明属于视觉跟踪控制技术领域，具体说是一种基于视觉的无人机伺服跟踪方法。
背景技术
在定位与导航技术中，对于GPS信号十分依赖，且跟踪移动的任务中对位置与姿态数据的实时共享要求较高。当被跟踪目标物体GPS导航、执行跟踪物体GPS导航或被跟踪目标物体与执行跟踪物体间通信出现故障的情况下，便无法实现伺服跟踪，出现碰撞等事故。通过视觉主动定位目标物的方式，可以通过确定被跟踪目标物体与执行跟踪物体间的相对位置关系，提升导航与规划的安全性与鲁棒性。
发明内容
针对现有技术的不足，本发明提供一种基于视觉的无人机伺服跟踪方法，通过双目辨识的方式，结合无人机单机组合导航信息确定被跟踪目标的位置、速度、姿态信息；结合目标的位置、速度、姿态信息，对被跟踪目标进行未来位置估计，并进行跟随规划与飞行控制。实现了无通信情况下的伺服跟踪规划与控制，还可应用于如通信受限情况下的编队巡航、巡逻跟踪、目标物跟随等场景，实现单机导航异常或组队通信异常情况下的伺服跟踪。
本发明为实现上述目的所采用的技术方案是：一种基于视觉的无人机伺服跟踪方法，包括如下步骤：
步骤1、对摄像头进行标定与校正、建立背景模板图库；
步骤2、将双目相机拍摄待检测图像与图库中背景模板图像进行差分运算提取前景目标车辆图像，记录图像坐标系下目标车辆任一点的二维像素坐标值(u，v)；
步骤3、建立世界坐标系、相机坐标系、图像坐标系，获取坐标系之间的转换关系；
步骤4、根据三角测量法和相机投影方程，将图像坐标系下目标车辆任一点的二维像素坐标值(u，v)转换为相机坐标系下的任一点Pc在左相机坐标系的坐标；
步骤5、根据坐标系之间的转换关系，将相机坐标系下的任一点Pc在左相机坐标系的坐标转换为该特征点Pc在世界坐标系下坐标值Pw；
步骤6、根据获得的世界坐标系下目标车辆的车头或车尾坐标获取无人机与目标车辆的车头或车尾的距离，根据目标车辆几何参数以及三角函数原理，获取目标车辆行进航向Yaw_L；
步骤7、根据移动车辆经纬度位置信息[Lat_L，Lon_L]、移动车辆速度信息Vel_L以及计算的目标车辆行进航向Yaw_L，优化无人机下一时刻的经纬度位置期望；
步骤8、无人机下一时刻的经纬度位置期望与无人机的实时经纬度位置输入PID控制器生成位置增量给动力执行器，从而调整无人机飞行轨迹位置完成无人机对被测目标车辆的伺服跟随。
所述建立背景模板图库包括：采集包含待检测车辆的多张图像，设置参数阈值获取背景模板并存储在背景图库并实时更新。不同动态程度背景的识别包括两种方式：a.根据已知蓝天、白云等景物的灰度值判别局部背景；b.或者根据已知车辆的外形轮廓、颜色范围识别车辆图像轮廓，不属于该轮廓的判别为背景。
是采用Bouguet方法校正摄像头，使摄像头光轴平行并相交于无穷远。
所述坐标系之间的转换关系，包括：
选用左相机坐标系，坐标轴定义如下：X轴与图像坐标系u轴平行，Y轴与图像坐标系v轴平行，光轴与镜头光心重合，摄像头视角内空间任意一点Pc(xc，yc，zc)与图像平面对应关系可表示为：
其中，zc是像机坐标系下z轴坐标；u、v是摄像头拍摄得到的图像坐标系下像素坐标值；dx、dy是图像坐标系下每一个像素在X轴和Y轴方向的物理尺寸，单位为mm；u0、v0是摄像头光轴与图像平面的交点坐标值；F是相机焦距；令ax＝F/dx，ay＝F/dy；R，t分别是世界坐标系相对于相机坐标系的旋转矩阵和平移向量；Pw(xw，yw，zw)是相机坐标系下的特征点Pc在世界坐标系下坐标值；M称为投影矩阵，而A和[R|t]分别为摄像头的内参和外参，上标～表示齐次向量。
所述相机坐标系下的任一点Pc在左相机坐标系的坐标的获取，包括：
根据三角测量法得到如下关系：
根据摄像头投影方程得：
uLzc＝axxc+u0zc
vLzc＝ayyc+v0zc
得点P在左相机坐标系的坐标为：
其中，B所在直线与x轴平行，B为左右摄像机在x轴方向上的相差距离，称为基线距离，空间点Pc在两图像平面对应特征点为PL(uL，vL)，PR(uR，vR)，
分别为左右摄像头光轴与自身图像平面的交点坐标值，在经过矫正的前提下，vL＝vR，
所述目标航向、距离的确定，包括：
将图像坐标系下的像素坐标值(u，v)和相机坐标系下三维坐标值
带入公式
得到该特征点Pc在世界坐标系下坐标值Pw(xw，yw，zw)；
依次获得世界坐标系下目标车辆的任意位置处坐标：几何中心点坐标、车头或车尾坐标。
所述优化无人机下一时刻的经纬度位置期望，包括：
[Lat_sp_F，Lon_sp_F]
＝[Lat_L，Lon_L]+Dist*[sin(Yaw_L)，cos(Yaw_L)]+Vel_L*[cos(Yaw_L)，sin(Yaw_L)]
其中，Dist为无人机与被测的目标移动车辆几何中心的实际距离。
一种基于视觉的无人机伺服跟踪系统，包括两个图像传感器设备、处理器、存储器、PID控制器、组合导航模块、动力执行器；所述传感器设备为红外摄像头，用于采集待检测的地面移动车辆的图像数据发送给处理器；存储器中存储有程序，处理器读取程序执行如权利要求1-7任意一项所述的方法步骤计算地面移动车辆的位置和航向、优化无人机下一时刻的经纬度位置期望；PID控制器接收处理器发送的位置增量控制动力执行器工作，调整无人机飞行轨迹位置完成无人机对被测目标车辆的伺服跟随。
所述组合导航模块包括惯性导航系统、定位系统与磁力计。
所述动力执行器为无人机各旋翼的电机。
本发明具有以下有益效果及优点：
1、本发明提供一种基于视觉的目标物位置、速度、姿态解算方法，通过无人机的双目相机拍摄待检测图像与图库中背景模板图像进行差分运算提取前景目标车辆图像，计算世界坐标系下无人机与目标车辆的车头或车尾的距离、目标车辆行进航向，优化无人机下一时刻的经纬度位置期望。
2、本发明提供一种无跟踪目标位置信息情况下的目标物定位方法。
3、本发明提供通过PID控制器生成位置增量给动力执行器，从而调整无人机飞行轨迹位置完成无人机对被测目标车辆的伺服跟随与飞行控制。实现了无通信情况下的伺服跟踪规划与控制，还可应用于如通信受限情况下的编队巡航、巡逻跟踪、目标物跟随等场景，实现单机导航异常或组队通信异常情况下的伺服跟踪。
附图说明
图1为基于视觉的无人机伺服跟踪组成结构示意图；
图2为本发明采用的三角测量法示意图；
图3为本发明各坐标系关系示意图；
图4为本发明控制系统工作流程图；
图5为领航-跟随实现示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方法做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
除非另有定义，本文所使用的所有技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
本发明的基础系统平台为四旋翼无人机。
如图1所示，基于视觉的无人机伺服跟踪组成结构示意图。红外摄像头1和红外摄像头2平行同向于无人机Y轴安装，通过双目视觉方式获取目标图像信息(即数据1)，发送给微型计算机。
微型计算机接收图像信息并处理，计算无人机距地面移动车辆的距离与无人车航向信息，确定目标无人车位姿。这是由于地面移动车辆存在执行转弯半径、速度等动力学约束，为保证轨迹可达且相互无干涉，同时保证被测量目标稳定处于传感器测量范围内，需要对进行航向姿态保持。在已知地面移动车辆车长的情况下，通过车身长度、无人机与车头距离、无人机与车尾距离计算两者相对距离与移动车辆航向信息，引导无人机跟踪定位。
上述微型计算机与视觉采集系统相连，用于地面移动车辆位姿确定。
具体方法如下：
1、目标识别：建立背景图库，对不同动态程度背景(指各个局部的背景灰度值)赋予不同阈值，并实时更新图库，对双目相机拍摄图像(多种车型的汽车图像)与图库中图像进行差分运算，超出阈值部分为背景，其余部分为前景，提取出目标物体，并将背景实时更新到图库中。不同动态程度背景的识别包括两种方式：a.根据已知蓝天、白云等景物的灰度值判别局部背景；b.或者根据已知车辆的外形轮廓、颜色范围识别车辆图像轮廓，不属于该轮廓的判别为背景。实际检测中采集图像并与背景图库中的模板比对后识别背景区域并剔除，保留前景图像。
2、摄像头标定与校正：对摄像头标定，以校正透镜畸变，采用Bouguet方法校正摄像头，使摄像头光轴平行并相交于无穷远。校正后两摄像头具有相同主点、焦距及内参。
3、坐标系建立：特征点三维重建时选用左相机坐标系，各坐标系关系如图2所示。其中，相机摄像头坐标系其坐标轴定义如下：X轴与图像坐标系u轴平行，Y轴与图像坐标系v轴平行，光轴与镜头光心重合，摄像头视角内空间任意一点Pc(xc，yc，zc)与图像平面对应关系可表示为：
其中，zc是像机坐标系下z轴坐标；u，v是图像坐标系下像素坐标值(依据摄像头拍摄得到)；dx，dy是图像坐标系下每一个像素在X轴和Y轴方向的物理尺寸，单位为mm，u0，v0是摄像头光轴与图像平面交点P的坐标值；F是相机焦距；令ax＝F/dx，ay＝F/dy；R，t分别是世界坐标系相对于相机坐标系的旋转矩阵和平移向量；Pw(xw，yw，zw)是该特征点Pc在世界坐标系下坐标值；M称为投影矩阵，而A和[R|t]分别为摄像头的内参和外参，上标～表示齐次向量。
4、目标点坐标确定：
如图3所示，根据三角测量法得到如下关系：
根据摄像头投影方程得：
uLzc＝axxc+u0zc
vLzc＝ayyc+v0zc
得点P在左相机坐标系的坐标为：
其中B所在直线与x轴平行，B为左右摄像机在x轴方向的相差距离，称为基线距离；空间点Pc在两图像平面对应特征点为PL(uL，vL)，PR(uR，vR)，
分别为左右摄像头光轴与自身图像平面的交点坐标值，在经过矫正的前提下，vL＝vR，
以上为由左右平面PL，PR坐标计算得到空间点Pc在相机坐标系下三维坐标值(xc，yc，zc)。
5、目标航向、距离确定：
将图像坐标系下的像素坐标值(u，v)和相机坐标系下三维坐标值
带入公式
得到该特征点Pc在世界坐标系下坐标值Pw(xw，yw，zw)，按照此方法可以获得世界坐标系下汽车的任意位置处坐标(例如几何中心点坐标、车头或车尾坐标)。根据获取的世界坐标系下的汽车前后坐标数据，及已知车型车辆长度数据，通过三角函数解算得到无人机本体与地面移动车辆的车头、车尾之间距离，以此确定车辆行进方向，即航向Yaw_L。
同时，微型计算机接收无人机位置姿态信息，此信息由组合导航模块获取。组合导航模块包括惯性导航系统、定位系统与磁力计，用于无人机位姿解算，解算结果中的位置信息、航向信息(即信息2包括：真实位置，移动车辆航向Yaw_L，速度信息Vel_L)传输至PID控制器输入端及通信模块B，通信模块B将此信息通过通信模块A反馈至微型计算机，与车辆采集数据进行位姿信息再处理，得到当前时刻无人机期望到达位置(即数据3)，数据3经通信模块A及通信模块B，与组合导航模块数据信息共同为PID控制器提供有效输入。
其中，信息再处理过程如下：微型计算机接收当前时刻地面移动车辆经纬度位置信息Lat_L，Lon_L，速度信息VEL_N_L，VEL_E_L。无人机订阅车辆位置与速度信息，结合任务需求，确定自身经纬度位置期望：
[Lat_sp_F，Lon_sp_F]
＝[Lat_L，Lon_L]+Dist*[sin(Yaw_L)，cos(Yaw_L)]+Vel_L
*[cos(Yaw_L)，sin(Yaw_L)]
其中，[Lat_sp_F，Lon_sp_F]为无人机经纬度位置期望，[Lat_L，Lon_L]为移动车辆经纬度位置信息，Yaw_L为移动车辆航向，Vel_L为移动车辆速度信息，Dist为无人机与被测的底面移动车辆几何中心的实际距离(世界坐标系下的)。
位置期望传输至PID控制器后，设置无人机速度前馈期望VEL_SP_N_FF＝VEL_N_L，VEL_SP_E_FF＝VEL_E_L。通过位置误差产生速度期望，并通过前馈补偿，减小减速过程中的位置差。
最后将上述控制结果发送至动力执行器，完成无人机伺服跟随。
微型计算机对上述车辆位姿信息及无人机位置信息再处理，得到无人机此刻期望位置，并传输至PID控制器，其中无人机真实位置信息来源于组合导航模块。
飞行控制器系统包括PID控制器、组合导航模块、执行器、通信模块B。
组合导航模块分别与PID控制器和通信模块B相连。首先将无人机位置信息经过通信模块传输至微型计算机，处理结果(即无人机期望位置信息)再次经过通信模块传输至PID控制器。
PID控制器同时接收两部分信息：经过信息处理系统处理过的无人机期望飞行位置数据与无人机本体组合导航模块定位数据。
如图4所示，本发明控制系统工作流程图。飞行控制器接收无人机期望到达位置信息，依据此信息，无人机进行位置控制、航向控制，组合导航模块对无人机当前位置精准定位，该位置信息与控制结果比对，比对结果作为反馈信息作用于控制系统，同时根据控制结果发送计算的控制律至动力执行器(动力执行器为无人机各旋翼的电机)，实现无人机视觉伺服跟随。
具体方法如下：
1、位置控制：微型控制器接收无人机位置信息与移动车辆位姿信息，确定无人机期望到达位置，通过位置误差计算速度期望，并通过前馈补偿，减小移动位置差，提升跟踪精度，优化队形保持效果。
2、过程控制：协同作业过程中，存在并列队形保持与协同转弯的过程，需要对横向距离进行准确控制。
横向距离保持控制为带有航向前馈与速度补偿前馈的PID控制。首先获取期望位置，当跟随地面移动车辆时，根据无人机经纬度坐标，结合车辆航向与速度信息，通过位姿信息反馈，叠加距离控制量，确定无人机位置期望。
3、领航-跟随实现：根据上述位置期望，为无人机规划路线与速度，保证无人机工作在可达区域内。如图5所示。
4、安全域设定：部分作业场景中，存在近距离作业需求，同时避免编队中传感器测量异常导致解算执行错误，在控制过程中加入防撞避碰功能。当无人机与被跟踪车辆距离Distref小于安全阈值或多源距离信息出现明显偏差时，将采取急停措施。
以上操作步骤，通过载有双目相机的无人机对地面移动车辆，进行航向伺服控制、纵向相对位置保持控制与横向距离保持控制。实现了无人机的全自主直线轨迹跟踪与曲线轨迹跟随。
以上说明所描述的实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变换和改进。这些都属于本发明的保护范围。
Claims (10)
1.一种基于视觉的无人机伺服跟踪方法，其特征在于，包括如下步骤：
步骤1、对摄像头进行标定与校正、建立背景模板图库；
步骤2、将双目相机拍摄待检测图像与图库中背景模板图像进行差分运算提取前景目标车辆图像，记录图像坐标系下目标车辆任一点的二维像素坐标值(u，v)；
步骤3、建立世界坐标系、相机坐标系、图像坐标系，获取坐标系之间的转换关系；
步骤4、根据三角测量法和相机投影方程，将图像坐标系下目标车辆任一点的二维像素坐标值(u，v)转换为相机坐标系下的任一点Pc在左相机坐标系的坐标；
步骤5、根据坐标系之间的转换关系，将相机坐标系下的任一点Pc在左相机坐标系的坐标转换为该特征点Pc在世界坐标系下坐标值Pw；
步骤6、根据获得的世界坐标系下目标车辆的车头或车尾坐标获取无人机与目标车辆的车头或车尾的距离，根据目标车辆几何参数以及三角函数原理，获取目标车辆行进航向Yaw_L；
步骤7、根据移动车辆经纬度位置信息[Lat_L，Lon_L]、移动车辆速度信息Vel_L以及计算的目标车辆行进航向Yaw_L，优化无人机下一时刻的经纬度位置期望；
步骤8、无人机下一时刻的经纬度位置期望与无人机的实时经纬度位置输入PID控制器生成位置增量给动力执行器，从而调整无人机飞行轨迹位置完成无人机对被测目标车辆的伺服跟随。
2.根据权利要求1所述的一种基于视觉的无人机伺服跟踪方法，其特征在于，所述建立背景模板图库包括：采集包含待检测车辆的多张图像，设置参数阈值获取背景模板并存储在背景图库并实时更新。
3.根据权利要求1所述的一种基于视觉的无人机伺服跟踪方法，其特征在于，是采用Bouguet方法校正摄像头，使摄像头光轴平行并相交于无穷远。
4.根据权利要求1所述的一种基于视觉的无人机伺服跟踪方法，其特征在于，所述坐标系之间的转换关系，包括：
选用左相机坐标系，坐标轴定义如下：X轴与图像坐标系u轴平行，Y轴与图像坐标系v轴平行，光轴与镜头光心重合，摄像头视角内空间任意一点Pc(xc，yc，zc)与图像平面对应关系可表示为：
其中，zc是像机坐标系下z轴坐标；u、v是摄像头拍摄得到的图像坐标系下像素坐标值；dx、dy是图像坐标系下每一个像素在X轴和Y轴方向的物理尺寸，单位为mm；u0、v0是摄像头光轴与图像平面的交点坐标值；F是相机焦距；令ax＝F/dx，ay＝F/dy；R，t分别是世界坐标系相对于相机坐标系的旋转矩阵和平移向量；Pw(xw，yw，zw)是相机坐标系下的特征点Pc在世界坐标系下坐标值；M称为投影矩阵，而A和[R|t]分别为摄像头的内参和外参，上标～表示齐次向量。
5.根据权利要求1所述的一种基于视觉的无人机伺服跟踪方法，其特征在于，所述相机坐标系下的任一点Pc在左相机坐标系的坐标的获取，包括：
根据三角测量法得到如下关系：
根据摄像头投影方程得：
uLzc＝axxc+u0zc
vLzc＝ayyc+v0zc
得点P在左相机坐标系的坐标为：
其中，B所在直线与x轴平行，B为左右摄像机在x轴方向上的相差距离，称为基线距离，空间点Pc在两图像平面对应特征点为PL(uL，vL)，PR(uR，vR)，
分别为左右摄像头光轴与自身图像平面的交点坐标值，在经过矫正的前提下，vL＝vR，
6.根据权利要求1所述的一种基于视觉的无人机伺服跟踪方法，其特征在于，所述目标航向、距离的确定，包括：
将图像坐标系下的像素坐标值(u，v)和相机坐标系下三维坐标值
带入公式
得到该特征点Pc在世界坐标系下坐标值Pw(xw，yw，zw)；
依次获得世界坐标系下目标车辆的任意位置处坐标：几何中心点坐标、车头或车尾坐标。
7.根据权利要求1所述的一种基于视觉的无人机伺服跟踪方法，其特征在于，所述优化无人机下一时刻的经纬度位置期望，包括：
[Lat_sp_F，Lon_sp_F]
＝[Lat_L，Lon_L]+Dist*[sin(Yaw_L)，cos(Yaw_L)]+Vel_L*[cos(Yaw_L)，sin(Yaw_L)]
其中，Dist为无人机与被测的目标移动车辆几何中心的实际距离。
8.一种基于视觉的无人机伺服跟踪系统，其特征在于，包括两个图像传感器设备、处理器、存储器、PID控制器、组合导航模块、动力执行器；所述传感器设备为红外摄像头，用于采集待检测的地面移动车辆的图像数据发送给处理器；存储器中存储有程序，处理器读取程序执行如权利要求1-7任意一项所述的方法步骤计算地面移动车辆的位置和航向、优化无人机下一时刻的经纬度位置期望；PID控制器接收处理器发送的位置增量控制动力执行器工作，调整无人机飞行轨迹位置完成无人机对被测目标车辆的伺服跟随。
9.根据权利要求8所述的一种基于视觉的无人机伺服跟踪方法，其特征在于，所述组合导航模块包括惯性导航系统、定位系统与磁力计。
10.根据权利要求8所述的一种基于视觉的无人机伺服跟踪方法，其特征在于，所述动力执行器为无人机各旋翼的电机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110493964.4A CN113311873B (zh) | 2021-05-07 | 2021-05-07 | 一种基于视觉的无人机伺服跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110493964.4A CN113311873B (zh) | 2021-05-07 | 2021-05-07 | 一种基于视觉的无人机伺服跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113311873A true CN113311873A (zh) | 2021-08-27 |
| CN113311873B CN113311873B (zh) | 2022-09-06 |
Family
ID=77371735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110493964.4A Active CN113311873B (zh) | 2021-05-07 | 2021-05-07 | 一种基于视觉的无人机伺服跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113311873B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113821052A (zh) * | 2021-09-22 | 2021-12-21 | 一飞智控(天津)科技有限公司 | 集群无人机协同目标定位方法、系统、协同目标定位终端 |
| CN113865582A (zh) * | 2021-09-27 | 2021-12-31 | 南京农业大学 | 一种果树行间农用车辆航向角与横向偏差的测定方法 |
| CN114419095A (zh) * | 2021-12-13 | 2022-04-29 | 深圳先进技术研究院 | 车机协同目标丢失跟踪方法、装置、设备及其存储介质 |
| CN114859971A (zh) * | 2022-05-07 | 2022-08-05 | 北京卓翼智能科技有限公司 | 用于风力涡轮机监测的智能无人机 |
| CN116107220A (zh) * | 2023-04-13 | 2023-05-12 | 南京信息工程大学 | Smith预估器的位置控制器优化方法、装置 |
| CN116196109A (zh) * | 2023-04-27 | 2023-06-02 | 北京碧莲盛不剃发植发医疗美容门诊部有限责任公司 | 基于图像识别的不剃发植发机械手 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101344965A (zh) * | 2008-09-04 | 2009-01-14 | 上海交通大学 | 基于双目摄像的跟踪系统 |
| CN108334099A (zh) * | 2018-01-26 | 2018-07-27 | 上海深视信息科技有限公司 | 一种高效的无人机人体跟踪方法 |
| US20180218618A1 (en) * | 2016-10-11 | 2018-08-02 | Insitu, Inc. | Method and apparatus for target relative guidance |
| CN108363946A (zh) * | 2017-12-29 | 2018-08-03 | 成都通甲优博科技有限责任公司 | 基于无人机的人脸跟踪系统及方法 |
| CN108646741A (zh) * | 2018-05-31 | 2018-10-12 | 哈尔滨工程大学 | 一种基于视觉反馈的无人艇目标跟踪方法 |
| CN108845335A (zh) * | 2018-05-07 | 2018-11-20 | 中国人民解放军国防科技大学 | 一种基于图像和导航信息的无人机地面目标定位方法 |
| CN109191504A (zh) * | 2018-08-01 | 2019-01-11 | 南京航空航天大学 | 一种无人机目标跟踪方法 |
| CN112288801A (zh) * | 2020-10-30 | 2021-01-29 | 天津理工大学 | 应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置 |
| CN112419363A (zh) * | 2020-11-06 | 2021-02-26 | 南京邮电大学 | 无人机目标跟随方法及系统 |
-
2021
- 2021-05-07 CN CN202110493964.4A patent/CN113311873B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101344965A (zh) * | 2008-09-04 | 2009-01-14 | 上海交通大学 | 基于双目摄像的跟踪系统 |
| US20180218618A1 (en) * | 2016-10-11 | 2018-08-02 | Insitu, Inc. | Method and apparatus for target relative guidance |
| CN108363946A (zh) * | 2017-12-29 | 2018-08-03 | 成都通甲优博科技有限责任公司 | 基于无人机的人脸跟踪系统及方法 |
| CN108334099A (zh) * | 2018-01-26 | 2018-07-27 | 上海深视信息科技有限公司 | 一种高效的无人机人体跟踪方法 |
| CN108845335A (zh) * | 2018-05-07 | 2018-11-20 | 中国人民解放军国防科技大学 | 一种基于图像和导航信息的无人机地面目标定位方法 |
| CN108646741A (zh) * | 2018-05-31 | 2018-10-12 | 哈尔滨工程大学 | 一种基于视觉反馈的无人艇目标跟踪方法 |
| CN109191504A (zh) * | 2018-08-01 | 2019-01-11 | 南京航空航天大学 | 一种无人机目标跟踪方法 |
| CN112288801A (zh) * | 2020-10-30 | 2021-01-29 | 天津理工大学 | 应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置 |
| CN112419363A (zh) * | 2020-11-06 | 2021-02-26 | 南京邮电大学 | 无人机目标跟随方法及系统 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113821052A (zh) * | 2021-09-22 | 2021-12-21 | 一飞智控(天津)科技有限公司 | 集群无人机协同目标定位方法、系统、协同目标定位终端 |
| CN113865582A (zh) * | 2021-09-27 | 2021-12-31 | 南京农业大学 | 一种果树行间农用车辆航向角与横向偏差的测定方法 |
| CN113865582B (zh) * | 2021-09-27 | 2023-09-05 | 南京农业大学 | 一种果树行间农用车辆航向角与横向偏差的测定方法 |
| CN114419095A (zh) * | 2021-12-13 | 2022-04-29 | 深圳先进技术研究院 | 车机协同目标丢失跟踪方法、装置、设备及其存储介质 |
| WO2023109716A1 (zh) * | 2021-12-13 | 2023-06-22 | 深圳先进技术研究院 | 车机协同目标丢失跟踪方法、装置、设备及其存储介质 |
| CN114859971A (zh) * | 2022-05-07 | 2022-08-05 | 北京卓翼智能科技有限公司 | 用于风力涡轮机监测的智能无人机 |
| CN116107220A (zh) * | 2023-04-13 | 2023-05-12 | 南京信息工程大学 | Smith预估器的位置控制器优化方法、装置 |
| CN116196109A (zh) * | 2023-04-27 | 2023-06-02 | 北京碧莲盛不剃发植发医疗美容门诊部有限责任公司 | 基于图像识别的不剃发植发机械手 |
| CN116196109B (zh) * | 2023-04-27 | 2023-07-14 | 北京碧莲盛不剃发植发医疗美容门诊部有限责任公司 | 基于图像识别的不剃发植发机械手 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113311873B (zh) | 2022-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113311873B (zh) | 一种基于视觉的无人机伺服跟踪方法 | |
| CN108051002B (zh) | 基于惯性测量辅助视觉的运输车空间定位方法及系统 | |
| CN110796063B (zh) | 用于检测车位的方法、装置、设备、存储介质以及车辆 | |
| US6704619B1 (en) | Method and system for universal guidance and control of automated machines | |
| Kaiser et al. | Vision-based estimation for guidance, navigation, and control of an aerial vehicle | |
| US11906983B2 (en) | System and method for tracking targets | |
| Xu et al. | Partially decoupled image-based visual servoing using different sensitive features | |
| CN112747750B (zh) | 一种基于单目视觉里程计和imu融合的定位方法 | |
| CN112183133A (zh) | 一种基于ArUco码引导的移动机器人自主充电方法 | |
| Dougherty et al. | Laser-based guidance of a quadrotor uav for precise landing on an inclined surface | |
| US20230419531A1 (en) | Apparatus and method for measuring, inspecting or machining objects | |
| WO2020137110A1 (ja) | 移動量推定装置 | |
| JP2022027593A (ja) | 可移動機器の測位方法、装置及び可移動機器 | |
| CN115993825A (zh) | 一种基于空地协同的无人车集群控制系统 | |
| CN116728410A (zh) | 一种在狭窄工作环境下的机器人绝对定位精度误差补偿方法 | |
| JP2021120255A (ja) | 距離推定装置及び距離推定用コンピュータプログラム | |
| CN113503873A (zh) | 一种多传感器融合的视觉定位方法 | |
| Aref et al. | A multistage controller with smooth switching for autonomous pallet picking | |
| Kim et al. | Single 2D lidar based follow-me of mobile robot on hilly terrains | |
| JPH1137730A (ja) | 道路形状推定装置 | |
| CN116952229A (zh) | 无人机定位方法、装置、系统和存储介质 | |
| CN109459046B (zh) | 悬浮式水下自主航行器的定位和导航方法 | |
| Srivastava et al. | Range estimation and visual servoing of a dynamic target using a monocular camera | |
| López-Nicolás et al. | Vision-based exponential stabilization of mobile robots | |
| CN108731683B (zh) | 一种基于导航信息的无人机自主回收目标预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |