CN111930148A - 基于机器视觉的无人机目标跟踪系统及方法 - Google Patents
基于机器视觉的无人机目标跟踪系统及方法 Download PDFInfo
- Publication number
- CN111930148A CN111930148A CN202010852127.1A CN202010852127A CN111930148A CN 111930148 A CN111930148 A CN 111930148A CN 202010852127 A CN202010852127 A CN 202010852127A CN 111930148 A CN111930148 A CN 111930148A
- Authority
- CN
- China
- Prior art keywords
- flight
- unmanned aerial
- aerial vehicle
- module
- dynamics model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 46
- 230000001133 acceleration Effects 0.000 claims abstract description 24
- 238000004088 simulation Methods 0.000 claims description 36
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 3
- 230000016776 visual perception Effects 0.000 claims description 3
- 230000010006 flight Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011089 mechanical engineering Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了基于机器视觉的无人机目标跟踪系统及方法，涉及无人机相关领域，为解决现有技术中的随着无人机单次飞行时间的增加，扰动和时滞对无人机的影响越来越大，影响目标跟踪的问题。所述飞行控制单片机与飞行模拟模块双向数据连接，所述飞行模拟模块的输入端与姿态动力学模型建立模块的输出端连接，所述飞行控制单片机的输入端与A/D转换器的输出端连接，所述A/D转换器的输入端与分别与加速度传感器、陀螺仪和气压高度计的输出端连接，所述飞行控制单片机的输出端与位置控制器的输入端连接，所述位置控制器的输出端与飞行驱动电机的输入端连接，所述飞行驱动电机的输出端与飞行旋翼的输入端连接。
Description
技术领域
本发明涉及无人机相关领域，具体为基于机器视觉的无人机目标跟踪系统。
背景技术
机器视觉是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品(即图像摄取装置，分CMOS和CCD两种)将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。机器视觉是一项综合技术，包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术(图像增强和分析算法、图像卡、I/O卡等)。机器视觉系统最基本的特点就是提高生产的灵活性和自动化程度。在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。
旋翼无人机，是一种多个旋翼轴的特殊的无人驾驶直升机，由于其作为飞行机械可以辅助完成多种工作，例如电力巡线、救灾探测、勘探测绘、人员搜救、快递流物等行业，由于其自动行驶的特性，无人机上搭载机器视觉系统，以配合不同工作的工作需要。
无人机飞行时具有扰动和时滞的问题，随着无人机单次飞行时间的增加，扰动和时滞对无人机的影响越来越大，对于无人机目标跟踪不利；因此市场急需研制基于机器视觉的无人机目标跟踪系统来帮助人们解决现有的问题。
发明内容
本发明的目的在于提供基于机器视觉的无人机目标跟踪系统，以解决上述背景技术中提出的随着无人机单次飞行时间的增加，扰动和时滞对无人机的影响越来越大，影响目标跟踪的问题。
为实现上述目的，本发明提供如下技术方案：基于机器视觉的无人机目标跟踪系统，包括飞行控制单片机，所述飞行控制单片机与飞行模拟模块双向数据连接，所述飞行模拟模块的输入端与姿态动力学模型建立模块的输出端连接，所述飞行控制单片机的输入端与A/D转换器的输出端连接，所述A/D转换器的输入端与分别与加速度传感器、陀螺仪和气压高度计的输出端连接，所述飞行控制单片机的输出端与位置控制器的输入端连接，所述位置控制器的输出端与飞行驱动电机的输入端连接，所述飞行驱动电机的输出端与飞行旋翼的输入端连接，所述飞行模拟模块与飞行控制单片机的输入端与视频编码器的输出端连接，所述视频编码器的输入端与机器视觉模块的输入端连接，所述机器视觉模块包括图像捕捉模块，所述飞行模拟模块与飞行控制单片机的输入端与卫星定位模块的输出端连接，所述卫星定位模块的输入端与定位卫星的输出端连接；
其中，姿态动力学模型建立模块，用于建立初始姿态动力学模型和调整姿态动力学模型，实现对姿态动力学模型的建立和调整；
飞行模拟模块，根据姿态动力学模型建立模块建立的姿态动力学模型进行飞行模拟，实现与实际飞行的飞行对比；
飞行控制单片机，为无人机飞行程序的主要控制结构，实现飞行控制和飞行数据输出；
位置控制器，为无人机飞行的直接控制结构，控制无人机飞行速度和飞行位置；
飞行驱动电机，实现无人机的起飞和飞行；
飞行旋翼，为飞行驱动电机输出轴的直接连接结构，实现转动飞行；
加速度传感器，为感应无人机飞行加速度的主要结构，实现无人机加速度的测算；
陀螺仪，为感应无人机飞行角度的主要结构，实现无人机飞行角度的感应测量；
气压高度计，为感应无人机飞行至不同高度后外环境气压的结构，实现无人机飞行外部环境气压的感应；
A/D转换器，为数据转换结构，实现数据转换后的数据传输；
视频编码器，为视频编码结构，实现数据转换后的数据传输；
机器视觉模块，用于无人机飞行的视觉感知，实现无人机的远程控制飞行；
图像捕捉模块，用于无人机的图像捕捉，实现无人机飞行环境的远程获取；
卫星定位模块，用于无人机的飞行定位，实现无人机目标跟踪飞行轨迹的记录和无人机飞行路径的规划；
定位卫星，实现卫星定位模块的最终定位。
优选的，所述位置控制器包括内环控制器和外环控制器；
其中，内环控制器用于控制无人机的飞行速度，实现无人机飞行速度的控制；
外环控制器用于控制无人机的飞行位置，实现无人机飞行位置的控制。
优选的，所述姿态动力学模型建立模块建立初始姿态动力学模型为
其中，φ、θ、ψ、x、y、z分别为旋翼无人机的俯仰角、滚转角、偏航角和位置；m为质量；g为重力加速度；Ix、Iy、Iz为相对机体坐标系的转动惯量；l为螺旋桨中心到四旋翼中心的距离；Ui(i＝1，2，3，4)为控制输入。
优选的，所述姿态动力学模型建立模块在单次飞行后调整姿态动力学模型为
其中，di(i＝1，2，3，4，5，6)为外部未知干扰；τ为未知时滞。
优选的，所述机器视觉模块还包括光源模块、图形畸变处理模块和图像扭曲矫正模块。
优选的，所述飞行模拟模块根据实际飞行数据调整姿态动力学模型建立模块建立的姿态动力学模型中数据，并重新模拟飞行，将模拟飞行路径发送至飞行控制单片机，飞行控制单片机根据模拟飞行路径实际飞行，并将实际飞行数据反馈给飞行模拟模块。
优选的，所述无人机目标跟踪系统中还包括干扰观测器，干扰观测器对外界干扰进行估计和补偿，并通过滤波器估计姿态动力学模型建立模块姿态动力学模型虚拟控制输入的导数。
优选的，所述未知时滞τ利用Pade逼近方法和一个中间变量来处理。
进一步提供一种无人机目标跟踪系统的跟踪方法，包括如下步骤：
通过飞行控制单片机发送命令至位置控制器，位置控制器控制飞行驱动电机工作，带动飞行旋翼转动，从而使无人机飞至空中；
飞行至空中后，图像捕捉模块捕捉周围的环境，通过视频编码器发送给飞行模拟模块，卫星定位模块在定位卫星作用下发送位置给飞行模拟模块，飞行模拟模块接收实时的定位信息喝图像捕捉信息后在姿态动力学模型建立模块建立姿态动力学模型的基础上进行模拟，进行多次模拟飞行；
同时飞行控制单片机发送命令至位置控制器，位置控制器控制飞行驱动电机工作，带动飞行旋翼转动进行飞行，实际飞行和预设模拟飞行同时进行，但是模拟飞行路径的时间有先后，实际飞行根据前一部分模拟飞行加上上次飞行时实际接收的图像捕捉模块捕捉的周围环境信息、卫星定位模块发送的定位信息、加速度传感器感应的加速度信息、陀螺仪感应的各种倾角信息、气压高度计测量的气压高度信息联合确定；
根据模拟飞行的结果叠加上次飞行结构确定，一旦有扰动或者时滞问题出现，下次飞行时能够及时矫正，并将矫正结果作为飞行初始重新模拟飞行。
在进一步的实施例中，所述飞行矫正的过程中，如果下次飞行和前次飞行属于同一飞行过程，则将同一路径分成若干段，从而分出不同飞行段，在每次飞行段开始前矫正下一短路段的飞行。
与现有技术相比，本发明的有益效果是：
1、该发明中，正式飞行跟踪目标前，图像捕捉模块捕捉周围的环境，通过视频编码器发送给飞行模拟模块，卫星定位模块在定位卫星作用下发送位置给飞行模拟模块，飞行模拟模块接收实时的定位信息和图像捕捉信息后在姿态动力学模型建立模块建立姿态动力学模型的基础上进行模拟，进行多次模拟飞行，模拟飞行后再实际飞行，初次模拟飞行是无扰动和时滞的飞行，而实际飞行是有扰动和时滞的，从而测算扰动和时滞，在下次模拟飞行时根据上次测算结果预估下次飞行，与下次实际飞行进行对比，从而逐步修正扰动和时滞数值，从而解决随着无人机单次飞行时间的增加，扰动和时滞对无人机的影响越来越大，影响目标跟踪的问题；
2、该发明中，在实际飞行时，视觉信息、定位信息、加速度信息、陀螺仪采集数据、气压高度计采集数据等被采集发送至飞行控制单片机，飞行控制单片机能根据实际飞行情况调整下次飞行情况，从而修正扰动对飞行的影响，与模拟飞行结果配合逐步调整飞行，从而保证无人机飞行；
3、该发明中，飞行控制单片机不是直接控制飞行驱动电机飞行，而是通过位置控制器控制飞行，而位置控制器包括内环控制器和外环控制器，外环控制器控制无人机的飞行位置，内环控制器控制无人机的飞行速度，从而对飞行位置和飞行速度进行分别控制，尽可能的减少互相的干扰，提高无人机飞行的抗干扰能力。
附图说明
图1为本发明的基于机器视觉的无人机目标跟踪系统的系统原理图；
图2为本发明的位置控制器的主视图。
图中：1、姿态动力学模型建立模块；2、飞行模拟模块；3、飞行控制单片机；4、位置控制器；5、飞行驱动电机；6、飞行旋翼；7、加速度传感器；8、陀螺仪；9、气压高度计；10、A/D转换器；11、视频编码器；12、机器视觉模块；13、图像捕捉模块；14、卫星定位模块；15、定位卫星；16、内环控制器；17、外环控制器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
请参阅图1-2，本发明提供的一种实施例：基于机器视觉的无人机目标跟踪系统，包括飞行控制单片机3，飞行控制单片机3与飞行模拟模块2双向数据连接，飞行控制单片机3给飞行模拟模块2反馈实际飞行数据，飞行模拟模块2向飞行控制单片机3发送模拟飞行数据，飞行控制单片机3根据模拟数值进行飞行，飞行模拟模块2的输入端与姿态动力学模型建立模块1的输出端连接，飞行控制单片机3的输入端与A/D转换器10的输出端连接，A/D转换器10的输入端与分别与加速度传感器7、陀螺仪8和气压高度计9的输出端连接，飞行控制单片机3的输出端与位置控制器4的输入端连接，位置控制器4的输出端与飞行驱动电机5的输入端连接，飞行驱动电机5的输出端与飞行旋翼6的输入端连接，飞行模拟模块2与飞行控制单片机3的输入端与视频编码器11的输出端连接，视频编码器11的输入端与机器视觉模块12的输入端连接，机器视觉模块12包括图像捕捉模块13，飞行模拟模块2与飞行控制单片机3的输入端与卫星定位模块14的输出端连接，卫星定位模块14的输入端与定位卫星15的输出端连接，能够准确了解无人机的飞行路径；
其中，姿态动力学模型建立模块1，用于建立初始姿态动力学模型和调整姿态动力学模型，实现对姿态动力学模型的建立和调整；
飞行模拟模块2，根据姿态动力学模型建立模块1建立的姿态动力学模型进行飞行模拟，实现与实际飞行的飞行对比；
飞行控制单片机3，为无人机飞行程序的主要控制结构，实现飞行控制和飞行数据输出；
位置控制器4，为无人机飞行的直接控制结构，控制无人机飞行速度和飞行位置；
飞行驱动电机5，实现无人机的起飞和飞行；
飞行旋翼6，为飞行驱动电机5输出轴的直接连接结构，实现转动飞行；
加速度传感器7，为感应无人机飞行加速度的主要结构，实现无人机加速度的测算；
陀螺仪8，为感应无人机飞行角度的主要结构，实现无人机飞行角度的感应测量；
气压高度计9，为感应无人机飞行至不同高度后外环境气压的结构，实现无人机飞行外部环境气压的感应；
A/D转换器10，为数据转换结构，实现数据转换后的数据传输；
视频编码器11，为视频编码结构，实现数据转换后的数据传输；
机器视觉模块12，用于无人机飞行的视觉感知，实现无人机的远程控制飞行；
图像捕捉模块13，用于无人机的图像捕捉，实现无人机飞行环境的远程获取；
卫星定位模块14，用于无人机的飞行定位，实现无人机目标跟踪飞行轨迹的记录和无人机飞行路径的规划；
定位卫星15，实现卫星定位模块14的最终定位。
进一步，位置控制器4包括内环控制器16和外环控制器17；
其中，内环控制器16用于控制无人机的飞行速度，实现无人机飞行速度的控制；
外环控制器17用于控制无人机的飞行位置，实现无人机飞行位置的控制。
进一步，姿态动力学模型建立模块1建立初始姿态动力学模型为
其中，φ、θ、ψ、x、y、z分别为旋翼无人机的俯仰角、滚转角、偏航角和位置；m为质量；g为重力加速度；Ix、Iy、Iz为相对机体坐标系的转动惯量；l为螺旋桨中心到四旋翼中心的距离；Ui(i＝1，2，3，4)为控制输入。
进一步，姿态动力学模型建立模块1在单次飞行后调整姿态动力学模型为
其中，di(i＝1，2，3，4，5，6)为外部未知干扰；τ为未知时滞。
初次模拟飞行是无扰动和时滞的飞行，而实际飞行是有扰动和时滞的，从而测算扰动和时滞，在下次模拟飞行时根据上次测算结果预估下次飞行，与下次实际飞行进行对比，从而逐步修正扰动和时滞数值。
进一步，机器视觉模块12还包括光源模块、图形畸变处理模块和图像扭曲矫正模块，对拍摄的图像优先处理，使远程接收图像的人能够对无人机所拍摄环境有清楚认识。
进一步，飞行模拟模块2根据实际飞行数据调整姿态动力学模型建立模块1建立的姿态动力学模型中数据，并重新模拟飞行，将模拟飞行路径发送至飞行控制单片机3，飞行控制单片机3根据模拟飞行路径实际飞行，并将实际飞行数据反馈给飞行模拟模块2。
进一步，无人机目标跟踪系统中还包括干扰观测器，干扰观测器对外界干扰进行估计和补偿，并通过滤波器估计姿态动力学模型建立模块1姿态动力学模型虚拟控制输入的导数，还可在过程中结合自抗扰算法形成反推自抗扰算法，以保证跟踪误差的预定性能，设计控制器，保证无人机系统的稳定性。
进一步，未知时滞τ利用Pade逼近方法和一个中间变量来处理，保证跟踪误差保持的预设的边界内，构造合适的Lyapunov函数并设计控制器，得到期望的姿态和轨迹，实现稳定的飞行。
工作原理：使用时，通过飞行控制单片机3发送命令至位置控制器4，位置控制器4控制飞行驱动电机5工作，带动飞行旋翼6转动，从而使无人机飞至空中。飞行至空中后，图像捕捉模块13捕捉周围的环境，通过视频编码器11发送给飞行模拟模块2，卫星定位模块14在定位卫星15作用下发送位置给飞行模拟模块2，飞行模拟模块2接收实时的定位信息喝图像捕捉信息后在姿态动力学模型建立模块1建立姿态动力学模型的基础上进行模拟，进行多次模拟飞行，同时飞行控制单片机3发送命令至位置控制器4，位置控制器4控制飞行驱动电机5工作，带动飞行旋翼6转动进行飞行，实际飞行和预设模拟飞行同时进行，但是模拟飞行路径的时间有先后，实际飞行根据前一部分模拟飞行加上上次飞行时实际接收的图像捕捉模块13捕捉的周围环境信息、卫星定位模块14发送的定位信息、加速度传感器7感应的加速度信息、陀螺仪8感应的各种倾角信息、气压高度计9测量的气压高度信息等联合确定的，根据模拟飞行的结果叠加上次飞行结构确定，一旦有扰动或者时滞问题出现，下次飞行时能够及时矫正，并将矫正结果作为飞行初始重新模拟飞行(下次飞行和前次飞行属于同一飞行过程，仅将同一路径分成若干段，从而分出不同飞行段，在每次飞行段开始前矫正下一短路段的飞行)。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (10)
1.基于机器视觉的无人机目标跟踪系统，包括飞行控制单片机(3)，其特征在于：所述飞行控制单片机(3)与飞行模拟模块(2)双向数据连接，所述飞行模拟模块(2)的输入端与姿态动力学模型建立模块(1)的输出端连接，所述飞行控制单片机(3)的输入端与A/D转换器(10)的输出端连接，所述A/D转换器(10)的输入端与分别与加速度传感器(7)、陀螺仪(8)和气压高度计(9)的输出端连接，所述飞行控制单片机(3)的输出端与位置控制器(4)的输入端连接，所述位置控制器(4)的输出端与飞行驱动电机(5)的输入端连接，所述飞行驱动电机(5)的输出端与飞行旋翼(6)的输入端连接，所述飞行模拟模块(2)与飞行控制单片机(3)的输入端与视频编码器(11)的输出端连接，所述视频编码器(11)的输入端与机器视觉模块(12)的输入端连接，所述机器视觉模块(12)包括图像捕捉模块(13)，所述飞行模拟模块(2)与飞行控制单片机(3)的输入端与卫星定位模块(14)的输出端连接，所述卫星定位模块(14)的输入端与定位卫星(15)的输出端连接；
其中，姿态动力学模型建立模块(1)，用于建立初始姿态动力学模型和调整姿态动力学模型，实现对姿态动力学模型的建立和调整；
飞行模拟模块(2)，根据姿态动力学模型建立模块(1)建立的姿态动力学模型进行飞行模拟，实现与实际飞行的飞行对比；
飞行控制单片机(3)，为无人机飞行程序的主要控制结构，实现飞行控制和飞行数据输出；
位置控制器(4)，为无人机飞行的直接控制结构，控制无人机飞行速度和飞行位置；
飞行驱动电机(5)，实现无人机的起飞和飞行；
飞行旋翼(6)，为飞行驱动电机(5)输出轴的直接连接结构，实现转动飞行；
加速度传感器(7)，为感应无人机飞行加速度的主要结构，实现无人机加速度的测算；
陀螺仪(8)，为感应无人机飞行角度的主要结构，实现无人机飞行角度的感应测量；
气压高度计(9)，为感应无人机飞行至不同高度后外环境气压的结构，实现无人机飞行外部环境气压的感应；
A/D转换器(10)，为数据转换结构，实现数据转换后的数据传输；
视频编码器(11)，为视频编码结构，实现数据转换后的数据传输；
机器视觉模块(12)，用于无人机飞行的视觉感知，实现无人机的远程控制飞行；
图像捕捉模块(13)，用于无人机的图像捕捉，实现无人机飞行环境的远程获取；
卫星定位模块(14)，用于无人机的飞行定位，实现无人机目标跟踪飞行轨迹的记录和无人机飞行路径的规划；
定位卫星(15)，实现卫星定位模块(14)的最终定位。
2.根据权利要求1所述的基于机器视觉的无人机目标跟踪系统，其特征在于：所述位置控制器(4)包括内环控制器(16)和外环控制器(17)；
其中，内环控制器(16)用于控制无人机的飞行速度，实现无人机飞行速度的控制；
外环控制器(17)用于控制无人机的飞行位置，实现无人机飞行位置的控制。
3.根据权利要求1所述的基于机器视觉的无人机目标跟踪系统，其特征在于：所述姿态动力学模型建立模块(1)建立初始姿态动力学模型为：
其中，φ、θ、ψ、x、y、z分别为旋翼无人机的俯仰角、滚转角、偏航角和位置；m为质量；g为重力加速度；Ix、Iy、Iz为相对机体坐标系的转动惯量；l为螺旋桨中心到四旋翼中心的距离；Ui为控制输入，i＝1，2，3，4。
4.根据权利要求3所述的基于机器视觉的无人机目标跟踪系统，其特征在于：所述姿态动力学模型建立模块(1)在单次飞行后调整姿态动力学模型为
其中，di为外部未知干扰，i＝1，2，3，4，5，6；τ为未知时滞。
5.根据权利要求1所述的基于机器视觉的无人机目标跟踪系统，其特征在于：所述机器视觉模块(12)还包括光源模块、图形畸变处理模块和图像扭曲矫正模块。
6.根据权利要求1所述的基于机器视觉的无人机目标跟踪系统，其特征在于：所述飞行模拟模块(2)根据实际飞行数据调整姿态动力学模型建立模块(1)建立的姿态动力学模型中数据，并重新模拟飞行，将模拟飞行路径发送至飞行控制单片机(3)，飞行控制单片机(3)根据模拟飞行路径实际飞行，并将实际飞行数据反馈给飞行模拟模块(2)。
7.根据权利要求1所述的基于机器视觉的无人机目标跟踪系统，其特征在于：所述无人机目标跟踪系统中还包括干扰观测器，干扰观测器对外界干扰进行估计和补偿，并通过滤波器估计姿态动力学模型建立模块(1)姿态动力学模型虚拟控制输入的导数。
8.根据权利要求4所述的基于机器视觉的无人机目标跟踪系统，其特征在于：所述未知时滞τ利用Pade逼近方法和一个中间变量来处理。
9.基于权利要求1至8任一项无人机目标跟踪系统的跟踪方法，其特征在于，包括如下步骤：
通过飞行控制单片机发送命令至位置控制器，位置控制器控制飞行驱动电机工作，带动飞行旋翼转动，从而使无人机飞至空中；
飞行至空中后，图像捕捉模块捕捉周围的环境，通过视频编码器发送给飞行模拟模块，卫星定位模块在定位卫星作用下发送位置给飞行模拟模块，飞行模拟模块接收实时的定位信息喝图像捕捉信息后在姿态动力学模型建立模块建立姿态动力学模型的基础上进行模拟，进行多次模拟飞行；
同时飞行控制单片机发送命令至位置控制器，位置控制器控制飞行驱动电机工作，带动飞行旋翼转动进行飞行，实际飞行和预设模拟飞行同时进行，但是模拟飞行路径的时间有先后，实际飞行根据前一部分模拟飞行加上上次飞行时实际接收的图像捕捉模块捕捉的周围环境信息、卫星定位模块发送的定位信息、加速度传感器感应的加速度信息、陀螺仪感应的各种倾角信息、气压高度计测量的气压高度信息联合确定；
根据模拟飞行的结果叠加上次飞行结构确定，一旦有扰动或者时滞问题出现，下次飞行时能够及时矫正，并将矫正结果作为飞行初始重新模拟飞行。
10.根据权利要求9所述的方法，其特征在于，所述飞行矫正的过程中，
如果下次飞行和前次飞行属于同一飞行过程，则将同一路径分成若干段，从而分出不同飞行段，在每次飞行段开始前矫正下一短路段的飞行。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010852127.1A CN111930148A (zh) | 2020-08-21 | 2020-08-21 | 基于机器视觉的无人机目标跟踪系统及方法 |
| PCT/CN2020/110755 WO2022036724A1 (zh) | 2020-08-21 | 2020-08-24 | 基于机器视觉的无人机目标跟踪系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010852127.1A CN111930148A (zh) | 2020-08-21 | 2020-08-21 | 基于机器视觉的无人机目标跟踪系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111930148A true CN111930148A (zh) | 2020-11-13 |
Family
ID=73304501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010852127.1A Withdrawn CN111930148A (zh) | 2020-08-21 | 2020-08-21 | 基于机器视觉的无人机目标跟踪系统及方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111930148A (zh) |
| WO (1) | WO2022036724A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419109A (zh) * | 2022-03-29 | 2022-04-29 | 中航金城无人系统有限公司 | 一种基于视觉和气压信息融合的飞行器定位方法 |
| CN116339387A (zh) * | 2023-05-25 | 2023-06-27 | 北京航空航天大学杭州创新研究院 | 一种狭小空间复杂紊流影响下无人机安全距离保持方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115857520B (zh) * | 2023-02-15 | 2023-05-30 | 北京航空航天大学 | 一种基于视觉和船状态结合的无人机着舰状态监视方法 |
| CN117908384B (zh) * | 2024-03-19 | 2024-07-09 | 南京航空航天大学 | 一种基于自适应滑模的变体飞行器串级控制方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN205230375U (zh) * | 2015-12-17 | 2016-05-11 | 北京猎鹰无人机科技有限公司 | 无人机目标跟踪系统 |
| US9977434B2 (en) * | 2016-06-23 | 2018-05-22 | Qualcomm Incorporated | Automatic tracking mode for controlling an unmanned aerial vehicle |
| CN108181920B (zh) * | 2018-01-31 | 2021-08-31 | 天津大学 | 基于给定时间的四旋翼无人机高精度姿态跟踪控制方法 |
| CN110910502A (zh) * | 2019-12-25 | 2020-03-24 | 河南思拓力测绘科技有限公司 | 一种无人机三维建模系统 |
| CN111538255B (zh) * | 2020-06-19 | 2023-04-25 | 中国人民解放军国防科技大学 | 一种反蜂群无人机的飞行器控制方法及系统 |
-
2020
- 2020-08-21 CN CN202010852127.1A patent/CN111930148A/zh not_active Withdrawn
- 2020-08-24 WO PCT/CN2020/110755 patent/WO2022036724A1/zh active Application Filing
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419109A (zh) * | 2022-03-29 | 2022-04-29 | 中航金城无人系统有限公司 | 一种基于视觉和气压信息融合的飞行器定位方法 |
| CN116339387A (zh) * | 2023-05-25 | 2023-06-27 | 北京航空航天大学杭州创新研究院 | 一种狭小空间复杂紊流影响下无人机安全距离保持方法 |
| CN116339387B (zh) * | 2023-05-25 | 2023-08-22 | 北京航空航天大学杭州创新研究院 | 一种狭小空间复杂紊流影响下无人机安全距离保持方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022036724A1 (zh) | 2022-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111930148A (zh) | 基于机器视觉的无人机目标跟踪系统及方法 | |
| CN103587708B (zh) | 超小型无人旋翼飞行器野外定点零盲区自主软着陆方法 | |
| CN107014380B (zh) | 基于飞行器的视觉导航与惯性导航的组合导航方法 | |
| CN109079799B (zh) | 一种基于仿生的机器人感知控制系统及控制方法 | |
| CN108605098B (zh) | 用于卷帘快门校正的系统和方法 | |
| CN107272740B (zh) | 一种新型四旋翼无人机控制系统 | |
| CN104309803B (zh) | 旋翼飞行器自动降落系统及方法 | |
| Grabe et al. | On-board velocity estimation and closed-loop control of a quadrotor UAV based on optical flow | |
| CN106873627A (zh) | 一种自动巡检输电线路的多旋翼无人机及方法 | |
| CN110470226B (zh) | 一种基于无人机系统的桥梁结构位移测量方法 | |
| CN108253966B (zh) | 无人机飞行三维模拟显示方法 | |
| CN107390704B (zh) | 一种基于imu姿态补偿的多旋翼无人机光流悬停方法 | |
| CN107438804A (zh) | 一种用于控制无人机的穿戴式设备及无人机系统 | |
| CN106444844B (zh) | 一种用于多旋翼飞行器的图像程控采集方法 | |
| CN102190081B (zh) | 基于视觉的飞艇定点鲁棒控制方法 | |
| CN104062977A (zh) | 基于视觉slam的四旋翼无人机全自主飞行控制方法 | |
| CN106444810A (zh) | 借助虚拟现实的无人机机械臂空中作业系统及其控制方法 | |
| CN108563236B (zh) | 一种基于同心圆特征的纳型无人机目标跟踪方法 | |
| CN109164829A (zh) | 一种基于力反馈装置和vr感知的飞行机械臂系统及控制方法 | |
| CN210201937U (zh) | 一种影像采集装置 | |
| CN107515622A (zh) | 一种旋翼无人机在移动目标上自主着降的控制方法 | |
| CN112612294A (zh) | 一种带激光雷达自动避障系统的无人机 | |
| CN112947569B (zh) | 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法 | |
| CN206294286U (zh) | 一种远程虚拟现实的实现系统 | |
| WO2021259253A1 (zh) | 一种轨迹跟踪方法及无人机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201113 |