CN107450583A - 基于高通骁龙处理器的无人机运动跟踪系统 - Google Patents
基于高通骁龙处理器的无人机运动跟踪系统 Download PDFInfo
- Publication number
- CN107450583A CN107450583A CN201710727623.2A CN201710727623A CN107450583A CN 107450583 A CN107450583 A CN 107450583A CN 201710727623 A CN201710727623 A CN 201710727623A CN 107450583 A CN107450583 A CN 107450583A
- Authority
- CN
- China
- Prior art keywords
- module
- high pass
- flight
- unmanned plane
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Abstract
一种基于高通骁龙处理器的无人机运动跟踪系统，由Qx200四旋翼机架(1000)、信号转接板(1100)、高通骁龙控制板(1200)三部分组成，其中高通骁龙控制板(1200)用于实现系统的飞行控制、运动目标检测与跟踪、无人机跟踪飞行；信号转接板(1100)用于实现高通骁龙处理器的串行电机控制信号的转换和面向系统的电源输出；Qx200四旋翼机架(1000)作为系统的基础构架，用于负责执行高通骁龙控制板(1200)和信号转接板(1100)的控制命令，实现跟踪飞行。本发明系统的集成度高，可以在小型化无人机上实现在线图像采集和运动跟踪飞行，提高了无人机在线视频图像处理系统的效率。
Description
技术领域
本发明涉及无人机、机器视觉、运动跟踪、自动控制等技术领域，特别是涉及一种基于高通骁龙处理器的无人机运动跟踪系统
背景技术
近年来，随着计算机技术，自动控制理论，嵌入式开发，芯片设计以及传感器技术的迅速发展，让UAV能够在更加小型化的同时，拥有更多的处理能力，无人机上的相关技术也受到越来越多的关注。小型无人机拥有操控灵活，续航能力强等优势，从而能够在狭小环境中处理复杂任务，在众多领域都有广泛的应用前景。
但在目前，传统的无人机由于机载处理器计算性能的限制，需要离线进行数字图像处理，即使用无线发送模块讲无人机获取到的图像传到PC或其他高性能处理器中进行处理。然而，在有些对资源、功耗要求比较高的工程应用中，并没有加载这类设备的可行性。因此，急需一种搭载高清摄像头，并且能实时处理视频流的无人机平台，用于处理多种场景下的视觉信息。
发明内容
为了克服现有的无人机控制系统的集成度较低、实时性较弱、功耗较大的不足，本发明提供一种集成度高、实时性强、低功耗的基于高通骁龙处理器的小型无人机视觉跟踪系统。
本发明解决其技术问题所采用的技术方案是：
一种基于高通骁龙处理器的无人机运动跟踪系统，所述系统由Qx200四旋翼机架(1000)、信号转接板(1100)、高通骁龙控制板(1200)三部分组成；其中高通骁龙控制板(1200)用于实现系统的飞行控制、运动目标检测与跟踪、无人机跟踪飞行；信号转接板(1100)用于实现高通骁龙处理器的串行电机控制信号的转换和面向系统的电源输出；Qx200四旋翼机架(1000)作为系统的基础构架用于负责执行高通骁龙控制板(1200)和信号转接板(1100)的控制命令，实现跟踪飞行。
进一步，所述Qx200四旋翼机架(1000)是系统的机械结构基础，4045二叶桨(1001)、直流无刷电机(1002)、信号转接板(1100)、电机调速器(1101)、高通骁龙控制板(1200)、GPS模块(1202)均设置在Qx200四旋翼机架(1000)上；其中，所述四旋翼机架采用轴距为200mm的四旋翼机架，材料为碳纤维；所述4045二叶桨(1001)的直径为10.16cm，螺距为11.43cm，材质为塑料，本系统共含有4个二叶桨；所述直流无刷电机(1002)型号有两种：BLH7705、BLH7706，分别对应正转电机和反转电机，直流无刷电机在电压7.2v下的空载转速为21600转每分钟，本系统共含有4个直流无刷电机。
再进一步，所述信号转接板(1100)中，电机调速器(1101)直接和该转接板电机控制输出接口相连；该信号转接板(1100)的硬件接口包括一个串行接口、一个电源输出接口、一个电池输入接口、四个电机控制输出接口、一个芯片烧写接口和一个电源测试接口，该转接板包含两个模块：信号转换模块和电源模块；其中，所述信号转换模块采用STM32F103vet6作为信号处理主控芯片，串口信号作为输入信号，脉宽调制(PWM)信号作为输出信号，主控芯片缓存串行信号并且将四个通道的控制信号分别解算出来，随后转换生成四路脉宽调制(PWM)信号从电机控制输出接口输出；电源模块采用LT8612作为电源管理主控芯片输出5V电压，该电源芯片主要为高通骁龙控制板(1200)供电，LT1761作为电源从控芯片将5V电压转换为3.3V电压，该电源芯片主要为信号转接板(1100)中的STM32F103vet6信号处理芯片供电，LTC2946作为电流电压监测芯片为高通骁龙控制板(1200)提供电池状态反馈信息；
所述电机调速器(1101)用于负责将信号转接板输出的PWM控制信号转换为三相电压信号控制直流无刷电机(1002)的转速，该电机调速器的工作电流为20A，峰值电流为25A，使用ONESHOT125协议进行信号解算。
更进一步，所述高通骁龙控制板(1200)是系统的核心处理模块，其包含了飞行控制器(1201)、数据协议转换模块(1203)、图像采集模块(1204)、运动目标检测模块(1205)、目标坐标提取模块(1206)、飞行轨迹发布模块(1207)，GPS模块(1202)直接和该控制板的GPS接口连接，信号转接板(1100)与该控制板的串口和电源接口连接；该高通骁龙控制板(1200)拥有高通骁龙801处理器核心、Hexagon DSP核心、Adreno 330GPU核心、2GB LPDDR3内存，32GB eMMC内存；该处理器运行Linux Ubuntu 14.04操作系统，在此之上使用机器人操作系统(ROS)协同处理多个任务节点，使用OpenCV库进行图像运算。
所述飞行控制模块(1201)运行在高通骁龙处理器DSP核心上，用于实现飞行控制；该模块采用了基于NuttX实时操作系统的PX4开源飞行控制平台，该平台包含了传感器驱动、执行器驱动、飞行控制、姿态估计、导航等软件模块，通过GPS模块实现无人机的定位飞行，该控制器的软件接口可以接收MAVLink协议的飞行控制指令，通过数据协议转换模块(1203)可以在机器人操作系统中实现对飞行器的控制和实时飞行数据读取；
所述GPS模块(1202)作为该飞行控制器的辅助定位装置，用于辅助飞行器在室外进行定位飞行；该模块采用NEO-7M传感器模块，使用基于NMEA数据协议的串行数据进行通信，最大可以实现5HZ的数据更新频率；
所述数据协议转换模块(1203)是在机器人操作系统中针对MAVLink协议的数据转换节点，该模块可以双向转换标准ROS数据消息和MAVLink数据，使用相关软件接口可以实时获取飞行数据和发布飞行控制命令；
所述图像采集模块(1204)用于负责采集用于系统视觉跟踪的实时图像数据，该模块使用的摄像头是索尼IMX135模组，最大分辨率3840×2160，H.264编码视频流，该模块使用机器人操作系统中的摄像头驱动程序获取到该摄像头模块的实时图像数据并且以标准ROS图像数据发布到系统中，系统采集的图像数据分辨率为320x240，帧率为30帧每秒；
所述运动目标检测模块(1205)用于负责提取场景图像中的被跟踪目标，该模块在机器人操作系统中订阅图像采集模块发布的图像信息，交替使用两个高斯模型进行背景建模，在不断更新背景的同时避免背景模型被前景污染，该模块在计算中将原始图像分割成10x10像素的网格，在每一个网格中提取特征点并且进行匹配和跟踪，根据随机抽样一致(RANSAC)方法回归获得的像素点对的单应矩阵对网格的高斯模型进行迭代更新，作为场景的背景模型，根据设定的背景与前景的方差阈值将运动目标提取出来；
所述目标坐标提取模块(1206)用于负责将运动目标检测模块获取到的目标图像坐标转换到三维世界坐标系下，该模块根据相机的内参数矩阵和图像内运动目标的尺度信息计算图像的单应矩阵，将运动目标的图像坐标转化到无人机所处的世界坐标系中并且将该坐标发布到机器人操作系统；
所述飞行轨迹发布模块(1207)用于负责将视觉跟踪的误差值转换为飞行命令控制飞行器跟踪飞行，该模块订阅机器人操作系统中的目标坐标，将目标坐标与被跟踪目标的历史坐标做差获得目标的位移并且计算当前的飞行器对应坐标，将该坐标作为飞行器航点发布到机器人操作系统中，控制无人机的跟踪飞行。
本发明的优点是：系统的集成度高，可以在小型化无人机上实现在线图像采集和运动跟踪飞行，提高了无人机在线视频图像处理系统的效率。
附图说明
图1为本系统的整体结构示意框图。
图2为本系统的运动目标跟踪飞行流程框图。
图3为本系统的工作流程示意框图。
具体实施方式
下面结合附图对本发明作详细说明：
参照图1～图3，一种基于高通骁龙处理器的无人机运动跟踪系统，所述系统由Qx200四旋翼机架(1000)、信号转接板(1100)、高通骁龙控制板(1200)三部分组成；其中高通骁龙控制板(1200)用于实现系统的飞行控制、运动目标检测与跟踪、无人机跟踪飞行等功能；信号转接板(1100)用于实现高通骁龙处理器的串行电机控制信号的转换和面向系统的电源输出；Qx200四旋翼机架(1000)作为系统的基础构架，用于负责执行高通骁龙控制板(1200)和信号转接板(1100)的控制命令，实现跟踪飞行；
所述Qx200四旋翼机架(1000)是系统的机械结构基础，4045二叶桨(1001)、直流无刷电机(1002)、信号转接板(1100)、电机调速器(1101)、高通骁龙控制板(1200)、GPS模块(1202)、均设置在Qx200四旋翼机架(1000)上；其中，四旋翼机架采用轴距为200mm的四旋翼机架，材料为碳纤维；4045二叶桨(1001)的直径为10.16cm，螺距为11.43cm，材质为塑料，本系统共含有4个二叶桨；直流无刷电机(1002)型号有两种：BLH7705、BLH7706，分别对应正转电机和反转电机，该电机在电压7.2v下的空载转速为21600转每分钟，本系统共含有4个直流无刷电机；
所述信号转接板(1100)主要实现高通骁龙处理器的串型电机控制信号的转接和电源输出，电机调速器(1101)直接和该转接板电机控制输出接口相连；该信号转接板(1100)的硬件接口包括一个串行接口、一个电源输出接口、一个电池输入接口、四个电机控制输出接口、一个芯片烧写接口和一个电源测试接口，该转接板包含两个模块，信号转换模块和电源模块；其中，信号转换模块采用STM32F103vet6作为信号处理主控芯片，串口信号作为输入信号，脉宽调制(PWM)信号作为输出信号，主控芯片缓存串行信号并且将四个通道的控制信号分别解算出来，随后转换生成四路脉宽调制(PWM)信号从电机控制输出接口输出；电源模块采用LT8612作为电源管理主控芯片输出5V电压，该电源芯片主要为高通骁龙控制板(1200)供电，LT1761作为电源从控芯片将5V电压转换为3.3V电压，该电源芯片主要为信号转接板(1100)中的STM32F103vet6信号处理芯片供电，LTC2946作为电流电压监测芯片为高通骁龙控制板(1200)提供电池状态反馈信息；
所述电机调速器(1101)负责将信号转接板输出的PWM控制信号转换为三相电压信号控制直流无刷电机(1002)的转速，该电机调速器的工作电流为20A，峰值电流为25A，使用ONESHOT125协议进行信号解算；
所述高通骁龙控制板(1200)是系统的核心处理模块，其包含了飞行控制器(1201)、数据协议转换模块(1203)、图像采集模块(1204)、运动目标检测模块(1205)、目标坐标提取模块(1206)、飞行轨迹发布模块(1207)，GPS模块(1202)直接和该控制板的GPS接口连接，信号转接板(1100)与该控制板的串口和电源接口连接；该高通骁龙控制板(1200)拥有高通骁龙801处理器核心、Hexagon DSP核心、Adreno 330GPU核心、2GB LPDDR3内存，32GB eMMC内存；该处理器运行Linux Ubuntu 14.04操作系统，在此之上使用机器人操作系统(ROS)协同处理多个任务节点，使用OpenCV库进行图像运算；
所述飞行控制模块(1201)运行在高通骁龙处理器DSP核心上，用于实现飞行控制；该模块采用了基于NuttX实时操作系统的PX4开源飞行控制平台，该平台包含了传感器驱动、执行器驱动、飞行控制、姿态估计、导航等软件模块，通过GPS模块实现无人机的定位飞行，该控制器的软件接口可以接收MAVLink协议的飞行控制指令，通过数据协议转换模块(1203)可以在机器人操作系统中实现对飞行器的控制和实时飞行数据读取；
所述GPS模块(1202)作为该飞行控制器的辅助定位装置，用于辅助飞行器在室外进行定位飞行；该模块采用NEO-7M传感器模块，使用基于NMEA数据协议的串行数据进行通信，最大可以实现5HZ的数据更新频率；
所述数据协议转换模块(1203)是在机器人操作系统中针对MAVLink协议的数据转换节点，该模块可以双向转换标准ROS数据消息和MAVLink数据，使用相关软件接口可以实时获取飞行数据和发布飞行控制命令；
所述图像采集模块(1204)用于负责采集用于系统视觉跟踪的实时图像数据，该模块使用的摄像头是索尼IMX135模组，最大分辨率3840×2160，H.264编码视频流，该模块使用机器人操作系统中的摄像头驱动程序获取到该摄像头模块的实时图像数据并且以标准ROS图像数据发布到系统中，系统采集的图像数据分辨率为320x240，帧率为30帧每秒；
所述运动目标检测模块(1205)用于负责提取场景图像中的被跟踪目标，该模块在机器人操作系统中订阅图像采集模块发布的图像信息，交替使用两个高斯模型进行背景建模，在不断更新背景的同时避免背景模型被前景污染，该模块在计算中将原始图像分割成10x10像素的网格，在每一个网格中提取特征点并且进行匹配和跟踪，根据随机抽样一致(RANSAC)方法回归获得的像素点对的单应矩阵对网格的高斯模型进行迭代更新，作为场景的背景模型，根据设定的背景与前景的方差阈值将运动目标提取出来；
所述目标坐标提取模块(1206)用于负责将运动目标检测模块获取到的目标图像坐标转换到三维世界坐标系下，该模块根据相机的内参数矩阵和图像内运动目标的尺度信息计算图像的单应矩阵，将运动目标的图像坐标转化到无人机所处的世界坐标系中并且将该坐标发布到机器人操作系统；
所述飞行轨迹发布模块(1207)用于负责将视觉跟踪的误差值转换为飞行命令控制飞行器跟踪飞行，该模块订阅机器人操作系统中的目标坐标，将目标坐标与被跟踪目标的历史坐标做差获得目标的位移并且计算当前的飞行器对应坐标，将该坐标作为飞行器航点发布到机器人操作系统中，控制无人机的跟踪飞行。
无人机中的机器人操作系统作为无人机各个模块的统一管理平台，可以综合处理无人机系统中各个传感器的数据，通过接入系统的GPS模块(1202)、无人机飞行控制器(1201)中的IMU传感器、图像采集模块(1204)中的摄像头模块，构成了无人机运动跟踪飞行系统的传感器系统，通过这些传感器数据的融合处理，可以实现在线处理的无人机的运动目标跟踪飞行。
无人机启动后信号转接板(1100)的电源模块检查到系统上电信号后开始工作，向高通骁龙控制板(1200)和电机调速器(1101)供电；高通骁龙处理器进入工作模式后首先启动Linux操作系统，其后系统会自动启动飞行控制器(1201)，启动后飞行控制器首先对飞行控制系统进行自检和传感器校验，自检完成后同时完成以下工作：
(1)启动机器人操作系统内核，作为其他节点程序的基础系统；
(2)启动GPS模块(1202)开始搜索卫星，飞行控制器检测到卫星定位锁定后向机器人操作系统发布等待飞行命令信号并且进入待机状态；
(3)启动图像采集模块(1204)、运动目标检测模块(1205)和目标坐标提取模块(1206)开始采集图像并且提取运动目标的坐标；
在上述工作完成之后启动飞行轨迹发布节点(1207)在确认检测到等待飞行命令信号后向系统发布解锁电机命令，延时2s后发布起飞至1.5m命令，这些命令由数据协议转换模块接收后发布到飞行控制器，飞行控制器首先进行解锁电机操作，向电机调速器(1101)发出启动信号，电机进入怠速旋转状态，随后飞行控制器收到起飞命令，进入起飞状态，飞行器起飞并且达到设定的1.5m高度后进入悬停状态，无人机在悬停状态下开始等待高通骁龙处理器的飞行航点命令。
飞行轨迹发布模块(1207)在检测到无人机处于悬停状态后就开始接收目标坐标提取模块发布的运动目标坐标信息，接收到后由目标的坐标信息计算出飞行器对应的跟踪航点坐标，将该航点由数据协议转换模块转换后发布给飞行控制器。
飞行控制器(1201)在飞行器悬停状态下第一次接收飞行器航点命令时会按照起飞位置作为原点坐标，将规划从原点坐标到航点坐标的最短轨迹进行飞行，达到设定的航点后继续悬停状态；飞行器在悬停状态下若不是第一次接收飞行器航点命令，按照上一次的航点坐标规划一条从上一次航点坐标到这一次航点坐标的最短轨迹进行飞行，达到设定的航点后继续悬停状态。
飞行轨迹发布模块(1207)在检测到运动目标静止超过20秒后自动发出飞行器降落命令，由数据协议转换模块转换后发布给飞行控制器，飞行控制器结束悬停状态，进入降落状态，在降落状态下，飞行器的降落速率由飞行器高度确定，飞行器高度超过2米下降速率为1米每秒，飞行器高度小于2米下降速率为0.5米每秒；飞行器在降落过程结束后会进行落地检测，若飞行器已经着陆则飞行控制器向电机调速器发出锁定电机信号，电机停转，飞行器结束飞行。
本次飞行任务结束后飞行控制器会将飞行日志写入高通骁龙控制板的存储器当中，记录飞行器的传感器数据、传感器状态、错误信息、飞行模式、GPS数据、电源信息等数据消息。
在飞行器正常飞行状态下若出现系统模块失败，飞行轨迹发布模块将检测到错误信息并且直接将飞行模式切换到降落模式，飞行控制器执行自动降落，检测到着陆后飞行控制器锁定电机，电机停转，结束当前飞行任务。
上述实施方式为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的修改、替代、组合、裁剪，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种基于高通骁龙处理器的无人机运动跟踪系统，其特征在于：所述系统由Qx200四旋翼机架(1000)、信号转接板(1100)、高通骁龙控制板(1200)三部分组成；其中高通骁龙控制板(1200)用于实现系统的飞行控制、运动目标检测与跟踪、无人机跟踪飞行；信号转接板(1100)用于实现高通骁龙处理器的串行电机控制信号的转换和面向系统的电源输出；Qx200四旋翼机架(1000)作为系统的基础构架，用于负责执行高通骁龙控制板(1200)和信号转接板(1100)的控制命令，实现跟踪飞行。
2.如权利要求1所述的基于高通骁龙处理器的无人机运动跟踪系统，其特征在于：所述Qx200四旋翼机架(1000)是系统的机械结构基础，4045二叶桨(1001)、直流无刷电机(1002)、信号转接板(1100)、电机调速器(1101)、高通骁龙控制板(1200)、GPS模块(1202)均设置在Qx200四旋翼机架(1000)上；其中，所述四旋翼机架采用轴距为200mm的四旋翼机架，材料为碳纤维；所述4045二叶桨(1001)的直径为10.16cm，螺距为11.43cm，材质为塑料，本系统共含有4个二叶桨；所述直流无刷电机(1002)型号有两种：BLH7705、BLH7706，分别对应正转电机和反转电机，该直流无刷电机在电压7.2v下的空载转速为21600转每分钟，本系统共含有4个直流无刷电机。
3.如权利要求1或2所述的基于高通骁龙处理器的无人机运动跟踪系统，其特征在于：所述信号转接板(1100)中，电机调速器(1101)直接和该转接板电机控制输出接口相连；该信号转接板(1100)的硬件接口包括一个串行接口、一个电源输出接口、一个电池输入接口、四个电机控制输出接口、一个芯片烧写接口和一个电源测试接口，该转接板包含两个模块，信号转换模块和电源模块；其中，信号转换模块采用STM32F103vet6作为信号处理主控芯片，串口信号作为输入信号，脉宽调制信号作为输出信号，主控芯片缓存串行信号并且将四个通道的控制信号分别解算出来，随后转换生成四路脉宽调制信号从电机控制输出接口输出；电源模块采用LT8612作为电源管理主控芯片输出5V电压，该电源芯片主要为高通骁龙控制板(1200)供电，LT1761作为电源从控芯片将5V电压转换为3.3V电压，该电源芯片主要为信号转接板(1100)中的STM32F103vet6信号处理芯片供电，LTC2946作为电流电压监测芯片为高通骁龙控制板(1200)提供电池状态反馈信息。
4.如权利要求3所述的基于高通骁龙处理器的无人机运动跟踪系统，其特征在于：所述电机调速器(1101)用于负责将信号转接板输出的PWM控制信号转换为三相电压信号控制直流无刷电机(1002)的转速，该电机调速器的工作电流为20A，峰值电流为25A，使用ONESHOT125协议进行信号解算。
5.如权利要求1或2所述的基于高通骁龙处理器的无人机运动跟踪系统，其特征在于：所述高通骁龙控制板(1200)是系统的核心处理模块，其包含了飞行控制器(1201)、数据协议转换模块(1203)、图像采集模块(1204)、运动目标检测模块(1205)、目标坐标提取模块(1206)、飞行轨迹发布模块(1207)，GPS模块(1202)直接和该控制板的GPS接口连接，信号转接板(1100)与该控制板的串口和电源接口连接；该高通骁龙控制板(1200)拥有高通骁龙801CPU核心、Hexagon DSP核心、Adreno 330GPU核心、2GB LPDDR3内存，32GB eMMC内存；该处理器运行Linux Ubuntu 14.04操作系统，在此之上使用机器人操作系统(ROS)协同处理多个任务节点，使用OpenCV库进行图像运算。
6.如权利要求5所述的基于高通骁龙处理器的无人机运动跟踪系统，其特征在于：所述飞行控制模块(1201)运行在高通骁龙处理器DSP核心上，用于实现飞行控制；该模块采用了基于NuttX实时操作系统的PX4开源飞行控制平台，该平台包含了传感器驱动、执行器驱动、飞行控制、姿态估计和导航软件模块，通过GPS模块实现无人机的定位飞行，该控制器的软件接口可以接收MAVLink协议的飞行控制指令，通过数据协议转换模块(1203)可以在机器人操作系统中实现对飞行器的控制和实时飞行数据读取。
7.如权利要求5所述的基于高通骁龙处理器的无人机运动跟踪系统，其特征在于：所述GPS模块(1202)作为该飞行控制器的辅助定位装置，用于辅助飞行器在室外进行定位飞行；该模块采用NEO-7M传感器模块，使用基于NMEA数据协议的串行数据进行通信，最大可以实现5HZ的数据更新频率。
8.如权利要求5所述的基于高通骁龙处理器的无人机运动跟踪系统，其特征在于：所述数据协议转换模块(1203)是在机器人操作系统中针对MAVLink协议的数据转换节点，该模块可以双向转换标准ROS数据消息和MAVLink数据，使用相关软件接口可以实时获取飞行数据和发布飞行控制命令。
9.如权利要求5所述的基于高通骁龙处理器的无人机运动跟踪系统，其特征在于：所述图像采集模块(1204)用于负责采集用于系统视觉跟踪的实时图像数据，该模块使用的摄像头是索尼IMX135模组，最大分辨率3840×2160，H.264编码视频流，该模块使用机器人操作系统中的摄像头驱动程序获取到该摄像头模块的实时图像数据并且以标准ROS图像数据发布到系统中，系统采集的图像数据分辨率为320x240，帧率为30帧每秒。
10.如权利要求5所述的基于高通骁龙处理器的无人机运动跟踪系统，其特征在于：所述运动目标检测模块(1205)用于负责提取场景图像中的被跟踪目标，该模块在机器人操作系统中订阅图像采集模块发布的图像信息，交替使用两个高斯模型进行背景建模，在不断更新背景的同时避免背景模型被前景污染，该模块在计算中将原始图像分割成10x10像素的网格，在每一个网格中提取特征点并且进行匹配和跟踪，根据随机抽样一致(RANSAC)方法回归获得的像素点对的单应矩阵对网格的高斯模型进行迭代更新，作为场景的背景模型，根据设定的背景与前景的方差阈值将运动目标提取出来；
所述目标坐标提取模块(1206)用于负责将运动目标检测模块获取到的目标图像坐标转换到三维世界坐标系下，该模块根据相机的内参数矩阵和图像内运动目标的尺度信息计算图像的单应矩阵，将运动目标的图像坐标转化到无人机所处的世界坐标系中并且将该坐标发布到机器人操作系统；
所述飞行轨迹发布模块(1207)用于负责将视觉跟踪的误差值转换为飞行命令控制飞行器跟踪飞行，该模块订阅机器人操作系统中的目标坐标，将目标坐标与被跟踪目标的历史坐标做差获得目标的位移并且计算当前的飞行器对应坐标，将该坐标作为飞行器航点发布到机器人操作系统中，控制无人机的跟踪飞行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710727623.2A CN107450583A (zh) | 2017-08-23 | 2017-08-23 | 基于高通骁龙处理器的无人机运动跟踪系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710727623.2A CN107450583A (zh) | 2017-08-23 | 2017-08-23 | 基于高通骁龙处理器的无人机运动跟踪系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107450583A true CN107450583A (zh) | 2017-12-08 |
Family
ID=60493815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710727623.2A Pending CN107450583A (zh) | 2017-08-23 | 2017-08-23 | 基于高通骁龙处理器的无人机运动跟踪系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107450583A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108803664A (zh) * | 2018-08-01 | 2018-11-13 | 辽宁壮龙无人机科技有限公司 | 一种自主飞行投物无人机及控制方法 |
| CN109031312A (zh) * | 2018-04-26 | 2018-12-18 | 中国计量大学 | 适用于烟囱内部作业的飞行平台定位装置和定位方法 |
| CN110262539A (zh) * | 2019-07-05 | 2019-09-20 | 深圳市道通智能航空技术有限公司 | 无人机起降控制方法、飞行控制器及无人机 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617632A (zh) * | 2013-11-19 | 2014-03-05 | 浙江工业大学 | 一种结合相邻帧差法和混合高斯模型的运动目标检测方法 |
| CN104777847A (zh) * | 2014-01-13 | 2015-07-15 | 中南大学 | 基于机器视觉和超宽带定位技术的无人机目标追踪系统 |
| CN105974932A (zh) * | 2016-04-27 | 2016-09-28 | 中国人民解放军装甲兵工程学院 | 无人机控制方法 |
-
2017
- 2017-08-23 CN CN201710727623.2A patent/CN107450583A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617632A (zh) * | 2013-11-19 | 2014-03-05 | 浙江工业大学 | 一种结合相邻帧差法和混合高斯模型的运动目标检测方法 |
| CN104777847A (zh) * | 2014-01-13 | 2015-07-15 | 中南大学 | 基于机器视觉和超宽带定位技术的无人机目标追踪系统 |
| CN105974932A (zh) * | 2016-04-27 | 2016-09-28 | 中国人民解放军装甲兵工程学院 | 无人机控制方法 |
Non-Patent Citations (3)
| Title |
|---|
| YI K M, YUN K, KIM S W, ET AL: "Detection of Moving Objects with Non-stationary Cameras in 5.8ms：Bringing Motion Detection to Your Mobile Device", 《OAKLAND: IEEE COMPUTER PRESS》 * |
| 陈志祥: "基于高通平台的无人机自动跟踪系统设计", 《CNKI中国优秀硕士学位论文全文数据库（电子期刊）工程科技II辑》 * |
| 陈志祥: "基于高通平台的无人机自动跟踪设计", 《CNKI中国优秀硕士学位论文全文数据库（电子期刊）工程科技II辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109031312A (zh) * | 2018-04-26 | 2018-12-18 | 中国计量大学 | 适用于烟囱内部作业的飞行平台定位装置和定位方法 |
| CN109031312B (zh) * | 2018-04-26 | 2023-08-22 | 中国计量大学 | 适用于烟囱内部作业的飞行平台定位装置和定位方法 |
| CN108803664A (zh) * | 2018-08-01 | 2018-11-13 | 辽宁壮龙无人机科技有限公司 | 一种自主飞行投物无人机及控制方法 |
| CN110262539A (zh) * | 2019-07-05 | 2019-09-20 | 深圳市道通智能航空技术有限公司 | 无人机起降控制方法、飞行控制器及无人机 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107450591A (zh) | 基于英伟达tx2处理器的无人机运动跟踪系统 | |
| CN104656664B (zh) | 车载多旋翼无人直升机着陆导引控制系统及导引控制方法 | |
| CN109398688B (zh) | 一种旋翼飞行双机械臂目标定位抓取系统及方法 | |
| CN109258601B (zh) | 一种智能化的除草无人机自动对靶喷雾流量控制装置与方法 | |
| CN107450583A (zh) | 基于高通骁龙处理器的无人机运动跟踪系统 | |
| CN104597912A (zh) | 一种六旋翼无人直升机跟踪飞行控制系统及方法 | |
| Fowers et al. | Vision aided stabilization and the development of a quad-rotor micro UAV | |
| CN104875890B (zh) | 四旋翼飞行器 | |
| CN109572695A (zh) | 一种自动驾驶汽车跟车工况控制方法及系统 | |
| CN206532142U (zh) | 一种基于视觉的旋翼无人机稳定跟踪移动目标的控制系统 | |
| CN109079799A (zh) | 一种基于仿生的机器人感知控制系统及控制方法 | |
| CN204450529U (zh) | 一种空中排爆机器人 | |
| CN110498039A (zh) | 一种基于仿生扑翼飞行器的智能监控系统 | |
| CN109981042A (zh) | 一种基于多旋翼的太阳能电池板清洁的智能机器人 | |
| CN109254587A (zh) | 可在无线充电条件下稳定悬停的小型无人机及其控制方法 | |
| CN106871874A (zh) | 一种应用于无人机航测的pos管理系统 | |
| CN107161304A (zh) | 一种仿箱鲀科自主机器鱼 | |
| CN204314726U (zh) | 一种六旋翼无人直升机跟踪飞行控制系统 | |
| CN207882762U (zh) | 一种基于无人机机器视觉的智能车空中导航系统 | |
| CN214566043U (zh) | 一种无人船和无人机协同暖涡信息采集装置 | |
| CN111832379A (zh) | 基于卷积神经网络的无人机实时视频检测系统 | |
| CN107943102A (zh) | 一种基于视觉伺服的飞行器及其自主追踪系统 | |
| CN207650657U (zh) | 一种基于视觉伺服的飞行器 | |
| CN112055150A (zh) | 一种基于矢量推进的水下实时图像增强拍摄无人机 | |
| CN208188676U (zh) | 一种基于视觉slam技术的自主行驶小车装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171208 |