CN108255198B - 一种无人机飞行状态下的摄像云台控制系统和控制方法 - Google Patents
一种无人机飞行状态下的摄像云台控制系统和控制方法 Download PDFInfo
- Publication number
- CN108255198B CN108255198B CN201711498852.8A CN201711498852A CN108255198B CN 108255198 B CN108255198 B CN 108255198B CN 201711498852 A CN201711498852 A CN 201711498852A CN 108255198 B CN108255198 B CN 108255198B
- Authority
- CN
- China
- Prior art keywords
- image
- unmanned aerial
- aerial vehicle
- module
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 230000008859 change Effects 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 230000001360 synchronised effect Effects 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 26
- 230000003750 conditioning effect Effects 0.000 claims description 20
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 10
- 238000002955 isolation Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000003321 amplification Effects 0.000 claims description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000001276 controlling effect Effects 0.000 description 26
- 230000000875 corresponding effect Effects 0.000 description 20
- 238000011160 research Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 241000408659 Darpa Species 0.000 description 1
- 101000738757 Homo sapiens Phosphatidylglycerophosphatase and protein-tyrosine phosphatase 1 Proteins 0.000 description 1
- 241000233805 Phoenix Species 0.000 description 1
- 102100037408 Phosphatidylglycerophosphatase and protein-tyrosine phosphatase 1 Human genes 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 244000062645 predators Species 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种无人机飞行状态下的摄像云台控制系统，包括电机驱动及控制模块、遥控指令处理模块、航拍图像获取与传输模块、目标检测与跟踪模块。本发明使得无人机在飞行过程中实时调整摄像云台和摄像头的角度，保持对目标的跟踪拍摄不受到飞行方向变化的影响，同时增大飞行方向调整与云台回调的同步性，避免丢帧和图像抖动出现。极大提高了无人机图像的稳定性。
Description
技术领域
本发明属于无人机技术领域，特别涉及一种无人机飞行状态下的摄像云台控制系统和控制方法。
背景技术
无人驾驶飞机(Unmanned Aerial Vehicle，UAV)，简称无人机，也叫空中机器人。它通过机身传感器获得飞机飞行状况，通过自动或半自动的飞行控系统控制飞机自主飞行、可多次使用并完成侦察等任务。无人机因为不需要飞行员操作且价格低廉，即使损毁，其损失相对于有人驾驶飞机也较小，因此使用前景广泛上。广泛的应用和巨大的需求以及相关技术的快速发展，使得无人机的飞控、通信、导航等方面的技术长足发展，先进的机载任务载荷设备使得无人机的应用范围更加广扩。未来无人机的发展，主要向小型、隐身方向发展；向高空、长航时方向发展；向传感器综合化、数传方式多样化、机载设备模块化方向发展。各种飞行器、任务载荷和地面控制设备的市场需求巨大，其中便携式无人机系统的需求将会大幅度上升。因此，对无人机系统进行研究非常有意义。到目前为止，无人机的大小和载重能力决定它可以装备什么样的任务载荷，而无人机执行任务的能力主要由各种类型的任务载荷决定，因此任务载荷是无人机执行任务能力的关键。
无人机的任务载荷的快速发展极大地扩展了无人机的应用领域，无人机根据其功能和类型的不同，其上装备的任务载荷也不同。但无人机的任务载荷的发展趋势是朝多样化、小型化和模块化发展；随着无人机载荷能力的加强，单架无人机装备的任务载荷的种类和数量也向由少到多方向发展。一般来说，无人机的任务载荷大多需要安装在各种平台上面以实现在水平和竖直方向进行转动，以达到使任务载荷充分发挥其功能目的。
摄像机是无人机较为常见的任务载荷。人们把用于连接摄像机与摄像机支撑架，承载摄像机进行水平和垂直两个方向转动的装置叫做云台，可分为固定云台和电动云台两种。通常，云台可以实现X、Y、Z三轴转动。云台还需要能够接收遥控指令并根据指令进行调整或保持一个特定角度等功能。云台的这些功能特性保证无人机在飞行过程中，使其上的任务载荷能进行有效的作业。由此可见，随着无人机和各种任务载荷的发展，机载云台作为无人机系统的一个非常重要组成部分，对其所需要的技术进行全面研究具有非常重要的意义。
目前，机载云台系统被世界各国广泛研究与应用。例如，以色列研制的MOSP云台系统，英国的Phoenix云台系统，美国的“天球”云台系统等。这些系统中都使用了高性能的成像设备、激光设备等，云台旋转角度宽且精度高，旋转速度可灵活控制。
国外很多大学和研究所都在使用云台系统进行无人机视觉跟踪与视觉导航系统的研究，如：1996年，美国卡内基梅隆大学就在专门研制的摄像机稳定系统上使用数字图像处理器和CCD传感器，实现了基于目标外形和颜色对目标进行检测和跟踪；并装备到一架试验直升飞机上实现了自主导航功能。1997年，美国南加州大学在美国国防先进研究署(DARPA)的资助下采用Predator UAV无人机开始了地面移动物体自动侦查跟踪系统的研究。同年，瑞典林雪平大学与其它大学和公司合作使用Yamaha R-MAX直升机搭载各种传感器和安装在万向架上的摄像机进行了户外车辆跟踪实验。1999年，法国CAC系统公司与奥尔良大学的电子信号图像实验室合作，设计了一套基于视觉的目标跟踪系统，并被装在CAC系统公司的一架旋翼无人机上对卡车进行了跟踪试验。国内对用云台系统进行跟踪运动目标的研究起步较晚，如：2001年，清华大学用安装在能水平旋转的车载云台上的摄像机进行了跟踪汽车的实验。2003年，上海大学针对无人飞行器的寻标着陆，实验了使用检测与识别人工标志和自然标志的导航技术。目前，对任务载荷云台系统的研究主要可概括为在任务载荷研究、云台控制系统研究、云台的控制方法与算法研究、云台控制协议研究、云台结构设计和稳定性与定位精研究、为云台控制系统提供参数的传感系统研究、控制云台的软件和人机交互界面研究等方面。
云台控制系统具有的基本功能是控制云台的水平与竖直转动，包括转动的角度为多少、转动的速度是多少、转动的方向是什么；还有对辅助设备的控制，如：灯光控制，雨刷控制等；如果任务载荷有可控部分，如摄像机的焦距、景深和光圈等，那么控制系统也必须具有对载荷可控部分进行控制的功能。对于机载云台控制系统而言，还应有能接收遥控指令的功能等其它功能。总的研究方向是使其更具有智能性，不仅要能接收地面站的遥控，在没有遥控的时候也要能根据预设任务进行良好的控制，其中用到的控制器就具有自动控制的功能。
在无人机使用带有云台支持的任务载荷进行任务时，由于无人机和目标都在运动，控制云台的输入参数也不一样，各种变化的因素很多，因此对云台进行控制是一个复杂的过程。对于云台的控制，最基本的是对实现云台转动功能所使用的电机的控制，这些电机的种类很多，性能差异也很大，驱动与控制的方法都有差别。但在所使用的控制算法方面，实际应用较好并且被广泛使用的还是PID控制算法。虽然各种新的算法不断被提出，如模糊PID算法、蚁群算法、神经网络算法等，但目前大多处在研究试验阶段，应用的不多。由于无人机使用云台的最基本也是最多的功能就是获取目标的图像，因此使用云台摄像机获取的图像对云台进行控制的方法被广泛研究，一般被称为视觉反馈控制。在无人机进行摄像作业时，摄像机视野会因无人机姿态的变化引起偏离，从而导致丢失被摄目标；如果无人机飞行速度较高，摄取的图像也会变得模糊；再如果云台的转速变化较大，将引起图像跳动；各种因素都会使得无人机不能连续稳定地摄取目标的图像。为使无人机云台获得连续平稳清晰的图像，有很多值得研究的内容。例如，在飞行航拍的过程中，使用者利用遥控器一面控制无人机飞行的方向和高度，另一方面控制云台的角度。而摄像机镜头拍摄的实际角度则是受到无人机飞行方向和云台角度两方面的影响；如果云台角度不变，但是无人机飞行方向发生了变化，则也会导致摄像机镜头的拍摄角度产生变化，而这种变化往往不是使用者所预期的。但是，如果要求使用者一边控制无人机飞行方向发生改变，一边又控制云台的角度进行回调，很显然操作难度很大，而且无法保证拍摄画面稳定。
发明内容
本发明的目的在于提供一种易操作、保证画面稳定的无人机飞行状态下的摄像云台控制系统。本发明的目的还在于提供一种无人机飞行状态下的摄像云台控制方法。
本发明的目的是这样实现的：
一种无人机飞行状态下的摄像云台控制系统，包括：电机驱动及控制模块、遥控指令处理模块、航拍图像获取与传输模块、目标检测与跟踪模块；
所述的电机驱动及控制模块通过串口接收目标检测与跟踪模块提供的反馈信号，控制电机转动；所述电机驱动及控制模块的端口分别接摄像云台电机的定子逆变器及转子逆变器的端口，由所述电机驱动及控制模块向定子逆变器及转子逆变器提供控制信号；电机驱动及控制模块包括中央处理模块、电流/电压信号调理/变换电路、光电编码器信号调理电路、定子/转子逆变器隔离驱动电路；目标检测与跟踪模块所提供的反馈信号经电流/电压信号调理/变换电路滤波并变换，转速传感器经光电编码器信号调理电路进行整形及倍频后，输入至中央处理模块；由中央处理模块计算定子逆变器及转子逆变器的PWM驱动信号，经定子/转子逆变器隔离驱动电路进行功率放大后输出至定子逆变器及转子逆变器；
所述的遥控指令处理模块用于向目标检测与跟踪模块提供表示无人机飞行方向变化量的初始化数据；
航拍图像获取与传输模块，采用USB摄像头拍摄被摄物体，产生表示画面的电信号，经过预放大电路，AGC自动增益控制，模数转换形成RGB图像数据传给图像数字信号处理芯片DSP，经过DSP采样压缩编码等处理后形成图像信息，通过数据接口传出给目标检测与跟踪模块；
目标检测与跟踪模块根据所获取的图像信息，使用目标跟踪算法对图像中感兴趣的目标进行长时间稳定的自动跟踪，并响应遥控指令处理模块提供的表示无人机飞行方向变化量的初始化数据，计算实现感兴趣的目标自动跟踪的反馈信号，由串口发送给电机驱动及控制模块，以便控制电机带动摄像头转动，使目标一直处于摄像范围之中。
优选的是，所述目标检测与跟踪模块采用的目标跟踪算法包括以下任意一种算法：颜色模型法、帧差法、光流法。
所述航拍图像获取与传输模块的图像数字信号处理芯片DSP包括：镜像信号处理器、JPEG图像编码器和USB设备接口控制器，用于将图像传感器输出的RGB图像数据进行采样压缩和编码后通过接口输出。
所述的目标检测与跟踪模块按照如下方式处理获取的图像信息，识别感兴趣的目标：
(1)高斯模糊
对原始图像信息首先进行高斯模糊以降低图像噪声，根据高斯函数曲线构建一个平滑权重矩阵，并将这个权重矩阵与像素点周围的点进行加权平均运算重新赋值给原像素点；
(2)直方图均衡
使直方图在所有灰度范围内均匀分布，包括计算直方图、计算累计直方图、计算映射关系；对于彩色图像，将图像分为N个通道分别做直方图均衡化，将图像从RGB空间转为HSV空间之后对V通道做直方图均衡化；
(3)颜色二值化
对图像进行二值化，设某个像素点RGB三个通道的灰度分别为p{r，g，b}，则对点p的颜色判断用阈值来判断；r，g，b为三个通道分别的阈值；设定红色通道阈值大于，绿色、蓝色通道的阈值，对于每一个像素点，若该点被判断为是绿色，则绿色二值化图的相应位置赋值为1(灰度255)，否则相应位置赋值为0；红色、蓝色二值化图的赋值与绿色相同；
(4)寻找连通块
对二值化图寻找连通块，以标记同一个区域的相同颜色；直接对二值化图用深度优先搜索或广度优先搜索确定相连通的白色区域；找到各个连通块之后求得其中心点，以及分布的高度、宽度；
(5)滤波
根据各个连通块的高度、宽度判断其面积是否达到上下限，如果到达下限，连通块只是原图中色彩相近的噪声，不作为合法团块；如果到达上限，该连通块是地面一个颜色相近的色块，也作为合法团块；跟上一帧图像计算所得各个团块的位置进行比较，判断当前图像各个团块跟前一帧中团块的对应关系，如果找不到对应团块且处于图像边缘位置，可视为新进入图像的目标；如果没有对应团块且处于非边缘位置，可视为非法团块。
优选的是，目标检测与跟踪模块确定对图像中感兴趣的目标自动跟踪拍摄的云台实时角度值，根据遥控指令处理模块提供的表示无人机飞行方向变化量的初始化数据，计算无人机飞行方向调整的过程保持摄像机拍摄视角不变化，云台实时角度值的回调值，将所述回调值作为反馈信号，由串口发送给电机驱动及控制模块；同时，生成无人机飞行方向调节和云台实时角度调节的同步执行指令，将所述同步执行指令分别发送给无人机的飞控芯片以及电机驱动及控制模块，控制无人机飞行方向调节和云台实时角度调节的同步执行。
优选的是，所述目标检测与跟踪模块将无人机飞行方向调节和云台实时角度调节分为若干个同步子过程，所述目标检测与跟踪模块向无人机的飞控芯片以及电机驱动及控制模块发送执行每个同步子过程的同步执行指令，然后经过预定时间的延迟，再发送下一个同步子过程的同步执行指令，直至无人机飞行方向调节和云台实时角度回调完成。
一种无人机飞行状态下的摄像云台控制方法，包括如下步骤：
1)通过遥控指令处理模块接收并向目标检测与跟踪模块提供表示无人机飞行方向变化量的初始化数据；
2)通过航拍图像获取与传输模块采用USB摄像头拍摄被摄物体，生成图像信息，通过数据接口将图像信息传输给目标检测与跟踪模块；
3)通过目标检测与跟踪模块使用目标跟踪算法对图像中感兴趣的目标进行长时间稳定的自动跟踪，并响应遥控指令处理模块提供的表示无人机飞行方向变化量的初始化数据，计算实现感兴趣的目标自动跟踪的反馈信号，由串口发送给电机驱动及控制模块，以便控制电机带动摄像头转动，使目标一直处于摄像范围之中；
4)由电机驱动及控制模块通过串口接收目标检测与跟踪模块提供的反馈信号，控制电机转动；所述电机驱动及控制模块的端口分别接摄像云台电机的定子逆变器及转子逆变器的端口，由所述电机驱动及控制模块向定子逆变器及转子逆变器提供控制信号；电机驱动及控制模块包括中央处理模块、电流/电压信号调理/变换电路、光电编码器信号调理电路、定子/转子逆变器隔离驱动电路；目标检测与跟踪模块所提供的反馈信号经电流/电压信号调理/变换电路滤波并变换，转速传感器经光电编码器信号调理电路进行整形及倍频后，输入至中央处理模块；由中央处理模块计算定子逆变器及转子逆变器的PWM驱动信号，经定子/转子逆变器隔离驱动电路进行功率放大后输出至定子逆变器及转子逆变器。
优选的是，所采用的目标跟踪算法包括以下任意一种算法：颜色模型法、帧差法、光流法。
优选的是，按照如下方式处理获取的图像信息，识别感兴趣的目标：
(1)高斯模糊
对原始图像信息首先进行高斯模糊以降低图像噪声，根据高斯函数曲线构建一个平滑权重矩阵，并将这个权重矩阵与像素点周围的点进行加权平均运算重新赋值给原像素点；
(2)直方图均衡
使直方图在所有灰度范围内均匀分布，包括计算直方图、计算累计直方图、计算映射关系；对于彩色图像，将图像分为N个通道分别做直方图均衡化，将图像从RGB空间转为HSV空间之后对V通道做直方图均衡化；
(3)颜色二值化
对图像进行二值化，设某个像素点RGB三个通道的灰度分别为p{r，g，b}，则对点p的颜色判断用阈值来判断；r，g，b为三个通道分别的阈值；设定红色通道阈值大于，绿色、蓝色通道的阈值，对于每一个像素点，若该点被判断为是绿色，则绿色二值化图的相应位置赋值为1(灰度255)，否则相应位置赋值为0；红色、蓝色二值化图的赋值与绿色相同；
(4)寻找连通块
对二值化图寻找连通块，以标记同一个区域的相同颜色；直接对二值化图用深度优先搜索或广度优先搜索确定相连通的白色区域；找到各个连通块之后求得其中心点，以及分布的高度、宽度；
(5)滤波
根据各个连通块的高度、宽度判断其面积是否达到上下限，如果到达下限，连通块只是原图中色彩相近的噪声，不作为合法团块；如果到达上限，该连通块是地面一个颜色相近的色块，也作为合法团块；跟上一帧图像计算所得各个团块的位置进行比较，判断当前图像各个团块跟前一帧中团块的对应关系，如果找不到对应团块且处于图像边缘位置，可视为新进入图像的目标；如果没有对应团块且处于非边缘位置，可视为非法团块。
优选的是，确定对图像中感兴趣的目标自动跟踪拍摄的云台实时角度值，根据遥控指令处理模块提供的表示无人机飞行方向变化量的初始化数据，计算无人机飞行方向调整的过程保持摄像机拍摄视角不变化，云台实时角度值的回调值，将所述回调值作为反馈信号，由串口发送给电机驱动及控制模块；同时，生成无人机飞行方向调节和云台实时角度调节的同步执行指令，将所述同步执行指令分别发送给无人机的飞控芯片以及电机驱动及控制模块，控制无人机飞行方向调节和云台实时角度调节的同步执行。
优选的是，所述目标检测与跟踪模块将无人机飞行方向调节和云台实时角度调节分为若干个同步子过程，所述目标检测与跟踪模块向无人机的飞控芯片以及电机驱动及控制模块发送执行每个同步子过程的同步执行指令，然后经过预定时间的延迟，再发送下一个同步子过程的同步执行指令，直至无人机飞行方向调节和云台实时角度回调完成。
本发明的有益效果在于：本发明提出了一种无人机飞行状态下的摄像云台控制系统和控制方法，使得无人机在飞行过程中实时调整摄像云台和摄像头的角度，保持对目标的跟踪拍摄不受到飞行方向变化的影响，同时增大飞行方向调整与云台回调的同步性，避免丢帧和图像抖动出现。极大提高了无人机图像的稳定性。
附图说明
图1为本发明系统结构示意图；
图2为获取图像中感兴趣目标的流程示意图。
具体实施方式
下面结合附图1和2具体说明本发明的实施方式。
一种无人机飞行状态下的摄像云台控制系统包括电机驱动及控制模块、遥控指令处理模块、航拍图像获取与传输模块、目标检测与跟踪模块；
所述的电机驱动及控制模块通过串口接收目标检测与跟踪模块提供的反馈信号，控制电机转动；所述电机驱动及控制模块的端口分别接摄像云台电机的定子逆变器及转子逆变器的端口，由所述电机驱动及控制模块向定子逆变器及转子逆变器提供控制信号；电机驱动及控制模块包括中央处理模块、电流/电压信号调理/变换电路、光电编码器信号调理电路、定子/转子逆变器隔离驱动电路；目标检测与跟踪模块所提供的反馈信号经电流/电压信号调理/变换电路滤波并变换，转速传感器经光电编码器信号调理电路进行整形及倍频后，输入至中央处理模块；由中央处理模块计算定子逆变器及转子逆变器的PWM驱动信号，经定子/转子逆变器隔离驱动电路进行功率放大后输出至定子逆变器及转子逆变器；
所述的遥控指令处理模块用于向目标检测与跟踪模块提供表示无人机飞行方向变化量的初始化数据；
航拍图像获取与传输模块，采用USB摄像头拍摄被摄物体，产生表示画面的电信号，经过预放大电路，AGC自动增益控制，模数转换形成RGB图像数据传给图像数字信号处理芯片DSP，经过DSP采样压缩编码等处理后形成图像信息，通过数据接口传出给目标检测与跟踪模块；
目标检测与跟踪模块根据所获取的图像信息，使用目标跟踪算法对图像中感兴趣的目标进行长时间稳定的自动跟踪，并响应遥控指令处理模块提供的表示无人机飞行方向变化量的初始化数据，计算实现感兴趣的目标自动跟踪的反馈信号，由串口发送给电机驱动及控制模块，以便控制电机带动摄像头转动，使目标一直处于摄像范围之中。
其中，所述的目标跟踪算法包括颜色模型法、帧差法、光流法。
所述的图像获取与传输模块经DSP处理后输出的图像格式有YUV4∶4∶4、YUV4∶2∶2、YUV4∶1∶1、YUV4∶2∶0；图像格式为YUV型，YUV格式中，Y表示亮度分量，U和V表示第一和第二色度分量；在一幅图像数据中，按YUV三个分量的数据的排列方式不同，又分为打包YUV格式和平面YUV格式；打包格式是YUV三个分量在一幅图像数据中交错排列，平面格式是把三个分量分开单独存放。
所述的USB摄像头的图像数字信号处理芯片DSP包括：镜像信号处理器、JPEG图像编码器和USB设备接口控制器，将图像传感器输出的RGB图像数据进行采样压缩和编码后通过接口输出。
所述的目标检测与跟踪模块根据摄像头获取的图像信息，识别感兴趣的目标的具体步骤包括：
(1)高斯模糊
无人机底部的摄像机读取到的原始图像首先进行高斯模糊以降低图像噪声，根据高斯函数曲线构建一个平滑权重矩阵，并将这个权重矩阵与像素点周围的点进行加权平均运算重新赋值给原像素点；
(2)直方图均衡
使直方图在所有灰度范围内均匀分布，包括计算直方图、计算累计直方图、计算映射关系；对于彩色图像，将图像分为N个通道分别做直方图均衡化，将图像从RGB空间转为HSV空间之后对V通道做直方图均衡化；
(3)颜色二值化
对图像进行二值化，设某个像素点RGB三个通道的灰度分别为p{r，g，b}，则对点p的颜色判断用阈值来判断；r，g，b为三个通道分别的阈值；设定红色通道阈值大于，绿色、蓝色通道的阈值，对于每一个像素点，若该点被判断为是绿色，则绿色二值化图的相应位置赋值为1(灰度255)，否则相应位置赋值为0；红色、蓝色二值化图的赋值与绿色相同；
(4)寻找连通块
对二值化图寻找连通块，以标记同一个区域的相同颜色；直接对二值化图用深度优先搜索或广度优先搜索确定相连通的白色区域；找到各个连通块之后求得其中心点，以及分布的高度、宽度；
(5)滤波
根据各个连通块的高度、宽度判断其面积是否达到上下限，如果到达下限，连通块只是原图中色彩相近的噪声，不作为合法团块；如果到达上限，该连通块是地面一个颜色相近的色块，也作为合法团块；跟上一帧图像计算所得各个团块的位置进行比较，判断当前图像各个团块跟前一帧中团块的对应关系，如果找不到对应团块且处于图像边缘位置，可视为新进入图像的目标；如果没有对应团块且处于非边缘位置，可视为非法团块。
实际执行过程中，由于飞行方向调整和云台方向调整的同步性达不到理论上的理想状态，所以拍摄画面还是难免有小幅度的抖动。为了缓解这个问题，本发明对于飞行方向的调节以及云台的调节，都不是线性的连续动作，而是采取阶梯性的动作：也就是把飞行方向的动作过程分解为F1、F2、F3…FN等N个阶段，相应的，云台转动的动作过程也分解为Y1、Y2、Y3…YN的N个对应阶段，同步执行F1、Y1，然后延迟若干毫秒，这可以保证这两个动作确保全部完成，之后，再进一步同步执行F2、Y2，然后继续延迟若干毫秒…直至FN、YN同步完成。具体来说，目标检测与跟踪模块确定对图像中感兴趣的目标自动跟踪拍摄的云台实时角度值，根据遥控指令处理模块提供的表示无人机飞行方向变化量的初始化数据，计算无人机飞行方向调整的过程保持摄像机拍摄视角不变化，云台实时角度值的回调值，将所述回调值作为反馈信号，由串口发送给电机驱动及控制模块；同时，生成无人机飞行方向调节和云台实时角度调节的同步执行指令，将所述同步执行指令分别发送给无人机的飞控芯片以及电机驱动及控制模块，控制无人机飞行方向调节和云台实时角度调节的同步执行。所述目标检测与跟踪模块将无人机飞行方向调节和云台实时角度调节分为若干个同步子过程，所述目标检测与跟踪模块向无人机的飞控芯片以及电机驱动及控制模块发送执行每个同步子过程的同步执行指令，然后经过预定时间的延迟，再发送下一个同步子过程的同步执行指令，直至无人机飞行方向调节和云台实时角度回调完成。
本发明的有益效果在于：本发明提出了一种无人机飞行状态下的摄像云台控制系统和控制方法，使得无人机在飞行过程中实时调整摄像云台和摄像头的角度，保持对目标的跟踪拍摄不受到飞行方向变化的影响，同时增大飞行方向调整与云台回调的同步性，避免丢帧和图像抖动出现。极大提高了无人机图像的稳定性。
Claims (8)
1.一种无人机飞行状态下的摄像云台控制系统，包括电机驱动及控制模块、遥控指令处理模块、航拍图像获取与传输模块和目标检测与跟踪模块；其特征在于：
所述的电机驱动及控制模块通过串口接收目标检测与跟踪模块提供的反馈信号，控制电机转动；所述电机驱动及控制模块的端口分别接摄像云台电机的定子逆变器及转子逆变器的端口，由所述电机驱动及控制模块向定子逆变器及转子逆变器提供控制信号；电机驱动及控制模块包括中央处理模块、电流/电压信号调理/变换电路、光电编码器信号调理电路和定子/转子逆变器隔离驱动电路；目标检测与跟踪模块所提供的反馈信号经电流/电压信号调理/变换电路滤波并变换，转速传感器经光电编码器信号调理电路进行整形及倍频后，输入至中央处理模块；由中央处理模块计算定子逆变器及转子逆变器的PWM驱动信号，经定子/转子逆变器隔离驱动电路进行功率放大后输出至定子逆变器及转子逆变器；
所述的遥控指令处理模块用于向目标检测与跟踪模块提供表示无人机飞行方向变化量的初始化数据；
航拍图像获取与传输模块，采用USB摄像头拍摄被摄物体，产生表示画面的电信号，经过预放大电路，AGC 自动增益控制，模数转换形成 RGB 图像数据传给图像数字信号处理芯片DSP，经过 DSP 采样压缩编码处理后形成图像信息，通过数据接口传输给目标检测与跟踪模块；
目标检测与跟踪模块根据所获取的图像信息，使用目标跟踪算法对图像中感兴趣的目标进行长时间稳定的自动跟踪，并响应遥控指令处理模块提供的表示无人机飞行方向变化量的初始化数据，计算实现感兴趣的目标自动跟踪的反馈信号，由串口发送给电机驱动及控制模块，以便控制电机带动摄像头转动，使目标一直处于摄像范围之中；
目标检测与跟踪模块确定对图像中感兴趣的目标自动跟踪拍摄的云台实时角度值，根据遥控指令处理模块提供的表示无人机飞行方向变化量的初始化数据，计算无人机飞行方向调整的过程保持摄像机拍摄视角不变化，云台实时角度值的回调值，将所述回调值作为反馈信号，由串口发送给电机驱动及控制模块；同时，生成无人机飞行方向调节和云台实时角度调节的同步执行指令，将所述同步执行指令分别发送给无人机的飞控芯片以及电机驱动及控制模块，控制无人机飞行方向调节和云台实时角度调节的同步执行。
2.根据权利要求1所述的一种无人机飞行状态下的摄像云台控制系统，其特征在于：所述的目标跟踪算法包括颜色模型法、帧差法和光流法。
3.根据权利要求2所述的一种无人机飞行状态下的摄像云台控制系统，其特征在于：所述航拍图像获取与传输模块的图像数字信号处理芯片DSP包括：镜像信号处理器、JPEG 图像编码器和 USB 设备接口控制器，用于将图像传感器输出的 RGB 图像数据进行采样压缩和编码后通过接口输出。
4.根据权利要求3所述的一种无人机飞行状态下的摄像云台控制系统，其特征在于：所述的目标检测与跟踪模块按照如下方式处理获取的图像信息，识别感兴趣的目标：
(1) 高斯模糊
对原始图像信息首先进行高斯模糊以降低图像噪声，根据高斯函数曲线构建一个平滑权重矩阵，并将这个权重矩阵与像素点周围的点进行加权平均运算重新赋值给原像素点；
(2) 直方图均衡
使直方图在所有灰度范围内均匀分布，包括计算直方图、计算累计直方图和计算映射关系；对于彩色图像，将图像分为N个通道分别做直方图均衡化，将图像从RGB空间转为HSV空间之后对V通道做直方图均衡化；
(3) 颜色二值化
对图像进行二值化，设某个像素点RGB 三个通道的灰度分别为p{r,g,b}，则对点p的颜色判断用阈值来判断；r,g,b为三个通道分别的阈值；设定红色通道阈值大于绿色和蓝色通道的阈值，对于每一个像素点，若该点被判断为是绿色，则绿色二值化图的相应位置赋值为1，否则相应位置赋值为 0；红色和蓝色二值化图的赋值与绿色相同；
(4) 寻找连通块
对二值化图寻找连通块，以标记同一个区域的相同颜色；直接对二值化图用深度优先搜索或广度优先搜索确定相连通的白色区域；找到各个连通块之后求得其中心点，以及分布的高度和宽度；
(5) 滤波
根据各个连通块的高度和宽度判断其面积是否达到上下限，如果到达下限，连通块只是原图中色彩相近的噪声，不作为合法团块；如果到达上限，该连通块是地面一个颜色相近的色块，也作为合法团块；跟上一帧图像计算所得各个团块的位置进行比较，判断当前图像各个团块跟前一帧中团块的对应关系，如果找不到对应团块且处于图像边缘位置，可视为新进入图像的目标；如果没有对应团块且处于非边缘位置，可视为非法团块。
5.根据权利要求1所述的一种无人机飞行状态下的摄像云台控制系统，其特征在于：所述目标检测与跟踪模块将无人机飞行方向调节和云台实时角度调节分为若干个同步子过程，所述目标检测与跟踪模块向无人机的飞控芯片以及电机驱动及控制模块发送执行每个同步子过程的同步执行指令，然后经过预定时间的延迟，再发送下一个同步子过程的同步执行指令，直至无人机飞行方向调节和云台实时角度回调完成。
6.一种无人机飞行状态下的摄像云台控制方法，其特征在于，包括如下步骤：
1）通过遥控指令处理模块接收并向目标检测与跟踪模块提供表示无人机飞行方向变化量的初始化数据；
2）通过航拍图像获取与传输模块采用USB摄像头拍摄被摄物体，生成图像信息，通过数据接口将图像信息传输给目标检测与跟踪模块；
3）通过目标检测与跟踪模块使用目标跟踪算法对图像中感兴趣的目标进行长时间稳定的自动跟踪，并响应遥控指令处理模块提供的表示无人机飞行方向变化量的初始化数据，计算实现感兴趣的目标自动跟踪的反馈信号，由串口发送给电机驱动及控制模块，以便控制电机带动摄像头转动，使目标一直处于摄像范围之中；
4）由电机驱动及控制模块通过串口接收目标检测与跟踪模块提供的反馈信号，控制电机转动；所述电机驱动及控制模块的端口分别接摄像云台电机的定子逆变器及转子逆变器的端口，由所述电机驱动及控制模块向定子逆变器及转子逆变器提供控制信号；电机驱动及控制模块包括中央处理模块、电流/电压信号调理/变换电路、光电编码器信号调理电路和定子/转子逆变器隔离驱动电路；目标检测与跟踪模块所提供的反馈信号经电流/电压信号调理/变换电路滤波并变换，转速传感器经光电编码器信号调理电路进行整形及倍频后，输入至中央处理模块；由中央处理模块计算定子逆变器及转子逆变器的PWM驱动信号，经定子/转子逆变器隔离驱动电路进行功率放大后输出至定子逆变器及转子逆变器；
确定对图像中感兴趣的目标自动跟踪拍摄的云台实时角度值，根据遥控指令处理模块提供的表示无人机飞行方向变化量的初始化数据，计算无人机飞行方向调整的过程保持摄像机拍摄视角不变化，云台实时角度值的回调值，将所述回调值作为反馈信号，由串口发送给电机驱动及控制模块；同时，生成无人机飞行方向调节和云台实时角度调节的同步执行指令，将所述同步执行指令分别发送给无人机的飞控芯片以及电机驱动及控制模块，控制无人机飞行方向调节和云台实时角度调节的同步执行。
7.根据权利要求6所述的一种无人机飞行状态下的摄像云台控制方法，其特征在于：所述的目标跟踪算法包括颜色模型法、帧差法和光流法。
8.根据权利要求6所述的一种无人机飞行状态下的摄像云台控制方法，其特征在于：按照如下方式处理获取的图像信息，识别感兴趣的目标：
(1) 高斯模糊
对原始图像信息首先进行高斯模糊以降低图像噪声，根据高斯函数曲线构建一个平滑权重矩阵，并将这个权重矩阵与像素点周围的点进行加权平均运算重新赋值给原像素点；
(2) 直方图均衡
使直方图在所有灰度范围内均匀分布，包括计算直方图、计算累计直方图和计算映射关系；对于彩色图像，将图像分为N个通道分别做直方图均衡化，将图像从RGB空间转为HSV空间之后对V通道做直方图均衡化；
(3) 颜色二值化
对图像进行二值化，设某个像素点RGB 三个通道的灰度分别为p{r,g,b}，则对点p的颜色判断用阈值来判断；r,g,b为三个通道分别的阈值；设定红色通道阈值大于，绿色和蓝色通道的阈值，对于每一个像素点，若该点被判断为是绿色，则绿色二值化图的相应位置赋值为 1，否则相应位置赋值为 0；红色和蓝色二值化图的赋值与绿色相同；
(4) 寻找连通块
对二值化图寻找连通块，以标记同一个区域的相同颜色；直接对二值化图用深度优先搜索或广度优先搜索确定相连通的白色区域；找到各个连通块之后求得其中心点，以及分布的高度和宽度；
(5) 滤波
根据各个连通块的高度和宽度判断其面积是否达到上下限，如果到达下限，连通块只是原图中色彩相近的噪声，不作为合法团块；如果到达上限，该连通块是地面一个颜色相近的色块，也作为合法团块；跟上一帧图像计算所得各个团块的位置进行比较，判断当前图像各个团块跟前一帧中团块的对应关系，如果找不到对应团块且处于图像边缘位置，可视为新进入图像的目标；如果没有对应团块且处于非边缘位置，可视为非法团块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711498852.8A CN108255198B (zh) | 2017-12-28 | 2017-12-28 | 一种无人机飞行状态下的摄像云台控制系统和控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711498852.8A CN108255198B (zh) | 2017-12-28 | 2017-12-28 | 一种无人机飞行状态下的摄像云台控制系统和控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108255198A CN108255198A (zh) | 2018-07-06 |
| CN108255198B true CN108255198B (zh) | 2023-04-28 |
Family
ID=62725008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711498852.8A Active CN108255198B (zh) | 2017-12-28 | 2017-12-28 | 一种无人机飞行状态下的摄像云台控制系统和控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108255198B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109597432B (zh) * | 2018-11-30 | 2022-03-18 | 航天时代飞鸿技术有限公司 | 一种基于车载摄像机组的无人机起降监控方法及系统 |
| CN109765939A (zh) * | 2018-12-21 | 2019-05-17 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 无人机的云台控制方法、装置和存储介质 |
| CN110083174B (zh) * | 2019-04-12 | 2022-09-09 | 上海歌尔泰克机器人有限公司 | 无人机控制方法、装置及系统 |
| CN109977924A (zh) * | 2019-04-15 | 2019-07-05 | 北京麦飞科技有限公司 | 针对农作物的无人机机上实时图像处理方法及系统 |
| CN110262564A (zh) * | 2019-05-17 | 2019-09-20 | 安徽翔翼智能科技有限公司 | 一种小型化任务载荷系统、软件及挂载装置 |
| CN110706198B (zh) * | 2019-08-19 | 2023-04-28 | 同济大学 | 基于无人机对大型建筑机器人的振动检测系统 |
| CN112334854A (zh) * | 2019-11-22 | 2021-02-05 | 深圳市大疆创新科技有限公司 | 飞行控制方法、系统、无人飞行器、遥控器及存储介质 |
| CN111639595B (zh) * | 2020-05-29 | 2022-03-18 | 桂林电子科技大学 | 基于权重不可知神经网络的无人机微动特征信号检测方法 |
| WO2022170498A1 (zh) * | 2021-02-09 | 2022-08-18 | 深圳市大疆创新科技有限公司 | 图像同步方法、控制设备、无人机及存储介质 |
| CN116848486A (zh) * | 2021-03-31 | 2023-10-03 | 深圳市大疆创新科技有限公司 | 联动控制方法及装置 |
| CN113190044B (zh) * | 2021-05-08 | 2022-12-30 | 一飞(海南)科技有限公司 | 集群表演无人机起飞控制方法、系统、介质、终端及无人机 |
| CN113671980B (zh) * | 2021-09-03 | 2023-11-21 | 南京理工大学 | 一种基于记忆更迭的无人机速度自适应象限跟踪控制方法 |
| CN113805607A (zh) * | 2021-09-17 | 2021-12-17 | 深圳市道通智能航空技术股份有限公司 | 一种无人机拍摄方法、装置、无人机及存储介质 |
| CN114257729A (zh) * | 2022-01-26 | 2022-03-29 | 徐文国 | 一种无人机控制云台 |
| CN115037875B (zh) * | 2022-05-17 | 2023-11-14 | 杭州华橙软件技术有限公司 | 一种云台转动控制方法及装置 |
| CN117173430A (zh) * | 2023-09-14 | 2023-12-05 | 中国民航大学 | 目标跟踪控制参数获取方法、电子设备及存储介质 |
| CN117440248B (zh) * | 2023-12-21 | 2024-05-03 | 西安松果电子科技有限公司 | 基于轴稳像技术实现目标伺服智能控制方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106155092A (zh) * | 2015-04-21 | 2016-11-23 | 高域（北京）智能科技研究院有限公司 | 一种智能多模式飞行拍摄设备及其飞行控制方法 |
| CN105554480B (zh) * | 2016-03-01 | 2018-03-16 | 深圳市大疆创新科技有限公司 | 无人机拍摄图像的控制方法、装置、用户设备及无人机 |
| CN105955308B (zh) * | 2016-05-20 | 2018-06-29 | 腾讯科技（深圳）有限公司 | 一种飞行器的控制方法和装置 |
| CN106094876A (zh) * | 2016-07-04 | 2016-11-09 | 苏州光之翼智能科技有限公司 | 一种无人机目标锁定系统及其方法 |
| CN206470615U (zh) * | 2017-01-21 | 2017-09-05 | 西京学院 | 一种通用型无人机云台控制系统 |
-
2017
- 2017-12-28 CN CN201711498852.8A patent/CN108255198B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108255198A (zh) | 2018-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108255198B (zh) | 一种无人机飞行状态下的摄像云台控制系统和控制方法 | |
| US11233943B2 (en) | Multi-gimbal assembly | |
| US11748898B2 (en) | Methods and system for infrared tracking | |
| EP3347789B1 (en) | Systems and methods for detecting and tracking movable objects | |
| US11288824B2 (en) | Processing images to obtain environmental information | |
| US10110880B2 (en) | Selective colorization using monochromic imagery | |
| US20200379487A1 (en) | Unmanned aerial vehicle control system, unmanned aerial vehicle control method, and program | |
| US11228710B1 (en) | Configuring imaging devices based on control signals | |
| CA2988110C (en) | Capturing images using controlled vibration | |
| CN110139038B (zh) | 一种自主环绕拍摄方法、装置以及无人机 | |
| US11949844B2 (en) | Image data processing method and apparatus, image processing chip, and aircraft | |
| CN109949381B (zh) | 图像处理方法、装置、图像处理芯片、摄像组件及飞行器 | |
| CN109520478B (zh) | 一种水面检测方法、装置和无人机 | |
| US11920762B2 (en) | Method for controlling illuminating device, and apparatus, aircraft, and system thereof | |
| CN114727028B (zh) | 图像曝光方法及装置、无人机 | |
| KR102013423B1 (ko) | 오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템 | |
| CN110891149B (zh) | 高动态范围图像自动曝光方法及无人飞行器 | |
| Ortiz et al. | Color optic flow: a computer vision approach for object detection on UAVs | |
| Lyu et al. | Bise-ResNet: Combine Segmentation and Classification Networks for Road Following on Unmanned Aerial Vehicle | |
| Haus et al. | Omnidirectional vision based surveillance with the spincopter | |
| Lian et al. | Research on Image Processing and Application of Air-to-Ground Platforms | |
| Nowak | Autonomous navigation of an unmanned aerial vehicle using infrared computer vision | |
| CN110751694A (zh) | 一种基于三色通道融合互信息的图像导航方法 | |
| Camarneiro | Deteção de Veículos em Imagens Capturadas por Drones |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |