CN110764537B - 基于运动估计和视觉跟踪的云台自动锁定系统和方法 - Google Patents

基于运动估计和视觉跟踪的云台自动锁定系统和方法 Download PDF

Info

Publication number
CN110764537B
CN110764537B CN201911351594.XA CN201911351594A CN110764537B CN 110764537 B CN110764537 B CN 110764537B CN 201911351594 A CN201911351594 A CN 201911351594A CN 110764537 B CN110764537 B CN 110764537B
Authority
CN
China
Prior art keywords
target
pan
tilt
image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911351594.XA
Other languages
English (en)
Other versions
CN110764537A (zh
Inventor
尹彦卿
罗伟
陈梦云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avic Jincheng Unmanned System Co Ltd
Original Assignee
Avic Jincheng Unmanned System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avic Jincheng Unmanned System Co Ltd filed Critical Avic Jincheng Unmanned System Co Ltd
Priority to CN201911351594.XA priority Critical patent/CN110764537B/zh
Publication of CN110764537A publication Critical patent/CN110764537A/zh
Application granted granted Critical
Publication of CN110764537B publication Critical patent/CN110764537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于运动估计和视觉跟踪的云台自动锁定系统和锁定方法，其中，锁定系统包括由数据链路实现通讯的天空端和地面端，其中天空端由变焦相机、三轴云台、云台电机、控制器及编码模块构成，地面端主要包括控制模块，方便操作人员在地面操纵云台相机实现目标跟踪和和精细调整；基于上述自动锁定系统的锁定方法，通过创新的跟踪算法可以自动补偿云台运动造成的目标位置变化，提高了目标位置估计的精度；同时，通过在跟踪算法中设置尺度池，可以自适应跟踪目标的距离变化，无论其在图像中的占比变大还是变小，都可以正确跟踪。另外，该锁定方法还可以根据目标在图像中的占比自动调节焦距，使其处于合适的大小。

Description

基于运动估计和视觉跟踪的云台自动锁定系统和方法
技术领域
本发明涉及一种云台自动锁定系统和方法，具体涉及一种基于运动估计和视觉跟踪的云台自动锁定系统和方法。
背景技术
云台相机是监控领域中最常用的监控前端设备之一，借助云台相机可实时观察监控区域的每一个角落。无人机是云台相机的优良载体，其可以将相机的视角带到空中，以较高的角度避开地面遮挡，有效发现、跟踪目标。随着技术的发展，现在的无人机云台普遍向高变焦比、远距离监控发展，其具有较大的图像放大倍数，可以在很远的距离监控较小的目标（人员、车辆等）。但当云台相机变焦比提高时（相当于图像放大倍率提高），会产生以下两点问题，不利于人员操纵云台相机跟踪目标：
（1）云台相机的微小旋转运动会使视野发生较大改变，难以精细调整；
（2）目标的小范围移动也会使其迅速脱离视野，不利于人员搜索、观察目标。
为了解决以上问题，逐渐出现了一些利用机器视觉与伺服系统的自动目标跟踪云台，其使用目标跟踪算法在相机图像中锁定目标位置，进而控制云台电机转动云台，使目标稳定在图像中央。这种技术可以在一定程度上解决了前面提到的问题，但造成了新的缺陷：
（1）使用的目标跟踪算法只能在图像中跟踪目标位置，无法调节目标框的大小。当被跟踪目标朝向或远离无人机移动时，其在图像中的大小会发生改变，跟踪算法无法适应这种变化，容易导致跟踪失败。
（2）当目标与无人机的距离发生改变时，云台无法自动变焦适应这种变化，容易导致远离的目标在图像中的占比太小，或者接近的目标占比太大，不利于操纵人员观测。
鉴于上述问题，有必要对云台锁定系统进行改进，提高目标跟踪精度和正确性。
发明内容
为解决现有技术的不足，本发明的目的在于提供一种基于运动估计和视觉跟踪的无人机云台自动锁定系统和方法，实现对目标的正确跟踪和实时调焦。
为了实现上述目标，本发明采用如下的技术方案：
本发明首先公布了一种基于运动估计和视觉跟踪的云台自动锁定系统，包括：变焦相机、三轴云台、云台电机、控制器、数据链路、编码模块及控制模块，所述变焦相机、三轴云台、云台电机、控制器及编码模块构成天空端，所述控制模块构成地面端，所述天空端与地面端通过数据链路实现通讯，数据链路的通讯方式优选为无线通讯；
所述变焦相机安装于三轴云台上，用于拍摄视频数据；
所述三轴云台由受控制器控制的云台电机驱动，实现在偏航、横滚、俯仰三个角度上按照控制指令运动；
所述编码模块将拍摄到的视频数据进行编码，经由数据链路传输至控制模块；
所述控制模块对接受到的视频数据进行解码、还原、运动估计和预处理，跟踪寻找用户框选目标并得出目标在图像中的中心坐标和大小，同时计算出云台电机偏移控制量和变焦控制量，分别传输至控制器和变焦相机。
优选地，前述控制模块包括：
解码子模块：将天空端传输的数据进行解码，还原为RGB格式的图像数据；
运动估计子模块：得到预期的目标位置差值；
图像数据预处理子模块：将原始图像变换至合适大小，并消除噪点平滑图像；
视觉跟踪算法子模块：在图像中获取到目标的位置和大小；
云台控制子模块：实现变焦控制，调整变焦镜头。
通过天空端与地面端的信号通讯和反馈互动，即可跟踪寻找用户框选的指定目标，获得目标在图像中的中心坐标和大小，并调整变焦相机给变镜头焦距，使目标在画面中的比例处于最合适。
本发明还公布了利用前述的云台自动锁定系统实现云台自动锁定的方法，包括如下步骤：
S1、变焦相机采集视频数据，编码模块对视频数据进行编码后由数据链路传输至地面端的控制模块；
S2、解码子模块对接收到的数据进行解码，还原为RGB格式的数据图像，显示在人机交互界面上；
S3、操作用户在人机交互界面中框选指定的目标，算法逻辑进入跟踪模式，首先通过运动估计模块和图像数据预处理模块对变焦相机传回的图片进行运动估计和图像数据预处理，然后跟踪算法模块逐帧寻找用户框选的目标，获得目标在图像中的中心坐标和大小；
S4、云台控制子模块计算出云台电机偏移控制量和变焦控制量，并将数据反馈至控制器驱动云台电机，使变焦相机对准并持续跟踪锁定目标，同时调整变焦相机改变镜头焦距。
优选地，前述步骤S1中，编码模块的编码标准为H265标准。
更优选地，前述解码子模块还包括：解码云台控制信息，分离出偏航和俯仰轴的云台位置信息和转动速度信息。
再优选地，前述运动估计子模块的算法过程为：记图像宽度cols=320像素（px），高度rows=240像素（px），相机在宽度方向上的视场角FOV为
Figure 629129DEST_PATH_IMAGE001
，高度方向的视场角为
Figure 579636DEST_PATH_IMAGE002
，云台在航向角上的角速度为p，俯仰方向上的角速度为q，则云台旋转造成的图像位移为：
Figure 554545DEST_PATH_IMAGE003
其中，
Figure 239605DEST_PATH_IMAGE004
和
Figure 387689DEST_PATH_IMAGE005
分别表示图像在
Figure 209015DEST_PATH_IMAGE006
方向和
Figure 869672DEST_PATH_IMAGE007
方向的位移。
更优选地，前述图像预处理子模块包括两个步骤：
（1）将原始图像变换到合适的大小，通常选为320*240像素（px），以降低CPU计算量，提高处理速度，提高算法执行帧率；
（2）进行中值滤波，消除图像中的噪点，平滑图像。
进一步优选地，前述跟踪算法子模块的算法过程如下：
（1）根据上一帧跟踪的目标位置
Figure 510869DEST_PATH_IMAGE008
和运动估计模块解出的预期运动
Figure 197065DEST_PATH_IMAGE009
，得出新的目标预计位置和大小四元组
Figure 872897DEST_PATH_IMAGE010
；
（2）按照自适应尺度系数
Figure 189609DEST_PATH_IMAGE011
=0.98、0.99、1.00、1.01、1.02的方式选取五个目标候选区域，生成5个输入图像：
Figure 380419DEST_PATH_IMAGE012
，其中
Figure 322836DEST_PATH_IMAGE013
=1,2,3,4,5；
（3）针对每个不同尺度的输入
Figure 853174DEST_PATH_IMAGE014
，分别按照相应的自适应尺度系数变换滤波器 矩阵，得不同尺度的相关性滤波器
Figure 284473DEST_PATH_IMAGE015
，并计算响应：
Figure 515734DEST_PATH_IMAGE016
（4）对5个输入尺度的响应，取其最大值点作为这一帧的目标位置，取此时的目标尺度作为目标尺度和新的滤波器矩阵大小；
（5）利用新的目标位置和尺度更新相关性滤波器矩阵：
Figure 149846DEST_PATH_IMAGE017
其中
Figure 870678DEST_PATH_IMAGE018
为滤波器的更新率，
Figure 239342DEST_PATH_IMAGE019
和
Figure 8715DEST_PATH_IMAGE020
为当前帧滤波器的分子和分母，
Figure 310383DEST_PATH_IMAGE021
和
Figure 139799DEST_PATH_IMAGE022
为上一帧滤波器的分子和分母，
Figure 792497DEST_PATH_IMAGE023
是指使响应
Figure 349250DEST_PATH_IMAGE024
最大的那个
Figure 771004DEST_PATH_IMAGE025
。
再进一步优选地，前述跟踪算法子模块输出的数值为目标中心位置和大小四元组（x,y,w,h）。
更进一步优选地，前述云台控制子模块采用目标大小占整个图像面积的比值作为输入量，若检测到目标大小超出初始比值的1.1倍，则控制变焦镜头缩短焦距0.1倍；若检测到目标大小小于初始比值的0.9倍，则控制变焦镜头增大焦距0.1倍。
本发明的有益之处在于：
（1）本发明的云台自动锁定系统基于运动估计与视觉跟踪技术，系统包括由数据链路实现通讯的天空端和地面端，其中天空端由变焦相机、三轴云台、云台电机、控制器及编码模块构成，地面端主要包括控制模块，方便操作人员在地面操纵云台相机实现目标跟踪和和精细调整；
（2）基于上述自动锁定系统的锁定方法，通过创新的跟踪算法可以自动补偿云台运动造成的目标位置变化，提高了目标位置估计的精度；同时，通过在跟踪算法中设置尺度池，可以自适应跟踪目标的距离变化，无论其在图像中的占比变大还是变小，都可以正确跟踪。
（3）该锁定方法可以根据目标在图像中的占比自动调节焦距，使其处于合适的大小，既不会造成远距离的目标太小难以观测，也不会造成近距离的目标太大脱出视野范围，方便操纵人员观测。
附图说明
图1是本发明的云台自动锁定系统的天空端产品的结构示意图；
图2是本发明的云台自动锁定系统的结构框图；
图3是本发明的云台自动锁定方法中目标跟踪算法示意图；
图4是本发明的云台自动锁定方法中位置跟踪控制原理图；
图1中附图标记的含义：1、变焦相机，2、云台电机，3、编码模块。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
本实施例的云台自动锁定系统是基于运动估计与视觉跟踪技术研发的，参见图1和图2，该锁定系统主要由变焦相机1、三轴云台、云台电机2和控制器、编码模块3、数据链路和控制模块组成。
其中，变焦相机1安装在三轴云台上，三轴云台由云台电机2驱动，实现在偏航、横滚、俯仰三个角度上按照控制指令运动。变焦相机1拍摄到的视频数据经编码模块3按照H265标准编码，经数据链路传输到地面的控制模块，该数据链路优选为无线传输模式。
控制模块是锁定算法的核心，其包括以下几个子模块：解码子模块、运动估计子模块、图像数据预处理子模块、视觉跟踪算法子模块和云台控制子模块，其中，视觉跟踪算法子模块为尺度自适应视觉跟踪算法子模块。
为了更好地实施本发明，下面对前面所提到的控制模块的各个子模块的具体功能和实现方式做如下说明：
1、解码子模块：
解码模块接收的是包含视频编码信息和云台位置及控制信息的复合数据流，其主要包含两项功能：
（1）解码H265视频编码信息，从数据流中还原出RGB格式的原始图像数据；
（2）解码云台控制信息，分离出偏航和俯仰轴的云台位置信息和转动速度信息。
2、运动估计子模块：
运动估计模块的功能是综合视觉跟踪模块在前几帧数据中统计出的目标运动速度信息和解码模块计算出的云台转动速度信息，得到预期的目标位置差值。
具体过程为：
记图像宽度cols=320像素（px），高度rows=240像素（px），相机在宽度方向上的视场角FOV为
Figure 36900DEST_PATH_IMAGE001
，高度方向的视场角为
Figure 848998DEST_PATH_IMAGE002
，云台在航向角上的角速度为p，俯仰方向上的角速度为q，则云台旋转造成的图像位移为：
Figure 288070DEST_PATH_IMAGE003
其中，
Figure 502013DEST_PATH_IMAGE004
和
Figure 735549DEST_PATH_IMAGE026
分别表示图像在
Figure 284211DEST_PATH_IMAGE006
方向和
Figure 995815DEST_PATH_IMAGE007
方向的位移。
3、图像预处理子模块：
图像预处理模块包括两个步骤：
（1）将原始图像变换到合适的大小，通常选为320*240像素（px），以降低CPU计算量，提高处理速度，提高算法执行帧率；
（2）进行中值滤波，消除图像中的噪点，平滑图像。
4、跟踪算法子模块：
跟踪算法模块采用基于多尺度相关性滤波的视频目标跟踪算法。跟踪算法模块采用SAMF算法：该算法可以在每帧图像中寻找出目标的位置和大小，并以（x、y、w、h）四元组的形式返回，其中(x、y)为目标外接矩形左上角的坐标，（w、h）为目标框的大小，即长宽数据。
在数字信号处理中，相关性用来描述两个因素之间的联系，其直观解释就是衡量两个信号在某个时刻的相似程度。其公式为：
Figure 595423DEST_PATH_IMAGE027
朴素的相关性滤波视频目标跟踪算法的核心思想就是构造一个适应于指定目标的相关性滤波器，对于输入的目标图像，其在目标中心点处的响应值最高，则针对后来的每一帧图像，都使用这一滤波器探查，其中响应值最高的点就是目标位置。
其响应为：
Figure 937543DEST_PATH_IMAGE028
，其中，g为响应值，f为输入图像，h为滤波模板。
由于相关性运算属于卷积运算，其计算耗时较大，因而可通过FFT进行加速：
Figure 786550DEST_PATH_IMAGE029
为方便描述，将快速傅里叶变换后的变量采用大写形式记写，即：G=F
Figure 239528DEST_PATH_IMAGE030
H*
对于初始化过程，f为用户框选的输入图像，g可设置为峰值在中心点的二维高斯分布，则初始的相关性滤波器模板为：
Figure 490381DEST_PATH_IMAGE031
。
如果对于后来的每一帧，直接使用相关性滤波器得到新的目标位置的话，在目标尺度不发生变化的情况下也能工作，但对于目标尺度可能会发生较大变化的应用场景，因此需要使用尺度池自适应变化的策略来进行优化。
具体的执行步骤如下：
（1）根据上一帧跟踪的目标位置
Figure 252669DEST_PATH_IMAGE008
和运动估计模块解出的预期运动
Figure 588973DEST_PATH_IMAGE009
，得出新的目标预计位置和大小四元组
Figure 111221DEST_PATH_IMAGE032
；
（2）按照自适应尺度系数
Figure 154263DEST_PATH_IMAGE011
=0.98、0.99、1.00、1.01、1.02的方式选取五个目标候选区域，生成5个输入图像：
Figure 900503DEST_PATH_IMAGE033
，其中
Figure 396206DEST_PATH_IMAGE034
（3）针对每个不同尺度的输入
Figure 518883DEST_PATH_IMAGE014
，分别按照相应的自适应尺度系数变换滤波器 矩阵，得不同尺度的相关性滤波器
Figure 786102DEST_PATH_IMAGE035
，并计算响应：
Figure 96998DEST_PATH_IMAGE016
（4）对5个输入尺度的响应，取其最大值点作为这一帧的目标位置，取此时的目标尺度作为目标尺度和新的滤波器矩阵大小。
（5）利用新的目标位置和尺度更新相关性滤波器矩阵：
Figure 961048DEST_PATH_IMAGE017
其中
Figure 713104DEST_PATH_IMAGE018
为滤波器的更新率，
Figure 66725DEST_PATH_IMAGE019
和
Figure 786288DEST_PATH_IMAGE020
为当前帧滤波器的分子和分母，
Figure 985188DEST_PATH_IMAGE021
和
Figure 857329DEST_PATH_IMAGE022
为上一帧滤波器的分子和分母，
Figure 585114DEST_PATH_IMAGE023
是指使响应
Figure 339443DEST_PATH_IMAGE024
最大的那个
Figure 545296DEST_PATH_IMAGE036
。
参见图3，该跟踪算法模块输出的是目标中心位置和大小四元组（x,y,w,h），作为反馈量输入到云台控制模块，云台控制模块采用经典的P调节控制器（即比例控制器）：其误差为目标位置中心点和图像中心点的差值，目标值为0，输出量为云台电机2在x和y方向上的转动量。在计算过程中，生成一系列不同大小的候选框和滤波器，可以灵活适应目标的大小变化。
5、云台控制子模块：
云台的变焦控制采用目标大小占整个图像面积的比值作为输入量，若检测到目标大小超出初始比值的1.1倍，则控制变焦镜头缩短焦距0.1倍；若检测到目标大小小于初始比值的0.9倍，则控制变焦镜头增大焦距0.1倍。
为了更好地理解和实施本发明，下面对应用了上述的云台自动锁定系统实现云台锁定的方法进行说明，该方法主要包括以下步骤：
S1、变焦相机1采集视频数据，编码模块3对视频数据进行编码后由数据链路传输至地面端的控制模块；
S2、解码子模块对接收到的数据进行解码，还原为RGB格式的数据图像，显示在人机交互界面上；
S3、操作用户在人机交互界面中框选指定的目标，算法逻辑进入跟踪模式，首先通过运动估计模块和图像数据预处理模块对变焦相机1传回的图片进行运动估计和图像数据预处理，然后跟踪算法模块逐帧寻找用户框选的目标，获得目标在图像中的中心坐标和大小；
S4、云台控制子模块计算出云台电机2偏移控制量和变焦控制量，并将数据反馈至控制器驱动云台电机2，使变焦相机1对准并持续跟踪锁定目标，同时调整变焦相机1改变镜头焦距。
在工作过程中，参见图4，云台传回的图像或视频数据首先由解码模块解码，还原成RGB格式的图像数据，然后显示在电脑屏幕上。操作用户可以在屏幕中框选指定的目标，然后算法逻辑进入跟踪模式，首先对相机传回的照片进行运动估计和图像数据预处理，然后由控制模块逐帧跟踪寻找用户框选的目标，并得出目标在图像中的中心坐标和大小。接着，云台控制模块按照跟踪算法的数据，计算出云台电机2偏移控制量和变焦控制量，其中云台电机2偏移控制量通过数据链路将控制量传输到云台电机2控制器，交由控制器驱动云台电机2，进而带动变焦相机1对准并持续跟踪锁定目标；变焦控制量通过数据链路直接传输到变焦相机1，调整变焦相机1改变镜头焦距，保证目标的大小在画面中的比例处在合适的水平。
综上，本发明的云台自动锁定系统和锁定方法可以自动补偿云台运动造成的目标位置变化，提高了目标位置估计的精度；同时，通过在跟踪算法中设置有尺度池，可以自适应跟踪目标的距离变化，无论其在图像中的占比变大还是变小，都可以正确跟踪。该锁定方法还可以根据目标在图像中的占比自动调节焦距，使其处于合适的大小，既不会造成远距离的目标太小难以观测，也不会造成近距离的目标太大脱出视野范围，方便操纵人员观测。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (9)

1.基于运动估计和视觉跟踪的云台自动锁定系统，其特征在于，包括变焦相机、三轴云台、云台电机、控制器、数据链路、编码模块及控制模块，所述变焦相机、三轴云台、云台电机、控制器及编码模块构成天空端，所述控制模块构成地面端，所述天空端与地面端通过数据链路实现通讯；
所述变焦相机安装于三轴云台上，用于拍摄视频数据；
所述三轴云台由受控制器控制的云台电机驱动，实现在偏航、横滚、俯仰三个角度上按照控制指令运动；
所述编码模块将拍摄到的视频数据进行编码，经由数据链路传输至控制模块；
所述控制模块对接受到的视频数据进行解码、还原、运动估计和预处理，跟踪寻找用户框选目标并得出目标在图像中的中心坐标和大小，同时计算出云台电机偏移控制量和变焦控制量，分别传输至控制器和变焦相机；
所述控制模块包括解码子模块、运动估计子模块、图像数据预处理子模块、视觉跟踪算法子模块及云台控制子模块，其中，所述跟踪算法子模块的算法过程如下：
（1）根据上一帧跟踪的目标位置
Figure DEST_PATH_IMAGE001
和运动估计模块解出的预期运动
Figure 451345DEST_PATH_IMAGE002
，得出新的目标预计位置和大小四元组
Figure DEST_PATH_IMAGE003
；
（2）按照自适应尺度系数
Figure 887005DEST_PATH_IMAGE004
=0.98、0.99、1.00、1.01、1.02的方式选取五个目标候选区域，生成5个输入图像：
Figure DEST_PATH_IMAGE005
，其中
Figure DEST_PATH_IMAGE007
=1,2,3,4,5；
（3）针对每个不同尺度的输入
Figure 812980DEST_PATH_IMAGE008
，分别按照相应的自适应尺度系数
Figure 966880DEST_PATH_IMAGE004
变换滤波器矩阵，得不同尺度的相关性滤波器
Figure DEST_PATH_IMAGE009
，并计算响应：
Figure 301916DEST_PATH_IMAGE010
（4）对5个输入尺度的响应，取其最大值点作为这一帧的目标位置，取此时的目标尺度作为目标尺度和新的滤波器矩阵大小；
（5）利用新的目标位置和尺度更新相关性滤波器矩阵：
Figure DEST_PATH_IMAGE011
其中
Figure 326503DEST_PATH_IMAGE012
为滤波器的更新率，
Figure 488626DEST_PATH_IMAGE013
和
Figure DEST_PATH_IMAGE014
为当前帧滤波器的分子和分母，
Figure 864243DEST_PATH_IMAGE015
和
Figure DEST_PATH_IMAGE016
为上一帧滤波器的分子和分母，
Figure 471811DEST_PATH_IMAGE017
是指使响应
Figure DEST_PATH_IMAGE018
最大的那个
Figure 882064DEST_PATH_IMAGE019
。
2.根据权利要求1所述的基于运动估计和视觉跟踪的云台自动锁定系统，其特征在于，所述控制模块包括：
解码子模块：将天空端传输回的数据进行解码，还原为RGB格式的图像数据；
运动估计子模块：得到预期的目标位置差值；
图像数据预处理子模块：将原始图像变换至合适大小，并消除噪点平滑图像；
视觉跟踪算法子模块：在图像中获取到目标的位置和大小；
云台控制子模块：实现变焦控制，调整变焦镜头。
3.利用权利要求1所述的云台自动锁定系统实现云台自动锁定的方法，其特征在于，包括如下步骤：
S1、变焦相机采集视频数据，编码模块对视频数据进行编码后由数据链路传输至地面端的控制模块；
S2、解码子模块对接收到的图像数据进行解码，还原为RGB格式的数据图像，显示在人机交互界面上；
S3、操作用户在人机交互界面中框选指定的目标，算法逻辑进入跟踪模式，首先通过运动估计模块和图像数据预处理子模块对变焦相机传回的图片进行运动估计和图像数据预处理，然后跟踪算法子模块逐帧寻找用户框选的目标，获得目标在图像中的中心坐标和大小；
S4、云台控制子模块计算出云台电机偏移控制量和变焦控制量，并将数据反馈至控制器驱动云台电机，使变焦相机对准并持续跟踪锁定目标，同时调整变焦相机改变镜头焦距；
其中，所述跟踪算法子模块的算法过程如下：
（1）根据上一帧跟踪的目标位置
Figure 464355DEST_PATH_IMAGE001
和运动估计模块解出的预期运动
Figure 606230DEST_PATH_IMAGE002
，得出新的目标预计位置和大小四元组
Figure 299379DEST_PATH_IMAGE003
；
（2）按照自适应尺度系数
Figure 829718DEST_PATH_IMAGE004
=0.98、0.99、1.00、1.01、1.02的方式选取五个目标候选区域，生成5个输入图像：
Figure 582910DEST_PATH_IMAGE005
，其中
Figure 713546DEST_PATH_IMAGE007
=1,2,3,4,5；
（3）针对每个不同尺度的输入
Figure 944807DEST_PATH_IMAGE008
，分别按照相应的自适应尺度系数
Figure 595231DEST_PATH_IMAGE004
变换滤波器矩阵，得不同尺度的相关性滤波器
Figure DEST_PATH_IMAGE020
，并计算响应：
Figure 207741DEST_PATH_IMAGE010
（4）对5个输入尺度的响应，取其最大值点作为这一帧的目标位置，取此时的目标尺度作为目标尺度和新的滤波器矩阵大小；
（5）利用新的目标位置和尺度更新相关性滤波器矩阵：
Figure 576405DEST_PATH_IMAGE011
其中
Figure 611357DEST_PATH_IMAGE012
为滤波器的更新率，
Figure 631135DEST_PATH_IMAGE013
和
Figure 460550DEST_PATH_IMAGE014
为当前帧滤波器的分子和分母，
Figure 316511DEST_PATH_IMAGE015
和
Figure 155154DEST_PATH_IMAGE016
为上一帧滤波器的分子和分母，
Figure 996815DEST_PATH_IMAGE017
是指使响应
Figure 262711DEST_PATH_IMAGE018
最大的那个
Figure 340388DEST_PATH_IMAGE019
。
4.根据权利要求3所述的云台自动锁定方法，其特征在于，所述步骤S1中，编码模块的编码标准为H265标准。
5.根据权利要求3所述的云台自动锁定方法，其特征在于，所述解码子模块还包括：解码云台控制信息，分离出偏航和俯仰轴的云台位置信息和转动速度信息。
6.根据权利要求3所述的云台自动锁定方法，其特征在于，所述运动估计子模块的算法过程为：记图像宽度cols=320像素，高度rows=240像素，相机在宽度方向上的视场角FOV为
Figure 231990DEST_PATH_IMAGE021
，高度方向的视场角为
Figure DEST_PATH_IMAGE022
，云台在航向角上的角速度为p，俯仰方向上的角速度为q，则云台旋转造成的图像位移为：
Figure 914775DEST_PATH_IMAGE023
其中，
Figure DEST_PATH_IMAGE024
和
Figure 571147DEST_PATH_IMAGE025
分别表示图像在
Figure DEST_PATH_IMAGE026
方向和
Figure 604962DEST_PATH_IMAGE027
方向的位移。
7.根据权利要求3所述的云台自动锁定方法，其特征在于，所述图像数据预处理子模块包括两个步骤：
（1）将原始图像变换到合适的大小，通常选为320*240像素（px），以降低CPU计算量，提高处理速度，提高算法执行帧率；
（2）进行中值滤波，消除图像中的噪点，平滑图像。
8.根据权利要求3所述的云台自动锁定方法，其特征在于，所述跟踪算法子模块输出的数值为目标中心位置和大小四元组（x,y,w,h）。
9.根据权利要求3所述的云台自动锁定方法，其特征在于，所述云台控制子模块采用目标大小占整个图像面积的比值作为输入量，若检测到目标大小超出初始比值的1.1倍，则控制变焦镜头缩短焦距0.1倍；若检测到目标大小小于初始比值的0.9倍，则控制变焦镜头增大焦距0.1倍。
CN201911351594.XA 2019-12-25 2019-12-25 基于运动估计和视觉跟踪的云台自动锁定系统和方法 Active CN110764537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911351594.XA CN110764537B (zh) 2019-12-25 2019-12-25 基于运动估计和视觉跟踪的云台自动锁定系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911351594.XA CN110764537B (zh) 2019-12-25 2019-12-25 基于运动估计和视觉跟踪的云台自动锁定系统和方法

Publications (2)

Publication Number Publication Date
CN110764537A CN110764537A (zh) 2020-02-07
CN110764537B true CN110764537B (zh) 2020-03-27

Family

ID=69341577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911351594.XA Active CN110764537B (zh) 2019-12-25 2019-12-25 基于运动估计和视觉跟踪的云台自动锁定系统和方法

Country Status (1)

Country Link
CN (1) CN110764537B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113645397A (zh) * 2020-04-27 2021-11-12 杭州海康机器人技术有限公司 移动目标对象的跟踪方法、装置及跟踪系统
CN111885303A (zh) * 2020-07-06 2020-11-03 雍朝良 一种主动跟踪录摄像视觉方法
CN111913499B (zh) * 2020-07-17 2023-11-14 天津大学 基于单目视觉slam及深度不确定性分析的云台控制方法
CN111984036B (zh) * 2020-08-28 2022-09-16 中国人民解放军国防科技大学 一种基于云台相机的固定翼无人机对快速运动目标的跟踪方法
CN112468697B (zh) * 2020-11-18 2022-05-27 江汉大学 一种具有智能化位置调整功能的视觉采集方法和装置
CN112681441B (zh) * 2020-12-19 2022-04-15 爱克斯维智能科技(苏州)有限公司 一种基于视觉指引的工程机械的控制系统及其控制方法
CN114281100B (zh) * 2021-12-03 2023-09-05 国网智能科技股份有限公司 一种不悬停无人机巡检系统及其方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105652891B (zh) * 2016-03-02 2018-06-29 中山大学 一种旋翼无人机移动目标自主跟踪装置及其控制方法
CN206585666U (zh) * 2017-02-22 2017-10-24 深圳安谱信息技术有限公司 适用于远距离传输的无人机无线图传系统
CN109407697A (zh) * 2018-09-20 2019-03-01 北京机械设备研究所 一种基于双目视觉测距的无人机跟踪运动目标系统及方法
CN109688323A (zh) * 2018-11-29 2019-04-26 深圳市中科视讯智能系统技术有限公司 无人机视觉跟踪系统及其控制方法

Also Published As

Publication number Publication date
CN110764537A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN110764537B (zh) 基于运动估计和视觉跟踪的云台自动锁定系统和方法
US9886770B2 (en) Image processing device and method, image processing system, and image processing program
US10339386B2 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
JP4699040B2 (ja) 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
CN109151439B (zh) 一种基于视觉的自动追踪拍摄系统及方法
CN108574825B (zh) 一种云台摄像机的调整方法和装置
CN101790048B (zh) 智能摄像系统及方法
US20050052533A1 (en) Object tracking method and object tracking apparatus
EP1168830A1 (en) Computer aided image capturing system
JP6570904B2 (ja) 補正情報出力装置、画像処理装置、補正情報出力方法、撮像制御システム及び移動体制御システム
CN103079037A (zh) 基于远近景切换的自适应电子稳像方法
WO2022057800A1 (zh) 云台摄像机、云台摄像机的追踪控制方法、装置及设备
CN113838098A (zh) 一种针对远距离高速运动目标的智能跟踪拍摄系统
CN112640419B (zh) 跟随方法、可移动平台、设备和存储介质
JP2002374521A (ja) 移動体の監視方法および装置
CN114972818A (zh) 一种基于深度学习与混合现实技术的目标锁定系统
CN114429435A (zh) 退化视觉环境下宽视场范围目标搜索装置、系统及方法
CN112422905B (zh) 一种电力设备图像采集方法、装置、设备和介质
CN112001224A (zh) 基于卷积神经网络的视频采集方法和视频采集系统
CN116342642A (zh) 目标跟踪方法、装置、电子设备及可读存储介质
JP3429194B2 (ja) 自動追尾装置
CN113645397A (zh) 移动目标对象的跟踪方法、装置及跟踪系统
Vlahović et al. Deep learning in video stabilization homography estimation
CN113438399B (zh) 用于无人机的目标导引系统、方法、无人机和存储介质
JP2002101408A (ja) 監視カメラシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant