CN108334099B - 一种高效的无人机人体跟踪方法 - Google Patents
一种高效的无人机人体跟踪方法 Download PDFInfo
- Publication number
- CN108334099B CN108334099B CN201810079230.XA CN201810079230A CN108334099B CN 108334099 B CN108334099 B CN 108334099B CN 201810079230 A CN201810079230 A CN 201810079230A CN 108334099 B CN108334099 B CN 108334099B
- Authority
- CN
- China
- Prior art keywords
- human body
- target
- image
- unmanned aerial
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000008569 process Effects 0.000 claims abstract description 23
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000009193 crawling Effects 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 210000000697 sensory organ Anatomy 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 25
- 230000000007 visual effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002427 irreversible effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及无人机技术。一种高效的无人机人体跟踪方法,包括如下步骤,步骤一,远程遥控终端发起人体追踪启动指令;步骤二,无人机的人体追踪系统接收到人体追踪启动指令后,初始化人体追踪系统;人体追踪系统接收摄像头输入的视频流,对视频流的图像进行全尺度扫描,在图像中检测出所有的人体位置,将所有检测出的人体位置发送回远程遥控终端;步骤三,由远程遥控终端选择其中一个需要跟踪的人体位置,人体追踪系统在接收到跟踪目标后开始进入跟踪流程;在跟踪流程中,无人机通过飞控信息、惯性传感器信息和上一帧图像的目标跟踪位置预测出当前目标的大概位置。充分利用机载飞控系统和惯性传感器,保证人体跟踪在各种场景的实时性。
Description
技术领域
本发明涉及无人机技术领域,尤其涉及人体追踪方法。
背景技术
在消费无人机领域,人体跟踪是无人机实现行人跟拍,骑单车跟拍,以人为中心的环绕拍摄等高级特性的基础。
然而由于人体本身的非刚性,穿着的差异性,拍摄角度的差异性,造成基于视觉的人体检测、跟踪十分困难。
通用的人体检测算法需要使用较多的计算资源,在没有加速芯片,计算非常受限的嵌入式环境下完成高精度的人体检测并实时运行是非常困难的。并且由于无人机本身的震动以及外界的物理干扰(比如风的影响)造成无人机拍摄不稳定,这些因素对视觉的人体跟踪造成进一步的影响。
综上,目前市场上,大部分无人机是很难在室外有风情况下长时间稳定的进行人体跟踪的。
发明内容
本发明的目的在于提供一种高效的无人机人体跟踪方法,以解决上述至少一个技术问题。
本发明所解决的技术问题可以采用以下技术方案来实现:
一种高效的无人机人体跟踪方法,其特征在于,包括如下步骤,
步骤一,远程遥控终端发起人体追踪启动指令;
步骤二,无人机的人体追踪系统接收到人体追踪启动指令后,初始化人体追踪系统;
人体追踪系统接收摄像头输入的视频流,对视频流的图像进行全尺度扫描,在图像中检测出所有的人体位置,将所有检测出的人体位置发送回远程遥控终端;
步骤三,由远程遥控终端选择其中一个需要跟踪的人体位置,人体追踪系统在接收到跟踪目标后开始进入跟踪流程;
在跟踪流程中,无人机通过飞控信息、惯性传感器信息和上一帧图像的目标跟踪位置预测出当前目标的大概位置。
在本发明中,在不降低检测精度的同时,充分利用机载飞控系统和惯性传感器,弥补视觉追踪的低采样率(摄像头为每秒30帧),以及飞行中受到的气流干扰,大幅降低计算复杂度,保证人体跟踪在各种场景的实时性。
无人机对人体进行程序路线跟拍,环绕拍摄等情况,或者是遇到有风的天气,对于没有机械稳像机构的无人机常常造成人体在图像中的位置放生剧烈变化,这种变化造成视觉跟踪的时间以及空间局部性难以满足。如果想仅仅依靠视觉处理解决这种问题,那么往往需要重新进行大面积的扫描,重新检测目标位置,但是在跟踪飞行过程中进行连续的大计算量操作,在消费无人机上是不能接受的,有可能造成处理器温度过高导致降频等不可逆事故。针对这一问题,本专利融合飞控的运动模型和参数,惯性传感器信息,以及视觉检测结果,在下一帧视频数据到来时,人体追踪系统会依据之前的信息和时间间隔,对跟踪目标在当前帧内的位置做出初始预测。然后人体检测算法会在该预测位置的小范围内做更精确的搜索,从而确定人体的精确位置。最终确定的人体位置和大小会再次反馈给该系统,用于更新系统内状态。
在跟踪流程中,预测出目标大概位置后,然后用级联分类器进行目标的位置估计,最后得到目标的位置。
所述飞控信息包括无人机飞行转向的控制信息、无人机倾斜的姿态信息。
惯性传感器是一种传感器,主要是检测和测量加速度、倾斜、冲击、振动、旋转和多自由度(DoF)运动,是解决导航、定向和运动载体控制的重要部件。通过飞控信息与惯性传感器的结合,便于知晓无人机的运动状况,便于提高对目标的追踪定位精度。
所述级联分类器是采用了级联式的基于二叉树的boosted分类器。这种分类器在实时目标检测中经常使用,目的是为了尽早拒绝背景,只有合适尺度的目标区域才能通过所有的级联分类器,从而被判决为人体。由于级联分类器的各个分类器是单独训练的,因此下一级的分类器难以继承上一级的特征信息,因此总体特征无法同时发挥约束。本发明在传统的基于二叉树的级联分类器后,提取所有二叉树特征用于全局优化,再次验证通过级联分类器的结果以保证高精度。
为了在跟踪过程中进一步减少计算量,将位置预估后的检测算法在时间上稀疏化,有条件的进行计算量较大的局部检测扫描。通过实验,我们将跟踪过程划分为较短的时间片,在这个短时间片内进行KCF(Kernel Correlation Filter)跟踪,KCF是一种高效的短时跟踪方法,在短时间内可以保证较好的准确性,但是KCF这种短时跟踪方法依然会存在一定的漂移,因此在短时间片的最后一帧我们会进行一次局部检测扫描,修正KCF引起的漂移。这样本发明不仅可以以最小的计算代价进行跟踪,并且也不会由于长时间跟踪造成目标位置和尺度的漂移。
所述人体追踪系统还包括一图像处理模块,图像处理模块当前摄像头采集到的图像进行图像处理。
所述图像处理包括一图像预处理,图像预处理对图像进行RGB到LUV颜色空间转换,并获得特征图,特征图从左至右依次为3个LUV颜色分量通道、梯度幅值通道,6个梯度方向通道。
所述人体追踪系统还包括一图像处理模块,图像处理模块当前摄像头采集到的图像进行图像处理,图像处理包括对图像进行设定尺度的间隔缩放处理;
所述人体追踪系统包括一人体追踪模块,人体追踪模块将图像处理模块处理后的图像中目标的坐标进行定位,预测下一帧图像目标的坐标。
本专利采用一种近似的方法生成特征金字塔。在一定尺度间隔上做图像缩放,然后计算特征图,剩余的尺度间隔使用近似差值的方式从相邻尺度生成特征图。虽然会降低精度,但是计算量将大大减少,在无人机这种嵌入式设备上是非常值得的。
该专利最大的计算量集中在特征金字塔的生成,而级联分类器的扫描过程并不会占用过多的计算量,因此如果再进一步减少特征金字塔的计算是本专利考虑的重点。为了进一步减少特征图的计算量,本专利使用了在相同尺度的特征图上使用一组多尺度的级联分类器进行检测,本质上是通过扫描窗口的多尺度来替代特征图的多尺度。但是由于大尺寸样本比较难以采集,因此本专利采用了至少3个不同大小的分类器,覆盖与分离器个数相同的尺度,因此每个尺度会重新缩放一次图像并计算特征图,然后再使用这分类器进行扫描。分类器通过人体离线样本获得。
图像处理还包括对图像进行剪裁处理。便于减小人体追踪模块对图像的处理量,保证信息运行速度。
当目标占图像的面积小于图像整体面积的1/20时,对图像进行剪裁处理,获得局部图像,人体追踪模块对局部图像中的人体进行定位。
便于对目标进行精确定位。
以目标的某一特征信息所处的方位作为目标的定位坐标,以目标的另一特征信息所处的方位作为目标的辅助定位坐标。
本专利通过定位坐标与辅助定位坐标,进而提高对目标的定位精度。
所述特性信息包括人体特征信息或者佩戴的饰品;
人体特征信息包括五官、手、脚、身体中的任意一种;
佩戴的饰品包括围巾、眼镜、帽子、手表、项链中的任意一种。
便于根据人体的不同信息进行目标的定位追踪。
所述人体追踪系统还包括一人体运动轨迹分析模块,所述人体运动轨迹分析模块分析摄像头采集到的目标的运动姿势以及运动方向,对目标的下一步运动轨迹进行预测;
运动姿势包括行走、奔跑、跳跃、站立、爬行、坐中的任意一种。
便于根据目标的运动姿势,对目标的下一步运动轨迹进行预测,便于人体定位精度。
附图说明
图1为本发明的一种流程图;
图2为本发明的一种流程示意图;
图3为本发明预测出当前目标的大概位置示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体图示进一步阐述本发明。
参照图1、图2、图3,一种高效的无人机人体跟踪方法,包括如下步骤,步骤一,远程遥控终端发起人体追踪启动指令;步骤二,无人机的人体追踪系统接收到人体追踪启动指令后,初始化人体追踪系统;人体追踪系统接收摄像头输入的视频流,对视频流的图像进行全尺度扫描,在图像中检测出所有的人体位置,将所有检测出的人体位置发送回远程遥控终端;步骤三,由远程遥控终端选择其中一个需要跟踪的人体位置,人体追踪系统在接收到跟踪目标后开始进入跟踪流程;在跟踪流程中,无人机通过飞控信息、惯性传感器信息和上一帧图像的目标跟踪位置预测出当前目标的大概位置。在本发明中,在不降低检测精度的同时,充分利用机载飞控系统和惯性传感器,弥补视觉追踪的低采样率(摄像头为每秒30帧),以及飞行中受到的气流干扰,大幅降低计算复杂度,保证人体跟踪在各种场景的实时性。
参见图2,人体追踪系统初始化后,进行全图人体监测,在图像中检测出所有的人体位置,传给远程遥控终端,用户通过远程遥控终端选定需要追踪的目标后,对根据飞控系统以及需要追踪的目标的位置后,进行摄像头姿态偏转估计,对目标位置进行估计,基于分类器进行人体定位。系统基础架构包括无人机无线接收装置,接收远程遥控终端发回的信号,系统基础架构包括无人机处理器,无人机处理器处理人体定位信息对摄像头的偏转进行控制,无人机处理器也可以控制无人机的飞行情况,并处理无人机无线接收装置接收到的无线信号。
参见图3,对目标位置进行估计的方式为,通过飞控运动模型获取飞控信息,惯性传感器获取惯性传感器信息,视觉观测信息中的上一帧图像的目标跟踪位置通过融合滤波器预测出当前目标的大概位置。
无人机对人体进行程序路线跟拍,环绕拍摄等情况,或者是遇到有风的天气,对于没有机械稳像机构的无人机常常造成人体在图像中的位置放生剧烈变化,这种变化造成视觉跟踪的时间以及空间局部性难以满足。如果想仅仅依靠视觉处理解决这种问题,那么往往需要重新进行大面积的扫描,重新检测目标位置,但是在跟踪飞行过程中进行连续的大计算量操作,在消费无人机上是不能接受的,有可能造成处理器温度过高导致降频等不可逆事故。针对这一问题,本专利融合飞控的运动模型和参数,惯性传感器信息,以及视觉检测结果,在下一帧视频数据到来时,人体追踪系统会依据之前的信息和时间间隔,对跟踪目标在当前帧内的位置做出初始预测。然后人体检测算法会在该预测位置的小范围内做更精确的搜索,从而确定人体的精确位置。最终确定的人体位置和大小会再次反馈给该系统,用于更新系统内状态。
在跟踪流程中,预测出目标大概位置后,然后用级联分类器进行目标的位置估计,最后得到目标的位置。
飞控信息包括无人机飞行转向的控制信息、无人机倾斜的姿态信息。飞控信息还包括旋翼的转速。惯性传感器是一种传感器,主要是检测和测量加速度、倾斜、冲击、振动、旋转和多自由度(DoF)运动,是解决导航、定向和运动载体控制的重要部件。通过飞控信息与惯性传感器的结合,便于知晓无人机的运动状况,便于提高对目标的追踪定位精度。
级联分类器是采用了级联式的基于二叉树的boosted分类器。这种分类器在实时目标检测中经常使用,目的是为了尽早拒绝背景,只有合适尺度的目标区域才能通过所有的级联分类器,从而被判决为人体。由于级联分类器的各个分类器是单独训练的,因此下一级的分类器难以继承上一级的特征信息,因此总体特征无法同时发挥约束。本发明在传统的基于二叉树的级联分类器后,提取所有二叉树特征用于全局优化,再次验证通过级联分类器的结果以保证高精度。
为了在跟踪过程中进一步减少计算量,将位置预估后的检测算法在时间上稀疏化,有条件的进行计算量较大的局部检测扫描。通过实验,我们将跟踪过程划分为较短的时间片,在这个短时间片内进行KCF(Kernel Correlation Filter)跟踪,KCF是一种高效的短时跟踪方法,在短时间内可以保证较好的准确性,但是KCF这种短时跟踪方法依然会存在一定的漂移,因此在短时间片的最后一帧我们会进行一次局部检测扫描,修正KCF引起的漂移。这样本发明不仅可以以最小的计算代价进行跟踪,并且也不会由于长时间跟踪造成目标位置和尺度的漂移。
首先用获取到的每一帧图像的时间戳,查询距离该时间戳最接近的两个IMU数据,对查询到的IMU数据进行插值,得到该帧图像对应的IMU数据,也即摄取该图像时飞机的姿态。
通过KCF算法追踪设定的目标;接下来在获取到的每一帧图像应用KCF算法,在进行跟踪计算处理之前,利用上一步匹配得到的相邻两帧图像对应的IMU姿态数据,计算得到一个旋转变换矩阵,通过该矩阵对上一帧计算得到的目标区域坐标进行变换,得到变换后对应于当前帧的目标坐标,在此基础上以变换得到的目标坐标为起始的周边区域进行搜索,融合KCF算法以得到最终的目标所在的位置;用当前帧检测到的目标坐标,计算出目标相对于中心位置在水平以及垂直方向上的偏移量,并以此估计目标对象单位时间的前进、后退、左右运动的位移,根据水平方向的位移以及当前飞机偏航角估计目标偏航角,根据垂直方向上的位移以及当前飞机俯仰角估计目标俯仰角。在进行视觉处理时,该方法仅对目标的坐标进行变换得到下一帧的目标坐标可以有效避免额外计算量的大幅增加,节约了计算资源。
步骤二中,旋转变换矩阵的获得方式为利用当前帧与上一帧的IMU数据差,计算出飞机坐标系中飞机姿态从上一帧到当前帧的旋转变换矩阵M;考虑摄像头的摄像方向与机身所处平面的夹角a,以及标定得到的相机参数,计算出相机对应的变换矩阵M',把这个矩阵应用到上一帧追踪的目标坐标Ln-1(x,y),得到当前帧图像中目标的估计位置:Ln(x,y)=Ln-1(x,y)M';以该估计得到的目标位置为起始点的周围区域,融合到KCF跟踪算法处理当前帧图像,得到当前帧目标位置Tn(x,y),通过该目标位置与相机中心点位置做差,估计出目标物体在偏航角方向上,俯仰角方向上的偏转角度;飞控系统综合视觉处理系统输出的偏转角度,以及历史姿态数据,利用融合滤波器得到无人机的目标姿态数据,目标姿态数据包括目标偏航角,目标俯仰角,目标滚转角;根据目标姿态数据调整无人机的目标姿态,从而跟随目标飞行。
人体追踪系统还包括一图像处理模块,图像处理模块当前摄像头采集到的图像进行图像处理。图像处理包括一图像预处理,图像预处理对图像进行RGB到LUV颜色空间转换,并获得特征图,特征图从左至右依次为3个LUV颜色分量通道、梯度幅值通道,6个梯度方向通道。
人体追踪系统还包括一图像处理模块,图像处理模块当前摄像头采集到的图像进行图像处理,图像处理包括对图像进行设定尺度的间隔缩放处理;人体追踪系统包括一人体追踪模块,人体追踪模块将图像处理模块处理后的图像中目标的坐标进行定位,预测下一帧图像目标的坐标。
本专利采用一种近似的方法生成特征金字塔,在一定尺度间隔上做图像缩放,然后计算特征图,剩余的尺度间隔使用近似差值的方式从相邻尺度生成特征图。虽然会降低精度,但是计算量将大大减少,在无人机这种嵌入式设备上是非常值得的。该专利最大的计算量集中在特征金字塔的生成,而级联分类器的扫描过程并不会占用过多的计算量,因此如果再进一步减少特征金字塔的计算是本专利考虑的重点。为了进一步减少特征图的计算量,本专利使用了在相同尺度的特征图上使用一组多尺度的级联分类器进行检测,本质上是通过扫描窗口的多尺度来替代特征图的多尺度。但是由于大尺寸样本比较难以采集,因此本专利采用了至少3个不同大小的分类器,覆盖与分离器个数相同的尺度,因此每个尺度会重新缩放一次图像并计算特征图,然后再使用这分类器进行扫描。分类器通过人体离线样本获得。
图像处理还包括对图像进行剪裁处理。便于减小人体追踪模块对图像的处理量,保证信息运行速度。
当目标占图像的面积小于图像整体面积的1/20时,对图像进行剪裁处理,获得局部图像,人体追踪模块对局部图像中的人体进行定位。便于对目标进行精确定位。
以目标的某一特征信息所处的方位作为目标的定位坐标,以目标的另一特征信息所处的方位作为目标的辅助定位坐标。本专利通过定位坐标与辅助定位坐标,进而提高对目标的定位精度。
特性信息包括人体特征信息或者佩戴的饰品;人体特征信息包括五官、手、脚、身体中的任意一种;佩戴的饰品包括围巾、眼镜、帽子、手表、项链中的任意一种。便于根据人体的不同信息进行目标的定位追踪。
人体追踪系统还包括一人体运动轨迹分析模块,人体运动轨迹分析模块分析摄像头采集到的目标的运动姿势以及运动方向,对目标的下一步运动轨迹进行预测;运动姿势包括行走、奔跑、跳跃、站立、爬行、坐中的任意一种。便于根据目标的运动姿势,对目标的下一步运动轨迹进行预测,便于人体定位精度。
人体运动轨迹分析模块分析摄像头采集到的目标的运动速度,根据运动速度调整摄像头的采集频率。便于保证跟随精准度。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (9)
1.一种高效的无人机人体跟踪方法,其特征在于,包括如下步骤,
步骤一,远程遥控终端发起人体追踪启动指令;
步骤二,无人机的人体追踪系统接收到人体追踪启动指令后,初始化人体追踪系统;
人体追踪系统接收摄像头输入的视频流,对视频流的图像进行全尺度扫描,在图像中检测出所有的人体位置,将所有检测出的人体位置发送回远程遥控终端;
步骤二中,旋转变换矩阵的获得方式为利用当前帧与上一帧的IMU数据差,计算出飞机坐标系中飞机姿态从上一帧到当前帧的旋转变换矩阵M;考虑摄像头的摄像方向与机身所处平面的夹角a,以及标定得到的相机参数,计算出相机对应的变换矩阵M',把这个矩阵应用到上一帧追踪的目标坐标Ln-1(x,y),得到当前帧图像中目标的估计位置:Ln(x,y)=Ln-1(x,y)M';以该估计得到的目标位置为起始点的周围区域,融合到KCF跟踪算法处理当前帧图像,得到当前帧目标位置Tn(x,y),通过该目标位置与相机中心点位置做差,估计出目标物体在偏航角方向上,俯仰角方向上的偏转角度;飞控系统综合视觉处理系统输出的偏转角度,以及历史姿态数据,利用融合滤波器得到无人机的目标姿态数据,目标姿态数据包括目标偏航角,目标俯仰角,目标滚转角;根据目标姿态数据调整无人机的目标姿态,从而跟随目标飞行;
步骤三,由远程遥控终端选择其中一个需要跟踪的人体位置,人体追踪系统在接收到跟踪目标后开始进入跟踪流程;
在跟踪流程中,无人机通过飞控信息、惯性传感器信息和上一帧图像的目标跟踪位置预测出当前目标的大概位置;
然后用级联分类器进行目标的位置估计,最后得到目标的位置,所述级联分类器是采用了级联式的基于二叉树的boosted分类器;
然后提取所有二叉树特征用于全局优化,再次验证通过级联分类器的结果以保证高精度;
在跟踪流程中,将跟踪过程划分为较短的时间片,在这个短时间片内进行KCF跟踪,在短时间片的最后一帧进行一次局部检测扫描,修正KCF引起的漂移;
在一定尺度间隔上做图像缩放,然后计算特征图,剩余的尺度间隔使用近似差值的方式从相邻尺度生成特征图;在相同尺度的特征图上使用一组多尺度的级联分类器进行检测,通过扫描窗口的多尺度来替代特征图的多尺度。
2.根据权利要求1所述的一种高效的无人机人体跟踪方法,其特征在于,所述飞控信息包括无人机飞行转向的控制信息、无人机倾斜的姿态信息。
3.根据权利要求1所述的一种高效的无人机人体跟踪方法,其特征在于,所述人体追踪系统还包括一图像处理模块,图像处理模块当前摄像头采集到的图像进行图像处理。
4.根据权利要求3所述的一种高效的无人机人体跟踪方法,其特征在于,所述图像处理包括一图像预处理,图像预处理对图像进行RGB到LUV颜色空间转换,并获得特征图,特征图从左至右依次为3个LUV颜色分量通道、梯度幅值通道,6个梯度方向通道。
5.根据权利要求1所述的一种高效的无人机人体跟踪方法,其特征在于,所述人体追踪系统还包括一图像处理模块,图像处理模块当前摄像头采集到的图像进行图像处理,图像处理包括对图像进行设定尺度的间隔缩放处理;
所述人体追踪系统包括一人体追踪模块,人体追踪模块将图像处理模块处理后的图像中目标的坐标进行定位,预测下一帧图像目标的坐标。
6.根据权利要求5所述的一种高效的无人机人体跟踪方法,其特征在于,图像处理还包括对图像进行剪裁处理。
7.根据权利要求6所述的一种高效的无人机人体跟踪方法,其特征在于,当目标占图像的面积小于图像整体面积的1/20时,对图像进行剪裁处理,获得局部图像,人体追踪模块对局部图像中的人体进行定位。
8.根据权利要求5所述的一种高效的无人机人体跟踪方法,其特征在于,以目标的某一特征信息所处的方位作为目标的定位坐标,以目标的另一特征信息所处的方位作为目标的辅助定位坐标;
所述特征信息包括人体特征信息或者佩戴的饰品;
人体特征信息包括五官、手、脚、身体中的任意一种;
佩戴的饰品包括围巾、眼镜、帽子、手表、项链中的任意一种。
9.根据权利要求1所述的一种高效的无人机人体跟踪方法,其特征在于,所述人体追踪系统还包括一人体运动轨迹分析模块,所述人体运动轨迹分析模块分析摄像头采集到的目标的运动姿势以及运动方向,对目标的下一步运动轨迹进行预测;
运动姿势包括行走、奔跑、跳跃、站立、爬行、坐中的任意一种。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810079230.XA CN108334099B (zh) | 2018-01-26 | 2018-01-26 | 一种高效的无人机人体跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810079230.XA CN108334099B (zh) | 2018-01-26 | 2018-01-26 | 一种高效的无人机人体跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108334099A CN108334099A (zh) | 2018-07-27 |
CN108334099B true CN108334099B (zh) | 2021-11-19 |
Family
ID=62926766
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810079230.XA Active CN108334099B (zh) | 2018-01-26 | 2018-01-26 | 一种高效的无人机人体跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108334099B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10719944B2 (en) * | 2018-09-13 | 2020-07-21 | Seiko Epson Corporation | Dynamic object tracking |
CN109711241B (zh) * | 2018-10-30 | 2021-07-20 | 百度在线网络技术(北京)有限公司 | 物体检测方法、装置与电子设备 |
CN111381589A (zh) * | 2018-12-29 | 2020-07-07 | 沈阳新松机器人自动化股份有限公司 | 一种机器人路径规划方法 |
EP3731235A1 (en) | 2019-04-23 | 2020-10-28 | Sony Corporation | Device and method for monitoring activity performance |
CN113014793A (zh) * | 2019-12-19 | 2021-06-22 | 华为技术有限公司 | 一种视频处理方法及电子设备 |
CN112541608B (zh) * | 2020-02-19 | 2023-10-20 | 深圳中科保泰空天技术有限公司 | 无人机起飞点预测方法及装置 |
CN111650594A (zh) * | 2020-05-08 | 2020-09-11 | 江苏杰瑞科技集团有限责任公司 | 基于无人机的超视距目标定位系统及方法 |
WO2022088072A1 (zh) * | 2020-10-30 | 2022-05-05 | 深圳市大疆创新科技有限公司 | 视觉跟踪方法、装置、可移动平台及计算机可读存储介质 |
CN113311873B (zh) * | 2021-05-07 | 2022-09-06 | 中国科学院沈阳自动化研究所 | 一种基于视觉的无人机伺服跟踪方法 |
CN113341971A (zh) * | 2021-06-01 | 2021-09-03 | 阿尔特汽车技术股份有限公司 | 一种自动跟踪行走的高尔夫车及自动跟踪行走的控制方法 |
CN114047743A (zh) * | 2021-08-11 | 2022-02-15 | 中国舰船研究设计中心 | 一种带预测的无人艇目标跟踪控制方法与系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103426172A (zh) * | 2013-08-08 | 2013-12-04 | 深圳一电科技有限公司 | 基于视觉的目标跟踪方法及装置 |
CN104966095A (zh) * | 2015-06-03 | 2015-10-07 | 深圳一电科技有限公司 | 图像目标检测方法及装置 |
CN105652891A (zh) * | 2016-03-02 | 2016-06-08 | 中山大学 | 一种旋翼无人机移动目标自主跟踪装置及其控制方法 |
CN105760831A (zh) * | 2015-12-07 | 2016-07-13 | 北京航空航天大学 | 一种基于低空航拍红外视频的行人跟踪方法 |
CN105975929A (zh) * | 2016-05-04 | 2016-09-28 | 北京大学深圳研究生院 | 一种基于聚合通道特征的快速行人检测方法 |
CN106056075A (zh) * | 2016-05-27 | 2016-10-26 | 广东亿迅科技有限公司 | 基于无人机的社区网格化中重点人员识别及跟踪系统 |
CN106254836A (zh) * | 2016-09-19 | 2016-12-21 | 南京航空航天大学 | 无人机红外图像目标跟踪系统及方法 |
CN106814753A (zh) * | 2017-03-20 | 2017-06-09 | 成都通甲优博科技有限责任公司 | 一种目标位置矫正方法、装置及系统 |
CN106843275A (zh) * | 2017-04-01 | 2017-06-13 | 成都通甲优博科技有限责任公司 | 一种无人机定点绕飞方法、装置以及系统 |
CN107491742A (zh) * | 2017-07-28 | 2017-12-19 | 西安因诺航空科技有限公司 | 一种长时稳定的无人机目标跟踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140049152A (ko) * | 2012-10-16 | 2014-04-25 | 한국전자통신연구원 | 사람 추종 방법 및 로봇 장치 |
-
2018
- 2018-01-26 CN CN201810079230.XA patent/CN108334099B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103426172A (zh) * | 2013-08-08 | 2013-12-04 | 深圳一电科技有限公司 | 基于视觉的目标跟踪方法及装置 |
CN104966095A (zh) * | 2015-06-03 | 2015-10-07 | 深圳一电科技有限公司 | 图像目标检测方法及装置 |
CN105760831A (zh) * | 2015-12-07 | 2016-07-13 | 北京航空航天大学 | 一种基于低空航拍红外视频的行人跟踪方法 |
CN105652891A (zh) * | 2016-03-02 | 2016-06-08 | 中山大学 | 一种旋翼无人机移动目标自主跟踪装置及其控制方法 |
CN105975929A (zh) * | 2016-05-04 | 2016-09-28 | 北京大学深圳研究生院 | 一种基于聚合通道特征的快速行人检测方法 |
CN106056075A (zh) * | 2016-05-27 | 2016-10-26 | 广东亿迅科技有限公司 | 基于无人机的社区网格化中重点人员识别及跟踪系统 |
CN106254836A (zh) * | 2016-09-19 | 2016-12-21 | 南京航空航天大学 | 无人机红外图像目标跟踪系统及方法 |
CN106814753A (zh) * | 2017-03-20 | 2017-06-09 | 成都通甲优博科技有限责任公司 | 一种目标位置矫正方法、装置及系统 |
CN106843275A (zh) * | 2017-04-01 | 2017-06-13 | 成都通甲优博科技有限责任公司 | 一种无人机定点绕飞方法、装置以及系统 |
CN107491742A (zh) * | 2017-07-28 | 2017-12-19 | 西安因诺航空科技有限公司 | 一种长时稳定的无人机目标跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108334099A (zh) | 2018-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108334099B (zh) | 一种高效的无人机人体跟踪方法 | |
US10140719B2 (en) | System and method for enhancing target tracking via detector and tracker fusion for unmanned aerial vehicles | |
CN107635204B (zh) | 一种运动行为辅助的室内融合定位方法及装置、存储介质 | |
US20190065872A1 (en) | Behavior recognition apparatus, learning apparatus, and method and program therefor | |
Xue et al. | BLVD: Building a large-scale 5D semantics benchmark for autonomous driving | |
CN113916243B (zh) | 目标场景区域的车辆定位方法、装置、设备和存储介质 | |
CN109934127B (zh) | 基于视频图像与无线信号的行人识别与跟踪方法 | |
CN109829933B (zh) | 影像目标追踪方法及装置 | |
CN111089590A (zh) | 一种视觉和激光融合的移动机器人跟踪人腿方法 | |
CN107798691B (zh) | 一种基于视觉的无人机自主着陆地标实时检测跟踪方法 | |
CN111596767B (zh) | 一种基于虚拟现实的姿态捕获方法和装置 | |
KR20210026795A (ko) | Imu 센서와 카메라를 이용한 하이브리드 실내 측위 시스템 | |
Zhang et al. | An intruder detection algorithm for vision based sense and avoid system | |
CN106200657A (zh) | 一种无人机控制方法 | |
CN111176309A (zh) | 一种基于球面成像的多无人机自组群互感理解方法 | |
Qi et al. | Alpine skiing tracking method based on deep learning and correlation filter | |
CN112595728B (zh) | 一种道路问题确定方法和相关装置 | |
CN111652276B (zh) | 一种全天候便携式多功能仿生定位定姿观瞄系统及方法 | |
CN109000634B (zh) | 一种导航对象行进路线的提醒方法和系统 | |
CN111696155A (zh) | 一种基于单目视觉的多传感融合机器人定位方法 | |
CN111667701A (zh) | 信控设备调整方法和装置 | |
CN108960033B (zh) | 一种基于驾驶员前臂加速度的时速自适应变道驾驶行为检测方法 | |
CN115880332A (zh) | 一种低空飞行器视角的目标跟踪方法 | |
CN115471526A (zh) | 基于多源异构信息融合的自动驾驶目标检测与跟踪方法 | |
CN115423932A (zh) | 道路标注方法、可读介质、程序产品和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: Room 709-3, Building 2, No. 21 Intercity Road, Suzhou High tech Zone, Suzhou City, Jiangsu Province, 215000 Patentee after: Suzhou Shenshi Information Technology Co.,Ltd. Country or region after: China Address before: 200241, room 1027, building B, 555 Dongchuan Road, Shanghai, Minhang District Patentee before: SHANGHAI DEEPSIGHT INFORMATION TECHNOLOGY CO.,LTD. Country or region before: China |