CN113538585B - 基于无人机的高精度多目标智能识别定位追踪方法及系统 - Google Patents

基于无人机的高精度多目标智能识别定位追踪方法及系统 Download PDF

Info

Publication number
CN113538585B
CN113538585B CN202111089698.5A CN202111089698A CN113538585B CN 113538585 B CN113538585 B CN 113538585B CN 202111089698 A CN202111089698 A CN 202111089698A CN 113538585 B CN113538585 B CN 113538585B
Authority
CN
China
Prior art keywords
target
image
lab
tracking
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111089698.5A
Other languages
English (en)
Other versions
CN113538585A (zh
Inventor
赵杰岩
许杏
曲亮
刘朋
李宏博
刘欣志
欧阳斌
王岽
黄小清
李诚诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Fire Eyes Intelligence Co ltd
Original Assignee
Shenzhen Fire Eyes Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Fire Eyes Intelligence Co ltd filed Critical Shenzhen Fire Eyes Intelligence Co ltd
Priority to CN202111089698.5A priority Critical patent/CN113538585B/zh
Publication of CN113538585A publication Critical patent/CN113538585A/zh
Application granted granted Critical
Publication of CN113538585B publication Critical patent/CN113538585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Abstract

本发明提供了基于无人机的高精度多目标智能识别定位追踪方法，首先基于无人机获取观测图像数据，提取各帧图像的边缘特征图，寻找匹配特征对，实现图像序列的对齐，得到对齐后的图像序列；利用核相关滤波计算输出响应图并寻找图中最大响应位置即目标位置，依次确定出多个目标的位置；基于Lab色彩特征建立尺度模型，从截取不同尺度图像块，得到目标尺度最优估计实现多目标追踪；本发明通过图像序列对齐、多目标包围框的识别，以及融合颜色特征的尺度自适应的跟踪方法，实现目标识别准确率高，目标定位精度高的智能方法。

Description

基于无人机的高精度多目标智能识别定位追踪方法及系统
技术领域
本发明无人机定位追踪领域，特别是指基于无人机的高精度多目标智能识别定位追踪方法及系统。
背景技术
目标跟踪技术是自动驾驶、智慧交通、智慧安防等应用场景中的关键共性技术，其目的是将场景中检测到的物体框在时序上关联形成轨迹，并用于物体实时位置的跟踪。MOT的研究难点主要在于相似背景、光照条件变化、遮挡等外界因素干扰，和目标姿态变化、尺度变化、进出视野、运动模糊等自身因素影响下的多目标跟踪。
常见的目标跟踪技术主要分为生成式模型方法和判别式模型方法两类。生成式模型方法是通过在线学习方式建立目标模型，然后使用模型搜索重建误差最小的图像区域，完成目标定位，该方法包括卡尔曼滤波，粒子滤波，mean-shift等。但是这一类方法没有考虑目标的背景信息，图像信息没有得到较好的利用，并且该类算法计算代价大耗时长，准确率差。判别式模型方法，又称检测跟踪算法(tracking-by-detection)，其将目标跟踪看作是一个二元分类问题，同时提取目标和背景信息用来训练分类器，将目标从图像序列背景中分离出来，从而得到当前帧的目标位置。判别式模型方法与生成类方法最大的区别是，其分类器采用机器学习，训练中用到了背景信息，这样分类器就能专注区分前景和背景，所以判别类方法普遍都比生成类好，也是目前主流的跟踪方法。但目前的技术普遍存在精度不都高，识别定位追踪不够智能的问题。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出基于无人机的高精度多目标智能识别定位追踪方法，通过图像序列对齐、多目标包围框的识别，以及融合颜色特征的尺度自适应的跟踪方法，实现目标识别准确率高，目标定位精度高的智能识别定位追踪方法。
本发明采用如下技术方案：
基于无人机的高精度多目标智能识别定位追踪方法，包括如下步骤：
基于无人机获取观测图像数据，利用Sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐，得到对齐后的图像序列；
将对齐后的图像序列输入Mask R-CNN网络模型的骨干网络层，进行预先设定好的目标特征的提取，将骨干网络层提取出的目标特征信息输入候选区域网络，用于生成检测区域，确定出多目标包围框；
将目标包围框从RGB色彩空间转换到Lab色彩空间，提取相应的Lab色彩特征，融合Lab色彩特征与方向梯度直方图特征得到多通道特征，利用核相关滤波计算输出响应图并寻找图中最大响应位置即目标位置，依次确定出多个目标的位置；
基于Lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现多目标追踪。
具体地，所述利用Sobel算子提取各帧图像的边缘特征图，具体为：
Figure 209758DEST_PATH_IMAGE001
其中，I表示图像像素矩阵，
Figure 480203DEST_PATH_IMAGE002
和
Figure 183717DEST_PATH_IMAGE003
分别表示图像关于水平方向和垂直方向的边 缘梯度，E表示图像边缘梯度值，D表示边缘梯度方向。
具体地，所述输入训练好的自关注模块，寻找匹配特征对，具体为：
自关注模块输入为经过Sobel算子提取的图像边缘特征图，输出为包含强映射匹配关系的特征对矩阵，其中，根据如下公式采用MSE均方误差函数 训练自关注模块训练；
Figure 807596DEST_PATH_IMAGE004
其中，
Figure 545745DEST_PATH_IMAGE005
是网络中目标图像的第i个真实值，
Figure 737823DEST_PATH_IMAGE006
是基准图像的第i个输出的预测 值，i=1,2…n，n为特征对的个数。
具体地，将目标包围框从RGB色彩空间转换到Lab色彩空间，具体为：
Figure 131895DEST_PATH_IMAGE007
XYZ空间到Lab空间的转换关系：
Figure 621782DEST_PATH_IMAGE008
式中，
Figure 276755DEST_PATH_IMAGE009
时，
Figure 764368DEST_PATH_IMAGE010
Figure 10848DEST_PATH_IMAGE011
时，
Figure 304426DEST_PATH_IMAGE012
X、Y、Z分别为转换变量。
具体地，基于Lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现目标追踪，具体为：
由前一帧的跟踪结果获取目标位置的尺度模板：Lab直方图特征模板和尺寸模板；
通过非均匀量化的方式将ａ和ｂ通道的各个数值量化区分为设定数量的数值区间，统计ａ和ｂ通道分量量化后的每个区间的数值作为图像的Lab直方图特征Lj，其中j=1,2,3…N,N为设定数量；
以当前帧的跟踪结果得到的目标位置为中心，截取设定数量个不同尺度的图像，提取不同尺度的图像的Lab直方图特征lj，将对应的Lj和lj进行相似度计算，得到最大相似度值，以该值对应的图像尺寸大小作为当前帧的最优尺寸。
本发明实施例另一方面提供基于无人机的高精度多目标智能识别定位追踪系统，包括：
图像序列对齐单元：基于无人机获取观测图像数据，利用Sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐，得到对齐后的图像序列；
多目标包围框确定单元：将对齐后的图像序列输入Mask R-CNN网络模型的骨干网络层，进行预先设定好的目标特征的提取，将骨干网络层提取出的目标特征信息输入候选区域网络，用于生成检测区域，确定出多个目标包围框；
多目标位置识别单元：将目标包围框从RGB色彩空间转换到Lab色彩空间，提取相应的Lab色彩特征，融合Lab色彩特征与方向梯度直方图特征得到多通道特征，利用核相关滤波计算输出响应图并寻找图中最大响应位置即目标位置，依次确定出其他目标位置；
多目标追踪单元：基于Lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现多目标追踪。
具体地，图像序列对齐单元中，所述利用Sobel算子提取各帧图像的边缘特征图，具体为：
Figure 689271DEST_PATH_IMAGE001
其中，I表示图像像素矩阵，
Figure 144524DEST_PATH_IMAGE002
和
Figure 372243DEST_PATH_IMAGE003
分别表示图像关于水平方向和垂直方向的边 缘梯度，E表示图像边缘梯度值，D表示边缘梯度方向。
具体地，图像序列对齐单元中，所述输入训练好的自关注模块，寻找匹配特征对，具体为：
自关注模块输入为经过Sobel算子提取的图像边缘特征图，输出为包含强映射匹配关系的特征对矩阵，其中，根据如下公式采用MSE均方误差函数 训练自关注模块训练；
Figure 203932DEST_PATH_IMAGE013
其中
Figure 708863DEST_PATH_IMAGE005
是网络中目标图像的第i个真实值，
Figure 335016DEST_PATH_IMAGE006
是基准图像的第i个输出的预测值， i=1,2…n，n为特征对的个数。
具体地，目标位置识别单元中，将目标包围框从RGB色彩空间转换到Lab色彩空间,具体为：
Figure 722135DEST_PATH_IMAGE014
XYZ空间到Lab空间的转换关系：
Figure 170565DEST_PATH_IMAGE015
式中，
Figure 530003DEST_PATH_IMAGE009
时，
Figure 920533DEST_PATH_IMAGE010
Figure 998210DEST_PATH_IMAGE011
时，
Figure 437282DEST_PATH_IMAGE012
X、Y、Z分别为转换变量。
具体地，基于Lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现目标追踪，具体为：
由前一帧的跟踪结果获取目标位置的尺度模板：Lab直方图特征模板和尺寸模板；
通过非均匀量化的方式将ａ和ｂ通道的各个数值量化区分为设定数量的数值区间，统计ａ和ｂ通道分量量化后的每个区间的数值作为图像的Lab直方图特征Lj，其中j=1,2,3…N,N为设定数量；
以当前帧的跟踪结果得到的目标位置为中心，截取设定数量个不同尺度的图像，提取不同尺度的图像的Lab直方图特征lj，将对应的Lj和lj进行相似度计算，得到最大相似度值，以该值对应的图像尺寸大小作为当前帧的最优尺寸。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
（1）本发明提出了基于无人机的高精度多目标智能识别定位追踪方法，首先基于无人机获取观测图像数据，利用Sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐，得到对齐后的图像序列；将对齐后的图像序列输入Mask R-CNN网络模型的骨干网络层，进行预先设定好的目标特征的提取，将骨干网络层提取出的目标特征信息输入候选区域网络，用于生成检测区域，确定出多目标包围框；将目标包围框从RGB色彩空间转换到Lab色彩空间，提取相应的Lab色彩特征，融合Lab色彩特征与方向梯度直方图特征得到多通道特征，利用核相关滤波计算输出响应图并寻找图中最大响应位置即目标位置，依次确定出多个目标的位置；基于Lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现多目标追踪；本发明通过图像序列对齐，以及多目标包围框的识别，以及融合颜色特征的尺度自适应的跟踪方法，实现目标识别准确率高，目标定位精度高的智能识别定位追踪方法。
（2）本发明利用Sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐；图像序列的对齐能够提高目标识别的精度。
（3）本发明从RGB色彩空间转换到Lab色彩空间，提取相应的Lab色彩特征，融合Lab色彩特征与方向梯度直方图特征得到多通道特征，从当前帧的目标位置处截取不同尺度图像块，融合了颜色特征，实现了尺度自适应，跟踪性能好。
附图说明
图1为本发明实施例提出的基于无人机的高精度多目标智能识别定位追踪的方法流程图；
图2为本发明实施例提供的基于无人机的高精度多目标智能识别定位追踪系统的结构图；
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
本发明提出本发明提出了基于无人机的高精度多目标智能识别定位追踪方法，通过图像序列对齐，以及多目标包围框的识别，以及融合颜色特征的尺度自适应的跟踪方法，实现目标识别准确率高，目标定位精度高的智能识别定位追踪方法。
如图1为本发明方案基于无人机的高精度多目标智能识别定位追踪方法流程图；具体包括如下步骤：
S101：基于无人机获取观测图像数据，利用Sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐，得到对齐后的图像序列；
具体地，所述利用Sobel算子提取各帧图像的边缘特征图，具体为：
Figure 25127DEST_PATH_IMAGE001
其中，I表示图像像素矩阵，
Figure 258662DEST_PATH_IMAGE002
和
Figure 354794DEST_PATH_IMAGE003
分别表示图像关于水平方向和垂直方向的边 缘梯度，E表示图像边缘梯度值，D表示边缘梯度方向。
具体地，所述输入训练好的自关注模块，寻找匹配特征对，具体为：
自关注模块输入为经过Sobel算子提取的图像边缘特征图，输出为包含强映射匹配关系的特征对矩阵，其中，根据如下公式采用MSE均方误差函数 训练自关注模块训练；
Figure 269660DEST_PATH_IMAGE016
其中
Figure 400427DEST_PATH_IMAGE005
是网络中目标图像的第i个真实值，
Figure 867181DEST_PATH_IMAGE006
是基准图像的第i个输出的预测值， i=1,2…n，n为特征对的个数。
S102：将对齐后的图像序列输入Mask R-CNN网络模型的骨干网络层，进行预先设定好的目标特征的提取，将骨干网络层提取出的目标特征信息输入候选区域网络，用于生成检测区域，确定出多目标包围框；
S103：将目标包围框从RGB色彩空间转换到Lab色彩空间，提取相应的Lab色彩特征，融合Lab色彩特征与方向梯度直方图特征得到多通道特征，利用核相关滤波计算输出响应图并寻找图中最大响应位置即目标位置，依次确定出多个目标的位置；
具体地，将目标包围框从RGB色彩空间转换到Lab色彩空间，具体为：
Figure 716188DEST_PATH_IMAGE017
式中，
Figure 169166DEST_PATH_IMAGE009
时，
Figure 498647DEST_PATH_IMAGE010
Figure 808406DEST_PATH_IMAGE011
时，
Figure 144709DEST_PATH_IMAGE018
X、Y、Z分别为转换变量。
S104：基于Lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现多目标追踪。
具体地，基于Lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现目标追踪，具体为：
由前一帧的跟踪结果获取目标位置的尺度模板：Lab直方图特征模板和尺寸模板；
通过非均匀量化的方式将ａ和ｂ通道的各个数值量化区分为设定数量的数值区间，统计ａ和ｂ通道分量量化后的每个区间的数值作为图像的Lab直方图特征Lj，其中j=1,2,3…N,N为设定数量；
以当前帧的跟踪结果得到的目标位置为中心，截取设定数量个不同尺度的图像，提取不同尺度的图像的Lab直方图特征lj，将对应的Lj和lj进行相似度计算，得到最大相似度值，以该值对应的图像尺寸大小作为当前帧的最优尺寸。
如图2，本发明另一实施例提供基于无人机的高精度多目标智能识别定位追踪系统，包括：
图像序列对齐单元201：基于无人机获取观测图像数据，利用Sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐，得到对齐后的图像序列；
具体地，图像序列对齐单元中，所述利用Sobel算子提取各帧图像的边缘特征图，具体为：
Figure 401378DEST_PATH_IMAGE001
其中，I表示图像像素矩阵，
Figure 506738DEST_PATH_IMAGE002
和
Figure 315294DEST_PATH_IMAGE003
分别表示图像关于水平方向和垂直方向的边 缘梯度，E表示图像边缘梯度值，D表示边缘梯度方向。
自关注模块输入为经过Sobel算子提取的图像边缘特征图，输出为包含强映射匹配关系的特征对矩阵，其中，根据如下公式采用MSE均方误差函数 训练自关注模块训练；
Figure 873314DEST_PATH_IMAGE019
其中
Figure 730412DEST_PATH_IMAGE005
是网络中目标图像的第i个真实值，
Figure 627960DEST_PATH_IMAGE006
是基准图像的第i个输出的预测值， i=1,2…n，n为特征对的个数。
多目标包围框确定单元202：将对齐后的图像序列输入Mask R-CNN网络模型的骨干网络层，进行预先设定好的目标特征的提取，将骨干网络层提取出的目标特征信息输入候选区域网络，用于生成检测区域，确定出多个目标包围框；
多目标位置识别单元203：将目标包围框从RGB色彩空间转换到Lab色彩空间，提取相应的Lab色彩特征，融合Lab色彩特征与方向梯度直方图特征得到多通道特征，利用核相关滤波计算输出响应图并寻找图中最大响应位置即目标位置，依次确定出其他目标位置；
具体地，目标位置识别单元中，将目标包围框从RGB色彩空间转换到Lab色彩空间,具体为：
Figure 545101DEST_PATH_IMAGE020
XYZ空间到Lab空间的转换关系：
Figure 170511DEST_PATH_IMAGE021
式中，
Figure 831299DEST_PATH_IMAGE009
时，
Figure 583354DEST_PATH_IMAGE010
Figure 936975DEST_PATH_IMAGE011
时，
Figure 204009DEST_PATH_IMAGE012
X、Y、Z分别为转换变量。
多目标追踪单元204：基于Lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现多目标追踪。
具体地，图像序列对齐单元中，所述输入训练好的自关注模块，寻找匹配特征对，具体为：
具体地，基于Lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现目标追踪，具体为：
由前一帧的跟踪结果获取目标位置的尺度模板：Lab直方图特征模板和尺寸模板；
通过非均匀量化的方式将ａ和ｂ通道的各个数值量化区分为设定数量的数值区间，统计ａ和ｂ通道分量量化后的每个区间的数值作为图像的Lab直方图特征Lj，其中j=1,2,3…N,N为设定数量；
以当前帧的跟踪结果得到的目标位置为中心，截取设定数量个不同尺度的图像，提取不同尺度的图像的Lab直方图特征lj，将对应的Lj和lj进行相似度计算，得到最大相似度值，以该值对应的图像尺寸大小作为当前帧的最优尺寸。
本发明提出了基于无人机的高精度多目标智能识别定位追踪方法，首先基于无人机获取观测图像数据，利用Sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐，得到对齐后的图像序列；将对齐后的图像序列输入Mask R-CNN网络模型的骨干网络层，进行预先设定好的目标特征的提取，将骨干网络层提取出的目标特征信息输入候选区域网络，用于生成检测区域，确定出多目标包围框；将目标包围框从RGB色彩空间转换到Lab色彩空间，提取相应的Lab色彩特征，融合Lab色彩特征与方向梯度直方图特征得到多通道特征，利用核相关滤波计算输出响应图并寻找图中最大响应位置即目标位置，依次确定出多个目标的位置；基于Lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现多目标追踪；本发明通过图像序列对齐，以及多目标包围框的识别，以及融合颜色特征的尺度自适应的跟踪方法，实现目标识别准确率高，目标定位精度高的智能识别定位追踪方法。
本发明利用Sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐；图像序列的对齐能够提高目标识别的精度。
本发明从RGB色彩空间转换到Lab色彩空间，提取相应的Lab色彩特征，融合Lab色彩特征与方向梯度直方图特征得到多通道特征，从当前帧的目标位置处截取不同尺度图像块，融合了颜色特征，实现了尺度自适应，跟踪性能好。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (4)

1.基于无人机的高精度多目标智能识别定位追踪方法，其特征在于，包括如下步骤：
基于无人机获取观测图像数据，利用Sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐，得到对齐后的图像序列；
将对齐后的图像序列输入Mask R-CNN网络模型的骨干网络层，进行预先设定好的目标特征的提取，将骨干网络层提取出的目标特征信息输入候选区域网络，用于生成检测区域，确定出多目标包围框；
将目标包围框从RGB色彩空间转换到Lab色彩空间，提取相应的Lab色彩特征，融合Lab色彩特征与方向梯度直方图特征得到多通道特征，利用核相关滤波计算输出响应图并寻找图中最大响应位置即目标位置，依次确定出多个目标的位置；
基于Lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现多目标追踪；
所述利用Sobel算子提取各帧图像的边缘特征图，具体为：
Figure FDA0003400804680000011
其中，I表示图像像素矩阵，Ex和Ey分别表示图像关于水平方向和垂直方向的边缘梯度，E表示图像边缘梯度值，D表示边缘梯度方向；
将目标包围框从RGB色彩空间转换到Lab色彩空间,具体为：
Figure FDA0003400804680000012
XYZ空间到Lab空间的转换关系：
L＝116F(Y)-16
Figure FDA0003400804680000021
Figure FDA0003400804680000022
式中，X≤0.008856时，F(X)＝7.787X+0.138；
X＞0.008856时，F(X)＝X1/3；X、Y、Z分别为转换变量；
基于Lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现目标追踪，具体为：
由前一帧的跟踪结果获取目标位置的尺度模板：Lab直方图特征模板和尺寸模板；
通过非均匀量化的方式将a和b通道的各个数值量化区分为设定数量的数值区间，统计a和b通道分量量化后的每个区间的数值作为图像的Lab直方图特征Lj，其中j＝1，2，3…N，N为设定数量；
以当前帧的跟踪结果得到的目标位置为中心，截取设定数量个不同尺度的图像，提取不同尺度的图像的Lab直方图特征lj，将对应的Lj和lj进行相似度计算，得到最大相似度值，以该值对应的图像尺寸大小作为当前帧的最优尺寸。
2.根据权利要求1所述的基于无人机的高精度多目标智能识别定位追踪方法，其特征在于，所述输入训练好的自关注模块，寻找匹配特征对，具体为：
自关注模块输入为经过Sobel算子提取的图像边缘特征图，输出为包含强映射匹配关系的特征对矩阵，其中，根据如下公式采用MSE均方误差函数训练自关注模块训练；
Figure FDA0003400804680000023
其中yi是网络中目标图像的第i个真实值，y′i是基准图像的第i个输出的预测值，i＝1，2…n，n为特征对的个数。
3.基于无人机的高精度多目标智能识别定位追踪系统，其特征在于，包括：
图像序列对齐单元：基于无人机获取观测图像数据，利用Sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐，得到对齐后的图像序列；
多目标包围框确定单元：将对齐后的图像序列输入Mask R-CNN网络模型的骨干网络层，进行预先设定好的目标特征的提取，将骨干网络层提取出的目标特征信息输入候选区域网络，用于生成检测区域，确定出多个目标包围框；
多目标位置识别单元：将目标包围框从RGB色彩空间转换到Lab色彩空间，提取相应的Lab色彩特征，融合Lab色彩特征与方向梯度直方图特征得到多通道特征，利用核相关滤波计算输出响应图并寻找图中最大响应位置即目标位置，依次确定出其他目标位置；
多目标追踪单元：基于Lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现多目标追踪；
图像序列对齐单元中，所述利用Sobel算子提取各帧图像的边缘特征图，具体为：
Figure FDA0003400804680000031
其中，I表示图像像素矩阵，Ex和Ey分别表示图像关于水平方向和垂直方向的边缘梯度，E表示图像边缘梯度值，D表示边缘梯度方向；
目标位置识别单元中，将目标包围框从RGB色彩空间转换到Lab色彩空间,具体为：
Figure FDA0003400804680000032
XYZ空间到Lab空间的转换关系：
L＝116F(Y)-16
Figure FDA0003400804680000041
Figure FDA0003400804680000042
式中，X≤0.008856时，F(X)＝7.787X+0.138；
X＞0.008856时，F(X)＝X1/3；X、Y、Z分别为转换变量；
基于Lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现目标追踪，具体为：
由前一帧的跟踪结果获取目标位置的尺度模板：Lab直方图特征模板和尺寸模板；
通过非均匀量化的方式将a和b通道的各个数值量化区分为设定数量的数值区间，统计a和b通道分量量化后的每个区间的数值作为图像的Lab直方图特征Lj，其中j＝1，2，3…N，N为设定数量；
以当前帧的跟踪结果得到的目标位置为中心，截取设定数量个不同尺度的图像，提取不同尺度的图像的Lab直方图特征lj，将对应的Lj和lj进行相似度计算，得到最大相似度值，以该值对应的图像尺寸大小作为当前帧的最优尺寸。
4.根据权利要求3所述的基于无人机的高精度多目标智能识别定位追踪系统，其特征在于，图像序列对齐单元中，所述输入训练好的自关注模块，寻找匹配特征对，具体为：
自关注模块输入为经过Sobel算子提取的图像边缘特征图，输出为包含强映射匹配关系的特征对矩阵，其中，根据如下公式采用MSE均方误差函数训练自关注模块训练；
Figure FDA0003400804680000043
其中yi是网络中目标图像的第i个真实值，y′i是基准图像的第i个输出的预测值，i＝1，2…n，n为特征对的个数。
CN202111089698.5A 2021-09-17 2021-09-17 基于无人机的高精度多目标智能识别定位追踪方法及系统 Active CN113538585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111089698.5A CN113538585B (zh) 2021-09-17 2021-09-17 基于无人机的高精度多目标智能识别定位追踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111089698.5A CN113538585B (zh) 2021-09-17 2021-09-17 基于无人机的高精度多目标智能识别定位追踪方法及系统

Publications (2)

Publication Number Publication Date
CN113538585A CN113538585A (zh) 2021-10-22
CN113538585B true CN113538585B (zh) 2022-01-11

Family

ID=78092789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111089698.5A Active CN113538585B (zh) 2021-09-17 2021-09-17 基于无人机的高精度多目标智能识别定位追踪方法及系统

Country Status (1)

Country Link
CN (1) CN113538585B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937231B (zh) * 2022-07-21 2022-09-30 成都西物信安智能系统有限公司 一种目标识别跟踪的方法
CN117292306A (zh) * 2023-11-27 2023-12-26 四川迪晟新达类脑智能技术有限公司 一种面向边缘设备的车辆目标检测优化方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596951A (zh) * 2018-03-30 2018-09-28 西安电子科技大学 一种融合特征的目标跟踪方法
CN110569723A (zh) * 2019-08-02 2019-12-13 西安工业大学 一种结合特征融合与模型更新的目标跟踪方法
CN112733592A (zh) * 2020-11-26 2021-04-30 中国南方电网有限责任公司超高压输电公司检修试验中心 一种输电线路图像识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680713B (zh) * 2020-04-26 2023-11-03 中国科学院上海微系统与信息技术研究所 一种基于视觉检测的无人机对地目标跟踪与逼近方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596951A (zh) * 2018-03-30 2018-09-28 西安电子科技大学 一种融合特征的目标跟踪方法
CN110569723A (zh) * 2019-08-02 2019-12-13 西安工业大学 一种结合特征融合与模型更新的目标跟踪方法
CN112733592A (zh) * 2020-11-26 2021-04-30 中国南方电网有限责任公司超高压输电公司检修试验中心 一种输电线路图像识别方法

Also Published As

Publication number Publication date
CN113538585A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN110175576B (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN111626217B (zh) 一种基于二维图片和三维点云融合的目标检测和追踪方法
Luvizon et al. A video-based system for vehicle speed measurement in urban roadways
CN111429484B (zh) 一种基于交通监控视频的多目标车辆轨迹实时构建方法
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
Mi et al. Research on regional clustering and two-stage SVM method for container truck recognition
Hu et al. A multi-modal system for road detection and segmentation
CN113538585B (zh) 基于无人机的高精度多目标智能识别定位追踪方法及系统
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN104077760A (zh) 一种航空摄影测量的快速拼接系统及其实现方法
Billones et al. Intelligent system architecture for a vision-based contactless apprehension of traffic violations
EP4105600A2 (en) Method for automatically producing map data, related apparatus and computer program product
CN112712052A (zh) 一种机场全景视频中微弱目标的检测识别方法
Zhou et al. Cross-weather image alignment via latent generative model with intensity consistency
Su et al. Real-time dynamic SLAM algorithm based on deep learning
CN109977862B (zh) 一种车位限位器的识别方法
CN116071747A (zh) 一种基于3d点云数据和2d图像数据融合匹配语义分割方法
Yang et al. Vehicle counting method based on attention mechanism SSD and state detection
Diego et al. Vision-based road detection via on-line video registration
CN110516527B (zh) 一种基于实例分割的视觉slam回环检测改进方法
CN109325487B (zh) 一种基于目标检测的全种类车牌识别方法
Li et al. A real-time vehicle window positioning system based on nanodet
CN114359493B (zh) 一种用于无人船生成三维语义地图的方法和系统
Ma et al. Lane detection using heuristic search methods based on color clustering
Yu et al. An improved phase correlation method for stop detection of autonomous driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant