CN114723777A - 一种基于嵌入式gpu平台的单目标跟踪方法 - Google Patents
一种基于嵌入式gpu平台的单目标跟踪方法 Download PDFInfo
- Publication number
- CN114723777A CN114723777A CN202011515391.2A CN202011515391A CN114723777A CN 114723777 A CN114723777 A CN 114723777A CN 202011515391 A CN202011515391 A CN 202011515391A CN 114723777 A CN114723777 A CN 114723777A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- tracking
- target tracking
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
Abstract
本发明公开了一种基于嵌入式GPU平台的单目标跟踪方法，基于获取的图像序列，选用嵌入式GPU平台进行目标相关性计算，利用目标模板小图在整个实时图上针对每个像素位置进行图像灰度相关性计算；对相关性计算结果进行极值搜索、排序、筛选、聚类，从中筛选出可信度最高的坐标点，获得目标跟踪点。本发明在目标跟踪精度有所提升的情况下，大幅降低了跟踪算法耗时，并且在一片体积更小、功耗更低的集成芯片上完成跟踪处理，对该跟踪算法在嵌入式场景的应用提供了更加广阔的应用前景。
Description
技术领域
本发明涉及一种基于嵌入式GPU平台的单目标跟踪方法，属于计算机视觉领域。
背景技术
视觉目标跟踪(Visual ObjectTracking)是计算机视觉领域的一个重要课题，有着重要的研究意义，在军事制导、无人驾驶、视频监控等方面有着广泛的应用前景。视觉目标跟踪是指对图像序列中的目标进行检测、提取、识别和跟踪，从而获得目标参数，如目标位置、大小、速度等。根据跟踪目标的数量可以分为单目标跟踪和多目标跟踪，较单目标跟踪而言，多目标跟踪要更加复杂，需考虑多个目标间的关联匹配问题。
单目标跟踪方法的核心算法采用归一化积相关(Normalizated ProductCorrelation)，是一种基于图像灰度的匹配算法，采用空间二维滑动模板实现，基本原理如下：
当目标I1x,y(二维滑窗)在实时图I2中进行遍历匹配时，在实时图中的每个像素点都会计算出目标滑窗和实时图的灰度相关值，定义为R值，当目标与实时图越相似时，R值越接近于1，当R值为1时，目标与实时图完全匹配，R值最大的坐标点即为目标跟踪点。
单目标跟踪方法主要包含两部分：1)算法核心部分：目标模板小图(二维滑窗)在整个实时图上针对每个像素位置进行图像灰度相关性计算(即所述归一化积相关计算)，由于图像是二维矩阵，所以目标小图与实时大图的相关性计算是矩阵运算，即并行化计算，整个跟踪算法的处理时间大部分消耗在该部分；2)算法外围策略部分：对1)中的相关性计算结果(也是二维矩阵)进行搜索、排序、筛选、聚类等一系列处理，从中筛选出可信度最高的坐标点，即目标跟踪点，该部分的策略处理是决定整个跟踪算法准确度的关键。
目前，整个跟踪算法是在一个“FPGA+DSP”的异构平台上实现。算法核心部分放在FPGA上运行，FPGA(Field Programmable Gate Array)：现场可编程门阵列，是一种并行架构芯片，适合处理算法核心部分的相关性运算(矩阵并行计算)；算法外围策略部分放在DSP上处理，DSP(Digital Signal Process)：数字信号处理芯片，并行化程度不高，但运算速度快，适合处理算法策略部分的大量矩阵遍历、搜索、排序等操作。虽然该架构上实现的跟踪算法性能已经可以达到实际应用需求，但是仍具有以下不足：1)整个跟踪算法被拆分开，不便于整套跟踪算法的优化、调试以及移植等工作；2)两个芯片FPGA与DSP之间要进行频繁的数据交互，数据交互的耗时大大降低了跟踪算法的实时性；3)该异构平台体积大、功耗高，不适合空间、功耗特别紧俏的嵌入式场景。
发明内容
本发明需解决的技术问题是提供一种实时性高、便于算法改进、优化的单目标跟踪方法。
为解决上述技术问题，本发明提供了一种基于嵌入式GPU平台的单目标跟踪方法，采取技术方案如下：
基于获取的图像序列，选用嵌入式GPU平台进行目标相关性计算，利用目标模板小图在整个实时图上针对每个像素位置进行图像灰度相关性计算；对相关性计算结果进行极值搜索、排序、筛选、聚类，从中筛选出可信度最高的坐标点，获得目标跟踪点。
进一步地，所述目标模板小图在所述实时图上的移动步进为2像素。
进一步地，对所述实时图叠加补边，将位于边界区域内的目标包含进所述实时图中。
进一步地，所述极值搜索区域为八邻域。
进一步地，计算相关值主次极值比，设置阈值，进行目标点的滤波筛选。
本发明提出的基于嵌入式GPU平台(Jetson TX1)的跟踪算法改进、优化和加速方法，在目标跟踪精度有所提升的情况下，大幅降低了跟踪算法耗时，并且在一片体积更小、功耗更低的集成芯片上完成跟踪处理，对该跟踪算法在嵌入式场景的应用提供了更加广阔的应用前景。与现有技术对比，本明具有如下效果：
1)对核心算法归一化积相关计算部分进行改进，将目标模板小图的移动步长由逐像素改为步进2像素，去除计算冗余，提高计算效率；2)对算法外围策略的相关性计算结果搜索部分进行优化，进一步增加了目标点的可信度，提高跟踪点准确性；3)将高运算量的归一化积相关运算由FPGA芯片移植到GPU芯片实现，大大提高了跟踪算法的实时性。经过在新平台上所做的上述算法改进、优化和加速，与“FPGA+DSP”异构平台相比，在跟踪准确度有所提高的情况下，降低了跟踪算法延时，对该算法在嵌入式场景的应用非常具有参考价值。
附图说明
图1为实时图未修改步进、不叠加补边的示意图；
图2为本发明实施例提供的实时图修改步进、叠加补边的示意图；
图3为相关值曲面图；
图4为本发明实施例提供的八邻域示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
作为本发明的实施例，提供的一种基于嵌入式GPU平台的单目标跟踪方法，具体如下：
基于获取的图像序列，选用嵌入式GPU平台(Jetson TX1，图形处理单元)进行目标相关性计算。利用目标模板小图(二维滑窗)在整个实时图上针对每个像素位置进行图像灰度相关性计算(即归一化积相关计算，由于图像是二维矩阵，所以目标小图与实时大图的相关性计算是矩阵运算，即并行化计算)；对相关性计算结果(二维矩阵)进行极值搜索、排序、筛选、聚类，从中筛选出可信度最高的坐标点，获得目标跟踪点。
本发明实施例将之前在FPGA上实现的归一化积相关计算部分(高并行、高计算量)改由在Jetson TX1平台的GPU(专属图形并行化计算平台)上实现，并且将之前分开的核心算法和外围策略两部分整合成一套跟踪算法，进一步精简了算法架构，消除之前在“FPGA+DSP”双平台下由于频繁的数据交互带来的算法延时。
进一步地，在本发明实施例中，对归一化积相关核心算法部分进行遍历方法的修改。由于单个像素内目标特征变化很小，将归一化积相关计算部分目标模板小图的移动步长由逐像素(即步进1像素)改为步进2像素，在降低计算量的同时几乎不会降低目标相关性计算结果准确性，几近降低了一半的计算量。
进一步地，在本发明实施例中，对实时图叠加补边，如采用镜像补边法，将位于边界区域内的目标包含进实时图中，克服之前实时图边界区域归一化积相关计算不到的局限，进一步提升实时图边界目标跟踪准确率。具体说明如图1、图2所示。
进一步地，在本发明实施例中，对归一化积相关计算结果处理部分的极值搜索操作进行改进，将极值搜索区域由之前四邻域该为八邻域。具体说明如下图3、图4所示。
在图3所示的相关值曲面图上进行最大值搜索时，每个点都与周围邻域点进行比较，比较的范围由之前四邻域(对应图4中的1、3、5、7)改为八邻域(图4中1～8)，n为取八邻域点时的半径，改为八邻域后可进一步提升极大值点筛选的准确性。
进一步地，在本发明实施例中，计算相关值主次极值比，设置阈值，进行目标点的滤波筛选(主次极值比：相关值最大值与次大值的比值)，进一步提升筛选出的目标点的可信度和唯一性。
相关值主次极值比msr定义如下：
其中，Cmax为相关值最大值，Csubmax为相关值最小值。
由于采用单目标跟踪，在实时图内要跟踪目标是唯一的，增加主次极值比msr参数的意义在于，当实时图内出现多个疑似目标时，即图3中将出现多个高波峰，而正常情况下应该只有一个高波峰且远大于其他波峰，当该参数很大时说明实时图内包含唯一目标，所以可通过对该参数设置阈值滤波的方法来保证跟踪目标的唯一性，同时也提高了跟踪目标的可信程度。
性能测试与验证：
针对本发明实施例对基于归一化积相关的目标跟踪算法进行改进、优化、加速，并移植到嵌入式GPU平台(JetsonTX1)上实现，对改进后的性能进行了测试与比对。分别测试了不同尺度下的目标模板图和实时图跟踪性能，并与传统“FPGA+DSP”架构下跟踪性能进行对比，结果如下表1、2所示：
表1算法跟踪准确率对比
表2算法运算时间对比
由表1、2统计结果可以看出，算法经改进后，在目标模板和实时图同等大小的情况下，跟踪准确率提升了0.5％左右，同时跟踪处理时间Jetson TX1平台基本上为“FPGA+DSP”平台的一半，由此可见，本发明对跟踪算法进行的改进、优化、加速方法，较传统“FPGA+DSP”平台上实现的跟踪算法准确率和处理时间均有提升。
Claims (5)
1.一种基于嵌入式GPU平台的单目标跟踪方法，其特征在于，
基于获取的图像序列，选用嵌入式GPU平台进行目标相关性计算，利用目标模板小图在整个实时图上针对每个像素位置进行图像灰度相关性计算；对相关性计算结果进行极值搜索、排序、筛选、聚类，从中筛选出可信度最高的坐标点，获得目标跟踪点。
2.如权利要求1所述的一种基于嵌入式GPU平台的单目标跟踪方法，其特征在于：所述目标模板小图在所述实时图上的移动步进为2像素。
3.如权利要求1所述的一种基于嵌入式GPU平台的单目标跟踪方法，其特征在于：对所述实时图叠加补边，将位于边界区域内的目标包含进所述实时图中。
4.如权利要求1所述的一种基于嵌入式GPU平台的单目标跟踪方法，其特征在于：所述极值搜索区域为八邻域。
5.如权利要求1所述的一种基于嵌入式GPU平台的单目标跟踪方法，其特征在于：计算相关值主次极值比，设置阈值，进行目标点的滤波筛选。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011515391.2A CN114723777A (zh) | 2020-12-21 | 2020-12-21 | 一种基于嵌入式gpu平台的单目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011515391.2A CN114723777A (zh) | 2020-12-21 | 2020-12-21 | 一种基于嵌入式gpu平台的单目标跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114723777A true CN114723777A (zh) | 2022-07-08 |
Family
ID=82230076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011515391.2A Pending CN114723777A (zh) | 2020-12-21 | 2020-12-21 | 一种基于嵌入式gpu平台的单目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114723777A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115576209A (zh) * | 2022-12-08 | 2023-01-06 | 南京理工大学紫金学院 | 一种基于极值搜索的无人机位置跟踪控制方法 |
-
2020
- 2020-12-21 CN CN202011515391.2A patent/CN114723777A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115576209A (zh) * | 2022-12-08 | 2023-01-06 | 南京理工大学紫金学院 | 一种基于极值搜索的无人机位置跟踪控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110533084B (zh) | 一种基于自注意力机制的多尺度目标检测方法 | |
| CN108520274B (zh) | 基于图像处理及神经网络分类的高反光表面缺陷检测方法 | |
| CN112836639A (zh) | 基于改进YOLOv3模型的行人多目标跟踪视频识别方法 | |
| CN111429448B (zh) | 一种基于弱分割信息的生物荧光目标计数方法 | |
| CN113255611B (zh) | 基于动态标签分配的孪生网络目标跟踪方法及移动设备 | |
| CN108230340B (zh) | 一种基于mmtd的slic超像素提取权值确定方法及超像素提取方法 | |
| Zou et al. | F-siamese tracker: A frustum-based double siamese network for 3d single object tracking | |
| Chen et al. | Study on fusion clustering and improved YOLOv5 algorithm based on multiple occlusion of Camellia oleifera fruit | |
| CN114820712B (zh) | 一种自适应目标框优化的无人机跟踪方法 | |
| CN114723777A (zh) | 一种基于嵌入式gpu平台的单目标跟踪方法 | |
| CN111401449A (zh) | 一种基于机器视觉的图像匹配方法 | |
| Wang et al. | Segmentation of corn leaf disease based on fully convolution neural network | |
| CN110930425B (zh) | 基于邻域向量内积局部对比度图像增强的损伤目标检测方法 | |
| CN116086484A (zh) | 基于地平面约束和回环检测的激光雷达里程计算方法 | |
| CN111104855A (zh) | 一种基于时序行为检测的工作流识别方法 | |
| CN117351371A (zh) | 一种基于深度学习的遥感图像目标检测方法 | |
| CN114860974A (zh) | 一种遥感影像检索定位方法 | |
| CN110991565A (zh) | 基于kcf的目标跟踪优化算法 | |
| CN115937654A (zh) | 一种基于多层次特征融合的单目标跟踪方法 | |
| CN111624653B (zh) | 地震速度自动拾取方法及装置 | |
| CN111291820B (zh) | 一种结合定位信息和分类信息的目标检测方法 | |
| Shao et al. | Design and research of metal surface defect detection based on machine vision | |
| CN110634151B (zh) | 一种单目标跟踪方法 | |
| CN113723314A (zh) | 一种基于YOLOv3算法的甘蔗茎节识别方法 | |
| Li et al. | GICP-LOAM: Lidar odometry and mapping with voxelized generalized iterative closest point |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |