CN116596958A - 一种基于在线样本增广的目标跟踪方法及装置 - Google Patents
一种基于在线样本增广的目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN116596958A CN116596958A CN202310877601.XA CN202310877601A CN116596958A CN 116596958 A CN116596958 A CN 116596958A CN 202310877601 A CN202310877601 A CN 202310877601A CN 116596958 A CN116596958 A CN 116596958A
- Authority
- CN
- China
- Prior art keywords
- sample
- target
- feature
- tracking
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003416 augmentation Effects 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000013519 translation Methods 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 27
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 13
- 230000003321 amplification Effects 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于在线样本增广的目标跟踪方法及装置，涉及目标跟踪技术领域，方法包括：获取视频帧，对视频帧进行目标检测，得到多个同类目标和选中跟踪目标；增广检测到的目标样本数量，形成真伪目标数据库；提取真伪数据库中每个数据的ResNet50特征，得到特征库；读取下一帧，并提取目标邻域范围内的ResNet50特征，与特征库作匹配，匹配成功则将当前特征作为跟踪结果，并更新特征库，否则执行下一步；检测当前帧中的跟踪目标，并提取跟踪目标ROI区域内的ResNet50特征，与特征库再次作匹配，若匹配成功则将当前特征作为跟踪结果，并更新特征库，若未检测到目标或与特征库再次作的匹配失败，则判定目标消失。
Description
技术领域
本发明属于目标跟踪技术领域，具体涉及一种基于在线样本增广的目标跟踪方法及装置。
背景技术
在现有的目标跟踪算法中，常常通过搜索邻域范围内容，取目标大小的ROI区域做核岭回归计算，找到最大相应值，从而确定出目标的下一帧位置。此方法在目标单一、背景干净、速度缓慢的应用场景下表现出了良好的目标跟踪效果，但是在面临多个临近的同类目标时跟踪效果较差，并且容易跟错。然而在目标跟踪算法的大多应用场景中，都存在多个同类目标。与此同时，进行目标跟踪时，在对目标视觉图像的连续采集过程中容易出现目标飞出视野和发生尺度变化等现象，导致目标跟踪困难。
由此可见，为实现目标跟踪算法在同类目标较多、目标尺度变化大、背景复杂等应用场景下也能跟踪成功且达到良好的目标跟踪效果，急需对现有的目标跟踪算法进行改进。
发明内容
有鉴于此，本发明提出了一种基于在线样本增广的目标跟踪方法及装置，用以解决现有的目标算法在面临同类目标较多、目标尺度变化大、背景复杂等诸多应用场景时，表现出的目标跟踪效果较差或跟踪失败的技术问题。
本发明的目的是通过以下技术方案来实现的：
本发明的第一方面提出了一种基于在线样本增广的目标跟踪方法，所述方法包括：
对视频帧进行目标检测，得到多个同类目标，并从同类目标中选取跟踪目标；
依据每个同类目标在当前帧中的位置，从当前帧中截取得到该同类目标的样本，并对各个样本执行样本增广，根据增广后的数据构建真伪数据库；
利用特征提取网络提取真伪数据库中每个数据的特征，形成特征库；
读取下一帧，利用特征提取网络提取跟踪目标邻域范围内的特征，并将该特征与特征库作匹配，若匹配成功，则将当前特征作为跟踪结果，并将当前特征增加到特征库中，否则执行下一步；
对当前帧进行目标检测，若检测到跟踪目标，且在利用特征提取网络提取得到该跟踪目标ROI区域内的特征后，将提取得到的该特征与特征库内的特征进行匹配的结果为匹配成功，则将当前特征作为跟踪结果，并将当前特征增加到特征库中，否则判定目标消失。
进一步的，对视频帧进行目标检测时利用yolov5n目标检测模型。
进一步的，所述特征提取网络为ResNet50网络。
进一步的，所述对各个样本执行样本增广，具体为：
旋转样本，得到旋转数据；
平移样本，得到平移数据；
模糊化样本，得到模糊化数据；
放缩样本，得到放缩数据；
由旋转数据、平移数据、模糊化数据和放缩数据构成样本增广后数据。
进一步的，所述依据每个同类目标在当前帧中的位置，从当前帧中截取得到该同类目标的样本，具体为：
依据每个同类目标在当前帧中的位置，根据该同类目标的大小计算得到对应的ROI区域，并从当前帧中截取该ROI区域作为该同类目标的样本，所述ROI区域的中心为该同类目标的中心点。
进一步的，所述旋转样本，得到旋转数据，具体为：
将样本对应的当前帧作为原图进行预设角度的旋转，将原图内同类目标的中心点映射到旋转图像中，旋转图像的宽度与原图的宽度保持一致，旋转图像的高度与原图的高度保持一致；
在原图旋转后，对原图旋转后的坐标系进行平移，得到所述中心点的新坐标点；
以所述新坐标点为中心，从旋转图像中截取得到旋转数据，旋转数据的区域长度为样本对应的ROI区域的长度，且旋转数据的区域宽度为样本对应的ROI区域的宽度。
进一步的，所述平移样本，得到平移数据，具体为：
将样本对应的当前帧作为原图进行同类目标各个坐标点的平移，得到平移图像，并且平移后的同类目标的各个坐标点在样本对应的ROI区域内；
截取平移图像在样本对应的ROI区域内的数据作为平移数据。
进一步的，所述匹配为余弦相似度匹配。
进一步的，所述特征库中，根据每个样本增广的维度构建该维度对应的特征队列；
所述将当前特征增加到特征库中，具体为：
若特定特征队列的长度已达到第一预设数量，则将该队列中的第一个特征排出，再将当
前特征添加到特征库内的该特定特征队列中，否则将当前特征直接添加到特征库内的该特定特征队列中，所述特定特征队列为与当前特征匹配成功的特征库内特征所在的特征队列。
本发明的第一方面具有的有益效果为：
（1）基于多模板特征匹配的技术构思，通过将特征提取网络作为已上线的目标检测模型的辅助，并结合在线样本增广手段，形成的特征库包含了同类目标的特征和跟踪目标的多维度增广特征，在形成特征库后继续利用上述特征提取网络对下一帧执行邻域范围内的特征提取，而后进行与特征库之间的特征匹配，匹配成功则表示跟踪成功，并将匹配成功的当前特征作为跟踪结果，若匹配失败，则重新利用目标检测模型进行当前帧的目标检测，然后重新利用特征提取网络对检测到的跟踪目标的ROI区域进行特征提取，将提取到的特征与之前形成的特征库进行匹配，匹配成功则表示跟踪成功，若重新检测时未检测到目标或当前匹配失败，则判定目标消失；
综上所述，首先，上述目标跟踪过程扩大了目标所在范围，特征库充分考虑了实际跟踪场景下跟踪目标和场景下的同类目标自身可能出现和视觉图像连续采集过程中可能出现的旋转、平移、放缩和模糊化等情形，从而有效地提高了特征匹配精度；其次，在第一次特征匹配失败后，通过重新进行目标检测确认是否为目标消失导致的第一次特征匹配失败，若目标未消失，则缩小跟踪目标的特征提取范围，只在跟踪目标的ROI区域内进行特征提取，减少计算量，而后再次进行特征匹配，由此通过两次不同特征提取范围的特征提取和匹配，减少了目标未消失情形下的目标跟踪失败，使得目标跟踪有效性得到了提高；结合特征匹配精度的提高和跟踪有效性的提高，使得本发明实现的目标跟踪方法适用于多同类目标、目标尺度变化大、背景复杂等诸多实际应用场景下的目标有效跟踪；
（2）将特征提取网络设置为ResNet50网络，充分利用了ResNet50网络良好的特征提取精度，相比其他特征提取网络而言，ResNet50网络与yolov5n目标检测模型结合所表现出的目标跟踪精度更优；
（3）特征库中，通过对每个样本增广的维度均构建对应的特征队列，并且在跟踪成功后，按队列方式更新队列中的特征（目标跟踪模板），相比于单一的目标跟踪模板而言，此种多目标跟踪模板的形式，能够更好的适应目标所在环境、成像时变焦等因素引起的目标变化，从而提高了特征匹配的精度；
（4）在进行样本旋转时，通过将样本对应的当前帧作为原图进行旋转，从而保证了增广后数据的有效性，避免了常规增广旋转中因为只对样本进行旋转并填充无效信息所导致的干扰；
（5）在进行样本平移时，通过将样本对应的当前帧作为原图进行同类目标的平移，从而保证了增广后数据的有效性，避免了常规增广平移中因为只对样本进行平移并填充无效信息所导致的干扰。
本发明的第二方面提出了一种基于在线样本增广的目标跟踪装置，所述装置包括存储器和处理器，所述存储器用于本发明第一方面所述的一种基于在线样本增广的目标跟踪方法，所述处理器用于调用存储器内保存的所述方法进行目标跟踪。
本发明的第二方面带来与第一方面相同的有益效果，在此不再赘述。
附图说明
图1为基于在线样本增广的目标跟踪方法的一种流程图；
图2为基于在线样本增广的目标跟踪方法的一种逻辑时序图；
图3为目标邻域范围的一种示意图。
具体实施方式
下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参阅图1至图3，本实施例提供了一种基于在线样本增广的目标跟踪方法，包括如下具体步骤：
S100.获取视频帧，利用已训练好的目标检测模型对视频帧进行目标检测，得到多个同类目标，从各个同类目标的初始化跟踪模板中选择出待跟踪目标（下文简称为：跟踪目标）的初始化跟踪模板，进行跟踪。同类目标是指都为无人机、或鸟等。
在一些实施例中，已训练好的目标检测模型为yolov5n目标检测模型。
S200.依据每个同类目标在当前帧中的位置，从当前帧中截取得到该同类目标的样本，且样本中包含该同类目标，并对各个样本执行样本增广，根据增广后的数据构建真伪数据库。
在一些实施例中，依据每个同类目标在当前帧中的位置，从当前帧中截取得到该同类目标的样本，具体为：
子步骤S01.依据每个同类目标在当前帧中的位置，根据该同类目标的大小计算得到该同类目标对应的ROI区域，上述ROI区域的中心为该同类目标的中心点；
子步骤S02.从当前帧中截取该ROI区域作为该同类目标的样本。
特别的，子步骤S01的一种具体实施过程为：
S011.依据每个同类目标在当前帧中的位置，结合式一和该同类目标的大小计算出第一宽度W和第一高度H，并将该同类目标的中心点作为选框的中心，将计算出的第一宽度W作为选框的宽度值，将计算出的第一高度H作为选框的高度值，框选出该同类目标对应的ROI区域；
其中，式一具体为：
；
在式一中，表示该同类目标的宽度值，/>表示该同类目标的高度值，/>为一个定值且根据视频帧图像的分辨率设置。
在一些实施例中，对各个样本执行样本增广，具体为：
子步骤S001.旋转样本，得到旋转数据。样本旋转可采用普通实施例中的旋转样本增广方法，本实施例对此公知过程不进行详细描述。
子步骤S002.平移样本，得到平移数据。样本平移可采用普通实施例中的平移样本增广方法，本实施例对此公知过程不进行详细描述。
子步骤S003.模糊化样本，得到模糊化数据。样本模糊化可采用普通实施例中的模糊样本增广方法。本实施例优选采用的模糊样本增广方法如下：通过不同大小的高斯模板对样本进行模糊化处理，得到多个不同的模糊化数据，模糊化过程表示为：（式二），在式二中，/>表示为样本，/>表示高斯模板，/>表示样本对应的模糊化数据。
子步骤S004.放缩样本，得到放缩数据。样本放缩可采用普通实施例中的放缩样本增广方法。本实施例优选采用的放缩样本增广方法如下：通过双线性插值算法，将样本按照比例进行放缩。
子步骤S005.由旋转数据、平移数据、模糊化数据和放缩数据构成样本增广后数据。
S300.利用特征提取网络提取真伪数据库中每个数据的特征，形成特征库Features。
在一些实施例中，特征提取网络选取为ResNet50网络，ResNet50网络提取得到的特征称为ResNet50特征。ResNet50网络基于ResNet50网络基础框架进行训练和优化后得到。特征库Features具体包含有n个512维特征向量，特征库，表示序号为j的512维特征向量。
S400.读取下一帧，利用特征提取网络提取跟踪目标邻域范围内的特征，并将该特征与特征库内的特征作匹配，若匹配成功，则将当前特征作为跟踪结果，并将当前特征增加到特征库中，否则执行S500。其中，利用特征提取网络提取到的跟踪目标邻域范围的特征包括跟踪目标ROI区域内特征和跟踪目标邻域范围内变量区域的特征。跟踪目标邻域范围内变量区域的特征也称为搜索区域特征。可知的，对目标的跟踪多为连续跟踪，因此在将当前特征作为跟踪结果并增加到特征库中后，继续重复执行S400，直至跟踪完成。跟踪过程多以跟踪时长为约束，达到跟踪时长后，跟踪结束。
当特征提取网络选取为ResNet50网络时，通过遍历跟踪目标邻域范围内的各个区域提取得到ResNet50特征，ResNet50网络共输出m个特征向量。
在一些实施例中，步骤S400中目标邻域范围的确定可采用普通实施例中的确定过程，可知的，在传统的目标跟踪算法中，通过搜索目标邻域范围内容，从而在下一帧中识别和定位目标，因此在利用特征提取网络进行下一帧的特征提取前，基于同样的邻域范围确定规则，选取出跟踪目标邻域范围；特征匹配时采用余弦相似度匹配，上述将该特征与特征库内的特征作余弦相似度匹配的一种具体过程为：将该特征与特征库内的每个特征作匹配，得到特征向量的最大相似度，若该最大相似度满足阈值条件，则表示匹配成功，并将当前特征作为跟踪结果，同时记录当前特征的位置。
本实施例还提出了一种改进的目标邻域范围确定规则，该规则采取分层递进的方式，具体如下：设定最大邻域范围；根据目标的大小，以2的倍数选取邻域范围，若跟踪成功或者该邻域范围大于最大邻域范围/>时结束，得出是否跟踪成功。此方式可以在目标变化速度较慢时，快速匹配，在移动速度较快时，选取更大范围去搜索目标区域。
S500. 利用上述已训练好的目标检测模型对当前帧进行目标检测，若检测到跟踪目标，且在利用特征提取网络提取得到该跟踪目标ROI区域内的特征后，将提取得到的该特征与特征库内的特征进行匹配的结果为匹配成功，则将当前特征作为跟踪结果，并将当前特征增加到特征库中；若未检测到目标或上述匹配失败，则判定目标消失。可知的，对目标的跟踪多为连续跟踪，因此在将当前特征作为跟踪结果并增加到特征库中后，还跳转至S400，直至跟踪完成。跟踪过程多以跟踪时长为约束，达到跟踪时长后，跟踪结束。
在一些实施例中，步骤S500中跟踪目标ROI区域的确定可采用传统目标跟踪算法中的ROI区域确定过程，本实施例优选采用与S011等同的ROI区域确定规则；特征匹配时采用余弦相似度匹配，上述将提取得到的该特征与特征库内的特征进行匹配的一种具体过程为：根据提取得到的该特征与特征库内的特征进行匹配的最优结果做判断，若最优结果满足阈值条件，则表示匹配成功。
可选的，上述将当前特征增加到特征库中的一种具体实施过程为：
若特征库中针对每个样本增广的维度均对应一个特征，即等同于只设定了一个目标跟踪模板，则利用当前特征去更新特征库中与该当前特征匹配的特征，即为将当前特征作为新的目标跟踪模板。样本增广维度是指旋转、平移、放缩、模糊化等增广手段中的一种或多种。
作为上述实施例的一种改进，特征库中针对每个样本增广维度均构建该维度对应的特征队列，相应地，将当前特征增加到特征库中的另一种具体实施过程为：
若特定特征队列的长度已达到第一预设数量，则将该队列中的第一个特征排出，再将当前特征添加到特征库内的该特定特征队列中，否则将当前特征直接添加到特征库内的该特征队列中，其中，特定特征队列为与当前特征匹配成功的特征库内特征所在的特征队列。
例如，将第一预设数量设定为5，若特定特征队列的长度已达到5个，则将队列中的第一个特征排出，再将当前特征添加到特征库内的该特定特征队列中。若特定特征队列的长度不满5个，则将当前特征直接添加到特征库内的该特定特征队列中。
此外，若样本增广采用S001至S005，则特征库Features中包括了旋转特征队列、平移特征队列、模糊化特征队列和放缩特征队列，可将特征已满5个的旋转特征队列表示为，/>表示旋转特征队列中的第一个特征，依次类推，/>表示旋转特征队列中的第五个特征，将特征已满5个的平移特征队列表示为/>，/>表示平移特征队列中的第一个特征，依次类推，/>表示平移特征队列中的第五个特征，将特征满5个的放缩特征队列表示为/>，/>表示放缩特征队列中的第一个特征，/>表示放缩特征队列的第五个特征，将特征已满5个的模糊化特征队列表示为/>，/>表示模糊化特征队列中的第一个特征，/>表示模糊化特征队列中的第五个特征。
作为上述实施例的另一种改进，当样本的区域截取采用S01至S02步骤时，子步骤S001的另一种具体实施过程为：
S0011.将样本对应的当前帧作为原图进行预设角度的旋转，将原图内同类目标的中心点映射到旋转图像中，旋转图像的宽度与原图的宽度保持一致，旋转图像的高度与原图的高度保持一致。进行预设角度的旋转采用的旋转矩阵优选为，其中，R表示旋转矩阵，/>表示预设的旋转角度。通过设置不同的旋转角度，可增广得到不同的旋转数据。
S0012.在原图旋转后，对原图旋转后的坐标系进行平移，得到上述同类目标中心点的新坐标点。通过对原图旋转后的坐标系进行平移，保证旋转图像左上角的坐标点为（0,0），若旋转矩阵优选为，坐标系平移后旋转图像内各个坐标点的坐标与原图的坐标变换关系可表示为变换矩阵/>，其中，/>表示该变换矩阵，/>表示平移量。例如，中心点的新坐标值可表示为，其中/>表示原图内同类目标的中心点坐标。
S0013.以上述同类目标中心点的新坐标点为中心，从旋转图像中截取得到旋转数据，旋转数据的区域长度为样本对应的ROI区域的长度，并且旋转数据的区域宽度为样本对应的ROI区域的宽度，即为：为得到旋转数据，从旋转图像中截取的区域范围与样本对应的ROI区域等长和等宽。
作为上述实施例的另一种改进，当样本的区域截取采用S01至S02步骤时，子步骤S002的另一种具体实施过程为：
S0021.将样本对应的当前帧作为原图进行同类目标各个坐标点的平移，得到平移图像，并且平移后的同类目标的各个坐标点在样本对应的ROI区域内；
S0022.截取平移图像在样本对应的ROI区域内的数据作为平移数据。
例如，同类目标在原图中的中心点进行平移后得到的新坐标点表示为，其中，/>，/>和/>均表示平移量。在根据式一确定ROI区域时，平移量/>的优选取值为/>，且平移量的优选取值为/>，/>为经验取值。
实施例二
本实施例提供了一种基于在线样本增广的目标跟踪装置，该装置基于实施例一提出的一种基于在线样本增广的目标跟踪方法，具体包括存储器和处理器，存储器用于保存权实施例一实现的一种基于在线样本增广的目标跟踪方法，处理器用于调用存储器内保存的该方法进行目标跟踪。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (10)
1.一种基于在线样本增广的目标跟踪方法，其特征在于，包括：
对视频帧进行目标检测，得到多个同类目标，并从同类目标中选取跟踪目标；
依据每个同类目标在当前帧中的位置，从当前帧中截取得到该同类目标的样本，并对各个样本执行样本增广，根据增广后的数据构建真伪数据库；
利用特征提取网络提取真伪数据库中每个数据的特征，形成特征库；
读取下一帧，利用特征提取网络提取跟踪目标邻域范围内的特征，并将该特征与特征库作匹配，若匹配成功，则将当前特征作为跟踪结果，并将当前特征增加到特征库中，否则执行下一步；
对当前帧进行目标检测，若检测到跟踪目标，且在利用特征提取网络提取得到该跟踪目标ROI区域内的特征后，将提取得到的该特征与特征库内的特征进行匹配的结果为匹配成功，则将当前特征作为跟踪结果，并将当前特征增加到特征库中，否则判定目标消失。
2.根据权利要求1所述的一种基于在线样本增广的目标跟踪方法，其特征在于，对视频帧进行目标检测时利用yolov5n目标检测模型。
3.根据权利要求1所述的一种基于在线样本增广的目标跟踪方法，其特征在于，所述特征提取网络为ResNet50网络。
4.根据权利要求1所述的一种基于在线样本增广的目标跟踪方法，其特征在于，所述对各个样本执行样本增广，具体为：
旋转样本，得到旋转数据；
平移样本，得到平移数据；
模糊化样本，得到模糊化数据；
放缩样本，得到放缩数据；
由旋转数据、平移数据、模糊化数据和放缩数据构成样本增广后数据。
5.根据权利要求4所述的一种基于在线样本增广的目标跟踪方法，其特征在于，所述依据每个同类目标在当前帧中的位置，从当前帧中截取得到该同类目标的样本，具体为：
依据每个同类目标在当前帧中的位置，根据该同类目标的大小计算得到对应的ROI区域，并从当前帧中截取该ROI区域作为该同类目标的样本，所述ROI区域的中心为该同类目标的中心点。
6.根据权利要求5所述的一种基于在线样本增广的目标跟踪方法，其特征在于，所述旋转样本，得到旋转数据，具体为：
将样本对应的当前帧作为原图进行预设角度的旋转，将原图内同类目标的中心点映射到旋转图像中，旋转图像的宽度与原图的宽度保持一致，旋转图像的高度与原图的高度保持一致；
在原图旋转后，对原图旋转后的坐标系进行平移，得到所述中心点的新坐标点；
以所述新坐标点为中心，从旋转图像中截取得到旋转数据，旋转数据的区域长度为样本对应的ROI区域的长度，且旋转数据的区域宽度为样本对应的ROI区域的宽度。
7.根据权利要求5所述的一种基于在线样本增广的目标跟踪方法，其特征在于，所述平移样本，得到平移数据，具体为：
将样本对应的当前帧作为原图进行同类目标各个坐标点的平移，得到平移图像，并且平移后的同类目标的各个坐标点在样本对应的ROI区域内；
截取平移图像在样本对应的ROI区域内的数据作为平移数据。
8.根据权利要求1所述的一种基于在线样本增广的目标跟踪方法，其特征在于，所述匹配为余弦相似度匹配。
9.根据权利要求1所述的一种基于在线样本增广的目标跟踪方法，其特征在于，
所述特征库中，根据每个样本增广的维度构建该维度对应的特征队列；
所述将当前特征增加到特征库中，具体为：
若特定特征队列的长度已达到第一预设数量，则将该队列中的第一个特征排出，再将当前特征添加到特征库内的该特定特征队列中，否则将当前特征直接添加到特征库内的该特定特征队列中，所述特定特征队列为与当前特征匹配成功的特征库内特征所在的特征队列。
10.一种基于在线样本增广的目标跟踪装置，其特征在于，包括存储器和处理器，所述存储器用于保存权利要求1-9项任一项所述的一种基于在线样本增广的目标跟踪方法，所述处理器用于调用存储器内保存的所述方法进行目标跟踪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310877601.XA CN116596958B (zh) | 2023-07-18 | 2023-07-18 | 一种基于在线样本增广的目标跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310877601.XA CN116596958B (zh) | 2023-07-18 | 2023-07-18 | 一种基于在线样本增广的目标跟踪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116596958A true CN116596958A (zh) | 2023-08-15 |
| CN116596958B CN116596958B (zh) | 2023-10-10 |
Family
ID=87594128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310877601.XA Active CN116596958B (zh) | 2023-07-18 | 2023-07-18 | 一种基于在线样本增广的目标跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116596958B (zh) |
Citations (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013023705A1 (en) * | 2011-08-18 | 2013-02-21 | Layar B.V. | Methods and systems for enabling creation of augmented reality content |
| US20180082430A1 (en) * | 2016-09-21 | 2018-03-22 | Verizon Patent And Licensing Inc. | Feature tracking and dynamic feature addition in an augmented reality environment |
| CN110033473A (zh) * | 2019-04-15 | 2019-07-19 | 西安电子科技大学 | 基于模板匹配和深度分类网络的运动目标跟踪方法 |
| US20190279387A1 (en) * | 2016-12-01 | 2019-09-12 | SZ DJI Technology Co., Ltd. | Method and system for detecting and tracking objects using characteristic points |
| CN110232704A (zh) * | 2019-06-14 | 2019-09-13 | 哈尔滨理工大学 | 基于最优特征的尺度自适应抗遮挡目标跟踪方法 |
| CN110516528A (zh) * | 2019-07-08 | 2019-11-29 | 杭州电子科技大学 | 一种基于运动背景下的动目标检测和跟踪方法 |
| CN111158561A (zh) * | 2019-12-03 | 2020-05-15 | 深圳传音控股股份有限公司 | 智能终端、视图裁剪方法及计算机可读存储介质 |
| CN111192294A (zh) * | 2019-12-30 | 2020-05-22 | 华中科技大学 | 一种基于目标检测的目标跟踪方法及系统 |
| WO2020155873A1 (zh) * | 2019-02-02 | 2020-08-06 | 福州大学 | 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
| CN111508002A (zh) * | 2020-04-20 | 2020-08-07 | 北京理工大学 | 一种小型低飞目标视觉检测跟踪系统及其方法 |
| CN111860504A (zh) * | 2020-07-20 | 2020-10-30 | 青岛科技大学 | 基于深度学习的视觉多目标跟踪方法及装置 |
| US20210011478A1 (en) * | 2016-03-01 | 2021-01-14 | SZ DJI Technology Co., Ltd. | Methods and systems for target tracking |
| CN112507953A (zh) * | 2020-12-21 | 2021-03-16 | 重庆紫光华山智安科技有限公司 | 一种目标搜索及追踪方法和装置及设备 |
| CN112597892A (zh) * | 2020-12-23 | 2021-04-02 | 重庆邮电大学 | 一种汽车座舱内遗留物检测系统及检测方法 |
| CN112699885A (zh) * | 2020-12-21 | 2021-04-23 | 杭州反重力智能科技有限公司 | 一种基于对抗生成网络gan的语义分割训练数据增广方法和系统 |
| US20210227132A1 (en) * | 2018-05-30 | 2021-07-22 | Arashi Vision Inc. | Method for tracking target in panoramic video, and panoramic camera |
| CN113705349A (zh) * | 2021-07-26 | 2021-11-26 | 电子科技大学 | 一种基于视线估计神经网络的注意力量化分析方法及系统 |
| CN114764820A (zh) * | 2022-04-06 | 2022-07-19 | 上海交通大学 | 一种基于对比度的红外弱小目标检测、跟踪方法和系统 |
| CN114820705A (zh) * | 2022-04-22 | 2022-07-29 | 咪咕文化科技有限公司 | 运动目标的跟踪方法、装置、设备和介质 |
| CN115167285A (zh) * | 2022-08-03 | 2022-10-11 | 凯氟隆（厦门）密封件有限公司 | 切割路径生成方法、设备及程序产品 |
| WO2022217840A1 (zh) * | 2021-04-15 | 2022-10-20 | 南京莱斯电子设备有限公司 | 一种复杂背景下高精度多目标跟踪方法 |
| CN115861883A (zh) * | 2022-07-20 | 2023-03-28 | 国能宁夏灵武发电有限公司 | 一种多目标检测追踪方法 |
| CN115937251A (zh) * | 2022-11-03 | 2023-04-07 | 中国农业大学 | 一种用于虾类的多目标跟踪方法 |
| CN116126655A (zh) * | 2023-04-03 | 2023-05-16 | 常熟天地煤机装备有限公司 | 采煤机故障提示方法、系统、存储介质及设备 |
| CN116402862A (zh) * | 2023-06-09 | 2023-07-07 | 泉州装备制造研究所 | 多目标跟踪方法、装置、电子设备及存储介质 |
| CN116433728A (zh) * | 2023-03-27 | 2023-07-14 | 淮阴工学院 | 一种面向抖动模糊场景的DeepSORT目标跟踪方法 |
-
2023
- 2023-07-18 CN CN202310877601.XA patent/CN116596958B/zh active Active
Patent Citations (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013023705A1 (en) * | 2011-08-18 | 2013-02-21 | Layar B.V. | Methods and systems for enabling creation of augmented reality content |
| US20210011478A1 (en) * | 2016-03-01 | 2021-01-14 | SZ DJI Technology Co., Ltd. | Methods and systems for target tracking |
| US20180082430A1 (en) * | 2016-09-21 | 2018-03-22 | Verizon Patent And Licensing Inc. | Feature tracking and dynamic feature addition in an augmented reality environment |
| US20190279387A1 (en) * | 2016-12-01 | 2019-09-12 | SZ DJI Technology Co., Ltd. | Method and system for detecting and tracking objects using characteristic points |
| US20210227132A1 (en) * | 2018-05-30 | 2021-07-22 | Arashi Vision Inc. | Method for tracking target in panoramic video, and panoramic camera |
| WO2020155873A1 (zh) * | 2019-02-02 | 2020-08-06 | 福州大学 | 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
| CN110033473A (zh) * | 2019-04-15 | 2019-07-19 | 西安电子科技大学 | 基于模板匹配和深度分类网络的运动目标跟踪方法 |
| CN110232704A (zh) * | 2019-06-14 | 2019-09-13 | 哈尔滨理工大学 | 基于最优特征的尺度自适应抗遮挡目标跟踪方法 |
| CN110516528A (zh) * | 2019-07-08 | 2019-11-29 | 杭州电子科技大学 | 一种基于运动背景下的动目标检测和跟踪方法 |
| CN111158561A (zh) * | 2019-12-03 | 2020-05-15 | 深圳传音控股股份有限公司 | 智能终端、视图裁剪方法及计算机可读存储介质 |
| CN111192294A (zh) * | 2019-12-30 | 2020-05-22 | 华中科技大学 | 一种基于目标检测的目标跟踪方法及系统 |
| CN111508002A (zh) * | 2020-04-20 | 2020-08-07 | 北京理工大学 | 一种小型低飞目标视觉检测跟踪系统及其方法 |
| CN111860504A (zh) * | 2020-07-20 | 2020-10-30 | 青岛科技大学 | 基于深度学习的视觉多目标跟踪方法及装置 |
| CN112507953A (zh) * | 2020-12-21 | 2021-03-16 | 重庆紫光华山智安科技有限公司 | 一种目标搜索及追踪方法和装置及设备 |
| CN112699885A (zh) * | 2020-12-21 | 2021-04-23 | 杭州反重力智能科技有限公司 | 一种基于对抗生成网络gan的语义分割训练数据增广方法和系统 |
| CN112597892A (zh) * | 2020-12-23 | 2021-04-02 | 重庆邮电大学 | 一种汽车座舱内遗留物检测系统及检测方法 |
| WO2022217840A1 (zh) * | 2021-04-15 | 2022-10-20 | 南京莱斯电子设备有限公司 | 一种复杂背景下高精度多目标跟踪方法 |
| CN113705349A (zh) * | 2021-07-26 | 2021-11-26 | 电子科技大学 | 一种基于视线估计神经网络的注意力量化分析方法及系统 |
| CN114764820A (zh) * | 2022-04-06 | 2022-07-19 | 上海交通大学 | 一种基于对比度的红外弱小目标检测、跟踪方法和系统 |
| CN114820705A (zh) * | 2022-04-22 | 2022-07-29 | 咪咕文化科技有限公司 | 运动目标的跟踪方法、装置、设备和介质 |
| CN115861883A (zh) * | 2022-07-20 | 2023-03-28 | 国能宁夏灵武发电有限公司 | 一种多目标检测追踪方法 |
| CN115167285A (zh) * | 2022-08-03 | 2022-10-11 | 凯氟隆（厦门）密封件有限公司 | 切割路径生成方法、设备及程序产品 |
| CN115937251A (zh) * | 2022-11-03 | 2023-04-07 | 中国农业大学 | 一种用于虾类的多目标跟踪方法 |
| CN116433728A (zh) * | 2023-03-27 | 2023-07-14 | 淮阴工学院 | 一种面向抖动模糊场景的DeepSORT目标跟踪方法 |
| CN116126655A (zh) * | 2023-04-03 | 2023-05-16 | 常熟天地煤机装备有限公司 | 采煤机故障提示方法、系统、存储介质及设备 |
| CN116402862A (zh) * | 2023-06-09 | 2023-07-07 | 泉州装备制造研究所 | 多目标跟踪方法、装置、电子设备及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| HUI FANG等: ""Siam-Sort:Multi-Target Tracking in Video SAR Based on Tracking by Detection and Siamese Neywork"", 《REMOTE SENS》, vol. 15, no. 1, pages 1 - 26 * |
| JIANG TAO等: ""Multi-Type Object Tracking Based on Residual Neural Network Model"", 《SYMMETRY》, vol. 14, no. 8, pages 1689 - 1698 * |
| 冉欢欢等: ""融合摄像机位姿信息的模板匹配跟踪算法"", 《计算机应用》, vol. 33, no. 1, pages 57 - 60 * |
| 柳培忠等: ""一种基于多特征融合的视频目标跟踪方法"", 《智能系统学报》, vol. 9, no. 3, pages 319 - 324 * |
| 魏颖等: ""基于生成对抗网络的多目标行人跟踪算法"", 《东北大学学报(自然科学版)》, vol. 41, no. 12, pages 1673 - 1679 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116596958B (zh) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109903313B (zh) | 一种基于目标三维模型的实时位姿跟踪方法 | |
| US8903177B2 (en) | Method, computer program and device for hybrid tracking of real-time representations of objects in a sequence | |
| CN103426182B (zh) | 基于视觉注意机制的电子稳像方法 | |
| WO2022141178A1 (zh) | 图像处理方法及装置 | |
| CN107749987B (zh) | 一种基于块运动估计的数字视频稳像方法 | |
| CN111311647B (zh) | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 | |
| Lange et al. | Dld: A deep learning based line descriptor for line feature matching | |
| CN105160686B (zh) | 一种基于改进sift算子的低空多视角遥感影像匹配方法 | |
| CN108257153B (zh) | 一种基于方向梯度统计特征的目标跟踪方法 | |
| CN112037287A (zh) | 相机标定方法、电子设备及存储介质 | |
| CN114359665A (zh) | 全任务人脸识别模型的训练方法及装置、人脸识别方法 | |
| CN116051820A (zh) | 基于多模板的单目标检测方法 | |
| JP2019512821A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN113744307A (zh) | 一种基于阈值动态调整的图像特征点跟踪方法和系统 | |
| CN111950554A (zh) | 一种身份证识别方法、装置、设备及存储介质 | |
| CN111192308A (zh) | 图像处理方法及装置、电子设备和计算机存储介质 | |
| CN114638891A (zh) | 基于图像和点云融合的目标检测定位方法与系统 | |
| CN116596958B (zh) | 一种基于在线样本增广的目标跟踪方法及装置 | |
| CN114155285A (zh) | 基于灰度直方图的图像配准方法 | |
| CN113763274A (zh) | 一种联合局部相位锐度定向描述的多源图像匹配方法 | |
| CN113436251A (zh) | 一种基于改进的yolo6d算法的位姿估计系统及方法 | |
| CN110647925A (zh) | 基于改进的line-mod模板匹配的刚性物体识别方法及装置 | |
| CN110223319B (zh) | 基于改进几何粒子滤波的动态目标实时跟踪方法和系统 | |
| CN114022510A (zh) | 一种基于内容检索的目标长时跟踪方法 | |
| CN111461995A (zh) | 基于近似稠密光流法和基准帧更新的视频消旋方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |