CN113421285B - 视觉目标跟踪系统及跟踪方法 - Google Patents
视觉目标跟踪系统及跟踪方法 Download PDFInfo
- Publication number
- CN113421285B CN113421285B CN202110737769.1A CN202110737769A CN113421285B CN 113421285 B CN113421285 B CN 113421285B CN 202110737769 A CN202110737769 A CN 202110737769A CN 113421285 B CN113421285 B CN 113421285B
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- distance
- original
- targets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004364 calculation method Methods 0.000 claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 239000013598 vector Substances 0.000 claims description 76
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 11
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明提供了一种视觉目标跟踪系统及跟踪方法,所述视觉目标跟踪系统包括视频数据单元、目标检测单元、判断单元和距离计算单元,距离计算单元包括第一位置信息运算模块、第二位置信息运算模块和距离综合运算模块,解决了视觉目标跟踪的功耗高、结构复杂、处理时间长和效率低的问题,所述距离计算单元用于计算两个目标的距离,计算更准确、更可靠,距离计算单元结构简单,成本低,计算效率高,能快速、准确地计算出两个目标之间的距离。所述跟踪方法包括检测视频数据以获取若干原始目标和若干追踪目标,计算原始目标与追踪目标的距离,判断原始目标与追踪目标是否为同一目标。
Description
技术领域
本发明涉及视觉目标跟踪技术领域,尤其涉及一种视觉目标跟踪系统及跟踪方法。
背景技术
基于模型的跟踪方法是目前研究比较热门的方法,它根据原理可以分为生成式模型算法和判别式模型算法,生成式模型算法是通过在线或离线的学习建立目标的外观模型后,再在每一帧视频序列中计算与该模型最接近的位置视为结果坐标,而判别式模型算法采用的是对图像进行分类,把目标和背景进行分离,得到目标和背景的判别模型,并用学习的方法进行模型更新。
现有技术中,一般采用中央处理器(Central Processing Unit,CPU)或图形处理器(Graphics Processing Unit,GPU)完成目标跟踪的计算。然而,CPU和GPU并非单纯实现目标跟踪的装置,采用CPU或GPU完成标跟踪计算,需要消耗较多资源,并产生较高功耗,难以满足低功耗设备的设计要求。
公布号为CN 108320298 A的发明专利申请,公开了一种跟踪方法,该方法包括:从视频中读取当前帧图像;根据模板信息对所述当前帧图像执行视觉目标跟踪处理,其中,所述模板信息用于跟踪所述视频中待跟踪的视觉目标;其中,所述视觉目标跟踪处理包括:确定所述当前帧图像的置信图信息;识别所述当前帧图像中的被遮挡区域;根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。通过在视觉目标跟踪过程中计时为每个像素分配不同的匹配置信度,将低置信度分配给被噪声干扰的像素,结合置信度图与遮挡区域等确定跟踪结果区域信息,该跟踪方法在各种干扰的环境下都能取得很好的跟踪结果,大大提升了跟踪的准确率。但是,该专利的目的是提高复杂环境下的视觉目标跟踪的准确性,所述视觉目标跟踪处理包括:确定所述当前帧图像的置信图信息;识别所述当前帧图像中的被遮挡区域;根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息,结构复杂,视觉目标跟踪处理时间较长,效率较低。
因此,有必要提供一种视觉目标跟踪系统及跟踪方法以解决上述的现有技术中存在的问题。
发明内容
本发明的目的在于提供一种视觉目标跟踪系统及跟踪方法,以解决视觉目标跟踪系统功耗高、结构复杂、处理时间长和效率低的问题。
为实现上述目的,本发明的所述视觉目标跟踪系统包括视频数据单元、目标检测单元、判断单元和距离计算单元;所述视频数据单元连接所述目标检测单元,所述目标检测单元连接所述距离计算单元,所述判断单元连接所述目标检测单元和所述距离计算单元;
所述视频数据单元用于提供视频数据,所述目标检测单元用于检测所述视频数据单元内的视频数据,以获取若干原始目标和若干追踪目标;所述距离计算单元用于计算所述原始目标与所述追踪目标的距离;所述判断单元用于判断所述追踪目标与所述原始目标是否为同一目标;
所述距离计算单元包括:
第一位置信息运算模块,用于计算所述原始目标与所述追踪目标的第一距离矢量的平方;
第二位置信息运算模块,用于计算所述原始目标与所述追踪目标的第二距离矢量的平方;
距离综合运算模块,所述距离综合运算模块的输入端连接所述第一位置信息运算模块的输出端和第二位置信息运算模块的输出端,用于计算所述原始目标与追踪目标的距离的平方。
本发明的所述视觉目标跟踪系统的有益效果在于:
通过目标检测单元检测视频数据获取若干原始目标和若干追踪目标,通过所述距离计算单元能快速算出原始目标与追踪目标之间的距离,通过判断单元判断与所述原始目标为同一目标的追踪目标。达到了视觉目标跟踪的目的,不需要对图像进行特殊处理,所述视觉目标跟踪系统结构简单,成本低,由于计算步骤少,因此具有功耗低、计算原始目标的同一目标时间短的优点,视觉目标跟踪效率高。解决了传统视觉目标跟踪系统功耗高、结构复杂、处理时间长和效率低的问题。所述距离计算单元先计算原始目标与追踪目标的第一距离矢量的平方和第二距离矢量的平方,然后通过距离综合运算模块综合计算原始目标与追踪目标的距离的平方,从而计算得出原始目标和追踪目标之间的距离,计算更准确、更可靠,距离计算单元结构简单,成本低,计算效率高,能快速、准确地计算出原始目标与追踪目标之间的距离。
优选地,所述第一位置信息运算模块包括第一距离矢量计算模块和第一乘法器,所述第一距离矢量计算模块的输出端与所述第一乘法器的输入端连接,所述第一乘法器的输出端与所述距离综合运算模块的第一输入端连接。
优选地,所述第一距离矢量计算模块包括,第一减法器、第二减法器和第三减法器,所述第三减法器的两个输入端分别连接所述第一减法器的输出端和所述第二减法器的输出端,所述第三减法器的输出端连接所述第一乘法器的输入端;
所述第一减法器依据所述原始目标的第一横坐标与所述追踪目标的第一横坐标计算并输出第一横坐标差值,所述第二减法器依据所述原始目标的第二横坐标与所述追踪目标的第二横坐标计算并输出第二横坐标差值;
所述第三减法器依据所述第一横坐标差值与所述第二横坐标差值,输出第一距离矢量至所述第一乘法器,所述第一乘法器输出所述第一距离矢量的平方。
优选地,所述第二位置信息运算模块包括第二距离矢量计算模块和第二乘法器,所述第二距离矢量计算模块的输出端与所述第二乘法器的输入端连接,所述第二乘法器的输出端与所述距离综合运算模块的第二输入端连接。
进一步优选地,所述第二距离矢量计算模块包括第四减法器、第五减法器和第六减法器,所述第六减法器的两个输入端分别连接所述第四减法器的输出端和所述第五减法器的输出端,所述第六减法器的输出端连接所述第二乘法器的输入端;
所述第四减法器依据所述原始目标的第一纵坐标与所述追踪目标的第一纵坐标计算并输出第一纵坐标差值,所述第五减法器依据所述原始目标的第二纵坐标与所述追踪目标的第二纵坐标计算并输出第二纵坐标差值;
所述第六减法器依据所述第一纵坐标差值与所述第二纵坐标差值,输出第二距离矢量至所述第二乘法器,所述第二乘法器输出所述第二距离矢量的平方。
优选地,所述距离综合运算模块包括汇总加法器和除法器,所述汇总加法器的两个输入端分别连接所述第一位置信息运算模块的输出端和第二位置信息运算模块的输出端,所述除法器的输入端与所述汇总加法器的输入端连接;
所述汇总加法器依据所述第一距离矢量的平方与所述第二距离矢量的平方计算得出距离矢量平方和;
所述除法器通过所述距离矢量平方和除以预设常数,得到所述原始目标与追踪目标的距离的平方。其有益效果在于:通过距离综合运算模块综合所述第一距离矢量的平方与所述第二距离矢量的平方,计算获取所述原始目标与追踪目标的距离的平方,从而进一步得到两个目标之间的距离,从而提高了视觉跟踪目标的距离计算的精度和速度。
本发明还提供一种跟踪方法,包括步骤:
S1:检测视频数据以获取第一帧图和第二帧图,并于第一帧图中获取若干原始目标,于所述第二帧图中获取若干追踪目标;
S2:计算所述原始目标与所述追踪目标的距离;
S3:判定与所述原始目标距离最近的所述追踪目标与所述原始目标为同一目标。
本发明的所述跟踪方法的有益效果在于:
通过计算第一帧图中原始目标与第二帧图中追踪目标的距离,从而依据距离的大小判断原始目标与追踪目标的相关性,判定与原始目标距离最近的追踪目标,与原始目标为同一目标。跟踪方法简单快捷,能高效地计算出追踪目标,提高了追踪效率。
优选地,步骤S2中包括:
S201:选择所述第一帧图内的任一原始目标,计算所述原始目标与所述第二帧图的所有追踪目标的距离;
S202:重新选择所述第一帧图中未计算的原始目标,计算所述未计算的原始目标与所述第二帧图的所有追踪目标的距离;
S203:循环步骤S202,直至所述第一帧图中所有的原始目标计算完毕。
优选地,步骤S201中,计算所述原始目标与所述第二帧图的所有追踪目标的距离包括步骤:
S2011:获取所述原始目标的中心坐标和所述追踪目标的中心坐标;
S2012:计算所述原始目标的中心坐标与所述第二帧图的所有追踪目标中心坐标的距离。其有益效果在于:将原始目标与追踪目标的距离计算转化为原始目标的中心坐标与追踪目标的中心坐标的距离计算,从而具象化目标和距离,可通过两点的坐标距离公式计算原始目标与追踪目标的距离,提高目标距离计算效率和准确度。
进一步优选地,步骤S2011还包括,通过坐标列表保存所述第一帧图内所有的原始目标的中心坐标和所述第二帧图中所有追踪目标的中心坐标;
所述计算原始目标与所述第二帧图中所有追踪目标的距离时,从所述坐标列表中取出所述原始目标的中心坐标和所述第二帧图中所有追踪目标的中心坐标;
所述计算原始目标与所述第二帧图的所有追踪目标的距离后,将计算后的所述原始目标的中心坐标从所述坐标列表中删除。其有益效果在于:每次计算一个原始目标与所有追踪目标的距离后,将原始目标的中心坐标删除,避免重复计算,提高原始目标的中心坐标的筛选和计算效率。
优选地,还包括步骤S4:设置跟踪距离阈值,当判断所述原始目标与所述追踪目标的最小距离大于所述跟踪距离阈值,则判定所述原始目标进入消失状态。
附图说明
图1为本发明实施例的视觉目标跟踪系统的结构框图;
图2为本发明实施例的距离计算单元结构示意图;
图3为本发明实施例的原始目标与追踪目标的示意图;
图4为本发明实施例的跟踪方法流程图;
图5为本发明实施例的计算原始目标与追踪目标距离的方法流程图;
图6为本发明实施例的计算原始目标与第二帧图中所有追踪目标的距离的方法流程图;
图7为本发明实施例的第一帧图和第二帧图示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。除非另外定义,此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。
针对现有技术存在的问题,本发明的实施例提供了一种视觉目标跟踪系统,图1为本发明的视觉目标跟踪系统的结构框图。参照图1,本发明的所述视觉目标跟踪系统包括视频数据单元2、目标检测单元3、判断单元4和本发明所述的距离计算单元1;所述视频数据单元2连接所述目标检测单元3,所述目标检测单元3连接所述距离计算单元1,所述判断单元4连接所述目标检测单元3和所述距离计算单元1;
所述目标检测单元3用于检测所述视频数据单元2中的视频数据,以获取第一帧图的若干原始目标和第二帧图的若干追踪目标;
所述距离计算单元1用于计算所述第一帧图的任一原始目标与所述第二帧图的所有追踪目标的距离;
所述判断单元4用于判断所述原始目标与所述原始目标是否为同一目标。
本发明的所述视觉目标跟踪系统的优点在于:
通过目标检测单元3检测视频数据获取第一帧图中的若干原始目标和第二帧图中若干追踪目标,通过所述距离计算单元1能快速算出原始目标与追踪目标之间的距离,通过判断单元4判断与原始目标距离最短的追踪目标与所述原始目标为同一目标。达到了视觉目标跟踪的目的,不需要对图像进行特殊处理,所述视觉目标跟踪系统结构简单,成本低,由于计算步骤少,因此功耗低、计算原始目标的同一目标时间短,视觉目标跟踪效率高。解决了传统视觉目标跟踪系统功耗高、结构复杂、处理时间长和效率低的问题。
图2为本发明的距离计算单元结构示意图。参照图2,本发明的所述距离计算单元1包括:
第一位置信息运算模块10,用于计算所述原始目标与所述追踪目标的第一距离矢量的平方;第二位置信息运算模块11,用于计算所述原始目标与所述追踪目标的第二距离矢量的平方;
距离综合运算模块12,所述距离综合运算模块的输入端连接所述第一位置信息运算模块的输出端和第二位置信息运算模块的输出端,依据所述第一距离矢量的平方与所述所述原始目标与所述追踪目标的第二距离矢量的平方计算所述原始目标与所述追踪目标的距离的平方。
本发明的所述视觉目标跟踪系统的优点在于:
通过目标检测单元3从所述视频数据单元中获取若干原始目标和若干追踪目标,再通过所述距离计算单元1计算原始目标与追踪目标的距离,通过运动趋势计算单元5计算原始目标的运动趋势,所述判断单元4依据原始目标与追踪目标的距离及原始目标的运动趋势来综合判断,与所述原始目标与追踪目标是否为同一目标。通过距离计算和运动趋势轨迹共同计算的方式,弥补了只通过距离计算和判断视觉追踪目标的缺陷,解决了两个目标之间距离较近或重叠而造成的视觉目标跟踪计算不准确的问题,提高了目标追踪的准确性。距离计算单元1通过距离综合运算模块12综合计算原始目标与追踪目标的第一距离矢量的平方和第二距离矢量的平方,计算原始目标与追踪目标的距离的平方,能快速、准确地计算出原始目标与追踪目标之间的距离。
作为本发明一种优选的实施方式,所述第一位置信息运算模块10包括第一距离矢量计算模块101和第一乘法器102,所述第一距离矢量计算模块101的输出端与所述第一乘法器102的输入端连接,所述第一乘法器102的输出端与所述距离综合运算模块12的第一输入端连接;所述第一距离矢量计算模块101输出第一距离矢量至所述第一乘法器102,所述第一乘法器102输出所述第一距离矢量的平方至所述距离综合运算模块12。
作为本发明一种优选的实施方式,所述第一距离矢量计算模块101包括,第一减法器1011、第二减法器1012和第三减法器1013,所述第三减法器1013的两个输入端分别连接所述第一减法器1011的输出端和所述第二减法器1012的输出端,所述第三减法器1013的输出端连接所述第一乘法器102的输入端;
所述第一减法器1011依据所述原始目标的第一横坐标和所述追踪目标的第一横坐标计算并输出第一横坐标差值,所述第二减法器1012依据所述原始目标的第二横坐标和所述追踪目标的第二横坐标计算并输出第二横坐标差值;
所述第三减法器1013依据所述第一横坐标差值和所述第二横坐标差值,输出所述第一距离矢量,第三减法器1013输出所述第一距离矢量至所述第一乘法器102,第一乘法器102使第一距离矢量自乘,得到第一距离矢量的平方。
作为本发明一种优选的实施方式,所述第二位置信息运算模块11包括第二距离矢量计算模块111和第二乘法器112,所述第二距离矢量计算模块111的输出端与所述第二乘法器112的输入端连接,所述第二乘法器112的输出端与所述距离综合运算模块12的第二输入端连接;所述第二距离矢量计算模块111输出第二距离矢量至所述第二乘法器112,所述第二乘法器112输出所述第二距离矢量的平方至所述距离综合运算模块12。
作为本发明一种优选的实施方式,所述第二距离矢量计算模块111包括第四减法器1111、第五减法器1112和第六减法器1113,所述第六减法器1113的两个输入端分别连接所述第四减法器1111的输出端和所述第五减法器1112的输出端,所述第六减法器1113的输出端连接所述第二乘法器112的输入端;
所述第四减法器1111依据所述原始目标的第一纵坐标和所述追踪目标的第一纵坐标计算并输出第一纵坐标差值,所述第五减法器1112依据所述原始目标的第二纵坐标和所述追踪目标的第二纵坐标计算并输出第二纵坐标差值;所述第六减法器1113依据所述第一纵坐标差值和第二纵坐标差值,输出所述第二距离矢量。
作为本发明一种优选的实施方式,所述距离综合运算模块12包括汇总加法器121和除法器122,所述汇总加法器121的两个输入端分别连接所述第一位置信息运算模块10的输出端和第二位置信息运算模块11的输出端,即汇总加法器121的两个输入端分别连接第一乘法器102的输出端和第二乘法器112的输出端。所述除法器122的输入端与所述汇总加法器121的输入端连接;
所述汇总加法器121依据第一距离矢量的平方及第二距离矢量的平方计算得出距离矢量平方和;所述除法器122通过所述位置差值和除以预设常数,得到所述原始目标与追踪目标的距离的平方。可补充的是,所述除法器122还设置一常数输入端1221,用于输入所述预设常数。其优点在于,通过距离综合运算模块12综合所述第一距离矢量的平方和第二距离矢量的平方,计算获取所述原始目标与追踪目标的距离的平方,从而进一步得到两个目标之间的距离,从而提高了视觉跟踪目标的距离计算的精度和速度。
作为本发明一种具体的实施方式,以矩形的原始目标和追踪目标为例,截取一个原始目标中的两个坐标为(ax1,ay1),(ax2,ay2);截取另一个追踪目标的两个坐标(bx1,by1),(bx2,by2),则经过所述距离计算单元1的计算,可得到原始目标和追踪目标的中心距离平方值,具体计算方式如下。
将ax1、bx1输入第一减法器1011,第一减法器1011输出第一位置信息的第一横坐标差值(bx1-ax1);将ax2、bx2输入第二减法器1012,第二减法器1012输出第二横坐标差值(bx2-ax2);第三减法器1013接收第一减法器1011输出的(bx1-ax1)及第二减法器1012输出的(bx2-ax2)后,输出第一距离矢量dx=(bx2-ax2)-(bx1-ax1);第一乘法器102使第一距离矢量dx自乘,得到第一距离矢量的平方dx×dx。
将ay1、by1输入第三减法器1111,第三减法器1111输出第一纵坐标差值(by1-ay1);将ay2、by2输入第四减法器1112,第四减法器1112输出第二纵坐标差值(by2-ay2);第六减法器1113接收第三减法器1111输出的(by1-ay1)、第四减法器1112输出的(by2-ay2)后,输出第二距离矢量dy=(by2-ay2)-(by1-ay1);第二乘法器112使第二距离矢量dy自乘,得到第二距离矢量的平方dy×dy。
所述第一乘法器102输出dx×dx至所述汇总加法器121,所述第二乘法器输出dy×dy至所述汇总加法器121,汇总加法器121输出dx×dx+dy×dy至所述除法器122。除法器122输出距离的平方D=(dx×dx+dy×dy)/4,其中4为预设常数。
依据上述计算步骤,依据原始目标的坐标(ax1,ay1),(ax2,ay2),和追踪目标的坐标(bx1,by1),(bx2,by2),实现了原始目标与追踪目标的距离的计算。距离计算模块1执行的计算公式如下:
dx=(bx2-ax2)-(bx1-ax1);
dy=(by2-ay2)-(by1-ay1);
D=(dx×dx+dy×dy)/4。
通过距离计算模块1计算出原始目标与追踪目标的距离的平方,避免得出负数距离值,便于比较。原始目标与追踪目标的实际距离为距离的平方的开平方,即原始目标与追踪目标的实际距离d=√D。
图3为本发明一种具体实施例中的原始目标与追踪目标的示意图。图3中a1,a2,a3为第一帧图中的若干原始目标,b1、b2、b3为第二帧图中的若干追踪目标。依次计算原始目标a1与追踪目标b1、b2、b3的距离,原始目标a2与追踪目标b1、b2、b3的距离,原始目标a3与追踪目标b1、b2、b3的距离。得到表1所示的原始目标与追踪目标的距离统计表格。
表1
目标编号 | b1 | b2 | b3 |
a1 | 4000 | 200 | 5000 |
a2 | 150 | 4000 | 4000 |
a3 | 2000 | 2000 | 300 |
经过表格的比对,上述表格第二排中,原始目标a1与追踪目标b2距离最短,因此原始目标a1与目标追踪目标b2为同一目标;
上述表格第三排中,原始目标a2与追踪目标b1距离最短,因此,原始目标a2与追踪目标b1为同一目标;
上述表格第四排中,原始目标a3与追踪目标b3距离最短,因此原始目标a3与追踪目标b3为同一目标,实现目标的跟踪。
本发明还提供一种跟踪方法,图4为本发明的跟踪方法流程图。参照图4本发明的所述跟踪方法包括步骤:
S1:检测视频数据以获取第一帧图和第二帧图,并于第一帧图中获取若干原始目标,于所述第二帧图中获取若干追踪目标;
S2:计算所述原始目标与所述追踪目标的距离;
S3:判断与所述原始目标距离最近的所述追踪目标与所述原始目标为同一目标。
还包括步骤S4:设置跟踪距离阈值,当判断所述原始目标与所述追踪目标的最小距离大于所述跟踪距离阈值,则判定所述原始目标进入消失状态。
本发明的所述跟踪方法的优点在于:
通过计算第一帧图中原始目标与第二帧图中追踪目标的距离,从而依据距离的大小判断原始目标与追踪目标的相关性,判断与原始目标距离最近的追踪目标与原始目标为同一目标。跟踪方法简单快捷,能高效地计算出追踪目标,提高了追踪效率。
作为本发明一种优选的实施方式,图5为本发明的计算原始目标与追踪目标距离的方法流程图。参照图5,步骤S2中包括:
S201:选择所述第一帧图内的任一原始目标,计算所述原始目标与所述第二帧图的所有追踪目标的距离;
S202:重新选择所述第一帧图中未计算的原始目标,计算所述未计算的原始目标与所述第二帧图的所有追踪目标的距离;
S203:循环步骤S202,直至所述第一帧图中所有的原始目标计算完毕。
作为本发明一种优选的实施方式,图6为本发明的计算原始目标与第二帧图中所有追踪目标的距离的方法流程图。参照图6,步骤S201中,计算所述原始目标与所述第二帧图的所有追踪目标的距离包括步骤:
S2011:获取所述原始目标的中心坐标和所述追踪目标的中心坐标;
S2012:计算所述原始目标的中心坐标与所述第二帧图内所有的追踪目标的中心坐标的距离。其优点在于:将原始目标与追踪目标的距离计算转化为原始目标的中心坐标与追踪目标的中心坐标的距离计算,从而具象化目标和距离,可通过两点的坐标距离公式计算原始目标与追踪目标的距离,提高目标距离计算效率和准确度。
进一步作为本发明一种优选的实施方式,步骤S2011还包括,通过坐标列表保存所述第一帧图内所有的原始目标的中心坐标和所述第二帧图中所有追踪目标的中心坐标;所述计算原始目标与所述第二帧图中所有追踪目标的距离时,从所述坐标列表中取出所述原始目标的中心坐标和所述第二帧图中所有追踪目标的中心坐标;所述计算原始目标与所述第二帧图的所有追踪目标的距离后,将计算后的所述原始目标的中心坐标从所述坐标列表中删除。其优点在于:每次计算一个原始目标与所有追踪目标的距离后,将原始目标的中心坐标删除,避免重复计算,提高原始目标的中心坐标的筛选和计算效率。
可补充的是,第一帧图为视频数据中的第n帧图,则第二帧图为视频数据中的第n+1帧图,其中的n≥2,且n为正整数,便于查找第一帧图的前一帧图。
作为本发明一种具体地的实施方式,下面结合具体例子介绍本发明的视觉准确目标追踪方法:
图7为本发明的第一帧图和第二帧图的示意图。参照图7,检测视频数据以获取第一帧图A和第二帧图B,检测第一帧图A以获取若干原始目标A1,A2…An,检测第二帧图B以获取若干追踪目标B1,B2…Bn,其中n为正整数。
具体的,获取原始目标A1,A2…An的中心位置,对若干原始目标中心位置分别标记为A1[X(n,1),Y(n,1)],A2[X(n,2),Y(n,2)]…An[X(n,n),Y(n,n)](图中未示出)。获取若干追踪目标的中心位置,并对若干追踪目标的中心位置分别标记为B1[X(n+1,1),Y(n+1,1)],B2[X(n+1,2),Y(n+1,2)]…Bn[X(n+1,n),Y(n+1,n)](图中未示出)。
依据上述的原始目标的中心位置坐标A1[X(n,1),Y(n,1)],A2[X(n,2),Y(n,2)]…An[X(n,n),Y(n,n)]和追踪目标的中心位置坐标B1[X(n+1,1),Y(n+1,1)],B2[X(n+1,2),Y(n+1,2)]…Bn[X(n+1,n),Y(n+1,n)]。依据上述中心位置坐标,计算第一原始目标A1与第二帧图B中所有的所述追踪目标B1,B2…Bn的距离,得到第一原始目标A1的若干跟踪距离d11,d12…d1n;计算第二原始目标A2与第二帧图B中所有的所述追踪目标B1,B2…Bn的距离,得到第二原始目标A2的若干跟踪距离d21,d22…d2n;依据上述方法,依次计算原始目标A3的若干跟踪距离d31,d32…d3n;…An的若干跟踪距离dn1,dn2…dnn。
预设跟踪距离阈值L,依据所述跟踪距离和所述根踪距离阈值L,判断并计算与所述原始目标为同一目标的追踪目标。
具体地,以第一原始目标A1为例,原始目标对应同一目标的追踪目标的判定分为以下步骤:
(Ⅰ)当判断有且仅有一个跟踪距离小于距离阈值L,如d1m≤L时,此时判定与原始目标A1距离最小的追踪目标Bm为原始目标A1的同一目标,即原始目标A1的追踪目标。
(Ⅱ)当判断第一原始目标A1所有的跟踪距离d11,d12…d1n均大于消失跟踪距离阈值L时,此时判定所述原始目标进入消失状态。原始目标进入消失状态的原因包括但不限于下述任意一种:
(1)原始目标被遮挡物遮挡,或因为光线原因而使第二帧图未记录到所述原始目标,导致所述原始目标进入消失状态;
(2)原始目标在第一帧图和第二帧图时间内,位移距离大于所述原始目标与所述第一帧图的边界的距离,即原始目标的追踪目标位移出了第二帧图的记录范围,导致所述原始目标进入消失状态。
虽然在上文中详细说明了本发明的实施方式,但是对于本领域的技术人员来说显而易见的是,能够对这些实施方式进行各种修改和变化。但是,应理解,这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且,在此说明的本发明可有其它的实施方式,并且可通过多种方式实施或实现。
Claims (10)
1.一种视觉目标跟踪系统,其特征在于,包括视频数据单元、目标检测单元、判断单元和距离计算单元,所述视频数据单元连接所述目标检测单元,所述目标检测单元连接所述距离计算单元,所述判断单元连接所述目标检测单元和所述距离计算单元;
所述视频数据单元用于提供视频数据,所述目标检测单元用于检测所述视频数据单元内的视频数据,以获取若干原始目标和若干追踪目标;所述距离计算单元用于计算所述原始目标与所述追踪目标的距离;所述判断单元用于判断所述追踪目标与所述原始目标是否为同一目标;
所述距离计算单元包括:
第一位置信息运算模块,用于计算所述原始目标与所述追踪目标的第一距离矢量的平方;
第二位置信息运算模块,用于计算所述原始目标与所述追踪目标的第二距离矢量的平方;
距离综合运算模块,所述距离综合运算模块的输入端连接所述第一位置信息运算模块的输出端和第二位置信息运算模块的输出端,用于计算所述原始目标与追踪目标的距离的平方;
所述距离综合运算模块包括汇总加法器和除法器,所述汇总加法器的两个输入端分别连接所述第一位置信息运算模块的输出端和第二位置信息运算模块的输出端,所述除法器的输入端与所述汇总加法器的输入端连接;
所述汇总加法器依据所述第一距离矢量的平方与所述第二距离矢量的平方计算得出距离矢量平方和;
所述除法器通过所述距离矢量平方和除以预设常数,得到所述原始目标与追踪目标的距离的平方。
2.如权利要求1所述的视觉目标跟踪系统,其特征在于,所述第一位置信息运算模块包括第一距离矢量计算模块和第一乘法器,所述第一距离矢量计算模块的输出端与所述第一乘法器的输入端连接,所述第一乘法器的输出端与所述距离综合运算模块的第一输入端连接。
3.如权利要求2所述的视觉目标跟踪系统,其特征在于,所述第一距离矢量计算模块包括,第一减法器、第二减法器和第三减法器,所述第三减法器的两个输入端分别连接所述第一减法器的输出端和所述第二减法器的输出端,所述第三减法器的输出端连接所述第一乘法器的输入端;
所述第一减法器依据所述原始目标的第一横坐标和所述追踪目标的第一横坐标计算并输出第一横坐标差值,所述第二减法器依据所述原始目标的第二横坐标和所述追踪目标的第二横坐标计算并输出第二横坐标差值;
所述第三减法器依据所述第一横坐标差值和所述第二横坐标差值,输出第一距离矢量至所述第一乘法器,所述第一乘法器输出所述第一距离矢量的平方。
4.如权利要求1所述的视觉目标跟踪系统,其特征在于,所述第二位置信息运算模块包括第二距离矢量计算模块和第二乘法器,所述第二距离矢量计算模块的输出端与所述第二乘法器的输入端连接,所述第二乘法器的输出端与所述距离综合运算模块的第二输入端连接。
5.如权利要求4所述的视觉目标跟踪系统,其特征在于,所述第二距离矢量计算模块包括第四减法器、第五减法器和第六减法器,所述第六减法器的两个输入端分别连接所述第四减法器的输出端和所述第五减法器的输出端,所述第六减法器的输出端连接所述第二乘法器的输入端;
所述第四减法器依据所述原始目标的第一纵坐标和所述追踪目标的第一纵坐标计算并输出第一纵坐标差值,所述第五减法器依据所述原始目标的第二纵坐标和所述追踪目标的第二纵坐标计算并输出第二纵坐标差值;
所述第六减法器依据所述第一纵坐标差值和所述第二纵坐标差值,输出第二距离矢量至所述第二乘法器,所述第二乘法器输出所述第二距离矢量的平方。
6.一种视觉目标跟踪方法,其特征在于,包括步骤:
S1:检测视频数据以获取第一帧图和第二帧图,并于第一帧图中获取若干原始目标,于所述第二帧图中获取若干追踪目标;
S2:计算所述原始目标与所述追踪目标的距离;
S3:判定与所述原始目标距离最近的追踪目标与所述原始目标为同一目标;
步骤S2包括:
计算所述原始目标与所述追踪目标的第一距离矢量的平方;
计算所述原始目标与所述追踪目标的第二距离矢量的平方;
依据所述第一距离矢量的平方与所述第二距离矢量的平方计算得出距离矢量平方和,通过所述距离矢量平方和除以预设常数,得到所述原始目标与追踪目标的距离的平方;
将所述原始目标与追踪目标的距离的平方开平方,得到所述原始目标与所述追踪目标的距离。
7.如权利要求6的所述视觉目标跟踪方法,其特征在于,步骤S2中包括:
S201:选择所述第一帧图内的任一原始目标,计算所述原始目标与所述第二帧图的所有追踪目标的距离;
S202:重新选择所述第一帧图中未计算的原始目标,计算所述未计算的原始目标与所述第二帧图的所有追踪目标的距离;
S203:循环步骤S202,直至所述第一帧图中所有的原始目标计算完毕。
8.如权利要求7的所述视觉目标跟踪方法,其特征在于,步骤S201中,计算所述原始目标与所述第二帧图的所有追踪目标的距离包括步骤:
S2011:获取所述原始目标的中心坐标和所述追踪目标的中心坐标;
S2012:计算所述原始目标的中心坐标与所述第二帧图的所有追踪目标的中心坐标与距离。
9.如权利要求8的所述视觉目标跟踪方法,其特征在于,步骤S2011还包括,通过坐标列表保存所述第一帧图内所有的原始目标的中心坐标和所述第二帧图中所有追踪目标的中心坐标;
所述计算原始目标与所述第二帧图中所有追踪目标的距离时,从所述坐标列表中取出所述原始目标的中心坐标和所述第二帧图中所有追踪目标的中心坐标;
所述计算原始目标与所述第二帧图的所有追踪目标的距离后,将计算后的所述原始目标的中心坐标从所述坐标列表中删除。
10.如权利要求6的所述视觉目标跟踪方法,其特征在于,还包括步骤S4:设置跟踪距离阈值,当判断所述原始目标与所述追踪目标的最小距离大于所述跟踪距离阈值,则判定所述原始目标进入消失状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110737769.1A CN113421285B (zh) | 2021-06-28 | 2021-06-28 | 视觉目标跟踪系统及跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110737769.1A CN113421285B (zh) | 2021-06-28 | 2021-06-28 | 视觉目标跟踪系统及跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113421285A CN113421285A (zh) | 2021-09-21 |
CN113421285B true CN113421285B (zh) | 2024-03-01 |
Family
ID=77717357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110737769.1A Active CN113421285B (zh) | 2021-06-28 | 2021-06-28 | 视觉目标跟踪系统及跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113421285B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101729792A (zh) * | 2008-10-27 | 2010-06-09 | 索尼株式会社 | 图像处理装置、图像处理方法和程序 |
CN107918765A (zh) * | 2017-11-17 | 2018-04-17 | 中国矿业大学 | 一种移动目标检测并追踪系统及其方法 |
CN109377512A (zh) * | 2018-09-07 | 2019-02-22 | 深圳市易成自动驾驶技术有限公司 | 目标跟踪的方法、装置和存储介质 |
CN109448018A (zh) * | 2018-09-18 | 2019-03-08 | 平安科技(深圳)有限公司 | 跟踪目标的定位方法、装置、设备及存储介质 |
CN111461086A (zh) * | 2020-03-18 | 2020-07-28 | 深圳北斗应用技术研究院有限公司 | 一种基于人头检测的人数统计方法和系统 |
CN111862154A (zh) * | 2020-07-13 | 2020-10-30 | 中移(杭州)信息技术有限公司 | 机器人视觉跟踪方法、装置、机器人及存储介质 |
CN112783175A (zh) * | 2021-01-04 | 2021-05-11 | 腾讯科技(深圳)有限公司 | 质心轨迹确定方法、装置、足式机器人、设备及介质 |
-
2021
- 2021-06-28 CN CN202110737769.1A patent/CN113421285B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101729792A (zh) * | 2008-10-27 | 2010-06-09 | 索尼株式会社 | 图像处理装置、图像处理方法和程序 |
CN107918765A (zh) * | 2017-11-17 | 2018-04-17 | 中国矿业大学 | 一种移动目标检测并追踪系统及其方法 |
CN109377512A (zh) * | 2018-09-07 | 2019-02-22 | 深圳市易成自动驾驶技术有限公司 | 目标跟踪的方法、装置和存储介质 |
CN109448018A (zh) * | 2018-09-18 | 2019-03-08 | 平安科技(深圳)有限公司 | 跟踪目标的定位方法、装置、设备及存储介质 |
CN111461086A (zh) * | 2020-03-18 | 2020-07-28 | 深圳北斗应用技术研究院有限公司 | 一种基于人头检测的人数统计方法和系统 |
CN111862154A (zh) * | 2020-07-13 | 2020-10-30 | 中移(杭州)信息技术有限公司 | 机器人视觉跟踪方法、装置、机器人及存储介质 |
CN112783175A (zh) * | 2021-01-04 | 2021-05-11 | 腾讯科技(深圳)有限公司 | 质心轨迹确定方法、装置、足式机器人、设备及介质 |
Non-Patent Citations (1)
Title |
---|
基于机器学习的人体目标检测技术研究;王晨路;《全国优秀博硕士学位论文全文库(硕士) 信息科技辑》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113421285A (zh) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109146912B (zh) | 一种基于目标性分析的视觉目标跟踪方法 | |
CN111640157B (zh) | 一种基于神经网络的棋盘格角点检测方法及其应用 | |
Hou et al. | Detection of the mobile object with camouflage color under dynamic background based on optical flow | |
CN106778712B (zh) | 一种多目标检测与跟踪方法 | |
WO2020082258A1 (zh) | 一种多目标实时跟踪方法、装置及电子设备 | |
CN110796687B (zh) | 天空背景红外成像多目标跟踪方法 | |
CN109086663B (zh) | 基于卷积神经网络的尺度自适应的自然场景文本检测方法 | |
CN113723190A (zh) | 一种面向同步移动目标的多目标跟踪方法 | |
Chen et al. | Using FTOC to track shuttlecock for the badminton robot | |
CN113421285B (zh) | 视觉目标跟踪系统及跟踪方法 | |
CN111768427B (zh) | 一种多运动目标跟踪方法、装置及存储介质 | |
CN113256686B (zh) | 视觉准确目标跟踪系统及方法 | |
CN111914832A (zh) | 一种rgb-d相机在动态场景下的slam方法 | |
Xu et al. | Pedestrian detection based on motion compensation and HOG/SVM classifier | |
Yang et al. | Contrast limited adaptive histogram equalization for an advanced stereo visual slam system | |
CN107194947B (zh) | 一种自适应自纠正的目标跟踪方法 | |
Wang et al. | Target tracking algorithm based on dynamic template and Kalman filter | |
Yi et al. | UCMCTrack: Multi-Object Tracking with Uniform Camera Motion Compensation | |
CN110298799B (zh) | 一种pcb图像定位校正方法 | |
An et al. | SDAT: Simultaneous detection and tracking of humans using Particle Swarm Optimization | |
Li et al. | Influence of Camera-LiDAR Configuration on 3D Object Detection for Autonomous Driving | |
CN108830281B (zh) | 一种基于局部变化检测和空间加权的重复图像匹配方法 | |
CN112633078A (zh) | 目标跟踪自校正方法、系统、介质、设备、终端及应用 | |
Takada et al. | Human tracking in crowded scenes using target information at previous frames | |
Lee et al. | Real-time rigid motion segmentation using grid-based optical flow |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |