CN115937263A - 基于视觉的目标跟踪方法、系统、电子设备及存储介质 - Google Patents

基于视觉的目标跟踪方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN115937263A
CN115937263A CN202310167678.8A CN202310167678A CN115937263A CN 115937263 A CN115937263 A CN 115937263A CN 202310167678 A CN202310167678 A CN 202310167678A CN 115937263 A CN115937263 A CN 115937263A
Authority
CN
China
Prior art keywords
target
image
tracking
moving target
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310167678.8A
Other languages
English (en)
Other versions
CN115937263B (zh
Inventor
赵欢
邱震钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Institute of Technology
Original Assignee
Nanchang Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Institute of Technology filed Critical Nanchang Institute of Technology
Priority to CN202310167678.8A priority Critical patent/CN115937263B/zh
Publication of CN115937263A publication Critical patent/CN115937263A/zh
Application granted granted Critical
Publication of CN115937263B publication Critical patent/CN115937263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本发明提供了一种基于视觉的目标跟踪方法、系统、电子设备及存储介质,所述方法包括基于目标视频获取当前帧图像;针对当前帧图像进行预处理获取预处理图片;根据预制帧差算法模型从预处理图片中检测得到运动目标的二值化图像;将二值化图像进行预制图像操作以提取当前帧图像中的运动目标;通过运动目标获取初始化目标的中心位置,并采用预制跟踪算法针对初始化目标的中心位置进行处理以实现实时跟踪。本申请结合图片预处理及深处理操作、预制帧差算法模型以及预制跟踪算法针对静止背景下单运动目标跟踪,降低运算成本的同时可以兼顾实现运动目标跟踪的稳定性强、准确性高及实时性好的特性。

Description

基于视觉的目标跟踪方法、系统、电子设备及存储介质
技术领域
本发明属于图像数据处理的技术领域,具体地涉及一种基于视觉的目标跟踪方法、系统、电子设备及存储介质。
背景技术
动态目标检测与跟踪是指对于已知的给定运动目标,通过数字图像处理的方法对视频图像序列分析处理,定位目标在每帧图像中的位置,从而得到其速度、方向、轨迹等运动状态信息的过程。随着信息技术的发展,基于机器视觉的目标检测与跟踪已广泛应用于视频监控、虚拟现实、人机交互、行星探测、行为理解等领域,实现了公共安全监控与管理,意外事件防范、检测及处理应急推演,老幼病残监护以及自主导航等功能,有着广阔的应用前景。
目前,基于视觉的目标跟踪技术的优劣主要从稳定性、准确性以及实时性进行评价。其中,稳定性是指能够适应环境的变化,抵抗部分干扰,对新目标的进入能自动识别,跟踪失败时能够自动的恢复的特性;准确性是指要求能够对目标进行准确的定位,进行准确的跟踪而不是简单的大体跟踪的特性;实时性是指能够对现实获得的视频进行实时处理的特性。为此,现有计算机视觉的目标跟踪技术为了能够兼顾上述三特性,往往在图像的处理、目标的检测以及目标的跟踪的逻辑中采用了诸多的繁琐的算法,并不能真正的兼顾上述三特性,往往顾此失彼;因此,稳定性弱、准确性低和/或实时性差一直是影响基于视觉的目标跟踪技术发展的制约因素。
因此,如何实现目标跟踪技术兼顾稳定性、准确性及实时性,一直是本领域技术人员亟待解决的课题。
发明内容
为了解决上述技术问题,本发明提供了一种基于视觉的目标跟踪方法、系统、电子设备及存储介质,结合图片预处理及深处理操作、预制帧差算法模型以及预制跟踪算法针对静止背景下单运动目标跟踪,降低运算成本的同时可以兼顾实现运动目标跟踪的稳定性强、准确性高及实时性好的特性。
第一方面,该发明提供一种基于视觉的目标跟踪方法,包括:
基于目标视频获取当前帧图像;
针对所述当前帧图像进行预处理获取预处理图片;其中,所述预处理包括灰度处理及去噪处理;
根据预制帧差算法模型从所述预处理图片中检测得到运动目标的二值化图像;
将所述二值化图像进行预制图像操作以提取所述当前帧图像中的运动目标;
通过所述运动目标获取初始化目标的中心位置,并采用预制跟踪算法针对所述初始化目标的中心位置进行处理以实现实时跟踪。
较佳地,所述针对所述当前帧图像进行预处理获取预处理图片的步骤具体包括:
将获取的当前帧图像通过加权平均法进行灰度化处理;
通过自适应滤波方法去除灰度化处理后的所述当前帧图像中的乘性噪音及高斯噪音。
较佳地,所述根据预制帧差算法模型从所述预处理图片中检测得到运动目标的二值化图像的步骤具体包括:
构建预制帧差算法模型;
通过所述预制帧差算法模型从所述当前帧图像中获取背景图像;
将所述当前帧图像与所述背景图像进行绝对差值运算公式得到运算值;
根据所述运算值与预设阈值的比较结果针对所述运算值进行赋值,得到运动目标的二值化图像。
较佳地,所述构建预制帧差算法模型的步骤具体包括:
选择所述目标视频的N帧图像采用平均法获取初始的背景图片;
根据帧差法将所述当前帧图像分辨出背景区域和目标区域;
利用前一帧的所述背景图片和所述当前帧图像的权值相加进行背景更新;
重复重置迭代参数针对所述背景图片进行不断迭代运算以构建预制帧差算法模型。
较佳地,所述将所述二值化图像进行预制图像操作以提取所述当前帧图像中的运动目标的步骤包括:
采用腐蚀与膨胀的级运算联优化所述二值化图像;
扫描优化后的所述二值化图像,将具有相同像素值的像素用同一标记记录;
将具有同一标记的像素进行连通以形成对应的若干连通区域;
根据所述若干连通区域面积的大小进行取舍以提取所述当前帧图像中的运动目标。
较佳地,所述通过所述运动目标获取初始化目标的中心位置,并采用预制跟踪算法针对所述初始化目标的中心位置进行处理以实现实时跟踪的步骤具体包括:
根据所述运动目标从所述目标视频获取的初始帧图片中得到运动目标区域;
根据所述运动目标区域确定所述运动目标的最小外接矩形及核函数宽带大小,得到所述运动目标的初始化目标;
根据所述初始帧图片的下一帧图片得到所述初始化目标的中心位置;
通过预制跟踪算法计算并更新所述初始化目标的中心位置以输出跟踪所述运动目标的跟踪矩形框实现对所述运动目标的跟踪。
较佳地,所述核函数宽带是指所述最小外接矩形的宽度。
第二方面,该发明提供一种基于视觉的目标跟踪系统,包括:
截取模块,用于基于目标视频获取当前帧图像;
预处理模块,用于针对所述当前帧图像进行预处理获取预处理图片;其中,所述预处理包括灰度处理及去噪处理;
检测模块,用于根据预制帧差算法模型从所述预处理图片中检测得到运动目标的二值化图像;
深处理模块,用于将所述二值化图像进行预制图像操作以提取所述当前帧图像中的运动目标;
跟踪模块,用于通过所述运动目标获取初始化目标的中心位置,并采用预制跟踪算法针对所述初始化目标的中心位置进行处理以实现实时跟踪。
较佳地,所述预处理模块包括:
灰度单元,用于将获取的当前帧图像通过加权平均法进行灰度化处理;
去噪单元,用于通过自适应滤波方法去除灰度化处理后的所述当前帧图像中的乘性噪音及高斯噪音。
较佳地,所述检测模块包括:
构建单元,用于构建预制帧差算法模型;
帧差单元,用于通过所述预制帧差算法模型从所述当前帧图像中获取背景图像;
差值单元,用于将所述当前帧图像与所述背景图像进行绝对差值运算公式得到运算值;
赋值单元,用于根据所述运算值与预设阈值的比较结果针对所述运算值进行赋值,得到运动目标的二值化图像。
较佳地,所述构建单元用于:
选择所述目标视频的N帧图像采用平均法获取初始的背景图片;
根据帧差法将所述当前帧图像分辨出背景区域和目标区域;
利用前一帧的所述背景图片和所述当前帧图像的权值相加进行背景更新;
重复重置迭代参数针对所述背景图片进行不断迭代运算以构建预制帧差算法模型。
较佳地,所述深处理模块包括:
优化单元,用于采用腐蚀与膨胀的级运算联优化所述二值化图像;
标记单元,用于扫描优化后的所述二值化图像,将具有相同像素值的像素用同一标记记录;
连通单元,用于将具有同一标记的像素进行连通以形成对应的若干连通区域;
提取单元,用于根据所述若干连通区域面积的大小进行取舍以提取所述当前帧图像中的运动目标。
较佳地,所述跟踪模块包括:
获取单元,用于根据所述运动目标从所述目标视频获取的初始帧图片中得到运动目标区域;
初始化单元,用于根据所述运动目标区域确定所述运动目标的最小外接矩形及核函数宽带大小,得到所述运动目标的初始化目标;
计算单元,用于根据所述初始帧图片的下一帧图片得到所述初始化目标的中心位置;
更新单元,用于通过预制跟踪算法计算并更新所述初始化目标的中心位置以输出跟踪所述运动目标的跟踪矩形框实现对所述运动目标的跟踪。
较佳地,所述核函数宽带是指所述最小外接矩形的宽度。
第三方面,本申请实施例提供了一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的基于视觉的目标跟踪方法。
第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所述的基于视觉的目标跟踪方法。
相比于现有技术,本申请提供的一种基于视觉的目标跟踪方法、系统、电子设备及存储介质,首先,针对从目标视频获取当前帧图像进行灰度处理及去噪处理得到预处理图片;其次,采用预制帧差算法模型从预处理图片中检测得到运动目标的二值化图像;再次,将二值化图像进行预制图像操作以提取当前帧图像中的运动目标;最后,通过运动目标获取初始化目标的中心位置,并采用预制跟踪算法针对初始化目标的中心位置进行处理以实现实时跟踪。上述步骤通过结合图片预处理及深处理操作、预制帧差算法模型以及预制跟踪算法针对静止背景下单运动目标跟踪,降低运算成本的同时可以兼顾实现运动目标跟踪的稳定性强、准确性高及实时性好的特性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的基于视觉的目标跟踪方法的流程图;
图2为本发明实施例1提供的基于视觉的目标跟踪方法步骤S102的具体流程图;
图3为本发明实施例1提供的基于视觉的目标跟踪方法步骤S103的具体流程图;
图4为本发明实施例1提供的基于视觉的目标跟踪方法步骤S104的具体流程图;
图5为本发明实施例1提供的基于视觉的目标跟踪方法步骤S105的具体流程图;
图6是本发明实施例2提供的与实施例1方法对应的基于视觉的目标跟踪系统结构框图;
图7是本发明实施例3提供的电子设备的硬件结构示意图。
附图标记说明:
10-截取模块;
20-预处理模块、21-灰度单元、22-去噪单元;
30-检测模块、31-构建单元、32-帧差单元、33-差值单元、34-赋值单元;
40-深处理模块、41-优化单元、42-标记单元、43-连通单元、44-提取单元;
50-跟踪模块、51-获取单元、52-初始化单元、53-计算单元、54-更新单元;
60-总线、61-处理器、62-存储器、63-通信接口。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
实施例1
具体而言,图1所示为本实施例所提供的一种基于视觉的目标跟踪方法的流程示意图。
如图1所示,本实施例的基于视觉的目标跟踪方法包括以下步骤:
S101,基于目标视频获取当前帧图像。
具体地,本申请的目标视频的获取采用现实生活中的监控装置(一般是固定摄像头)在摄像头静止下在固定的镜头范围内对运动物体的跟踪和监控。摄像头采用多目摄像机,是通过多台摄像机对运动物体从不同的方位进行多角度拍摄跟踪,具有更为广阔的视野;可以解决遮挡造成的目标丢失,获取运动物体更全面的信息。具体实践中,现有的多目摄像机获取的图像一般都是彩色图像,又称为三通道图像,具体由 R(红色)、G(绿色)、B(蓝色)三个不同的分量组成。
S102,针对所述当前帧图像进行预处理获取预处理图片;其中,所述预处理包括灰度处理及去噪处理。
具体地,在图像的采集、传输、处理的过程中,难免会受到各种因素的影响,如果图像的信噪比特别低会影响图像的像素值,这严重会影响后期的图像处理工作,因此在图像处理前,首先对图像进行预处理工作。具体实践中,彩色图像的灰度化是指把RGB三通道的数据变为单通道的数据图像,图像由彩色变为灰色,目的在于尽量的降低处理成本,减少算法的运算量,提高实时性是图像处理算法的重要性能要求。去噪处理的目的去除图像中夹杂的噪声,增强图像的像素对比度,提高图像的清晰度,增强图像的视觉效果。
进一步地,如图2所示,步骤S102的具体步骤包括:
S1021,将获取的当前帧图像通过加权平均法进行灰度化处理。
具体地,本实施例考虑到R、G、B比重不同带来的视觉效果差异,根据实际需求,划分三个分量在总分量中占的比率,通过加权相加的方式实现灰度化处理,从而把RGB三通道的数据变为单通道的数据图像,RGB彩色图像中含有三个分量,需要对这三个分量分别存储,若简化为一个分量,数据存储量会明显的减小。
S1022,通过自适应滤波方法去除灰度化处理后的所述当前帧图像中的乘性噪音及高斯噪音。
具体地,通常噪声来源有:图像数据获取的设备高温产生的自身噪声和图像数据的传输过程都会产生噪声;天气的改变、光照程度不同、其他无关目标出现带来的噪声。本实施例的自适应滤波方法考虑到各种噪声的性质不同,可以通过局部方差的大小差异,从而调整输出的结果,属于自适应算法。具体为维纳滤波,能够根据图像的局部变化进行自适应的滤波,当图像变化大的时候,进行较小的平滑,图像变化小的时候进行较大的平滑。
S103,根据预制帧差算法模型从所述预处理图片中检测得到运动目标的二值化图像。
具体地,运动目标检测是从视频图像中检测出运动目标的过程。本实施例是基于静止背景下的运动目标检测;背景静止,目标相对背景运动,利用背景与目标的相对运动关系和差异性,将运动目标从背景中分离出来。为了使在背景更新时中让目标信息尽量减少参与更新,提出了预制帧差算法模型,通过当前帧的图像与前一帧图像的差值来找运动区域,对运动区域的背景用上一时刻的背景代替,而非运动区域的背景则用当前帧和前一时刻背景帧权值相加进行更新,使背景随时间不断的更新。
进一步地,如图3所示,步骤S103的具体步骤包括:
S1031,构建预制帧差算法模型。
具体地,本实施例在传统帧差背景建模的基础上进行改进得到预制帧差算法模型,在背景更新中,运动目标区域用前一帧图像对应的背景替换;背景区域,用当前帧图像和上一时刻背景图像进行更新。
进一步地,所述构建预制帧差算法模型的步骤具体包括:
步骤1,选择所述目标视频的N帧图像采用平均法获取初始的背景图片。
具体地,平均法是指选择相邻的两帧图像,像素值有变动的区域是运动目标区域,像素值比较稳定的区域是背景区域。本实施例为取得完整的背景图像,可以选择目标视频内的N帧图像,利用相邻帧差法比较前后两帧图像,得到连续的背景序列。采用平均法将运动目标分割出去,然后对背景区域求平均,减少了运动目标对背景的影响,提取的背景效果更准确。
步骤2,根据帧差法将所述当前帧图像分辨出背景区域和目标区域。
具体地,帧差法的基础是相邻帧之间存在相关性和差异性,视频中背景的像素点位置与灰度值是基本保持不变的,运动目标的运动使相邻两帧图像灰度值存在差异,通过对相邻两帧图像做差分,可以迅速找到图像变化的区域,即目标区域。
步骤3,利用前一帧的所述背景图片和所述当前帧图像的权值相加进行背景更新。
具体地,基于初始的背景图片,针对当前帧图像分辨出背景区域和运动目标区域。目标区域的背景部分不需要更新,用前一帧图像的背景图像替换;目标区域,利用前一帧的背景和当前帧的图像的权值相加进行背景更新。
步骤4,重复重置迭代参数针对所述背景图片进行不断迭代运算以构建预制帧差算法模型。
S1032,通过所述预制帧差算法模型从所述当前帧图像中获取背景图像。
具体地,传统方法获得的初始图像含有目标信息,背景建模时物体运动的影子比较明显,建模不准确。通过本实施例的预制帧差算法模型,可以减少了运动信息的影响,得到的背景效果比较理想。
S1033,将所述当前帧图像与所述背景图像进行绝对差值运算公式得到运算值。
具体地,本实施例中,诸如背景图像为Bi(x,y),当前帧图像为fi(x,y),通过公式Di(x,y)=∣fi(x,y)-Bi(x,y)∣进行绝对差值运算得到运算值。
S1034,根据所述运算值与预设阈值的比较结果针对所述运算值进行赋值,得到运动目标的二值化图像。
具体地,根据实际情况选取预设阈值 T,当Di(x,y)大于T的置“1”,小于T的置“0”,得到目标的二值化图像。
S104,将所述二值化图像进行预制图像操作以提取所述当前帧图像中的运动目标。
具体地,具体实践中,从二值化图像中提取的运动目标可能会出现孔洞或者少量的孤立噪声点,孔洞现象影响目标完整性,给后期跟踪带来麻烦。并且噪声点可能会被误认为目标,造成跟踪结果不准确。为了解决这些问题,需要对二值化图像进行预制图像操作。
进一步地,如图4所示,步骤S104的具体步骤包括:
S1041,采用腐蚀与膨胀的级运算联优化所述二值化图像。
具体地,腐蚀操作可去除目标中的边缘像素,腐蚀后图像会明显变小。膨胀操作腐蚀操作作用相反,是增加图像中对象边缘的像素点,膨胀后对象会变大。其中,腐蚀操作规则:确定一个结构元素,结构元素可以是直线、菱形、圆盘、球形等,用结构元素去扫描图像中的所有元素,用结构元素的每个像素和其覆盖的区域的对应像素进行“与”操作,如果像素值都为“1”,则输出“1”。如果有一个是“0”,就输出“0”。
S1042,扫描优化后的所述二值化图像,将具有相同像素值的像素用同一标记记录。
具体地,目标区域面积一般较大,像素排列比较紧密,目标周围有许多面积较小的白点分散周围;扫描整个图像,将具有相同像素值的像素用同一标记记录。
S1043,将具有同一标记的像素进行连通以形成对应的若干连通区域。
具体地,通常像素是数字图像处理的最小单位,每个像素周围有 8 个连接的像素,根据每个像素周围像素数目的多少一般将邻接关系分为4邻接与8邻接。二值化图像中通常将目标区域像素值为 1,表现为白色区域,背景区域像素值为0,表现为黑色区域。图像中既有运动目标区域,也有其他微小的噪声或者无关小目标区域,需要对图像进行连通域分析,去除无关目标或噪声。
S1044,根据所述若干连通区域面积的大小进行取舍以提取所述当前帧图像中的运动目标。
具体地,设定一个阈值,计算每个连通区域的面积大小。使得面积大于阈值的目标区域留下,面积小于阈值的噪声区域去掉。使图像中只有目标区域,去除无关的区域。
S105,通过所述运动目标获取初始化目标的中心位置,并采用预制跟踪算法针对所述初始化目标的中心位置进行处理以实现实时跟踪。
具体地,实时跟踪是指在运动目标检测阶段,将运动目标从视频图像序列中分割出来。在检测的基础上,在运动目标跟踪阶段,在时间轴上,确定跟踪目标,寻找目标在各帧中的位置,将视频序列每一帧中寻找与运动目标最相似的目标,关联起来。
进一步地,如图5所示,步骤S105的具体步骤包括:
S1051,根据所述运动目标从所述目标视频获取的初始帧图片中得到运动目标区域。
S1052,根据所述运动目标区域确定所述运动目标的最小外接矩形及核函数宽带大小,得到所述运动目标的初始化目标。
具体地,运动目标区域一般选择用矩形框标记,该区域是核函数作用的区域,矩形区域宽度等于核函数宽带大小。选择矩形框的中心作为目标的中心点,通过核函数对中心点周围的像素赋予不同的权值,距离中心点越近的赋予的权值越大,说明其贡献大。
S1053,根据所述初始帧图片的下一帧图片得到所述初始化目标的中心位置。
具体地,本实施例中,中心位置的计算方法通过计算目标区域内每个颜色分组的质心得到。通过计算每个颜色分组的质心位置,融入了像素的位置信息,使跟踪更加的精确与迅速。
S1054,通过预制跟踪算法计算并更新所述初始化目标的中心位置以输出跟踪所述运动目标的跟踪矩形框实现对所述运动目标的跟踪。
具体地,本实施例中采取迭代运算方式,通过上一帧的中心位置,经过一次计算就能得到下一帧目标的中心位置。本运算方式计算速度显著提高,并且可自动的跟踪运动目标,避免了人工参与带来的误差,是智能化自动跟踪的要求,使得跟踪更加精确。
综上所述,首先针对从目标视频获取当前帧图像进行灰度处理及去噪处理得到预处理图片;其次采用预制帧差算法模型从预处理图片中检测得到运动目标的二值化图像;再次将二值化图像进行预制图像操作以提取当前帧图像中的运动目标;最后通过运动目标获取初始化目标的中心位置,并采用预制跟踪算法针对初始化目标的中心位置进行处理以实现实时跟踪。上述步骤通过结合图片预处理及深处理操作、预制帧差算法模型以及预制跟踪算法针对静止背景下单运动目标跟踪,降低运算成本的同时可以兼顾实现运动目标跟踪的稳定性强、准确性高及实时性好的特性。
实施例2
本实施例提供了与实施例1所述方法相对应的系统的结构框图。图6是根据本申请实施例的基于视觉的目标跟踪系统的结构框图,如图6所示,该系统包括:
截取模块10,用于基于目标视频获取当前帧图像;
预处理模块20,用于针对所述当前帧图像进行预处理获取预处理图片;其中,所述预处理包括灰度处理及去噪处理;
检测模块30,用于根据预制帧差算法模型从所述预处理图片中检测得到运动目标的二值化图像;
深处理模块40,用于将所述二值化图像进行预制图像操作以提取所述当前帧图像中的运动目标;
跟踪模块50,用于通过所述运动目标获取初始化目标的中心位置,并采用预制跟踪算法针对所述初始化目标的中心位置进行处理以实现实时跟踪。
较佳地,所述预处理模块20包括:
灰度单元21,用于将获取的当前帧图像通过加权平均法进行灰度化处理;
去噪单元22,用于通过自适应滤波方法去除灰度化处理后的所述当前帧图像中的乘性噪音及高斯噪音。
较佳地,所述检测模块30包括:
构建单元31,用于构建预制帧差算法模型;
帧差单元32,用于通过所述预制帧差算法模型从所述当前帧图像中获取背景图像;
差值单元33,用于将所述当前帧图像与所述背景图像进行绝对差值运算公式得到运算值;
赋值单元34,用于根据所述运算值与预设阈值的比较结果针对所述运算值进行赋值,得到运动目标的二值化图像。
较佳地,所述构建单元31用于:
选择所述目标视频的N帧图像采用平均法获取初始的背景图片;
根据帧差法将所述当前帧图像分辨出背景区域和目标区域;
利用前一帧的所述背景图片和所述当前帧图像的权值相加进行背景更新;
重复重置迭代参数针对所述背景图片进行不断迭代运算以构建预制帧差算法模型。
较佳地,所述深处理模块40包括:
优化单元41,用于采用腐蚀与膨胀的级运算联优化所述二值化图像;
标记单元42,用于扫描优化后的所述二值化图像,将具有相同像素值的像素用同一标记记录;
连通单元43,用于将具有同一标记的像素进行连通以形成对应的若干连通区域;
提取单元44,用于根据所述若干连通区域面积的大小进行取舍以提取所述当前帧图像中的运动目标。
较佳地,所述跟踪模块50包括:
获取单元51,用于根据所述运动目标从所述目标视频获取的初始帧图片中得到运动目标区域;
初始化单元52,用于根据所述运动目标区域确定所述运动目标的最小外接矩形及核函数宽带大小,得到所述运动目标的初始化目标;其中,所述核函数宽带是指所述最小外接矩形的宽度;
计算单元53,用于根据所述初始帧图片的下一帧图片得到所述初始化目标的中心位置;
更新单元54,用于通过预制跟踪算法计算并更新所述初始化目标的中心位置以输出跟踪所述运动目标的跟踪矩形框实现对所述运动目标的跟踪。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
实施例3
结合图1所描述的基于视觉的目标跟踪方法可以由电子设备来实现。图7为根据本实施例的电子设备的硬件结构示意图。
电子设备可以包括处理器61以及存储有计算机程序指令的存储器62。
具体地,上述处理器61可以包括中央处理器(CPU),或者特定集成电路(Application SpecificIntegrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器62可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器62可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerialBus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器62可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器62可在数据处理装置的内部或外部。在特定实施例中,存储器62是非易失性(Non-Volatile)存储器。在特定实施例中,存储器62包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(Random Access Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(ProgrammableRead-Only Memory,简称为PROM)、可擦除PROM(ErasableProgrammable Read-Only Memory,简称为EPROM)、电可擦除PROM(Electrically ErasableProgrammableRead-Only Memory,简称为EEPROM)、电可改写ROM(Electrically AlterableRead-Only Memory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-Access Memory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random AccessMemory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date OutDynamicRandom Access Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous DynamicRandom-Access Memory,简称SDRAM)等。
存储器62可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器61所执行的可能的计算机程序指令。
处理器61通过读取并执行存储器62中存储的计算机程序指令,以实现上述实施例1的基于视觉的目标跟踪方法。
在其中一些实施例中,电子设备还可包括通信接口63和总线60。其中,如图7所示,处理器61、存储器62、通信接口63通过总线60连接并完成相互间的通信。
通信接口63用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口63还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线60包括硬件、软件或两者,将设备的部件彼此耦接在一起。总线60包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线60可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry StandardArchitecture,简称为EISA)总线、前端总线(FrontSide Bus,简称为FSB)、超传输(HyperTransport,简称为HT)互连、工业标准架构(IndustryStandard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(MicroChannelArchitecture,简称为MCA)总线、外围组件互连(PeripheralComponentInterconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SerialAdvanced Technology Attachment,简称为SATA)总线、视频电子标准协会局部(VideoElectronics Standards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线60可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该电子设备可以基于获取到基于视觉的目标跟踪系统,执行本申请实施例1的基于视觉的目标跟踪方法。
另外,结合上述实施例1的基于视觉的目标跟踪方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例1的基于视觉的目标跟踪方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于视觉的目标跟踪方法,其特征在于,包括:
基于目标视频获取当前帧图像;
针对所述当前帧图像进行预处理获取预处理图片;其中,所述预处理包括灰度处理及去噪处理;
根据预制帧差算法模型从所述预处理图片中检测得到运动目标的二值化图像;
将所述二值化图像进行预制图像操作以提取所述当前帧图像中的运动目标;
通过所述运动目标获取初始化目标的中心位置,并采用预制跟踪算法针对所述初始化目标的中心位置进行处理以实现实时跟踪。
2.根据权利要求1所述的基于视觉的目标跟踪方法,其特征在于,所述针对所述当前帧图像进行预处理获取预处理图片的步骤具体包括:
将获取的当前帧图像通过加权平均法进行灰度化处理;
通过自适应滤波方法去除灰度化处理后的所述当前帧图像中的乘性噪音及高斯噪音。
3.根据权利要求1所述的基于视觉的目标跟踪方法,所述根据预制帧差算法模型从所述预处理图片中检测得到运动目标的二值化图像的步骤具体包括:
构建预制帧差算法模型;
通过所述预制帧差算法模型从所述当前帧图像中获取背景图像;
将所述当前帧图像与所述背景图像进行绝对差值运算公式得到运算值;
根据所述运算值与预设阈值的比较结果针对所述运算值进行赋值,得到运动目标的二值化图像。
4.根据权利要求3所述的基于视觉的目标跟踪方法,其特征在于,所述构建预制帧差算法模型的步骤具体包括:
选择所述目标视频的N帧图像采用平均法获取初始的背景图片;
根据帧差法将所述当前帧图像分辨出背景区域和目标区域;
利用前一帧的所述背景图片和所述当前帧图像的权值相加进行背景更新;
重复重置迭代参数针对所述背景图片进行不断迭代运算以构建预制帧差算法模型。
5.根据权利要求1所述的基于视觉的目标跟踪方法,其特征在于,所述将所述二值化图像进行预制图像操作以提取所述当前帧图像中的运动目标的步骤包括:
采用腐蚀与膨胀的级运算联优化所述二值化图像;
扫描优化后的所述二值化图像,将具有相同像素值的像素用同一标记记录;
将具有同一标记的像素进行连通以形成对应的若干连通区域;
根据所述若干连通区域面积的大小进行取舍以提取所述当前帧图像中的运动目标。
6.根据权利要求1所述的基于视觉的目标跟踪方法,其特征在于,所述通过所述运动目标获取初始化目标的中心位置,并采用预制跟踪算法针对所述初始化目标的中心位置进行处理以实现实时跟踪的步骤具体包括:
根据所述运动目标从所述目标视频获取的初始帧图片中得到运动目标区域;
根据所述运动目标区域确定所述运动目标的最小外接矩形及核函数宽带大小,得到所述运动目标的初始化目标;
根据所述初始帧图片的下一帧图片得到所述初始化目标的中心位置;
通过预制跟踪算法计算并更新所述初始化目标的中心位置以输出跟踪所述运动目标的跟踪矩形框实现对所述运动目标的跟踪。
7.根据权利要求6所述的基于视觉的目标跟踪方法,其特征在于,所述核函数宽带是指所述最小外接矩形的宽度。
8.一种基于视觉的目标跟踪系统,其特征在于,包括:
截取模块,用于基于目标视频获取当前帧图像;
预处理模块,用于针对所述当前帧图像进行预处理获取预处理图片;其中,所述预处理包括灰度处理及去噪处理;
检测模块,用于根据预制帧差算法模型从所述预处理图片中检测得到运动目标的二值化图像;
深处理模块,用于将所述二值化图像进行预制图像操作以提取所述当前帧图像中的运动目标;
跟踪模块,用于通过所述运动目标获取初始化目标的中心位置,并采用预制跟踪算法针对所述初始化目标的中心位置进行处理以实现实时跟踪。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1~7中任一项所述的基于视觉的目标跟踪方法。
10.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1~7中任一项所述的基于视觉的目标跟踪方法。
CN202310167678.8A 2023-02-27 2023-02-27 基于视觉的目标跟踪方法、系统、电子设备及存储介质 Active CN115937263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310167678.8A CN115937263B (zh) 2023-02-27 2023-02-27 基于视觉的目标跟踪方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310167678.8A CN115937263B (zh) 2023-02-27 2023-02-27 基于视觉的目标跟踪方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115937263A true CN115937263A (zh) 2023-04-07
CN115937263B CN115937263B (zh) 2023-06-09

Family

ID=85820376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310167678.8A Active CN115937263B (zh) 2023-02-27 2023-02-27 基于视觉的目标跟踪方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115937263B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903119A (zh) * 2012-05-22 2013-01-30 北京国铁华晨通信信息技术有限公司 一种目标跟踪方法和装置
CN106204646A (zh) * 2016-07-01 2016-12-07 湖南源信光电科技有限公司 基于bp神经网络的多运动目标跟踪方法
CN106296725A (zh) * 2015-06-12 2017-01-04 富泰华工业(深圳)有限公司 运动目标实时检测与跟踪方法及目标检测装置
WO2017000466A1 (zh) * 2015-07-01 2017-01-05 中国矿业大学 一种基于光流法的运动目标跟踪方法及系统
CN107507221A (zh) * 2017-07-28 2017-12-22 天津大学 结合帧差法和混合高斯模型的运动目标检测与跟踪方法
CN108198206A (zh) * 2017-12-22 2018-06-22 湖南源信光电科技股份有限公司 基于多特征联合和Camshift算法结合的多目标跟踪方法
CN109102523A (zh) * 2018-07-13 2018-12-28 南京理工大学 一种运动目标检测和跟踪方法
CN109816692A (zh) * 2019-01-11 2019-05-28 南京理工大学 一种基于Camshift算法的运动目标跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903119A (zh) * 2012-05-22 2013-01-30 北京国铁华晨通信信息技术有限公司 一种目标跟踪方法和装置
CN106296725A (zh) * 2015-06-12 2017-01-04 富泰华工业(深圳)有限公司 运动目标实时检测与跟踪方法及目标检测装置
WO2017000466A1 (zh) * 2015-07-01 2017-01-05 中国矿业大学 一种基于光流法的运动目标跟踪方法及系统
CN106204646A (zh) * 2016-07-01 2016-12-07 湖南源信光电科技有限公司 基于bp神经网络的多运动目标跟踪方法
CN107507221A (zh) * 2017-07-28 2017-12-22 天津大学 结合帧差法和混合高斯模型的运动目标检测与跟踪方法
CN108198206A (zh) * 2017-12-22 2018-06-22 湖南源信光电科技股份有限公司 基于多特征联合和Camshift算法结合的多目标跟踪方法
CN109102523A (zh) * 2018-07-13 2018-12-28 南京理工大学 一种运动目标检测和跟踪方法
CN109816692A (zh) * 2019-01-11 2019-05-28 南京理工大学 一种基于Camshift算法的运动目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XI YANG ET AL: "Multi-frame co-saliency spatio-temporal regularization correlation filters for object tracking", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》, vol. 81, pages 1 - 11 *
张业亮: "视频监控中的运动目标跟踪与识别研究", 《中国优秀硕士学位论文全文数据库(电子期刊)》, vol. 2018, no. 02 *

Also Published As

Publication number Publication date
CN115937263B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN107833220B (zh) 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN108550161B (zh) 一种尺度自适应核相关滤波快速目标跟踪方法
CN109978890B (zh) 基于图像处理的目标提取方法、装置及终端设备
CN108765465B (zh) 一种无监督sar图像变化检测方法
CN114418957A (zh) 基于机器人视觉的全局和局部二值模式图像裂缝分割方法
CN108629343B (zh) 一种基于边缘检测和改进Harris角点检测的车牌定位方法和系统
CN108596923B (zh) 三维数据的获取方法、装置以及电子设备
JP2024050880A (ja) 文字分割方法、装置、および、コンピュータ可読記憶媒体
CN110415208A (zh) 一种自适应目标检测方法及其装置、设备、存储介质
CN111027546A (zh) 一种字符分割方法、装置以及计算机可读存储介质
CN109785356B (zh) 一种视频图像的背景建模方法
CN113780110A (zh) 一种图像序列中弱小目标实时检测方法及设备
CN111369570B (zh) 一种视频图像的多目标检测跟踪方法
CN116228780B (zh) 基于计算机视觉的硅片缺陷检测方法及系统
CN114359412A (zh) 一种面向建筑数字孪生的相机外参自动标定方法及系统
CN112669301A (zh) 一种高铁底板脱漆故障检测方法
CN111709964A (zh) 一种pcba目标边缘检测方法
Liu et al. Splicing forgery exposure in digital image by detecting noise discrepancies
CN108765463B (zh) 一种结合区域提取与改进纹理特征的运动目标检测方法
CN114677289A (zh) 一种图像去雾方法、系统、计算机设备、存储介质及终端
CN115880683B (zh) 一种基于深度学习的城市内涝积水智能水位检测方法
CN112348762A (zh) 一种基于多尺度融合生成对抗网络的单幅图像去雨方法
CN109241865B (zh) 一种弱对比度交通场景下的车辆检测分割算法
CN115937263B (zh) 基于视觉的目标跟踪方法、系统、电子设备及存储介质
CN116385915A (zh) 一种基于时空信息融合的水面漂浮物目标检测与跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant