CN102521580A - 实时目标匹配跟踪方法及系统 - Google Patents
实时目标匹配跟踪方法及系统 Download PDFInfo
- Publication number
- CN102521580A CN102521580A CN2011104329245A CN201110432924A CN102521580A CN 102521580 A CN102521580 A CN 102521580A CN 2011104329245 A CN2011104329245 A CN 2011104329245A CN 201110432924 A CN201110432924 A CN 201110432924A CN 102521580 A CN102521580 A CN 102521580A
- Authority
- CN
- China
- Prior art keywords
- target area
- image
- coupling
- real
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明提供一种实时目标匹配跟踪方法及系统。根据本发明的方法,先对摄取时间相近且摄取自同一地点的至少两幅图像中的每一幅所包含的像素点的特征信息进行分析,以便由每一幅图像中获取至少一个目标区域;接着,再基于每一个目标区域在各自所在图像中所占据的区域信息来确定一幅图像中的目标区域在其他幅图像中的匹配目标区域。本发明以目标在图像中所占据的区域作为跟踪对象,并基于一目标区域在自身所在图像中所占据的区域信息来确定该目标区域在其他幅图像中的匹配目标区域,由于无需采用现有提取目标不变特征的算法,因此相对于现有技术,本发明的方法复杂度低,易于实现对目标区域的实时跟踪,也能被应用于更多的监控场所。
Description
技术领域
本发明涉及智能监控领域,特别是涉及一种实时目标匹配跟踪方法及系统。
背景技术
随着网络技术和计算机图像处理技术地不断发展,基于视频的智能监控系统在道路交通、小区监控等场合的应用日益广泛。其中,智能交通监控系统主要涉及视频背景训练、运动目标检测、运动目标匹配跟踪、事件检测和目标识别等技术,其中主要对象是车辆,因此车辆匹配和跟踪技术是智能交通监控系统中的主要核心技术,其准确度和实时性决定了智能交通系统的推广应用程度。为了达到较好的匹配效果,目前大多数车辆匹配算法都是先对检测到的车辆对象提取平移、旋转、尺度缩放、视角变化、亮度变化、遮挡、噪声等不变性的特征,如:轮廓、直方图、SIFT等等,然后再采用某种距离度量函数进行匹配和跟踪,然而对这些保持不变的特征提取算法复杂度非常高、计算速度慢,需要耗费大量的CPU和内存,对于目前计算机的处理能力来说,很难同时支持四路、八路甚至十多路监控视频进行处理,从而导致很多智能交通系统仍处于实验室研究阶段,无法广泛地推广应用。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种简单易施的实时目标匹配跟踪方法及系统,以满足实时性需求。
为实现上述目的及其他相关目的,本发明提供一种实时目标匹配跟踪方法包括步骤:1)基于摄取时间相近且摄取自同一地点的至少两幅图像中的每一幅所包含的像素点的特征信息,来由每一幅图像中获取至少一个目标区域;2)基于每一个目标区域在各自所在图像中所占据的区域信息,来确定一幅图像中的目标区域在其他幅图像中的匹配目标区域。
优选地,所述步骤1)还包括步骤:基于预获取的高斯混合背景模型及摄取时间相近且摄取自同一地点的至少两幅图像中的每一幅所包含的像素点,来由每一幅图像中获取至少一个目标区域。
优选地,当一幅图像中的一个目标区域在其他一幅图像中的匹配目标区域有至少两个时,所述实时目标匹配跟踪方法还包括步骤:基于该至少两个匹配目标区域中的每一个所占据的区域信息,将包含于一匹配目标区域中的另一匹配目标区域不再作为该个目标区域的匹配目标区域。
优选地,当一幅图像中的一个目标区域在其他一幅图像中的匹配目标区域有至少两个时,所述实时目标匹配跟踪方法还包括步骤:基于该至少两个匹配目标区域中的每一个所占据的区域,将区域存在部分重叠的两个匹配目标区域合并后所形成的新区域作为该个目标区域的匹配目标区域。
优选地,当一个匹配目标区域在一幅图像中对应至少两个目标区域,且该个匹配目标区域所在的图像与该至少两个目标区域所在图像为连续两帧时,所述实时目标匹配跟踪方法还包括步骤:基于该至少两个目标区域中的每一个在所在图像中所占据的区域信息及该个匹配目标区域在所在图像中所占据的区域信息来计算该至少两个目标区域中的每一个与该个匹配目标区域的重叠度,并基于所计算出的重叠度来确定与该个匹配目标区域对应的目标区域。
优选地,所述实时目标匹配跟踪方法还包括步骤:当一幅图像中的一个目标区域在该幅图像之后的连续第一预定帧数的多幅图像中均没有匹配目标区域时,将该个目标区域作为丢失目标区域。
优选地,所述实时目标匹配跟踪方法还包括步骤:当一幅图像中的一个目标区域在该幅图像之前的连续第二预定帧数的多幅图像中均没有匹配目标区域时,将该个目标区域作为新目标区域。
基于上述目的,本发明还提供一种实时目标匹配跟踪系统包括:获取模块,用于基于摄取时间相近且摄取自同一地点的至少两幅图像中的每一幅所包含的像素点的特征信息,来由每一幅图像中获取至少一个目标区域;第一匹配模块,用于基于每一个目标区域在各自所在图像中所占据的区域信息,来确定一幅图像中的目标区域在其他幅图像中的匹配目标区域。
优选地,所述获取模块还包括:子获取模块,用于基于预获取的高斯混合背景模型及摄取时间相近且摄取自同一地点的至少两幅图像中的每一幅所包含的像素点的特征信息,来由每一幅图像中获取至少一个目标区域。
优选地,当一幅图像中的一个目标区域在其他一幅图像中的匹配目标区域有至少两个时,所述实时目标匹配跟踪系统还包括:删除模块,用于基于该至少两个匹配目标区域中的每一个所占据的区域,将包含于一匹配目标区域中的另一匹配目标区域不再作为该个目标区域的匹配目标区域。
优选地,当一幅图像中的一个目标区域在其他一幅图像中的匹配目标区域有至少两个时,所述实时目标匹配跟踪系统还包括:第二匹配模块,用于基于该至少两个匹配目标区域中的每一个所占据的区域,将区域存在部分重叠的两个匹配目标区域合并后所形成的新区域作为该个目标区域的匹配目标区域。
优选地,当一个匹配目标区域在一幅图像中对应至少两个目标区域,且该个匹配目标区域所在的图像与该至少两个目标区域所在图像为连续两帧时,所述实时目标匹配跟踪系统还包括:第三匹配模块,用于基于该至少两个目标区域中的每一个在所在图像中所占据的区域信息及该个匹配目标区域在所在图像中所占据的区域信息来计算该至少两个目标区域中的每一个与该个匹配目标区域的重叠度,并基于所计算出的重叠度来确定与该个匹配目标区域对应的目标区域。
优选地,所述实时目标匹配跟踪系统还包括:第一确定模块,用于当一幅图像中的一个目标区域在该幅图像之后的连续第一预定帧数的多幅图像中均没有匹配目标区域时,将该个目标区域作为丢失目标区域。
优选地,所述实时目标匹配跟踪系统还包括:第二确定模块,用于当一幅图像中的一个目标区域在该幅图像之前的连续第二预定帧数的多幅图像中均没有匹配目标区域时,将该个目标区域作为新目标区域。
如上所述,本发明的实时目标匹配跟踪方法及系统具有以下有益效果:以目标在图像中所占据的区域作为跟踪对象,并基于一目标区域在自身所在图像中所占据的区域信息来确定该目标区域在其他幅图像中的匹配目标区域,由于无需采用现有提取目标不变特征的算法,因此相对于现有技术,本发明的方法复杂度低,易于实现对目标区域的实时跟踪,也能被应用于更多的监控场所。
附图说明
图1显示为本发明的实时目标匹配跟踪方法的流程图。
图2显示为本发明的实时目标匹配跟踪方法获取一幅图像中的目标区域的示意图。
图3显示为本发明的实时目标匹配跟踪方法获取的目标区域y2在所在图像A2中所占据的区域信息示意图。
图4显示为本发明的实时目标匹配跟踪方法获取的目标区域y3在所在图像中A3中所占据的区域信息示意图。
图5显示为本发明的实时目标匹配跟踪方法获取的一个目标区域在其他一幅图像中有两个匹配目标区域时的示意图。
图6显示为本发明的实时目标匹配跟踪方法获取的一个目标区域在其他一幅图像中有两个匹配目标区域时的示意图。
图7显示为本发明的实时目标匹配跟踪方法所确定的一个目标区域与该目标区域对应的匹配目标区域的重叠区的示意图。
图8显示为本发明的匹配跟踪系统的结构示意图。
元件标号说明
1 匹配跟踪系统
11 获取模块
12 第一匹配模块
A1、A2、A3 图像
a4、a6、c1、c2、y1 目标区域
b4、b4’、b6、b6’、 匹配目标区域
b6’’、d
cd1、cd2 重叠区
S1-S2 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。
图1为本发明的实时目标匹配跟踪方法的流程图。其中,本发明所述的方法主要由匹配跟踪系统来执行,所述匹配跟踪系统为安装在网络设备中的应用模块等。该网络设备为一种能够按照事先存储的程序,自动、高速地进行大量数值计算和各种信息处理的现代化智能电子设备,其硬件包括但不限于微处理器、FPGA、DSP、嵌入式设备等。所述网络设备包括但不限于:1)单个或多个网络服务器集;2)分布式网络设备;3)基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云的计算机集合等。其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。
在步骤S1中,所述匹配跟踪系统基于摄取时间相近且摄取自同一地点的至少两幅图像中的每一幅所包含的像素点的特征信息来由每一幅图像中获取至少一个目标区域。
其中,所述匹配跟踪系统获取摄取时间相近且摄取自同一地点的至少两幅图像的方式包括但不限于:1)由设置在某一地点的图像摄取设备将自身所摄取的图像提供给所述匹配跟踪系统,例如,设置在某一道路的摄像机将自身摄取的连续多帧包含经过该道路的车辆的图像提供给所述匹配跟踪系统;2)从其他设备处获取摄取时间相近的至少两幅图像。例如,从与一图像摄取装置通信连接的流媒体服务器处获取由该图像摄取装置定期摄取的至少两幅图像。3)从存储有图像的存储设备中获取等等。例如,操作人员从所述存储设备中所存储的连续多帧图像中剔除不清晰图像,再将剩余多幅图像提供给所述匹配跟踪系统。
其中,所述像素点的特征信息包括但不限于:颜色信息、灰度信息等。
作为一种优选方式,所述匹配跟踪系统对所获取的每一幅图像所包含的像素点的特征信息进行分析,将特征信息相同的连续相邻的各像素点所构成的区域作为一个目标区域,由此来从每一幅图像中获得至少一个目标区域。
例如,如图2所示,其为所述匹配跟踪系统所获取的一幅图像A1,该图像A1包括像素点a11、a12、……anm,所述匹配跟踪系统基于像素点akj、ak(j+1)、a(k+1)(j-1)、a(k+1)j、a(k+1)(j+1)、a(k+1)(j+2)、a(k+1)(j+3)、a(k+2)(j-1) a(k+2)j、a(k+2)(j+1)、a(k+2)(j+2)各自的特征信息相同、且两两相邻,将该些像素点构成的区域y1作为目标区域。
作为另一种优选方式,所述匹配跟踪系统基于预获取的高斯混合背景模型及所述每一幅图像所包含的像素点的特征信息,来由每一幅图像中获取至少一个目标区域。
例如,所述匹配跟踪系统获取的图像来自设置在某一道路的摄像机所摄取的多帧图像,则所述匹配跟踪系统先基于高斯混合背景模型进行背景训练,然后采用差分法对所述多帧图像中每一帧图像的运动车辆进行检测,由此获得每一帧图像中的各车辆中心点和边框区域,进而将每一边框区域作为一个目标区域。
需要说明的是,本领域技术人员应该理解,上述所述仅仅只是列示,而非对本发明的限制,事实上,任何基于图像所包含的像素点的特征信息来由该幅图像中获取至少一个目标区域的方式,均应包含在本发明的范围内。
在步骤S2中,所述匹配跟踪系统基于每一个目标区域在各自所在图像中所占据的区域信息来确定一幅图像中的目标区域在其他幅图像中的匹配目标区域。
需要说明的是,当将一个目标区域自身所在图像与该目标区域的匹配目标区域自身所在的图像叠合,该目标区域所占据区域与该目标区域的匹配目标区域所占据区域重叠的区域定义为重叠区,则所述匹配跟踪系统基于第一幅图像中的一个目标区域与第二幅图像中的一个目标区域存在重叠区,将第二幅图像中的该个目标区域作为第一幅图像中的目标区域的匹配目标区域。
例如,所述匹配跟踪系统在步骤S1中由图像A2中获取了目标区域y2,由图像A3中获取了目标区域y3,分别如图3和4所示,则所述匹配跟踪系统基于目标区域y2在图像A2中所占据的区域信息,即“第4行第3列至第4行第9列与第6行第3列至第6行第9列所构成的区域”、及目标区域y3在图像A3中所占据的区域信息,即“第4行第5列至第4行第10列与第6行第5列至第6行第10列所构成的区域”,确定目标区域y2与目标区域y3存在重叠区,即“第4行第5列至第4行第9列与第6行第5列至第6行第9列所构成的区域”,由此,所述匹配跟踪系统将目标区域y3作为目标区域y2的匹配目标区域。
作为本发明的一种优选方式,根据本发明的方法,还包括步骤S3-1(未予图示)。
在步骤S3-1中,所述匹配跟踪系统确定一幅图像中的一个目标区域在其他一幅图像中的匹配目标区域有至少两个时,则基于该至少两个匹配目标区域中的每一个所占据的区域信息,将包含于一匹配目标区域中的另一匹配目标区域不再作为该个目标区域的匹配目标区域。
例如,如图5所示,所述匹配跟踪系统在步骤S2中确定图像A中的一个目标区域a4在图像B中的匹配目标区域包括目标区域b4和b4’,并基于目标区域b4和b4’各自所占据的区域信息确定目标区域b4包含目标区域b4’,则所述匹配跟踪系统将目标区域b4’不再作为目标区域a4的匹配目标区域。
作为本发明的另一种优选方式,根据本发明的方法,还包括步骤S3-2(未予图示)。
在步骤S3-2中,所述匹配跟踪系统确定一幅图像中的一个目标区域在其他一幅图像中的匹配目标区域有至少两个时,则所述匹配跟踪系统基于该至少两个匹配目标区域中的每一个所占据的区域,将区域存在部分重叠的两个匹配目标区域合并后所形成的新区域作为该个目标区域的匹配目标区域。
例如,如图6所示,所述匹配跟踪系统在步骤S2中确定图像A中的一个目标区域a6在图像B中的匹配目标区域包括目标区域b6(即图中上方的长方形区域)和目标区域b6’(即图中下方的矩形区域),并基于目标区域b6和b6’各自所占据的区域信息确定目标区域b6和b6’部分重叠,则所述匹配跟踪系统将所述目标区域b6和b6’予以合并所形成的新区域b6’’(即图中虚线所构成的区域)作为该个目标区域a6的匹配目标区域。
作为本发明的再一种优选方式,根据本发明的方法,还包括步骤S4(未予图示)。
在步骤S4中,所述匹配跟踪系统确定一个匹配目标区域在一幅图像中对应至少两个目标区域,且该个匹配目标区域所在的图像与该至少两个目标区域所在图像为连续两帧时,则基于该至少两个目标区域中的每一个在所在图像中所占据的区域信息及该个匹配目标区域在所在图像中所占据的区域信息来计算该至少两个目标区域中的每一个与该个匹配目标区域的重叠度,并基于所计算出的重叠度来确定与该个匹配目标区域对应的目标区域。
需要说明的是,当将一个目标区域自身所在图像与该目标区域的匹配目标区域自身所在的图像叠合,该目标区域所占据区域与该目标区域的匹配目标区域所占据区域重叠的区域定义为重叠区,所述匹配跟踪系统将所述重叠区的面积与该目标区域及该目标区域的匹配目标区域的面积和之比作为该目标区域与该目标区域的匹配目标区域的重叠度。
例如,如图7所示,所述匹配跟踪系统获得连续两帧图像包括图像C与图像D,且确定所述图像D中的目标区域d为图像C中的目标区域c1和c2的匹配目标区域,并基于所述目标区域d在图像D中所占据的区域信息与目标区域c1在所述图像C中所占据的区域信息来确定目标区域d与目标区域c1的重叠区为区域cd1,基于所述目标区域d在所述图像D中所占据的区域信息与所述目标区域c2在所述图像C中所占据的区域信息来确定目标区域d与目标区域c2的的重叠区为区域cd2,则所述匹配跟踪系统计算目标区域d与目标区域c1的重叠度=区域cd1的面积/(目标区域d的面积+目标区域c1的面积),目标区域d与目标区域c2的重叠度=区域cd2的面积/(目标区域d的面积+目标区域c2的面积),随后,所述匹配跟踪系统基于目标区域d与目标区域c1的重叠度大于目标区域d与目标区域c2的重叠度,将目标区域d作为目标区域c1的匹配目标区域。
作为本发明的又一种优选方式,根据本发明的方法,还包括步骤S5-1(未予图示)。
在步骤S5-1中,所述匹配跟踪系统确定一幅图像中的一个目标区域在该幅图像之后的连续第一预定帧数的多幅图像中均没有匹配目标区域时,将该个目标区域作为丢失目标区域。
例如,所述匹配跟踪系统获取的图像来自设置在某一道路的摄像机所摄取的连续多帧图像,并基于前述步骤S1相同的操作由第1帧图像中获取汽车x1所在的目标区域e1,并基于前述步骤S2相同的操作由第2至10帧图像中均未获得目标区域e1的匹配目标区域,则所述匹配跟踪系统将目标区域e1作为丢失目标区域。
作为本发明的又一种优选方式,根据本发明的方法,还包括步骤S5-2(未予图示)。
在步骤S5-2中,所述匹配跟踪系统确定一幅图像中的一个目标区域在该幅图像之前的连续第二预定帧数的多幅图像中均没有匹配目标区域时,将该个目标区域作为新目标区域。
例如,所述匹配跟踪系统获取的图像来自设置在某一道路的摄像机所摄取的连续多帧图像,并基于前述步骤S1相同的操作由第8帧图像中获取汽车x2所在的目标区域e2,并基于前述步骤S2相同的操作由第2至7帧图像中均未获得目标区域e2的匹配目标区域,则所述匹配跟踪系统将目标区域e2作为新目标区域。
图8为本发明的匹配跟踪系统结构示意图。其中所述匹配跟踪系统1包括获取模块11与第一匹配模块12。
所述获取模块11基于摄取时间相近且摄取自同一地点的至少两幅图像中的每一幅所包含的像素点的特征信息来由每一幅图像中获取至少一个目标区域。
其中,所述获取模块11获取摄取时间相近且摄取自同一地点的至少两幅图像的方式包括但不限于:1)由设置在某一地点的图像摄取设备将自身所摄取的图像提供给所述获取模块11,例如,设置在某一道路的摄像机将自身摄取的连续多帧包含经过该道路的车辆的图像提供给所述获取模块11;2)从其他设备处获取摄取时间相近的至少两幅图像。例如,从与一图像摄取装置通信连接的流媒体服务器处获取由该图像摄取装置定期摄取的至少两幅图像。3)从存储有图像的存储设备中获取等等。例如,操作人员从所述存储设备中所存储的连续多帧图像中剔除不清晰图像,再将剩余多幅图像提供给所述获取模块11。
其中,所述像素点的特征信息包括但不限于:颜色信息、灰度信息等。
作为一种优选方式,所述获取模块11对所获取的每一幅图像所包含的像素点的特征信息进行分析,将特征信息相同的连续相邻的各像素点所构成的区域作为一个目标区域,由此来从每一幅图像中获得至少一个目标区域。
例如,如图2所示,所述获取模块11所获取一幅图像A1,该图像A1包括像素点a11、a12、……anm,所述获取模块11基于像素点akj、ak(j+1)、a(k+1)(j-1)、a(k+1)j、a(k+1)(j+1)、a(k+1)(j+2)、a(k+1)(j+3)、a(k+2)(j-1) a(k+2)j、a(k+2)(j+1)、a(k+2)(j+2)各自的特征信息相同、且两两相邻,来将该些像素点构成的区域y1作为目标区域。
作为另一种优选方式,所述获取模块11还包括子获取模块(未予图示)。所述子获取模块用于基于预获取的高斯混合背景模型及所述每一幅图像所包含的像素点的特征信息,来由每一幅图像中获取至少一个目标区域。
例如,所述子获取模块获取的图像来自设置在某一道路的摄像机所摄取的多帧图像,则所述子获取模块先基于高斯混合背景模型进行背景训练,然后采用差分法对所述多帧图像中的每一帧图像中的运动车辆进行检测,由此获得每一帧图像中的各车辆中心点和边框区域,进而将每一边框区域作为一个目标区域。
需要说明的是,本领域技术人员应该理解,上述所述仅仅只是列示,而非对本发明的限制,事实上,任何基于图像所包含的像素点的特征信息来由该幅图像中获取至少一个目标区域的方式,均应包含在本发明的范围内。
所述第一匹配模块12用于基于每一个目标区域在各自所在图像中所占据的区域信息来确定一幅图像中的目标区域在其他幅图像中的匹配目标区域。
需要说明的是,当将一个目标区域自身所在图像与该目标区域的匹配目标区域自身所在的图像叠合,该目标区域所占据的区域与该目标区域的匹配目标区域所占据的区域相重叠的区域定义为重叠区,则所述第一匹配模块12基于第一幅图像中的一个目标区域与第二幅图像中的一个目标区域存在重叠区,将第二幅图像中的该个目标区域作为第一幅图像中的目标区域的匹配目标区域。
例如,所述获取模块11由图像A2中获取了目标区域y2,由图像A3中获取了目标区域y3,分别如图3和4所示,则所述第一匹配模块12基于目标区域y2在图像A2中所占据的区域信息,即“第4行第3列至第4行第9列与第6行第3列至第6行第9列所构成的区域”、及目标区域y3在图像A3中所占据的区域信息,即“第4行第5列至第4行第10列与第6行第5列至第6行第10列所构成的区域”,确定目标区域y2与目标区域y3存在重叠区,即“第4行第5列至第4行第9列与第6行第5列至第6行第9列所构成的区域”,由此,所述第一匹配模块12将目标区域y3作为目标区域y2的匹配目标区域。
作为本发明的一种优选方式,所述匹配跟踪系统1还包括删除模块(未予图示)。
具体地,所述第一匹配模块12确定一幅图像中的一个目标区域在其他一幅图像中的匹配目标区域后,所述删除模块确定该个目标区域在其他一幅图像对应的匹配目标区域有至少两个时,所述删除模块基于该至少两个匹配目标区域中的每一个所占据的区域信息,将包含于一匹配目标区域中的另一匹配目标区域不再作为该个目标区域的匹配目标区域。
例如,如图5所示,所述第一匹配模块12确定图像A中的目标区域a4在图像B中的匹配目标区域包括目标区域b4和b4’后,所述删除模块基于目标区域b4和b4’均为目标区域a4的匹配目标区域,来确定目标区域a4在图像B中的匹配目标区域有两个,并基于目标区域b4和b4’各自所占据的区域信息确定目标区域b4包含目标区域b4’,则所述删除模块将目标区域b4’不再作为目标区域a4的匹配目标区域。
作为本发明的另一种优选方式,所述匹配跟踪系统1还包括第二匹配模块(未予图示)。
当所述第一匹配模块12确定一幅图像中的一个目标区域在其他一幅图像中的匹配目标区域后,第二匹配模块确定该个目标区域在其他一幅图像中的匹配目标区域有至少两个时,则所述第二匹配模块基于该至少两个匹配目标区域中的每一个所占据的区域,将区域存在部分重叠的两个匹配目标区域合并后所形成的新区域作为该个目标区域的匹配目标区域。
例如,如图6所示,所述第一匹配模块12确定图像A中的一个目标区域a6在图像B中的匹配目标区域包括目标区域b6(即图中上方的长方形区域)和目标区域b6’(即图中下方的矩形区域),所述第二匹配模块基于目标区域b6和b6’均为目标区域a6的匹配目标区域,来确定目标区域a6在图像B中的匹配目标区域有2个,并基于目标区域b6和b6’各自所占据的区域信息确定目标区域b6和b6’部分重叠,则所述第二匹配模块将所述目标区域b6和b6’予以合并所形成的新区域b6’’(即图中虚线所构成的区域)作为该个目标区域a6的匹配目标区域。
作为本发明的再一种优选方式,所述匹配跟踪系统1还包括第三匹配模块(未予图示)。
所述第一匹配模块12确定一幅图像中的目标区域在另一副图像中的匹配目标区域后,所述第三匹配模块确定一个匹配目标区域在一幅图像中对应至少两个目标区域、且确定该个匹配目标区域所在的图像与该至少两个目标区域所在图像为连续两帧时,所述第三匹配模块基于该至少两个目标区域中的每一个在所在图像中所占据的区域信息及该个匹配目标区域在所在图像中所占据的区域信息来计算该至少两个目标区域中的每一个与该个匹配目标区域的重叠度,并基于所计算出的重叠度来确定与该个匹配目标区域对应的目标区域。
需要说明的是,当将一个目标区域自身所在图像与该目标区域的匹配目标区域自身所在的图像叠合,该目标区域与该目标区域的匹配目标区域重叠的区域定义为重叠区,所述第三匹配模块将所述重叠区的面积与该目标区域及该目标区域的匹配目标区域的面积和之比作为该目标区域与该目标区域的匹配目标区域的重叠度。
例如,如图7所示,所述获取模块11获得连续两帧图像包括图像C与图像D,且所述第一匹配模块12确定所述图像D中的目标区域d为图像C中的目标区域c1和c2的匹配目标区域,所述第三匹配模块基于所述目标区域d在图像D中所占据区域与目标区域c1在所述图像C中所占据区域来确定目标区域d与目标区域c1的重叠区为区域cd1,基于所述目标区域d在所述图像D中所占据的区域信息与所述目标区域c2在所述图像C中所占据的区域信息来确定目标区域d与目标区域c2的重叠区为区域cd2,则所述第三匹配模块计算目标区域d与目标区域c1的重叠度=区域cd1的面积/(目标区域d的面积+目标区域c1的面积),目标区域d与目标区域c2的重叠度=区域cd2的面积/(目标区域d的面积+目标区域c2的面积),随后,所述第三匹配模块基于目标区域d与目标区域c1的重叠度大于目标区域d与目标区域c2的重叠度,将目标区域d作为目标区域c1的匹配目标区域。
作为本发明的又一种优选方式,所述匹配跟踪系统1还包括第一确定模块(未予图示)。
所述第一确定模块确定一幅图像中的一个目标区域在该幅图像之后的连续第一预定帧数的多幅图像中均没有匹配目标区域时,将该个目标区域作为丢失目标区域。
例如,所述获取模块11获取的图像来自设置在某一道路的摄像机所摄取的连续多帧图像,并由第一帧图像中获取汽车x1所在的目标区域e1,则所述第一确定模块基于第2至10帧图像中均没有目标区域e1的匹配目标区域,将目标区域e1作为丢失目标区域。
作为本发明的又一种优选方式,所述匹配跟踪系统1还包括第二确定模块(未予图示)。
所述第二确定模块确定一幅图像中的一个目标区域在该幅图像之前的连续第二预定帧数的多幅图像中均没有匹配目标区域时,将该个目标区域作为新目标区域。
例如,所述获取模块11获取的图像来自设置在某一道路的摄像机所摄取的连续多帧图像,并由第8帧图像中获取汽车x2所在的目标区域e2,所述第二确定模块基于第2至7帧图像中均没有目标区域e2的匹配目标区域,将目标区域e2作为新目标区域。
综上所述,本发明直接以目标在图像中所占据的区域作为跟踪对象,并基于各目标区域各自在自身所在图像中所占据的区域信息来确定一目标区域在其他幅图像中的匹配目标区域,由此来实现目标区域的跟踪,由于无需采用现有提取目标不变特征的算法,因此相对于现有技术,本发明的方法复杂度低,易于实现对目标区域的实时跟踪,也能被应用于更多的监控场所。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (14)
1.一种实时目标匹配跟踪方法,其特征在于,所述实时目标匹配跟踪方法至少包括步骤:
1)基于摄取时间相近且摄取自同一地点的至少两幅图像中的每一幅所包含的像素点的特征信息,来由每一幅图像中获取至少一个目标区域;
2)基于每一个目标区域在各自所在图像中所占据的区域信息,来确定一幅图像中的目标区域在其他幅图像中的匹配目标区域。
2.根据权利要求1所述的实时目标匹配跟踪方法,其特征在于:所述步骤1)还包括步骤:
基于预获取的高斯混合背景模型及摄取时间相近且摄取自同一地点的至少两幅图像中的每一幅所包含的像素点的特征信息,来由每一幅图像中获取至少一个目标区域。
3.根据权利要求1或2所述的实时目标匹配跟踪方法,其特征在于:当一幅图像中的一个目标区域在其他一幅图像中的匹配目标区域有至少两个时,所述实时目标匹配跟踪方法还包括步骤:
基于该至少两个匹配目标区域中的每一个所占据的区域信息,将包含于一匹配目标区域中的另一匹配目标区域不再作为该个目标区域的匹配目标区域。
4.根据权利要求1或2所述的实时目标匹配跟踪方法,其特征在于:当一幅图像中的一个目标区域在其他一幅图像中的匹配目标区域有至少两个时,所述实时目标匹配跟踪方法还包括步骤:
基于该至少两个匹配目标区域中的每一个所占据的区域,将区域存在部分重叠的两个匹配目标区域合并后所形成的新区域作为该个目标区域的匹配目标区域。
5.根据权利要求1所述的实时目标匹配跟踪方法,其特征在于:当一个匹配目标区域在一幅图像中对应至少两个目标区域,且该个匹配目标区域所在的图像与该至少两个目标区域所在图像为连续两帧时,所述实时目标匹配跟踪方法还包括步骤:
基于该至少两个目标区域中的每一个在所在图像中所占据的区域信息及该个匹配目标区域在所在图像中所占据的区域信息来计算该至少两个目标区域中的每一个与该个匹配目标区域的重叠度,并基于所计算出的重叠度来确定与该个匹配目标区域对应的目标区域。
6.根据权利要求1所述的实时目标匹配跟踪方法,其特征在于:所述实时目标匹配跟踪方法还包括步骤:
当一幅图像中的一个目标区域在该幅图像之后的连续第一预定帧数的多幅图像中均没有匹配目标区域时,将该个目标区域作为丢失目标区域。
7.根据权利要求1所述的实时目标匹配跟踪方法,其特征在于:所述实时目标匹配跟踪方法还包括步骤:
当一幅图像中的一个目标区域在该幅图像之前的连续第二预定帧数的多幅图像中均没有匹配目标区域时,将该个目标区域作为新目标区域。
8.一种实时目标匹配跟踪系统,其特征在于,所述实时目标匹配跟踪系统至少包括:
获取模块,用于基于摄取时间相近且摄取自同一地点的至少两幅图像中的每一幅所包含的像素点的特征信息,来由每一幅图像中获取至少一个目标区域;
第一匹配模块,用于基于每一个目标区域在各自所在图像中所占据的区域信息,来确定一幅图像中的目标区域在其他幅图像中的匹配目标区域。
9.根据权利要求8所述的实时目标匹配跟踪系统,其特征在于:所述获取模块还包括:
子获取模块,用于基于预获取的高斯混合背景模型及摄取时间相近且摄取自同一地点的至少两幅图像中的每一幅所包含的像素点的特征信息,来由每一幅图像中获取至少一个目标区域。
10.根据权利要求8或9所述的实时目标匹配跟踪系统,其特征在于:当一幅图像中的一个目标区域在其他一幅图像中的匹配目标区域有至少两个时,所述实时目标匹配跟踪系统还包括:
删除模块,用于基于该至少两个匹配目标区域中的每一个所占据的区域,将包含于一匹配目标区域中的另一匹配目标区域不再作为该个目标区域的匹配目标区域。
11.根据权利要求8或9所述的实时目标匹配跟踪系统,其特征在于:当一幅图像中的一个目标区域在其他一幅图像中的匹配目标区域有至少两个时,所述实时目标匹配跟踪系统还包括:
第二匹配模块,用于基于该至少两个匹配目标区域中的每一个所占据的区域,将区域存在部分重叠的两个匹配目标区域合并后所形成的新区域作为该个目标区域的匹配目标区域。
12.根据权利要求8所述的实时目标匹配跟踪系统,其特征在于:当一个匹配目标区域在一幅图像中对应至少两个目标区域,且该个匹配目标区域所在的图像与该至少两个目标区域所在图像为连续两帧时,所述实时目标匹配跟踪系统还包括:
第三匹配模块,用于基于该至少两个目标区域中的每一个在所在图像中所占据的区域信息及该个匹配目标区域在所在图像中所占据的区域信息来计算该至少两个目标区域中的每一个与该个匹配目标区域的重叠度,并基于所计算出的重叠度来确定与该个匹配目标区域对应的目标区域。
13.根据权利要求8所述的实时目标匹配跟踪系统,其特征在于:所述实时目标匹配跟踪系统还包括:
第一确定模块,用于当一幅图像中的一个目标区域在该幅图像之后的连续第一预定帧数的多幅图像中均没有匹配目标区域时,将该个目标区域作为丢失目标区域。
14.根据权利要求8所述的实时目标匹配跟踪系统,其特征在于:所述实时目标匹配跟踪系统还包括:
第二确定模块,用于当一幅图像中的一个目标区域在该幅图像之前的连续第二预定帧数的多幅图像中均没有匹配目标区域时,将该个目标区域作为新目标区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011104329245A CN102521580A (zh) | 2011-12-21 | 2011-12-21 | 实时目标匹配跟踪方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011104329245A CN102521580A (zh) | 2011-12-21 | 2011-12-21 | 实时目标匹配跟踪方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102521580A true CN102521580A (zh) | 2012-06-27 |
Family
ID=46292491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011104329245A Pending CN102521580A (zh) | 2011-12-21 | 2011-12-21 | 实时目标匹配跟踪方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102521580A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104639897A (zh) * | 2015-01-19 | 2015-05-20 | 南阳理工学院 | 一种分布式摄像图像处理方法 |
CN109636828A (zh) * | 2018-11-20 | 2019-04-16 | 北京京东尚科信息技术有限公司 | 基于视频图像的物体跟踪方法及装置 |
WO2020010620A1 (zh) * | 2018-07-13 | 2020-01-16 | 深圳市大疆创新科技有限公司 | 波浪识别方法、装置、计算机可读存储介质和无人飞行器 |
CN112004053A (zh) * | 2020-07-20 | 2020-11-27 | 浙江大华技术股份有限公司 | 监控图像电子放大的方法、装置和计算机设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1984236A (zh) * | 2005-12-14 | 2007-06-20 | 浙江工业大学 | 一种交通流信息视频检测中的特征采集方法 |
CN101141633A (zh) * | 2007-08-28 | 2008-03-12 | 湖南大学 | 一种复杂场景中的运动目标检测与跟踪方法 |
CN101320472A (zh) * | 2008-05-30 | 2008-12-10 | 西安交通大学 | 一种基于背景抑制的后验概率图像跟踪方法 |
CN101355692A (zh) * | 2008-07-30 | 2009-01-28 | 浙江大学 | 一种实时跟踪运动目标区域的智能监控装置 |
WO2009098894A1 (ja) * | 2008-02-06 | 2009-08-13 | Panasonic Corporation | 電子カメラおよび画像処理方法 |
CN101860729A (zh) * | 2010-04-16 | 2010-10-13 | 天津理工大学 | 一种用于全方位视觉的目标跟踪方法 |
-
2011
- 2011-12-21 CN CN2011104329245A patent/CN102521580A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1984236A (zh) * | 2005-12-14 | 2007-06-20 | 浙江工业大学 | 一种交通流信息视频检测中的特征采集方法 |
CN101141633A (zh) * | 2007-08-28 | 2008-03-12 | 湖南大学 | 一种复杂场景中的运动目标检测与跟踪方法 |
WO2009098894A1 (ja) * | 2008-02-06 | 2009-08-13 | Panasonic Corporation | 電子カメラおよび画像処理方法 |
CN101320472A (zh) * | 2008-05-30 | 2008-12-10 | 西安交通大学 | 一种基于背景抑制的后验概率图像跟踪方法 |
CN101355692A (zh) * | 2008-07-30 | 2009-01-28 | 浙江大学 | 一种实时跟踪运动目标区域的智能监控装置 |
CN101860729A (zh) * | 2010-04-16 | 2010-10-13 | 天津理工大学 | 一种用于全方位视觉的目标跟踪方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104639897A (zh) * | 2015-01-19 | 2015-05-20 | 南阳理工学院 | 一种分布式摄像图像处理方法 |
CN104639897B (zh) * | 2015-01-19 | 2016-04-20 | 南阳理工学院 | 一种分布式摄像图像处理方法 |
WO2020010620A1 (zh) * | 2018-07-13 | 2020-01-16 | 深圳市大疆创新科技有限公司 | 波浪识别方法、装置、计算机可读存储介质和无人飞行器 |
CN110832495A (zh) * | 2018-07-13 | 2020-02-21 | 深圳市大疆创新科技有限公司 | 波浪识别方法、装置、计算机可读存储介质和无人飞行器 |
US20210117647A1 (en) * | 2018-07-13 | 2021-04-22 | SZ DJI Technology Co., Ltd. | Methods and apparatuses for wave recognition, computer-readable storage media, and unmanned aerial vehicles |
CN109636828A (zh) * | 2018-11-20 | 2019-04-16 | 北京京东尚科信息技术有限公司 | 基于视频图像的物体跟踪方法及装置 |
CN112004053A (zh) * | 2020-07-20 | 2020-11-27 | 浙江大华技术股份有限公司 | 监控图像电子放大的方法、装置和计算机设备 |
CN112004053B (zh) * | 2020-07-20 | 2022-08-16 | 浙江大华技术股份有限公司 | 监控图像电子放大的方法、装置和计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Cross-modal collaborative representation learning and a large-scale rgbt benchmark for crowd counting | |
CN106204595B (zh) | 一种基于双目摄像机的机场场面三维全景监视方法 | |
CN101355692B (zh) | 一种实时跟踪运动目标区域的智能监控装置 | |
CN101794439B (zh) | 基于边缘分类信息的图像拼接方法 | |
CN105869120A (zh) | 一种图像拼接的实时性优化方法 | |
CN102243765A (zh) | 基于多相机的多目标定位跟踪方法及系统 | |
CN104506800A (zh) | 一种多方向电警摄像机场景合成及综合监控方法和装置 | |
CN102393961A (zh) | 基于计算机视觉的飞行器输电线路实时检测跟踪方法 | |
CN102456226B (zh) | 兴趣区域的追踪方法 | |
CN103793894A (zh) | 基于云模型元胞自动机角点检测的变电站遥视图像拼接方法 | |
Xu et al. | Dynamic obstacle detection based on panoramic vision in the moving state of agricultural machineries | |
CN101894380A (zh) | 一种全景视频中目标物体的自动跟踪方法 | |
CN102521580A (zh) | 实时目标匹配跟踪方法及系统 | |
CN103903279A (zh) | 基于仿生双目视觉机载平台的并行跟踪系统与方法 | |
CN105761507B (zh) | 一种基于三维轨迹聚类的车辆计数方法 | |
Xia et al. | Vehicles overtaking detection using RGB-D data | |
Yu et al. | Drso-slam: A dynamic rgb-d slam algorithm for indoor dynamic scenes | |
CN104376580A (zh) | 一种视频摘要中非关注区域事件的处理方法 | |
Liu et al. | Towards industrial scenario lane detection: Vision-based agv navigation methods | |
CN104794476A (zh) | 一种人员痕迹的提取方法 | |
Goudar et al. | Online traffic density estimation and vehicle classification management system | |
CN104050674A (zh) | 一种显著性区域检测方法及装置 | |
CN114067273A (zh) | 一种夜间机场航站楼热成像显著人体分割检测方法 | |
CN103136530A (zh) | 在复杂工业环境下的视频图像中自动识别目标图像的方法 | |
CN104238558A (zh) | 一种基于单摄像头的循迹机器人直角转弯检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120627 |