CN102663743B - 一种复杂场景中多摄影机协同的人物追踪方法 - Google Patents

一种复杂场景中多摄影机协同的人物追踪方法 Download PDF

Info

Publication number
CN102663743B
CN102663743B CN201210078690.3A CN201210078690A CN102663743B CN 102663743 B CN102663743 B CN 102663743B CN 201210078690 A CN201210078690 A CN 201210078690A CN 102663743 B CN102663743 B CN 102663743B
Authority
CN
China
Prior art keywords
image
target
value
moving target
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210078690.3A
Other languages
English (en)
Other versions
CN102663743A (zh
Inventor
王韦桦
刘志镜
屈鉴铭
贺文骅
唐国良
赵俊敏
熊静
侯晓慧
王静
袁通
刘慧�
王纵虎
陈东辉
姚勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201210078690.3A priority Critical patent/CN102663743B/zh
Publication of CN102663743A publication Critical patent/CN102663743A/zh
Application granted granted Critical
Publication of CN102663743B publication Critical patent/CN102663743B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种复杂场景中多摄影机协同的人物追踪方法,包括以下步骤:A1、运动目标监测;A2、场景图像增强:以模糊理论为基础将场景图像的亮度值转成模糊矩阵,并针对此矩阵做实时模糊强化,以增强图像中的阴暗部分,并保留各像素点多原饱和度信息,以确保运动目标的有效监测;A3、多摄像机的指定目标跟踪。本发明建模简单,简练算法,检测准确,能有效跟踪各个监控区域中的突发事件,提高了系统的自主分析性能和智能监控能力,探索了适应于不同光照、不同气候及复杂背景的鲁棒的对象检测与跟踪方法,有助于改善公共场所的安全监控水平。

Description

一种复杂场景中多摄影机协同的人物追踪方法
技术领域
本发明属于计算机视觉、智能信息处理领域。涉及基于运动图像的计算机监控技术,基于统计学习的模式识别技术。主要涉及一种视频监控内容智能分析方法,具体是一种复杂场景中多摄像机协同的目标追踪方法。
背景技术
近年来,随着城镇信息化,社区信息化,行业信息化的飞速发展,视频监控的应用领域也在逐步扩大,视频监控系统已逐渐覆盖各种场合。作为交通系统的违章检测基础和各种场合的安全检测的重要支柱,视频监控的研究与应用价值与日俱增,成为众多学者的研究对象。
传统的监控系统在处理安全事件时往往需要管理人员来对监视器所录制的影片进行人工搜索,这是相当耗费心力的一项工作,尤其当数据数量庞大时所产生的人为比对疏忽往往是难以避免。随着网络与人工智能技术的成长,加上相关摄像设备的价格低廉,基于多摄像机监视的智能型视觉监控系统(IntelligentVisualSurveillanceSystem)目前已广泛地应用在日常生活当中,其利用计算机视觉的方法,在不需要人为的操作之下,让监控系统能够自动对所获取的图像进行分析,以使其具有对象监测、跟踪、识别与分析等功能。
现有监控系统的问题主要是大量的监控信息难以得到及时有效地处理,而视觉监控的智能分析技术结合图像处理、机器学习等相关领域,可以通过计算机协助对人类行为和事件的识别,并已经成为计算机视觉领域的热点和难点问题。近年来该方向在学术上进行了较多的相关研究,包括国家高技术研究发展计划和国家重点基础研究发展计划中智能监控项目的研究。
在视频监控系统中有关目标跟踪的工作大多数集中在单摄像头系统,这些方法大多利用目标对象的运动、颜色等特征信息来进行对象跟踪,这种方式在前景目标与背景或是对象之间的颜色过于相近时往往容易造成跟踪失败,而当监控区域场景变化太复杂或是目标物之间具有遮蔽发生时,发现跟踪目标对象即显得相当困难。事实上,当目标对象之间非常接近时,目前尚未存在一个有效的技术能够克服该遮蔽情况并持续正确跟踪目标,许多研究希望利用从多个视点来观察跟踪目标,透过更多的信息来解决上述问题,因此多摄影机跟踪便成为许多学者研究目标,而在一个视觉监视系统中,通过多摄影机来跟踪运动对象也是一个相当重要的研究议题。
国内外学者在多摄像机的目标协同跟踪方面做了很多的工作,大致可分为以下几类:(1)基于模型的多摄像头跟踪。在多摄像头监控系统中有基于活动模型和基于空间模型的跟踪方法,有些情况下还将这两种模型结合起来使用。基于活动模型的方法适合单个摄像头场景和视野域重叠的多个摄像头场景,但是不适合非重叠的多摄像头系统,即这些方法没有考虑摄像头之间有非重叠区域或者多摄像头系统中有遮挡区域的情况。基于空间模型的多摄像头跟踪方法需要计算多摄像头网络的拓扑结构,从而来校准场景中的多摄像头。通过使用校准的摄像头可以确定将像素坐标转换成3D坐标的变换,也能更精确的确定每一个摄像头中可见地平面在空间上的扩展,但需要的计算量较大。(2)基于特征的多摄像头跟踪。基于特征的跟踪包括特征提取和特征匹配两个过程。提取的特征有目标的运动趋势、颜色,形态,位置,动态性等。但由于不同的摄像机的视角不同、场景光照的不同,提取的特征在不同的摄像机视图中的观测存在着较大的差异,寻找这些差异中的规律性,如不同视图间亮度转移关系,仍是一个较难的问题。虽然提取特征在目标匹配问题中应用较多,但准确度不高,算法耗时随着特征维数成级数增加。(3)基于区域的多摄像头跟踪。描述了在多摄像头系统中使用区域匹配检测和跟踪多人的算法。该算法首先分割每一个图像,然后比较每一对图像的区域,找到分割结果的中心,通过匹配中心点找到场景中可能对人通信的三维点(3D,three-dimension),最后将3D点投影到2D平面,使用拒绝框架方案对人的2D位置给出鲁棒性估计。(4)基于活动轮廓的多摄像头跟踪。描述了在不同天气条件下的室外多摄像头视频监控系统。文中定义了新的可信措施-外形比AR(AppearanceRatio)来自动评价每个时刻传感器的性能,通过比较它们的AR,系统能够选择最合适的摄像头来执行特定的任务。
鉴于现有研究和应用所存在的问题,本发明提出来一种能够适应环境变换的多摄像机协同目标跟踪方法,并且本发明项目组对国内外专利文献和公开发表的期刊论文检索,尚未发现与本发明密切相关和一样的报道或文献。
发明内容
本发明的目的是克服上述技术或方法存在的缺点,提供一种利用计算机视觉技术实现,有效跟踪各个监控区域中的突发事件,提高了系统的自主分析性能和智能监控能力,探索了适应于不同光照、不同气候及复杂背景的鲁棒的对象检测与跟踪方法。该方法的应用有助于改善公共场所的安全监控水平。
下面对本发明进行详细说明
本发明是一种多摄像机协同目标跟踪方法,其特征在于:所述方法包括以下步骤:
一.运动目标监测:分析由各个摄像机获取的监控视频,将视频转换成相应的图像序列,使用一种改进的利用时间差分法结合背景减除法建立背景模型,针对不同的区域采取不同的更新策略,从而获得较好的当前帧图像和背景图像。
二.场景图像增强:复杂场景中由于光照变化和天气变化往往会造成场景的变换,本发明以模糊理论为基础将场景图像的亮度值转成模糊矩阵,并针对此矩阵做实时模糊强化,以增强图像中的阴暗部分,并保留各像素点多原饱和度信息,以确保运动目标的有效监测。
三.多摄像机的指定目标跟踪:以图像连通区域标记过滤前景破碎小区块并记录各区块相关信息,接着针对各摄像机所获取的前景图像以RGB分量百分比与其区块内对应位置信息进行人物辨识,并将各人物区分为5种状态(进入、离开、目标匹配、目标遮挡、前景丢失)进行跟踪,在分析摄像机之间获取的运动目标的关联性,融合多摄像机进行协同监测从而完成全局场景人物实时监控目标。
本发明主要涉及计算机视觉和模式识别领域,通过一种改进的利用时间差分法结合背景减除法建立背景模型,并针对不同的区域采取不同的更新策略。首先通过时间差分法后得到二值图像找到大致运动区域,对背景按式(1)进行更新,对检测结果中前景像素的背景模型不进行更新,而对比较稳定的背景像素进行更新,并可根据检测结果中是否存在运动目标而采用不同的更新速度,式中Bt(x,y)和Bt-1(x,y)分别代表当前时刻和前一时刻的背景图像,f(x,y)表示当前输入图像,Mt(x,y)则描述的是二值化处理后的前景图像,更新速度α和β分别为设定的一个较快的更新速度和较慢的更新速度,β>α,TargetCount为检测到运动目标个数。这样,背景模型中真正的背景像素可以不断的得到更新,从而可以得到一个较好的实时背景,效果如图2所示。
式(1)
利用该背景更新算法,若一个物体在场景中停留一段较长的时间,则通过背景更新策略将停留的物体通过背景更新及时地反映到背景中。
本发明的实现还在于:在进行步骤二对由于光照变化和天气变化造成场景变换,所需的图像增强方法时,包括如下步骤:
步骤S1:将图像转换到HIS颜色空间,并进行模糊化;
步骤S2:对模糊化的图像进行亮度增强,同时保持相应像素点的饱和度;
步骤S3:将增强后的图像复原到RGB颜色空间。
本发明的实现还在于:在进行步骤三中实现运动目标协同跟踪时包括如下步骤:
步骤S1:对获得的前景图像进行图像连通区域的运动目标标记同时过滤前景图像中的碎小区域块,并记录各区块相关信息;
步骤S2:辨识运动目标在各个摄像机监控区域内的状态;
步骤S3:运动目标在不同摄像机中的关联分析。
本发明在实现多摄像机的指定目标跟踪时;以图像连通区域标记过滤前景破碎小区块并记录各区块相关信息,接着针对各摄像机所获取的前景图像以RGB分量百分比与其区块内对应位置信息进行人物辨识,并将各人物区分为5种状态(进入、离开、目标匹配、目标遮挡、前景目标丢失)进行跟踪,在分析摄像机之间获取的运动目标的关联性时,若运动目标出现在两个摄像机的重叠视野范围内则进行双重确认,若运动目标离开某一监控区域并于另一监控区域中出现,则进行虚拟行走路径规划,融合多摄像机进行协同监测从而完成全局场景人物实时监控目标。
本发明采用一种改进的利用时间差分法结合背景减除法建立背景模型,首先以时间差分法训练初始背景,然后再以各点稳定状态同时考虑邻近点状态动态更新背景以适应环境细微变化,获得前景运动目标之后再以图像连通区域标记技术过滤小区块并记录各区块之编号、面积、长宽大小、RGB各256色于此区块之对应位置等信息,并以RGB分量于各区块相对位置所占百分比作为特征来辨识运动目标,同时还将各个区块分成5个状态(进入、离开、目标匹配、目标遮挡、前景丢失),以得到各运动目标所对应的实时监测位置;另外本发明利用模糊变换增强的方式将受到光照变化和天气变化影响的场景图像进行了强化并保留原始图像的色调。
本发明所提出的方法可以同各种监控技术进行整合,如遗失物智能监测、火灾判定、交通事故判定等,在监测到各种突发事件时,可以判断并获取事件类型、场景变动时间、监测区域代号、对象特征等等,同时储存相关信息于数据库供日后检索,并同时发出警示通知监控人员异常事件的发生,进一步还可以运用因特网、手机、PDA等设备通知突发事件,可大幅度提高全局场景状态监控的有效性和可靠性。
附图说明
图1是本发明的运行流程示意图;
图2本发明的运动目标提取算法结果图,(a)当前帧图像,(b)运行平均背景,(c)改进模型的背景,(d)运行平均检测结果,(e)改进模型检测结果;
图3是监控区域较暗时的场景图像;
图4是图3图像进行模糊转化的结果图像;
图5是监控区域增强后的场景图像;
图6是算法效果示意图;
具体实施方式
以下结合具体实施例,对本发明进行详细说明。
实施例1:
参见图1是本发明的运行流程示意图,按照图1流程,本发明的检测方法包括以下步骤:
一.运动目标监测:分析由各个摄像机获取的监控视频,将视频转换成相应的图像序列,使用一种改进的利用时间差分法结合背景减除法建立背景模型,针对不同的区域采取不同的更新策略。首先通过时间差分法得到二值图像找到大致运动区域,并且对背景按式(1)进行更新,对检测结果中前景像素的背景模型不进行更新,而对比较稳定的背景像素进行更新,并可根据检测结果中是否存在运动目标采用不同的更新速度,式中Bt(x,y)和Bt-1(x,y)分别代表当前时刻和前一时刻的背景图像,f(x,y)表示当前输入图像,Mt(x,y)则描述的是二值化的前景图像,更新速度α和β分别为设定的一个较快的更新速度和较慢的更新速度,β>α,TargetCount为检测到运动目标个数。这样,背景模型中真正的背景像素可以不断的得到更新,从而可以得到一个较好的实时背景,效果如图2所示。
式(1)
利用该背景更新算法,若一个物体在场景中停留一段较长的时间,则通过背景更新策略将停留的物体通过背景更新及时地反映到背景中。而运动过慢的物体将会产生拖尾或中间产生空洞的现象,本发明结合时间差分法,采用膨胀运算来填补图像分割后物体中的空洞,同时只更新静止区域,对运动区域暂不更新。
二.场景图像(摄像机监控区域的图像即场景图像)增强:复杂场景中由于光照变化和天气变化往往会造成场景状态的变换,本方法以模糊理论为基础将场景图像的亮度值转成模糊矩阵,并针对此模糊矩阵做实时模糊强化,以增强图像中的阴暗部分,同时保留场景图像中各个像素点在场景稳定时的饱和度信息,以确保运动目标的有效监测。
三.多摄像机的指定目标跟踪:完成目标监测后,对获得的前景图像(即检测到的运动目标)进行图像连通区域的运动目标标记同时过滤前景图像中的碎小区域块,并记录各区域块相关信息,接着针对各摄像机所获取的运动目标区域利用其中所包含的RGB颜色信息和该区块内对应位置信息进行运动目标辨识,并将各运动目标区分为5种状态进行跟踪,再分析摄像机之间获取的运动目标的关联性,融合多摄像机进行协同监测从而完成全局场景人物实时监控目标,5种状态包括:进入场景、离开场景、目标匹配、目标遮挡、前景目标丢失。
实施例2:
传统监视器固定设置于同一地点,因昼夜变化或环境光亮暗等限制,同一空间不同时间点所拍摄的监视视频不尽相同,白天时段所拍摄的视频影像光源充足,其视野范围较大且运动目标明显易见;相反,夜间图像和阴天情况时因场景光源亮暗分布不均而显得模糊不清,从而无法轻易实现目标的跟踪,为使系统具有适应于不同光照、不同气候及复杂背景条件下的鲁棒的对象检测与跟踪方法。以模糊理论为基础将场景图像的亮度值转成模糊矩阵,并针对此矩阵做实时模糊强化,从而增强图像中的阴暗部分,并保留各像素点多原饱和度信息,以确保运动目标的有效监测。
本实施例为:在进行步骤二对由于光照变化和天气变化造成场景变换,所需的图像增强方法时,包括如下步骤:
步骤S1:将图像转换到HIS颜色空间,并进行模糊化;
步骤S2:对模糊化的图像进行亮度增强,同时保持相应像素点的饱和度;
步骤S3:将增强后的图像复原到RGB颜色空间。
首先给定一张分辨率为M*N、灰度值范围为[0,L-1]的灰度图像,则可将此图像视为一M列N行的矩阵,也就是将输入图像视为一二维矩阵(模糊矩阵):
F = ∪ x = 1 M ∪ y = 1 N ( μ xy / f xy ) , 0 ≤ μ xy ≤ 1 (式2)
其中fxy代表该像素的灰度值,若模糊矩阵中元素值越接近代表其模糊度越高,反之则越低。将需要增强的图像由RGB颜色空间转换至HSI颜色空间(式3),以亮度(I)值进行模糊化,I可视为模糊矩阵中之fxy,并以对应差距比例值的方式定义μ值,如公式(4)所示,其中σ代表标准偏差,fmin代表整张图像最小I值,fmax代表整张图像最大I值,代表整张图像I之平均值,转换后μ值皆介于0至1之间符合模糊化的限制。
r = R R + G + B ; g = G R + G + B ; b = B R + G + B
h = cos - 1 { 0.5 * [ ( r - g ) + ( r - b ) ] ( r - g ) 2 + ( r - b ) * ( g - b ) } , b ≤ g ; h ∈ [ 0 , π ]
h = 2 π - cos - 1 { 0.5 * [ ( r - g ) + ( r - b ) ] ( r - g ) 2 + ( r - b ) * ( g - b ) } , b > g ; h ∈ [ π , 2 π ] (式3)
s=1-3*min(r,g,b);s∈[0,1]
i=(R+G+B)/(3*255);i∈[0,1]
μ xy = ( f xy - f min ) / ( f ‾ + σ - f min ) , f xy ≤ f ‾ + 2 σ ( f max - f xy ) / ( f max - f ‾ - σ ) , f xy > f ‾ + 2 σ (式4)
定义μ值后接下来进行转换步骤,为了实现图像亮度加强的目的,必须增加图像暗处像素点的I值并降低图像亮处的I值以求清晰度识别运动目标,当μ值越接近1则代表暗处亮度被提升,相对亮处亮度亦减低,故选择增加μ值以将整副图像的亮度对比降低,并且提升之后必须介于0至1之间。本发明中将对原μ值进行开根号的处理,并把结果当作图像加强之后的μ值,因为其本身已位于[0,1],则开根号后的数值提升也位于此范围之内。
除针对μ值做强化,为保持图像本身的饱和度,故需调整饱和度(S)值以使其颜色看起来符合常理,故本发明将原S值取0.5次方作为新S’值。
x=i*(1-s)
y = i * [ 1 + s * cos ( h ) cos ( π / 3 - h ) ]
z=3*i-x-y
r=y,g=z,b=x;h<2π/3(式5)
r=x,g=y,b=z;2π/3≤h<4π/3,h=h-2π/3
r=z,g=x,b=y;4π/3≤h<2π,h=h-4π/3
r*255;g*255;b*255
最后将增强的μ值带回公式(4)求得新的灰度(I’)值,H、S’、I’三值带入式(5)转化回RGB颜色空间,即完成图像的强化处理,如图3-5所示。如图3所示为所监控区域在较日光暗时的场景图像,对其模糊化的图像进行亮度增强,同时保持相应像素点的饱和度即得到如图4所示的结果;最后将图4增强后的图像复原到RGB颜色空间则得到如图5所示的场景增强后的图像。
实施例3:
此外本发明还利用图像连通区域标记来标识不同的对象,即各对象间两两独立互不交集,若有交集则视为同一对象,图像连通区域标记意指将这些独立对象标识出来,一般针对二值图像做处理,因为二值图像只有黑与白两种颜色,所以其所拥有的连通组件一般以一块黑色或白色区域为单位,当给定图像中每一个黑(白)色的像素点时,判断邻近像素点是否存在(白)黑色,假定图像中各对象为白色,由上而下依序扫描每一列每一像素点,若该点为白点则再依序判断左、上、左上、右上相邻方位的四个像素点,根据白色像素点的数量判断顺序如下:
1.0个:给定新标签并认为该点属于新的物体。
2.1个:遵循该点的标签并视为与该点连通。
3.2个以上:给定所有白色像素点的最小标签并认为所有白色像素点属于同一物体。
本发明的实现还在于:在进行步骤三中实现运动目标协同跟踪时包括如下步骤:
步骤S1:对获得的前景图像进行图像连通区域的运动目标标记,将小区域滤除,保留完整的大块运动区域,同时记录各个区域块的编号、面积(所占像素多少)、长宽大小、RGB颜色信息;
步骤S2:辨识运动目标在各个摄像机监控区域内的状态;
步骤S3:运动目标在不同摄像机中的关联分析。
1.过滤运动目标的前景图像并储存各区域块的特征信息
首先利用改进的背景减除法得到运动目标的前景图像,为了保证运动目标的完整性,图像连通区域标记图像处理方式将小区域滤除,保留完整的大块运动区域,同时记录各个区域块的编号、面积(所占像素多少)、长宽大小、RGB颜色信息等。
目标跟踪主要为监测各运动目标在场景中的运动状态,本发明认为运动目标在场景内移动时并不会瞬间改变身上颜色信息,因此需要对各个运动区域块进行识别。在获取运动目标的颜色信息之后(R:[0,255]G:[0,255]B:[0,255]),分别累加各个运动区域块内相对位置的颜色信息,再除以各个区域块的大小得到正规化的相对位置的R、G、B颜色比例信息,最后伴随运动区域块的编号与位置一同储存于数据库内,以便将来的目标关联识别。
2.运动目标的状态辨识与处理方式
依照人运动目标在各个摄像机监控区域内的运动情况可分成五种状态:进入场景、离开场景、目标匹配,目标遮挡和前景目标丢失,各个状态的详细定义与说明如下:
(1)进入场景:开始进行跟踪之后,当候选运动目标进入场景之后若其所占运动区域块面积不断增加、RGB颜色百分比保持稳定状态(无骤增或骤减)、且数据库中无数据与此区块符合,则判定新人物已进入画面,并储存相关信息于数据库内,每个运动目标只有一次进入场景的状态,在任意一个监控区域内被判定为进入之后,若再次进入其它的监控区域,系统即可于数据库中找到对应之人物。
(2)离开场景:结束跟踪之后,若运动目标区域在此场景点已触及监控区域的边界或RGB颜色百分比呈现明显递减状态,则判定该运动目标区域即将离开画面,运动目标区域在此状态之后不再更新。
(3)目标匹配:运动目标区域在各个监控区域内若可在数据库中找到近似于当前RGB颜色百分比分量的对象,则判定运动目标识别成功,马上计算其新坐标点并与数据库中坐标点(旧坐标点)连接,实时绘出人物行走路径,最后以此区块更新数据库中各相关信息。
(4)目标遮挡:若运动目标区域在某一监控区域内突然消失,代表发生两种情况,一种是运动目标之间发生重叠,另一种则是背景与前景颜色差异过小导致前景被切割。因为可以知道是哪两个或多个运动目标发生重叠,因此在发生目标遮挡的情况时可依据各个运动目标之前的平均坐标来决定各自的运行路径,而在遮挡状态下监测到的运动目标区域则不进行特征的提取。
(5)前景目标丢失:当背景图像与前景图像的颜色差异过小时则会导致前景被切割,发生该情况时会突然无法在数据库中找到符合运动目标区域的相关特征信息,通常在发生该状态时采用忽略若干几帧图像的方法进行处理。
3.运动目标的关联分析
当运动目标在不同的摄像机场景图像中出现时,可借助各个摄像机之间的位置来获得运动目标彼此间的关联关系,因同一时间同一空间位置不可能出现两个不同人,此时运动目标若处于两个摄像机的重叠视野范围内并且属于进入场景、目标匹配、离开场景此三种状态之一,即可由此推得该运动目标相对于其它监控区域的位置,进而可以得知其在其它监控区域的状态,譬如可以得知哪些运动目标发生遮挡情况;若运动目标不在重叠的视野范围内则独立处理,如图6所示为一个不断有新的目标进入监控区域时的目标跟踪情况,在这段跟踪时间内共有3个目标逐一进入监控区域之中,如第256帧时第一个目标对象(摄像机1、摄像机2、摄像机3中的白色线框内即为目标)进入场景;另外,在第268帧时有新的目标对象进入监控区域并且被指定为新的目标,而到了第281帧时第三个目标对象被发现。尽管第281帧时目标之间发生了部分遮挡,但并没有影响到实时跟踪的效果。
本发明解决了前景背景分离、复杂天气和环境状态下到运动目标提取和多个摄像机之前的协同运动目标跟踪等技术难题。实现了具有较高的智能监控能力和较高检测准确率的智能监控系统,提高了相应监测和跟踪算法的效率和鲁棒性。
本发明对复杂场景也具有很高的识别准确率。此项技术成果可以应用于各行各业的视频监控系统,例如金融证券保险业的安全监控、政府机关的安全监控、考场纪律的监控、边境保卫、监狱安全保卫、社区安防等方面,甚至在国防领域都有着十分广阔的应用前景。

Claims (2)

1.一种复杂场景中多摄影机协同的人物追踪方法,其特征在于:包括以下步骤:
A1、运动目标监测:分析由各个摄像机获取的监控视频,将视频转换成相应的图像序列,使用一种改进的利用时间差分法结合背景减除法建立背景模型,并针对不同的区域采取不同的更新策略;
A2、场景图像增强:以模糊理论为基础将场景图像的亮度值转成模糊矩阵,并针对此矩阵做实时模糊强化,以增强图像中的阴暗部分,并保留各像素点的饱和度信息,以确保运动目标的有效监测;
A3、多摄像机的指定目标跟踪:以图像连通区域标记过滤前景破碎小块区域并记录各块连通区域的相关信息,接着针对各摄像机所获取的运动目标区域利用其中所包含的RGB颜色信息和该运动目标区域块所对应的位置信息进行运动目标辨识,并将各运动目标区分为5种状态进行跟踪,再分析摄像机之间获取的运动目标的关联性,融合多摄像机进行协同监测从而完成全局场景人物实时监控目标,5种状态包括:进入场景、离开场景、目标匹配、目标遮挡、前景目标丢失,所述步骤A1,首先通过时间差分法得到二值图像找到大致运动区域,并且对背景按式(1)进行更新,对检测结果中前景像素的背景模型不进行更新,而对比较稳定的背景像素进行更新,并可根据检测结果中是否存在运动目标采用不同的更新速度,
式(1)中Bt(x,y)和Bt-1(x,y)分别代表当前时刻和前一时刻的背景图像,f(x,y)表示当前输入图像,Mt(x,y)则描述的是二值化的前景图像,更新速度α和β分别为设定的一个较快的更新速度和较慢的更新速度,β>α,TargetCount为检测到的运动目标的个数,
所述步骤A2,对由于光照变化和天气变化造成场景变换,所需的图像增强方法包括如下步骤:
步骤A21:将图像转换到HIS颜色空间,并进行模糊化;
步骤A22:对模糊化的图像进行亮度增强,同时保持相应像素点的饱和度;
步骤A23:将增强后的图像复原到RGB颜色空间;
所述A21将图像转换到HIS颜色空间,并进行模糊化的过程为:
首先给定一张分辨率为M*N、灰度值范围为[0,L-1]的灰度图像,则可将此
图像视为一M列N行的矩阵,也就是将输入图像视为一二维矩阵:
F = ∪ x = 1 M ∪ y = 1 N ( μ x y / f x y ) , 0 ≤ μ x y ≤ 1
其中fxy代表该像素的灰度值,若模糊矩阵中元素值越接近代表其模糊度越高,反之则越低,将需要增强的图像由RGB颜色空间转换至HSI颜色空间
r = R R + G + B ; g = G R + G + B ; b = B R + G + B
h = 2 π - cos - 1 { 0.5 * [ ( r - g ) + ( r - b ) ] ( r - g ) 2 + ( r - b ) * ( g - b ) } , b ≤ g ; h ∈ [ π , 2 π ] 以亮度(I)值进行模
s=1-3*min(r,g,b);s∈[0,1]
i=(R+G+B)/(3*255);i∈[0,1]
糊化,I可视为模糊矩阵中之fxy,并以对应差距比例值的方式定义μ值,如公式 μ x y = ( f x y - f m i n ) / ( f ‾ + σ - f m i n ) , f x y ≤ f ‾ + 2 σ ( f m a x - f x y ) / ( f m a x - f ‾ - σ ) , f x y > f ‾ + 2 σ 所示,其中σ代表标准偏差,fmin代表整张图像最小I值,fmax代表整张图像最大I值,代表整张图像I之平均值,转换后μ值皆介于0至1之间符合模糊化的限制;
所述A22:对模糊化的图像进行亮度增强,同时保持相应像素点的饱和度方法为:除针对μ值做强化外,为保持图像本身的饱和度,故需调整饱和度值S以使其颜色看起来符合常理,故本发明将原S值取0.5次方作为新S’值
x = i * ( 1 - s ) y = i * &lsqb; 1 + s * cos ( h ) cos ( &pi; / 3 - h ) &rsqb; z = 3 * i - x - y r = y , g = z , b = x ; h < 2 &pi; / 3 r = x , g = y , b = z ; 2 &pi; / 3 &le; h < 4 &pi; / 3 , h = h - 2 &pi; / 3 r = z . g = x . b = y ; 4 &pi; / 3 &le; h < 2 &pi; , h = h - 4 &pi; / 3 r * 255 ; g * 255 ; b * 255 ; 公式1
所述A23:将增强后的图像复原到RGB颜色空间方法为:将增强的μ值代回公式 &mu; x y = ( f x y - f m i n ) / ( f &OverBar; + &sigma; - f m i n ) , f x y &le; f &OverBar; + 2 &sigma; ( f m a x - f x y ) / ( f m a x - f &OverBar; - &sigma; ) , f x y > f &OverBar; + 2 &sigma; 求得新的灰度值I’,H、S’、I’三值代入式(1)复原回RGB颜色空间,即完成图像的强化处理。
2.根据权利要求1所述的方法,其特征在于:所述步骤A3,在实现运动目标协同跟踪时包括如下步骤:
步骤A31:对获得的前景图像进行图像连通区域的运动目标标记同时过滤前景图像中的碎小区域块,并记录各连通区域块的相关信息;
步骤A32:辨识运动目标在各个摄像机监控区域内的状态;
步骤A33:运动目标在不同摄像机中的关联分析。
CN201210078690.3A 2012-03-23 2012-03-23 一种复杂场景中多摄影机协同的人物追踪方法 Expired - Fee Related CN102663743B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210078690.3A CN102663743B (zh) 2012-03-23 2012-03-23 一种复杂场景中多摄影机协同的人物追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210078690.3A CN102663743B (zh) 2012-03-23 2012-03-23 一种复杂场景中多摄影机协同的人物追踪方法

Publications (2)

Publication Number Publication Date
CN102663743A CN102663743A (zh) 2012-09-12
CN102663743B true CN102663743B (zh) 2016-06-08

Family

ID=46773221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210078690.3A Expired - Fee Related CN102663743B (zh) 2012-03-23 2012-03-23 一种复杂场景中多摄影机协同的人物追踪方法

Country Status (1)

Country Link
CN (1) CN102663743B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101640527B1 (ko) * 2012-10-09 2016-07-18 에스케이 텔레콤주식회사 단일객체의 크기를 추정하는 영상 감시장치 및 방법
CN104077757B (zh) * 2014-06-09 2017-05-10 中山大学 一种融合实时交通状态信息的道路背景提取与更新方法
JP5818050B1 (ja) * 2015-01-28 2015-11-18 ビックリック株式会社 ステータス判定システム
CN104809742A (zh) * 2015-04-15 2015-07-29 广西大学 一种复杂场景下的物品安全检测方法
TWI557691B (zh) * 2015-09-23 2016-11-11 睿緻科技股份有限公司 監視攝影裝置及其使用的區域式移動偵測方法
CN105678834B (zh) 2016-02-26 2019-12-17 腾讯科技(深圳)有限公司 区分对象的方法和装置
CN107403437A (zh) * 2016-05-19 2017-11-28 上海慧流云计算科技有限公司 机器人跟踪物体的方法、装置及机器人
CN106156769A (zh) * 2016-07-14 2016-11-23 上海摩象网络科技有限公司 基于特征频率光学系统的多目标识别技术
CN106683077A (zh) * 2016-12-07 2017-05-17 华南理工大学 一种扶梯口楼层板上大件物滞留检测方法
CN108846980A (zh) * 2018-06-27 2018-11-20 肖鑫茹 一种监控报警系统
CN109319619A (zh) * 2018-09-14 2019-02-12 南京理工技术转移中心有限公司 一种电梯智能监控系统的工作方法
CN109446942B (zh) * 2018-10-12 2020-10-16 北京旷视科技有限公司 目标跟踪方法、装置和系统
CN109460077B (zh) * 2018-11-19 2022-05-17 深圳博为教育科技有限公司 一种自动跟踪方法、自动跟踪设备及自动跟踪系统
CN109871783B (zh) * 2019-01-28 2021-05-07 武汉恩特拉信息技术有限公司 一种基于视频图像的监控方法及监控系统
CN110086651B (zh) * 2019-03-22 2021-08-17 西安电子科技大学 一种面向监控系统的摄像头物理空间分布测定方法
CN112131904B (zh) * 2019-06-24 2024-03-15 曜科智能科技(上海)有限公司 基于图匹配的多目标跨镜追踪方法、装置、设备和介质
CN112348856A (zh) * 2019-08-09 2021-02-09 盐城吉大智能终端产业研究院有限公司 基于网络系统拓扑结构的多摄像头协同分析方法及系统
CN110544259B (zh) * 2019-09-04 2022-12-02 合肥工业大学 一种基于计算机视觉的复杂背景下伪装人体目标检测方法
CN112487854A (zh) * 2019-09-12 2021-03-12 苏州天亿达科技有限公司 一种边海防视频处理的应用方法
CN110704530B (zh) * 2019-11-15 2023-08-08 深圳供电局有限公司 基于大数据分析技术的一种城市中心区配电网可视化系统
CN111144478B (zh) * 2019-12-25 2022-06-14 电子科技大学 一种穿帮镜头的自动检测方法
CN111540217B (zh) * 2020-04-16 2022-03-01 成都旸谷信息技术有限公司 基于mask矩阵的平均车速智能监测方法、系统
CN111428688B (zh) * 2020-04-16 2022-07-26 成都旸谷信息技术有限公司 基于mask矩阵的车辆的行驶车道智能识别方法、系统
CN111553214B (zh) * 2020-04-20 2023-01-03 哈尔滨工程大学 一种驾驶员吸烟行为检测方法及系统
CN111665883B (zh) * 2020-05-20 2021-05-07 浙江旅游职业学院 一种无菌车间智能安全监控系统及方法
CN112446358A (zh) * 2020-12-15 2021-03-05 北京京航计算通讯研究所 基于视频图像识别技术的目标检测方法
CN112507913A (zh) * 2020-12-15 2021-03-16 北京京航计算通讯研究所 基于视频图像识别技术的目标检测系统
CN112616023A (zh) * 2020-12-22 2021-04-06 荆门汇易佳信息科技有限公司 复杂环境下的多摄像机视频目标追踪方法
CN114598849B (zh) * 2022-05-06 2022-07-15 青岛亨通建设有限公司 一种基于物联网的建筑施工安全监控系统
CN115187637B (zh) * 2022-09-13 2022-11-22 北京控制工程研究所 目标运动参数实时辨识方法、轨迹预估方法及装置
CN116055690B (zh) * 2023-04-03 2023-06-09 山东金宇信息科技集团有限公司 一种机房监控视频的处理方法及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291428A (zh) * 2008-05-30 2008-10-22 上海天卫通信科技有限公司 自动视角配置的全景视频监控系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030052971A1 (en) * 2001-09-17 2003-03-20 Philips Electronics North America Corp. Intelligent quad display through cooperative distributed vision

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291428A (zh) * 2008-05-30 2008-10-22 上海天卫通信科技有限公司 自动视角配置的全景视频监控系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
多摄像机视频监控中运动目标检测与跟踪;梁华;《中国博士学位论文全文数据库信息科技辑》;20110415;正文第5-6、61、63、95、103页 *
智能视频监控系统中运动目标的检测与跟踪;曹朋朋;《中国优秀硕士学位论文全文数据库信息科技辑》;20120315;正文第22-24页 *

Also Published As

Publication number Publication date
CN102663743A (zh) 2012-09-12

Similar Documents

Publication Publication Date Title
CN102663743B (zh) 一种复杂场景中多摄影机协同的人物追踪方法
Brown et al. Performance evaluation of surveillance systems under varying conditions
CN105160297B (zh) 基于肤色特征的蒙面人事件自动检测方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN103729858B (zh) 一种视频监控系统中遗留物品的检测方法
CN100525395C (zh) 多摄像机下基于主轴匹配的行人跟踪方法
CN101315701B (zh) 运动目标图像分割方法
CN106204643A (zh) 基于多特征联合与Mean Shift算法的多目标跟踪方法
CN102892007B (zh) 促进多个摄像机间颜色平衡同步和获得跟踪的方法和系统
CN110415268A (zh) 一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法
CN103077539A (zh) 一种复杂背景及遮挡条件下的运动目标跟踪方法
CN102903124A (zh) 一种运动目标检测方法
CN102663362B (zh) 一种基于灰度特征的运动目标检测方法
CN107301378A (zh) 图像中多分类器集成的行人检测方法和系统
CN106296677A (zh) 一种基于双背景模型的双掩膜背景更新的遗留物检测方法
Liang et al. Methods of moving target detection and behavior recognition in intelligent vision monitoring.
CN104751492A (zh) 基于动态耦合条件随机场的目标区域跟踪方法
CN105469427A (zh) 一种用于视频中目标跟踪方法
CN103049919B (zh) 一种嵌入式目标检测算法
WO2016019973A1 (en) Method for determining stationary crowds
CN101877135B (zh) 一种基于背景重构的运动目标检测方法
CN105930814A (zh) 基于视频监控平台的人员异常聚集行为的检测方法
CN106339666B (zh) 一种人体目标的夜间监控方法
CN106022314A (zh) 一种智能视频监控中刚性目标丢失的检测方法
Shbib et al. Distributed monitoring system based on weighted data fusing model

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
DD01 Delivery of document by public notice
DD01 Delivery of document by public notice

Addressee: Patent of Xi'an University of Electronic Science and technology The person in charge

Document name: Notification of Termination of Patent Right

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160608

Termination date: 20210323