CN106709436B - 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统 - Google Patents
面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统 Download PDFInfo
- Publication number
- CN106709436B CN106709436B CN201611122720.0A CN201611122720A CN106709436B CN 106709436 B CN106709436 B CN 106709436B CN 201611122720 A CN201611122720 A CN 201611122720A CN 106709436 B CN106709436 B CN 106709436B
- Authority
- CN
- China
- Prior art keywords
- camera
- target
- pedestrian
- area
- suspicious
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/759—Region-based matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统,包括单摄像头轨道交通视频中可疑行人目标检测模块,用于从单摄像头轨道监控视频当中分辨出正在运动的可疑行人;单摄像头轨道交通视频中可疑行人目标跟踪模块,用于在单摄像头轨道交通视频当中实时标注出运动的可疑行人目标;多摄像头之间目标匹配模块,用于当前视频监控摄像头中目标行人与关联摄像头监控视频中的行人目标的特征匹配;多摄像头间目标移交模块,用于多摄像头视野区域的情况下,根据相邻摄像头间目标的匹配结果、单摄像头内行人运动的方向及摄像头的拓扑结构预测可疑行人的运动轨迹,判断可疑行人目标走出当前区域后即将步入的区域范围。
Description
技术领域
本发明属于计算机视觉领域,具体涉及面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统。
背景技术
随着社会的发展,视频监控在保障公共安全、维护社会稳定方面起着越来越重要的作用。目前,全国各地主要公共场合均安装了大量的监控摄像头。据统计,从2010年至2014年,我国摄像头总数在以每年百分之二十的速度增加。近年来,随着交通业的发展,轨道交通越来越普及,在极大便利市民的出行之余,也给一些违法乱纪之人以便利。轨道交通因其快速、隐蔽、拥挤等特点成为许多犯罪人员的首选地点,因此在地下轨道安装大量摄像头能够时刻监控异动发生,为市民的安全提供保障。
目前,通过如此海量摄像头获取到的海量数据都是由人工处理的。在监控系统视频指挥中心,专职的监控人员24小时轮流值班,人工观察、分析各摄像头画面中出现的目标状态及其运动行为。仅仅依靠人眼来观察各个视频的监控情况,工作量大,工作强度高,而且在长时间的工作强度下容易出现偏差,导致某些区域的异常画面未注意到。研究表明,人的大脑在凌晨3点至6点之间是一天中反应最慢的,此时也正是各种犯罪活动猖獗的时段。这一切都使得视频监控智能化显得格外重要。智能监控系统是近几年来计算机视觉范畴的一颗新星,主要是对得到的视觉信息做出分析、判断,并使用判断的结果对目标完成再监控。这项工作的完成要靠图像处理、计算机视觉、模式识别、人工智能等研究方向的学科知识结合。国内外,关于该方面均做了大量研究,如美国部分城市已在智能轨道交通领域有了初步实践。
全景指的是多个监控视频和区域三维模型融合拼接后的图像或者全景监控系统中的单个监控视频,而城市轨道交通全景监控视频即指全景监控系统中的单个监控视频。城市轨道交通全景监控的图片属于数字图像,具有数字图像的像素表示的特性,可以由计算机存储和处理的特点。而视频监控系统,根据运动目标跟踪系统的实际规模不同可以分为由单摄像头或多摄像头组成的两类系统,以及摄像头之间有交叉拍摄区域和无交叉拍摄区域的两类跟踪系统。目前就智能监控的近况来看,有两方面不足:一方面基于单摄像头的拍摄区域有限,不能实现对运动目标长时间持续有效的跟踪;另一方面智能监控范围十分广阔,但是摄像头本身所覆盖视野却是有限的;再者由于经济原因,摄像头数量有限,使得轨道交通中交叉拍摄面积几乎为零。鉴于这两大问题,无法实现对于大范围场景的持续有效地监控。所以,面向轨道交通监控的跨摄像头可疑行人目标跟踪系统,对实现大范围场景下多摄像头无重叠区域的可疑运动行人目标的连续跟踪监控有着深远的意义。
发明内容
为了克服单摄像头视野域的有限和多摄像头无重叠区域及被监控目标之间遮挡情况对监控带来的消极影响,本发明提出一种面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统。
本发明的技术方案为一种面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统,包括以下模块,
单摄像头轨道交通视频中可疑行人目标检测模块,用于从单摄像头轨道监控视频当中分辨出正在运动的可疑行人;
单摄像头轨道交通视频中可疑行人目标跟踪模块,用于在单摄像头轨道交通视频当中实时标注出运动的可疑行人目标,实现在图像序列当中对同一运动行人目标进行定位;
多摄像头之间目标匹配模块,用于当前视频监控摄像头中目标行人与关联摄像头监控视频中的行人目标的特征匹配;
多摄像头间目标移交模块,用于多摄像头视野区域的情况下,根据相邻摄像头间目标的匹配结果、单摄像头内行人运动的方向及摄像头的拓扑结构预测可疑行人的运动轨迹,判断可疑行人目标走出当前区域后即将步入的区域范围。
而且,单摄像头轨道交通视频中可疑行人目标检测模块中,单摄像头轨道监控视频当中分辨出正在运动的可疑行人实现方式如下,
第一步,以双边滤波的方式对图像进行预处理,在保持边缘不受损害的基础上消除图像噪声;
第二步,采用基于颜色统计特性的阴影去除方法去除图像中光照条件下运动区域的阴影部分;
第三步,使用混合高斯背景建模法识别出图像序列中的运动区域,并进行二值化处理,去除行人运动过程中产生的阴影区域,凸显出运动区域轮廓;
第四步,根据各个运动区域轮廓面积的大小判断是否是要保存,如果不满足预设阈值要求则作为干扰域放弃保存。
而且,多摄像头之间目标匹配模块中,采用Surf特征点匹配与色彩直方图匹配相融合的特征匹配方法,然后进一步采用阈值进行判断,得出最佳匹配区域,看作是运动行人目标。
而且,多摄像头间目标移交模块中,将运动物体的方向选择设定为前后左右四个方向,以当前摄像头为中心将四个方向的摄像头分别标号为1号、2号、3号和4号;根据多摄像头之间目标匹配模块选出的最优匹配区域,选取当前摄像头的关联摄像头,并在关联摄像头内进行目标匹配。
本发明可直接应用于智能轨道交通全景视频的扩摄像头可疑行人目标的跟踪,智能分析可疑行人的运动轨迹;可解决单摄像头视野域窄,运动行人目标被遮挡等问题,有助于对可疑行人目标进行准确的实际场景定位。目标遮挡物,多摄像头视野域不重叠一直是运动物体跟踪的难点,而实际应用中此类问题又频繁出现,因此用多摄像头联合监控,具有重要的市场价值和开阔的应用前景。
附图说明
图1是本发明实施例的可疑行人目标检测示意图。
图2是本发明实施例的单摄像头轨道交通视频中目标跟踪算法流程图。
图3是本发明实施例的多摄像头之间目标匹配流程图。
图4是本发明实施例原理图。
图5是本发明实施例涉及的Haar_like特征类型示意图,其中图5(a)为边缘特征,图5(b)为线性特征,图5(c)为中心特征,图5(d)为对角线特征。
图6是本发明实施例的像素模块示意图。
图7是本发明实施例的摄像头拓扑结构示意图。
图8是本发明实施例的跟踪坐标示意图。
图9是本发明实施例的阈值分割示意图。
具体实施方法
以下结合附图和实施案例详细说明本发明技术方案。
本发明着重针对轨道交通全景监控无重叠区域情况下的跨摄像头可疑行人目标的持续跟踪做出了研究与设计,主要做出了以下几方面的工作:
1)提出了一种经过改进的混合高斯背景建模法的运动区域阴影去除算法。该方法能准确的消除运动区域所产生的阴影区域,并通过大量实验,验证该算法的准确性和稳定性,实现了行人目标的精确检测。
2)使用多特征融合的方法实现行人目标的匹配,克服了因光照,摄像头参数造成的成像效果不同而易出现误匹配的情况。
3)在单摄像头内部完成对运动目标的跟踪,并依照实际场景下多摄像头之间的拓扑结构及特征融合等方法完成多摄像头之间的目标交接。
本发明实施例具体的实施方案首先是将多摄像头连接在系统设备上,同时启动获取视频图像,各摄像头视野范围并无重叠。然后在当前摄像头所呈现的视频图像上选取运动行人目标进行跟踪,在目标即将离开当前视野时判断其行驶方向并与关联摄像头之间进行行人目标匹配,结合当前摄像头的拓扑结构完成目标交接。最后在关联摄像头拍摄范围内达成对目标的再跟踪。本发明的实现原理如图4所示:
运动行人目标检测:完成对视频图像中运动行人的检测并转成灰度图像,清晰地呈现出运动区域的变化,并记录每一帧所出现运动区域的位置信息及区域大小。
行人目标跟踪:对单摄像机视野范围内部的运动目标实现持续有效的跟踪,并根据目标运动轨迹判断目标行驶方向为目标交接做铺垫。
摄像头拓扑结构:以当前摄像机为中心将其设定为前后左右四个方向。
提取特征目标:分别提取目标截图以及关联摄像头中各运动区域的截图的颜色特征及surf特征。
目标匹配:根据上一步所提取的特征,做特征匹配选出满足要求的与目标最为匹配的运动区域,将此区域看作是出现在另一摄像头视野的运动目标。
目标交接:选出最优匹配区域后,反馈给系统此区域的位置信息及大小,便于系统将目标在另一摄像头视野内用红色矩形框标注,进而实现对目标的再跟踪。
通过行人目标跟踪完成当前摄像头内行人目标的特征获取和行人目标前进方向的判断;运动行人目标检测主要获取摄像头中目标行人的特征;通过以上摄像头内获取的行人目标的特征,进行目标的特征匹配,确定跨摄像头内跟踪的行人目标,然后结合目标前进的方向及摄像头的拓扑结构选出最优匹配区域,完成关联摄像头间的目标移交工作,然后以确定的关联摄像头为跟踪的起点,实现目标的继续跟踪。
因此,本发明实施例提供的系统设置以下模块:
所述单摄像头轨道交通视频中可疑行人目标检测模块,用于从单摄像头轨道监控视频当中分辨出正在运动的可疑行人,并标注显示为之后的研究工作做准备。
所述单摄像头轨道交通视频中可疑行人目标跟踪模块,用于在一段单摄像头轨道交通视频当中实时的标注出运动的可疑行人目标,其中包括位置、速度、运动方向等一些运动参数,即实时的在图像序列当中对同一运动行人目标进行定位。
所述多摄像头之间目标匹配模块,用于当前视频监控摄像头中目标行人与关联摄像头监控视频中的行人目标的特征匹配,本发明选用目标匹配最佳的原则。在采用特征融合的基础上进一步选用阈值进行判断,得出最佳匹配区域,然后看作是运动行人目标。
所述多摄像头间目标移交模块,用于相邻摄像头之间视野区域无重叠现象。通过相邻摄像头间目标的匹配结果、单摄像头内行人运动的方向及摄像头的拓扑结构等预测可疑行人的运动轨迹,以此来判断在多摄像头视野区域的情况下,可疑行人目标走出当前区域后,即将步入的区域范围。
所述可疑行人目标检测模块完成对视频图像中运动物体的检测并转成灰度图像,可清晰地呈现出运动区域的变化,并记录每一帧所出现运动区域位置及区域大小。结合行人目标跟踪模块对单摄像头视野范围内部的运动行人目标的持续有效的跟踪,根据目标运动轨迹判断目标运动方向,为多摄像头间的目标移交做铺垫。
具体实施时,可采用软件模块化方式实现本发明技术方案。
实施例中各模块的具体实现如下:
1.单摄像头轨道交通视频中可疑行人目标检测模块,采用经过完善的混合高斯背景建模法的运动目标检测算法。混合高斯背景建模法的关键部分是寻找到与新像素匹配的分布模型并根据匹配模式判断此像素属于图像前景还是背景。用于与已知的可疑行人目标图片进行匹配,如果在轨道交通监控视频中检测到与已知可疑行人一致的目标,显示并标记出目标的具体位置。详细流程见图1。
混合高斯背景建模法是背景建模法当中最为常用的一种运动目标检测方法,此方法以表达像素样本背景的统计信息的方法为基础,通过像素在一定时间内所形成的大量样本值得出样本统计信息,诸如:概率密度、标准差、模式数量等。然后利用得出的样本统计信息表示背景,利用统计差分法对运动目标进行像素判断。在创建混合高斯背景模型的过程内,相邻像素之间的色彩信息互相不干扰,系统对于每个像素点都是分开管理的。视频内的各个像素点的值随着陆续获取像素值的改变而随机。因此混合高斯背景建模法的优点在于图像内各点之间的干扰性不强,能够达成对复杂背景的建模。
本发明所采用的运动行人目标检测方法是经过完善的混合高斯背景建模法。通常利用混合高斯背景建模法对图像运动区域进行检测会出现两大问题,分别是:第一、图像序列会有一定的噪声出现而混合高斯背景建模法在去噪方面效果较其他方法而言较弱;第二、在有光照的情况下运动区域会有阴影出现。针对以上两个问题。本发明针对混合高斯背景建模法的应用具体改进的地方如下:
1)在应用混合高斯建模法之前,对图像进行去噪及初步去除图像阴影等操作,免除在进行行人运动区域分割时图像噪声及阴影部分等对运动区域的干扰。
2)对混合高斯建模法的检测结果进行二值化处理,去除行人运动过程中产生的阴影区域。
本发明在设计系统时所采取的步骤是:参见图1,第一步,系统以双边滤波的方式对图像进行预处理,在保持边缘不受损害的基础上消除图像噪声;第二步,采用基于颜色统计特性的阴影去除方法去除光照条件下的阴影,即对图像进行去除阴影处理,消除在光照条件下运动区域的阴影部分,免除在进行区域分割时阴影部分对运动区域的干扰,具体基于颜色统计特性的阴影去除方法实现为现有技术,本发明不予赘述;第三步,使用混合高斯背景建模法识别出图像序列中的运动区域,并进行二值化处理,去除行人运动过程中产生的阴影区域,凸显出运动区域轮廓,以助于肉眼识别;第四步,根据所显示出来的各个运动区域轮廓面积的大小判断是否是要保存该区域,倘若不满足预设阈值要求则放弃保存该区域继续寻找需要保存的区域。由于图像序列中的物体的运动与否不能人为控制,所以系统必须在图像序列的每一帧都进行运动区域分割,即在图像序列不断播放的过程中,系统在每一帧实施运动区域分割,为目标匹配做铺垫。实验结果发现算法的改进有效地解决了基于混合高斯背景建模法对运动目标进行检测过程中所产生的噪声以及阴影等问题。具体实施时,本领域技术人员可自行预设阈值。
因行人在运动过程中会产生阴影区域,且阴影区域与运动行人本身并非是一个整体,运动行人本身具有一定的几何性,是阴影区域所不具备的。在使用混合高斯背景建模法进行目标检测的过程中,得出的检测结果会将阴影区域,运动行人与图像背景三者用不同的颜色进行区分。其中阴影区域用灰色表示,运动行人本身用白色表示,图像背景用黑色表示。视频图像经过混合高斯背景建模法完成运动目标检测之后会对应除图像背景之外的每一帧反馈一张掩码图像。此图像为灰度图像,由黑灰白三种颜色组成,其中黑色部分为图像背景,白色部分为图像前景,灰色部分为运动物体在光照条件下产生的阴影部分。图像的灰度变化可以用灰度值为0~255之间的数字表示,0代表黑色,255代表白色,0与255之间的数字代表不同程度的灰度色调。本发明利用掩码图的颜色信息,将图形进行二值化处理,以经验值240为阈值,将掩码图中的灰色区域即图像阴影区域变为黑色,与图像前景即运动物体进行分离,进而将图像中运动物体的运动轮廓还原,检测运动目标的效果较为显著。设P(i,j)代表任一像素灰度值,H代表本实施例所设置的阈值240,示意图如图9所示:
当P(i,j)<H,判断为干扰域,放弃保存该区域继续寻找需要保存的区域
当P(i,j)>=H,判断为运动区域
2.单摄像头轨道交通视频中可疑行人目标跟踪模块
用于在一段单摄像头轨道交通视频当中实时的标注出运动的可疑行人目标,其中包括位置、速度、运动方向等一些运动参数,即实时的在图像序列当中对同一运动行人目标进行定位,对特定行人已有的轨迹进行计算分析,并据此在接下来的视频图像中预测行人的位置,从而达到行人跟踪的目的。本模块采用现有的CT(Compressive Tracking)跟踪算法,该算法是一种基于压缩感知的跟踪算法。该算法主要分为两步:一是先对图像特征用符合压缩感知条件的随机感知矩阵进行降维,二是用朴素贝叶斯分类对降维后的图像特征进行处理。本发明使用Haar_like特征的特征值,作为运动目标跟踪过程中的特征描述算子。目前常用的Haar-like特征可以分为四类(见图5,有图5(a)边缘特征、图5(b)线性特征、图5(c)中心特征、图5(d)对角线特征),边缘特征有4种:x方向,y方向,x倾斜方向,y倾斜方向;线特征有8种,点特征有2种,对角线特征有1种。每一种特征的计算都是由黑色填充区域的像素值之和与白色填充区域的像素值之和的差值。而计算出来的这个差值就是所谓的Haar-like特征的特征值。该算法的详细流程如图2所示。
视频帧输入后,首先判断是否为第一帧,
若是,则选取矩形框,利用积分图计算Haar_like特征,利用稀疏测量矩阵对图像降维,更新贝叶斯分类器,获取新的特征分类器;
若否,则以前一帧目标区域为中心,获得分类区域;选取矩形框,利用积分图计算Harr_like特征,利用稀疏测量矩阵对图像降维,更新获取新的特征分类器;获取跟踪结果。
实施例具体实现过程如下:
1)第一帧图像过来:
(1)用户手工选择矩形框区域,选取运动行人目标。用来当做Haar_like特征的提取模板
(2)计算原图像的积分图。
(3)根据积分图和前面所得的Haar_like特征提取模板,提取运动行人目标的特征。Harr_like特征值是用两个矩阵区域像素的差值得到的,如图6,将一张图片分成若干块区域A,B,C,D..,若矩形区域D的四个顶点分别为a,b,c,d,则能够将D的像素和D(sum)表示见公式:
D(sum)=ii(a)+ii(b)-(ii(c)+ii(d)) 公式7
sum为求和,ii(a)代表点a的积分图像,同理,ii(b),ii(c),ii(d)分别代表点b,c,d的积分图像
(4)用稀疏测量矩阵对特征进行降维处理
(5)更新贝叶斯分类器,获取新的分类器
2)非第一帧图像过来:
(1)以前一帧目标区域为中心,例如以25个像素点为半径,逐个遍历,可以获得大约1100个待分类区域。
(2)得到这些待分类区域的积分图,用前面产生的Haar-like特征模板提取这些待分区域的Haar特征。得到特征向量。
(3)用稀疏测量矩阵对特征进行降维处理
(4)用贝叶斯分类器对这些待分类区域对进行分类,选出最有可能是目标的矩形框,作为当前跟踪结果。
3.多摄像头之间目标匹配模块
用于当前视频监控摄像头中行人目标与关联摄像头监控视频中的行人目标的特征匹配。特征匹配的关键在于提取出同一运动物体的有效特征,即有利于辨别目标的特征。由于处于不同场景下的不同摄像头其光照不同,本身参数不同等原因造成同一目标的成像效果不同,容易出现误匹配。现今,研究者常用到的特征有Surf特征、色彩直方图和UV色度分量等稳定性较强的特性。融合在一起的特征模型能够更好地标志运动目标,即使其中一项特征在突发情况下没有发生作用,还可以利用特征模型中的其他特征来进行匹配。多重目标特征组成的特征模型降低了突发环境变化所带来的特征不可用性,便于与其他摄像机成像区域的运动物体做匹配。
因此本发明采用Surf特征点匹配与色彩直方图匹配相融合的特征匹配方法,然后选用目标匹配最佳的原则,在采用特征融合的基础上进一步选用阈值进行判断,得出最佳匹配区域,然后看作是运动行人目标。Surf(Speed Up Roboust Feature)属于不改变图像尺度的情况下特征改变的算法,在Sift算法的基础上进行了提速。采用Surf算法获取的特征描述算子能够对图像进行仿射变换、旋转、缩放、仿射变换、光照等变换,并具有较强的鲁棒性。由于在监控中要求具有较强的实时性,平常监控摄像机拍摄的图片具有光照变化、噪音点、监测物体姿态变化等影响因素,所以要通过Surf算法提取特征点方法来对图像进行处理然后再进行匹配。在获得监控图像的Surf特征点后,应该进一步完成特征点之间的配准,首先要在特征点之间创建无误的对应函数,然后通过选取适合的图像配准运算方法可以对监控图像之间通过运算形成几何变换关系的单应矩阵。Flann算法是用来完成对Surf多维特征点的进行匹配的一种主要算法。详细算法流程图见图3:
可疑行人目标匹配是实现本发明的关键部分,在此之前完成的工作包括以下两个方面,分别是:(1)利用Surf特征点匹配方法将目标截图与所保存的全部运动区域分割图像一一作出Surf特征匹配并记录特征点的匹配个数;(2)利用颜色直方图匹配算法将目标截图与所有备选目标图像分别做出匹配并记录。(3)根据Surf特征点的配准记录选出与目标截图特征点匹配对数最多的运动区域,选出最优匹配并记录图像编号;(4)根据颜色直方图匹配所反馈的颜色匹配度选出与目标截图在颜色方面最为匹配的运动区域,选出最优匹配并记录图像编号,与此同时判断是否满足半匹配,可通过预设阈值判断保证最优匹配图像与目标截图之间的颜色匹配值满足在半匹配以内,具体实施时本领域技术人员可自行预设阈值取值,实施例中阈值设为0.55,即若用巴氏距离(Bhattacharyya)来表示的话,Bhattacharyya必须小于阈值0.55;(5)本发明实施例在将关联摄像头视野区域进行运动区域分割时将分割后的图像分别进行编号,以数组成员的方式保存在系统内存中。所以在进行完两项匹配之后,本发明又将两次图像匹配所选出的图像编号进行对比,判断是否是同一运动区域图像。若系统判定是同一运动区域图像,则说明在当前帧中,运动目标在关联摄像头中的位置已经确定。
4.多摄像头间目标移交模块
本发明实现了相邻摄像头之间视野区域无重叠情况下,跨摄像头间的目标移交算法。该算法能够在当前摄像头内选取运动行人目标之后,通过相邻摄像头间的目标匹配结果识别出运动目标并对其进行标记,为实现继续跟踪作出准备工作。然后结合单摄像头内行人运动的方向、摄像头的拓扑结构等预测行人目标的运动轨迹,以此来判断在多摄像头视野区域的情况下,可疑行人目标走出当前区域后即将步入的区域范围,继而实现行人目标的再跟踪。在对运动目标的方向进行计算以及运动轨迹的预测等方面不需要进行摄像头参数的标定。详细步骤罗列如下:
1)在当前摄像头中选取运动行人目标,截图保存。跟踪目标过程中根据方向信息以及摄像机拓扑结构判断目标即将进入的摄像头方位,并且根据目标位置信息判断是否停止当前跟踪。
2)若经过判断得出,目标即将进入关联摄像头,则将实时视频的每一帧图像作如下处理:首先运动区域分割并分别保存为备选目标图像;其次将备选图像分别于目标行人截图进行匹配。直到寻找到最优匹配运动区域,停止这一过程。
3)确定运动目标在关联摄像头中的区域之后,进一步确定区域位置坐标信息,进而实现对运动目标的再跟踪。
结合摄像头拓扑结构预测运动目标轨迹的目的是为了减小系统的工作量。考虑到现实生活中在十字路口等拐角地带,人一般面临四个方向选择,本发明将运动物体的方向选择设定为前后左右四个方向。为便于描述,本发明以当前摄像头为中心将四个方向的摄像头分别标号为1号、2号、3号和4号,如图7所示。根据目标匹配模块选出最优匹配区域,反馈给系统此区域的位置及大小信息,选取当前摄像头的关联摄像头,并在关联摄像头内进行目标匹配,具体实施时可用红色矩形框标注,进而实现对目标的再跟踪。在此需要声明,当前物体的运动方向是指在摄像头视野范围内的运动方向,跟实际方向无关。根据当前摄像头内对运动轨迹的追踪,判断出目标即将进入的视野区域。在判断目标运动方向时,本发明的设计思路是:确定跟踪开始时目标在图像中的坐标为K(x1,y1),跟踪结束时目标在图像中的坐标为J(x2,y2),根据两点之间的坐标关系判断目标在摄像机内部的运动方向,其中K与J分别为目标所在矩形的中心点。值得一提的是,图像中左上角点的坐标作为原点坐标(0,0),图像所在矩形的上边作为x轴,箭头朝右,x的值逐渐增大;图像所在矩形的左边看作是y轴,箭头朝下,y值逐渐增大;
若现在K,J两点在道路上的分布如图8所示,这种情况下的方向判断如下表所示。
坐标大小关系 | 方向判断 |
(x<sub>2</sub>-x<sub>1</sub>)>|y<sub>1</sub>-y<sub>2</sub>| | 向前 |
(x<sub>1</sub>–x<sub>2</sub>)>|y<sub>1</sub>-y<sub>2</sub>| | 向后 |
(y<sub>1</sub>-y<sub>2</sub>)>|x<sub>2</sub>-x<sub>1</sub>| | 向左 |
(y<sub>2</sub>–y<sub>1</sub>)>|x<sub>2</sub>-x<sub>1</sub>| | 向右 |
考虑到现实中轨道交通环境的复杂性,及人的行为的不可控性,为充分体现本发明的作用,本发明将实验条件设定如下:
(1)摄像头视角无明显变化,摄像头抖动无明显幅度。
(2)轨道交通符合正规布局,即最为复杂的情况是行人目标处于交叉口时,当前摄像头内部的行人运动目标在进行目标移交时面临四个方向选择。
(3)运动行人目标在离开当前摄像头区域时无停止不前现象,即目标肯定会进入关联摄像头的视野范围内。
通过对本发明实施例技术方案进行实验,在多摄像头无重叠区域的情况下,本发明能够成功实现跨摄像头之间的目标交接,实现对运动行人目标的实时监控跟踪,并且在试验速度和准确度上都能够满足实时智能监控的需求。
Claims (4)
1.一种面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统,其特征在于:包括以下模块,
单摄像头轨道交通视频中可疑行人目标检测模块,用于从单摄像头轨道监控视频当中分辨出正在运动的可疑行人;
单摄像头轨道交通视频中可疑行人目标跟踪模块,用于在单摄像头轨道交通视频当中实时标注出运动的可疑行人目标,实现在图像序列当中对同一运动行人目标进行定位;
多摄像头之间目标匹配模块,用于当前视频监控摄像头中目标行人与关联摄像头监控视频中的行人目标的特征匹配;
多摄像头间目标移交模块,用于多摄像头视野区域的情况下,根据相邻摄像头间目标的匹配结果、单摄像头内行人运动的方向及摄像头的拓扑结构预测可疑行人的运动轨迹,判断可疑行人目标走出当前区域后即将步入的区域范围;实现步骤如下,
1)在当前摄像头中选取运动行人目标,截图保存;跟踪目标过程中根据方向信息以及摄像机拓扑结构判断目标即将进入的摄像头方位,并且根据目标位置信息判断是否停止当前跟踪;
2)若经过判断得出,目标即将进入关联摄像头,则将实时视频的每一帧图像作相应处理:首先运动区域分割并分别保存为备选目标图像;其次将备选图像分别于目标行人截图进行匹配;直到寻找到最优匹配运动区域,停止这一过程;
3)确定运动目标在关联摄像头中的区域之后,进一步确定区域位置坐标信息,进而实现对运动目标的再跟踪。
2.根据权利要求1所述面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统,其特征在于:单摄像头轨道交通视频中可疑行人目标检测模块中,单摄像头轨道监控视频当中分辨出正在运动的可疑行人实现方式如下,
第一步,以双边滤波的方式对图像进行预处理,在保持边缘不受损害的基础上消除图像噪声;
第二步,采用基于颜色统计特性的阴影去除方法去除图像中光照条件下运动区域的阴影部分;
第三步,使用混合高斯背景建模法识别出图像序列中的运动区域,并进行二值化处理,去除行人运动过程中产生的阴影区域,凸显出运动区域轮廓;
第四步,根据各个运动区域轮廓面积的大小判断是否是要保存,如果不满足预设阈值要求则作为干扰域放弃保存。
3.根据权利要求1或2所述面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统,其特征在于:多摄像头之间目标匹配模块中,采用Surf特征点匹配与色彩直方图匹配相融合的特征匹配方法,然后进一步采用阈值进行判断,得出最佳匹配区域,看作是运动行人目标。
4.根据权利要求3所述面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统,其特征在于:多摄像头间目标移交模块中,将运动物体的方向选择设定为前后左右四个方向,以当前摄像头为中心将四个方向的摄像头分别标号为1号、2号、3号和4号;根据多摄像头之间目标匹配模块选出的最优匹配区域,选取当前摄像头的关联摄像头,并在关联摄像头内进行目标匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611122720.0A CN106709436B (zh) | 2016-12-08 | 2016-12-08 | 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611122720.0A CN106709436B (zh) | 2016-12-08 | 2016-12-08 | 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106709436A CN106709436A (zh) | 2017-05-24 |
CN106709436B true CN106709436B (zh) | 2020-04-24 |
Family
ID=58936518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611122720.0A Active CN106709436B (zh) | 2016-12-08 | 2016-12-08 | 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106709436B (zh) |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107547867A (zh) * | 2017-07-28 | 2018-01-05 | 国网山东省电力公司济南供电公司 | 一种变电站室外视频监控系统和监控方法 |
CN107645706A (zh) * | 2017-09-12 | 2018-01-30 | 深圳市盛路物联通讯技术有限公司 | 基于物联网的数据处理方法及相关产品 |
CN107544576B (zh) * | 2017-09-26 | 2018-10-19 | 上海倍适智能科技有限公司 | 一种多功能自适应加湿方法 |
CN107886059A (zh) * | 2017-11-01 | 2018-04-06 | 无锡港湾网络科技有限公司 | 一种基于视频监控的车型识别系统及方法 |
CN108090414A (zh) * | 2017-11-24 | 2018-05-29 | 江西智梦圆电子商务有限公司 | 一种基于计算机视觉即时捕捉人脸跟踪行迹的方法 |
CN108133487A (zh) * | 2017-12-04 | 2018-06-08 | 王连圭 | 视频跨区域单人体姿态目标检测提取方法 |
CN108168431A (zh) * | 2017-12-29 | 2018-06-15 | 思博赛睿(北京)科技有限公司 | 一种基于视觉辨识的网球机器人定位系统及方法 |
CN108198200B (zh) * | 2018-01-26 | 2022-03-08 | 福州大学 | 跨摄像头场景下指定行人在线跟踪方法 |
CN108337485A (zh) * | 2018-03-27 | 2018-07-27 | 中冶华天工程技术有限公司 | 基于视频移动轨迹的访客管理方法 |
CN110645999A (zh) * | 2018-06-26 | 2020-01-03 | 杭州海康威视数字技术股份有限公司 | 导航方法、装置、服务器、终端及存储介质 |
CN109040709B (zh) * | 2018-09-21 | 2020-12-08 | 深圳市九洲电器有限公司 | 视频监控方法及装置、监控服务器及视频监控系统 |
CN109359552B (zh) * | 2018-09-21 | 2020-11-13 | 中山大学 | 一种高效的跨摄像头行人双向跟踪方法 |
CN109302590A (zh) * | 2018-11-15 | 2019-02-01 | 深圳市华金盾信息科技有限公司 | 一种大规模视频监控网络极低误警率预警方法 |
CN111340856B (zh) * | 2018-12-19 | 2024-04-02 | 杭州海康威视系统技术有限公司 | 车辆的跟踪方法、装置、设备及存储介质 |
CN109800656B (zh) * | 2018-12-25 | 2020-10-20 | 深圳市天彦通信股份有限公司 | 定位方法及相关产品 |
CN111383039B (zh) * | 2018-12-28 | 2023-08-29 | 杭州海康威视数字技术股份有限公司 | 信息推送方法、装置及信息展示系统 |
CN110996072A (zh) * | 2019-03-11 | 2020-04-10 | 南昌工程学院 | 多源信息融合系统及其工作方法 |
CN110086651B (zh) * | 2019-03-22 | 2021-08-17 | 西安电子科技大学 | 一种面向监控系统的摄像头物理空间分布测定方法 |
CN110046277A (zh) * | 2019-04-09 | 2019-07-23 | 北京迈格威科技有限公司 | 多视频合并标注方法和装置 |
CN110175583A (zh) * | 2019-05-30 | 2019-08-27 | 重庆跃途科技有限公司 | 一种于基于视频ai的校园全域安全监控分析方法 |
CN110458895B (zh) | 2019-07-31 | 2020-12-25 | 腾讯科技(深圳)有限公司 | 图像坐标系的转换方法、装置、设备及存储介质 |
CN110706251B (zh) * | 2019-09-03 | 2022-09-23 | 北京正安维视科技股份有限公司 | 一种行人跨镜头跟踪方法 |
CN112653832A (zh) * | 2019-10-10 | 2021-04-13 | 华为技术有限公司 | 一种监控方法、装置和设备 |
CN110781797B (zh) * | 2019-10-22 | 2021-04-06 | 杭州宇泛智能科技有限公司 | 一种标注方法、装置及电子设备 |
CN110650291B (zh) * | 2019-10-23 | 2021-06-08 | Oppo广东移动通信有限公司 | 目标追焦方法和装置、电子设备、计算机可读存储介质 |
CN112752067A (zh) * | 2019-10-30 | 2021-05-04 | 杭州海康威视系统技术有限公司 | 目标追踪方法、装置、电子设备及存储介质 |
CN111008993A (zh) * | 2019-12-06 | 2020-04-14 | 江西洪都航空工业集团有限责任公司 | 一种行人跨镜追踪的方法及装置 |
CN111144319A (zh) * | 2019-12-27 | 2020-05-12 | 广东德融汇科技有限公司 | 用于k12教育阶段基于人脸识别的多视频人员跟踪方法 |
CN111274872B (zh) * | 2020-01-08 | 2023-08-22 | 哈尔滨融智爱科智能科技有限公司 | 基于模板匹配的视频监控动态不规则多监管区域判别方法 |
CN111510675A (zh) * | 2020-04-13 | 2020-08-07 | 智粤云(广州)数字信息科技有限公司 | 一种基于人脸识别和大数据分析的智慧安防系统 |
CN111598180B (zh) * | 2020-05-21 | 2023-07-14 | 湖南警察学院 | 一种自动识别取证目标跟踪方法 |
CN113763435A (zh) * | 2020-06-02 | 2021-12-07 | 精标科技集团股份有限公司 | 基于多摄像机的跟踪拍摄方法 |
CN112200841B (zh) * | 2020-09-30 | 2021-08-27 | 杭州海宴科技有限公司 | 一种基于行人体态的跨域多摄像头跟踪方法和装置 |
CN112365522A (zh) * | 2020-10-19 | 2021-02-12 | 中标慧安信息技术股份有限公司 | 园区内人员跨境追踪的方法 |
CN112468696A (zh) * | 2020-11-17 | 2021-03-09 | 珠海大横琴科技发展有限公司 | 一种数据处理的方法和装置 |
CN112418109B (zh) * | 2020-11-26 | 2024-05-14 | 复旦大学附属中山医院 | 一种图像处理方法、装置 |
CN112818854B (zh) * | 2021-02-01 | 2023-12-05 | 南通大学 | 一种应用于校园安防的全天候视频寻人方法 |
CN113284274A (zh) * | 2021-05-12 | 2021-08-20 | 亚萨合莱(广州)智能科技有限公司 | 一种尾随识别方法及计算机可读存储介质 |
CN113473091B (zh) * | 2021-07-09 | 2023-04-18 | 杭州海康威视数字技术股份有限公司 | 摄像机关联方法、装置、系统、电子设备及存储介质 |
CN113676702B (zh) * | 2021-08-21 | 2024-04-30 | 深圳市大工创新技术有限公司 | 基于视频流的目标追踪监测方法、系统、装置及存储介质 |
WO2023033710A1 (en) * | 2021-09-02 | 2023-03-09 | Hitachi, Ltd. | Method and system of object tracking |
CN114565882B (zh) * | 2022-04-29 | 2022-07-19 | 深圳航天信息有限公司 | 基于多视频摄像头智能联动的异常行为分析方法及装置 |
CN115527162B (zh) * | 2022-05-18 | 2023-07-18 | 湖北大学 | 一种基于三维空间的多行人重识别方法、系统 |
CN115052110B (zh) * | 2022-08-16 | 2022-11-18 | 中保卫士保安服务有限公司 | 安保方法、安保系统及计算机可读存储介质 |
CN115050105B (zh) * | 2022-08-17 | 2022-12-30 | 杭州觅睿科技股份有限公司 | 一种人影可疑性判定方法、装置、设备及存储介质 |
CN116542858B (zh) * | 2023-07-03 | 2023-09-05 | 众芯汉创(江苏)科技有限公司 | 一种基于空间轨迹的数据拼接分析系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102638675A (zh) * | 2012-04-01 | 2012-08-15 | 安科智慧城市技术(中国)有限公司 | 一种利用多视点视频进行目标跟踪的方法和系统 |
CN103530638A (zh) * | 2013-10-29 | 2014-01-22 | 无锡赛思汇智科技有限公司 | 多摄像头下的行人匹配方法 |
CN104123732A (zh) * | 2014-07-14 | 2014-10-29 | 中国科学院信息工程研究所 | 一种基于多摄像头的在线目标跟踪方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9373174B2 (en) * | 2014-10-21 | 2016-06-21 | The United States Of America As Represented By The Secretary Of The Air Force | Cloud based video detection and tracking system |
US20160188977A1 (en) * | 2014-12-24 | 2016-06-30 | Irobot Corporation | Mobile Security Robot |
US9495763B1 (en) * | 2015-09-28 | 2016-11-15 | International Business Machines Corporation | Discovering object pathways in a camera network |
-
2016
- 2016-12-08 CN CN201611122720.0A patent/CN106709436B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102638675A (zh) * | 2012-04-01 | 2012-08-15 | 安科智慧城市技术(中国)有限公司 | 一种利用多视点视频进行目标跟踪的方法和系统 |
CN103530638A (zh) * | 2013-10-29 | 2014-01-22 | 无锡赛思汇智科技有限公司 | 多摄像头下的行人匹配方法 |
CN104123732A (zh) * | 2014-07-14 | 2014-10-29 | 中国科学院信息工程研究所 | 一种基于多摄像头的在线目标跟踪方法及系统 |
Non-Patent Citations (3)
Title |
---|
《一种基于算法融合的运动目标跟踪算法》;丁朋华 等;;《科学技术与工程》;20120630;第12卷(第17期);第4187-4191页 * |
《多摄像机视域中的运动目标检测与跟踪研究》;衡林;《中国优秀硕士学位论文全文数据库信息科技辑》;20130615;第I138-1424页 * |
《非重叠多摄像头协同目标跟踪方法》;谢文涛 等;;《计算机工程与设计》;20160331;第37卷(第3期);第809-813页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106709436A (zh) | 2017-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106709436B (zh) | 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统 | |
CN108171112B (zh) | 基于卷积神经网络的车辆识别与跟踪方法 | |
TWI409718B (zh) | 移動中車輛之車牌定位方法 | |
CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
Kong et al. | Detecting abandoned objects with a moving camera | |
CN102663760B (zh) | 一种对图像中的车辆挡风镜区域进行定位分割的方法 | |
CN110033431B (zh) | 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法 | |
Peng et al. | Drone-based vacant parking space detection | |
Zhang et al. | A longitudinal scanline based vehicle trajectory reconstruction method for high-angle traffic video | |
CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
CN108197604A (zh) | 基于嵌入式设备的快速人脸定位跟踪方法 | |
Song et al. | Detection and tracking of moving vehicles in crowded scenes | |
CN106447701A (zh) | 用于图像相似性确定、对象检测和跟踪的方法和装置 | |
Naufal et al. | Preprocessed mask RCNN for parking space detection in smart parking systems | |
CN108734172B (zh) | 基于直线边缘特征的目标识别方法、系统 | |
Siogkas et al. | Random-walker monocular road detection in adverse conditions using automated spatiotemporal seed selection | |
CN101383005A (zh) | 一种利用辅助规则纹理的乘客目标图像和背景分离方法 | |
CN107103301B (zh) | 视频目标时空最大稳定性判别性颜色区域匹配方法和系统 | |
Schreiber et al. | Detecting symbols on road surface for mapping and localization using OCR | |
CN115424217A (zh) | 基于ai视觉的车辆智能识别方法、装置和电子设备 | |
CN110705553A (zh) | 一种适用于车辆远景图像的划痕检测方法 | |
Miller et al. | Person tracking in UAV video | |
WO2022121021A1 (zh) | 一种身份证号码检测方法、装置、可读存储介质和终端 | |
CN110969135B (zh) | 自然场景中的车标识别方法 | |
Wang et al. | Video image vehicle detection system for signaled traffic intersection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |