CN1960479A - 利用单个摄像机进行主从视频跟踪的方法 - Google Patents

利用单个摄像机进行主从视频跟踪的方法 Download PDF

Info

Publication number
CN1960479A
CN1960479A CN 200510120070 CN200510120070A CN1960479A CN 1960479 A CN1960479 A CN 1960479A CN 200510120070 CN200510120070 CN 200510120070 CN 200510120070 A CN200510120070 A CN 200510120070A CN 1960479 A CN1960479 A CN 1960479A
Authority
CN
China
Prior art keywords
tracking
scene
scape
resolution
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 200510120070
Other languages
English (en)
Other versions
CN100496122C (zh
Inventor
李子青
袁晓彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Keaosen Data Technology Co Ltd
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CNB2005101200701A priority Critical patent/CN100496122C/zh
Publication of CN1960479A publication Critical patent/CN1960479A/zh
Application granted granted Critical
Publication of CN100496122C publication Critical patent/CN100496122C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

一种利用单个摄像机进行主从视频跟踪的方法,包括步骤:采用单个高分辨固定摄像机,获取大范围主监控场景的图像序列;对获取的图像序列进行分析;保持对主监控场景中运动对象的跟踪;将指定的运动对象在从场景窗口中作放大显示。本发明利用单个摄像机完成此项任务,节省资源,硬件结构简单,软件调焦与跟踪简单稳定,整个系统简单稳定。

Description

利用单个摄像机进行主从视频跟踪的方法
技术领域
本发明涉及计算机视频监控技术领域,特别涉及一种利用单个摄像机进行主从视频监控跟踪的方法及。
背景技术
许多重要的安全敏感场所都需要安全监控,如交通场景(如十字路口、高速公路、停车场、飞机场等)监控、军事场景监控、国家重要安全部门(如驻外使领馆、军事基地、银行等)监控、敏感的公共场所(如天安门广场、火车站等)监控和高级社区保安监控等等。目前在我国及其他国家,监控摄像机装备已经非常普及。当前市场所提供的监控系统几乎千篇一律的由监控摄像机(或监控摄像机阵列)以及视频录像设备所构成。这种系统中的功能仅仅提供监控场点的视频图像并加以存储以备事后分析之用。当安全威胁升级时,这种陈旧的系统将无法满足安防的需求。
智能监控将超越目前已有的视频监控技术,其目的在于利用计算机对视频进行自动分析,对视频中的物体进行检测、跟踪、分类、识别,以及对检测跟踪的目标地行为和事件作出判断。作为一种新兴技术,智能监控将拓展已有的监控领域,在实际生活中有着广阔的应用前景。比如车辆的运动分析:
●对交通路段上的车辆进行跟踪,计数;
●估算交通路段上的车辆的拥堵程度。
●基于车辆的轨迹分析的异常交通行为报警
●实时电子地图监控。
再比如对人的检测、跟踪、与识别:
●与人脸检测技术相结合,在监控范围中跟踪一个人和确定他的位置;
●与人脸识别技术相结合,将被跟踪的人的面像与监控系统档案中的面像进行比对,识别该人的身份。
在这些智能监控应用中,如果对人和车辆作近距离的跟踪与观测将有助于对其细节性质进行分析与判断。当监控摄像机的位置固定时,这可以通过旋转/变焦摄像机完成。一种可能的系统解决方案是:主从结构视频跟踪(参见X.Zhou,R.Collins,T.Kanade,and P.Metes,A Master-SlaveSystem to Acquire Biometric Imagery of Humans at Distance,ACMInternational Workshop on Video Surveillance,Berkeley,CA,USA,November,2003,pp113-120;Radu Horaud,David Knossow,Markus Michaelis,Cameracooperation for achieving visual attention,Technical Report RR-5216,INRIA,Number RR-5216,June 2004;A.W.Senior,A.Hampapur,M.Lu,AcquiringMulti-Scale Images by Pan-Tilt-Zoom Control and Automatic Multi-CameraCalibration,Seventh IEEE Workshops on Application of Computer Vision(WACV/MOTION′05),Volume 1 pp.433-438.)。该主从监控体系由两个或多个摄像机以及配套智能监控和系统控制软件组成,如图1所示。其中一个摄像机固定(称为主摄像机),其它摄像机为PTZ(Pan-Till-Zoom)转动变焦摄像机(称为从摄像机)。其中,主摄像机进行固定全景视频监控,模块101中,智能监控软件对物体进行检测、跟踪、定位;模块102利用主从摄像机坐标系之间的变换规律,将主场景中的运动信息投射到从场景中。模块103根据当前的运动对象信息计算P/T/Z参数,系统控制软件104利用这些参数对PTZ从摄像机进行控制,使其转动到感兴趣的被跟踪物体的方向,并通过光学变焦、调焦把物体区域拉近,使之处于摄像机视野的中心位置,便于用户作局部、近距离的细节观测。这种主从监控系统的缺点在于:利用多个摄像机完成此项任务,硬件和计算资源开销较大,结构较复杂,稳定差。具体问题包括:
●由于是多个摄像机对同一场景进行协同监控,因此存在着摄像机标定问题。摄像机标定是计算机视觉的基础问题,也是一个很难的问题,虽然学术界提出不少算法,但是真正实际可行的方法并不多,而且往往依赖于具体的应用。
●特别是PTZ摄像机的变焦、调焦与跟踪控制不易掌握,这是由于从主摄像机中取得的定位、尺寸信息有误差,且相邻帧的位、尺寸结果互不一致,使得硬件变焦、调焦,以及转动来回摆动。
●在大范围场景监控的应用中,由于摄像机往往架设得很高,当PTZ从摄像机受控实施微小转动时,会引起比较大的场景变化。当监控对象的运动速度与这种场景变化不匹配时,很容易出现跟踪丢失的现象。
以上这些问题都是主从架构监控系统所无法避免的,对于监控系统开发者而言这些问题的解决需要耗费大量的时间和资源,且最终效果也往往达不到预期的目标,难以付诸实用。
发明内容
本发明的目的是提供一种利用单个摄像机进行主从视频跟踪的方法。
为了实现上述目的,一种利用单个摄像机进行主从视频跟踪的方法,包括步骤:
a)采用单个高分辨固定摄像机,获取大范围主监控场景的图像序列;
b)对获取的图像序列进行分析;
c)保持对主监控场景中运动对象的跟踪;
d)将指定的运动对象在从场景窗口中作放大显示。
本发明利用单个摄像机完成此项任务,节省资源,硬件结构简单,软件调焦与跟踪简单稳定,整个系统简单稳定。
附图说明
图1为利用多个摄像机协同实施主从视频跟踪的基本流程图;
图2为利用单个摄像机进行主从视频跟踪的基本流程示意图;
图3a为主场景效果图;
图3b为从场景效果图;
图4为本发明的电子地图实时跟踪实例系统。
具体实施方式
本发明利用一个高分辨率(1280×1024像素或者更高)摄像机作为视频数据采集设备,获取大范围主监控场景的图像序列。图像序列分析软件分为两个主要部分,第一部分是全场景背景建模和运动对象跟踪模块,用于对主场景内所有运动对象进行检测和跟踪,得到全场景的监控信息。背景建模主要基于混合高斯模型(Mixture Gaussian Model)实现,就一般应用而言三个高斯模型即可满足准确背景更新的需要。混合高斯模型的一个主要特点就是逐像素处理,因此计算量和图像中的像素个数成正比。对于本发明中的高分辨率图像而言,传统的混合高斯模型处理速度会很慢,无法到达实时监控的目的。为此我们采用降采样的办法,将原始图像分辨率降低为320×240进行处理,以实现实时的背景建模。实际应用也表明,就背景更新而言,原始高分辨率序列和降采样后的序列的效果是非常接近的,而后者的速度显著提高,达到实时要求。关于对象跟踪算法,我们采用的是前景和跟踪器最近邻匹配的方法,可以高效地实现跟踪器和前景之间的数据关联,保持对运动对象的连续跟踪。针对实际复杂场景跟踪中会出现多目标融合和分裂的情况,我们对跟踪器和前景之间的最近邻矩阵进行分析,自动检测出融合分裂的情况,并进行基于颜色分布的跟踪,可以实现存在互遮挡或空间交错条件下的多目标鲁棒跟踪。图像序列分析软件的第二部分是局部从场景跟踪模块。这是一个用户交互式的模块,由用户利用鼠标或键盘作为输入工具,点击或输入ID号来选择感兴趣的,需要重点跟踪的对象。被选定的跟踪对象所在的局部图像区域经过适当的尺度变换后将在从场景窗口中显示,便于用户对之近距离的观察。在我们的实现中,局部区域取以指定对象为中心的,正好完全包围对象前景区域的矩形。由于我们在进行背景建模的过程中,对图像进行了降采样,因此局部对象的清晰度会受一定的影响。为了提高局部对象的可观察性,充分利用高分辨率摄相机的像素优势,我们将在原始高分辨率的图像上进行上述局部矩形区域的提取。在全景运动跟踪的过程中,指定对象在每一帧中得到连续定位,实时显示到相应的从场窗口中。本发明利用软件实现局部对象跟踪,选择多个对象进行局部跟踪与选择一个对象相比,其计算开销是基本不变的。因此可以很方便的进行多路的从场景监控而不需要增加任何设备,而传统的主从监控系统监控几路从场景就需要几路的PTZ从摄像机,系统开销和复杂程度将随之显著增加,难以与主摄像机鲁棒地协同工作。在分辨率充分高的条件下,本发明可以实现大范围场景监控状态下人脸,车牌等的识别,完成局部重点区域监控的功能。
以下结合附图和具体的实施例对本发明作进一步的详细说明:
在图2中,本发明揭示了一较佳实施例,该主从视频跟踪系统201包括:202主场景数据采集模块;203主场景背景建模和运动对象检测模块;204主场景运动对象跟踪模块;205指定监控对象选择模块;206指定监控对象相对主场景可见性判断模块;207从场景提取和显示模块;
模块202利用一个1280×1024的高分辨率摄像机采集大范围场景图像数据,模块203进行降采样处理,将分辨率降低为320×240,并利用这个相对低分辨率的图像序列中完成实时背景维护和更新,提取运动前景对象,输入到模块204中。模块204对当前前景和当前跟踪器之间的最近邻矩阵进行分析,找出前景和跟踪器之间一对一,一对多,多对一的情况,分别加以处理,实现当前帧中的运动对象与上一帧中的运动对象之间的匹配跟踪。用户利用交互式选择模块205指定感兴趣的监控对象,206模块判断这些监控对象是否还在主场景中,对于主场景内可见的指定监控对象,207模块将指定的实现从场景的提取和显示。由用户利用鼠标或键盘作为输入工具,点击或输入ID号来选择感兴趣的,需要重点跟踪的对象。被选定的跟踪对象所在的局部图像区域经过适当的尺度变换后将在从场景窗口中显示,便于用户对之近距离的观察,在分辨率充分高的条件下,可以实现人脸,车牌等的识别。
在图3中,本发明给出了主场景和从场景的示意图。图3a是高分辨摄像机(1280×1024)拍摄的大范围主场景,该场景是一个动态场景,运动对象比较多,包括行人和车辆等,用户往往需要在总体监控的基础上,对一些局部对象的细节进行观察。图3b是主场景中一个行人所属的局部场景。系统根据跟踪的结果,自动提取出并显示运动对象所在的局部场景,从而达到利用一台高分辨摄像机实现主从监控功能的目的。
在图4中,揭示了本发明的一种应用实施例,即一种实时电子地图监控系统。
如图4所示,401是实际监控区域的电子地图,该区域是北京市海淀区中关村东路和知春路十字路口地段,主要监控目的是对路面的车辆行驶情况进行分析。为了达到这个目的,必须要对全场景首先及进行运动分析,提取和跟踪所有的运动对象,并将这些对象的运动信息(包括运动速度,方向等)反映到电子地图上。同时对某些行驶中的车辆,也有必要对之实行近距离的局部观察,判断车型和牌照等。402是主监控场景显示窗口,显示当前的监控场景是北京市海淀区中关村知春路某路口,路面上有一辆车正在由西向东行驶,该车以一个红点的形式在电子地图上对应位置显示,其运动轨迹也画在地图上。403是实时更新后的当前主场景背景显示窗口,404是从场景显示窗口,用于近距离观察当前指定跟踪对象,行驶中的绿色邮政运输面包车。

Claims (8)

1.一种利用单个摄像机进行主从视频跟踪的方法,包括步骤:
a)采用单个高分辨固定摄像机,获取大范围主监控场景的图像序列;
b)对获取的图像序列进行分析;
c)保持对主监控场景中运动对象的跟踪;
d)将指定的运动对象在从场景窗口中作放大显示。
2.根据权利要求1所述的方法,其特征在于在原始高分辨图像中自动截取感兴趣对象所在的局部区域。
3.根据权利要求1或2所述的方法,其特征在于所述高分辨率是1280×1024像素或更高。
4.根据权利要求1所述的方法,其特征在于,主场景和放大的从场景的图像数据从同一个摄像机的图像帧中获得。
5.根据权利要求1所述的方法,其特征在于所述图像序列分析包括:
a)全场景背景建模及运动对象跟踪,用于对主场景内所有运动对象进行监测和跟踪;
b)局部从场景跟踪,用于确定重点跟踪的对象。
6.根据权利要求5所述的方法,其特征在于所述背景建模包括:
采用降采样的方法,将原始图像分辨率降低,以便快速分析处理。
7.根据权利要求5所述的方法,其特征在于运动对象跟踪包括:
对跟踪器和前景之间的最径邻矩阵进行分析,以便自动监测出融合和分裂的情况。
8.根据权利要求5所述的方法,其特征在于所述局部从场景跟踪包括:
指定感兴趣的监控对象;判断这些监控对象是否还在主场景中。
CNB2005101200701A 2005-11-03 2005-11-03 利用单个摄像机进行主从视频跟踪的方法 Active CN100496122C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2005101200701A CN100496122C (zh) 2005-11-03 2005-11-03 利用单个摄像机进行主从视频跟踪的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2005101200701A CN100496122C (zh) 2005-11-03 2005-11-03 利用单个摄像机进行主从视频跟踪的方法

Publications (2)

Publication Number Publication Date
CN1960479A true CN1960479A (zh) 2007-05-09
CN100496122C CN100496122C (zh) 2009-06-03

Family

ID=38071939

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005101200701A Active CN100496122C (zh) 2005-11-03 2005-11-03 利用单个摄像机进行主从视频跟踪的方法

Country Status (1)

Country Link
CN (1) CN100496122C (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860732A (zh) * 2010-06-04 2010-10-13 天津市亚安科技电子有限公司 一种控制云台摄像机自动跟踪目标的方法
CN102801963A (zh) * 2012-08-27 2012-11-28 北京尚易德科技有限公司 基于高清数字摄像头监控的电子ptz方法及装置
CN103105858A (zh) * 2012-12-29 2013-05-15 上海安维尔信息科技有限公司 在固定相机和云台相机间进行目标放大、主从跟踪的方法
CN103826095A (zh) * 2012-11-19 2014-05-28 大众电脑股份有限公司 影像监视与分析方法
CN104184985A (zh) * 2013-05-27 2014-12-03 华为技术有限公司 图像获取的方法及装置
WO2015196514A1 (zh) * 2014-06-23 2015-12-30 苏州阔地网络科技有限公司 一种在线同步课堂智能跟踪方法及系统
WO2019219065A1 (zh) * 2018-05-17 2019-11-21 杭州海康威视数字技术股份有限公司 视频分析的方法和装置
CN111052753A (zh) * 2017-08-30 2020-04-21 Vid拓展公司 跟踪式视频缩放

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000101990A (ja) * 1998-09-21 2000-04-07 Hitachi Denshi Ltd 監視カメラ装置
KR100723282B1 (ko) * 1999-05-07 2007-05-30 비티에스 홀딩 인터내셔널 비.브이. 카메라에 의한 정보 수집 및 편집
CN1404682A (zh) * 2000-08-25 2003-03-19 皇家菲利浦电子有限公司 跟踪一幅数字图象中的一个感兴趣的目标的方法和装置
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
JP2005123707A (ja) * 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮像投影装置及び撮像投影システムと、表示画像生成装置、表示画像生成方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860732A (zh) * 2010-06-04 2010-10-13 天津市亚安科技电子有限公司 一种控制云台摄像机自动跟踪目标的方法
CN101860732B (zh) * 2010-06-04 2014-08-27 天津市亚安科技股份有限公司 一种控制云台摄像机自动跟踪目标的方法
CN102801963A (zh) * 2012-08-27 2012-11-28 北京尚易德科技有限公司 基于高清数字摄像头监控的电子ptz方法及装置
CN102801963B (zh) * 2012-08-27 2015-03-11 北京尚易德科技有限公司 基于高清数字摄像头监控的电子ptz方法及装置
CN103826095A (zh) * 2012-11-19 2014-05-28 大众电脑股份有限公司 影像监视与分析方法
CN103105858A (zh) * 2012-12-29 2013-05-15 上海安维尔信息科技有限公司 在固定相机和云台相机间进行目标放大、主从跟踪的方法
CN104184985A (zh) * 2013-05-27 2014-12-03 华为技术有限公司 图像获取的方法及装置
CN104184985B (zh) * 2013-05-27 2018-05-29 华为技术有限公司 图像获取的方法及装置
WO2015196514A1 (zh) * 2014-06-23 2015-12-30 苏州阔地网络科技有限公司 一种在线同步课堂智能跟踪方法及系统
CN111052753A (zh) * 2017-08-30 2020-04-21 Vid拓展公司 跟踪式视频缩放
WO2019219065A1 (zh) * 2018-05-17 2019-11-21 杭州海康威视数字技术股份有限公司 视频分析的方法和装置

Also Published As

Publication number Publication date
CN100496122C (zh) 2009-06-03

Similar Documents

Publication Publication Date Title
Pavlidis et al. Urban surveillance systems: from the laboratory to the commercial world
CN100496122C (zh) 利用单个摄像机进行主从视频跟踪的方法
Hampapur et al. Smart video surveillance: exploring the concept of multiscale spatiotemporal tracking
Valera et al. Intelligent distributed surveillance systems: a review
Albiol et al. Detection of parked vehicles using spatiotemporal maps
CN102004920B (zh) 一种监控视频分割及索引方法
US20070058717A1 (en) Enhanced processing for scanning video
US20030053659A1 (en) Moving object assessment system and method
WO2003003721A1 (en) Surveillance system and methods regarding same
CA2451660A1 (en) Method for monitoring a moving object and system regarding same
WO2004042673A2 (en) Automatic, real time and complete identification of vehicles
EP1560160A2 (en) A multiple camera system for obtaining high resolution images of objects
EP1991935A1 (en) Video retrieval system, method and computer program for surveillance of moving objects
JP6013923B2 (ja) ビデオエピソードの閲覧及び検索のためのシステム及び方法
CN101521753A (zh) 图像处理方法与系统
CN1959701A (zh) 实时的从视频中跟踪多个人脸的方法
Morellas et al. DETER: Detection of events for threat evaluation and recognition
CN110378292A (zh) 三维空间定位系统和方法
Wang et al. A video analysis framework for soft biometry security surveillance
CN111182269B (zh) 一种具有智能违法警示功能的安防摄像设备及方法
Nielsen et al. Taking the temperature of pedestrian movement in public spaces
Börcs et al. Dynamic 3D environment perception and reconstruction using a mobile rotating multi-beam Lidar scanner
CN115205781A (zh) 一种基于transformer的跨尺度目标检测方法及系统
Koutsia et al. Intelligent traffic monitoring and surveillance with multiple cameras
CN115052109B (zh) 一种基于多类型相机的目标定位方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20070509

Assignee: Jiangsu Daway Technologies Co., Ltd.

Assignor: Institute of Automation, Chinese Academy of Sciences

Contract record no.: 2013320000085

Denomination of invention: Method for tracking principal and subordinate videos by using single video camera

Granted publication date: 20090603

License type: Exclusive License

Record date: 20130312

LICC Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model
EC01 Cancellation of recordation of patent licensing contract

Assignee: Jiangsu Daway Technologies Co., Ltd.

Assignor: Institute of Automation, Chinese Academy of Sciences

Contract record no.: 2013320000085

Date of cancellation: 20151109

LICC Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160830

Address after: 100191, Haidian District, Zhichun Road, Beijing No. 7 to the real building, block D, 17, 1702

Patentee after: Beijing Keaosen Data Technology Co. Ltd.

Address before: 100080 Zhongguancun East Road, Beijing, No. 95, No.

Patentee before: Institute of Automation, Chinese Academy of Sciences