CN100496122C - 利用单个摄像机进行主从视频跟踪的方法 - Google Patents
利用单个摄像机进行主从视频跟踪的方法 Download PDFInfo
- Publication number
- CN100496122C CN100496122C CNB2005101200701A CN200510120070A CN100496122C CN 100496122 C CN100496122 C CN 100496122C CN B2005101200701 A CNB2005101200701 A CN B2005101200701A CN 200510120070 A CN200510120070 A CN 200510120070A CN 100496122 C CN100496122 C CN 100496122C
- Authority
- CN
- China
- Prior art keywords
- scene
- tracking
- scape
- tracks
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims description 33
- 238000004458 analytical method Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims description 2
- 238000012300 Sequence Analysis Methods 0.000 claims 1
- 230000003321 amplification Effects 0.000 claims 1
- 230000004927 fusion Effects 0.000 claims 1
- 238000003199 nucleic acid amplification method Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
一种利用单个摄像机进行主从视频跟踪的方法，包括步骤：采用单个高分辨固定摄像机，获取大范围主监控场景的图像序列；对获取的图像序列进行分析；保持对主监控场景中运动对象的跟踪；将指定的运动对象在从场景窗口中作放大显示。本发明利用单个摄像机完成此项任务，节省资源，硬件结构简单，软件调焦与跟踪简单稳定，整个系统简单稳定。
Description
技术领域
本发明涉及计算机视频监控技术领域，特别涉及一种利用单个摄像机进行主从视频监控跟踪的方法及。
背景技术
许多重要的安全敏感场所都需要安全监控，如交通场景(如十字路口、高速公路、停车场、飞机场等)监控、军事场景监控、国家重要安全部门(如驻外使领馆、军事基地、银行等)监控、敏感的公共场所(如天安门广场、火车站等)监控和高级社区保安监控等等。目前在我国及其他国家，监控摄像机装备已经非常普及。当前市场所提供的监控系统几乎千篇一律的由监控摄像机(或监控摄像机阵列)以及视频录像设备所构成。这种系统中的功能仅仅提供监控场点的视频图像并加以存储以备事后分析之用。当安全威胁升级时，这种陈旧的系统将无法满足安防的需求。
智能监控将超越目前已有的视频监控技术，其目的在于利用计算机对视频进行自动分析，对视频中的物体进行检测、跟踪、分类、识别，以及对检测跟踪的目标地行为和事件作出判断。作为一种新兴技术，智能监控将拓展已有的监控领域，在实际生活中有着广阔的应用前景。比如车辆的运动分析：
●对交通路段上的车辆进行跟踪，计数；
●估算交通路段上的车辆的拥堵程度。
●基于车辆的轨迹分析的异常交通行为报警
●实时电子地图监控。
再比如对人的检测、跟踪、与识别：
●与人脸检测技术相结合，在监控范围中跟踪一个人和确定他的位置；
●与人脸识别技术相结合，将被跟踪的人的面像与监控系统档案中的面像进行比对，识别该人的身份。
在这些智能监控应用中，如果对人和车辆作近距离的跟踪与观测将有助于对其细节性质进行分析与判断。当监控摄像机的位置固定时，这可以通过旋转/变焦摄像机完成。一种可能的系统解决方案是：主从结构视频跟踪(参见X.Zhou，R.Collins，T.Kanade，and P.Metes，A Master-SlaveSystem to Acquire Biometric Imagery of Humans at Distance，ACMInternational Workshop on Video Surveillance，Berkeley，CA，USA，N ovember，2003，pp113-120；Radu Horaud，David Knossow，Markus Michaelis，Cameracooperation for achieving visual attention，Technical Report RR-5216，INRIA，Number RR-5216，June 2004；A.W.Senior，A.Hampapur，M.Lu，AcquiringMulti-Scale Images by Pan-Tilt-Zoom Control and Automatic Multi-CameraCalibration，Seventh IEEE Workshops on Application of Computer Vision(WACV/MOTION′05)，Volume 1 pp.433-438.)。该主从监控体系由两个或多个摄像机以及配套智能监控和系统控制软件组成，如图1所示。其中一个摄像机固定(称为主摄像机)，其它摄像机为PTZ(Pan-Till-Zoom)转动变焦摄像机(称为从摄像机)。其中，主摄像机进行固定全景视频监控，模块101中，智能监控软件对物体进行检测、跟踪、定位；模块102利用主从摄像机坐标系之间的变换规律，将主场景中的运动信息投射到从场景中。模块103根据当前的运动对象信息计算P/T/Z参数，系统控制软件104利用这些参数对PTZ从摄像机进行控制，使其转动到感兴趣的被跟踪物体的方向，并通过光学变焦、调焦把物体区域拉近，使之处于摄像机视野的中心位置，便于用户作局部、近距离的细节观测。这种主从监控系统的缺点在于：利用多个摄像机完成此项任务，硬件和计算资源开销较大，结构较复杂，稳定差。具体问题包括：
●由于是多个摄像机对同一场景进行协同监控，因此存在着摄像机标定问题。摄像机标定是计算机视觉的基础问题，也是一个很难的问题，虽然学术界提出不少算法，但是真正实际可行的方法并不多，而且往往依赖于具体的应用。
●特别是PTZ摄像机的变焦、调焦与跟踪控制不易掌握，这是由于从主摄像机中取得的定位、尺寸信息有误差，且相邻帧的位、尺寸结果互不一致，使得硬件变焦、调焦，以及转动来回摆动。
●在大范围场景监控的应用中，由于摄像机往往架设得很高，当PTZ从摄像机受控实施微小转动时，会引起比较大的场景变化。当监控对象的运动速度与这种场景变化不匹配时，很容易出现跟踪丢失的现象。
以上这些问题都是主从架构监控系统所无法避免的，对于监控系统开发者而言这些问题的解决需要耗费大量的时间和资源，且最终效果也往往达不到预期的目标，难以付诸实用。
发明内容
本发明的目的是提供一种利用单个摄像机进行主从视频跟踪的方法。
为了实现上述目的，一种利用单个摄像机进行主从视频跟踪的方法，包括步骤：
a)采用单个高分辨固定摄像机，获取大范围主监控场景的图像序列；
b)对获取的图像序列进行分析；
c)保持对主监控场景中运动对象的跟踪；
d)将指定的运动对象在从场景窗口中作放大显示。
本发明利用单个摄像机完成此项任务，节省资源，硬件结构简单，软件调焦与跟踪简单稳定，整个系统简单稳定。
附图说明
图1为利用多个摄像机协同实施主从视频跟踪的基本流程图；
图2为利用单个摄像机进行主从视频跟踪的基本流程示意图；
图3a为主场景效果图；
图3b为从场景效果图；
图4为本发明的电子地图实时跟踪实例系统。
具体实施方式
本发明利用一个高分辨率(1280x1024像素或者更高)摄像机作为视频数据采集设备，获取大范围主监控场景的图像序列。图像序列分析软件分为两个主要部分，第一部分是全场景背景建模和运动对象跟踪模块，用于对主场景内所有运动对象进行检测和跟踪，得到全场景的监控信息。背景建模主要基于混合高斯模型(Mixture Gaussian Model)实现，就一般应用而言三个高斯模型即可满足准确背景更新的需要。混合高斯模型的一个主要特点就是逐像素处理，因此计算量和图像中的像素个数成正比。对于本发明中的高分辨率图像而言，传统的混合高斯模型处理速度会很慢，无法到达实时监控的目的。为此我们采用降采样的办法，将原始图像分辨率降低为320x240进行处理，以实现实时的背景建模。实际应用也表明，就背景更新而言，原始高分辨率序列和降采样后的序列的效果是非常接近的，而后者的速度显著提高，达到实时要求。关于对象跟踪算法，我们采用的是前景和跟踪器最近邻匹配的方法，可以高效地实现跟踪器和前景之间的数据关联，保持对运动对象的连续跟踪。针对实际复杂场景跟踪中会出现多目标融合和分裂的情况，我们对跟踪器和前景之间的最近邻矩阵进行分析，自动检测出融合分裂的情况，并进行基于颜色分布的跟踪，可以实现存在互遮挡或空间交错条件下的多目标鲁棒跟踪。图像序列分析软件的第二部分是局部从场景跟踪模块。这是一个用户交互式的模块，由用户利用鼠标或键盘作为输入工具，点击或输入ID号来选择感兴趣的，需要重点跟踪的对象。被选定的跟踪对象所在的局部图像区域经过适当的尺度变换后将在从场景窗口中显示，便于用户对之近距离的观察。在我们的实现中，局部区域取以指定对象为中心的，正好完全包围对象前景区域的矩形。由于我们在进行背景建模的过程中，对图像进行了降采样，因此局部对象的清晰度会受一定的影响。为了提高局部对象的可观察性，充分利用高分辨率摄相机的像素优势，我们将在原始高分辨率的图像上进行上述局部矩形区域的提取。在全景运动跟踪的过程中，指定对象在每一帧中得到连续定位，实时显示到相应的从场窗口中。本发明利用软件实现局部对象跟踪，选择多个对象进行局部跟踪与选择一个对象相比，其计算开销是基本不变的。因此可以很方便的进行多路的从场景监控而不需要增加任何设备，而传统的主从监控系统监控几路从场景就需要几路的PTZ从摄像机，系统开销和复杂程度将随之显著增加，难以与主摄像机鲁棒地协同工作。在分辨率充分高的条件下，本发明可以实现大范围场景监控状态下人脸，车牌等的识别，完成局部重点区域监控的功能。
以下结合附图和具体的实施例对本发明作进一步的详细说明：
在图2中，本发明揭示了一较佳实施例，该主从视频跟踪系统201包括：202主场景数据采集模块；203主场景背景建模和运动对象检测模块；204主场景运动对象跟踪模块；205指定监控对象选择模块；206指定监控对象相对主场景可见性判断模块；207从场景提取和显示模块；
模块202利用一个1280x1024的高分辨率摄像机采集大范围场景图像数据，模块203进行降采样处理，将分辨率降低为320x240，并利用这个相对低分辨率的图像序列中完成实时背景维护和更新，提取运动前景对象，输入到模块204中。模块204对当前前景和当前跟踪器之间的最近邻矩阵进行分析，找出前景和跟踪器之间一对一，一对多，多对一的情况，分别加以处理，实现当前帧中的运动对象与上一帧中的运动对象之间的匹配跟踪。用户利用交互式选择模块205指定感兴趣的监控对象，206模块判断这些监控对象是否还在主场景中，对于主场景内可见的指定监控对象，207模块将指定的实现从场景的提取和显示。由用户利用鼠标或键盘作为输入工具，点击或输入ID号来选择感兴趣的，需要重点跟踪的对象。被选定的跟踪对象所在的局部图像区域经过适当的尺度变换后将在从场景窗口中显示，便于用户对之近距离的观察，在分辨率充分高的条件下，可以实现人脸，车牌等的识别。
在图3中，本发明给出了主场景和从场景的示意图。图3a是高分辨摄像机(1280x1024)拍摄的大范围主场景，该场景是一个动态场景，运动对象比较多，包括行人和车辆等，用户往往需要在总体监控的基础上，对一些局部对象的细节进行观察。图3b是主场景中一个行人所属的局部场景。系统根据跟踪的结果，自动提取出并显示运动对象所在的局部场景，从而达到利用一台高分辨摄像机实现主从监控功能的目的。
在图4中，揭示了本发明的一种应用实施例，即一种实时电子地图监控系统。
如图4所示，401是实际监控区域的电子地图，该区域是北京市海淀区中关村东路和知春路十字路口地段，主要监控目的是对路面的车辆行驶情况进行分析。为了达到这个目的，必须要对全场景首先及进行运动分析，提取和跟踪所有的运动对象，并将这些对象的运动信息(包括运动速度，方向等)反映到电子地图上。同时对某些行驶中的车辆，也有必要对之实行近距离的局部观察，判断车型和牌照等。402是主监控场景显示窗口，显示当前的监控场景是北京市海淀区中关村知春路某路口，路面上有一辆车正在由西向东行驶，该车以一个红点的形式在电子地图上对应位置显示，其运动轨迹也画在地图上。403是实时更新后的当前主场景背景显示窗口，404是从场景显示窗口，用于近距离观察当前指定跟踪对象，行驶中的绿色邮政运输面包车。
Claims (8)
1.一种利用单个摄像机进行主从视频跟踪的方法，包括步骤：
a)采用单个高分辨固定摄像机，获取大范围主监控场景的图像序列；
b)对获取的图像序列进行分析；
c)保持对主监控场景中运动对象的跟踪；
d)将指定的运动对象在从场景窗口中作放大显示。
2.根据权利要求1所述的方法，其特征在于在指定的运动对象的原始高分辨图像中自动截取指定的对象所在的局部区域。
3.根据权利要求1或2所述的方法，其特征在于所述高分辨率是1280 x 1024像素或更高。
4.根据权利要求1所述的方法，其特征在于，主场景和放大的从场景的图像数据从同一个摄像机的图像帧中获得。
5.根据权利要求1所述的方法，其特征在于所述图像序列分析包括：
a)全场景背景建模及运动对象跟踪，用于对主场景内所有运动对象进行监测和跟踪；
b)局部从场景跟踪，用于确定重点跟踪的对象。
6.根据权利要求5所述的方法，其特征在于所述背景建模包括：
采用降采样的方法，将原始图像分辨率降低，以便快速分析处理。
7.根据权利要求5所述的方法，其特征在于运动对象跟踪包括：
对跟踪器和前景之间的最径邻矩阵进行分析，以便自动监测出融合和分裂的情况。
8.根据权利要求5所述的方法，其特征在于所述局部从场景跟踪，用于确定重点跟踪的对象包括：
指定感兴趣的监控对象；判断这些监控对象是否还在主场景中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005101200701A CN100496122C (zh) | 2005-11-03 | 2005-11-03 | 利用单个摄像机进行主从视频跟踪的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005101200701A CN100496122C (zh) | 2005-11-03 | 2005-11-03 | 利用单个摄像机进行主从视频跟踪的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1960479A CN1960479A (zh) | 2007-05-09 |
| CN100496122C true CN100496122C (zh) | 2009-06-03 |
Family
ID=38071939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2005101200701A Active CN100496122C (zh) | 2005-11-03 | 2005-11-03 | 利用单个摄像机进行主从视频跟踪的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100496122C (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101860732B (zh) * | 2010-06-04 | 2014-08-27 | 天津市亚安科技股份有限公司 | 一种控制云台摄像机自动跟踪目标的方法 |
| CN102801963B (zh) * | 2012-08-27 | 2015-03-11 | 北京尚易德科技有限公司 | 基于高清数字摄像头监控的电子ptz方法及装置 |
| TWI480795B (zh) * | 2012-11-19 | 2015-04-11 | First Int Computer Inc | 影像監視與分析方法 |
| CN103105858A (zh) * | 2012-12-29 | 2013-05-15 | 上海安维尔信息科技有限公司 | 在固定相机和云台相机间进行目标放大、主从跟踪的方法 |
| CN104184985B (zh) * | 2013-05-27 | 2018-05-29 | 华为技术有限公司 | 图像获取的方法及装置 |
| CN104065924A (zh) * | 2014-06-23 | 2014-09-24 | 苏州阔地网络科技有限公司 | 一种在线同步课堂智能跟踪方法及系统 |
| CN118509635A (zh) * | 2017-08-30 | 2024-08-16 | Vid拓展公司 | 跟踪式视频缩放 |
| CN110502954B (zh) * | 2018-05-17 | 2023-06-16 | 杭州海康威视数字技术股份有限公司 | 视频分析的方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000101990A (ja) * | 1998-09-21 | 2000-04-07 | Hitachi Denshi Ltd | 監視カメラ装置 |
| CN1304613A (zh) * | 1999-05-07 | 2001-07-18 | 皇家菲利浦电子有限公司 | 用摄影机采集和编辑信息 |
| WO2002017235A2 (en) * | 2000-08-25 | 2002-02-28 | Koninklijke Philips Electronics N.V. | Method and apparatus for tracking an object of interest in a digital image |
| CN1402551A (zh) * | 2001-08-07 | 2003-03-12 | 三星电子株式会社 | 自动跟踪移动目标的设备和方法 |
| CN1627175A (zh) * | 2003-10-14 | 2005-06-15 | 卡西欧计算机株式会社 | 具有分辨率变换功能的显示图像生成装置 |
-
2005
- 2005-11-03 CN CNB2005101200701A patent/CN100496122C/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000101990A (ja) * | 1998-09-21 | 2000-04-07 | Hitachi Denshi Ltd | 監視カメラ装置 |
| CN1304613A (zh) * | 1999-05-07 | 2001-07-18 | 皇家菲利浦电子有限公司 | 用摄影机采集和编辑信息 |
| WO2002017235A2 (en) * | 2000-08-25 | 2002-02-28 | Koninklijke Philips Electronics N.V. | Method and apparatus for tracking an object of interest in a digital image |
| CN1402551A (zh) * | 2001-08-07 | 2003-03-12 | 三星电子株式会社 | 自动跟踪移动目标的设备和方法 |
| CN1627175A (zh) * | 2003-10-14 | 2005-06-15 | 卡西欧计算机株式会社 | 具有分辨率变换功能的显示图像生成装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1960479A (zh) | 2007-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pavlidis et al. | Urban surveillance systems: from the laboratory to the commercial world | |
| CN100496122C (zh) | 利用单个摄像机进行主从视频跟踪的方法 | |
| Valera et al. | Intelligent distributed surveillance systems: a review | |
| Hampapur et al. | Smart video surveillance: exploring the concept of multiscale spatiotemporal tracking | |
| CN102291569B (zh) | 双摄像机自动协同多目标鹰眼观测系统及其观测方法 | |
| US20130342700A1 (en) | System and method for using pattern matching to determine the presence of designated objects in digital images | |
| CN104378582A (zh) | 一种基于ptz摄像机巡航的智能视频分析系统及方法 | |
| US8098290B2 (en) | Multiple camera system for obtaining high resolution images of objects | |
| US20030123703A1 (en) | Method for monitoring a moving object and system regarding same | |
| US20030053659A1 (en) | Moving object assessment system and method | |
| US20070058717A1 (en) | Enhanced processing for scanning video | |
| US20030053658A1 (en) | Surveillance system and methods regarding same | |
| WO2004042673A2 (en) | Automatic, real time and complete identification of vehicles | |
| CN106485245A (zh) | 一种基于可见光和红外图像的全天候目标实时跟踪方法 | |
| CN101521753A (zh) | 图像处理方法与系统 | |
| CN108710827B (zh) | 一种社区微警务巡查和信息自动分析系统及方法 | |
| JP6013923B2 (ja) | ビデオエピソードの閲覧及び検索のためのシステム及び方法 | |
| Morellas et al. | DETER: Detection of events for threat evaluation and recognition | |
| EP4089574A1 (en) | A method and system for gathering information of an object moving in an area of interest | |
| CN110378292A (zh) | 三维空间定位系统和方法 | |
| KR20210158037A (ko) | 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법 | |
| Bu et al. | Estimating pedestrian accident exposure: automated pedestrian counting devices report | |
| Wang et al. | A video analysis framework for soft biometry security surveillance | |
| Dinh et al. | Development of a tracking-based system for automated traffic data collection for roundabouts | |
| Nielsen et al. | Taking the temperature of pedestrian movement in public spaces |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20070509 Assignee: Jiangsu Daway Technologies Co., Ltd. Assignor: Institute of Automation, Chinese Academy of Sciences Contract record no.: 2013320000085 Denomination of invention: Method for tracking principal and subordinate videos by using single video camera Granted publication date: 20090603 License type: Exclusive License Record date: 20130312 |
|
| LICC | Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model | ||
| EC01 | Cancellation of recordation of patent licensing contract |
Assignee: Jiangsu Daway Technologies Co., Ltd. Assignor: Institute of Automation, Chinese Academy of Sciences Contract record no.: 2013320000085 Date of cancellation: 20151109 |
|
| LICC | Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20160830 Address after: 100191, Haidian District, Zhichun Road, Beijing No. 7 to the real building, block D, 17, 1702 Patentee after: Beijing Keaosen Data Technology Co. Ltd. Address before: 100080 Zhongguancun East Road, Beijing, No. 95, No. Patentee before: Institute of Automation, Chinese Academy of Sciences |