CN108846345A - 一种监控场景中的运动目标尺度估计方法 - Google Patents

一种监控场景中的运动目标尺度估计方法 Download PDF

Info

Publication number
CN108846345A
CN108846345A CN201810575278.XA CN201810575278A CN108846345A CN 108846345 A CN108846345 A CN 108846345A CN 201810575278 A CN201810575278 A CN 201810575278A CN 108846345 A CN108846345 A CN 108846345A
Authority
CN
China
Prior art keywords
target
scene
scale
height
bounding box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810575278.XA
Other languages
English (en)
Other versions
CN108846345B (zh
Inventor
王文中
钟冉
李成龙
郑爱华
汤进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN201810575278.XA priority Critical patent/CN108846345B/zh
Publication of CN108846345A publication Critical patent/CN108846345A/zh
Application granted granted Critical
Publication of CN108846345B publication Critical patent/CN108846345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种监控场景中的运动目标尺度估计方法，获取某特定监控场景的少量视频；检测该视频场景中的所有目标，以行人目标为例，获得目标的包围盒；对包围盒数据进行线性拟合，获得场景中目标平均尺度的分布；利用场景中的几何特性分析目标在图像平面上移动时高度的变化规律；利用得到的平均尺度分布和高度的变化规律，得到该特定场景中目标从位置A移动到位置B的高度变化规律；获取某特定目标在该场景图像中的一个位置和对应位置的尺度；利用尺度预测模型及目标的位置和尺度，求得该目标在场景中的尺度分布。利用监控场景的几何特性对场景中目标的尺度进行分析，不依赖于目标的外观，在含有复杂挑战的监控场景下实现鲁棒的尺度自适应跟踪。

Description

一种监控场景中的运动目标尺度估计方法
技术领域
本发明涉及一种监控系统和计算机视觉技术，尤其涉及的是一种监控场景中的运动目标尺度估计方法。
背景技术
目前，对目标进行尺度估计时，通常包括如下方法：1.根据不同尺度的目标外观置信度选择置信度最高的尺度。例如：暴力搜索各种尺度下与目标最相似的目标对应的尺度；在基础尺度上按一定比例放大或缩小尺度来进行多尺度检测，寻找最佳尺度；利用尺度相关滤波器检测目标的尺度变化，进行当前帧目标尺度的估计。
2.根据目标自身特征获得尺度。例如：匹配目标关键点来确定目标尺度。
3.将目标尺度作为运动模型中的一个状态。例如：利用粒子滤波进行跟踪。上述方法均是基于目标进行的尺度估计。
现有技术的缺点是基于目标进行尺度估计，依赖于目标外观，在含有较复杂的挑战(如：噪声，遮挡等)的监控场景下目标尺度估计不够鲁棒。
发明内容
本发明所要解决的技术问题在于：如何不依赖目标的外观，在含有复杂挑战的监控场景下实现鲁棒的尺度自适应跟踪，提供了一种监控场景中的运动目标尺度估计方法。
本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
(1)获取某特定监控场景的少量视频；
(2)检测该视频场景中的所有目标，以行人目标为例，获得目标的包围盒；
(3)对包围盒数据进行线性拟合，获得场景中目标平均尺度的分布；
(4)利用场景中的几何特性分析目标在图像平面上移动时高度的变化规律；
(5)利用得到的平均尺度分布和高度的变化规律，得到该特定场景中目标从位置A移动到位置B的高度变化规律，即该场景的尺度预测模型；
(6)获取某特定目标在该场景图像中的一个位置和对应位置的尺度；
(7)利用尺度预测模型及目标的位置和尺度，求得该目标在场景中的尺度分布。
所述步骤(2)中，检测视频帧中的行人目标，获得大量目标的包围盒数据(x,y,w,h)，其中(x,y)为目标包围盒中心在图像中的坐标，w为包围盒宽度，h为包围盒高度。
所述步骤(3)中，对检测框的中心位置和高度进行拟合，获得该场景中目标位置p与高度h的关系从而获得场景中不同位置的目标平均高度分布，即其中p为齐次坐标，θ为参数向量，T为矩阵的转置操作。
所述步骤(4)具体如下：分析场景中的几何特性并得到目标从位置pA移动到位置pB后对应的高度hA和hB在图像平面上的关系，即：
所述步骤(5)中，将平均尺度分布中的参数代入高度变化规律中，得到该场景下的目标尺度预测模型，即：
所述步骤(7)中，给定图像中的任意位置p，在该位置p上求得目标的高度；假定目标在图像中具有相同的高宽比，根据获取的尺度计算目标高宽比，从而获得目标在图像中位置p的宽度，则可得到该目标在场景中任意位置的尺度。
本发明相比现有技术具有以下优点：本发明基于目标所在的监控场景对目标进行尺度估计，并将本方法结合到八个基准跟踪方法(MEEM，KCF，STRUCK，BIT，ECO，BACF，CREST，CFWCR)中，辅助跟踪做到了对目标进行尺度自适应跟踪。其中结合四个无尺度处理基准跟踪方法(MEEM，KCF，STRUCK，BIT)得到的跟踪精度和准确度均优于基准跟踪方法；另外将四个较为先进的多尺度基准跟踪方法(ECO，BACF，CREST，CFWCR)中的尺度搜索方式替换为本发明所提供的方案后，本发明得到的跟踪精度和准确度优于基准跟踪方法或与其具有竞争性，且跟踪速度明显提高。
附图说明
图1是本发明的流程示意图；
图2是目标移动时高度变化示意图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，本实施例包括以下步骤：
(1)获取某特定监控场景的少量视频；
将获取某个特定监控场景的少量视频，拆分成视频帧，可以采用但不限于R-FCN的检测方法检测视频帧中的目标，包括行人、机动车和非机动车，本实施例以行人目标为例详述操作步骤，由检测得到行人目标的包围盒数据。
(2)检测该视频场景中的所有目标，以行人目标为例，获得目标的包围盒；
可以采用但不限于R-FCN检测方法检测视频帧中的行人目标，获得大量目标的包围盒数据(x,y,w,h),其中(x,y)为目标包围盒中心在图像中的坐标，w为包围盒宽度，h为包围盒高度。
(3)对包围盒数据进行线性拟合，获得场景中目标平均尺度的分布；
由包围盒数据获得所有目标的中心位置和对应的高度，重点分析高度来探索目标尺度变化规律；
可以采用但不限于最小二乘方法对检测框的中心位置和高度进行拟合，获得该场景中目标位置与高度的关系，此关系用参数表示，获得场景中不同位置的目标平均高度分布；
(4)利用场景中的几何特性分析目标在图像平面上移动时高度的变化规律；
分析场景中的几何特性并得到目标从位置pA移动到位置pB后对应的高度hA和hB在图像平面上的关系，即：
(5)利用得到的平均尺度分布和高度的变化规律，得到该特定场景中目标从位置A移动到位置B的高度变化规律，即该场景的尺度预测模型；
分析可得高度变化规律与场景的几何特性有关，即由平均尺度分布中的参数决定；
将步骤(3)得到的平均尺度分布中的参数代入步骤(4)的高度变化规律中，得到该场景下的目标尺度预测模型，即
(6)获取某特定目标在该场景图像中的一个位置和对应位置的尺度；
(7)利用尺度预测模型及目标的位置和尺度，求得该目标在场景中的尺度分布；
给定图像中的任意位置p，步骤(5)中的公式代入步骤(6)获取的目标位置及高度，在该位置p上求得目标的高度；
假定目标在图像中具有相同的高宽比，根据步骤(6)获取的尺度计算目标高宽比，从而获得目标在图像中位置p的宽度，则可得到该目标在场景中任意位置的尺度。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种监控场景中的运动目标尺度估计方法，其特征在于，包括以下步骤：
(1)获取某特定监控场景的少量视频；
(2)检测该视频场景中的所有目标，以行人目标为例，获得目标的包围盒；
(3)对包围盒数据进行线性拟合，获得场景中目标平均尺度的分布；
(4)利用场景中的几何特性分析目标在图像平面上移动时高度的变化规律；
(5)利用得到的平均尺度分布和高度的变化规律，得到该特定场景中目标从位置A移动到位置B的高度变化规律，即该场景的尺度预测模型；
(6)获取某特定目标在该场景图像中的一个位置和对应位置的尺度；
(7)利用尺度预测模型及目标的位置和尺度，求得该目标在场景中的尺度分布。
2.根据权利要求1所述的一种监控场景中的运动目标尺度估计方法，其特征在于，所述步骤(2)中，检测视频帧中的行人目标，获得大量目标的包围盒数据(x,y,w,h)，其中(x,y)为目标包围盒中心在图像中的坐标，w为包围盒宽度，h为包围盒高度。
3.根据权利要求2所述的一种监控场景中的运动目标尺度估计方法，其特征在于，所述步骤(3)中，对检测框的中心位置和高度进行拟合，获得该场景中目标位置p与高度h的关系从而获得场景中不同位置的目标平均高度分布，即其中p为齐次坐标，θ为参数向量，T为矩阵的转置操作。
4.根据权利要求3所述的一种监控场景中的运动目标尺度估计方法，其特征在于，所述步骤(4)具体如下：分析场景中的几何特性并得到目标从位置pA移动到位置pB后对应的高度hA和hB在图像平面上的关系，即：
5.根据权利要求4所述的一种监控场景中的运动目标尺度估计方法，其特征在于，所述步骤(5)中，将平均尺度分布中的参数代入高度变化规律中，得到该场景下的目标尺度预测模型，即：
6.根据权利要求5所述的一种监控场景中的运动目标尺度估计方法，其特征在于，所述步骤(7)中，给定图像中的任意位置p，在该位置p上求得目标的高度；假定目标在图像中具有相同的高宽比，根据获取的尺度计算目标高宽比，从而获得目标在图像中位置p的宽度，则可得到该目标在场景中任意位置的尺度。
CN201810575278.XA 2018-06-06 2018-06-06 一种监控场景中的运动目标尺度估计方法 Active CN108846345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810575278.XA CN108846345B (zh) 2018-06-06 2018-06-06 一种监控场景中的运动目标尺度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810575278.XA CN108846345B (zh) 2018-06-06 2018-06-06 一种监控场景中的运动目标尺度估计方法

Publications (2)

Publication Number Publication Date
CN108846345A true CN108846345A (zh) 2018-11-20
CN108846345B CN108846345B (zh) 2021-09-17

Family

ID=64210268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810575278.XA Active CN108846345B (zh) 2018-06-06 2018-06-06 一种监控场景中的运动目标尺度估计方法

Country Status (1)

Country Link
CN (1) CN108846345B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120314030A1 (en) * 2011-06-07 2012-12-13 International Business Machines Corporation Estimation of object properties in 3d world
CN103440486A (zh) * 2013-08-29 2013-12-11 方正国际软件有限公司 一种图像中标牌尺度的检测方法及系统
CN107154024A (zh) * 2017-05-19 2017-09-12 南京理工大学 基于深度特征核相关滤波器的尺度自适应目标跟踪方法
CN107358238A (zh) * 2017-03-01 2017-11-17 郑州云海信息技术有限公司 一种提取图像特征信息的方法及系统
CN107679250A (zh) * 2017-11-01 2018-02-09 浙江工业大学 一种基于深度自编码卷积神经网络的多任务分层图像检索方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120314030A1 (en) * 2011-06-07 2012-12-13 International Business Machines Corporation Estimation of object properties in 3d world
CN103440486A (zh) * 2013-08-29 2013-12-11 方正国际软件有限公司 一种图像中标牌尺度的检测方法及系统
CN107358238A (zh) * 2017-03-01 2017-11-17 郑州云海信息技术有限公司 一种提取图像特征信息的方法及系统
CN107154024A (zh) * 2017-05-19 2017-09-12 南京理工大学 基于深度特征核相关滤波器的尺度自适应目标跟踪方法
CN107679250A (zh) * 2017-11-01 2018-02-09 浙江工业大学 一种基于深度自编码卷积神经网络的多任务分层图像检索方法

Also Published As

Publication number Publication date
CN108846345B (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN106780620B (zh) 一种乒乓球运动轨迹识别定位与跟踪系统及方法
KR101643672B1 (ko) 광류 추적 방법 및 장치
US9286678B2 (en) Camera calibration using feature identification
US7660436B2 (en) Stereo-vision based imminent collision detection
Walha et al. Video stabilization with moving object detecting and tracking for aerial video surveillance
KR20180084085A (ko) 얼굴 위치 추적 방법, 장치 및 전자 디바이스
KR20150110697A (ko) 타깃 오브젝트를 추적 및 검출하기 위한 시스템들 및 방법들
US10650535B2 (en) Measurement device and measurement method
KR101953626B1 (ko) 다중 히스토그램을 이용한 객체 추적 방법 및 이를 이용한 객체 추적 시스템
EP1932117A2 (en) Method and apparatus for determining automatically the shot type of an image (close-up shot versus long shot)
JP6844235B2 (ja) 距離測定装置および距離測定方法
KR101051389B1 (ko) 적응적 배경 기반의 객체 검출 및 추적 장치 및 방법
CN110827262B (zh) 一种基于连续有限帧红外图像的弱小目标检测方法
CN104156932A (zh) 一种基于光流场聚类的运动目标分割方法
CN109102013A (zh) 一种适于隧道环境特性的改进freak特征点匹配稳像方法
CN110084830A (zh) 一种视频运动目标检测与跟踪方法
WO2017094140A1 (ja) 物体検出装置及び物体検出方法
Tsai et al. Vision-Based Obstacle Detection for Mobile Robot in Outdoor Environment.
CN111553342A (zh) 一种视觉定位方法、装置、计算机设备和存储介质
CN108846345A (zh) 一种监控场景中的运动目标尺度估计方法
US20140064562A1 (en) Approaching-object detector, approaching object detecting method, and recording medium storing its program
CN112348853B (zh) 基于红外显著性特征融合的粒子滤波跟踪的方法
Du CAMShift-Based Moving Object Tracking System
Mahabalagiri et al. Camera motion detection for mobile smart cameras using segmented edge-based optical flow
Spurlock et al. Dynamic subset selection for multi-camera tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant