CN107273801B - 一种视频多目标跟踪检测异常点的方法 - Google Patents

一种视频多目标跟踪检测异常点的方法 Download PDF

Info

Publication number
CN107273801B
CN107273801B CN201710338908.7A CN201710338908A CN107273801B CN 107273801 B CN107273801 B CN 107273801B CN 201710338908 A CN201710338908 A CN 201710338908A CN 107273801 B CN107273801 B CN 107273801B
Authority
CN
China
Prior art keywords
points
image
point
target tracking
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710338908.7A
Other languages
English (en)
Other versions
CN107273801A (zh
Inventor
陈志�
金广华
岳文静
刘星
龚凯
掌静
王福星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Wishare Information Technology Co ltd
Original Assignee
Nanjing Wishare Information Technology Co ltd
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Wishare Information Technology Co ltd, Nanjing University of Posts and Telecommunications filed Critical Nanjing Wishare Information Technology Co ltd
Priority to CN201710338908.7A priority Critical patent/CN107273801B/zh
Publication of CN107273801A publication Critical patent/CN107273801A/zh
Application granted granted Critical
Publication of CN107273801B publication Critical patent/CN107273801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)

Abstract

本发明公开了一种视频多目标跟踪检测异常点的方法，该方法均匀的抽取视频文件中的多个帧画面，将图像上的像素点通过高斯差函数转为灰度图像的像素点，求这些点的极值，通过求导获得相对极值位移，将相对极值位移代入到高斯差函数中获得候选特征点，再用一个常数来筛选得到特征点，通过计算两图像特征点置信度的最大值获得有效点，计算获得的灰度图像像素点的多尺度下的自相关矩阵，用角点响应函数将计算获得的矩阵代入，通过阈值限制来获取不同尺度下的角点，通过尺度最大的比较依据获得角点，最后将获得的角点连线，依次检测所有连续帧图像的异常点。本发明方法能够有效判断出视频多目标跟踪时出现的异常行为，防止用户作出错误的判断。

Description

一种视频多目标跟踪检测异常点的方法
技术领域
本发明属于数据挖掘领域，尤其涉及一种视频多目标跟踪检测异常点的方法。
背景技术
目标跟踪是计算机视觉领域里的基础性问题，在现实生活中应用广泛，如无人机侦查，人机交互，智能汽车等。虽然过去的几十年里视频目标跟踪取得了巨大的进步，但是由于天气的变化，目标可能被遮挡，目标形变等因素的影响，想要精确地跟踪目标仍然很难实现。
近年来，随着大数据挖掘技术的发展，基于分类判别的单目标跟踪的算法显著提升了跟踪性能，比较流行的算法有：基于核化的结构化输出算法、多事例学习算法、压缩感知算法…他们都是通过分类解决遇到的一些问题。然而多目标跟踪算法还不够成熟，尤其的这类视频多目标跟踪容易出现异常点，我们通常使用大数据挖掘的相关方法来处理。异常点数据挖掘包括异常点数据检测和异常点数据分析两个部分。异常点数据分析需要结合背景知识、领域知识等相关知识进行研究。本发明着重研究的是异常点数据检测问题。
异常点数据是与数据的一般行为或模型不一致的数据，它是数据集中与众不同的数据，这些数据并非是随机偏差，而是产生不同的机制。异常点数据检测有着广泛的应用，它不局限于本发明所提到的视频多目标跟踪出现的异常点监测，还可以用于不正常的信用卡使用或电信服务、市场客户流失的异常行为、医疗中治疗方式异常反应等等。
发明内容
本发明所要解决的技术问题是克服现有技术的不足而提供一种视频多目标跟踪检测异常点的方法，其以有效的检测用户进行多目标跟踪时，视频出现的异常点，找出视频文件异常的原因。
本发明为解决上述技术问题采用以下技术方案：
一种视频多目标跟踪检测异常点的方法，具体包含以下步骤：
步骤1，用户输入视频文件，按时间均匀的抽取视频文件中的图像；
步骤2，提取连续帧图像的特征点，并计算特征点的置信度；
步骤3，计算连续帧图像的灰度图像像素点自相关矩阵；
步骤4，将获得的自相关矩阵带入角点响应函数获取图像的角点；
步骤5，观察有效点是否在两图像角点连线上：若不在角点连线上，则输出为异常点，返回步骤2继续监测，直到检测完所有连续帧图像异常点。
作为本发明一种视频多目标跟踪检测异常点的方法的进一步优选方案，在步骤2中，计算特征点的置信度具体如下：
Figure GDA0003216942650000021
其中，
Figure GDA0003216942650000022
为特征点的置信度，
Figure GDA0003216942650000023
是图像ti特征点与图像ti+1中特征点最近的距离，
Figure GDA0003216942650000024
是图像ti特征点与图像ti+1中特征点次近的距离，
Figure GDA0003216942650000025
为i变为i+1得到图像ti+1的特征点；
作为本发明一种视频多目标跟踪检测异常点的方法的进一步优选方案所述步骤3具体如下：
计算图像ti的灰度图像像素点
Figure GDA0003216942650000026
在尺度j+1下的自相关矩阵
Figure GDA0003216942650000027
Figure GDA0003216942650000028
Figure GDA0003216942650000029
分别表示图像t1灰度图像的像素点在x,y方向上的小波变换，
Figure GDA00032169426500000210
当
Figure GDA00032169426500000211
Figure GDA00032169426500000212
表示平滑算子，
Figure GDA00032169426500000213
为卷积运算，H和G分别为低通和高通滤波器，D为狄拉克滤波器，Hj和Gj分别表示在H和G的滤波器系数之间插入2j-1个零，尺度最大值为J，所述尺度是指滤波器D和G的迭代次数，所述自相关矩阵是指原矩阵是自己的相关矩阵。
作为本发明一种视频多目标跟踪检测异常点的方法的进一步优选方案在步骤4中，所述角点响应函数如下：
Figure GDA00032169426500000214
Figure GDA00032169426500000215
为自相关矩阵，
Figure GDA00032169426500000216
为行列式的值，
Figure GDA00032169426500000217
为行列式的值和它对角线上元素的和，k为常量。
作为本发明一种视频多目标跟踪检测异常点的方法的进一步优选方案所述的按时间均匀的抽取视频文件中的图像ti，抽取图像ti与图像ti+1所用时间差为0.017s。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
当视频中的环境发生变化，例如光照的变化，空间的旋转等，本发明的技术有很好的适应性和准确性，能够有效地提升特征点提取的准确度，并且本发明能够准确地获取角点，有很好的抗噪能力，从而提高异常点检测的准确率。
附图说明
图1是一种视频多目标跟踪检测异常点的方法的流程图。
图2是光线突然变化得到的连续帧对比图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
如图1所示，一种视频多目标跟踪检测异常点的方法，包括以下步骤：
步骤1)用户输入视频文件，按时间均匀的抽取视频文件中的图像ti，即i＝1...num。
步骤2)图像ti有numb个像素点，numb＝n*m,像素点用x,y坐标系上的点表示成矩阵
Figure GDA0003216942650000031
i的初始值为1，将图像ti和图像ti+1分别与高斯函数卷积得到：
Figure GDA0003216942650000032
Figure GDA0003216942650000033
Figure GDA0003216942650000034
表示均值为0，方差为σ2的正态分布，所述的x,y在相应图像ti的像素点中获取。用高斯差函数将图像ti与图像ti+1分别转换为灰度图像：
Figure GDA0003216942650000035
Figure GDA0003216942650000036
k为常量。图像ti和ti+1灰度图像矩阵表示形式分别为：
Figure GDA0003216942650000037
步骤21)，设
Figure GDA0003216942650000041
在
Figure GDA0003216942650000042
的极值点为
Figure GDA0003216942650000043
计算它的极值点步骤如下：
Figure GDA0003216942650000044
对
Figure GDA0003216942650000045
求导，并令
Figure GDA0003216942650000046
的导数为0，可以求出相对极值的偏移：
Figure GDA0003216942650000047
将所得的
Figure GDA0003216942650000048
代入到：
Figure GDA0003216942650000049
中可得：
Figure GDA00032169426500000410
将所有
Figure GDA00032169426500000411
的
Figure GDA00032169426500000412
去掉，最终得到合适特征点的
Figure GDA00032169426500000413
步骤22)将步骤21)中i变为i+1得到图像ti+1的特征点
Figure GDA00032169426500000414
步骤3)计算特征点的置信度conf：
Figure GDA00032169426500000415
Figure GDA00032169426500000416
是图像ti特征点与图像ti+1中特征点最近的距离，
Figure GDA00032169426500000417
是图像ti特征点与图像ti+1中特征点次近的距离，将满足
Figure GDA00032169426500000418
最大值的点作为有效点
Figure GDA00032169426500000419
步骤3)计算图像ti的灰度图像像素点
Figure GDA00032169426500000420
在尺度j+1下的自相关矩阵
Figure GDA00032169426500000421
Figure GDA00032169426500000422
Figure GDA00032169426500000423
分别表示图像t1灰度图像的像素点在x,y方向上的小波变换，
Figure GDA00032169426500000424
当j＝0,
Figure GDA00032169426500000425
Figure GDA0003216942650000051
表示平滑算子，
Figure GDA0003216942650000052
为卷积运算，H和G分别为低通和高通滤波器，D为狄拉克滤波器，Hj和Gj分别表示在H和G的滤波器系数之间插入2j-1个零，尺度最大值为J，所述的尺度是指滤波器D和G的迭代次数，所述的自相关矩阵是指原矩阵是自己的相关矩阵。
步骤3)计算自相关矩阵
Figure GDA0003216942650000053
行列式的值
Figure GDA0003216942650000054
和它对角线上元素的和
Figure GDA0003216942650000055
接着计算角点响应函数：
Figure GDA0003216942650000056
k同步骤2)中的k。
步骤31)，尺度j初始值为0，当在尺度j≤J-1下设定图像ti灰度图像的阈值为Tj+1，
步骤32)a的初始值为1,b的初始值为2。
步骤33)将
Figure GDA0003216942650000057
分别和
Figure GDA0003216942650000058
比较；当
Figure GDA0003216942650000059
最大且
Figure GDA00032169426500000510
那么
Figure GDA00032169426500000511
输出为局部极大值；
步骤34当b≤m-1，那么b+2，执行步骤33)；当b≥m且a＜n，则a+1，b初始值为2，执行步骤33)，当a＞n,j++，执行步骤31)，当j≥J，结束查找。
步骤35)将所有满足局部极大值
Figure GDA00032169426500000512
的点
Figure GDA00032169426500000513
作为候选角点，将获得所有候选角点中
Figure GDA00032169426500000514
值最大的点作为角点，若最大值
Figure GDA00032169426500000515
有多个，那么选取j最大的那个点的为角点
Figure GDA00032169426500000516
步骤4)将步骤3)中i变为i+1得到图像ti+1的灰度图像的角点
Figure GDA00032169426500000517
步骤5)将两图像上的角点
Figure GDA00032169426500000518
和
Figure GDA00032169426500000519
连线，当有效点
Figure GDA00032169426500000520
不在连线上，这个点输出为异常点；i++，当i≤num-1，返回步骤2)，不满足结束检测。
所述的按时间均匀的抽取视频文件中的图像ti，抽取图像ti与图像ti+1所用时间差为0.017S。
所述的：
Figure GDA00032169426500000521
k为给定的取值在0.04～0.06的常量。
所述的
Figure GDA0003216942650000061
θ为0.08。
具体实施例如下：
步骤1)用户输入光线突然变化得到的连续帧对比图，如图2所示。
步骤2)这两幅图每个图有256个像素点，将256像素点用x,y坐标系上的点表示成矩阵，将图像和图像分别与高斯函数卷积和使用高斯函数差得到他们的灰度图像。
将左图灰度图像中的像素点u代入
Figure GDA0003216942650000062
中
对
Figure GDA0003216942650000063
求导，并令它为0，可以求出相对极值的偏移umax-u将所得的umax-u代入到：
Figure GDA0003216942650000064
中可得：
Figure GDA0003216942650000065
将所有
Figure GDA0003216942650000066
的umax去掉，最终得到合适特征点的(x,y)tezheng，按上述方法同样可得右图得的特征点。
步骤21)计算特征点的置信度conf((x,y)tezheng)＝1-d1((x,y)tezheng)/d2((x,y)tezheng)，将
Figure GDA0003216942650000067
最大值作为有效点。
步骤3)计算左图的灰度图像所有像素点u在尺度j为0、1、2、3下的自相关矩阵
Figure GDA0003216942650000068
计算自相关矩阵
Figure GDA0003216942650000069
行列式的值
Figure GDA00032169426500000610
和它对角线上元素的和
Figure GDA00032169426500000611
接着计算角点响应函数：
Figure GDA00032169426500000612
将所有满足局部极大值
Figure GDA00032169426500000613
的点u作为候选角点，将获得所有候选角点中
Figure GDA00032169426500000614
值最大的点作为角点，若最大值
Figure GDA00032169426500000615
有多个，那么选取j最大的那个点的为角点u，同样可以获得右图灰度图像角点。
步骤4)将两图像上的角点连线，有效点不在连线上，说明图像出现明显变化，有异常点出现。

Claims (4)

1.一种视频多目标跟踪检测异常点的方法，其特征在于：具体包含以下步骤：
步骤1，用户输入视频文件，按时间均匀的抽取视频文件中的图像；
步骤2，提取连续帧图像的特征点，并计算特征点的置信度；
步骤3，计算连续帧图像中与各图像所对应的灰度图像像素点自相关矩阵；
步骤4，将获得的与连续帧图像中各图像所对应的自相关矩阵带入角点响应函数获取对应图像的角点；
步骤5，观察有效点是否在两图像角点连线上：若不在角点连线上，则输出为异常点，返回步骤2继续监测，直到检测完所有连续帧图像异常点；
在步骤2中，计算特征点的置信度具体如下：
Figure FDA0003216942640000011
其中，
Figure FDA0003216942640000012
为特征点的置信度，
Figure FDA0003216942640000013
是图像ti特征点与图像ti+1中特征点最近的距离，
Figure FDA0003216942640000014
是图像ti特征点与图像ti+1中特征点次近的距离，
Figure FDA0003216942640000015
为i变为i+1得到图像ti+1的特征点；将满足
Figure FDA0003216942640000016
最大值的特征点作为有效点。
2.根据权利要求1所述的一种视频多目标跟踪检测异常点的方法，其特征在于：所述步骤3具体如下：
计算图像ti的灰度图像像素点
Figure FDA0003216942640000017
在尺度j+1下的自相关矩阵
Figure FDA00032169426400000115
Figure FDA0003216942640000018
Figure FDA0003216942640000019
分别表示图像t1灰度图像的像素点在x,y方向上的小波变换，
Figure FDA00032169426400000110
当
Figure FDA00032169426400000111
Figure FDA00032169426400000112
Figure FDA00032169426400000114
表示平滑算子，
Figure FDA00032169426400000113
为卷积运算，H和G分别为低通和高通滤波器，D为狄拉克滤波器，Hj和Gj分别表示在H和G的滤波器系数之间插入2j-1个零，尺度最大值为J，所述尺度是指滤波器D和G的迭代次数，所述自相关矩阵是指原矩阵是自己的相关矩阵。
3.根据权利要求1所述的一种视频多目标跟踪检测异常点的方法，其特征在于：在步骤4中，所述角点响应函数如下：
Figure FDA0003216942640000021
Figure FDA0003216942640000022
为自相关矩阵，
Figure FDA0003216942640000023
为行列式的值，
Figure FDA0003216942640000024
为行列式的值和它对角线上元素的和，k为常量。
4.根据权利要求1所述的一种视频多目标跟踪检测异常点的方法，其特征在于：所述的按时间均匀的抽取视频文件中的图像ti，抽取图像ti与图像ti+1所用时间差为0.017s。
CN201710338908.7A 2017-05-15 2017-05-15 一种视频多目标跟踪检测异常点的方法 Active CN107273801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710338908.7A CN107273801B (zh) 2017-05-15 2017-05-15 一种视频多目标跟踪检测异常点的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710338908.7A CN107273801B (zh) 2017-05-15 2017-05-15 一种视频多目标跟踪检测异常点的方法

Publications (2)

Publication Number Publication Date
CN107273801A CN107273801A (zh) 2017-10-20
CN107273801B true CN107273801B (zh) 2021-11-30

Family

ID=60064030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710338908.7A Active CN107273801B (zh) 2017-05-15 2017-05-15 一种视频多目标跟踪检测异常点的方法

Country Status (1)

Country Link
CN (1) CN107273801B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710836B (zh) * 2018-05-04 2020-10-09 南京邮电大学 一种基于级联特征提取的唇部检测及读取方法
CN111652903B (zh) * 2020-05-22 2023-09-08 重庆理工大学 一种自动驾驶场景下基于卷积关联网络的行人目标跟踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957996A (zh) * 2009-07-17 2011-01-26 上海遥薇实业有限公司 一种基于稳定特征的上下车乘客目标跟踪方法
CN102999759A (zh) * 2012-11-07 2013-03-27 东南大学 一种基于光流的车辆运动状态估计方法
CN103279952A (zh) * 2013-05-17 2013-09-04 华为技术有限公司 一种目标跟踪方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7986840B2 (en) * 2007-04-13 2011-07-26 Apple Inc. Tracking workflow in manipulating media items

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957996A (zh) * 2009-07-17 2011-01-26 上海遥薇实业有限公司 一种基于稳定特征的上下车乘客目标跟踪方法
CN102999759A (zh) * 2012-11-07 2013-03-27 东南大学 一种基于光流的车辆运动状态估计方法
CN103279952A (zh) * 2013-05-17 2013-09-04 华为技术有限公司 一种目标跟踪方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Vehicle Detection and Tracking Based on Corner and Lines Adjacent Detection Features;M.D.Enhat Munajat等;《IEEE》;20170216;第244-249页 *
面向无人机影像的目标特征跟踪方法研究;张辰等;《红外技术》;20150331;第37卷(第3期);第224-228页 *

Also Published As

Publication number Publication date
CN107273801A (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
CN113012203B (zh) 一种复杂背景下高精度多目标跟踪方法
US10872262B2 (en) Information processing apparatus and information processing method for detecting position of object
CN109670474B (zh) 一种基于视频的人体姿态估计方法、装置及设备
CN107680120B (zh) 基于稀疏表示和转移受限粒子滤波的红外小目标跟踪方法
JP4429298B2 (ja) 対象個数検出装置および対象個数検出方法
CN110175649B (zh) 一种关于重新检测的快速多尺度估计目标跟踪方法
US20080232678A1 (en) Localization method for a moving robot
EP2352128B1 (en) Mobile body detection method and mobile body detection apparatus
CN111612741B (zh) 一种基于失真识别的精确无参考图像质量评价方法
CN102982537A (zh) 一种检测场景变换的方法和系统
CN113822352A (zh) 基于多特征融合的红外弱小目标检测方法
CN112598708A (zh) 一种基于四特征融合和权重系数的高光谱目标跟踪方法
CN107273801B (zh) 一种视频多目标跟踪检测异常点的方法
CN112036381A (zh) 视觉跟踪方法、视频监控方法及终端设备
CN116740126A (zh) 目标跟踪方法、高速相机及存储介质
CN109101874B (zh) 一种基于深度图像的图书馆机器人障碍识别方法
CN107945119B (zh) 基于拜耳模式的图像内相关噪声估计方法
JP4918615B2 (ja) 対象個数検出装置および対象個数検出方法
CN113470074B (zh) 一种基于分块判别的自适应时空正则化目标跟踪方法
JP4674920B2 (ja) 対象個数検出装置および対象個数検出方法
CN115049552A (zh) 基于结构张量加权局部对比度测量的红外小目标检测方法
CN114187198A (zh) 一种基于模糊矩阵的图像去条纹方法
JP5419925B2 (ja) 通過物体数計測方法、通過物体数計測装置、及びプログラム
CN117456586B (zh) 一种微表情识别方法、系统、设备和介质
CN111476821B (zh) 基于在线学习的目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240621

Address after: 609, 6 / F, block a, China Merchants high speed rail Plaza, No. 9 Jiangnan Road, Jiangning District, Nanjing City, Jiangsu Province

Patentee after: NANJING WISHARE INFORMATION TECHNOLOGY CO.,LTD.

Country or region after: China

Address before: 210023 9 Wen Yuan Road, Ya Dong new town, Nanjing, Jiangsu.

Patentee before: NANJING University OF POSTS AND TELECOMMUNICATIONS

Country or region before: China

Patentee before: NANJING WISHARE INFORMATION TECHNOLOGY CO.,LTD.