CN107909032A - 一种基于单样本的行为检测与识别方法 - Google Patents

一种基于单样本的行为检测与识别方法 Download PDF

Info

Publication number
CN107909032A
CN107909032A CN201711128829.XA CN201711128829A CN107909032A CN 107909032 A CN107909032 A CN 107909032A CN 201711128829 A CN201711128829 A CN 201711128829A CN 107909032 A CN107909032 A CN 107909032A
Authority
CN
China
Prior art keywords
video
displacement
behavior
point
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711128829.XA
Other languages
English (en)
Inventor
黄�俊
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201711128829.XA priority Critical patent/CN107909032A/zh
Publication of CN107909032A publication Critical patent/CN107909032A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本文提出了一种基于单样本的行为检测与识别方法能够对视频中是否出现该类行为做出快速的判断。方法通过匹配运动目标身上的特征点并将其对应的位移信息进行投票产生位移直方图对行为进行表征，紧接着采用矩阵余弦相似度的方法来判别行为。实验表明，在摄像头固定的静态场景下，所提的方法能够快速有效的对视频中的行为进行检测与识别。

Description

一种基于单样本的行为检测与识别方法
技术领域
本发明涉及视频识别技术，具体涉及一种基于单样本的视频中行为的检测与识别方法。
背景技术
随着社会的发展和人们安全意识的增强，视频监控系统已经在各行各业中得到了广泛的应用。与此同时，人工智能的迅速崛起使得人们对智能监控的研发需求空前膨胀。视频中行为的检测与识别是智能视频监控中的研究重点和难点，当行为样本的收集比较困难的时候，研究利用极少甚至单个的样本对视频中的行为进行检测与识别显得很有意义。本文提出了一种基于单样本的行为检测与识别方法能够对视频中是否出现该类行为做出快速的判断。方法通过匹配运动目标身上的特征点并将其对应的位移信息进行投票产生位移直方图对行为进行表征，紧接着采用矩阵余弦相似度的方法来判别行为。实验表明，在摄像头固定的静态场景下，所提的方法能够快速有效的对视频中的行为进行检测与识别。
从视频中检测与识别其中的人体行为，是智能监控研究的关键问题。目前，已经有了很多针对视频中行为检测与识别的研究成果。总体上可根据是否需要大量的训练样本可以将其分成两大类。第一类方法需要使用大量的视频样本来对行为识别分类器进行训练，而另一类方法进行行为识别过程中只需要少量样本甚至单样本即可完成。基于第一类的检测方法的取得了较多的理论成果，这些方法在获得较好识别效果的同时却以牺牲时间复杂度为代价，检测需要消耗大量的时间，往往达不到实际系统实时性的要求，而且当训练样本数量不足时，方法的检测性能会大幅度下降，甚至失效。而第二类算法的研究成果相对较少一些，且已有方法都比较耗时。
与基于多样本训练分类器的行为识别方法不同的是所有的基于单样本的行为检测方法从根源上无法克服由背景、人体着装、拍摄角度等造成的同类行为之间的类内差异性的影响。但有时训练行为分类器所需的样本视频很难获取的，所以研究利用单样本进行行为检测与识别的方法是很有意义的，其有特定的应用场景。在实际应用中往往对行为的检测与识别速度有着较高的要求，所以其采用方法的计算复杂度越低越好。但现有的针对基于单样本的行为识别算法研究较少，且它们大都使用了复杂度较高的特征提取与匹配算法，因此不适合对实时性要求高的应用场景。针对这一现状本文提出了一种高实时性的基于单样本的行为检测与识别方法。
发明内容
本发明的目的在于，解决在能够获取到用来检测行为的视频样本数量非常少的情况下，要迅速的对视频中的行为进行识别的问题。具体技术方案实现：一种基于单样本的行为检测与识别方法，步骤如下：
(1)为了保证对视频中行为正确的识别，我们选用的兴趣点检测方法一定要确保从运动的人体身上提取到足够数量的有效兴趣点。因执行者相较与背景有着明显的轮廓信息，因此提取运动目标的轮廓上的特征点是一个很好的选择。为了避免相邻帧差法中运动目标的运动速度对检测效果的影响，本发明根据运动速度的大小动态的调整跨帧的间隔；
(2)成功提取到视频中运动目标的轮廓后，将轮廓上等间隔的点作为兴趣点，再将两幅图像中检测到的兴趣点利用HOG(方向梯度直方图)方法分别进行匹配；
(3)经过以上步骤可以得到一个特征点对集，接下来将特征点对集中逐个特征点对的位移变化在位移空间中进行投票，统计得到位移空间中每个位移单元对应的特征点对数目，即得到表征行为的位移直方图；
(4)使用上述步骤可以得到整个样本视频的位移直方图序列，同样从目标视频中提取到位移直方图序列，紧接着可通过矩阵余弦相似度的方法来衡量样本视频与目标视频的相似度，从而达到了对视频中行为识别的目的。
附图说明
图1是本发明中基于单样本的行为检测与识别系统框图
图2是本发明中速度自适应的轮廓提取框架图
具体实施方式
本发明用于提供一种基于单样本的行为检测与识别方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。
(1)视频中能够表征行为的重要信息都集中在行为的实施者即视频中的运动人体身上。为了保证对视频中行为正确的识别，我们选用的兴趣点检测方法一定要确保从运动的人体身上提取到足够数量的有效兴趣点。因执行者相较与背景有着明显的轮廓信息，因此提取运动目标的轮廓上的特征点是一个很好的选择。常用的检测方法有SIFT特征点、Harris角点，但是SIFT特征点检测的复杂度太高，对硬件的要求很高，检测需要消耗大量的时间，因此不适合实时性的行为检测系统；而Harris角点检测到的属于运动人体的特征点的数目有限，也不利于行为检测的精度的提升。
要提取运动目标的轮廓首先要检测出视频中运动的目标，检测运动目标的常用的方法有帧间差分法与背景减除法。背景减除法需要良好的背景建模才能将运动目标分离出来，而常见的背景建模方法无论是高斯背景建模还是混合高斯建模因其复杂度都很难应用到实际的场景中，而帧间差分法容易受到运动目标的移动速度快慢的影响，当目标移动速度过慢时目标在差分图像中可能会消失，当目标移动速度过快时，在差分图像中会显现两个相同的目标。因此本算法采用改进的速度自适应的轮廓提取方法来提取运动目标的轮廓，该方法融合了帧间差分法和Sobel算子。
为了避免相邻帧差法中运动目标的运动速度对检测效果的影响，方法根据运动速度的大小动态的调整跨帧的间隔，当移动速度过慢时，连续两帧中的目标位置变化小，跨帧间隔自动调大，而当移动速度过快时，连续两帧中的目标位置变化大，跨帧间隔自动调小；
(2)成功提取到视频中运动目标的轮廓后，假定从第i幅图像中等间隔采样得到的特征点集记为Pi，则：
Pi＝{pi,j∈R2}i＝1,2,…,T j＞0
其中Pi,j为特征点集Pi中第j个特征点，Pi,j＝(xij,yij)是兴趣点在图像中的坐标位置。
为了有效的对视频中的行为进行表征，需要将两幅图像中属于同一人体上的特征点进行匹配。实验表明，HOG(方向梯度直方图)特征能够较好的匹配在一定程度上存在形变的特征点。首先，提取以各特征点为中心且大小为w×w的图像区域(在此我们将w设定为9)的HOG特征。紧接着在范围σ内，根据约束条件选择其它帧中的特征点与其完成匹配。约束条件如下所示：
其中|xij-xik|＜σ，|yij-yik|＜σ限定了搜索的范围，因为在连续视频帧中人体各部分都是在一定的范围内变化的，因此只需要在一定的临域内匹配特征点，这也大大节约了匹配所需的时间成本，但本算法是基于单样本的，不能通过训练来学习参数σ，本文方法通过实验设置σ参数。S(p1j,pik)是度量HOG特征相似性的函数，在本方法中采用曼哈顿距离来定义度量函数，(p1j,pi1)是匹配成功的特征点对；
(3)经过以上过程，便可以得到一帧图像中所有的特征点与另一帧图像特征点匹配得到的特征点对集M＝{(p1j,pik),i＝2,…T}。接下来将特征对集中逐个特征点对的位移变化(x1j-xil,y1j-yil)在位移空间(Δx,Δy)中进行投票，统计得到位移空间中每个位移单元对应的匹配特征点对数目，即可得到表征行为的位移直方图。又因轮廓提取时不可避免的从背景环境中提取到了与行为识别无关的特征点，而其也将会和环境中相应的特征点进行匹配，其位移为零，为了消除背景对后续行为识别的影响，我们可将位移为(0,0)的分量从直方图中去除。
又因每次从图像中提取到的特征点数目不能确定，因此在行为匹配之前为了将视频中目标的行为有效的表征必须利用L1范数将位移直方图归一化，归一化的公式如下所示：
其中，d′为归一化之前的位移直方图，d为归一化处理后得到的位移直方图，是位移直方图d′的L1范数；
(4)将帧长为t0的样本视频通过自适应轮廓提取算法动态的调整帧间隔，继而通过大小为T的滑动窗口将视频分为大小相同的有序视频段，将每个视频段表征为位移直方图，这样便可以得到整个样本视频的位移直方图序列记为dSrc，同样地从目标视频中提取到的位移直方图为序列记为dDes，我们可以通过矩阵余弦相似度来衡量样本视频与目标视频的相似度。矩阵余弦相似度的度量方法实则计算两个规范化矩阵的Frobenius内积，其定义公式如下：
式中，将其以列向量的形式表示出来为又因其中两个向量与的相似度为：则可以把样本视频与目标视频位移直方图的矩阵余弦相似度改写为加权的向量相似度之和，形如下式：
则可得到计算目标视频中的第k段视频剪辑与样本视频的相似性的公式为：
式中，是目标视频第k段剪辑的位移直方图序列的第i个位移直方图，DSrc(i)是样本视频位移直方图序列的DSrc第i个位移直方图。
可利用通过上面计算得到的相似度，定义用来判定样本视频中包含的行为是否在目标视频剪辑中出现的判别函数f(Desk,Src)。该判别函数的公式描述如下：
如果经过判别函数f(Desk,Src)计算得到的结果为1，表明两个位移直方图序列的相似度S(Desk,Src)大于设定的阈值τ，也就是说可以判定样本视频Src中定义的行为在目标视频剪辑Desk中出现。同样的由于本文是基于单样本的行为识别方法，所以，阈值τ只能通过实验进行调整设置。

Claims (4)

1.一种基于单样本的行为检测与识别方法，其特征在于，步骤如下：
(1)为了保证对视频中行为正确的识别，我们选用的兴趣点检测方法一定要确保从运动的人体身上提取到足够数量的有效兴趣点。因执行者相较与背景有着明显的轮廓信息，因此提取运动目标的轮廓上的特征点是一个很好的选择。为了避免相邻帧差法中运动目标的运动速度对检测效果的影响，本发明根据运动速度的大小动态的调整跨帧的间隔；
(2)成功提取到视频中运动目标的轮廓后，将轮廓上等间隔的点作为兴趣点，再将两幅图像中检测到的兴趣点利用HOG(方向梯度直方图)方法分别进行匹配；
(3)经过以上步骤可以得到一个特征点对集，接下来将特征点对集中逐个特征点对的位移变化在位移空间中进行投票，统计得到位移空间中每个位移单元对应的特征点对数目，即得到表征行为的位移直方图；
(4)使用上述步骤可以得到整个样本视频的位移直方图序列，同样从目标视频中提取到位移直方图序列，紧接着可通过矩阵余弦相似度的方法来衡量样本视频与目标视频的相似度，从而达到了对视频中行为识别的目的。
2.根据权利要求1所述的基于单样本的行为检测与识别方法，其特征在于，采用自适应轮廓提取可解决目标运动速度对轮廓提取的影响。
3.根据权利要求1所述的基于单样本的行为检测与识别方法，其特征在于，使用位移直方图对行为进行表征，接着采用矩阵余弦相似度的方法对行为进行匹配，大大减少了运行时间，使实时性得到满足。
4.根据权利要求1所述的基于单样本的行为检测与识别方法，其特征在于，动态轮廓提取与位移直方表征行为的结合。
CN201711128829.XA 2017-11-15 2017-11-15 一种基于单样本的行为检测与识别方法 Pending CN107909032A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711128829.XA CN107909032A (zh) 2017-11-15 2017-11-15 一种基于单样本的行为检测与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711128829.XA CN107909032A (zh) 2017-11-15 2017-11-15 一种基于单样本的行为检测与识别方法

Publications (1)

Publication Number Publication Date
CN107909032A true CN107909032A (zh) 2018-04-13

Family

ID=61844213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711128829.XA Pending CN107909032A (zh) 2017-11-15 2017-11-15 一种基于单样本的行为检测与识别方法

Country Status (1)

Country Link
CN (1) CN107909032A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664919A (zh) * 2018-05-04 2018-10-16 南京邮电大学 一种基于单样本的行为识别与检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426785A (zh) * 2011-11-18 2012-04-25 东南大学 基于轮廓和局部特征点的交通流信息感知方法及系统
CN102880877A (zh) * 2012-09-28 2013-01-16 中科院成都信息技术有限公司 一种基于轮廓特征的目标识别方法
CN102999918A (zh) * 2012-04-19 2013-03-27 浙江工业大学 全景视频序列图像的多目标对象跟踪系统
CN204988587U (zh) * 2015-08-05 2016-01-20 北京航空航天大学 一种高精度非接触气动摩擦阻力测量装置
CN106780548A (zh) * 2016-11-16 2017-05-31 南宁市浩发科技有限公司 基于交通视频的运动车辆检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426785A (zh) * 2011-11-18 2012-04-25 东南大学 基于轮廓和局部特征点的交通流信息感知方法及系统
CN102999918A (zh) * 2012-04-19 2013-03-27 浙江工业大学 全景视频序列图像的多目标对象跟踪系统
CN102880877A (zh) * 2012-09-28 2013-01-16 中科院成都信息技术有限公司 一种基于轮廓特征的目标识别方法
CN204988587U (zh) * 2015-08-05 2016-01-20 北京航空航天大学 一种高精度非接触气动摩擦阻力测量装置
CN106780548A (zh) * 2016-11-16 2017-05-31 南宁市浩发科技有限公司 基于交通视频的运动车辆检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LISHEN PEI 等: "One Example Based Action Detection in Hough Space", 《MULTIMED TOOLS APPL》 *
QIANG ZHANG 等: "Motion Key-frames extraction based on amplitude of distance characteristic curve", 《INTERNATIONAL JOURNAL OF COMPUTATIONAL INTELLIGENCE SYSTEMS》 *
梅洪洋: "监控视频中运动目标轮廓提取方法的研究与应用", 《万方学位论文数据库》 *
裴利沈: "视频中人体行为识别若干问题研究", 《万方学位论文数据库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664919A (zh) * 2018-05-04 2018-10-16 南京邮电大学 一种基于单样本的行为识别与检测方法

Similar Documents

Publication Publication Date Title
WO2021047232A1 (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN104063722B (zh) 一种融合hog人体目标检测和svm分类器的安全帽识别方法
CN106325485B (zh) 一种手势检测识别方法及系统
CN102609720B (zh) 一种基于位置校正模型的行人检测方法
Feng et al. Deep representation for abnormal event detection in crowded scenes
CN103942577A (zh) 视频监控中基于自建立样本库及混合特征的身份识别方法
CN107230267B (zh) 基于人脸识别算法的幼儿园智能签到方法
CN106295532B (zh) 一种视频图像中的人体动作识别方法
CN110991397B (zh) 一种行进方向确定方法及相关设备
CN104992453A (zh) 基于极限学习机的复杂背景下目标跟踪方法
CN105893957B (zh) 基于视觉湖面船只检测识别与跟踪方法
CN103530648A (zh) 一种基于多帧图像的人脸识别方法
CN106570490A (zh) 一种基于快速聚类的行人实时跟踪方法
CN104463869A (zh) 一种视频火焰图像复合识别方法
CN105096342A (zh) 一种基于傅里叶描述子和方向梯度直方图的入侵检测算法
CN104200218B (zh) 一种基于时序信息的跨视角动作识别方法及系统
Møgelmose et al. Multimodal person re-identification using RGB-D sensors and a transient identification database
CN109684986A (zh) 一种基于车辆检测跟踪的车辆分析方法及系统
Andiani et al. Face recognition for work attendance using multitask convolutional neural network (MTCNN) and pre-trained facenet
CN107679467B (zh) 一种基于hsv和sdalf的行人重识别算法实现方法
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
CN107909032A (zh) 一种基于单样本的行为检测与识别方法
CN115797970B (zh) 基于YOLOv5模型的密集行人目标检测方法及系统
CN106446837B (zh) 一种基于运动历史图像的挥手检测方法
CN108664919A (zh) 一种基于单样本的行为识别与检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180413

RJ01 Rejection of invention patent application after publication