CN110197122B - 获取图像的局部特征描述子的方法及异常行为图像检索法 - Google Patents

获取图像的局部特征描述子的方法及异常行为图像检索法 Download PDF

Info

Publication number
CN110197122B
CN110197122B CN201910332778.5A CN201910332778A CN110197122B CN 110197122 B CN110197122 B CN 110197122B CN 201910332778 A CN201910332778 A CN 201910332778A CN 110197122 B CN110197122 B CN 110197122B
Authority
CN
China
Prior art keywords
vector
time
tmlbp
center
vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910332778.5A
Other languages
English (en)
Other versions
CN110197122A (zh
Inventor
胡兴
段倩倩
黄影平
陈文明
杨海马
张亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910332778.5A priority Critical patent/CN110197122B/zh
Publication of CN110197122A publication Critical patent/CN110197122A/zh
Application granted granted Critical
Publication of CN110197122B publication Critical patent/CN110197122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提出了一种获取图像的局部特征描述子的方法，首先将位于同一空间位置的时间向量序列组成包含奇数个向量的时间窗口；时间窗口包括一中心向量和对称排列在中心向量两侧平面的一组相邻向量；之后通过反余弦函数模型计算中心向量和相邻向量之间的夹角；将步骤S2中的夹角在阈值作用下二值化；最后通过求解模型获取该中心向量对应的TMLBP描述子。本发明将滑动时间窗口内的每一帧视频序列的中心向量赋予一个TMLBP描述子，通过该TMLBP描述子，反映时间窗口内的多变量时间序列相对于窗口中心时刻数据的变化，运行简单、快速、高效，适用于视频信号中的运动分析。本发明还提出了一种异常行为图像检索法。

Description

获取图像的局部特征描述子的方法及异常行为图像检索法
技术领域
本发明属于视频信号特征提取领域，尤其涉及一种获取图像的局部特征描述子的方法及异常行为图像检索法。
背景技术
目前，在视频序列中的特征提取的方法很多，主要包括：基于手工设计的描述子和基于学习的描述子，具体的：(1)基于手工设计的描述子是指根据经验为提取某种特定的信息而设计的特征描述子。例如，时空兴趣点特征、光流直方图、时空梯度直方图、三正交平面局部二值模式、混合动态纹理等。手工特征能够快速高效的提取特定信息，如运动特征、外观特征、动态纹理特征等，其参数设计依赖于先验知识，不需要训练的实现参数最优化。然而，基于人工设计的特征的通用性低，通常在这个场景中有效，而在另外一个场景中失效。(2)基于学习的描述子是指利用机器学习方法优化特定的目标函数而获得特征描述子。例如，在字典学习中，通过最小化字典重建误差而获得数据稀疏表示；在深度学习中，通过卷积神经网络，或通过深度自编码器而获得深度学习特征。通过优化目标函数，基于学习的描述子能够提取重要信息，泛化能力强，通用性强，不依赖于先验知识。然而，基于学习的描述子通常依赖于目标函数的设计和大量的训练样本，计算量较大，不利于对实时性要求较高的方法。
尽管当前有很多方法都是通过深度神经网络来学习特征描述子，但基于人工设计的描述子在视频分析中仍然具有重要的作用。这是因为基于人工设计的描述子具有以下优点：1)手工特征得益于人对先验知识的掌握，不要需要繁琐的训练过程，计算量低，实时性好，能够提取特定的有用信息；2)将数据转换为手工特征在一定程度上有利于深度学习模型能够简化后续的特征学习模型，有利于学习有用的特征。
在现有的基于人工设计的视频特征描述子，常用的如光流直方图、梯度直方图、时空局部二值模式等。局部二值模式(LBP)是一种强大的纹理特征描述子，广泛应用于图像纹理特征描述子中，但以上几种特征描述子仍存在以下缺陷：1)它们大多反映局部区域的特征统计信息，并不能反映视频信号在时间上的变化；2)二维的局部二值模式不能获取视频中的时间特征信息；3)改进的时空局部二值模式或三平面正交局部二值模式虽然能够利用时间信息，但也不能完全反映视频信号在时间的变化信息；4)一维局部二值模式(1DLBP)能够用于单变量的时间信号分析，不适用于高维的多变量视频信号分析。
发明内容
本发明的目的在于提供一种获取图像的局部特征描述子的方法及异常行为图像检索法，将滑动时间窗口内的每一帧视频序列的中心向量赋予一个TMLBP描述子，通过该局部TMLBP描述，反映时间窗口内的多变量时间序列相对于窗口中心时刻数据的变化。为实现上述目的，本发明所采用的技术方案为：
一种获取图像的局部特征描述子的方法，包括以下步骤：
步骤S1：将同一空间位置的时间向量序列划分为奇数个向量的时间窗口；所述向量包括一中心向量和对称排列在中心向量两侧平面的一组相邻向量；所述一组相邻向量包括多个相邻向量；
步骤S2：通过反余弦函数模型计算中心向量和相邻向量之间的夹角；
步骤S3：将步骤S2中的夹角在阈值作用下二值化；
步骤S4：通过求解模型获取该中心向量对应的TMLBP描述子。
优选地，在步骤S2中，所述反余弦函数模型为：
Figure BDA0002038209220000031
优选地，在步骤S3中，二值化模型为：
Figure BDA0002038209220000032
优选地，在步骤S4中，所述求解模型为：
Figure BDA0002038209220000033
本发明还提出了一种异常行为图像检索法，采用所述的获取图像的局部特征描述子的方法，具体为：
步骤C1：将视频帧的二维图像处理为一维向量时间序列；
步骤C2：对所述时间向量序列进行降维处理；
步骤C3：采用获取图像的局部二值模式特征描述子的方法，求解同一空间位置的中心向量对应的TMLBP描述子；
步骤C4：沿时间轴滑动时间窗口，重复步骤C3，直至获取该时间向量序列所有的中心向量对应的TMLBP描述子；
步骤C5：采用无监督的机器学习法训练基于所述TMLBP描述子的字典；
步骤C6：采用在线稀疏重建算法，标记异常视频数据。
优选地，在步骤C1中，先定位异常行为在视频中的位置；若为局部异常，则首先将视频帧划分为多个矩形块，再将所述矩形块处理为一维时间向量序列。
优选地，在步骤C2中，采用随机投影的降维方法。
与现有技术相比，本发明的优点为：将滑动时间窗口内的每一帧视频序列的中心向量赋予一个TMLBP描述子，通过该局部TMLBP描述，反映时间窗口内的多变量时间序列相对于窗口中心时刻数据的变化。同时，TMLBP描述子可以提取多变量时间序列中重要的时间变化特征，对噪声、光照变化等干扰鲁棒，简单、快速、高效，适用于视频信号中的运动分析。
附图说明
图1为本发明一实施例的获取图像的局部特征描述子的方法的流程示意图；
图2为图1中TMLBP描述子的结构示意图；
图3为本发明一实施例的异常行为图像检索法的流程图；
图4(a)为滑动时间轴前后，未检测图像、异常行为检测后的图像后对比。
图4(b)异常行为图像检测结果图。
其中，1-中心向量，2-相邻向量。
具体实施方式
下面将结合示意图对本发明的获取图像的局部特征描述子的方法及异常行为图像检索法进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
如图1～2所示，一种获取图像的局部特征描述子的方法，包括以下步骤S1～S4，具体如下：
步骤S1：将同一空间位置的时间向量序列划分为奇数个向量的时间窗口；所述向量包括一中心向量1和对称排列在中心向量两侧平面的一组相邻向量
Figure BDA0002038209220000041
一组相邻向量包括多个相邻向量2。具体的，P为偶数，
Figure BDA0002038209220000051
排列在中心向量vc的左侧，/>
Figure BDA0002038209220000052
排列在中心向量vc的右侧。
步骤S2：通过反余弦函数模型计算中心向量和相邻向量之间的夹角。不同于传统的LBP使用中心像素作为阈值去二值化周围环绕的相邻像素，TMLBP的中心向量不能用于二值化相邻向量。由于两个向量之间存在夹角，可通过反余弦函数模型计算向量之间的夹角，反余弦函数模型为：
Figure BDA0002038209220000053
步骤S3：将步骤S2中的夹角在阈值ρ的作用下二值化。其中，二值化模型为：
Figure BDA0002038209220000054
步骤S4：通过求解模型获取该中心向量对应的TMLBP描述子。求解模型为：
Figure BDA0002038209220000055
TMLBP描述子的空间结构示意图如图1所示。上述TMLBP描述子可以应用在多种视频序列分析的工作中，如视频动作识别、视频活动识别、视频异常行为检测等。
如图3所示，该实施例提出了一种异常行为图像检索法，采用上述获取图像的局部二值模式特征描述子的方法，具体包括步骤C1～C6：
步骤C1：将视频帧的二维图像处理为一维向量时间序列。给定一个视频序列，如果视频图像是彩色的，则将视频图像转换为灰度图像。先定位异常行为在视频中的位置，如果检测全局异常行为，也就是判断每一帧是否存在异常，则将视频每一帧的二维图像拉平为一维向量；若为局部异常，则首先将视频帧划分为多个等大的矩形块，每个矩形块的大小根据视频中的异常行为目标进行设定，再将所述矩形块处理为一维时间向量序列；如果存在大小差异较大的异常行为目标，则可以将视频帧划分为不同尺度的矩形块，最后整合在不同尺度块下的检测结果。在将视频帧划分为局部矩形块之后，再将局部块拉平为一个向量。
步骤C2：对所述时间向量序列进行降维处理。由于视频帧的分辨率较高，拉平后的向量的维度较高。高维度的数据不仅导致计算和存储需求较大，也会导致过拟合的问题，因此需要进行降维处理。常用的降维方法有线性降维，如主成分分析(PCA)，和非线性降维，如流形学习中的局部线性嵌入等。本发明采用基于随机投影的降维方法，该方法简单快速，能够保留高维数据中的重要信息。
步骤C3：采用获取图像的局部二值模式特征描述子的方法，求解同一空间位置的中心向量对应的TMLBP描述子。
步骤C4：沿时间轴滑动时间窗口，重复步骤C3，直至获取该时间向量序列所有的中心向量对应的TMLBP描述子。
步骤C5：采用无监督的机器学习法训练基于所述TMLBP描述子的字典；本实施例中采用在线字典学习算法学习基于TMLBP描述的字典。在线字典学习是一种无监督的机器学习算法，能够学习数据序列中典型的模式。
步骤C6：采用在线稀疏重建算法，标记异常视频数据。在学习行为模型之后，采用在线稀疏重建算法计算测试数据的稀疏重建代价。将大于特定阈值的TMLBP描述子对应的视频数据标记为异常，结果如图图4(a)～(b)所示。通常采用视频中前一部分的数据用于训练行为模型，后一部分的数据用于检测异常行为，同时更新行为模型。
综上，在本发明实施例提供的获取图像的局部特征描述子的方法及异常行为图像检索法中，将滑动时间窗口内的每一帧视频序列的中心向量赋予一个TMLBP描述子，通过该局部TMLBP描述，反映时间窗口内的多变量时间序列相对于窗口中心时刻数据的变化。同时，TMLBP描述子可以提取多变量时间序列中重要的时间变化特征，对噪声、光照变化等干扰鲁棒，实现起来简单、快速、高效,适用于视频信号中的运动分析。
上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (3)

1.一种异常行为图像检索法，其特征在于，具体为：
步骤C1：将视频帧的二维图像处理为一维向量时间序列；
步骤C2：对所述时间向量序列进行降维处理；
步骤C3：采用获取图像的局部二值模式特征描述子的方法，求解同一空间位置的中心向量对应的TMLBP描述子；
步骤C4：沿时间轴滑动时间窗口，重复步骤C3，直至获取该时间向量序列所有的中心向量对应的TMLBP描述子；
步骤C5：采用无监督的机器学习法训练基于所述TMLBP描述子的字典；
步骤C6：采用在线稀疏重建算法，标记异常视频数据；
所述获取图像的局部特征描述子的方法，包括以下步骤：
步骤S1：将同一空间位置的时间向量序列划分为奇数个向量的时间窗口；所述向量包括一中心向量和对称排列在中心向量两侧平面的一组相邻向量；所述一组相邻向量包括多个相邻向量；
步骤S2：通过反余弦函数模型计算中心向量和相邻向量之间的夹角；
步骤S3：将步骤S2中的夹角在阈值作用下二值化；
步骤S4：通过求解模型获取该中心向量对应的TMLBP描述子；
在步骤S2中，所述反余弦函数模型为：
Figure QLYQS_1
在步骤S3中，二值化模型为：
Figure QLYQS_2
在步骤S4中，所述求解模型为：
Figure QLYQS_3
2.根据权利要求1所述的异常行为图像检索法，其特征在于，在步骤C1中，先定位异常行为在视频中的位置；若为局部异常，则首先将视频帧划分为多个矩形块，再将所述矩形块处理为一维时间向量序列。
3.根据权利要求1所述的异常行为图像检索法，其特征在于，在步骤C2中，采用随机投影的降维方法。
CN201910332778.5A 2019-04-24 2019-04-24 获取图像的局部特征描述子的方法及异常行为图像检索法 Active CN110197122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910332778.5A CN110197122B (zh) 2019-04-24 2019-04-24 获取图像的局部特征描述子的方法及异常行为图像检索法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910332778.5A CN110197122B (zh) 2019-04-24 2019-04-24 获取图像的局部特征描述子的方法及异常行为图像检索法

Publications (2)

Publication Number Publication Date
CN110197122A CN110197122A (zh) 2019-09-03
CN110197122B true CN110197122B (zh) 2023-06-30

Family

ID=67752051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910332778.5A Active CN110197122B (zh) 2019-04-24 2019-04-24 获取图像的局部特征描述子的方法及异常行为图像检索法

Country Status (1)

Country Link
CN (1) CN110197122B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8098938B1 (en) * 2008-03-17 2012-01-17 Google Inc. Systems and methods for descriptor vector computation
CN103577804A (zh) * 2013-10-21 2014-02-12 中国计量学院 基于sift流和隐条件随机场的人群异常行为识别方法
CN106228149A (zh) * 2016-08-04 2016-12-14 杭州电子科技大学 一种视频异常行为检测方法
CN107665325A (zh) * 2016-07-28 2018-02-06 上海交通大学 基于原子特征袋模型的视频异常事件检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8098938B1 (en) * 2008-03-17 2012-01-17 Google Inc. Systems and methods for descriptor vector computation
CN103577804A (zh) * 2013-10-21 2014-02-12 中国计量学院 基于sift流和隐条件随机场的人群异常行为识别方法
CN107665325A (zh) * 2016-07-28 2018-02-06 上海交通大学 基于原子特征袋模型的视频异常事件检测方法及系统
CN106228149A (zh) * 2016-08-04 2016-12-14 杭州电子科技大学 一种视频异常行为检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于余弦核函数的SIFT描述子改进算法;丁理想;何川;李书杰;;图学学报(03);全文 *

Also Published As

Publication number Publication date
CN110197122A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN109118473B (zh) 基于神经网络的角点检测方法、存储介质与图像处理系统
CN111368771A (zh) 一种基于图像处理的隧道火灾预警方法、装置、计算机设备以及计算机可读存储介质
CN107194317B (zh) 一种基于网格聚类分析的暴力行为检测方法
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN110335233B (zh) 基于图像处理技术的高速公路护栏板缺陷检测系统和方法
CN111383244B (zh) 一种目标检测跟踪方法
CN111968098A (zh) 一种带钢表面缺陷检测方法、装置和设备
CN112329656B (zh) 一种视频流中人体动作关键帧的特征提取方法
CN1564600A (zh) 动态场景下的运动物体检测方法
CN113780110A (zh) 一种图像序列中弱小目标实时检测方法及设备
CN109726660A (zh) 一种遥感图像船舶识别方法
CN111784624A (zh) 目标检测方法、装置、设备及计算机可读存储介质
CN112560538A (zh) 一种根据图像冗余信息快速定位受损qr码的方法
CN106446832B (zh) 一种基于视频的实时检测行人的方法
CN115797970B (zh) 基于YOLOv5模型的密集行人目标检测方法及系统
CN114065798A (zh) 基于机器识别的视觉识别方法及装置
CN110197122B (zh) 获取图像的局部特征描述子的方法及异常行为图像检索法
CN111402185B (zh) 一种图像检测方法及装置
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
CN113643290B (zh) 一种基于图像处理的吸管计数方法、装置及存储介质
CN115587966A (zh) 一种在光照不均匀条件下零件有无缺漏的检测方法及系统
CN115937095A (zh) 融合图像处理算法和深度学习的印刷缺陷检测方法及系统
CN112101058B (zh) 一种试卷条码自动识别方法及装置
CN111242121B (zh) 一种基于svm的对联智能分拣方法及存储介质
Hong et al. Saliency-based feature learning for no-reference image quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant