CN111400547B - 一种人机协作的视频异常检测方法 - Google Patents

一种人机协作的视频异常检测方法 Download PDF

Info

Publication number
CN111400547B
CN111400547B CN202010148420.XA CN202010148420A CN111400547B CN 111400547 B CN111400547 B CN 111400547B CN 202010148420 A CN202010148420 A CN 202010148420A CN 111400547 B CN111400547 B CN 111400547B
Authority
CN
China
Prior art keywords
video
abnormal
frame
normal
video frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010148420.XA
Other languages
English (en)
Other versions
CN111400547A (zh
Inventor
於志文
杨帆
李青洋
郭斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202010148420.XA priority Critical patent/CN111400547B/zh
Publication of CN111400547A publication Critical patent/CN111400547A/zh
Priority to PCT/CN2020/110579 priority patent/WO2021174771A1/zh
Priority to US17/727,728 priority patent/US11983919B2/en
Application granted granted Critical
Publication of CN111400547B publication Critical patent/CN111400547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7328—Query by example, e.g. a complete video frame or video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及一种人机协作的视频异常检测方法，利用视频帧和传统的图像光流描述符作为输入数据进行自编码器神经网络编码转换成隐层表示内容，再把隐层表示内容通过解码重构输出。使用正常样本对自编码器网络进行训练，在测试阶段，若输入是正常的样本，最后重构结果和输入样本保持高相似度；反之，若输入是非正常样本，最后重构误差对于输入样本偏差较大。根据重构误差，对测试的结果设定适当的阈值，小于阈值认为是正常，大于阈值的认为是异常。然后以一定概率请求反馈，人对发起反馈的视频帧进行判断，如果是正确检测直接输出，如果出现检测错误，则打上标记，正常标记为1，异常标记为0，然后把检测错误的样本返回到模型输入。

Description

一种人机协作的视频异常检测方法
技术领域
本发明属于视频异常检测技术领域，尤其是涉及人机协作的视频异常检测方法。
背景技术
随着信息技术和物联网技术的快速发展，越来越多的监控设备部署在城镇和道路上(例如：小区楼宇、商场、办公楼和街道以及高速公路区域等)。大量监控设施的部署为公共财产和人身安全提供了隐形保障，与此同时，也产生了大量的监控视频数据，如何在庞大的视频数据中快速高效的找到特定需求的视频是许多应用面临的需求。视频异常检测是计算机视觉中一个重要的分支，在理论研究和实际应用中都发挥了重要作用。目前主要有两种异常检测的类型，一种是基于早期传统的手工特征提取的描述符，按照特定的目标需求，用于对特定场景的异常进行检测，检测的性能和手工特征的提取的质量关系密切；另一种是2012年以后基于深度学习的方法，通过神经网络模型对视频帧学习到更丰富的以及人们无法估计一些隐藏特征，进而大幅提高了异常检测精度和速度。
在目前的视频异常检测方法中，虽然检测精确度在提升，但是训练检测模型需要大量的样本进行训练，各种模型的测试结果中都有相当规模的假警报。为了提高检测的准确度，就需要不断调整训练模型，耗时耗力，在一些实时性要求较高的任务中，不能很好的满足需求。此外，现有的视频异常检测方法都是依据数据分布、模型参数、样本选择等方面去研究，对于某些人很轻松就可以识别的对象，设计的模型则需要不断迭代，优化模型，从而才能提升检测(识别)效果。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，提升检测精度，本发明提出一种人机协作的视频异常检测方法。
技术方案
一种人机协作的视频异常检测方法，其特征在于步骤如下：
步骤1：对于要检测的视频序列，分析其视频参数：视频的长度、视频的场景、异常视频的起止范围，约定异常的视频；对视频进行分帧操作，分割成一定长度的视频序列；
步骤2：将步骤1分割好的视频序列划分为训练集和测试集，其中训练集不包括任何异常的视频序列，测试集包含正常和异常视频序列；
步骤3：利用自编码器模型对训练集数据进行训练，在一定的时间窗口内调整模型参数，让输入到网络的视频帧和光流数据进行分块，然后经过编码器的卷积、池化，以及解码器的反卷积、池化操作；使用式(1)所示的带有L2正则化的欧几里德损失作为在时间维度多个视频帧构成的长方体的目标函数，它表示视频序列中N块重构之后的视频块frec(Xi)和输入的视频块Xi所做的欧式距离，其中γ表示前后两个加和项的调节因子，W是自编码器神经网络学习到的权重；优化目标函数，从而得到训练模型；
Figure BDA0002401580060000021
步骤4：计算帧t中每一个像素值I在位置(x,y)处的总计误差值
Figure BDA0002401580060000022
每一个像素在(x,y)位置的重构误差用公式(2)表示：
Figure BDA0002401580060000023
其中，I(x,y,t)表示每一帧t中一个像素值I在位置(x，y)位置的值，fW(I(x,y,t)表示重构之后的像素值；
计算每一帧的异常分数，用于是否为异常的判断依据：
Figure BDA0002401580060000024
其中，minte(t)和maxte(t)表示在视频中得分最小和得分最大的视频帧对应的总计误差值；根据整体的检测结果和正常以及异常的比例，设定阈值，小于阈值为正常视频帧，大于阈值为异常视频帧；对于检测的结果以一定概率发起反馈，让人进行判断是否是真实的正常或真实异常，如果是检测正常的视频帧直接输出，如果是检测错误的视频帧，人进行标注；
步骤5：对于步骤4中检测错误的视频帧，进行收集，存放到一个缓冲区，等到收集的视频帧达到一定数量后，把收集到的视频帧送入自编码器模型，模型参数做出适度调整，从而在后续的测试中，提升对类似视频帧的检测准确率。
所述的步骤2中的训练集和测试集的比例为4∶6。
所述的步骤3中的分块为15*15像素、18*18像素或20*20像素三种尺寸。
所述的步骤4中的一定概率为0.1。
有益效果
本发明是对常规的视频异常检测加入了人的反馈，对于发起反馈的视频帧，进行专家确认，尤其是对于大于设定阈值的视频帧的判断，在视频中，异常目标物体存在较大遮挡时，专家可以确认，利用人的认知优势，对算法检测的结果进行修改和标注，对于假警报(本来是正常的，却被算法判别为异常)和漏检(本来是异常，却没有被检测出来)，可以做修正，最终实验结果提高了检测精度，而不需要更新检测模型，有实际的应用价值。
在当下每天都有大量的图片和视频数据产生的时代，如果能够融合人的认知、分析、推理能力，对异常视频做一定量的标注，结合机器学习的算法，实现高效快捷的检测效果。本发明提供了一种融合人反馈的视频异常检测方法。该方法将人(具有领域专业知识)对异常的自然认知与机器学习模型的处理结果进行一定的融合。对于测试的结果设定一个阈值，以一定比例发出反馈请求，对于检测正确的进行人的确认，直接输出结果；对于检测错误的进行标注，然后返回模型的输入部分，对带标记的数据进行处理。在这个处理模型中，对于以往的异常视频检测算法提供了一种新颖的方式，融合了人的认知分析优势和神经网络的快速处理优势，提升了检测的准确性。
附图说明
图1是本发明一种人机协作的视频异常检测方法流程图
图2为视频中有无异常的结果图
具体实施方式
现结合实施例、附图对本发明作进一步描述：
本发明提出了一种人机协作的视频异常检测方法。利用视频帧和传统的图像光流描述符作为输入数据进行自编码器神经网络编码转换成隐层表示内容，再把隐层表示内容通过解码重构输出。使用正常样本对自编码器网络进行训练，在测试阶段，若输入是正常的样本，最后重构结果和输入样本保持高相似度；反之，若输入是非正常样本，最后重构误差对于输入样本偏差较大。根据重构误差，对测试的结果设定适当的阈值，小于阈值认为是正常，大于阈值的认为是异常。然后以一定概率请求反馈，人对发起反馈的视频帧进行判断，如果是正确检测直接输出，如果出现检测错误，则打上标记，正常标记为1，异常标记为0，然后把检测错误的样本返回到模型输入。通过收集一定数量的错误检测视频帧，送入神经网络，进行模型更新，进而在后续的测试中，可以检测出部分类似的异常为真实异常。同时，对于异常视频，可以根据视频异常的起止范围，更加有针对性的进行检测，加快检测的速度，在公共安全与社会治安管理等应用场景中有很强的现实意义。
如图1所示，包括以下步骤：
步骤1：对于要检测的视频序列，分析其视频参数，为待检测视频处理做准备，对要处理的视频有基本的信息了解，更有针对性的去处理。，观察记录包括视频的长度，视频的场景，异常视频的起止范围，确定视频的异常(在我们实验的数据集中是：小汽车、玩滑板的人、骑自行车的人、轮椅、跑动的人，扔东西的人)，从而对待检测的视频有更清晰的认知。做一些预处理，对视频进行分帧操作，分割成一定长度的视频序列(如200帧为一个序列)。
步骤2：根据步骤1分割好的视频序列，划分训练集和测试集的比例，通常为4:6，其中训练集不包括任何异常的视频序列，测试集包含正常和异常视频序列。
步骤3：利用自编码器模型对训练集数据进行训练，在一定的时间窗口内(N＝10帧或N＝20帧)调整模型参数，让输入到网络的视频帧和光流数据进行分块，15*15像素、18*18像素、20*20像素三种尺寸，然后经过编码器的卷积、池化，以及解码器的反卷积、池化操作。我们使用带有L2正则化的欧几里德损失作为在时间维度多个视频帧构成的长方体的目标函数，如(1)式所示，它表示视频序列中N块重构之后的视频块frec(Xi)和输入的视频块Xi所做的欧式距离，其中γ表示前后两个加和项的调节因子，W是自编码器神经网络学习到的权重。优化目标函数，从而得到训练模型。
Figure BDA0002401580060000051
步骤4：当模型训练好之后，我们计算帧t中每一个像素值I在位置(x,y)处的总计误差值
Figure BDA0002401580060000052
每一个像素在(x,y)位置的重构误差用公式(2)表示，进而计算每一帧的异常分数，用于是否为异常的判断依据。
Figure BDA0002401580060000053
/>
其中，I(x,y,t)表示每一帧t中一个像素值I在位置(x，y)位置的值，fW(I(x,y,t)表示重构之后的像素值。对每一帧得出异常分数，表示为公式(3)式
Figure BDA0002401580060000054
其中，minte(t)和maxte(t)表示在视频序列中得分最小和得分最大的视频帧对应的总计误差值。根据整体的检测结果和正常以及异常的比例，设定阈值，小于阈值为正常视频帧，大于阈值为异常视频帧；对于检测的结果以一定概率(0.1)发起反馈，让人(专家)进行判断是否是真实的正常或真实异常，如果是检测正常的视频帧直接输出，如果是检测错误的视频帧，人进行标注；对于由规则事件组成的视频序列具有更好的规则(正常)得分，因为它们在特征空间更接近训练集里的正常训练数据。反之，异常序列具有较低的正常得分，因此它可以用来定位异常。
步骤5：对于步骤4中检测错误的视频帧，进行收集，存放到一个缓冲区，等到收集的视频帧达到一定数量后，把收集到的视频帧送入自编码器模型，模型参数做出适度调整，从而在后续的测试中，提升对类似视频帧的检测准确率。

Claims (4)

1.一种人机协作的视频异常检测方法，其特征在于步骤如下：
步骤1：对于要检测的视频序列，分析其视频参数：视频的长度、视频的场景、异常视频的起止范围，约定异常的视频；对视频进行分帧操作，分割成一定长度的视频序列；
步骤2：将步骤1分割好的视频序列划分为训练集和测试集，其中训练集不包括任何异常的视频序列，测试集包含正常和异常视频序列；
步骤3：利用自编码器模型对训练集数据进行训练，在一定的时间窗口内调整模型参数，让输入到网络的视频帧和光流数据进行分块，然后经过编码器的卷积、池化，以及解码器的反卷积、池化操作；使用式(1)所示的带有L2正则化的欧几里德损失作为在时间维度多个视频帧构成的长方体的目标函数，它表示视频序列中N块重构之后的视频块frec(Xi)和输入的视频块Xi所做的欧式距离，其中γ表示前后两个加和项的调节因子，W是自编码器神经网络学习到的权重；优化目标函数，从而得到训练模型；
Figure FDA0002401580050000011
步骤4：计算帧t中每一个像素值I在位置(x,y)处的总计误差值
Figure FDA0002401580050000012
每一个像素在(x,y)位置的重构误差用公式(2)表示：
Figure FDA0002401580050000013
其中，I(x,y,t)表示每一帧t中一个像素值I在位置(x，y)位置的值，fW(I(x,y,t)表示重构之后的像素值；
计算每一帧的异常分数，用于是否为异常的判断依据：
Figure FDA0002401580050000014
其中，minte(t)和maxte(t)表示在视频中得分最小和得分最大的视频帧对应的总计误差值；根据整体的检测结果和正常以及异常的比例，设定阈值，小于阈值为正常视频帧，大于阈值为异常视频帧；对于检测的结果以一定概率发起反馈，让人进行判断是否是真实的正常或真实异常，如果是检测正常的视频帧直接输出，如果是检测错误的视频帧，人进行标注；
步骤5：对于步骤4中检测错误的视频帧，进行收集，存放到一个缓冲区，等到收集的视频帧达到一定数量后，把收集到的视频帧送入自编码器模型，模型参数做出适度调整，从而在后续的测试中，提升对类似视频帧的检测准确率。
2.根据权利要求1所述的一种人机协作的视频异常检测方法，其特征在于所述的步骤2中的训练集和测试集的比例为4:6。
3.根据权利要求1所述的一种人机协作的视频异常检测方法，其特征在于所述的步骤3中的分块为15*15像素、18*18像素或20*20像素三种尺寸。
4.根据权利要求1所述的一种人机协作的视频异常检测方法，其特征在于所述的步骤4中的一定概率为0.1。
CN202010148420.XA 2020-03-05 2020-03-05 一种人机协作的视频异常检测方法 Active CN111400547B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010148420.XA CN111400547B (zh) 2020-03-05 2020-03-05 一种人机协作的视频异常检测方法
PCT/CN2020/110579 WO2021174771A1 (zh) 2020-03-05 2020-08-21 一种人机协作的视频异常检测方法
US17/727,728 US11983919B2 (en) 2020-03-05 2022-04-23 Video anomaly detection method based on human-machine cooperation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010148420.XA CN111400547B (zh) 2020-03-05 2020-03-05 一种人机协作的视频异常检测方法

Publications (2)

Publication Number Publication Date
CN111400547A CN111400547A (zh) 2020-07-10
CN111400547B true CN111400547B (zh) 2023-03-24

Family

ID=71428571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010148420.XA Active CN111400547B (zh) 2020-03-05 2020-03-05 一种人机协作的视频异常检测方法

Country Status (2)

Country Link
CN (1) CN111400547B (zh)
WO (1) WO2021174771A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400547B (zh) * 2020-03-05 2023-03-24 西北工业大学 一种人机协作的视频异常检测方法
CN113033424B (zh) * 2021-03-29 2021-09-28 广东众聚人工智能科技有限公司 一种基于多分支视频异常检测方法和系统
CN113240022A (zh) * 2021-05-19 2021-08-10 燕山大学 多尺度单分类卷积网络的风电齿轮箱故障检测方法
CN113473124B (zh) * 2021-05-28 2024-02-06 北京达佳互联信息技术有限公司 信息获取方法、装置、电子设备及存储介质
CN114067251B (zh) * 2021-11-18 2023-09-15 西安交通大学 一种无监督监控视频预测帧异常检测方法
CN114092478B (zh) * 2022-01-21 2022-04-29 合肥中科类脑智能技术有限公司 一种异常检测方法
CN114842371B (zh) * 2022-03-30 2024-02-27 西北工业大学 一种无监督视频异常检测方法
CN114743153B (zh) * 2022-06-10 2022-09-30 北京航空航天大学杭州创新研究院 基于视频理解的无感取菜模型建立、取菜方法及装置
CN115082870A (zh) * 2022-07-18 2022-09-20 松立控股集团股份有限公司 一种停车场异常事件检测方法
CN115484456B (zh) * 2022-09-15 2024-05-07 重庆邮电大学 一种基于语义聚类的视频异常预测方法及装置
CN117474925B (zh) * 2023-12-28 2024-03-15 山东润通齿轮集团有限公司 一种基于机器视觉的齿轮点蚀检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830882A (zh) * 2018-05-25 2018-11-16 中国科学技术大学 视频异常行为实时检测方法
CN109359519A (zh) * 2018-09-04 2019-02-19 杭州电子科技大学 一种基于深度学习的视频异常行为检测方法
CN109615019A (zh) * 2018-12-25 2019-04-12 吉林大学 基于时空自动编码器的异常行为检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559420B (zh) * 2013-11-20 2016-09-28 苏州大学 一种异常检测训练集的构建方法及装置
AU2017285130B2 (en) * 2016-06-13 2022-04-21 Xevo Inc. Method and system for providing auto space management using virtuous cycle
CN108509827B (zh) * 2017-02-27 2022-07-08 阿里巴巴集团控股有限公司 视频流中异常内容的识别方法及视频流处理系统和方法
US10970823B2 (en) * 2018-07-06 2021-04-06 Mitsubishi Electric Research Laboratories, Inc. System and method for detecting motion anomalies in video
CN110177108B (zh) * 2019-06-02 2022-03-29 四川虹微技术有限公司 一种异常行为检测方法、装置及验证系统
CN111400547B (zh) * 2020-03-05 2023-03-24 西北工业大学 一种人机协作的视频异常检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830882A (zh) * 2018-05-25 2018-11-16 中国科学技术大学 视频异常行为实时检测方法
CN109359519A (zh) * 2018-09-04 2019-02-19 杭州电子科技大学 一种基于深度学习的视频异常行为检测方法
CN109615019A (zh) * 2018-12-25 2019-04-12 吉林大学 基于时空自动编码器的异常行为检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于AlexNet的视频异常检测技术;雷丽莹等;《杭州电子科技大学学报(自然科学版)》;20181115(第06期);全文 *
视频监控中的人群异常行为检测与定位;周培培等;《光学学报》;20180627(第08期);全文 *

Also Published As

Publication number Publication date
US20220245945A1 (en) 2022-08-04
CN111400547A (zh) 2020-07-10
WO2021174771A1 (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN111400547B (zh) 一种人机协作的视频异常检测方法
CN112016500B (zh) 基于多尺度时间信息融合的群体异常行为识别方法及系统
CN109919977B (zh) 一种基于时间特征的视频运动人物跟踪与身份识别方法
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
CN111061915B (zh) 视频人物关系识别方法
CN109033476B (zh) 一种基于事件线索网络的智能时空数据事件分析方法
CN112488013A (zh) 基于时序不一致性的深度伪造视频检测方法及系统
CN111524164B (zh) 一种目标跟踪方法、装置及电子设备
CN113313037A (zh) 一种基于自注意力机制的生成对抗网络视频异常检测方法
CN110659572B (zh) 基于双向特征金字塔的视频动作检测方法
Do Attention in crowd counting using the transformer and density map to improve counting result
CN117218382A (zh) 一种无人系统大跨度穿梭多摄像头轨迹跟踪识别方法
CN115546689A (zh) 基于无监督下帧相关性的视频时间序列的异常帧探测方法
CN116310988A (zh) 一种基于级联注意力机制的弱监督时序动作检测方法
CN115578691A (zh) 一种基于场景目标的视频异常检测方法、系统及设备
CN114937248A (zh) 用于跨相机的车辆跟踪方法、装置、电子设备、存储介质
CN115083229A (zh) 基于ai视觉识别的飞行训练设备智能识别与警示系统
US11983919B2 (en) Video anomaly detection method based on human-machine cooperation
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法
CN114140879A (zh) 基于多头级联注意网络与时间卷积网络的行为识别方法及装置
CN113139496A (zh) 一种基于时序多尺度融合的行人重识别方法及系统
WO2019003217A1 (en) SYSTEM AND METHOD FOR USE IN CLASSIFICATION OF OBJECTS
US11954917B2 (en) Method of segmenting abnormal robust for complex autonomous driving scenes and system thereof
CN116977969B (zh) 基于卷积神经网络的驾驶员两点预瞄识别方法
CN116597352A (zh) 一种基于因果时间关系模块的视频异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant