CN115484456A - 一种基于语义聚类的视频异常预测方法及装置 - Google Patents

一种基于语义聚类的视频异常预测方法及装置 Download PDF

Info

Publication number
CN115484456A
CN115484456A CN202211121615.0A CN202211121615A CN115484456A CN 115484456 A CN115484456 A CN 115484456A CN 202211121615 A CN202211121615 A CN 202211121615A CN 115484456 A CN115484456 A CN 115484456A
Authority
CN
China
Prior art keywords
semantic
video
encoder
frame
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211121615.0A
Other languages
English (en)
Other versions
CN115484456B (zh
Inventor
高新波
谭明圮
冷佳旭
莫梦竟成
甘吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202211121615.0A priority Critical patent/CN115484456B/zh
Publication of CN115484456A publication Critical patent/CN115484456A/zh
Application granted granted Critical
Publication of CN115484456B publication Critical patent/CN115484456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明属于视频异常检测，具体涉及一种基于语义聚类的视频异常预测方法及装置，所述方法包括将不存在异常的视频，即正常视频序列输入位移通道可选择编码器进行语义特征提取，将提取的语义放入语义池进行储存；在处理实时数据时，将实时视频序列输入位移通道可选择编码器得到其对应的未来视频帧的语义特征，判断提取的语义特征与语义池中所有正常语义特征的相似度，若最大相似度大于设定阈值则该输入视频序列的未来帧正常，否则异常；本发明可以实现对还未发生的异常进行预测，且本发明通过有选择性的通道位移，让编码器提取时间信息的同时，更加关注运动变化较大的区域，并且减少对背景信息的关注。

Description

一种基于语义聚类的视频异常预测方法及装置
技术领域
本发明属于视频异常检测，具体涉及一种基于语义聚类的视频异常预测方法及装置。
背景技术
视频异常检测(VAD)是视频监控中一项特别重要的任务，旨在通过利用当前场景的客观规律或正常/异常数据的差异性来检测异常行为或对象。目前，许多无监督方法在视频异常检测任务中取得了巨大成功。根据输入序列是否包含当前帧，此类方法大致可分为两类：基于重建的方法和基于预测的方法。基于重构的方法通常由深度自动编码器实现，它由一个用于提取特征的编码器和一个用于重构当前帧的解码器构成。利用异常帧的不可预测特性，提出了基于预测的方法，它首先使用之前的视频帧预测当前帧，然后计算预测误差来量化当前帧的异常程度。基于重构的方法和基于预测的方法在训练阶段都只有正常数据没有异常数据，因此当当前帧在测试阶段出现异常时，它们可能导致更高的重构或预测误差。此外，现有一些算法通过结合重构和预测的思想，从而实现既有重构又有预测的混合框架实现视频异常检测。
尽管视频异常检测任务取得了重大进展，但现有方法只能检测当前帧中发生的异常，无法判断还未发生的未来帧中是否存在异常，从而难以实现视频异常预测。
发明内容
为了实现对未来异常数据的预测，本发明提出一种基于语义聚类的视频异常预测方法，具体包括以下步骤：
将不存在异常的视频，即正常视频序列输入位移通道可选择编码器进行语义特征提取，将提取的语义放入语义池进行储存；
在处理实时数据时，将实时视频序列输入位移通道可选择编码器得到其对应的未来视频帧的语义特征，判断提取的语义特征与语义池中所有正常语义特征的相似度，若最大相似度大于设定阈值则该输入视频序列的未来帧正常，否则异常。进一步的，对位移通道可选择编码器进行训练时，将输入视频序列的语义特征通过解码器进行解码得到其未来帧的预测帧，通过预测损失计算该预测帧与真实帧的预测误差；利用一个预训练语义编码器提取所述真实帧的语义特征，并通过语义相似度损失计算该语义特征与位移通道可选择编码器提取的语义特征的相似度，通过预测损失和语义相似度损失对位移通道可选择编码器的参数进行更新，引导位移通道可选择编码器获得未来帧的语义特征。
进一步的，位移通道可选择编码器包括多层级联的特征图处理结构，将最后一层的输出作为编码器的输出，在其中一层特征图处理结构中对输入该层的特征图的处理过程包括：
判断当前输入的特征图第一个时间维度和最后一个时间维度中每个通道的余弦相似度，筛选出相似度小于设置阈值的通道；优选的，本发明中所述的相似度小于设置的阈值可以是一个具体的值，也可以是百分比，例如选择所有通道中相似度最低的10％作为需要移动的通道；
对选择的通道进行位移，即将选择的通道沿时间维度向前进行步长为1的移动，位移后空缺的位置填充0；
位移后的特征图进行3×3卷积后与该层进行1×1卷积后的输入特征进行相加，作为下一层输入的特征图。
进一步的，语义相似度损失包括：
Lss＝||fse1-fse2+α||；
其中，Lss为语义相似度损失；fse1和fse2分别表示预测帧和真实帧语义特征，α是一个平衡参数。
本发明还提出一种基于语义聚类的视频异常预测装置，用于实现一种基于语义聚类的视频异常预测方法，包括完成训练的位移通道可选择编码器、语义池以及异常判断模块，其中：
完成训练的位移通道可选择编码器用于从待检测的视频帧中提取其未来帧的语义特征；
语义池为从正常的视频序列的未来帧的语义特征；
异常判断模块用于将完成训练的位移通道可选择编码器提取的待检测数据的未来帧的语义特征与语义池中的正常语义特征进行比较，若最大相似度大于设定阈值，则视频正常，否则视频异常。
与现有技术对已经发生的异常进行检测相比，本发明可以实现对还未发生的异常进行预测，且本发明通过有选择性的通道位移，让编码器提取时间信息的同时，更加关注运动变化较大的区域，并且减少对背景信息的关注。
附图说明
图1为本发明一种基于语义聚类的视频异常预测方法框架示意图；
图2为本发明一种基于语义聚类的视频异常预测方法流程图；
图3为本发明视频异常预测基本流程图；
图4为本发明中位移通道可选择的编码器中通道位移示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种基于语义聚类的视频异常预测方法，具体包括以下步骤：
将不存在异常的视频，即正常视频序列输入位移通道可选择编码器进行语义特征提取，将提取的语义放入语义池进行储存；
在处理实时数据时，将实时视频序列输入位移通道可选择编码器得到其对应的未来视频帧的语义特征，判断提取的语义特征与语义池中所有正常语义特征的相似度，若最大相似度大于设定阈值则该输入视频序列的未来帧正常，否则异常。
从人类的认知来看，人类有相应的记忆来判断未来的行为是否符合当前场景的正常性，从而可以根据当前帧预测异常。并且宋等人在《科学》期刊上发表的《Limits ofpredictability in human mobility》发现93％人类行为具有潜在可预测性。由于人类具有相应的记忆来判断未来的行为是否符合当前场景的一般规律，本申请考虑将过去的正常语义模式作为测试时的监督信息替代真实的视频帧，从而实现对未来异常数据的预测。
目前的视频异常检测框架在测试阶段需要通过真实的目标帧得到异常得分进行目标帧的异常判断，因此现有的框架不能实现对还未发生的目标帧进行异常判断。在本实施例中，通过在训练阶段得到包含正常语义模式的语义池，在测试阶段时判断未来帧的语义模式是否属于该语义池中，如果属于，则代未来帧正常，如果不属于，则表示其异常。
对于视频任务而言，需要对时间信息和空间信息进行学习，本实施例中采用位移通道可选择的编码器在输入序列的时间维度上进行通道移动实现时序建模，从而对时间信息进行学习。此外，考虑到视频异常预测任务中运动变化较大的行为往往更容易是异常行为这一特点，当进行通道位移时，选择在时间维度上变化较大的通道进行移动，从而让模型更加关注运动变化较大的区域，并且减少对没有变化的背景信息的关注。选择输入视频序列的其中两帧，作为一种优选的实施方式，本实施例中选择输入视频序列的第一帧和最后一帧这两帧，计算其对应通道的相似度(相似度越小意味着在这个通道上变化越大)，然后选择相似度最小的一部分通道进行移动。
本实施例以下根据附图对本申请方案进行进一步说明。如图1所示，本实施例的方案主要包括训练模块和测试模块，训练模块的作用是根据历史数据对位移通道可选择编码器进行训练以及选出语义池的样本，在训练模块采用的样本均为可信样本,即无异常的数据，这些数据根据位移通道可选择编码进行编码后输出的特征作为语义池中的样本。
在训练模块进行训练时，将输入视频序列的下一帧作为未来帧，位移通道可选择编码器对输入视频序列进行语义特征提取，并通过预测损失和语义相似度损失引导编码器获得未来帧的语义特征，并将其用于构建语义池，如图2，在进行训练的过程中，将位移通道可选择编码和一个解码器构成视频帧预测网络，将输入序列作为该网络的输入，该网络输出一个预测帧，将该预测帧的特征与真实帧的特征进行比较，通过语义损失函数对网络进行反向传播，采用的语义损失函数表示为：
Lss＝||fse1-fse2+α||；
其中，Lss为语义相似度损失；fse1和fse2分别表示预测帧和真实帧语义特征，在本发明中，预测帧的语义特征是通过位移通道可选择编码器输出语义特征，而真实帧是通过一个预训练编码器提取的特征；α是一个平衡参数。
完成对位移通道可选择编码的训练之后，利用该编码器提取无异常的视频的特征，将这些特征作为语义池。
测试模块，也是检测视频异常的模块，如图3，将待检测的视频序列输入该模块，在该模块中利用进行训练模块训练的位移通道可选择编码器提取待检测视频序列的特征，将提取出来的特征与训练模块提取得到的语义池中的特征进行比较，若待检测数据与语义池中特征中相似度最大的特征之间的相似度大于设定阈值，则待检测视频序列无异常，否则待检测视频序列异常。
在本实施例中，还对维度通道可选择编码器进行介绍，该编码器包括级联的多层结构，在该编码器中，前一层输出的特征图作为后一层输入的特征图，第一层输入的特征图为视频帧序列，最后一层输出的特征图作为编码器的输出，即视频帧序列的特征，如图4，若第i+1层的输入为第i层输出的特征图，特征图可以表示为[T*C,W,H]，其中T表示时间维度，即输入的视频帧序列中视频帧的个数，C表示通道维度，即卷积特征提取后的特征的通道数，W表示输入视频帧序列的宽，H表示输入视频帧序列的高；将输入的视频帧序列在时间维度上拆开，计算视频帧序列中第一帧和最后一帧之间相似度，本实施例中选择余弦距离计算相似度，也可以采用其他距离或者相似度的计算公式计算两个帧中其他维度之间的相似性，将筛选出相似度最低的TOPK个通道，K的数量在本实施例中为总通道数的1/8，对选择的通道进行位移，即将选择的通道沿时间维度向前进行步长为1的移动，位移后空缺的位置填充0；将位移之后的特征图进行3×3的卷积后与第i层的输出特征图经过3×3的卷积后相加作为第i+1层输出的特征图。
本实施例还提出一种基于语义聚类的视频异常预测装置，用于实现一种基于语义聚类的视频异常预测方法，包括完成训练的位移通道可选择编码器、语义池以及异常判断模块，其中：
完成训练的位移通道可选择编码器用于从待检测的视频帧中提取其未来帧的语义特征；
语义池为从正常的视频序列的未来帧的语义特征；
异常判断模块用于将完成训练的位移通道可选择编码器提取的待检测数据的未来帧的语义特征与语义池中的正常语义特征进行比较，若最大相似度大于设定阈值，则视频正常，否则视频异常。
本实施例中，对位移通道可选择编码器进行训练时，将输入视频序列的语义特征通过解码器进行解码得到其未来帧的预测帧，通过预测损失计算该预测帧与真实帧的预测误差；利用一个预训练语义编码器提取所述真实帧的语义特征，并通过语义相似度损失计算该语义特征与位移通道可选择编码器提取的语义特征的相似度，通过预测损失和语义相似度损失对位移通道可选择编码器的参数进行更新，引导位移通道可选择编码器获得未来帧的语义特征。
进一步的，位移通道可选择编码器包括多层级联的特征图处理结构，将最后一层的输出作为编码器的输出，在其中一层特征图处理结构中对输入该层的特征图的处理过程包括：
判断当前输入的特征图第一个时间维度和最后一个时间维度中每个通道的余弦相似度，筛选出相似度小于设置阈值的通道；
对选择的通道进行位移，即将选择的通道沿时间维度向前进行步长为1的移动，位移后空缺的位置填充0；
位移后的特征图进行3×3卷积后与该层进行1×1卷积后的输入特征进行相加，作为下一层输入的特征图。
本实施例还提出一种计算机设备，包括存储器和处理器，存储器用于存储计算机程序，处理器运行存储器中的计算机程序实现一种基于语义聚类的视频异常预测方法。
本实施例还提出一种计算机程序，用于实现权利要求1所述的一种基于语义聚类的视频异常预测方法。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于语义聚类的视频异常预测方法，其特征在于，具体包括以下步骤：
将不存在异常的视频，即正常视频序列输入位移通道可选择编码器进行语义特征提取，将提取的语义放入语义池进行储存；
在处理实时数据时，将实时视频序列输入位移通道可选择编码器得到其对应的未来视频帧的语义特征，判断提取的语义特征与语义池中所有正常语义特征的相似度，若最大相似度大于设定阈值则该输入视频序列的未来帧正常，否则异常。
2.根据权利要求1所述的一种基于语义聚类的视频异常预测方法，其特征在于，对位移通道可选择编码器进行训练时，将输入视频序列的语义特征通过解码器进行解码得到其未来帧的预测帧，通过预测损失计算该预测帧与真实帧的预测误差；利用一个预训练语义编码器提取所述真实帧的语义特征，并通过语义相似度损失计算该语义特征与位移通道可选择编码器提取的语义特征的相似度，通过预测损失和语义相似度损失对位移通道可选择编码器的参数进行更新，引导位移通道可选择编码器获得未来帧的语义特征。
3.根据权利要求2所述的一种基于语义聚类的视频异常预测方法，其特征在于，位移通道可选择编码器包括多层级联的特征图处理结构，将最后一层的输出作为编码器的输出，在其中一层特征图处理结构中对输入该层的特征图的处理过程包括：
判断当前输入的特征图第一个时间维度和最后一个时间维度中每个通道的余弦相似度，筛选出相似度小于设置阈值的通道；
对选择的通道进行位移，即将选择的通道沿时间维度向前进行步长为1的移动，位移后空缺的位置填充0；
位移后的特征图进行3×3卷积后与该层进行1×1卷积后的输入特征进行相加，作为下一层输入的特征图。
4.根据权利要求2所述的一种基于语义聚类的视频异常预测方法，其特征在于，语义相似度损失包括：
Lss＝||fse1-fse2+α||；
其中，Lss为语义相似度损失；fse1和fse2分别表示预测帧和真实帧语义特征，α是一个平衡参数。
5.一种基于语义聚类的视频异常预测装置，用于实现权利要求1所述的一种基于语义聚类的视频异常预测方法，包括完成训练的位移通道可选择编码器、语义池以及异常判断模块，其中：
完成训练的位移通道可选择编码器用于从待检测的视频帧中提取其未来帧的语义特征；
语义池为从正常的视频序列的未来帧的语义特征；
异常判断模块用于将完成训练的位移通道可选择编码器提取的待检测数据的未来帧的语义特征与语义池中的正常语义特征进行比较，若最大相似度大于设定阈值，则视频正常，否则视频异常。
6.根据权利要求5所述的一种基于语义聚类的视频异常预测装置，其特征在于，对位移通道可选择编码器进行训练时，将输入视频序列的语义特征通过解码器进行解码得到其未来帧的预测帧，通过预测损失计算该预测帧与真实帧的预测误差；利用一个预训练语义编码器提取所述真实帧的语义特征，并通过语义相似度损失计算该语义特征与位移通道可选择编码器提取的语义特征的相似度，通过预测损失和语义相似度损失对位移通道可选择编码器的参数进行更新，引导位移通道可选择编码器获得未来帧的语义特征。
7.根据权利要求6所述的一种基于语义聚类的视频异常预测装置，其特征在于，位移通道可选择编码器包括多层级联的特征图处理结构，将最后一层的输出作为编码器的输出，在其中一层特征图处理结构中对输入该层的特征图的处理过程包括：
判断当前输入的特征图第一个时间维度和最后一个时间维度中每个通道的余弦相似度，筛选出相似度小于设置阈值的通道；
对选择的通道进行位移，即将选择的通道沿时间维度向前进行步长为1的移动，位移后空缺的位置填充0；
位移后的特征图进行3×3卷积后与该层进行1×1卷积后的输入特征进行相加，作为下一层输入的特征图。
8.根据权利要求6所述的一种基于语义聚类的视频异常预测装置，其特征在于，语义相似度损失包括：
Lss＝||fse1-fse2+α||；
其中，Lss为语义相似度损失；fse1和fse2分别表示预测帧和真实帧语义特征，α是一个平衡参数。
9.一种计算机设备，其特征在于，包括存储器和处理器，存储器用于存储计算机程序，处理器运行存储器中的计算机程序实现权利要求1所述的一种基于语义聚类的视频异常预测方法。
10.一种计算机程序，其特征在于，用于实现权利要求1所述的一种基于语义聚类的视频异常预测方法。
CN202211121615.0A 2022-09-15 2022-09-15 一种基于语义聚类的视频异常预测方法及装置 Active CN115484456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211121615.0A CN115484456B (zh) 2022-09-15 2022-09-15 一种基于语义聚类的视频异常预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211121615.0A CN115484456B (zh) 2022-09-15 2022-09-15 一种基于语义聚类的视频异常预测方法及装置

Publications (2)

Publication Number Publication Date
CN115484456A true CN115484456A (zh) 2022-12-16
CN115484456B CN115484456B (zh) 2024-05-07

Family

ID=84424091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211121615.0A Active CN115484456B (zh) 2022-09-15 2022-09-15 一种基于语义聚类的视频异常预测方法及装置

Country Status (1)

Country Link
CN (1) CN115484456B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332699A (zh) * 2021-12-24 2022-04-12 中国电信股份有限公司 路况预测方法、装置、设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090022472A1 (en) * 2007-07-16 2009-01-22 Novafora, Inc. Method and Apparatus for Video Digest Generation
US20100061624A1 (en) * 2008-09-11 2010-03-11 Wesley Kenneth Cobb Detecting anomalous events using a long-term memory in a video analysis system
WO2013150419A1 (en) * 2012-04-02 2013-10-10 Koninklijke Philips N.V. Quality-check during medical imaging procedure
CN210072642U (zh) * 2019-06-20 2020-02-14 马国祥 基于视频监控的人群异常行为检测系统
CN111507333A (zh) * 2020-04-21 2020-08-07 腾讯科技（深圳）有限公司 一种图像矫正方法、装置、电子设备和存储介质
WO2021174771A1 (zh) * 2020-03-05 2021-09-10 西北工业大学 一种人机协作的视频异常检测方法
CN113515968A (zh) * 2020-04-09 2021-10-19 华为技术有限公司 街道的异常事件检测方法、装置、设备及介质
CN114332699A (zh) * 2021-12-24 2022-04-12 中国电信股份有限公司 路况预测方法、装置、设备及存储介质
CN114550098A (zh) * 2022-02-28 2022-05-27 山东大学 基于对比学习的考场监控视频异常行为检测方法及系统
CN114565803A (zh) * 2022-01-19 2022-05-31 中科云谷科技有限公司 用于提取难样本的方法、装置及机械设备
CN114782854A (zh) * 2021-12-13 2022-07-22 重庆邮电大学 一种基于视角转换和记忆引导的视频异常检测方法
CN114821434A (zh) * 2022-05-05 2022-07-29 西藏民族大学 一种基于光流约束的时空增强视频异常检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090022472A1 (en) * 2007-07-16 2009-01-22 Novafora, Inc. Method and Apparatus for Video Digest Generation
US20100061624A1 (en) * 2008-09-11 2010-03-11 Wesley Kenneth Cobb Detecting anomalous events using a long-term memory in a video analysis system
WO2013150419A1 (en) * 2012-04-02 2013-10-10 Koninklijke Philips N.V. Quality-check during medical imaging procedure
CN210072642U (zh) * 2019-06-20 2020-02-14 马国祥 基于视频监控的人群异常行为检测系统
WO2021174771A1 (zh) * 2020-03-05 2021-09-10 西北工业大学 一种人机协作的视频异常检测方法
CN113515968A (zh) * 2020-04-09 2021-10-19 华为技术有限公司 街道的异常事件检测方法、装置、设备及介质
CN111507333A (zh) * 2020-04-21 2020-08-07 腾讯科技（深圳）有限公司 一种图像矫正方法、装置、电子设备和存储介质
CN114782854A (zh) * 2021-12-13 2022-07-22 重庆邮电大学 一种基于视角转换和记忆引导的视频异常检测方法
CN114332699A (zh) * 2021-12-24 2022-04-12 中国电信股份有限公司 路况预测方法、装置、设备及存储介质
CN114565803A (zh) * 2022-01-19 2022-05-31 中科云谷科技有限公司 用于提取难样本的方法、装置及机械设备
CN114550098A (zh) * 2022-02-28 2022-05-27 山东大学 基于对比学习的考场监控视频异常行为检测方法及系统
CN114821434A (zh) * 2022-05-05 2022-07-29 西藏民族大学 一种基于光流约束的时空增强视频异常检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
任和, 梅林, 吴立德: "在MPEG视频上的语义视频对象分割改进算法", 计算机研究与发展, no. 03, 30 March 2003 (2003-03-30) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332699A (zh) * 2021-12-24 2022-04-12 中国电信股份有限公司 路况预测方法、装置、设备及存储介质
CN114332699B (zh) * 2021-12-24 2023-12-12 中国电信股份有限公司 路况预测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN115484456B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
CN111476302B (zh) 基于深度强化学习的Faster-RCNN目标物体检测方法
CN111783705B (zh) 一种基于注意力机制的文字识别方法及系统
CN111696094B (zh) 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备
CN111914873A (zh) 一种两阶段云服务器无监督异常预测方法
CN112685597B (zh) 一种基于擦除机制的弱监督视频片段检索方法和系统
CN111372123B (zh) 基于从局部到全局的视频时序片段提取方法
CN111914731B (zh) 一种基于自注意力机制的多模态lstm的视频动作预测方法
CN113392717A (zh) 一种基于时序特征金字塔的视频密集描述生成方法
CN115484456B (zh) 一种基于语义聚类的视频异常预测方法及装置
CN113705490A (zh) 基于重构和预测的异常检测方法
CN112131429A (zh) 一种基于深度预测编码网络的视频分类方法及系统
CN111582287A (zh) 一种基于充足视觉信息与文本信息的图像描述方法
CN116630850A (zh) 基于多注意力任务融合与边界框编码的孪生目标跟踪方法
CN115527151A (zh) 一种视频异常检测方法、系统、电子设备及存储介质
CN115471771A (zh) 一种基于语义级时序关联建模的视频时序动作定位方法
CN115221045A (zh) 一种基于多任务多视角学习的多目标软件缺陷预测方法
Yao et al. A unified neural network for panoptic segmentation
CN113095328A (zh) 一种基尼指数引导的基于自训练的语义分割方法
CN111881981A (zh) 一种基于掩膜编码的单阶段实例分割方法
Gkountakos et al. ITI-CERTH participation in TRECVID 2020.
CN110674783B (zh) 一种基于多级预测架构的视频描述方法及系统
CN112911338B (zh) 一种基于编码解码网络的交通场景描述方法及系统
CN116499468B (zh) 一种机器人路径规划方法、电子设备以及存储介质
CN117647855B (zh) 一种基于序列长度的短临降水预报方法、装置及设备
CN117333847B (zh) 一种基于车辆行为识别的轨迹预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant