CN116682043B - 基于SimCLR无监督深度对比学习异常视频清洗方法 - Google Patents

基于SimCLR无监督深度对比学习异常视频清洗方法 Download PDF

Info

Publication number
CN116682043B
CN116682043B CN202310696092.0A CN202310696092A CN116682043B CN 116682043 B CN116682043 B CN 116682043B CN 202310696092 A CN202310696092 A CN 202310696092A CN 116682043 B CN116682043 B CN 116682043B
Authority
CN
China
Prior art keywords
video
abnormal
sample input
lof
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310696092.0A
Other languages
English (en)
Other versions
CN116682043A (zh
Inventor
叶鸥
赵青
杨宝
霍小泉
付燕
于振华
邓军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN202310696092.0A priority Critical patent/CN116682043B/zh
Publication of CN116682043A publication Critical patent/CN116682043A/zh
Application granted granted Critical
Publication of CN116682043B publication Critical patent/CN116682043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于SimCLR无监督深度对比学习异常视频清洗方法，包括步骤：一、从视频数据集任意选取一个视频作为正样本输入视频，其余视频作为负样本输入视频，分别输入到两个分支均由C3D深度神经网络模型构成的编码器中进行高层特征提取；二、通过投影变换网络降低特征向量的维度；三、计算两个特征向量的对比损失值；四、计算局部离群因子LOF；五、基于局部离群因子LOF进行异常视频的自动清洗。通过上述方法，创新性的实现在视频数据无标注条件下，有效自动删除异常的视频数据。

Description

基于SimCLR无监督深度对比学习异常视频清洗方法
技术领域
本发明属于数据清洗技术领域，具体涉及一种基于SimCLR无监督深度对比学习异常视频清洗方法。
背景技术
目前，随着网络上的视频数据规模不断增加，包含异常语义信息的视频数据大量涌现，这些异常视频既影响了人们查看正常的视频数据，也掩盖一些安全问题，例如监控视频的失真、跳帧等，这使得视频大数据的质量难以保证，可能会造成一些安全隐患。目前，已经产生了很多针对异常视频检测与清洗的研究及技术成果，但是现有研究普遍存在数据集不平衡的问题，正常视频的样本是很容易获得的，而异常视频发生概率较小，高质量数据样本的获取就非常困难。现有针对异常视频检测的理论方法可以划分如下两类：
(1)基于低层特征的异常视频检测方法，例如：利用结合光流特征和梯度直方图特征的视频异常行为检测及定位方法；
(2)基于深度特征的异常视频检测方法，例如：通过卷积神经网络，循环神经网络，两层3D卷积网络等神经网络模型获取特征向量，进而利用哈希等方法进行特征映射和检测。
然而，现有的异常视频检测方法只能有效检测和识别出视频数据集中的异常视频，较难自动清洗和删除异常视频这类脏数据，因此较难保证视频数据集的整体数据质量。
目前已有研究学者提出了异常视频清洗方法，其中基于非端到端视频检测框架中有着多模块训练且训练目标不一致问题，基于监督学习的异常视频检测方法因视频数据标注不足，难以有效自动删除近重复视频数据的问题。因此，为解决该问题，本发明引入无监督的深度对比学习方式，通过构建一种端到端的异常视频清洗方法，既能够有效缓解实际应用过程中因视频数据标注不足，造成现有基于监督学习的异常视频数据清洗方法难以有效自动删除异常视频数据的问题，也可以克服现有异常视频数据清洗方法存在多阶段训练目标不一致的问题。
发明内容
本发明所要解决的技术难题在于针对上述现有技术中的不足，提供一种基于SimCLR无监督深度对比学习异常视频清洗方法，通过基于无监督对比学习和端到端学习的异常视频清洗方法，能够在数据集无标注的情况下自动清洗视频数据中的异常视频，改善视频数据集的数据质量是本发明所要解决的问题，便于推广使用。
为解决上述技术问题，本发明采用的技术方案是：基于SimCLR无监督深度对比学习异常视频清洗方法，其特征在于，该方法包括以下步骤：
步骤一、从视频数据集中任意选取一个视频作为正样本输入视频，其余视频作为负样本输入视频，分别输入到两个分支C3D深度神经网络模型构成的编码器中进行特征提取；
步骤二、将正样本输入视频所属的一个由C3D深度神经网络模型构成的编码器中提取到的特征向量和负样本输入视频所属的另一个由C3D深度神经网络模型构成的编码器中提取到的特征向量，分别经过投影变换，得到降低维度的特征向量；
其中，投影变换网络结构由两层多层感知器MLP构成，每一层MLP由线性层、矫正线性单元和线性层组成；
步骤三、使用对比损失函数，计算两个特征向量的对比损失值；
步骤四、更换下一个正样本输入视频，重复上述步骤，将任一正样本输入视频与负样本视频的对比损失值记作数据点集，对于每个数据点，计算其局部离群因子LOF；
步骤五、统计局部离群因子LOF的值，绘制出散点图，设定阈值λ，根据散点图中实数值的分布情况检测异常点，并删除视频数据集中对应的异常视频，从而完成异常视频的数据清洗。
上述的基于SimCLR无监督深度对比学习异常视频清洗方法，其特征在于：步骤一的实现过程如下：
步骤101，从视频数据集V＝{v1,...,vN}中任意选取一个视频vi作为正样本输入视频，其余视频作为负样本输入视频，其中，i∈[1,N]；
步骤102，将视频vi的视频片段输入到上分支C3D深度神经网络模型构成的编码器fθ(·)中以提取视频vi的时空特征向量hi；
将其余的任意一个视频vk输入到下分支C3D深度神经网络模型构成的编码器fξ(·)中以提取其余视频的时空特征向量hk，其中，k∈[1,N]且k≠i；
其中，hi,hk∈R1024*1，R表示维度空间大小，fθ(·)和fξ(·)为C3D网络结构映射函数。
上述的基于SimCLR无监督深度对比学习异常视频清洗方法，其特征在于：步骤二的实现过程如下：
视频vi的时空特征向量hi经过一个投影变换结构gθ(·)得到降低维度的特征向量zi；
其余视频vk的时空特征向量hk经过另一个投影变换结构gξ(·)得到降低维度的特征向量zk；
其中，gθ(·)和gξ(·)均由两层多层感知器MLP构成，每一层MLP由线性层(Dense)、矫正线性单元(ReLU)和线性层(Dense)组成，gθ(·)和gξ(·)是共享参数的，更新方式采用同步更新。
上述的基于SimCLR无监督深度对比学习异常视频清洗方法，其特征在于：步骤三的实现过程如下：
利用SimCLR无监督深度对比学习模型的损失函数，计算对比损失其中，τ为可调节的超参数。
上述的基于SimCLR无监督深度对比学习异常视频清洗方法，其特征在于：步骤四的实现过程如下：
更换下一个正样本输入视频，重复上述步骤，将任一正样本输入视频与负样本视频的对比损失值记作数据点集L＝{x1,x2,...,xN-1}，对于每个数据点xq，计算其局部离群因子LOF，xq∈L且q＝1,2,...,N-1；
设数据点xq的第k邻域为Nk(xq)，则数据点xq的局部可达密度可以表示为：
其中，LRD(·)是局部可达密度函数，reach-distk(xq,xj)表示xj到xq的第k可达距离，定义为：reach-distk(xq,xj)＝max{distk(xq),distk(xq,xj)}；
数据点xq到数据点xj的第k可达距离，定义为点xq的第k距离和点xq到点xj的距离中的较大者，distk(xq,xj)表示xq到xj的欧几里得距离，
对于每个数据点xq，可以计算其局部离群因子LOF，即：数据点xq的第k局部离群因子是将点xq的Nk(xq)邻域内所有点的平均局部可达密度与点xq的局部可达密度进行比较，LOF值越大，说明越异常，反之越小，说明越正常。
上述的基于SimCLR无监督深度对比学习异常视频清洗方法，其特征在于：步骤五的实现过程如下：
步骤501，将所有的局部离群因子LOF值绘制成散点图：(LOFq,q)，其中，q为数据点的索引；以原点为圆心，阈值λ为半径画圆；绘制出所有LOF值的分布情况；
步骤502，根据公式判断正样本输入视频是否是异常，当LOF值不大于阈值λ时，代表正样本输入视频更趋于正常特征，即判断为正常；否则，当LOF值大于阈值λ时，代表正样本输入视频更远离正常特征，即判断为异常；数据点xq的LOF值大于阈值λ，则认为该点是异常数据点，令R＝{xq|LOFk(xq)＞λ}为异常数据点集合；
步骤503，找出异常数据点R在数据集中对应的视频，并将其加入到集合Set1；其中，Set1是所有异常视频的集合，假设集合Set中存储了所有视频的视频，则异常视频清洗过程：Setnew＝Set-Set1；
其中Set-Set1为集合的差集运算，最终的集合Setnew即为清洗结束后保留的视频，至此完成异常视频数据的自动清洗。
本发明与现有技术相比具有以下优点：
1、本发明构建端到端的视频数据清洗框架，减少现有异常视频数据清洗模型的特征复用问题，步骤简单，避免人工标注训练数据，降低冗余特征的计算量，同时引入无监督对比学习的模式，解决标记异常视频训练数据无法获取或者数据不足的问题，快速获取异常视频数据，高效、自动的清洗异常视频，便于推广使用。
2、本发明利用深度对比学习的对称网络架构通过对比不同的视频实例，可以更好地解决视频数据集无标注条件下的异常视频数据清洗问题。
综上所述，本发明通过基于无监督对比学习和端到端学习的异常视频清洗方法，能够自动清洗视频数据中的异常视频，改善视频数据集的数据质量是本发明所要解决的问题，便于推广使用。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的流程原理灰度图。
图2为本发明的方法流程框图。
具体实施方式
如图1和图2所示，本发明的基于SimCLR无监督深度对比学习异常视频清洗方法，包括以下步骤：
步骤一、从视频数据集中任意取一个视频作为正样本输入视频，其余视频作为负样本输入视频，分别注入到两个C3D深度神经网络模型构成的编码器中进行特征提取；
步骤二、将正样本输入视频所属的C3D深度神经网络模型构成的编码器中提取到的特征向量和负样本输入视频所属的C3D深度神经网络模型构成的编码器中提取到的特征向量，分别经过投影变换，得到降低维度的特征向量；
其中，投影变换网络结构由两层多层感知器MLP构成，每一层MLP由线性层(Dense)、矫正线性单元(ReLU)和线性层(Dense)组成；
步骤三、使用对比损失函数，计算两个特征向量的对比损失值；
步骤四、更换下一个正样本输入视频，重复上述步骤，将任一正样本输入视频与负样本视频的对比损失值记作数据点集，对于每个数据点，计算其局部离群因子LOF；
步骤五、统计局部离群因子LOF的值，绘制出散点图，设定阈值λ，根据散点图中实数值的分布情况检测异常点，并删除视频数据集中对应的异常视频，从而完成异常视频的数据清洗。
本实施例中，步骤一的实现过程如下：
步骤101，从视频数据集V＝{v1,...,vN}中任意选取一个视频vi作为正样本输入视频，其余视频作为负样本输入视频，其中，i∈[1,N]；
步骤102，将视频vi的视频片段输入到上分支由C3D深度神经网络模型构成的编码器fθ(·)中以提取视频vi的时空特征向量hi；
将其余的任意一个视频vk输入到下分支由C3D深度神经网络模型构成的编码器fθ(·)中以提取其余视频vk的时空特征向量hk，其中，k∈[1,N]且k≠i；
其中，hi，hk∈R1024*1，R表示维度空间大小，fθ(·)和fξ(·)为C3D网络结构映射函数。
本实施例中，采用的C3D深度神经网络模型的网络结构包括8个卷积层、5个池化层、2个全连接层和一个softmax输出层。假设上述任意一个视频片段的大小为w×h×c×l,其中w×h表示视频帧的大小，c表示每帧的通道数l表示视频片段的帧数，我们将w和h设置为112，并且c＝3,此外，参数设置将卷积核大小设置为1×1×1，步长为3×3×3，为了保留视频早期的时空特征，我们设置pool层池化核大小1×2×2，步长为2×2×2，其余3D池化核尺寸和步长大小均为2×2×2，用于实现卷积操作和最大池化的过程。
在卷积操作中，C3D深度神经网络模型通过将3D卷积核与多个连续帧堆叠在一起形成的立方体进行卷积，因此当前卷积层得到的特征图可以与上层的多个连续帧相连接，从而捕获视频的时空特征。
本实施例中，步骤二的实现过程如下：
视频vi的时空特征向量hi经过一个投影变换结构gθ(·)得到降低维度的特征向量zi；
其余视频vk的时空特征向量hk经过另一个投影变换结构gξ(·)得到降低维度的特征向量zk；
其中，gθ(·)和gξ(·)均由两层多层感知器MLP构成，每一层MLP由线性层、矫正线性单元和线性层组成，gθ(·)和gξ(·)是共享参数的，更新方式采用同步更新。
本实施例中，步骤三的实现过程如下：
利用SimCLR无监督深度对比学习模型的损失函数，计算对比损失其中，τ为可调节的超参数。
本实施例中，步骤四的实现过程如下：
更换下一个正样本输入视频，重复上述步骤，将任一正样本输入视频与负样本视频的对比损失值记作数据点集L＝{x1,x2,...,xN-1}，对于每个数据点xq，计算其局部离群因子LOF，xq∈L且q＝1,2,...,N-1；
设数据点xq的第k邻域为Nk(xq)，则数据点xq的局部可达密度可以表示为：
其中，LRD(·)是局部可达密度函数，reach-distk(xq,xj)表示xj到xq的第k可达距离，定义为：reach-distk(xq,xj)＝max{distk(xq),distk(xq,xj)}；
数据点xq到数据点xj的第k可达距离，定义为点xq的第k距离和点xq到点xj的距离中的较大者，distk(xq,xj)表示xq到xj的欧几里得距离，
对于每个数据点xq，可以计算其局部离群因子LOF，即：数据点xq的第k局部离群因子是将点xq的Nk(xq)邻域内所有点的平均局部可达密度与点xq的局部可达密度进行比较，LOF值越大，说明越异常，反之越小，说明越正常。
本实施例中，步骤五的实现过程如下：
步骤501，将所有的局部离群因子LOF值绘制成散点图：(LOFq,q)，其中，q为数据点的索引；以原点为圆心，阈值λ为半径画圆；绘制出所有LOF值的分布情况；
步骤502，根据公式判断正样本输入视频是否是异常，当LOF值不大于阈值λ时，代表正样本输入视频更趋于正常特征，即判断为正常；否则，当LOF值大于阈值λ时，代表正样本输入视频更远离正常特征，即判断为异常；数据点xq的LOF值大于阈值λ，则认为该点是异常数据点，令R＝{xq|LOFk(xq)＞λ}为异常数据点集合；
步骤503，找出异常数据点R在数据集中对应的视频，并将其加入到集合Set1；其中，Set1是所有异常视频的集合，假设集合Set中存储了所有视频的视频，则异常视频清洗过程：Setnew＝Set-Set1；
其中Set-Set1为集合的差集运算，最终的集合Setnew即为清洗结束后保留的视频，至此完成异常视频数据的自动清洗。
本发明使用散点图能够准确稳定地描绘出异常数据的离散分布情况，同时也利于异常数据的清洗，将所有的LOF值绘制成散点图，以原点为圆心，阈值λ为半径画圆绘制出散点图。通过散点图对计算的LOF值进行数据分析，如果某个数据点超出了圆形区域，则认为该样本对应的视频数据是异常值，应该找出异常点并删除在视频数据中对应的异常视频从而完成异常视频的清洗，即当LOF值大于阈值λ时，代表正样本输入视频更远离正常特征，即判断为异常，从而找到异常视频，完成异常视频的清洗。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (3)

1.基于SimCLR无监督深度对比学习异常视频清洗方法，其特征在于，该方法包括以下步骤：
步骤一、从视频数据集中任意选取一个视频作为正样本输入视频，其余视频作为负样本输入视频，分别输入到两个分支由C3D深度神经网络模型构成的编码器中进行高层特征提取；
步骤二、将正样本输入视频的特征向量和负样本输入视频的特征向量，分别经过两个分支的投影变换，以便降低特征向量的维度；
其中，两分支的投影变换网络结构均由两层多层感知器MLP构成，每一层MLP由线性层、矫正线性单元和线性层组成；
步骤三、使用对比损失函数，计算两个特征向量的对比损失值；
步骤四、更换下一个正样本输入视频，重复上述步骤，将任一正样本输入视频与负样本视频的对比损失值记作数据点集，对于每个数据点，计算其局部离群因子LOF；
步骤五、统计局部离群因子LOF的值，绘制出散点图，设定阈值λ，根据散点图中实数值的分布情况检测异常点，并删除视频数据集中对应的异常视频，从而完成异常视频的数据清洗；
步骤一的实现过程如下：
步骤101，从视频数据集V＝{v1,...,vN}中任意选取一个视频vi作为正样本输入视频，其余视频作为负样本输入视频，其中，i∈[1,N]；
步骤102，将视频vi输入到上分支C3D深度神经网络模型构成的编码器fθ(·)中以提取视频vi的时空特征向量hi；
将其余任意一个视频vk输入到下分支C3D深度神经网络模型构成的编码器fξ(·)中以提取其余视频的时空特征向量hk，其中，k∈[1,N]且k≠i；
其中，hi，hk∈R1024*1，R表示维度空间大小；
步骤二的实现过程如下：
视频vi的时空特征向量hi注入到上分支投影变换结构gθ(·)，得到特征向量zi；
其余任意一个视频vk的时空特征向量hk注入到下分支投影变换结构gξ(·)，得到特征向量zk；
其中，gθ(·)和gξ(·)均由两层多层感知器MLP构成，每一层MLP由线性层、矫正线性单元和线性层组成，gθ(·)和gξ(·)是共享参数的，更新方式采用同步更新；
步骤三的实现过程如下：
利用SimCLR无监督深度对比学习模型的损失函数，计算对比损失其中，τ为可调节的超参数。
2.按照权利要求1所述的基于SimCLR无监督深度对比学习异常视频清洗方法，其特征在于：步骤四的实现过程如下：
更换下一个正样本输入视频，重复上述步骤，将任一正样本输入视频与负样本视频的对比损失值记作数据点集L＝{x1,x2,...,xN-1}，对于每个数据点xq，计算其局部离群因子LOF，xq∈L且q＝1,2,...,N-1；
设数据点xq的第k邻域为Nk(xq)，则数据点xq的局部可达密度表示为：
其中，LRD(·)是局部可达密度函数，reach-distk(xq,xj)表示xj到xq的第k可达距离，定义为：reach-distk(xq,xj)＝max{distk(xq),distk(xq,xj)}；
数据点xq到数据点xj的第k可达距离，定义为点xq的第k距离和点xq到点xj的距离中的较大者，distk(xq,xj)表示xq到xj的欧几里得距离，
对于每个数据点xq，可以计算其局部离群因子LOF，即：数据点xq的第k局部离群因子是将点xq的Nk(xq)邻域内所有点的平均局部可达密度与点xq的局部可达密度进行比较，LOF值越大，说明越异常，反之越小，说明越正常。
3.按照权利要求2所述的基于SimCLR无监督深度对比学习异常视频清洗方法，其特征在于：步骤五的实现过程如下：
步骤501，将所有的局部离群因子LOF值绘制成散点图：(LOFq,q)，其中，q为数据点的索引；以原点为圆心，阈值λ为半径画圆；绘制出所有LOF值的分布情况；
步骤502，根据公式判断正样本输入视频是否是异常，当LOF值不大于阈值λ时，代表正样本输入视频更趋于正常特征，即判断为正常；否则，当LOF值大于阈值λ时，代表正样本输入视频更远离正常特征，即判断为异常；数据点xq的LOF值大于阈值λ，则认为该点是异常数据点，令R＝{xq|LOFk(xq)＞λ}为异常数据点集合；
步骤503，找出异常数据点R在数据集中对应的视频，并将其加入到集合Set1；其中，Set1是所有异常视频的集合，假设集合Set中存储了所有视频的视频，则异常视频清洗过程：Setnew＝Set-Set1；
其中Set-Set1为集合的差集运算，最终的集合Setnew即为清洗结束后保留的视频，至此完成异常视频数据的自动清洗。
CN202310696092.0A 2023-06-13 2023-06-13 基于SimCLR无监督深度对比学习异常视频清洗方法 Active CN116682043B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310696092.0A CN116682043B (zh) 2023-06-13 2023-06-13 基于SimCLR无监督深度对比学习异常视频清洗方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310696092.0A CN116682043B (zh) 2023-06-13 2023-06-13 基于SimCLR无监督深度对比学习异常视频清洗方法

Publications (2)

Publication Number Publication Date
CN116682043A CN116682043A (zh) 2023-09-01
CN116682043B true CN116682043B (zh) 2024-01-26

Family

ID=87780752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310696092.0A Active CN116682043B (zh) 2023-06-13 2023-06-13 基于SimCLR无监督深度对比学习异常视频清洗方法

Country Status (1)

Country Link
CN (1) CN116682043B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117955961A (zh) * 2024-03-26 2024-04-30 山东工程职业技术大学 一种数字媒体数据的传输方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462184A (zh) * 2014-10-13 2015-03-25 北京系统工程研究所 一种基于双向抽样组合的大规模数据异常识别方法
CN107368807A (zh) * 2017-07-20 2017-11-21 东南大学 一种基于视觉词袋模型的监控视频车型分类方法
CN109741292A (zh) * 2017-10-27 2019-05-10 罗伯特·博世有限公司 用对抗自编码器检测第一图像数据集当中异常图像的方法
CN110502988A (zh) * 2019-07-15 2019-11-26 武汉大学 视频中的组群定位与异常行为检测方法
CN111612100A (zh) * 2020-06-04 2020-09-01 商汤集团有限公司 对象再识别方法、装置、存储介质及计算机设备
CN111738054A (zh) * 2020-04-17 2020-10-02 北京理工大学 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN114003726A (zh) * 2021-12-31 2022-02-01 山东大学 一种基于子空间嵌入的学术论文差异性分析方法
CN114255447A (zh) * 2022-01-17 2022-03-29 中国人民解放军国防科技大学 一种无监督的端到端视频异常事件数据识别方法和装置
CN114550098A (zh) * 2022-02-28 2022-05-27 山东大学 基于对比学习的考场监控视频异常行为检测方法及系统
CN114842371A (zh) * 2022-03-30 2022-08-02 西北工业大学 一种无监督视频异常检测方法
CN114926682A (zh) * 2022-05-18 2022-08-19 杭州电子科技大学 一种基于局部离群因子的工业图像异常检测与定位方法及系统
CN115423079A (zh) * 2022-09-13 2022-12-02 中国科学院国家空间科学中心 中心约束对比学习特征变换的自集成卫星异常检测方法
CN115546689A (zh) * 2022-09-30 2022-12-30 华东师范大学 基于无监督下帧相关性的视频时间序列的异常帧探测方法
EP4116883A1 (en) * 2021-07-09 2023-01-11 Robert Bosch GmbH Contrastive predictive coding for anomaly detection and segmentation
CN116149896A (zh) * 2023-03-27 2023-05-23 阿里巴巴（中国）有限公司 时序数据异常检测方法、存储介质和电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11978258B2 (en) * 2021-04-06 2024-05-07 Nvidia Corporation Techniques for identification of out-of-distribution input data in neural networks
JP7520777B2 (ja) * 2021-07-01 2024-07-23 株式会社東芝 機械学習装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462184A (zh) * 2014-10-13 2015-03-25 北京系统工程研究所 一种基于双向抽样组合的大规模数据异常识别方法
CN107368807A (zh) * 2017-07-20 2017-11-21 东南大学 一种基于视觉词袋模型的监控视频车型分类方法
CN109741292A (zh) * 2017-10-27 2019-05-10 罗伯特·博世有限公司 用对抗自编码器检测第一图像数据集当中异常图像的方法
CN110502988A (zh) * 2019-07-15 2019-11-26 武汉大学 视频中的组群定位与异常行为检测方法
CN111738054A (zh) * 2020-04-17 2020-10-02 北京理工大学 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN111612100A (zh) * 2020-06-04 2020-09-01 商汤集团有限公司 对象再识别方法、装置、存储介质及计算机设备
EP4116883A1 (en) * 2021-07-09 2023-01-11 Robert Bosch GmbH Contrastive predictive coding for anomaly detection and segmentation
CN114003726A (zh) * 2021-12-31 2022-02-01 山东大学 一种基于子空间嵌入的学术论文差异性分析方法
CN114255447A (zh) * 2022-01-17 2022-03-29 中国人民解放军国防科技大学 一种无监督的端到端视频异常事件数据识别方法和装置
CN114550098A (zh) * 2022-02-28 2022-05-27 山东大学 基于对比学习的考场监控视频异常行为检测方法及系统
CN114842371A (zh) * 2022-03-30 2022-08-02 西北工业大学 一种无监督视频异常检测方法
CN114926682A (zh) * 2022-05-18 2022-08-19 杭州电子科技大学 一种基于局部离群因子的工业图像异常检测与定位方法及系统
CN115423079A (zh) * 2022-09-13 2022-12-02 中国科学院国家空间科学中心 中心约束对比学习特征变换的自集成卫星异常检测方法
CN115546689A (zh) * 2022-09-30 2022-12-30 华东师范大学 基于无监督下帧相关性的视频时间序列的异常帧探测方法
CN116149896A (zh) * 2023-03-27 2023-05-23 阿里巴巴（中国）有限公司 时序数据异常检测方法、存储介质和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"A Contrastive Framework for learning sentence Representations from Pairwise and Triple-wise Perspective in Angular space";Yuhao Zhang等;《ACL》;第1卷;第4892-4903页 *

Also Published As

Publication number Publication date
CN116682043A (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN115049936B (zh) 一种面向高分遥感影像的边界增强型语义分割方法
CN108334936B (zh) 基于迁移卷积神经网络的故障预测方法
CN108681752B (zh) 一种基于深度学习的图像场景标注方法
CN110717526B (zh) 一种基于图卷积网络的无监督迁移学习方法
CN110473231B (zh) 一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法
CN108596203B (zh) 并联池化层对受电弓碳滑板表面磨耗检测模型的优化方法
CN116682043B (zh) 基于SimCLR无监督深度对比学习异常视频清洗方法
CN113591948B (zh) 一种缺陷模式识别方法、装置、电子设备和存储介质
CN112270317A (zh) 一种基于深度学习和帧差法的传统数字水表读数识别方法
CN115641327B (zh) 一种基于大数据的建筑工程质量监理和预警系统
CN116030396B (zh) 一种用于视频结构化提取的精确分割方法
CN110599459A (zh) 基于深度学习的地下管网风险评估云系统
CN115222650A (zh) 一种混合工业零件缺陷检测算法
CN111832479B (zh) 基于改进的自适应锚点r-cnn的视频目标检测方法
CN114155213A (zh) 基于主动学习的芯片缺陷检测方法和装置
CN116539619A (zh) 产品缺陷检测方法、系统、装置及存储介质
CN110991374A (zh) 一种基于rcnn的指纹奇异点检测方法
CN111008596B (zh) 基于特征期望子图校正分类的异常视频清洗方法
CN114155411A (zh) 一种弱小目标智能检测识别方法
CN117910559A (zh) 基于动态知识图嵌入的多源异构数据采集方法
CN107993193B (zh) 基于光照均衡化和改进surf算法的隧道衬砌图像拼接方法
CN116486273B (zh) 一种小样本遥感图像水体信息提取方法
CN111428803A (zh) 一种基于Wasserstein距离的深度域适应图像分类方法
CN116596836A (zh) 基于多视图邻域证据熵的肺炎ct影像属性约简方法
CN114943741A (zh) 一种动态场景下基于目标检测和几何概率的视觉slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant