CN111144375A - 基于特征编码的异常行为检测方法、装置及电子设备 - Google Patents

基于特征编码的异常行为检测方法、装置及电子设备 Download PDF

Info

Publication number
CN111144375A
CN111144375A CN201911421370.1A CN201911421370A CN111144375A CN 111144375 A CN111144375 A CN 111144375A CN 201911421370 A CN201911421370 A CN 201911421370A CN 111144375 A CN111144375 A CN 111144375A
Authority
CN
China
Prior art keywords
target
initial
feature
training
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911421370.1A
Other languages
English (en)
Other versions
CN111144375B (zh
Inventor
隋运峰
邓凌竹
司泉
赵士瑄
程志
刘为谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Civil Aviation Air Traffic Control Science & Technology Co ltd
Second Research Institute of CAAC
Original Assignee
Second Research Institute of CAAC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Research Institute of CAAC filed Critical Second Research Institute of CAAC
Priority to CN201911421370.1A priority Critical patent/CN111144375B/zh
Publication of CN111144375A publication Critical patent/CN111144375A/zh
Application granted granted Critical
Publication of CN111144375B publication Critical patent/CN111144375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例公开了一种基于特征编码的异常行为检测方法、装置及电子设备，方法包括：构建仅包含正常事件数据的编码训练数据集；采用所述编码训练数据集对初始异常行为检测模型进行训练，以得到目标异常行为检测模型；获取待检测的视频数据；将所述视频数据输入目标异常行为检测模型，以输出异常值；根据所述异常值判断异常事件。实施本发明实施例，克服了现有技术中的技术局限，提出了一种复杂程度大幅降低的异常行为检测模型，且使用额外的编码网络进行半监督式模型参数训练的方法，提高了模型的性能，进一步地提高了视频信号异常行为检测的准确性。

Description

基于特征编码的异常行为检测方法、装置及电子设备
技术领域
本发明涉及深度学习中的神经网络设计技术领域，具体涉及一种基于特征编码的异常行为检测方法、装置及电子设备。
背景技术
视频信号处理中，异常行为检测可以及时发现危险行为、事故征兆等，或从海量信息中高效筛选特异信息，有广泛的需求。一些行为受到规则的约束，如飞机起飞和降落，汽车在高速公路上行驶等，规律性较强，具有良好的可预测性。通用的异常行为检测模型为适应行为的多样性，往往需要有较复杂的模型。而在规则约束的异常行为检测中，存在参数过多、执行效率偏低等问题。且异常行为作为小概率事件，样本较少，模型整体训练效果不好。
发明内容
针对现有技术中的缺陷，本发明实施例的目的在于提供一种基于特征编码的异常行为检测方法、装置及电子设备。
为实现上述目的，第一方面，本发明实施例提供了一种基于特征编码的异常行为检测方法，包括：
构建仅包含正常事件数据的编码训练数据集；
采用所述编码训练数据集对初始异常行为检测模型进行训练，以得到目标异常行为检测模型，所述目标异常行为检测模型包括目标特征提取模块和目标异常值预测模块；
获取待检测的视频数据；
将所述视频数据输入目标异常行为检测模型，通过所述目标特征提取模块和目标异常值检测模块对所述视频数据进行检测，以输出异常值；
根据所述异常值判断异常事件，其中，所述异常值在0-1之间。
其中，所述初始异常行为检测模型包括初始特征提取模块和初始异常值预测模块，得到目标异常行为检测模型的过程具体包括：
对所述编码训练数据集中的视频片段进行归一化处理，以得到视频片段；
对所述视频片段进行分段处理；
根据分段处理后的所述视频片段，生成初始目标特征；
引入特征编码模块，将所述初始特征提取模块和特征编码模块构成编码训练模型；
采用所述编码训练数据集对所述编码训练模型进行编码训练；
保存编码训练后的所述初始特征提取模块并将其作为所述目标特征提取模块；
将编码训练数据集输入所述目标特征提取模块，以得到实际输出特征向量；
根据所述实际输出特征向量和初始目标特征进行特征通道筛选；
采用筛选出的特征通道输出的特征向量对所述初始异常值检测模块进行常规训练；
保存常规训练后的所述初始异常值检测模块并将其作为所述目标异常值检测模块；
将所述目标特征提取模块和目标异常值检测模块结合以得到所述目标异常值检测模型。
作为本申请一种具体的实施方式，对所述编码训练数据集中的视频片段进行归一化处理，具体包括：
确定基准点：确定每段视频数据中目标行为的结束点，从结束点向前推移相同帧数，作为目标行为起始点，截取起始点与结束点之间的视频片段。
作为本申请一种具体的实施方式，对所述视频片段进行分段处理具体包括：
将所截取的视频片段中的图像帧均分为F段，F为用户自定义的正整数。
可选地，所述方法采用迭代生成法生成初始目标特征，具体包括：
4.1指定目标特征的特征持续时间初始变量M，其中1<M<F；
4.2从j＝1开始执行步骤4.3至4.4；
4.3生成长度为F的零行向量，将第j列至第j+M-1列的元素置为1，并记录；
4.4将列数j+1，重复执行步骤4.3，直至第F列元素被置为1；
4.5将特征持续时间变量M+1，重复执行步骤4.2，直至M＝F；
4.6将记录的所有行向量拼接成为矩阵；
4.7取上述矩阵中第j列作为视频中第j段所有图像帧的初始目标特征。
可选地，所述方法采用二进制生成法生成初始目标特征，具体包括：
5.1从0开始，利用二进制法不断加1，依次生成长度为F，数量为2F的行向量；
5.2将行向量拼接成大小为2F×F的矩阵；
5.3取上述矩阵中第j列作为视频中第j段所有图像帧的初始目标特征。
进一步地，采用所述编码训练数据集对所述编码训练模型进行编码训练，具体包括：
以图像帧作为训练样本输入，其对应初始目标特征作为训练标签输入，同时以L1范数范数作为损失函数，训练若干个epoch直至损失函数的值趋于平稳不再下降。
作为本申请一种具体的实施方式，特征通道筛选具体包括：
7.1设定通道差异性阈值：设定0～1之间的阈值σ，作为特征通道是否丢弃的判定标准；
7.2获取实际特征向量：利用所述目标特征提取模块对编码训练数据集进行特征提取，获得实际输出特征向量；
7.3差异值计算：计算每一帧实际输出特征向量与初始目标特征在所有通道上的差的绝对值，对于每一通道，计算所有图像帧对应差的绝对值的平均值，作为差异值；
7.4通道丢弃：将每一通道的差异值与阈值σ对比，丢弃差异值大于该阈值σ的通道，保留剩余特征通道。
第二方面，本发明实施例提供了一种基于特征编码训练的异常行为检测装置，包括：
构建单元，用于构建仅包含正常事件数据的编码训练数据集；
训练单元，用于采用所述编码训练数据集对初始异常行为检测模型进行训练，以得到目标异常行为检测模型，所述目标异常行为检测模型包括目标特征提取模块和目标异常值预测模块；
获取单元，用于获取待检测的视频数据；
检测单元，用于将所述视频数据输入目标异常行为检测模型，通过所述目标特征提取模块和目标异常值检测模块对所述视频数据进行检测，以输出异常值；
判断单元，用于根据所述异常值判断异常事件，其中，所述异常值在0-1之间。
进一步地，所述初始异常行为检测模型包括初始特征提取模块初始异常值预测模块，所述装置还包括处理单元，用于：
对所述编码训练数据集中的视频片段进行归一化处理，以得到视频片段；
对所述视频片段进行分段处理；
根据分段处理后的所述视频片段，生成初始目标特征；
所述训练单元具体用于：
引入特征编码训练模块，将所述初始特征提取模块和特征编码模块构成编码训练模型；
采用所述编码训练数据集对所述编码训练模型进行编码训练；
保存编码训练后的所述初始特征提取模块并将其作为所述目标特征提取模块；
将所述编码训练数据集输入所述目标特征提取模块，以得到实际输出特征向量；
根据所述实际输出特征向量和初始目标特征进行特征通道筛选；
采用筛选出的特征通道输出的特征向量对所述初始异常值检测模块进行常规训练；
保存常规训练后的所述初始异常值检测模块并将其作为所述目标异常值检测模块；
将所述目标特征提取模块和目标异常值检测模块结合以得到所述目标异常值检测模型。
第三方面，本发明实施例提供了一种电子设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。
实施本发明实施例，克服了现有技术中的技术局限，提出了一种复杂程度大幅降低的异常行为检测模型，且使用额外的编码网络进行半监督式模型参数训练的方法，提高了模型的性能，进一步地提高了视频信号异常行为检测的准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的基于特征编码的异常行为检测方法的示意流程图；
图2是特征编码的异常行为检测网络结构图；
图3是初始目标特征迭代生成法示意图；
图4是初始目标特征二进制生成法示意图；
图5是本发明实施例提供的基于特征编码的异常行为检测装置的结构示意图；
图6是电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，本发明实施例提供的基于特征编码的异常行为检测方法包括：
S101，构建仅包含正常事件数据的编码训练数据集。
S102，采用编码训练数据集对初始异常行为检测模型进行训练，以得到目标异常行为检测模型。
本发明实施例提出了一种用于异常行为检测的神经网络模型，称为特征编码的异常行为检测网络，简称FCADN。
如图所示，从整体上看，FCADN的输入是需要进行异常行为检测的视频数据，输出是对每一帧是否正常的判断结果。具体地在每一帧处理中，该模型的外部输入是视频当前帧的数据，内部输入是前一帧经特征提取处理后的特征向量，外部输出是当前帧是否正常的判断结果，内部输出是当前帧经特征提取处理后的特征向量。
请参考如图2所示的FCADN的结构框图，该模型包括特征提取模块、特征编码模块和异常值预测模块。
其中，图2所示模型中进行信号处理的第一部分是特征提取模块。特征提取模块的结构由卷积层和直连层构建，其功能是提取用于检测异常行为的特征。在编码训练中，特征提取模块后接特征编码模块。特征编码模块的结构由损失输出层构建，其功能是通过强制提取特征学习目标特征，提升提取特征对异常行为的可判断性。在常规训练和异常行为检测中，特征提取模块后接异常值预测模块。异常值预测模块的结构由直连层构建，其功能是从提取特征计算异常值。异常值在0-1之间，值越低越正常，越高越异常。
具体地，步骤S102包括以下子步骤：
S1021，对编码训练数据集中的视频片段进行归一化处理。
因为不同视频数据记录事件的时间起点和终点均存在一定差异，对编码训练数据集进行归一化处理的目的是提高数据一致性，具体步骤包括：
确定基准点：确定每段视频数据中目标行为的结束点，从结束点向前推移相同帧数，作为目标行为起始点，截取起始点与结束点之间的视频片段。
S1022，视频数据分段化：将所截取的视频片段中的图像帧均分为F段，F为用户自定义的正整数。
S1023，生成初始目标特征：选择初始目标特征生成方法，针对F段视频中的每段视频中的所有图像帧，生成其对应的初始目标特征(该初始目标特征为该分段视频中所有图像帧共有)。
其中，初始目标特征生成法包括迭代生成法和二进制生成法两种。
具体地，请参考图3，初始目标特征迭代法具体步骤包括：
3.1.1指定目标特征的特征持续时间初始变量M，其中1<M<F。
3.1.2从j＝1开始执行以下步骤。
3.1.3生成长度为F的零行向量，将第j列至第j+M-1列的元素置为1，并记录。
3.1.4并将列数j+1，重复执行步骤3.1.3，直至第F列元素被置为1。
3.1.5将特征持续时间变量M+1，重复执行步骤3.1.2，直至M＝F。
3.1.6将记录的所有行向量拼接成为矩阵。
3.1.7取上述矩阵中第j列作为视频中第j段所有图像帧的初始目标特征。
具体地，请参考图4，初始目标特征二进制生成法具体步骤包括：
3.2.1从0开始，利用二进制法不断加1，依次生成长度为F，数量为2F的行向量。
3.2.2将行向量拼接成大小为2F×F的矩阵。
3.2.3取上述矩阵中第j列作为视频中第j段所有图像帧的初始目标向量。
S1024，引入特征编码模块，采用所述编码训练数据集对所述初始特征提取模块和特征编码模块进行编码训练，并保存编码训练后的所述初始特征提取模块作为目标特征提取模块。
需要说明的是，编码训练主要涉及图2中的特征提取模块和特征编码模块。
其中，特征提取模块用于利用多卷积层与直连层组合的方式实现对图像帧的特征提取处理。该模块的输入为图像数据Ik，为M×N×3的三维矩阵，其中M×N为图像大小。该模块的输出为长度为l的向量Fk，即为提取特征。该模块执行的计算为：
Fk＝R(Ik) (1)
其中函数R为特征提取模块计算方法，脚标k为图像原始编号。该模块的参数视特征提取模块的设计而定。
特征编码模块用于利用损失函数计算提取特征和目标特征的差异性。
该模块的输入是Fk和
Figure BDA0002352472360000081
即为目标特征。该模块的输出为标量loss，即损失值。该模块执行的运算为：
Figure BDA0002352472360000082
其中i为特征通道编号，l为特征通道数目，脚标k为图像原始编号。该模块无参数。
基于上述描述，步骤S1024具体为：
(1)进行编码训练：以图像帧作为训练样本输入，其对应目标特征作为训练标签输入，同时以L1范数作为损失函数，训练若干个epoch直至损失函数的值趋于平稳不再下降，使其达到最佳性能；
(2)保存特征提取模块：完成编码训练后，将特征提取模块从编码训练模型(由特征提取模块和特征编码模块所构成)中单独提出，并保存其结构和参数。
S1025，特征通道筛选：计算特征提取模块的实际输出特征向量与初始目标特征的差异，丢弃差异性较大的特征通道。
具体地，特征通道筛选具体方法包括：
5.1设定通道差异性阈值：设定0～1之间的阈值σ，作为特征通道是否丢弃的判定标准。
5.2获取实际特征向量：利用编码训练完成后的特征提取模块对编码训练数据集进行特征提取，获得实际输出特征向量。
5.3差异值计算：计算每一帧实际输出特征向量与目标特征在所有通道上的差的绝对值，对于每一通道，计算所有图像帧对应差的绝对值的平均值，作为差异值。
5.4通道丢弃：将每一通道的差异值与阈值σ对比，丢弃差异值大于该阈值σ的通道，保留剩余特征通道。
S1026，采用筛选出的特征通道对所述初始异常值检测模块进行常规训练。
具体地，将筛选出的特征通道的输出量输入初始异常值检测模块，从而完成对其的常规训练。
S1027，保存常规训练后的初始异常值检测模块并将其作为所述目标异常值检测模块。
S1028，将所述目标特征提取模块和目标异常值检测模块结合以得到所述目标异常值检测模型。
需要说明的是，常规训练主要涉及图2中的特征提取模块和异常值预测模块。
其中，特征提取模块与前述编码训练共享。异常值预测模块具有3层网络。
第一层为特征拼接层，即将通过特征提取模块获得的当前帧图像提取特征与上一帧图像提取特征相拼接。该层的输入为长度均为l的向量Fk-1和向量Fk，Fk-1为上一帧图像提取特征，Fk为当前帧图像提取特征。该层的输出为向量βk，为新特征向量。该层执行的操作为：
Figure BDA0002352472360000102
其中脚标k为图像原始编号。运算符
Figure BDA0002352472360000103
为向量拼接运算符，将前一特征提取向量的尾部与当前特征提取向量的首部相连接。该层无参数。
第二层为特征检测层，即通过多层直连层对拼接的新特征向量进行异常特征深度检测。该层的输入为拼接后长度为2l的新特征向量βk。该层的输出为标量αk，为异常指数。该层执行的运算为
αk＝G(βk) (4)
其中函数G为特征检测层计算方法，脚标k为图像原始编号。该层的参数视特征检测层的设计而定。
第三层为异常值映射层，即将异常指数映射至0-1之间。该层的输入为标量αk，即异常指数。该层的输出为标量Resultk，即为异常值。该层执行的运算为
Resultk＝sigmoid(αk) (5)
其中函数sigmoid的定义为：
Figure BDA0002352472360000101
其中脚标k为图像原始编号。该层无参数。
S103，获取待检测的视频数据。
S104，将视频数据输入目标异常行为检测模型，通过目标特征提取模块和目标异常值检测模块对视频数据进行检测，以输出异常值。
S105，根据所述异常值判断异常事件。
其中，将视频数据输入目标异常行为检测模型后，先由目标特征提取模块进行特征提取，再将所提取的特征输入目标异常值检测模块，进行计算并输出异常值。该异常值在0-1之间，值越低越正常，越高越异常。
实施本发明实施例的方法，克服了现有技术中的技术局限，提出了一种复杂程度大幅降低的异常行为检测模型，且使用额外的编码网络进行半监督式模型参数训练的方法，提高了模型的性能，进一步地提高了视频信号异常行为检测的准确性。
基于相同的发明构思，本发明实施例提供了一种基于特征编码的异常行为检测装置。如图5所示，该装置包括：
构建单元10，用于构建仅包含正常事件数据的编码训练数据集；
训练单元11，用于采用所述编码训练数据集对初始异常行为检测模型进行训练，以得到目标异常行为检测模型，所述目标异常行为检测模型包括目标特征提取模块和目标异常值预测模块；
获取单元12，用于获取待检测的视频数据；
检测单元13，用于将所述视频数据输入目标异常行为检测模型，通过所述目标特征提取模块和目标异常值检测模块对所述视频数据进行检测，以输出异常值；
判断单元14，用于根据所述异常值判断异常事件，所述异常值在0-1之间。
其中，所述初始异常行为检测模型包括初始特征提取模块初始异常值预测模块，所述装置还包括处理单元，用于：
构建目标特征：构建特定通道数量及特定强度的目标特征，作为所述初始特征提取模块输出特征的学习方向；
对所述编码训练数据集中的视频片段进行归一化处理，以得到视频片段；
对所述视频片段进行分段处理；
根据分段处理后的所述视频片段，生成初始目标特征；
所述训练单元11具体用于：
引入特征编码训练模块，将所述初始特征提取模块和特征编码模块构成编码训练模型；
采用所述编码训练数据集对所述编码训练模型进行编码训练；
保存编码训练后的所述初始特征提取模块并将其作为所述目标特征提取模块；
将编码训练数据集输入所述目标特征提取模块，以得到实际输出特征向量；
根据所述实际输出特征向量和初始目标特征进行特征通道筛选；
采用筛选出的特征通道输出的特征向量对所述初始异常值检测模块进行常规训练；
保存常规训练后的所述初始异常值检测模块并将其作为所述目标异常值检测模块；
将所述目标特征提取模块和目标异常值检测模块结合以得到所述目标异常值检测模型。
进一步地，所述初始特征提取模块利用多卷积层与直连层组合的方式实现对图像帧的特征提取处理；所述特征编码模块利用损失函数计算提取特征和目标特征的差异性。
作为本发明一种具体的实施方式，所述处理单元具体用于：
确定基准点：确定每段视频数据中目标行为的结束点，从结束点向前推移相同帧数，作为目标行为起始点，截取起始点与结束点之间的视频片段。
将所截取的视频片段中的图像帧均分为F段，F为用户自定义的正整数。
进一步地，所述训练单元11具体用于：
以图像帧作为训练样本输入，其对应初始目标特征作为训练标签输入，同时以L1范数作为损失函数，训练若干个epoch直至损失函数的值趋于平稳不再下降。
在本发明的另一优选实施例中，还提供了一种电子设备。如图6所示，该电子设备可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述方法实施例部分的方法。
应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备102可以包括键盘等，输出设备103可以包括显示器(LCD等)、扬声器等。
该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的基于特征编码的异常行为检测方法的实施例中所描述的实现方式，在此不再赘述。
需要说明的是，本发明实施例中基于特征编码的异常行为检测装置和电子设备的具体工作流程及相关细节，请参考前述方法实施例部分，在此不再赘述。
进一步地，本发明实施例还提供了一种可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：上述基于特征编码的异常行为检测方法。
所述计算机可读存储介质可以是前述任一实施例所述的系统的内部存储单元，例如系统的硬盘或内存。所述计算机可读存储介质也可以是所述系统的外部存储设备，例如所述系统上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述系统的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述系统所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于特征编码的异常行为检测方法，其特征在于，包括：
构建仅包含正常事件数据的编码训练数据集；
采用所述编码训练数据集对初始异常行为检测模型进行训练，以得到目标异常行为检测模型，所述目标异常行为检测模型包括目标特征提取模块和目标异常值预测模块；
获取待检测的视频数据；
将所述视频数据输入目标异常行为检测模型，通过所述目标特征提取模块和目标异常值检测模块对所述视频数据进行检测，以输出异常值；
根据所述异常值判断异常事件，其中，所述异常值在0-1之间。
2.如权利要求1所述的方法，其特征在于，所述初始异常行为检测模型包括初始特征提取模块和初始异常值预测模块，得到目标异常行为检测模型的过程具体包括：
对所述编码训练数据集中的视频片段进行归一化处理，以得到视频片段；
对所述视频片段进行分段处理；
根据分段处理后的所述视频片段，生成初始目标特征；
引入特征编码模块，将所述初始特征提取模块和特征编码模块构成编码训练模型；
采用所述编码训练数据集对所述编码训练模型进行编码训练；
保存编码训练后的所述初始特征提取模块并将其作为所述目标特征提取模块；
将所述编码训练数据集输入所述目标特征提取模块，以得到实际输出特征向量；
根据所述实际输出特征向量和初始目标特征进行特征通道筛选；
采用筛选出的特征通道输出的特征向量对所述初始异常值检测模块进行常规训练；
保存常规训练后的所述初始异常值检测模块并将其作为所述目标异常值检测模块；
将所述目标特征提取模块和目标异常值检测模块结合以得到所述目标异常值检测模型。
3.如权利要求2所述的方法，其特征在于，对所述编码训练数据集中的视频片段进行归一化处理，具体包括：
确定基准点：确定每段视频数据中目标行为的结束点，从结束点向前推移相同帧数，作为目标行为起始点，截取起始点与结束点之间的视频片段；
对所述视频片段进行分段处理具体包括：
将所截取的视频片段中的图像帧均分为F段，F为用户自定义的正整数。
4.如权利要求3所述的方法，其特征在于，所述方法采用迭代生成法生成初始目标特征，具体包括：
4.1指定目标特征的特征持续时间初始变量M，其中1<M<F；
4.2从j＝1开始执行步骤4.3至4.4；
4.3生成长度为F的零行向量，将第j列至第j+M-1列的元素置为1，并记录；
4.4将列数j+1，重复执行步骤4.3，直至第F列元素被置为1；
4.5将特征持续时间变量M+1，重复执行步骤4.2，直至M＝F；
4.6将记录的所有行向量拼接成为矩阵；
4.7取上述矩阵中第j列作为视频中第j段所有图像帧的初始目标特征。
5.如权利要求3所述的方法，其特征在于，所述方法采用二进制生成法生成初始目标特征，具体包括：
5.1从0开始，利用二进制法不断加1，依次生成长度为F，数量为2F的行向量；
5.2将行向量拼接成大小为2F×F的矩阵；
5.3取上述矩阵中第j列作为视频中第j段所有图像帧的初始目标特征。
6.如权利要求4或5所述的方法，其特征在于，采用所述编码训练数据集对所述编码训练模型进行编码训练，具体包括：
以图像帧作为训练样本输入，其对应初始目标特征作为训练标签输入，同时以L1范数范数作为损失函数，训练若干个epoch直至损失函数的值趋于平稳不再下降。
7.如权利要求6所述的方法，其特征在于，特征通道筛选具体包括：
7.1设定通道差异性阈值：设定0～1之间的阈值σ，作为特征通道是否丢弃的判定标准；
7.2获取实际特征向量：利用所述目标特征提取模块对编码训练数据集进行特征提取，获得实际输出特征向量；
7.3差异值计算：计算每一帧实际输出特征向量与初始目标特征在所有通道上的差的绝对值，对于每一通道，计算所有图像帧对应差的绝对值的平均值，作为差异值；
7.4通道丢弃：将每一通道的差异值与阈值σ对比，丢弃差异值大于该阈值σ的通道，保留剩余特征通道。
8.一种基于特征编码训练的异常行为检测装置，其特征在于，包括：
构建单元，用于构建仅包含正常事件数据的编码训练数据集；
训练单元，用于采用所述编码训练数据集对初始异常行为检测模型进行训练，以得到目标异常行为检测模型，所述目标异常行为检测模型包括目标特征提取模块和目标异常值预测模块；
获取单元，用于获取待检测的视频数据；
检测单元，用于将所述视频数据输入目标异常行为检测模型，通过所述目标特征提取模块和目标异常值检测模块对所述视频数据进行检测，以输出异常值；
判断单元，用于根据所述异常值判断异常事件，其中，所述异常值在0-1之间。
9.如权利要求8所述的装置，其特征在于，所述初始异常行为检测模型包括初始特征提取模块和初始异常值预测模块，
所述装置还包括处理单元，用于：
对所述编码训练数据集中的视频片段进行归一化处理，以得到视频片段；
对所述视频片段进行分段处理；
根据分段处理后的所述视频片段，生成初始目标特征；
所述训练单元具体用于：
引入特征编码模块，将所述初始特征提取模块和特征编码模块构成编码训练模型；
采用所述编码训练数据集对所述编码训练模型进行编码训练；
保存编码训练后的所述初始特征提取模块并将其作为所述目标特征提取模块；
将所述编码训练数据集输入所述目标特征提取模块，以得到实际输出特征向量；
根据所述实际输出特征向量和初始目标特征进行特征通道筛选；
采用筛选出的特征通道输出的特征向量对所述初始异常值检测模块进行常规训练；
保存常规训练后的所述初始异常值检测模块并将其作为所述目标异常值检测模块；
将所述目标特征提取模块和目标异常值检测模块结合以得到所述目标异常值检测模型。
10.一种电子设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
CN201911421370.1A 2019-12-31 2019-12-31 基于特征编码的异常行为检测方法、装置及电子设备 Active CN111144375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911421370.1A CN111144375B (zh) 2019-12-31 2019-12-31 基于特征编码的异常行为检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911421370.1A CN111144375B (zh) 2019-12-31 2019-12-31 基于特征编码的异常行为检测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111144375A true CN111144375A (zh) 2020-05-12
CN111144375B CN111144375B (zh) 2022-07-05

Family

ID=70522965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911421370.1A Active CN111144375B (zh) 2019-12-31 2019-12-31 基于特征编码的异常行为检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111144375B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565763A (zh) * 2020-11-30 2021-03-26 北京达佳互联信息技术有限公司 异常图像样本生成方法及装置、图像检测方法及装置
CN112907949A (zh) * 2021-01-20 2021-06-04 北京百度网讯科技有限公司 交通异常的检测方法、模型的训练方法及装置
CN113221104A (zh) * 2021-05-12 2021-08-06 北京百度网讯科技有限公司 用户异常行为的检测方法及用户行为重构模型的训练方法
CN114662625A (zh) * 2022-05-26 2022-06-24 成都飞机工业（集团）有限责任公司 一种飞行参数数据重构方法、装置、设备及介质
CN114743136A (zh) * 2022-03-30 2022-07-12 中科融信科技有限公司 异常行为检测方法、装置和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805015A (zh) * 2018-04-26 2018-11-13 常州大学 加权卷积自编码长短期记忆网络人群异常检测方法
CN108881196A (zh) * 2018-06-07 2018-11-23 中国民航大学 基于深度生成模型的半监督入侵检测方法
CN109584221A (zh) * 2018-11-16 2019-04-05 聚时科技(上海)有限公司 一种基于监督式生成对抗网络的异常图像检测方法
CN109766927A (zh) * 2018-12-10 2019-05-17 清华大学 基于混合深度学习的高铁道岔智能故障检测方法
CN110007355A (zh) * 2019-04-15 2019-07-12 中国科学院电子学研究所 一种卷积自编码器及物体内部异常的检测方法和装置
US20190228312A1 (en) * 2018-01-25 2019-07-25 SparkCognition, Inc. Unsupervised model building for clustering and anomaly detection
CN110188637A (zh) * 2019-05-17 2019-08-30 西安电子科技大学 一种基于深度学习的行为识别技术方法
CN110232082A (zh) * 2019-06-13 2019-09-13 中国科学院新疆理化技术研究所 面向连续时空加油数据的异常检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190228312A1 (en) * 2018-01-25 2019-07-25 SparkCognition, Inc. Unsupervised model building for clustering and anomaly detection
CN108805015A (zh) * 2018-04-26 2018-11-13 常州大学 加权卷积自编码长短期记忆网络人群异常检测方法
CN108881196A (zh) * 2018-06-07 2018-11-23 中国民航大学 基于深度生成模型的半监督入侵检测方法
CN109584221A (zh) * 2018-11-16 2019-04-05 聚时科技(上海)有限公司 一种基于监督式生成对抗网络的异常图像检测方法
CN109766927A (zh) * 2018-12-10 2019-05-17 清华大学 基于混合深度学习的高铁道岔智能故障检测方法
CN110007355A (zh) * 2019-04-15 2019-07-12 中国科学院电子学研究所 一种卷积自编码器及物体内部异常的检测方法和装置
CN110188637A (zh) * 2019-05-17 2019-08-30 西安电子科技大学 一种基于深度学习的行为识别技术方法
CN110232082A (zh) * 2019-06-13 2019-09-13 中国科学院新疆理化技术研究所 面向连续时空加油数据的异常检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DONGLIN HE 等: "Latent Markov Chain Encoding for Abnormal Landing Event Detection", 《2019 3RD INTERNATIONAL CONFERENCE ON ELECTRONIC INFORMATION TECHNOLOGY AND COMPUTER ENGINEERING》, 18 May 2020 (2020-05-18), pages 1858 - 1862 *
JEFFERSON RYAN MEDEL 等: "Anomaly Detection in Video Using Predictive Convolutional Long Short-Term Memory Networks", 《ARXIV》, 15 December 2016 (2016-12-15), pages 1 - 27 *
SUKALYAN BHAKAT 等: "Anomaly Detection in Surveillance Videos", 《PROCEEDINGS OF THE ACM INDIA JOINT INTERNATIONAL CONFERENCE ON DATA SCIENCE AND MANAGEMENT OF DATA》, 3 January 2019 (2019-01-03), pages 252 - 255, XP058425400, DOI: 10.1145/3297001.3297034 *
XU-GANG ZHOU 等: "Abnormal Event Detection using Recurrent Neural Network", 《015 INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND APPLICATIONS (CSA)》, 16 January 2017 (2017-01-16), pages 222 - 226 *
许泽柯: "视频监控中的异常行为检测算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 July 2018 (2018-07-15), pages 136 - 332 *
陈文娴: "基于深度学习的小样本异常用电数据检测技术研究", 《中国优秀硕士学位论文全文数据库工程科技II辑》, 15 June 2019 (2019-06-15), pages 042 - 461 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565763A (zh) * 2020-11-30 2021-03-26 北京达佳互联信息技术有限公司 异常图像样本生成方法及装置、图像检测方法及装置
CN112907949A (zh) * 2021-01-20 2021-06-04 北京百度网讯科技有限公司 交通异常的检测方法、模型的训练方法及装置
CN112907949B (zh) * 2021-01-20 2022-11-22 北京百度网讯科技有限公司 交通异常的检测方法、模型的训练方法及装置
CN113221104A (zh) * 2021-05-12 2021-08-06 北京百度网讯科技有限公司 用户异常行为的检测方法及用户行为重构模型的训练方法
CN113221104B (zh) * 2021-05-12 2023-07-28 北京百度网讯科技有限公司 用户异常行为的检测方法及用户行为重构模型的训练方法
CN114743136A (zh) * 2022-03-30 2022-07-12 中科融信科技有限公司 异常行为检测方法、装置和存储介质
CN114662625A (zh) * 2022-05-26 2022-06-24 成都飞机工业（集团）有限责任公司 一种飞行参数数据重构方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111144375B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN111144375B (zh) 基于特征编码的异常行为检测方法、装置及电子设备
CN111160485B (zh) 基于回归训练的异常行为检测方法、装置及电子设备
CN106960219B (zh) 图片识别方法及装置、计算机设备及计算机可读介质
US11200424B2 (en) Space-time memory network for locating target object in video content
JP6755849B2 (ja) 人工ニューラルネットワークのクラスに基づく枝刈り
CN108073902B (zh) 基于深度学习的视频总结方法、装置及终端设备
WO2021189844A1 (zh) 多元kpi时间序列的检测方法、装置、设备及存储介质
CN107784322B (zh) 异常数据检测方法、装置、存储介质以及程序产品
CN111914559B (zh) 基于概率图模型的文本属性抽取方法、装置及计算机设备
CN108053410A (zh) 运动目标分割方法及装置
CN111382759B (zh) 一种像素级分类方法、装置、设备及存储介质
CN113556442B (zh) 视频去噪方法、装置、电子设备及计算机可读存储介质
CN116189172B (zh) 一种3d目标检测方法、设备、存储介质和芯片
CN111489803B (zh) 基于自回归模型的报告单编码模型生成方法、系统和设备
CN113065525A (zh) 年龄识别模型训练方法、人脸年龄识别方法及相关装置
CN113971732A (zh) 小目标检测方法、装置、可读存储介质及电子设备
CN114037893A (zh) 一种基于卷积神经网络的高分辨率遥感图像建筑提取方法
CN110659641A (zh) 一种文字识别的方法、装置及电子设备
CN110728351A (zh) 数据处理方法、相关设备及计算机存储介质
CN116597263A (zh) 图像合成模型的训练方法及相关装置
CN115810152A (zh) 基于图卷积的遥感图像变化检测方法、装置和计算机设备
CN113762241A (zh) 场景文字识别模型的训练方法与识别方法及装置
CN110457703B (zh) 一种基于改进卷积神经网络的文本分类方法、装置和设备
CN111723917B (zh) 运算方法、装置及相关产品
CN111444895A (zh) 视频处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220914

Address after: 610041 No. two, No. two, South Ring Road, Chengdu, Sichuan, 17

Patentee after: THE SECOND RESEARCH INSTITURE OF CAAC

Patentee after: CHENGDU CIVIL AVIATION AIR TRAFFIC CONTROL SCIENCE & TECHNOLOGY Co.,Ltd.

Address before: 610041 No. two, No. two, South Ring Road, Chengdu, Sichuan, 17

Patentee before: THE SECOND RESEARCH INSTITURE OF CAAC

TR01 Transfer of patent right