CN114519709A - 一种视频检测方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种视频检测方法、装置、设备和存储介质。该方法包括：基于对抗生成网络所包含的生成模块和判别模块，以及光流模块，构建视频检测模型，生成模块包括注意力机制单元，判别模块包括自注意力机制单元；根据强度损失、梯度损失、光流损失和对抗损失构建损失函数，并基于损失函数优化视频检测模型，直至损失函数收敛，得到训练好的视频检测模型；将待测视频以堆叠的连续视频帧形式和待测视频对应的真实帧输入训练好的视频检测模型，以使训练好的视频检测模型基于光流模块和生成模块确定连续视频帧的预测帧，基于判别模块比对预测帧和所述真实帧，并根据比对结果确定检测结果。上述技术方案，提升了视频检测的效率和准确率。

Description

一种视频检测方法、装置、设备和存储介质

技术领域

本发明实施例涉及信息处理技术，尤其涉及一种视频检测方法、装置、设备和存储介质。

背景技术

视频序列异常事件检测是计算机视觉中一个重要的研究课题，已被广泛应用，如人群监控、公共场所检测、交通安全和个人行为异常。其目的是采用智能监控技术从视频数据中的绝大多数正常事件中检测到少量异常事件，并及时发出警报以便于做好相关措施。

面对海量的视频数据，传统的基于手工特征的视频检测方法需要耗费大量的人力和物力。

因此，亟需一种视频检测方法，以提升视频检测的效率。

发明内容

本发明提供一种视频检测方法，以提升视频检测的效率。

第一方面，本发明实施例提供了一种视频检测方法，包括：

基于对抗生成网络所包含的生成模块和判别模块，以及光流模块，构建视频检测模型，所述生成模块包括注意力机制单元，所述判别模块包括自注意力机制单元；

根据强度损失、梯度损失、光流损失和对抗损失构建损失函数，并基于所述损失函数优化所述视频检测模型，直至所述损失函数收敛，得到训练好的视频检测模型；

将待测视频以堆叠的连续视频帧形式和所述待测视频对应的真实帧输入所述训练好的视频检测模型，以使所述训练好的视频检测模型基于所述光流模块和所述生成模块确定所述连续视频帧的预测帧，基于所述判别模块比对所述预测帧和所述真实帧，并根据比对结果确定检测结果。

本发明实施例提供一种视频检测方法，包括：基于对抗生成网络所包含的生成模块和判别模块，以及光流模块，构建视频检测模型，所述生成模块包括注意力机制单元，所述判别模块包括自注意力机制单元；根据强度损失、梯度损失、光流损失和对抗损失构建损失函数，并基于所述损失函数优化所述视频检测模型，直至所述损失函数收敛，得到训练好的视频检测模型；将待测视频以堆叠的连续视频帧形式和所述待测视频对应的真实帧输入所述训练好的视频检测模型，以使所述训练好的视频检测模型基于所述光流模块和所述生成模块确定所述连续视频帧的预测帧，基于所述判别模块比对所述预测帧和所述真实帧，并根据比对结果确定检测结果。上述技术方案，在生成模块中加入了注意力机制单元，使得生成的预测帧能够融入多尺度特征信息，在判别模块中加入了自注意力机制，对特征图进行逐步处理，可以过滤掉不重要的信息，并让更重要的视频信息保留下来，从而使得判别结果更加贴近现实情况，提升了视频检测的效率和准确率。

进一步地，根据强度损失、梯度损失、光流损失和对抗损失构建损失函数，并基于所述损失函数优化所述视频检测模型，直至所述损失函数收敛，得到训练好的视频检测模型，包括：

将训练视频以堆叠的连续视频帧形式和所述训练视频对应的训练真实帧作为训练数据对所述视频检测模型进行网络训练，并计算由所述强度损失、所述梯度损失、所述光流损失和所述对抗损失构建的所述损失函数；

基于反向传播算法对所述视频检测模型进行网络优化，直至所述损失函数收敛，得到训练好的视频检测模型。

进一步地，将训练视频以堆叠的连续视频帧形式和所述训练视频对应的训练真实帧作为训练数据对所述视频检测模型进行网络训练，并计算由所述强度损失、所述梯度损失、所述光流损失和所述对抗损失构建的所述损失函数，包括：

将所述训练视频以堆叠的连续视频帧形式输入所述视频检测模型中，得到所述训练视频对应的训练预测帧；

根据所述训练预测帧和所述训练真实帧计算所述损失函数。

进一步地，基于所述判别模块比对所述预测帧和所述真实帧，并根据比对结果确定检测结果，包括：

基于所述判别模块比对所述预测帧和所述真实帧，以确定所述预测帧和所述真实帧的峰值信噪比；

比较所述峰值信噪比和所述训练好的视频检测模型中预存的预设峰值信噪比，并根据比较结果确定所述检测结果。

进一步地，基于所述判别模块比对所述预测帧和所述真实帧，以确定所述预测帧和所述真实帧的峰值信噪比，包括：

将所述预测帧划分为多个区域图像，根据所述真实帧和各所述区域图像确定各所述区域图像的峰值信噪比；

根据各所述区域图像的峰值信噪比的均值，确定所述预测帧和所述真实帧的所述峰值信噪比。

进一步地，所述生成模块还包括：卷积单元、反卷积单元、最大池化单元和跳跃连接单元。

进一步地，所述判别模块还包括：卷积单元和Sigmoid运算单元。

第二方面，本发明实施例还提供了一种视频检测装置，包括：

构建模块，用于基于对抗生成网络所包含的生成模块和判别模块，以及光流模块，构建视频检测模型，所述生成模块包括注意力机制单元，所述判别模块包括自注意力机制单元；

优化模块，用于根据强度损失、梯度损失、光流损失和对抗损失构建损失函数，并基于所述损失函数优化所述视频检测模型，直至所述损失函数收敛，得到训练好的视频检测模型；

确定模块，用于将待测视频以堆叠的连续视频帧形式和所述待测视频对应的真实帧输入所述训练好的视频检测模型，以使所述训练好的视频检测模型基于所述光流模块和所述生成模块确定所述连续视频帧的预测帧，基于所述判别模块比对所述预测帧和所述真实帧，并根据比对结果确定检测结果。

第三方面，本发明实施例还提供了一种计算机设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一所述的视频检测方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面中任一所述的视频检测方法。

第五方面，本申请提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在计算机上运行时，使得计算机执行如第一方面提供的视频检测方法。

需要说明的是，上述计算机指令可以全部或者部分存储在计算机可读存储介质上。其中，计算机可读存储介质可以与视频检测装置的处理器封装在一起的，也可以与视频检测装置的处理器单独封装，本申请对此不做限定。

本申请中第二方面、第三方面、第四方面以及第五方面的描述，可以参考第一方面的详细描述；并且，第二方面、第三方面、第四方面、以及第五方面的描述的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。

在本申请中，上述视频检测装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似，属于本申请权利要求及其等同技术的范围之内。

本申请的这些方面或其他方面在以下的描述中会更加简明易懂。

附图说明

图1为本发明实施例一提供的一种视频检测方法的流程图；

图2为本发明实施例二提供的一种视频检测方法的流程图；

图3为本发明实施例二提供的一种视频检测方法中生成模块的示意图；

图4为本发明实施例二提供的一种视频检测方法中判别模块的示意图；

图5为本发明实施例二提供的一种视频检测方法中D卷积网络的示意图；

图6为本发明实施例二提供的一种视频检测方法中PSNR的曲线图；

图7为本发明实施例三提供的一种视频检测装置的结构示意图；

图8为本发明实施例四提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。

此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选的还包括其他没有列出的步骤或单元，或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

实施例一

图1为本发明实施例一提供的一种视频检测方法的流程图，本实施例可适用于需要提升视频检测效率的情况，该方法可以由视频检测装置来执行，如图1所示，具体包括如下步骤：

步骤110、基于对抗生成网络所包含的生成模块和判别模块，以及光流模块，构建视频检测模型。

其中，生成模块包括注意力机制单元，判别模块包括自注意力机制单元。

为了保证预测图像质量，可以采用对抗生成网络生成预测帧。为了能够对输入特征图的不同区域分配不同关注度，可以在对抗生成网络所包含的生成模块中加入注意力机制单元，在对抗生成网络所包含的判别模块中加入自注意力机制单元。

具体地，视频检测模型所包含的生成模块可以用于生成连续视频帧对应的预测帧。视频检测模型所包含的光流模块可以用于保持预测帧的像素运动的连贯性，当然，也可以用于保持真实帧的像素运动的连贯性。视频检测模型所包含的判别模块用于确定真实帧和预测帧的峰值信噪比，并根据峰值信噪比确定连续视频帧对应的视频的检测结果。

本发明实施例中，生成模块加入注意力机制单元，判别模型加入自注意力机制单元后构成的对抗生成网络，与光流模块构成的视频检测模型可以确定图像质量更好以及像素运动更加连贯的预测帧，进而根据预测帧和真实帧可以确定更加准确的视频检测结果。

步骤120、根据强度损失、梯度损失、光流损失和对抗损失构建损失函数，并基于所述损失函数优化所述视频检测模型，直至所述损失函数收敛，得到训练好的视频检测模型。

为了保证预测帧与真实帧的像素级外观一致性，使用强度约束和梯度约束，最小化真实帧与预测帧的强度差与梯度差。为了保持预测帧像素运动的连贯性，采用了运动光流约束。强度约束可以确定强度损失，梯度约束可以确定梯度损失，光流约束可以确定光流损失，强度损失、梯度损失和光流损失结合对抗生成网络的对抗训练损失，可以构建损失函数。

在构建损失函数后，可以基于损失函数优化视频检测模型，具体可以在训练视频检测模型时，计算损失函数，并基于反向传播算法对视频检测模型进行网络优化，直至损失函数收敛，得到训练好的视频检测模型。

本发明实施例中，对视频检测模型进行训练得到训练好的视频检测模型，训练好的视频检测模型可以用于视频检测，且检测的效率和准确率较高。

步骤130、将待测视频以堆叠的连续视频帧形式和所述待测视频对应的真实帧输入所述训练好的视频检测模型，以使所述训练好的视频检测模型基于所述光流模块和所述生成模块确定所述连续视频帧的预测帧，基于所述判别模块比对所述预测帧和所述真实帧，并根据比对结果确定检测结果。

具体地，待测视频经过处理后，可以得到T帧的连续视频帧。将T帧的连续视频帧以堆叠形式输入训练好的视频检测模型中，可以基于光流模块和生成模块确定连续视频帧对应的预测帧，当然，在将T帧的连续视频帧以堆叠形式输入训练好的视频检测模型的同时，还可以将T帧的连续视频帧之后的一帧视频作为待测视频的真实帧输入训练好的视频检测模型。进而，可以基于判别模块比对真实帧和预测帧，得到的比对结果为一个0到1之间的最终分数，该最终分数可以表示检测结果为正常或者异常的概率值。在实际应用中，如果最终分数大于预设值，则可以确定检测结果为正常，否则，确定检测结果为异常。

本发明实施例中，在生成模块中加入了注意力机制单元，使得生成的预测帧能够融入多尺度特征信息，在判别模块中加入了自注意力机制，对特征图进行逐步处理，可以过滤掉不重要的信息，并让更重要的视频信息保留下来，从而使得判别结果更加贴近现实情况。

本发明实施例一提供的一种视频检测方法，包括：基于对抗生成网络所包含的生成模块和判别模块，以及光流模块，构建视频检测模型，所述生成模块包括注意力机制单元，所述判别模块包括自注意力机制单元；根据强度损失、梯度损失、光流损失和对抗损失构建损失函数，并基于所述损失函数优化所述视频检测模型，直至所述损失函数收敛，得到训练好的视频检测模型；将待测视频以堆叠的连续视频帧形式和所述待测视频对应的真实帧输入所述训练好的视频检测模型，以使所述训练好的视频检测模型基于所述光流模块和所述生成模块确定所述连续视频帧的预测帧，基于所述判别模块比对所述预测帧和所述真实帧，并根据比对结果确定检测结果。上述技术方案，在生成模块中加入了注意力机制单元，使得生成的预测帧能够融入多尺度特征信息，在判别模块中加入了自注意力机制，对特征图进行逐步处理，可以过滤掉不重要的信息，并让更重要的视频信息保留下来，从而使得判别结果更加贴近现实情况，提升了视频检测的效率和准确率。

实施例二

图2为本发明实施例二提供的一种视频检测方法的流程图，本实施例是在上述实施例的基础上进行具体化。如图2所示，在本实施例中，该方法还可以包括：

步骤210、基于对抗生成网络所包含的生成模块和判别模块，以及光流模块，构建视频检测模型。

图3为本发明实施例二提供的一种视频检测方法中生成模块的示意图，如图3所示，Convolution表示卷积，Max Pooling表示最大值池化，Deconvolution表示反卷积，Gating Signal表示门信号，Skip Connection表示跳跃连接，Concatenation表示串联，Attention Gate表示注意力机制。生成模块包括注意力机制单元、卷积单元、反卷积单元、最大池化单元和跳跃连接单元。生成模型是一个近似对称的四层架构，实现了输入前帧视频图像，输出之后第T+1帧视频图像的功能。对于输入张量，将经过预处理的视频帧的前帧堆叠，由于每个RGB图像有三个通道数量，所以整体组成长宽不变，通道个数为T的输入张量。不同于传统的U-Net网络，在模型的每层中维持相邻两个卷积操作的特征图大小不变，这样在送入注意力机制单元时不需要对分辨率大小进行改变。生成模块中卷积和反卷积操作的核大小都设置为3×3，最大池化层的核大小设置为2×2。

A表示生成模型中的注意力机制单元，对于浅层特征映射而言，注意力机制单元学习到了图像中的前景目标的位置和类别，但是没有深层学到的特征高级。传统U-Net仅仅把同层的编码层的特征直接拼接到解码层中，把注意力机制单元用在跳跃连接单元上，改进后的生成模块可以将编码层最后的特征图与对应下层解码层最后的特征图先经过注意力机制单元处理后再和解码层反卷积后的特征图进行拼接，即保持特征图大小不变，在通道维度上进行堆叠。在保留位置信息的同时滤除无关区域特征，根据深层特征进行引导，突出有价值的特定显著特征。

注意力机制用于计算机视觉中时，也称为视觉显著性，它本身没有特定的数学定义，其一般为一个特殊的神经网络结构，能够对输入特征图的不同区域分配不同关注度。引入注意力机制的优势主要表现在：使得有限的计算资源能够更为合理地进行分配，更符合人类大脑的信息处理方法。

将图像输入生成模型后，注意力机制单元会对图像内容进行理解并输出描述性文字，还会以高亮区域展示不同注意力。

图4为本发明实施例二提供的一种视频检测方法中判别模块的示意图，如图4所示，Input表示判别模块的输入，Score1、Score2…ScoreN表示N个图像块各自通过D卷积网络得到的分数，对Score1、Score2…ScoreN求取平均值后，可以得到Final Score，FinalScore表示最终分数。判别模块包括自注意力机制单元、卷积单元和Sigmoid运算单元。针对高频信息的建模，判别模块不需要输入整张图片，可以采取最简单的局部图像块的方法。判别模块关注于块规模的结构，即只需要判断一定大小的图像块经过判别模块的结果是真或假，判别模块最后的输出即为所有图像块判别结果的平均值。每次只输入一个块区域大小的图像，然后让判别模块对这个块区域图像判断是否为真，采用类似CNN滑窗的方法得到每个块区域的判别模块输出值，将这些输出值进行平均得到最后判别模块的输出结果。减少了模型的网络参数数量，提升训练效率。对于不同规格的图片也能同时训练。

判别模块整体输出为一个0到1之间的最终分数，表示判别为真或假的概率值。而这个最终分数是输入图像分割成的N个图像块各自通过D卷积网络得到的分数的平均值。D卷积网络加入了自注意力机制单元，并且其输出也是经过Sigmoid之后的0到1之间的分数。

图5为本发明实施例二提供的一种视频检测方法中D卷积网络的示意图，如图5所示，SA为自注意力模块，判别模块包括5层卷积单元、自注意力机制单元(Self-AttentionGate)和Sigmoid运算单元，所有卷积单元采用4×4卷积核，前四个卷积单元步长s为2，滤波器个数依次倍增，每层具体而言都依次进行Convolution、Normalization、Relu操作。在第三个以及第四个卷积单元后加入自注意力单元。最后，通过一层步长为1，卷积核个数为1的卷积操作，将特征图展平并进行Sigmoid运算得到最终真或假的概率值分数。

另外，通过光流模块可以得到相邻两帧的光流运动谱。

本发明实施例中，生成模块加入注意力机制单元，判别模型加入自注意力机制单元后构成的对抗生成网络，与光流模块构成的视频检测模型可以确定图像质量更好以及像素运动更加连贯的预测帧，进而根据预测帧和真实帧可以确定更加准确的视频检测结果。

步骤220、将训练视频以堆叠的连续视频帧形式和所述训练视频对应的训练真实帧作为训练数据对所述视频检测模型进行网络训练，并计算由所述强度损失、所述梯度损失、所述光流损失和所述对抗损失构建的所述损失函数。

一种实施方式中，步骤220具体可以包括：

将所述训练视频以堆叠的连续视频帧形式输入所述视频检测模型中，得到所述训练视频对应的训练预测帧；根据所述训练预测帧和所述训练真实帧计算所述损失函数。

步骤230、基于反向传播算法对所述视频检测模型进行网络优化，直至所述损失函数收敛，得到训练好的视频检测模型。

本发明实施例中，对视频检测模型进行训练得到训练好的视频检测模型，训练好的视频检测模型可以用于视频检测，且检测的效率和准确率较高。

步骤240、将待测视频以堆叠的连续视频帧形式和所述待测视频对应的真实帧输入所述训练好的视频检测模型，以使所述训练好的视频检测模型基于所述光流模块和所述生成模块确定所述连续视频帧的预测帧，基于所述判别模块比对所述预测帧和所述真实帧，并根据比对结果确定检测结果。

一种实施方式中，步骤240具体可以包括：

确定所述预测帧和所述真实帧的峰值信噪比；比较所述峰值信噪比和所述训练好的视频检测模型中预存的预设峰值信噪比，并根据比较结果确定检测结果。

一种实施方式中，确定所述预测帧和所述真实帧的峰值信噪比，包括：

将所述预测帧划分为多个区域图像，根据所述真实帧和各所述区域图像确定各所述区域图像的峰值信噪比；根据各所述区域图像的峰值信噪比的均值，确定所述预测帧和所述真实帧的所述峰值信噪比。

在实际应用中，以人行道上行走的两人遇上突然闯入的汽车为例，前75帧是正常的两人在人行道上行走，在75帧时突然闯入一辆汽车。但是预测模型是根据前T帧生成下一帧，所以预测的结果中并没有汽车的出现，这将导致峰值信噪比PSNR值突然下降，随着汽车逐渐进入摄像头范围内，真实帧与预测帧的差异越来越大，PSNR值持续下降。在第85帧时，视频预测模型已经捕捉到这个运动的物体，并且由于运动光流约束的存在，可以很好预测出该物体下一帧的运行情况与位置。但是视频预测模型并不知道是什么物体，无法生成清晰轮廓细节的汽车，从而PSNR结果也会维持在较低水平。虽然不够清晰，但因为视频预测模型有强度、梯度、运动光流以及加注意力机制的对抗性训练约束的存在，保障了生成图像一定的质量，在第90帧后预测生成的汽车图像质量有所提升，PSNR值也会少许提升并且逐渐稳定在一个水平值。

图6为本发明实施例二提供的一种视频检测方法中PSNR的曲线图，如图6所示，通过可视化的结果分析，可以确定正常事件与异常事件下帧运动与PSNR曲线的变化情况，PSNR表示峰值信噪比，选定PSNR阈值为40便可以明确区分这两个场景下的正常事件与异常事件。

本发明实施例二提供的一种视频检测方法，包括：基于对抗生成网络所包含的生成模块和判别模块，以及光流模块，构建视频检测模型，所述生成模块包括注意力机制单元，所述判别模块包括自注意力机制单元；将训练视频以堆叠的连续视频帧形式和所述训练视频对应的训练真实帧作为训练数据对所述视频检测模型进行网络训练，并计算由所述强度损失、所述梯度损失、所述光流损失和所述对抗损失构建的所述损失函数；基于反向传播算法对所述视频检测模型进行网络优化，直至所述损失函数收敛，得到训练好的视频检测模型；将待测视频以堆叠的连续视频帧形式和所述待测视频对应的真实帧输入所述训练好的视频检测模型，以使所述训练好的视频检测模型基于所述光流模块和所述生成模块确定所述连续视频帧的预测帧，基于所述判别模块比对所述预测帧和所述真实帧，并根据比对结果确定检测结果。上述技术方案，

实施例三

图7为本发明实施例三提供的一种视频检测装置的结构示意图，该装置可以适用于需要提升视频检测效率的情况。该装置可以通过软件和/或硬件实现，并一般集成在计算机设备中。

如图7所示，该装置包括：

构建模块710，用于基于对抗生成网络所包含的生成模块和判别模块，以及光流模块，构建视频检测模型，所述生成模块包括注意力机制单元，所述判别模块包括自注意力机制单元；

优化模块720，用于根据强度损失、梯度损失、光流损失和对抗损失构建损失函数，并基于所述损失函数优化所述视频检测模型，直至所述损失函数收敛，得到训练好的视频检测模型；

确定模块730，用于将待测视频以堆叠的连续视频帧形式和所述待测视频对应的真实帧输入所述训练好的视频检测模型，以使所述训练好的视频检测模型基于所述光流模块和所述生成模块确定所述连续视频帧的预测帧，基于所述判别模块比对所述预测帧和所述真实帧，并根据比对结果确定检测结果。

本实施例提供的视频检测装置，基于对抗生成网络所包含的生成模块和判别模块，以及光流模块，构建视频检测模型，所述生成模块包括注意力机制单元，所述判别模块包括自注意力机制单元；根据强度损失、梯度损失、光流损失和对抗损失构建损失函数，并基于所述损失函数优化所述视频检测模型，直至所述损失函数收敛，得到训练好的视频检测模型；将待测视频以堆叠的连续视频帧形式和所述待测视频对应的真实帧输入所述训练好的视频检测模型，以使所述训练好的视频检测模型基于所述光流模块和所述生成模块确定所述连续视频帧的预测帧，基于所述判别模块比对所述预测帧和所述真实帧，并根据比对结果确定检测结果。上述技术方案，在生成模块中加入了注意力机制单元，使得生成的预测帧能够融入多尺度特征信息，在判别模块中加入了自注意力机制，对特征图进行逐步处理，可以过滤掉不重要的信息，并让更重要的视频信息保留下来，从而使得判别结果更加贴近现实情况，提升了视频检测的效率和准确率。

在上述实施例的基础上，优化模块720，具体用于：

将训练视频以堆叠的连续视频帧形式和所述训练视频对应的训练真实帧作为训练数据对所述视频检测模型进行网络训练，并计算由所述强度损失、所述梯度损失、所述光流损失和所述对抗损失构建的所述损失函数；

基于反向传播算法对所述视频检测模型进行网络优化，直至所述损失函数收敛，得到训练好的视频检测模型。

一种实施方式中，将训练视频以堆叠的连续视频帧形式和所述训练视频对应的训练真实帧作为训练数据对所述视频检测模型进行网络训练，并计算由所述强度损失、所述梯度损失、所述光流损失和所述对抗损失构建的所述损失函数，包括：

将所述训练视频以堆叠的连续视频帧形式输入所述视频检测模型中，得到所述训练视频对应的训练预测帧；

根据所述训练预测帧和所述训练真实帧计算所述损失函数。

在上述实施例的基础上，确定模块730，具体用于：

将待测视频以堆叠的连续视频帧形式和所述待测视频对应的真实帧输入所述训练好的视频检测模型，以使所述训练好的视频检测模型基于所述光流模块和所述生成模块确定所述连续视频帧的预测帧；

基于所述判别模块比对所述预测帧和所述真实帧，以确定所述预测帧和所述真实帧的峰值信噪比；

比较所述峰值信噪比和所述训练好的视频检测模型中预存的预设峰值信噪比，并根据比较结果确定所述检测结果。

一种实施方式中，基于所述判别模块比对所述预测帧和所述真实帧，以确定所述预测帧和所述真实帧的峰值信噪比，包括：

将所述预测帧划分为多个区域图像，根据所述真实帧和各所述区域图像确定各所述区域图像的峰值信噪比；

根据各所述区域图像的峰值信噪比的均值，确定所述预测帧和所述真实帧的所述峰值信噪比。

一种实施方式中，所述生成模块还包括：卷积单元、反卷积单元、最大池化单元和跳跃连接单元。

一种实施方式中，所述判别模块还包括：卷积单元和Sigmoid运算单元。

本发明实施例所提供的视频检测装置可执行本发明任意实施例所提供的视频检测方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述视频检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例四

图8为本发明实施例四提供的一种计算机设备的结构示意图。图8示出了适于用来实现本发明实施方式的示例性计算机设备8的框图。图8显示的计算机设备8仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算机设备8以通用计算计算机设备的形式表现。计算机设备8的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备8典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备8访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备8可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备8也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备8交互的设备通信，和/或与使得该计算机设备8能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备8还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图8所示，网络适配器20通过总线18与计算机设备8的其它模块通信。应当明白，尽管图8中未示出，可以结合计算机设备8使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及页面显示，例如实现本发实施例所提供的视频检测方法，该方法包括：

基于对抗生成网络所包含的生成模块和判别模块，以及光流模块，构建视频检测模型，所述生成模块包括注意力机制单元，所述判别模块包括自注意力机制单元；

根据强度损失、梯度损失、光流损失和对抗损失构建损失函数，并基于所述损失函数优化所述视频检测模型，直至所述损失函数收敛，得到训练好的视频检测模型；

将待测视频以堆叠的连续视频帧形式和所述待测视频对应的真实帧输入所述训练好的视频检测模型，以使所述训练好的视频检测模型基于所述光流模块和所述生成模块确定所述连续视频帧的预测帧，基于所述判别模块比对所述预测帧和所述真实帧，并根据比对结果确定检测结果。

当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的视频检测方法的技术方案。

实施例五

本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现例如本发实施例所提供的视频检测方法，该方法包括：

基于对抗生成网络所包含的生成模块和判别模块，以及光流模块，构建视频检测模型，所述生成模块包括注意力机制单元，所述判别模块包括自注意力机制单元；

根据强度损失、梯度损失、光流损失和对抗损失构建损失函数，并基于所述损失函数优化所述视频检测模型，直至所述损失函数收敛，得到训练好的视频检测模型；

将待测视频以堆叠的连续视频帧形式和所述待测视频对应的真实帧输入所述训练好的视频检测模型，以使所述训练好的视频检测模型基于所述光流模块和所述生成模块确定所述连续视频帧的预测帧，基于所述判别模块比对所述预测帧和所述真实帧，并根据比对结果确定检测结果。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种视频检测方法，其特征在于，包括：

基于对抗生成网络所包含的生成模块和判别模块，以及光流模块，构建视频检测模型，所述生成模块包括注意力机制单元，所述判别模块包括自注意力机制单元；

根据强度损失、梯度损失、光流损失和对抗损失构建损失函数，并基于所述损失函数优化所述视频检测模型，直至所述损失函数收敛，得到训练好的视频检测模型；

将待测视频以堆叠的连续视频帧形式和所述待测视频对应的真实帧输入所述训练好的视频检测模型，以使所述训练好的视频检测模型基于所述光流模块和所述生成模块确定所述连续视频帧的预测帧，基于所述判别模块比对所述预测帧和所述真实帧，并根据比对结果确定检测结果。

2.根据权利要求1所述的视频检测方法，其特征在于，根据强度损失、梯度损失、光流损失和对抗损失构建损失函数，并基于所述损失函数优化所述视频检测模型，直至所述损失函数收敛，得到训练好的视频检测模型，包括：

将训练视频以堆叠的连续视频帧形式和所述训练视频对应的训练真实帧作为训练数据对所述视频检测模型进行网络训练，并计算由所述强度损失、所述梯度损失、所述光流损失和所述对抗损失构建的所述损失函数；

基于反向传播算法对所述视频检测模型进行网络优化，直至所述损失函数收敛，得到训练好的视频检测模型。

3.根据权利要求2所述的视频检测方法，其特征在于，将训练视频以堆叠的连续视频帧形式和所述训练视频对应的训练真实帧作为训练数据对所述视频检测模型进行网络训练，并计算由所述强度损失、所述梯度损失、所述光流损失和所述对抗损失构建的所述损失函数，包括：

将所述训练视频以堆叠的连续视频帧形式输入所述视频检测模型中，得到所述训练视频对应的训练预测帧；

根据所述训练预测帧和所述训练真实帧计算所述损失函数。

4.根据权利要求1所述的视频检测方法，其特征在于，基于所述判别模块比对所述预测帧和所述真实帧，并根据比对结果确定检测结果，包括：

基于所述判别模块比对所述预测帧和所述真实帧，以确定所述预测帧和所述真实帧的峰值信噪比；

比较所述峰值信噪比和所述训练好的视频检测模型中预存的预设峰值信噪比，并根据比较结果确定所述检测结果。

5.根据权利要求4所述的视频检测方法，其特征在于，基于所述判别模块比对所述预测帧和所述真实帧，以确定所述预测帧和所述真实帧的峰值信噪比，包括：

将所述预测帧划分为多个区域图像，根据所述真实帧和各所述区域图像确定各所述区域图像的峰值信噪比；

根据各所述区域图像的峰值信噪比的均值，确定所述预测帧和所述真实帧的所述峰值信噪比。

6.根据权利要求1所述的视频检测方法，其特征在于，所述生成模块还包括：卷积单元、反卷积单元、最大池化单元和跳跃连接单元。

7.根据权利要求1所述的视频检测方法，其特征在于，所述判别模块还包括：卷积单元和Sigmoid运算单元。

8.一种视频检测装置，其特征在于，包括：

构建模块，用于基于对抗生成网络所包含的生成模块和判别模块，以及光流模块，构建视频检测模型，所述生成模块包括注意力机制单元，所述判别模块包括自注意力机制单元；

优化模块，用于根据强度损失、梯度损失、光流损失和对抗损失构建损失函数，并基于所述损失函数优化所述视频检测模型，直至所述损失函数收敛，得到训练好的视频检测模型；

确定模块，用于将待测视频以堆叠的连续视频帧形式和所述待测视频对应的真实帧输入所述训练好的视频检测模型，以使所述训练好的视频检测模型基于所述光流模块和所述生成模块确定所述连续视频帧的预测帧，基于所述判别模块比对所述预测帧和所述真实帧，并根据比对结果确定检测结果。

9.一种计算机设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的视频检测方法。

10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的视频检测方法。

Images