CN114550300A - 视频数据分析方法、装置、电子设备及计算机存储介质 - Google Patents

Abstract

本公开提供了数据分析方法、装置、电子设备及计算机存储介质，计算机技术领域，尤其涉及计算机视觉、大数据、深度学习等人工智能技术领域。具体实现方案为：确定待分析的视频数据中包括的独立动作信息；独立动作信息对应于多个视频帧，对应于同样独立动作信息的多个视频帧，具有符合设定的一致性条件的图像特征；根据独立动作信息和待分析的视频数据，获得待分析的视频数据片段；对待分析的视频数据片段进行动作内容分析，获得第一分析结果；根据第一分析结果，得到待分析的视频数据的第二分析结果。本公开实施例能够从大量视频中筛选出包含违规动作的视频数据。

Description

视频数据分析方法、装置、电子设备及计算机存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及计算机视觉、大数据、深度学 习等人工智能技术领域。

背景技术

随着计算机技术的发展，网络成为人们日常生活、生产、学习等活动 必不可少的工具。网络上的信息内容多种多样，主要包括文字类型的信息、 图像类型的信息、音频类型的信息和视频类型的信息等。由于目前的计算 机设备，包括便携移动终端等，几乎均具备视频拍摄功能，因此，网络上 的视频类型的信息数量也越来越多，网络用户观看视频类型的信息的行为 也越来越多。

随着视频数据数量的增多，视频数据的质量也呈现出参差不齐的现象。 如果视频数据中存在质量差，比如违规动作，不仅会给观看者带来不好的 观看体验，且可能对青少年等特殊群体产生不良影响。

发明内容

本公开提供了一种数据分析方法、装置、电子设备及计算机存储介质。

根据本公开的一方面，提供了一种视频数据分析方法，包括：

确定待分析的视频数据中包括的独立动作信息；独立动作信息对应于 多个视频帧，对应于同样独立动作信息的多个视频帧，具有符合设定的一 致性条件的图像特征；

根据独立动作信息和待分析的视频数据，获得待分析的视频数据片段；

对待分析的视频数据片段进行动作内容分析，获得第一分析结果；

根据第一分析结果，得到待分析的视频数据的第二分析结果。

根据本公开的另一方面，提供了一种数据分析装置，包括：

独立动作信息模块，用于确定待分析的视频数据中包括的独立动作信 息；独立动作信息对应于多个视频帧，对应于同样独立动作信息的多个视 频帧，具有符合设定的一致性条件的图像特征；

视频数据片段模块，用于根据独立动作信息和待分析的视频数据，获 得待分析的视频数据片段；

第一分析结果模块，用于对待分析的视频数据片段进行动作内容分析， 获得第一分析结果；

第二分析结果模块，用于根据第一分析结果，得到待分析的视频数据 的第二分析结果。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少 一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的 方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算 机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的 方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程 序/指令，该计算机程序/指令被处理器执行时实现本公开任一实施例中的 方法。

根据本公开的技术，能够根据待分析的视频数据中的独立动作信息， 对待分析的视频数据进行内容分析，确定关于视频数据片段的分析结果， 从而能够筛选出包含违规动作信息的视频数据，比如包含违规动作信息的 视频数据，不仅有利于筛选出网络视频中的违规视频，还能够应用于监控、 安防等场景，减少人工筛查、分析操作。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键 或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下 的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开一实施例的视频数据分析方法示意图；

图2是根据本公开另一实施例的视频数据分析方法示意图；

图3是根据本公开又一实施例的视频数据分析方法示意图；

图4是根据本公开一示例的视频数据分析方法示意图；

图5是根据本公开一示例的视频数据分段示意图；

图6是根据本公开另一示例的视频数据分段示意图；

图7是根据本公开一示例的视频数据分析模型处理视频数据示意图；

图8是根据本公开一示例的视频数据分析方法流程示意图；

图9是根据本公开一实施例的视频数据分析装置示意图；

图10是根据本公开另一实施例的视频数据分析装置示意图；

图11是根据本公开又一实施例的视频数据分析装置示意图；

图12是根据本公开又一实施例的视频数据分析装置示意图；

图13是用来实现本公开实施例的数据处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实 施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本 领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和 修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的 描述中省略了对公知功能和结构的描述。

本公开实施例根据本公开的实施例，提供了一种视频数据分析方法， 图1是根据本公开实施例的视频数据分析方法的流程示意图，该方法可以 应用于可利用前端或有段执行指令的电子设备，例如，该装置可以部署于 终端或服务器或其它处理设备执行的情况下，可以执行目标信息的内容的 获取、稳定性的确定等步骤。其中，终端可以为用户设备(UE，User Equipment)、移动设备、蜂窝电话、无绳电话、个人数字处理(PDA， PersonalDigital Assistant)、手持设备、计算设备、车载设备、可穿戴设 备等。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中 存储的计算机可读指令的方式来实现。如图1所示，视频数据分析方法包 括：

步骤S11：确定待分析的视频数据中包括的独立动作信息；独立动作 信息对应于多个视频帧，对应于同样独立动作信息的多个视频帧，具有符 合设定的一致性条件的图像特征；

步骤S12：根据独立动作信息和待分析的视频数据，获得待分析的视 频数据片段；

步骤S13：对待分析的视频数据片段进行动作内容分析，获得第一分 析结果；

步骤S14：根据第一分析结果，得到待分析的视频数据的第二分析结 果。

本实施例中，待分析的视频数据可以为完整的说数据。比如，可以为 影片、影视片段、网络短视频数据片段、广告片段、动态图片等。

独立动作信息可以是由人体完成的独立动作，比如在一个特定场景下 具有明确的起止点的动作信息。具体例如，从A地点走到B地点，打开B 地点的车辆的车门，从车门进入车辆，可分别被认定为独立动作信息。再 如，在球场打篮球、开车离开球场，可分别被认为独立动作信息。

在一种可能的实现方式中，可将在一种场景或背景下执行的动作的信 息识别为独立动作信息。比如，人物A在篮球场中产生的动作的信息被识 别为独立动作信息。人物B在草地产生的动作信息被识别为独立动作信息。

在另一种可能的实现方式中，也可将在不同镜头中产生的动作信息识 别为不同的独立动作信息。比如，在如果两个动作之间存在镜头切换，则 将切换前后的两个动作识别为不同的独立动作。

在另一种可能的实现方式中，也可按照实施动作的主体对独立动作信 息进行获取。比如，人物A独立完成的动作的信息可以被识别为一个独立 动作信息，人物A与人物B进行交互完成的动作的信息可被识别为另一 个独立动作信息。

在另一种可能的实现方式中，也可按照图像特征的参数变化对独立动 作信息进行获取。比如，视频帧a与视频帧b之间的图像特征的参数变化 幅度大于预设的参数变化幅度阈值，则视频帧a对应的动作的信息和视频 帧b对应的动作的信息可被识别为不同的独立动作信息。

在另一种可能的实现方式中，被不包含动作的视频数据片段分隔的视 频数据片段，对应不同的独立动作信息。比如，在视频数据中，视频数据 片段C1对应篮球场的场景且其中包含人物动作的信息。视频数据片段C2 对应天空的场景，且其中不包含人物动作的信息。视频数据片段C3仍然 对应篮球场的场景且其中包含人物动作的信息。则视频数据片段C1与视 频数据片段C3中的动作的信息，分别对应不同的独立动作信息。

在一种可能的实现方式中，可融合上述多种划分准则，划分独立动作 信息。

在另一种可能的实现方式中，可通过对大量的已有视频数据进行标注， 按照一般网络用户的标准生成标注数据，根据标注数据训练模型，使得模 型能够根据一般网络用户的标准对视频数据中的独立动作信息进行识别 和获取。

在一种可能的实现方式中，一个独立动作信息可以对应一个视频数据 片段，即对应多个视频帧。

符合设定的一致性条件图像特征，比如可以图像特征之间的差异信息 符合设定的一致性条件，即相邻视频帧的图像特征之间的差异在设定范围 之内。

符合设定的一致性条件图像特征，也可以由训练得到的模型进行判断。 比如，将视频数据片段中的视频帧，转化为图像特征，输入训练后的模型， 由模型确定视频数据片段中的动作的信息为独立动作信息。

本实施例中，根据独立动作信息和待分析的视频数据，获得待分析的 视频数据片段，可包括，将独立动作信息起止位置之间的视频数据片段， 作为待分析的视频数据片段。

本实施例中，动作内容可以是独立动作信息的动作分类，比如，动作 属于运动、打斗等。或者，动作属于跑步、跳远、投掷、刺杀等。

对待分析的视频数据片段进行动作内容分析，获得第一分析结果，可 以包括对待分析的视频数据片段进行动作内容分析，得到待分析的视频数 据片段属于预设类别的概率。或者得到待分析的视频数据的内容是否属于 违规内容的概率。

根据第一分析结果，得到待分析的视频数据的第二分析结果，可以是 在待分析的视频数据中，存在独立动作信息的情况下，将独立动作信息对 应的视频数据片段的第一分析结果作为视频数据的第二分析结果。或者将 所有待分析的视频数据片段的第一分析结果进行整合，得到待分析的视频 数据的第二分析结果。

对视频数据进行分析时，未经剪辑的视频可能包含多个动作，整体进 行分类会造成信息混杂，得不到正确的分类结果。而如果将整段视频均匀 的切分成多段进行分析，可能造成同一个动作被切分成多段，造成必要的 语音信息丢失使得多段都不能被正确的分类，也有可能造成多个动作被切 成了一段，信息混杂得不到正确的分类结果。

本实施例中，能够根据待分析的视频数据中的独立动作信息，对待分 析的视频数据进行内容分析，确定关于视频数据片段的分析结果，从而能 够筛选出包含违规动作信息的视频数据，比如包含违规动作信息的视频数 据，不仅有利于筛选出网络视频中的违规视频，还能够应用于监控、安防 等场景，减少人工筛查、分析操作。

在一种实施方式中，根据独立动作信息和待分析的视频数据，获得待 分析的视频数据片段，包括：

确定独立动作信息对应的第一起始视频帧和第一终止视频帧；

将第一起始视频帧和第一终止视频帧之间的视频数据片段作为待分 析的视频数据片段。

本实施例中，能够根据独立动作信息对应的起始视频帧和独立动作信 息对应的终止视频帧，确定待分析的视频数据片段，从而能够减少需要分 析的视频帧的数量，简化分析过程。

在一种实施方式中，如图2所示，确定独立动作信息对应的第一起始 视频帧和第一终止视频帧，包括：

步骤S21：根据独立动作信息，确定第二起始视频帧和第二终止视频 帧；

步骤S22：根据第二起始视频帧和第二终止视频帧，确定第一起始视 频帧在视频数据中的第一参考范围和第一终止视频帧在视频数据中的第 二参考范围；

步骤S23：根据第一参考范围，确定第一起始视频帧，以及根据第二 参考范围，确定第一终止视频帧。

本实施例中，第二起始视频帧和第二终止视频帧可以是用于确定第一 参考范围和第二参考范围的参考起止视频帧，可以不同于第一起始视频帧 和第一终止视频帧，也可以恰好与第一起始视频帧和第一终止视频帧等同。

根据第二起始视频帧和第二终止视频帧，确定起始视频帧的第一参考 范围和终止视频帧的第二参考范围，可以包括根据第二起始视频帧确定第 一参考范围，根据第二终止视频帧确定第二参考范围。也可以包括，根据 第二起始视频帧和第二终止视频帧，确定第一参考范围；根据第二起始视 频帧和第二终止视频帧，确定第二参考范围。还可以包括根据第二起始视 频帧和第二终止视频帧中的至少一个，确定第一参考范围，根据第二起始视频帧和第二终止视频帧中的至少一个，确定第二参考范围。

在一中可能的实现方式中，根据第二起始视频帧和第二终止视频帧， 确定起始视频帧的第一参考范围和终止视频帧的第二参考范围，可以包括 将第二起始视频帧作为第一参考范围的起点、终点或者中点，按照设定的 帧数范围或时长范围确定第一参考范围；将第二终止视频帧作为第二参考 范围的起点、终点或者中点，按照设定的帧数范围或时长范围确定第二参 考范围。

根据第一参考范围，确定第一起始视频帧，以及根据第二参考范围， 确定第一终止视频帧，可以是按照设定时长或帧数长度，确定第一起始视 频帧和第一终止视频帧，使得视频数据片段的时长或者帧数长度符合设定 要求。

本实施例中，能够从第一参考范围和第二参考范围中，分别确定第一 起始视频帧和第一终止视频帧，从而获得的视频数据片段能够尽量满足动 作完整性和减少冗余视频帧的要求。

在一种实施方式中，根据第二起始视频帧和第二终止视频帧，确定所 述第一起始视频帧在所述视频数据中的第一参考范围和所述第一终止视 频帧在所述视频数据中的第二参考范围，包括：

根据第二起始视频帧、第一分布规则和第一分布规则参数，确定第一 参考范围；

根据第二终止视频帧、第二分布规则和第二分布规则参数，确定第二 参考范围，第一分布规则参数、第二分布规则参数为根据待分析的视频数 据的时长确定的。

本实施例中，第一分布规则、第二分布规则可以为设定的概率分布规 则。比如，均匀分布、正态分布、卡方分布等之一。第一分布规则和第二 分布规则可以相同或者不同。第一分布规则参数和第二分布规则参数也可 以相同或者不同。

本实施例中，根据设定的分布规则和第二起始视频帧、第二终止视频 帧，确定第一参考范围和第二参考范围，从而提高视频起止范围获取结果 的稳定性。

在一种实施方式中，如图3所示，根据第一参考范围，确定第一起始 视频帧，以及根据第二参考范围，确定第一终止视频帧，包括：

步骤S31：根据第一参考范围和第二参考范围，确定至少一个第一视 频帧对，第一视频帧对包括从第一参考范围中确定的第三起始视频帧，和 从第二参考范围中确定的第三终止视频帧；

步骤S32：确定第一视频帧对的置信度；

步骤S33：根据置信度和第一视频帧对，确定第二视频帧对，第二视 频帧对包括第一起始视频帧和第一终止视频帧。

在一种可能的实现方式中，可以通过穷举的方式，将第一参考范围中 的所有视频帧与第二参考范围中的所有视频帧组合成视频帧对，第一参考 范围中的视频帧用于确定第一起始视频帧，第二参考范围中的视频帧用于 确定第一终止视频帧。

确定第一视频帧对的置信度，可以是确定每个第一视频帧包括独立动 作信息的置信度，置信度可以体现视频帧对中的起始视频帧、终止视频帧 之间存在独立动作信息的可能性。

本实施例中，根据视频帧对的置信度，选择置信度最大的视频帧对， 根据选择结果，确定第一起始视频帧和第一终止视频帧。

本实施例中，能够从第一参考范围和第二参考范围中，确定视频帧对 的置信度，进而确定第一起始视频帧和第一终止视频帧，能够提高视频帧 选择的准确性和完整性，有利于以更高的效率对待分析的视频数据片段进 行分析。

在一种实施方式中，如图4所示，对待分析的视频数据片段进行动作 内容分析，获得第一分析结果，包括：

步骤S41：根据待分析的视频数据片段，确定待分析的视频帧；

步骤S42：获得待分析的视频帧的时间信息和空间信息；时间信息和 空间信息包括待分析的视频数据片段的动作内容；

步骤S43：根据时间信息和空间信息，获得第一分析结果。

本实施例中，根据待分析的视频数据片段，确定待分析的视频帧，可 以是将待分析的视频数据片段中的所有视频帧作为待分析的视频帧，也可 以是从待分析的视频数据片段中提取部分视频帧作为待分析的视频帧。

获得待分析的视频帧的时间信息和空间信息，可以包括获得每个待分 析的视频帧的空间信息，以及获得所有待分析的视频帧之间的时间信息。

本实施例中，时间信息包括动作内容，空间信息也包括动作内容。

在本实施例中，根据时间信息和空间信息，获得第一分析结果，可以 是将时间信息和空间信息对应的向量进行拼接，根据拼接的向量获得第一 分析结果。

本实施例中，能够根据视频帧的时间信息和空间信息，获得关于视频 数据片段第一分析结果，不仅考虑单独视频帧的内容，还考虑视频帧之间 的联系，从而使得分析结果更为准确。

在一种实施方式中，时间信息是利用第一二维卷积神经网络获得的， 空间信息是利用第二二维卷积神经网络获得的；根据时间信息和空间信息， 获得第一分析结果，包括：

利用三维卷积神经网络，根据时间信息和空间信息，获得分类信息；

根据分类信息，获得第一分析结果。

本实施例中，第一二维卷积神经网络、第二二维卷积神经网络，可以 是不同的卷积神经网络。

在本实施例中，上述三维卷积神经网络包括三维池化层。

本实施例中，第一二维卷积神经网络、第二二维卷积神经网络可以是 因果关系神经网络。

本实施例中，第一二维卷积神经网络、第二二维卷积神经网络中的至 少一个，可以包括多个独立的二维卷积神经网络，以实现三维卷积神经网 络的效果，同时节省计算量的同时，保证分析结果的准确性。

本实施例中，通过神经网络获得分析结果，从而能够从视频帧中获得 充分的信息，有利于提高分析结果的准确性。

本实施例中，根据第一分析结果，得到待分析的视频数据的第二分析 结果，包括：

在第一分析结果表示待分析的视频数据片段属于目标类别的情况下， 生成表明待分析的视频数据属于目标类别的第二分析结果。

本实施例中，目标类别可以是表明存在违规内容的类别。

在具体实现过程中，可以将存在违规问题的视频数据片段标记为第一 类别，将不存在违规问题的视频数据片段标记为第二类别。在视频数据中， 如果存在第一类别的视频数据片段，则可认为视频数据存在违规问题或者 视频数据也属于第一类别。

本实施例中，根据对视频数据片段的第一分析结果，确定视频数据是 否属于目标类别，从而能够对视频数据起到筛查、监测作用，提高网络视 频环境质量。

随着科技的进步和移动互联网技术的发展，人们的生活水平也不断的 在提高。视频作为信息的主要媒介形式之一，逐步成为人们的主要娱乐信 息来源。然而数量巨大的视频中，存在着一部分不健康信息，会对观看者 带来负面的影响。尤其是对未成年人和自制力比较差的人群危害更加严重， 极端情况下可能会引诱人们走上违背道德与法律的道路。因此，如何在海 量的视频媒体中，准确、高效的识别出违规内容视频内容产品迫切需要解决的问题。

目前，比较主流的视频内容产品通常采用人工审核与干预的方法，筛 选出违规的内容进行屏蔽与打压。但这种方法将会耗费大量的人力、物力 和财力，并且容易由于审核员的精神、身体状态和不同的尺度标准产生误 判和漏判。为了解决上述问题，也有部分视频内容产品基于计算机视觉与 人工智能技术构建色情视频动作识别方法。但是由于不同视频的长短、内 容、动作种类等差异很大，现有的基于计算机视觉技术的色情视频动作识别方法的漏召和误召情况比较严重。

本公开示例提供的视频数据分析方法，如图5所示，基于深度学习技 术，构建了视频数据分析模型，包括时序动作定位模块51和动作识别模 块52来解决海量视频中的色情动作识别的问题。时序动作定位模块51的 输入为对整段视频数据预处理后生成的输入数据，输出为若干个视频数据 片段，每个视频数据片段内包含一个单独的动作。动作识别模块52的输 入为若干段只包含单独动作的视频数据片段，输出为针对每个视频数据片 段输出一个动作识别类别。最后将若干个包含单独动作的视频数据片段结 果汇总在一起，得到整段视频数据的动作识别结果。

在本公开一种示例中，视频数据识别模型的训练过程包括：数据标注 过程和模型训练过程。

其中，在数据标注过程中，通过标注工具对自主收集的数万段视频进 行动作片段和动作类别的标注。在标注时，每一段视频被标注为若干个只 包含一个动作的视频数据片段，同时标注每一个视频数据片段对应的动作 类别。

在模型训练过程中，将标注的数据集按照设定的比例(比如6:2:2) 随机分配成训练集、测试集和验证集。视频数据分析模型在训练集上进行 模型参数的训练，在验证集上进行超参数的选择，完成训练后在测试集上 进行测试得到准确率、召回率、平均损失等指标。

视频数据分析模型的在线预测过程如下：

将整段视频数据输入时序动作定位模块，模块输出为切割好的若干段 视频序列(包括空间信息和时间信息)，即待分析的视频数据片段的序列， 其中每个待分析的视频数据片段中只包含一个单独的动作；

将得到的若干段只包含单独动作的视频序列分别输入到动作识别模 块中，得到每一段视频序列的动作识别分类结果；

将若干段视频序列的动作识别结果进行汇总，若任意一段视频序列被 识别为色情视频或者违规视频，则整个视频被标记为色情视频或违规视频； 若所有视频序列都被识别为正常视频，则整个视频被标记为正常视频。

在本公开示例中，视频数据的分段如图6所示，在一个包含跳远内容 的视频数据中，视频数据片段的真值(GT，Ground Truth)可以包括背景 片段61和长跳片段62。每个长跳片段62可以根据对应的起点(对应第一 起始视频帧)、终点(对应第一终止视频帧)进行确定。

在本公开示例中，可以将视频数据输入边界匹配网络 (Boundary-MatchingNetwork)，通过边界匹配网络输出视频数据片段结 果(Generated Proposals)。

边界匹配网络在具体示例中的一种实现方式仍然可参照图6所示。根 据识别出的第一参考范围和第二参考范围，在边界匹配网络中生成多个边 界概率序列(BoundaryProbabilities Sequence)，每个边界概率根据第一 参考范围中的一个视频帧为第一起始视频帧的概率，和第二参考范围中的 一个视频帧为第一终止视频帧的概率确定。

边界概率序列仍然可通过如图6所示的边界匹配置信图 (Boundary-MatchingConfidence Map)进行置信度(confidence)计算。 边界配图可从起点维度(starting dim，starting dimension)和持续时间维度 (duration dim，duration dimension)进行置信度的计算，从而获得每个视 频帧对的置信度(即上述边界概率)。其中，视频帧对由第一参考范围中 的一个视频帧和第二参考范围的一个视频帧组成。在一段视频数据中，按 照顺序从第一个第一参考范围中，选择第一起始视频帧，在第一个第二参 考范围中，选择第一终止视频帧，与前面的第一起始视频帧构成视频数据 片段的起点和终点，后续的视频数据片段以此类推。如图6所示，分别从 视频数据中选择置信度为0.90和0.95的视频数据片段，作为待分析的视 频数据片段。

本示例中，视频数据分析模型对视频数据的分析如图7所示。待分析 的视频数据片段包括的视频帧71，可被分别输入至少两个独立的因果关系 卷积网络(CausalConv，Causal Convolution Network)72进行空间信息的 提取，同时，可将前序视频帧71的空间信息的中间计算结果，连同后续 视频帧71输入后续视频帧71对应的因果关系卷积网络72中。因果关系 卷积网络72的输出结果可输入三维卷积网络的池化层(3D Pooling，3Dimension Pooling)73进行分类，根据分类结果获得视频数据第二分析结 果。每个因果关系卷积网络72可以对应一个流缓冲区(Streaming Buffer)， 用于缓存待分析的视频帧。

在本公开另一种示例中，视频数据分析方法包括如图8所示的过程：

步骤S81：数据标注。对于长度(时长或者视频帧数长度)为D的视 频动作时序位置的标注，首先获取到时序动作的准确位置T，然后通过构 造均值为T标准差为D/12的高斯分布将准确位置附近的位置都标记为具 有一定权重的，避免冲击信号式的标注使得训练过程不稳定。

步骤S82：时序动作定位模块后处理。时序动作定位模块会产生密集 的动作定位结果，这些定位结果可能是高度重复和冗余的。需要通过后处 理将高度重复的定位结果合并，将冗余的定位结果删除。采用Soft-NMS (Soft Non-Maximum Suppression，软化非极大值抑制)算法对时序动作定 位结果进行后处理。

步骤S83：数据增强。

本步骤中，为了尽可能覆盖到广泛的真实场景，需要对收集的训练、 测试、验证数据进行数据增强。除了随机翻转、色彩增强、随机crop(随 机裁剪)等常用增强方法外，还需要将多段包含动作的视频穿插的拼接到 只包含背景的视频中，构造复杂的多动作段视频，提升时序动作定位模块 的定位准确率。

步骤S84：动作识别模块后处理。未剪辑的视频经过时序动作定位模 块后得到多段只包含单独动作的视频段，分别输入动作识别模块进行动作 类别预测。若任一视频段被识别为色情视频，则整段视频标记为色情视频。 若所有视频段都被识别为正常视频，则整段视频标记为正常视频。

本公开示例提供的视频分析方法和模型，能有效从海量视频中识别出 色情动作，具有较高的准召，和较低的误检。鲁棒性好，可有效替代人工 审核，极大的节省人力。该技术已经在线上部署，负责全民视频业务线中 的色情视频识别。

本公开实施例还提供一种视频数据分析装置，如图9所示，包括：

独立动作信息模块91，用于确定待分析的视频数据中包括的独立动作 信息；独立动作信息对应于多个视频帧，对应于同样独立动作信息的多个 视频帧，具有符合设定的一致性条件的图像特征；

视频数据片段模块92，用于根据独立动作信息和待分析的视频数据， 获得待分析的视频数据片段；

第一分析结果模块93，用于对待分析的视频数据片段进行动作内容分 析，获得第一分析结果；

第二分析结果模块94，用于根据第一分析结果，得到待分析的视频数 据的第二分析结果。

在一种实施方式中，如图10所示，视频数据片段模块包括：

起止单元101，用于确定独立动作信息对应的第一起始视频帧和第一 终止视频帧；

片段提取单元102，用于将第一起始视频帧和第一终止视频帧之间的 视频数据片段作为待分析的视频数据片段。

在一种实施方式中，起止单元还用于：

根据独立动作信息，确定第二起始视频帧和第二终止视频帧；

根据第二起始视频帧和第二终止视频帧，确定第一起始视频帧在视频 数据中的第一参考范围和第一终止视频帧在视频数据中的第二参考范围；

根据第一参考范围，确定第一起始视频帧，以及根据第二参考范围， 确定第一终止视频帧。

在一种实施方式中，起止单元还用于：

根据第二起始视频帧、第一分布规则和第一分布规则参数，确定第一 参考范围；

根据第二终止视频帧、第二分布规则和第二分布规则参数，确定第二 参考范围，第一分布规则参数、第二分布规则参数为根据待分析的视频数 据的时长确定的。

在一种实施方式中，起止单元还用于：

根据第一参考范围和第二参考范围，确定至少一个第一视频帧对，第 一视频帧对包括从第一参考范围中确定的第三起始视频帧，和从第二参考 范围中确定的第三终止视频帧；

确定第一视频帧对的置信度；

根据置信度和第一视频帧对，确定第二视频帧对，第二视频帧对包括 第一起始视频帧和第一终止视频帧。

在一种实施方式中，如图11所示，第一分析结果模块包括：

视频帧单元111，用于根据待分析的视频数据片段，确定待分析的视 频帧；

时空信息单元112，用于获得待分析的视频帧的时间信息和空间信息； 时间信息和空间信息包括待分析的视频数据片段的动作内容；

第一结果生成单元113，用于根据时间信息和空间信息，获得第一分 析结果。

在一种实施方式中，时间信息是利用第一二维卷积神经网络获得的， 空间信息是利用第二二维卷积神经网络获得的；第一结果生成单元还用于：

利用三维卷积神经网络，根据时间信息和空间信息，获得分类信息；

根据分类信息，获得第一分析结果。

在一种实施方式中，如图12所示，第二分析结果模块包括：

第二结果生成单元121，用于在第一分析结果表示待分析的视频数据 片段属于目标类别的情况下，生成表明待分析的视频数据属于目标类别的 第二分析结果。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等， 均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储 介质和一种计算机程序产品。

图13示出了可以用来实施本公开的实施例的示例电子设备130的示 意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算 机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型 计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置， 诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计 算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为 示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图13所示，设备130包括计算单元131，其可以根据存储在只读存 储器(ROM)132中的计算机程序或者从存储单元138加载到随机访问存 储器(RAM)133中的计算机程序，来执行各种适当的动作和处理。在 RAM 133中，还可存储设备130操作所需的各种程序和数据。计算单元 131、ROM 132以及RAM 133通过总线134彼此相连。输入/输出(I/O) 接口135也连接至总线134。

设备130中的多个部件连接至I/O接口135，包括：输入单元136， 例如键盘、鼠标等；输出单元137，例如各种类型的显示器、扬声器等； 存储单元138，例如磁盘、光盘等；以及通信单元139，例如网卡、调制 解调器、无线通信收发机等。通信单元139允许设备130通过诸如因特网 的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元131可以是各种具有处理和计算能力的通用和/或专用处理 组件。计算单元131的一些示例包括但不限于中央处理单元(CPU)、图 形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机 器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的 处理器、控制器、微控制器等。计算单元131执行上文所描述的各个方法和处理，例如视频数据分析方法。例如，在一些实施例中，视频数据分析 方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如 存储单元138。在一些实施例中，计算机程序的部分或者全部可以经由 ROM 132和/或通信单元139而被载入和/或安装到设备130上。当计算机 程序加载到RAM 133并由计算单元131执行时，可以执行上文描述的视 频数据分析方法的一个或多个步骤。备选地，在其他实施例中，计算单元 131可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行 视频数据分析方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路 系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、 专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设 备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些 各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者 多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/ 或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储 系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将 数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出 装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的 任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其 他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控 制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可 以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机 器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含 或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设 备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读 储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电 磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组 合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、 可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑 盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的 任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术， 该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线 管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠 标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算 机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的 反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉 反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入) 来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如， 作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、 或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器 的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处 描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部 件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络 的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此 并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具 有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器 可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的 服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或 删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地 执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望 的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术 人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、 子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和 改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种视频数据分析方法，包括：

确定待分析的视频数据中包括的独立动作信息；所述独立动作信息对应于多个视频帧，对应于同样独立动作信息的多个视频帧，具有符合设定的一致性条件的图像特征；

根据所述独立动作信息和待分析的视频数据，获得待分析的视频数据片段；

对所述待分析的视频数据片段进行动作内容分析，获得第一分析结果；

根据所述第一分析结果，得到所述待分析的视频数据的第二分析结果。

2.根据权利要求1所述的方法，其中，所述根据所述独立动作信息和待分析的视频数据，获得待分析的视频数据片段，包括：

确定所述独立动作信息对应的第一起始视频帧和第一终止视频帧；

将所述第一起始视频帧和第一终止视频帧之间的视频数据片段作为所述待分析的视频数据片段。

3.根据权利要求2所述的方法，其中，所述确定所述独立动作信息对应的第一起始视频帧和第一终止视频帧，包括：

根据所述独立动作信息，确定第二起始视频帧和第二终止视频帧；

根据第二起始视频帧和第二终止视频帧，确定所述第一起始视频帧在所述视频数据中的第一参考范围，和所述第一终止视频帧在所述视频数据中的第二参考范围；

根据所述第一参考范围，确定所述第一起始视频帧，以及根据所述第二参考范围，确定所述第一终止视频帧。

4.根据权利要求3所述的方法，其中，所述根据第二起始视频帧和第二终止视频帧，确定所述第一起始视频帧在所述视频数据中的第一参考范围和所述第一终止视频帧在所述视频数据中的第二参考范围，包括：

根据所述第二起始视频帧、第一分布规则和第一分布规则参数，确定所述第一参考范围；

根据所述第二终止视频帧、第二分布规则和第二分布规则参数，确定所述第二参考范围，所述第一分布规则参数、第二分布规则参数为根据所述待分析的视频数据的时长确定的。

5.根据权利要求3或4所述的方法，其中，所述根据所述第一参考范围，确定所述第一起始视频帧，以及根据所述第二参考范围，确定所述第一终止视频帧，包括：

根据所述第一参考范围和所述第二参考范围，确定至少一个第一视频帧对，所述第一视频帧对包括从所述第一参考范围中确定的第三起始视频帧，和从所述第二参考范围中确定的第三终止视频帧；

确定所述第一视频帧对的置信度；

根据所述置信度和所述第一视频帧对，确定第二视频帧对，所述第二视频帧对包括所述第一起始视频帧和所述第一终止视频帧。

6.根据权利要求1-5中任意一项所述的方法，其中，所述对所述待分析的视频数据片段进行动作内容分析，获得第一分析结果，包括：

根据所述待分析的视频数据片段，确定待分析的视频帧；

获得所述待分析的视频帧的时间信息和空间信息；所述时间信息和所述空间信息包括所述待分析的视频数据片段数据的动作内容；

根据所述时间信息和所述空间信息，获得所述第一分析结果。

7.根据权利要求6所述的方法，其中，所述时间信息是利用第一二维卷积神经网络获得的，所述空间信息是利用第二二维卷积神经网络获得的；所述根据所述时间信息和所述空间信息，获得所述第一分析结果，包括：

利用三维卷积神经网络，根据所述时间信息和所述空间信息，获得分类信息；

根据所述分类信息，获得所述第一分析结果。

8.根据权利要求1-7中任意一项所述的方法，其中，所述根据所述第一分析结果，得到所述待分析的视频数据的第二分析结果，包括：

在所述第一分析结果表示所述待分析的视频数据片段属于目标类别的情况下，生成表明所述待分析的视频数据属于目标类别的第二分析结果。

9.一种视频数据分析装置，包括：

独立动作信息模块，用于确定待分析的视频数据中包括的独立动作信息；所述独立动作信息对应于多个视频帧，对应于同样独立动作信息的多个视频帧，具有符合设定的一致性条件的图像特征；

视频数据片段模块，用于根据所述独立动作信息和待分析的视频数据，获得待分析的视频数据片段；

第一分析结果模块，用于对所述待分析的视频数据片段进行动作内容分析，获得第一分析结果；

第二分析结果模块，用于根据所述第一分析结果，得到所述待分析的视频数据的第二分析结果。

10.根据权利要求9所述的装置，其中，所述视频数据片段模块包括：

起止单元，用于确定所述独立动作信息对应的第一起始视频帧和第一终止视频帧；

片段提取单元，用于将所述第一起始视频帧和第一终止视频帧之间的视频数据片段作为所述待分析的视频数据片段。

11.根据权利要求10所述的装置，其中，所述起止单元还用于：

根据所述独立动作信息，确定第二起始视频帧和第二终止视频帧；

根据第二起始视频帧和第二终止视频帧，确定所述第一起始视频帧在所述视频数据中的第一参考范围，和所述第一终止视频帧在所述视频数据中的第二参考范围；

根据所述第一参考范围，确定所述第一起始视频帧，以及根据所述第二参考范围，确定所述第一终止视频帧。

12.根据权利要求11所述的装置，其中，所述起止单元还用于：

根据所述第二起始视频帧、第一分布规则和第一分布规则参数，确定所述第一参考范围；

根据所述第二终止视频帧、第二分布规则和第二分布规则参数，确定所述第二参考范围，所述第一分布规则参数、第二分布规则参数为根据所述待分析的视频数据的时长确定的。

13.根据权利要求11或12所述的装置，其中，所述起止单元还用于：

根据所述第一参考范围和所述第二参考范围，确定至少一个第一视频帧对，所述第一视频帧对包括从所述第一参考范围中确定的第三起始视频帧，和从所述第二参考范围中确定的第三终止视频帧；

确定所述第一视频帧对的置信度；

根据所述置信度和所述第一视频帧对，确定第二视频帧对，所述第二视频帧对包括所述第一起始视频帧和所述第一终止视频帧。

14.根据权利要求9-13中任意一项所述的装置，其中，所述第一分析结果模块包括：

视频帧单元，用于根据所述待分析的视频数据片段，确定待分析的视频帧；

时空信息单元，用于获得所述待分析的视频帧的时间信息和空间信息；所述时间信息和所述空间信息包括所述待分析的视频数据片段数据的动作内容；

第一结果生成单元，用于根据所述时间信息和所述空间信息，获得所述第一分析结果。

15.根据权利要求14所述的装置，其中，所述时间信息是利用第一二维卷积神经网络获得的，所述空间信息是利用第二二维卷积神经网络获得的；所述第一结果生成单元还用于：

利用三维卷积神经网络，根据所述时间信息和所述空间信息，获得分类信息；

根据所述分类信息，获得所述第一分析结果。

16.根据权利要求9-15中任意一项所述的装置，其中，所述第二分析结果模块包括：

第二结果生成单元，用于在所述第一分析结果表示所述待分析的视频数据片段属于目标类别的情况下，生成表明所述待分析的视频数据属于目标类别的第二分析结果。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。

19.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-9中任一项所述的方法的步骤。

Images