CN111797752A - 违规视频检测方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了违规视频检测方法、装置、设备及存储介质。该方法包括按照所接收待检测视频流对应的目标截取间隔时间获取当前待检测的截取视频帧；当确定截取视频帧满足违规检测条件时，对截取视频帧进行违规内容检测，并将截取视频帧记为有效截取帧；违规检测条件为待检测视频流内已截取获得的全部有效截取帧与截取视频帧的目标相似度值均小于设定相似阈值。该方法与现有技术相比，所选定的截取间隔时间能够有效的实现对短时长视频中视频帧的截取，降低了违规视频帧的闪漏量；同时还设定对满足违规检测条件的视频帧进行违规检测，以此降低检测成本，从而保证在没有大量增加检测成本的前提下更好的避免违规视频帧的漏检。

Description

违规视频检测方法、装置、设备及存储介质

技术领域

本发明实施例涉及直播技术领域，尤其涉及违规视频检测方法、装置、设备及存储介质。

背景技术

随着多媒体和移动互联网技术的发展，多媒体流量在近些年大幅度增加，直播、短视频等新型娱乐方式引起了人们的广泛关注和参与。与此同时，不少掺杂着违规内容(例如色情、暴力等)的视频借助多媒体直播的形式进行传播，扰乱人们的正常生活，同时对直播平台和平台用户产生了不良影响。

对于违规内容的检测，最早采用的方式为通过人工审核对视频进行检测，然而，由于直播平台中视频资源量非常之大，单纯依靠人工对视频进行审核需要消耗大量人力且效率较低。为了降低审核成本，现有直播审核系统通常结合人工智能和视频图像处理等技术实现违规内容的自动检测，该种检测方法首先以预定时间间隔截取待审核直播视频的图像，接着使用深度学习模型过滤出违规风险较高的直播截图。

但是，通过上述方法进行违规内容检测时，一些不法分子很容易在审核系统的两次截图时间间隔内展示短时长违规内容，以此避开审核系统的审核，产生违规漏检的情况，给直播平台和用户造成不良影响。

发明内容

有鉴于此，本发明实施例提供了违规视频检测方法、装置、设备及存储介质，以解决现有违规视频检测中无法有效检测短时长视频流所包括违规内容的问题。

第一方面，本发明实施例提供了一种违规视频检测方法，包括：

按照所接收待检测视频流对应的目标截取间隔时间，获取当前待检测的截取视频帧；

当确定所述截取视频帧满足违规检测条件时，对所述截取视频帧进行违规内容检测，并将所述截取视频帧记为有效截取帧；

其中，所述违规检测条件为：所述待检测视频流内已截取获得的全部有效截取帧与所述截取视频帧的目标相似度值均小于设定相似阈值。

第二方面，本发明实施例提供一种违规视频检测装置，包括：

视频帧获取模块，用于按照所接收待检测视频流对应的目标截取间隔时间，获取当前待检测的截取视频帧；

违规内容检测模块，用于当确定所述截取视频帧满足违规检测条件时，对所述截取视频帧进行违规内容检测，并将所述截取视频帧记为有效截取帧；

其中，所述违规检测条件为：所述待检测视频流内已截取获得的全部有效截取帧与所述截取视频帧的目标相似度值均小于设定相似阈值。

第三方面，本发明实施例提供了一种计算机设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明第一方面实施例提供的违规视频检测方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面实施例提供的违规视频检测方法。

本发明实施例提供的违规视频检测方法、装置、设备及存储介质中，首先按照所接收待检测视频流对应的目标截取间隔时间，获取当前待检测的截取视频帧，在确定截取视频帧满足违规检测条件时，将截取视频帧记为有效视频帧，并对所述截取视频帧进行违规内容检测，其中，违规检测条件为：待检测视频流内已截取获得的全部有效截取帧与所述截取视频帧的相似度值均小于设定相似阈值。上述技术方案，当存在待检测的视频流时，首先选定适合待检测视频流的截取间隔时间，并基于选定的截取间隔时间来进行视频帧的截取，与现有技术相比，所选定的截取间隔时间能够有效的实现对短时长视频中视频帧的截取，降低了违规视频帧的闪漏量；同时本技术方案还设定了对满足违规检测条件的视频帧进行违规检测，以此来限定实际参与违规检测的视频帧数量，降低检测成本，从而保证在没有大量增加检测成本的前提下能够更好的避免违规视频帧的漏检，进而达到净化直播网络环境的目的。

附图说明

图1给出了本发明实施例一提供的一种违规视频检测方法的流程示意图；

图2给出了本发明实施例一所提供违规视频检测方法中所需截取间隔时间表的确定流程图；

图3给出了本发明实施例二提供的一种违规视频检测方法的流程示意图；

图4给出了本实施例二所提供违规检测方法中所需目标相似度算法的确定流程图；

图5为本发明实施例三提供的一种违规视频检测装置的结构框图；

图6给出了本发明实施例四提供的一种计算机设备的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例方式作进一步地详细描述。应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

实施例一

图1给出了本发明实施例一提供的一种违规视频检测方法的流程示意图，该方法适用于对直播中的视频流进行违规检测的情况，该方法可以由违规视频检测装置执行，其中，该装置可以由软件和/或硬件实现，并一般可集成在计算机设备上。

需要说明的是，执行本实施例所提供方法的执行主体可以作为直播平台下直播审核系统中的一部分，用来实时确定直播平台下主播与观众互动时所产生的直播视频中是否包含违规内容。

如图1所示，本发明实施例一提供的一种违规视频检测方法，具体包括如下操作：

S101、按照所接收待检测视频流对应的目标截取间隔时间，获取当前待检测的截取视频帧。

在本实施例中，所述待检测视频流具体可理解为直播平台下主播进行直播时所产生的直播视频，该直播视频以视频流的形式由本实施例的执行主体所接收。所述目标截取间隔时间具体可理解为与所接收待检测视频流相对应的，对待检测视频流进行违规检测时截取视频帧所采用的间隔时间。所述目标截取间隔时间可以通过对待检测视频流的相关属性信息的匹配检测来确定。

本步骤可以采用对应待检测视频流的目标截取间隔时间，对接收的视频流进行视频帧的截取，并可将以目标截取间隔时间截取到的待检测视频帧记为截取视频帧。

S102、当确定所述截取视频帧满足违规检测条件时，对所述截取视频帧进行违规内容检测，并将所述截取视频帧记为有效截取帧。

需要说明的是，短时长视频为直播互动中可能会出现的一类视频，该类短时长视频的特点在于整个视频的播放时长小于现有进行违规检测时所设定的间隔时长，示例性的，假设现有违规检测的间隔时长为10秒，则短时长视频的整个时长可能仅有8秒，由此，采用现有违规检测方法无法检测出该类短时长视频是否存在违规内容。

本实施例所提供的违规视频检测方法，对短时长视频的是否包含有违规内容有明显的检测效果，可以理解的是，本实施例对待检测视频流的违规检测是实时进行的，具体首先按照目标截取间隔时间从待检测视频流中截取待检测的截取视频帧，之后需要对截取视频帧进行违规检测。然而，考虑到本实施例所设定的目标截取间隔时间可以有效截取到短时长视频中的视频帧，可知目标截取间隔时间应该是一个比现有违规检测方法所采用的间隔时间小很多的数值。由此，通过该目标截取间隔时间对待检测视频流进行截取时，截取所获得的待检测视频帧的总数量将远多于基于现有违规检测方法截取的待检测视频帧数量。本实施例如果对所截取的每个截取视频帧都进行违规检测的操作，那么将会大大增加本执行主体的检测成本以及占用更多的计算资源，同时也会影响观众对待检测视频流的观看体验。

基于此，本实施例通过上述步骤获取到当前待检测的截取视频后，并不直接对截取视频帧进行违规检测，而是还需要确定截取视频帧是否满足违规检测条件，只有在满足违规检测条件时，才对截取视频帧进行违规内容检测，同时本实施例将可以进行违规检测处理的截取视频帧记为有效截取帧。由此可认为本步骤相当于只对截取出的有效截取帧进行违规内容检测。

本实施例对截取视频帧是否满足违规检测条件的判定主要从截取视频帧与从待检测视频流中已截取的被记为有效截取帧的相似性比对来入手，并具体将所述违规检测条件优选为：所述待检测视频流内已截取获得的全部有效截取帧与所述截取视频帧的目标相似度值均小于设定相似阈值。即，假设截取视频帧与待检测视频流内已截取获得的所有被记为有效截取帧进行相似性比对时的相似度值均小于设定相似阈值，则可认为该截取视频帧与之前已进行过违规检测处理的有效截取帧所包含的内容信息相差较大，由此需要进一步对截取视频帧中包含的内容信息进行违规检测。

示例性的，本实施例对截取视频帧进行违规检测的方式可概括为：确定截取视频帧中所包括的内容信息为违规内容的违规概率；若违规概率高于一定值，则可将该截取视频帧发送给人工审核平台进行违规审核，由此，本实施例可以通过对截取视频帧违规概率的确定以及人工审核平台所发送的审核结果来确定违规检测的检测结果。

此外，基于上述表述，可知当待检测视频流内已截取获得的全部有效截取帧与所述截取视频帧的目标相似度值存在大于设定相似阈值的情况时，相当于已截取的有效截取帧中存在与其匹配的视频帧，可认为该截取视频帧不满足违规检测条件。而对于不满足违规检测条件的截取视频帧而言，虽说不需要进行本步骤的违规检测，但通过从已截取的有效截取帧中找到的与之相匹配视频帧的违规检测情况，同样可确定出该截取视频帧是否存在违规内容，即，也可以知道该截取视频帧为违规视频帧还是合法视频帧。

本发明实施例一提供的一种违规视频检测方法，首先按照所接收待检测视频流对应的目标截取间隔时间，获取当前待检测的截取视频帧，在确定截取视频帧满足违规检测条件时，将截取视频帧记为有效视频帧，并对所述截取视频帧进行违规内容检测，其中，违规检测条件为：待检测视频流内已截取获得的全部有效截取帧与所述截取视频帧的相似度值均小于设定相似阈值。利用该方法，所选定的截取间隔时间能够有效的实现对短时长视频中视频帧的截取，降低了违规视频帧的闪漏量；同时本技术方案还设定了对满足违规检测条件的视频帧进行违规检测，以此来限定实际参与违规检测的视频帧数量，降低检测成本，从而保证在没有大量增加检测成本的前提下能够更好的避免违规视频帧的漏检，进而达到净化直播网络环境的目的。

作为本实施例一的一个可选实施例，在上述实施例的基础上，还优化包括了：确定所述待检测视频流的视频属性信息，并从预确定的截取间隔时间表中确定与所述视频属性信息匹配的目标截取间隔时间。

可以知道的是，本实施例对不同的待检测视频流采用不同的截取间隔时间来进行视频帧的截取，本可选实施例给出了为所接收的待检测视频流确定目标截取间隔时间的实现步骤。

具体的，本可选实施例可以对所接收待检测视频流进行分析，获得该待检测视频流的视频属性信息，然后通过将该视频属性信息与预先确定的截取间隔时间表中所包括属性信息的匹配，来获得对应待检测视频流的目标截取间隔时间。其中，所述视频属性信息具体可理解为对所接收待检测视频流的属性特征进行描述的信息，该属性特征可以包括生成视频流所属的时间段、所对应主播的归属地域(如美洲地域、亚洲地域又或者欧洲地域)等。

本可选实施例进一步将确定所述待检测视频流的视频属性信息，并从预确定的截取间隔时间表中确定与所述视频属性信息匹配的目标截取间隔时间确定为：获取所述待检测视频流的视频归属地域以及视频生成时间段作为相应的视频属性信息；从所述截取间隔时间表查找所述视频归属地域，以及在所述视频归属地域下查找所述视频生成时间段，将所述视频生成时间段对应的截取间隔时间作为所述待检测视频的目标截取间隔时间。

在可选本实施例中，所述截取间隔时间表可看作一个二级关联表，具体包括了作为一级关系列的归属地域项，以及在所述一级关系列下按照生成时间段项进行细化的二级关系列，由此对应任一归属地域项下的生成时间段都存在一个预先给定的截取间隔时间。示例性的，本可选实施例可以在获取到待检测视频流的视频归属地域以及视频生成时间段后，就可从截取间隔时间表中找出相匹配的目标截取间隔时间。

同时，图2给出了本发明实施例一所提供违规视频检测方法中所需截取间隔时间表的确定流程图，如图2所示，本可选实施例进一步给出了截取间隔时间表的确定步骤：

S1001、分析所给定违规样本集中所包含各违规视频归属的地域，确定所包含违规视频的占有率大于设定占有阈值的至少一个目标地域。

在本实施例中，可以汇集已检测出的包含违规内容的各违规视频形成违规样本集，示例性的，假设构成该违规样本集的违规视频的视频总数量有10000个，本步骤可以对这10000个违规视频所归属的地域进行分析，由此以所归属的地域为基准进行违规视频的划分，并可确定出归属在各地域下的违规视频数量，以及将违规视频数量与视频总数量的比作为相应地域下的占有率，最终可以将占有率大于一定占有阈值的地域作为目标地域，其中，通过占有阈值至少可以筛选出一个目标地域。

S1002、针对每个目标地域，基于所述目标地域下所对应违规视频的生成时间段，确定违规视频生成率大于设定生成阈值的至少一个目标生成时间段。

接上述步骤，对于上述确定出的每个目标地域，还可以对归属在各目标地域下的违规视频的生成时间段进行分析，由此以所对应生成时间段为基准再次进行违规视频的划分，并可以确定出划分在各生成时间段下的违规视频子数量，同样可以将违规视频子数量与该目标地域下的违规视频数量之比作为各生成时间段的违规视频生成率，最终可以将违规视频生成率大于一定生成阈值的生成时间段作为目标生成时间段。同样的，通过生成阈值至少也可以筛选出一个目标生成时间段。

S1003、针对所述目标地域下的每个目标生成时间段，确定所包含违规视频的平均时长，并根据所述平均时长确定所述目标生成时间段下对应的截取间隔时间。

在上述步骤的基础上，对于任一目标地域下的目标生成时间段，可以确定出该目标生成时间段下所包含各违规视频的平均时长，本步骤可以选择一个以该平均时长的一半作为该目标生成时间段下的截取间隔时间。需要说明书的是，本实施例并不限定截取间隔时间为平均时长的一半，可以是任一个小于平均时长的数值，为保证所确定的截取间隔时间能够截取适量的视频帧，本实施例优选将至少小于或等于平均时长三分之二的数据作为截取间隔时间。

S1004、汇总各所述目标地域下所包括各目标生成时间段对应截取间隔时间，形成截取间隔时间表。

通过上述步骤可以获得任意目标地域下各目标生成时间段对应的截取间隔时间，通过本步骤可以将上述信息汇总成一个以归属地域及生成时间段为级联列，以截取间隔时间为对应信息的截取间隔时间表。

本实施例上述可选实施例给出了目标截取间隔时间以及截取间隔时间表的确定过程，本可选实施例形成的截取间隔时间表为本实施例违规检测按照视频流的归属地域以及生成时间段提供了与待检测视频流更匹配的目标截取间隔时间，由此截取所获得的视频帧，有效降低了违规视频帧的闪漏量。

作为本实施例一的另一个可选实施例，本可选实施例在对所述截取视频帧进行违规内容检测之后还进一步优化包括了：当确定所述截取视频帧为不包含违规内容的合法视频帧时，返回继续按照所接收待检测视频流对应的目标截取间隔时间获取新的待检测的截取视频帧，直至所述截取视频帧为所述待检测视频流中的末位截取视频帧；当确定所述截取视频帧为包含违规内容的违规视频帧时，对所述截取视频帧进行预定处理，并返回继续按照所接收待检测视频流对应的目标截取间隔时间获取新的待检测的截取视频帧，直至所述截取视频帧为所述待检测视频流中的末位截取视频帧。

可以理解的是，本实施例为对待检测视频流的违规实时检测，而本实施例一上述步骤给出的是对以目标截取间隔时间截取的截取视频帧进行违规检测的操作，因此，通过目标截取间隔时间还可以截取出新的截取视频帧，并由此需要继续通过本实施例上述方法对新的截取视频帧进行检测。该种不断循环的执行时机可以在对满足违规检测条件的截取视频帧进行违规内容检测之后进行，结束时机可以是所获得截取视频帧为待检测视频流中的最后一个截取视频帧。

同时，本可选实施例还可以在确定所述截取视频帧为包含违规内容的违规视频帧时，对该截取视频帧进行删除处理，以阻止该截取视频帧到观众端的发送。

可以知道的是，对于一个待检测视频流而言，对其进行违规检测时，可以统计包含违规内容的视频帧数量，以在视频帧数量达到一定值时，直接将该待检测视频流确定为高危违规，不再对后续的视频帧进行检测，而是直接发送给人工审核平台直接进行人工审核，并同时对该待检测视频流所对应的主播进行直播限制。

进一步地，本可选实施例还可以在确定所述截取视频帧不满足违规检测条件时，返回继续按照所接收待检测视频流对应的目标截取间隔时间获取新的待检测的截取视频帧，直至所述截取视频帧为所述待检测视频流中的末位截取视频帧。

同样可以理解是，通过上述实施例进行违规检测时，还存在截取视频帧不满足违规检测条件的情况，该种情况可以直接省略对该截取视频帧的违规检测，并通过本可选实施例返回新的截取视频帧的获取操作。

本实施例给定的上述可选实施例，进一步描述了违规检测方法的后续执行过程，由此实现对整个待检测视频流的有效检测。

实施例二

图3给出了本发明实施例二提供的一种违规视频检测方法的流程示意图，本实施例以上述实施例为基础进行优化，在本实施例中，该方法进一步在获取当前待检测的截取视频帧之后还优化包括了采用选定的目标相似度算法，确定所述待检测视频流内已截取的各有效视频帧与所述截取视频帧的目标相似度值。

同时，本实施例上述优化基础上还可以进一步增加包括：如果确定所述截取视频帧不满足违规检测条件，则确定与所述截取视频帧匹配的目标有效截取帧，根据所述目标有效截取帧的违规检测结果确定所述截取视频帧的检测结果；返回继续按照所接收待检测视频流对应的目标截取间隔时间获取新的待检测的截取视频帧，直至所述截取视频帧为所述待检测视频流中的末位截取视频帧。

此外，本实施例还进一步将对所述截取视频帧进行违规内容检测具体化为：将所述截取视频帧作为输入数据，输入预训练的违规概率预测模型，获得相应的违规概率值；当所述违规概率值小于设定概率阈值时，确定所述截取视频帧为不包含违规内容的合法视频帧；否则，将所述截取视频帧发送至人工审核平台，并在接收到人工审核平台反馈的包含违规内容的消息时，确定所述截取视频帧为包含违规内容的违规视频帧。

如图3所示，本发明实施例二提供的一种违规视频检测方法，具体包括如下操作：

S201、按照所接收待检测视频流对应的目标截取间隔时间，获取当前待检测的截取视频帧。

本实施例优化增加了为截取视频帧进行相似度值计算的步骤。通过上述实施例的描述，可以知道确定当前截取时间帧满足违规检测条件相当于确定截取视频帧与待检测视频流内已截取各有效视频帧的相似度值小于设定相似阈值。因此，本实施例相当于在获取截取视频帧之后，还需要执行本实施例下述S202的操作。

S202、采用选定的目标相似度算法，确定所述待检测视频流内已截取的各有效视频帧与所述截取视频帧的目标相似度值。

在本实施例中，可以预先给定的相似度算法集合中选定适用于本实施例的目标相似度算法，所述目标相似度算法具体用于计算所给定两张图像的相似度值，本实施例可以将截取获得的各视频帧看作一张图像。同时，本实施例还可以预先对从待检测视频流内截取获得各有效视频帧进行缓存，其中，有效视频帧可理解为所截取视频帧满足违规检测条件。具体的，本步骤可以采用目标相似度算法，计算截取视频帧与所缓存的从所述待检测视频流内截取的各有效视频帧的相似度值。从而使本实施例后续可以通过各相似度值与设定相似度值的比对来确定截取视频帧是否满足违规检测条件。

进一步地，图4给出了本实施例二所提供违规检测方法中所需目标相似度算法的确定流程图，如图4所示，本实施例二具体通过下述步骤实现目标相似度算法的确定：

S2001、获取视频截图样本集合，所述视频截图样本集合中包含的各视频截图具备截图标签，所述截图标签用于标识所对应视频截图为违规或合法。

本步骤可获取视频截图样本集合，该视频截图样本集合中所包括的各视频截图可看作预先进行了违规检测的历史视频帧，因此，可以知道各视频截图是否包含违规内容，并可以通过该检测结果为各视频截图进行截图标签设置，以标识视频截图为违规还是合法。

S2002、针对所述视频截图样本集合中的每个视频截图，采用相似度算法集合中的各候选相似度算法，分别确定所述视频截图与所述视频截图样本集合中其他视频截图的相似度值。

在本实施例中，预先给定了包含至少一个候选相似度算法的相似度算法集合，通过相似度算法集合中的每个候选相似度算法，都可以对确定该视频截图图视频截图样本集合中其他视频截图的相似度值。因此，本步骤可以对上述所获取视频截图样本集合中的每个视频截图进行操作，示例性的，对于每个视频截图，可以采用相似度算法集合中所包括的每个候选相似度算法进行该视频截图对其他视频截图的相似度计算，从而对应所采用的每个候选相似度算法，都存在一组视频截图与其他视频截图的相似度值。

S2003、根据各所述视频截图在各所述候选相似度算法下对应的相似度值，从各所述候选相似度算法中选定目标相似度算法。

在本实施例中，通过上述步骤确定出各视频截图在各候选相似度算法下与其他视频的相似度值之后，本步骤可以通过对各候选相似度算法下所对应相似度值的分析，确定出适合进行违规检测条件筛选的目标相似度算法。

在上述实施例的基础上，本实施例可以将根据各所述视频截图在各所述候选相似度算法下对应的相似度值，从各所述候选相似度算法中选定目标相似度算法具体化为：a)针对每个候选相似度算法，确定各所述视频截图在所述候选相似度算法对应的相似度值，并将相似度值大于所述设定相似阈值的视频截图添加到筛选截图集合中；b)统计各候选相似度算法所对应筛选截图集合中所包括视频截图的整体截图数量，截图标签标识为违规的违规截图数量，截图标签标识为合法的合法截图数量；c)将所对应整体截图数量、违规截图数量以及合法截图数量满足算法筛选条件的候选相似度算法作为目标相似度算法；其中，所述算法筛选条件为：整体截图数据量属于设定数值范围、违规截图数量最小且合法截图数量最大。

示例性的，本实施例可预先根据本执行主体的计算资源以及人工审核平台处的审核人力资源，进行合适的相似度阈值设定，形成本实施例使用的设定相似阈值。然后，本实施例可以将候选相似度算法作为基准，对基于每个候选相似度算法确定的各视频截图之间的相似度值进行分析，即，将各相似度值与设定相似阈值进行比对，并将相似度值大于所述设定相似阈值的视频截图添加到筛选截图集合中。

可以知道的是，每个候选相似度算法对应存在一个筛选截图集合。本实施例可以对筛选截图集合中包括的整体截图数量，违规截图数量以及合法截图数量进行统计，整体截图数据量属于设定数值范围、违规截图数量最小且合法截图数量最大的候选相似度算法作为目标相似度算法。

S203、各所述目标相似度值是否均小于设定相似阈值，若是，则执行S204；若否，则执行S209。

在本实施例中，可以将通过S202确定的目标相似度值与设定相似阈值进行比对，当目标相似度值均小于设定相似阈值时，可认为当前截图视频帧与已截取的有效视频帧的相似度较低，相当于截取视频帧满足违规检测条件，可执行S204的操作；当存在大于设定相似阈值的目标相似度值时，可认为已进行违规检测的有效视频帧中存在于截取视频帧相似度较高的视频帧，相当于截取视频帧不满足违规检测条件，由此可执行S209的操作。

S204、将所述截取视频帧记为有效截取帧，并将所述截取视频帧作为输入数据，输入预训练的违规概率预测模型，获得相应的违规概率值。

本步骤为判定截取视频帧满足违规检测条件时的执行步骤，此时可认为截取视频帧也为一个有效视频帧。同时，本步骤可以将该截取视频帧看作一个违规概率预测模型的输入数据，通过运行该违规概率预测模型，可以预测出截取视频帧对应的违规概率值。

具体的，本实施例可将对该违规概率预测模型进行训练的过程概述为：将上述进行目标相似度算法确定所采用的视频截图集合作为该模型的训练样本，并将视频截图集合中截图标签标识为违规截图的作为正样本，标识为合法截图的作为负样本，形成两个样本训练集，之后以交叉熵损失函数作为该违规概率预测模型的损失函数进行学习和训练，直至该违规概率预测模型达到设定的拟合程度。

一般的，违规概率预测模型可以看做一个以图像为输入数据的二分类模型，该模型可以包含一个或多个卷积神经网络，在实际运行中，该模型可以通过所包含的卷积神经网络来提取图像的深度特征，并依据所提取的深度特征输出一个范围在0至1之间的概率值，该概率值标识所输入图像的违规概率，数值越大标识所输入图像中存在违规内容的可能性越大。

S205、确定所述违规概率值是否小于设定概率阈值，若是，则执行S206；若否，则执行S207。

接上述步骤，可进一步判定该违规概率值是否小于设定概率阈值，如果小于，则可认为该当前截图视频帧包含违规内容的可能性较小，可以执行S206，否则，认为该当前截图视频帧包含违规内容的可能性较大，需要执行S207。

S206、确定所述截取视频帧为不包含违规内容的合法视频帧，并执行S210。

本步骤可以在违规概率值小于设定概率阈值时，确定截取视频帧为不包含违规内容的合法视频帧，之后可跳转至S210。同时可以知道的是，本实施例中检测为合法视频帧的截取视频帧能够正常的反馈给观众端，供观众观看。

S207、将所述截取视频帧发送至人工审核平台，并在接收到人工审核平台反馈的包含违规内容的消息时，确定所述截取视频帧为包含违规内容的违规视频帧。

本步骤可以在违规概率值小于或等于设定概率阈值时，进一步将截取视频帧发送至人工审核平台进行人工审核，并可在接收到人工审核平台反馈的截取视频帧包含违规内容的消息时，将截取视频帧确定为包含违规内容的违规视频帧。

S208、对所述截取视频帧进行预定处理，并继续执行S210。

当确定截取视频帧为违规视频时，可通过本步骤对该当前违规视频进行过滤处理，以避免该违规视频帧流向观众端，同时也可以更新该待检测视频流所包含违规视频帧的违规数量。

S209、确定与所述截取视频帧匹配的目标有效截取帧，根据所述目标有效截取帧的违规检测结果确定所述截取视频帧的检测结果，并继续执行S210。

本步骤的执行时机为通过S203判断截取视频帧不满足违规检测条件，此时相当于待检测视频流已截取的有效截取帧中存在与该截取视频帧相似度较高(即大于设定相似阈值)的目标有效截取帧，本步骤可认为截取视频帧与该目标有效截取帧相匹配。

可以知道的是，待检测视频流已截取的有效截取帧均为进行了违规检测的视频帧，本步骤可以获取到目标有效截取帧的违规检测结果，并基于该违规检查结果确定出该截取视频帧是否包含违规内容。示例性的，假设检测到目标有效截取帧包含违规内容，则本步骤也可确定出该截取视频帧包括有违规内容。

具体的，本实施例可将确定与所述截取视频帧匹配的目标有效截取帧，根据所述目标有效截取帧的违规检测结果确定所述截取视频帧的检测结果具体优化为：遍历各所述目标相似度值，确定最大相似度值，并将所述最大相似度值对应的有效截取帧作为所述截取视频帧的目标有效截取帧；如果确定所述目标有效截取帧为不包含违规内容的合法视频帧，则确定所述截取视频帧为合法视频帧；如果确定所述目标有效截取帧为包含违规内容的违规视频帧，则确定所述截取视频帧为违规视频帧。

在本实施例中，经过上述S202确定出截取视频帧与各有效截取帧的目标相似度值后，当目标相似度值中存在大于或等于设定相似阈值的情况时，可以遍历各目标相似度值，从中找出与截取视频帧具备最大相似度值的有效截取帧作为目标有效截取帧；因为截取视频帧与目标有效截取帧具备较高的相似度，所以可直接将目标有效截取帧作为该截取视频帧的违规检测结果。

示例性的，当已检测的目标有效截取帧为包含违规内容的违规视频帧时，可认为该截取视频帧也为违规视频帧，此时，也需要对该截取视频帧进行预定处理，然后进行S210的操作；当已检测的目标有效截取帧为不包含违规内容的合法视频帧时，可直接进行S210的操作。

S210、判定截取视频帧是否为所述待检测视频流中的末位截取视频帧，若是，则执行S211；若否，则返回执行S201。

本步骤的执行时机为：对截取视频帧进行违规检测确定为合法视频帧之后；或者，对截取视频帧进行违规检测确定为违规视频帧并进行预测处理之后。

本步骤具体可以对截取视频帧在待检测视频流中的排序状态进行判断，来确定该截取视频帧是否为所述待检测视频流中的末位截取视频帧，并可在截取视频帧为末位截取视频帧时，直接执行S211结束对该待检测视频流的违规检测；又或者在截取视频帧不为末位截取视频帧时，直接返回S201，重新获取新的截取视频帧，并循环执行上述各操作。

S211、结束所述待检测视频流的违规检测。

本发明实施例二提供的一种违规视频检测方法，具体增加了违规检测条件的判定实现操作，还具体化了对视频帧进行违规检测的实现过程。本实施例首先基于对应待检测视频流选定的目标截取间隔时间来进行视频帧的截取，与现有技术相比，所选定的截取间隔时间能够有效的实现对短时长视频中视频帧的截取，降低了违规视频帧的闪漏量；同时本技术方案还设定了对满足违规检测条件的视频帧进行违规检测，以此来限定实际参与违规检测的视频帧数量，降低检测成本，从而保证在没有大量增加检测成本的前提下能够更好的避免违规视频帧的漏检，进而达到净化直播网络环境的目的。

实施例三

图5为本发明实施例三提供的一种违规视频检测装置的结构框图，该装置适用于对直播中的视频流进行违规检测的情况，其中，该装置可以由软件或硬件实现，并一般可集成在计算机设备上。如图5所示，该装置包括：视频帧获取模块31和违规内容检测模块32。

视频帧获取模块31，用于按照所接收待检测视频流对应的目标截取间隔时间，获取当前待检测的截取视频帧；

违规内容检测模块32，用于当确定所述截取视频帧满足违规检测条件时，对所述截取视频帧进行违规内容检测，并将所述截取视频帧记为有效截取帧；

其中，所述违规检测条件为：所述待检测视频流内已截取获得的全部有效截取帧与所述截取视频帧的目标相似度值均小于设定相似阈值。

本发明实施例三提供的一种违规视频检测装置，当存在待检测的视频流时，首先选定适合待检测视频流的截取间隔时间，并基于选定的截取间隔时间来进行视频帧的截取，与现有技术相比，所选定的截取间隔时间能够有效的实现对短时长视频中视频帧的截取，降低了违规视频帧的闪漏量；同时本技术方案还设定了对满足违规检测条件的视频帧进行违规检测，以此来限定实际参与违规检测的视频帧数量，降低检测成本，从而保证在没有大量增加检测成本的前提下能够更好的避免违规视频帧的漏检，进而达到精华直播网络环境的目的。

实施例四

图6给出了本发明实施例四提供的一种计算机设备的硬件结构示意图，具体地，该计算机设备包括：处理器和存储装置。存储装置中存储有至少一条指令，且指令由所述处理器执行，使得所述计算机设备执行如上述方法实施例所述的违规视频检测方法。

参照图6，该计算机设备具体可以包括：处理器40、存储装置41、显示屏42、输入装置43、输出装置44以及通信装置45。该计算机设备中处理器40的数量可以是一个或者多个，图6中以一个处理器40为例。该计算机设备中存储装置41的数量可以是一个或者多个，图6中以一个存储装置41为例。该计算机设备的处理器40、存储装置41、显示屏42、输入装置43、输出装置44以及通信装置45可以通过总线或者其他方式连接，图6中以通过总线连接为例。

具体的，实施例中，处理器40执行存储装置41中存储的一个或多个程序时，具体实现如下操作：按照所接收待检测视频流对应的目标截取间隔时间，获取当前待检测的截取视频帧；当确定所述截取视频帧满足违规检测条件时，对所述截取视频帧进行违规内容检测，并将所述截取视频帧记为有效截取帧；其中，所述违规检测条件为：所述待检测视频流内已截取获得的全部有效截取帧与所述截取视频帧的目标相似度值均小于设定相似阈值。

本发明实施例还提供一种计算机可读存储介质，所述存储介质中的程序由计算机设备的处理器执行时，使得计算机设备能够执行如上述实施例所述的违规视频检测方法。示例性的，上述实施例所述的违规视频检测方法包括：按照所接收待检测视频流对应的目标截取间隔时间，获取当前待检测的截取视频帧；当确定所述截取视频帧满足违规检测条件时，对所述截取视频帧进行违规内容检测，并将所述截取视频帧记为有效截取帧；其中，所述违规检测条件为：所述待检测视频流内已截取获得的全部有效截取帧与所述截取视频帧的目标相似度值均小于设定相似阈值。

需要说明的是，对于装置、计算机设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的违规视频检测方法。

值得注意的是，上述违规视频检测装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种违规视频检测方法，其特征在于，包括：

按照所接收待检测视频流对应的目标截取间隔时间，获取当前待检测的截取视频帧；

当确定所述截取视频帧满足违规检测条件时，对所述截取视频帧进行违规内容检测，并将所述截取视频帧记为有效截取帧；

其中，所述违规检测条件为：所述待检测视频流内已截取获得的全部有效截取帧与所述截取视频帧的目标相似度值均小于设定相似阈值。

2.根据权利要求1所述的方法，其特征在于，还包括：

确定所述待检测视频流的视频属性信息，并从预确定的截取间隔时间表中确定与所述视频属性信息匹配的目标截取间隔时间。

3.根据权利要求2所述的方法，其特征在于，确定所述待检测视频流的视频属性信息，并从预确定的截取间隔时间表中确定与所述视频属性信息匹配的目标截取间隔时间，包括：

获取所述待检测视频流的视频归属地域以及视频生成时间段作为相应的视频属性信息；

从所述截取间隔时间表查找所述视频归属地域，以及在所述视频归属地域下查找所述视频生成时间段，将所述视频生成时间段对应的截取间隔时间作为所述待检测视频的目标截取间隔时间。

4.根据权利要求2所述的方法，其特征在于，所述截取间隔时间表的确定步骤包括：

分析所给定违规样本集中所包含各违规视频归属的地域，确定所包含违规视频的占有率大于设定占有阈值的至少一个目标地域；

针对每个目标地域，基于所述目标地域下所对应违规视频的生成时间段，确定违规视频生成率大于设定生成阈值的至少一个目标生成时间段；

针对所述目标地域下的每个目标生成时间段，确定所包含违规视频的平均时长，并根据所述平均时长确定所述目标生成时间段下对应的截取间隔时间；

汇总各所述目标地域下所包括各目标生成时间段对应截取间隔时间，形成截取间隔时间表。

5.根据权利要求1所述的方法，其特征在于，在获取当前待检测的截取视频帧之后，还包括：

采用选定的目标相似度算法，确定所述待检测视频流内已截取的各有效视频帧与所述截取视频帧的目标相似度值。

6.根据权利要求5所述的方法，其特征在于，还包括：

如果确定所述截取视频帧不满足违规检测条件，则确定与所述截取视频帧匹配的目标有效截取帧，根据所述目标有效截取帧的违规检测结果确定所述截取视频帧的检测结果；

返回继续按照所接收待检测视频流对应的目标截取间隔时间获取新的待检测的截取视频帧，直至所述截取视频帧为所述待检测视频流中的末位截取视频帧。

7.根据权利要求6所述的方法，其特征在于，所述确定与所述截取视频帧匹配的目标有效截取帧，根据所述目标有效截取帧的违规检测结果确定所述截取视频帧的检测结果，包括：

遍历各所述目标相似度值，确定最大相似度值，并将所述最大相似度值对应的有效截取帧作为所述截取视频帧的目标有效截取帧；

如果确定所述目标有效截取帧为不包含违规内容的合法视频帧，则确定所述截取视频帧为合法视频帧；

如果确定所述目标有效截取帧为包含违规内容的违规视频帧，则确定所述截取视频帧为违规视频帧。

8.根据权利要求5所述的方法，其特征在于，所述目标相似度算法的选定步骤包括：

获取视频截图样本集合，所述视频截图样本集合中包含的各视频截图具备截图标签，所述截图标签用于标识所对应视频截图为违规或合法；

针对所述视频截图样本集合中的每个视频截图，采用相似度算法集合中包括的各候选相似度算法，分别确定所述视频截图与所述视频截图样本集合中其他视频截图的相似度值；

根据各所述视频截图在各所述候选相似度算法下对应的相似度值，从各所述候选相似度算法中选定目标相似度算法。

9.根据权利要求8所述的方法，其特征在于，所述根据各所述视频截图在各所述候选相似度算法下对应的相似度值，从各所述候选相似度算法中选定目标相似度算法，包括：

针对每个候选相似度算法，确定各所述视频截图在所述候选相似度算法对应的相似度值，并将相似度值大于所述设定相似阈值的视频截图添加到筛选截图集合中；

统计各候选相似度算法所对应筛选截图集合中所包括视频截图的整体截图数量，截图标签标识为违规的违规截图数量，截图标签标识为合法的合法截图数量；

将所对应整体截图数量、违规截图数量以及合法截图数量满足算法筛选条件的候选相似度算法作为目标相似度算法；

其中，所述算法筛选条件为：整体截图数据量属于设定数值范围、违规截图数量最小且合法截图数量最大。

10.根据权利要求1-9任一项所述的方法，其特征在于，所述对所述截取视频帧进行违规内容检测，包括：

将所述截取视频帧作为输入数据，输入预训练的违规概率预测模型，获得相应的违规概率值；

当所述违规概率值小于设定概率阈值时，确定所述截取视频帧为不包含违规内容的合法视频帧；否则，

将所述截取视频帧发送至人工审核平台，并在接收到人工审核平台反馈的包含违规内容的消息时，确定所述截取视频帧为包含违规内容的违规视频帧。

11.根据权利要求1-10任一项所述的方法，其特征在于，在对所述截取视频帧进行违规内容检测之后，还包括：

当确定所述截取视频帧为不包含违规内容的合法视频帧时，返回继续按照所接收待检测视频流对应的目标截取间隔时间获取新的待检测的截取视频帧，直至所述截取视频帧为所述待检测视频流中的末位截取视频帧；

当确定所述截取视频帧为包含违规内容的违规视频帧时，对所述截取视频帧进行预定处理，并返回继续按照所接收待检测视频流对应的目标截取间隔时间获取新的待检测的截取视频帧，直至所述截取视频帧为所述待检测视频流中的末位截取视频帧。

12.一种违规视频检测装置，其特征在于，包括：

视频帧获取模块，用于按照所接收待检测视频流对应的目标截取间隔时间，获取当前待检测的截取视频帧；

违规内容检测模块，用于当确定所述截取视频帧满足违规检测条件时，对所述截取视频帧进行违规内容检测，并将所述截取视频帧记为有效截取帧；

其中，所述违规检测条件为：所述待检测视频流内已截取获得的全部有效截取帧与所述截取视频帧的目标相似度值均小于设定相似阈值。

13.一种计算机设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11任一项所述的违规视频检测方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11任一项所述的违规视频检测方法。

Images