CN113095178A - 不良信息检测方法、系统、电子设备和可读存储介质 - Google Patents

Abstract

本发明实施例公开了一种不良信息检测方法、系统、电子设备和可读存储介质，所述方法包括：获取视频帧序列，将视频帧序列输入至一级检测模型进行初次检测，确定一级检测结果，对一级检测结果对应的视频图像进行二次检测，确定二级检测结果，对二级检测结果对应的视频图像执行处理流程。由此，在实现对视频图像信息检测的同时，有利于提高信息检测效率，降低信息检测成本，提升视频图像信息品质。

Description

不良信息检测方法、系统、电子设备和可读存储介质

技术领域

本发明涉及计算机技术领域，具体涉及一种不良信息检测方法、装置、电子设备和可读存储介质。

背景技术

为避免带有不良信息(例如：涉黄和涉暴)的视频图像进入公众视野，需要对视频图像进行信息识别，以将符合规范的视频图像进行播放和传播。

现有的视频图像信息检测大多依赖于专用的信息检测平台，通过将待检测视频图像输入至信息检测平台，由信息检测平台对全部视频图像进行检测，并输出图像检测结果。然而，当待检测视频图像数量庞大时，若选用复杂度高的模型，能够尽可能地筛选出违规图像，检测精度高，但检测耗费的时间长，检测成本高。若采用复杂度低的模型，虽然可以节约检测时长，但由于模型精度较低，检测结果的准确度仍有较大的改善空间。

发明内容

有鉴于此，本发明实施例提供一种不良信息检测方法、装置、电子设备和可读存储介质，以在实现视频图像信息检测的同时，提升视频信息品质，提高视频信息检测效率，降低信息检测成本。

第一方面，本发明实施例提供一种不良信息检测方法，所述方法包括：

获取视频帧序列，所述视频帧序列包括至少一个视频帧对应的视频图像；

将所述视频帧序列输入至一级检测模型进行初次检测，确定一级检测结果，所述一级检测结果包括初次检测认定存在不良信息的视频图像；

对所述一级检测结果对应的视频图像进行二次检测，确定二级检测结果，所述二级检测结果包括二次检测认定存在不良信息的视频图像；

对所述二级检测结果对应的视频图像执行处理流程。

进一步地，所述一级检测模型包括第一模型和第二模型，所述第一模型和第二模型分别用于检测所述视频图像中的涉黄信息和涉暴信息。

进一步地，所述将所述视频帧序列输入至一级检测模型进行初次检测，确定一级检测结果包括：

将所述视频帧序列分别输入至第一模型和第二模型，确定对应的第一检测结果和第二检测结果；

根据所述第一检测结果和第二检测结果确定所述一级检测结果。

进一步地，所述对所述一级检测结果对应的视频图像进行二次检测，确定二级检测结果包括：

调用内容审核平台；

基于所述内容审核平台输出的识别结果确定所述二级检测结果。

进一步地，所述对所述二级检测结果对应的视频图像执行处理流程包括：

对所述二级检测结果对应的视频图像进行标记；

对标记后的视频图像进行删除或打码。

进一步地，在所述对标记后的视频图像进行删除或打码之后，所述方法还包括：

向服务平台或终端发送通知信息。

进一步地，所述获取视频帧序列包括：

获取视频流，所述视频流包括多个视频帧，各视频帧具有对应的视频图像；

根据所述视频流获取所述视频帧序列。

进一步地，所述视频帧序列基于以下步骤确定：

每隔预设时间抽取所述视频流中的一帧视频帧；

按照预设顺序排列从所述视频流中抽取到的全部视频帧；

将排列后的全部视频图像组成的集合确定为所述视频帧序列。

第二方面，本发明实施例提供一种不良信息检测系统，所述系统包括：

获取单元，用于获取视频帧序列，所述视频帧序列包括至少一个视频帧对应的视频图像；

初次检测单元，用于将所述视频帧序列输入至一级检测模型进行初次检测，确定一级检测结果，所述一级检测结果包括初次检测认定存在不良信息的视频图像；

二次检测单元，用于对所述一级检测结果对应的视频图像进行二次检测，确定二级检测结果，所述二级检测结果包括二次检测认定存在不良信息的视频图像；

处理单元，用于对所述二级检测结果对应的视频图像执行处理流程。

第三方面，本发明实施例提供一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如上任一项所述的方法。

第四方面，本发明实施例提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如上所述的方法。

第五方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法步骤。

本发明实施例的技术方案通过获取视频帧序列，并将视频帧序列输入至一级检测模型进行初次检测，确定出一级检测结果，再对一级检测结果进行二次检测，确定二级检测结果，最后对二级检测结果对应的视频图像执行处理流程，实现对视频图像信息的检测，进而提升视频信息品质。同时，通过一级检测模型的初次检测和二级检测模型的二次检测的结合，对信息检测模型的整体复杂度和检测速度进行改善，相比于低复杂度模型有利于提高信息检测效率，相比于高复杂度模型有利于降低信息检测成本。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是本发明实施例的不良信息检测方法的流程图；

图2是本发明实施例的获取视频帧的流程图；

图3是本发明实施例的确定视频帧序列的流程图；

图4是本发明实施例的确定一级检测结果的示意图；

图5是本发明实施例的确定二级检测结果的示意图；

图6是本发明实施例的执行处理流程的流程图；

图7是本发明实施例的不良信息检测方法的又一流程图；

图8是本发明实施例的不良信息检测系统的示意图；

图9是本发明实施例的电子设备的示意图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

随着计算机网络技术的发展，使得各种视频和图像的传输更加方便。同时，为了减少和避免带有不良信息的视频图像的传播，需要对视频图像进行不良信息检测，及时筛选出违规信息，保证视频图像传输内容的品质，营造良好的网络氛围。

下面，以在线教育的直播教学场景中不良信息的识别为例对本实施例中的不良信息检测方法进行介绍。并且，应理解的是，本实施例中的不良信息检测方法能够应用于各种在线或离线场景中的视频或图像传输或共享过程，这里并不对此做进一步限定。

由于现有的在线教学过程是基于网络连接的教师终端和学生终端之间的交互进行的，各学生终端与教师终端会建立画面连接。为避免至少其中一方终端上显示的不良信息对课堂秩序和教学过程产生的影响，需要对在线教学过程进行实时监控，并在检测到不良信息后及时对不良信息中的违规信息进行处理，进而避免违规视频图像带来的负面影响。

可选地，本实施例中的不良信息(也即违规信息)可以包括涉黄信息和涉暴信息。其中，示例性的涉黄信息包括孩子/教师裸露上身/下体。涉暴信息包括暴力视频(如液压机挤压物品等暴力视频)、暴力动作和暴力词汇等。

图1是本发明实施例的不良信息检测方法的流程图。如图1所示，本实施例的不良信息检测方法包括以下步骤。

在步骤S100，获取视频帧序列。其中，视频帧序列包括至少一个视频帧对应的视频图像。

本实施例中，为提高信息检测效率，采用批量化处理的方式获取待测的视频图像。在获取待校测视频图像时，先获取一定数量的视频帧序列，并以视频帧序列为单位依次进行信息检测。

可选地，本实施例的视频帧序列对应的视频图像的数量可以根据实际使用情况设置，并以不影响整体信息检测效率为基本设置原则。由此，在不影响信息检测进程的同时，提高不良信息检测方法在不同使用场景下的适应性。

在步骤S200，将视频帧序列输入至一级检测模型进行初次检测，确定一级检测结果。其中，一级检测结果包括初次检测认定存在不良信息的视频图像。

可选地，本实施例在对视频帧序列对应的视频图像进行检测时，先通过一级检测模型对待检测的视频图像进行初步过滤，过滤掉一定比例的正常视频图像(也即未出现不良信息的正常视频图像)，并筛选出剩余数量的包含违规信息的视频图像和/或包含大概率违规信息的视频图像。其中，大概率违规信息用于表征视频图像中的图像信息包括违规信息的可能性超过预设概率值。预设概率值的大小可以根据实际使用中的图像品质要求或其他因素确定。

进一步地，为提高信息检测效率和降低后续步骤中的检测成本，本实施例中的一级检测模型选用轻量级的识别模型，并由一级检测模型过滤掉90％的正常视频图像，筛选出违规图像和出现违规信息概率较大的视频图像。由此，将过滤掉的视频图像中出现违规信息的可能性降到最低，最大程度地保证视频图像的品质。

具体地，本实施例中可以将预设概率值设置为70％。一级检测模型输出的一级检测结果包括违规视频图像和包含大概率违规信息的视频图像。由此，在确定一级检测结果的同时，能够最大程度地筛选出包含违规信息的视频图像，进而提升视频图像的播放或传播品质。同时，由于采用轻量级的一级检测模型，便于提高信息检测速率，加快信息检测进程。

在步骤S300，对一级检测结果对应的视频图像进行二次检测，确定二级检测结果。其中，二级检测结果包括二次检测认定存在不良信息的视频图像。

本实施例中，在确定一级检测结果之后，会对一级检测结果对应的的视频图像进行二次检测，以确定二级检测结果。由此，通过初步过滤和二次检测相结合的方式对待检测视频图像进行过滤和筛选，使待检测视频图像中出现违规信息的可能性降到最低，避免视频图像播放和传播过程中的潜在风险和负面影响。

可选地，本实施例中可以通过常规的内容识别方式对一级检测结果进行二次检测。由此，提高不良信息检测方法的普适性，便于扩大不良信息检测方法的使用范围。

可选地，由于一级检测模型和二级检测模型精度设置的不同和为了保证视频流播放或传播时视频图像的连贯性，本实施例中二级检测结果中视频图像的数量小于或等于一级检测结果中视频图像数量。例如，在识别涉黄信息时，一级检测结果中可以包括只裸露肩膀(如穿一字肩衣服的人)的视频图像，而二级检测结果中并不包括只裸露肩膀的视频图像。

具体地，本实施例中采用高精度的内容审核平台对一级检测结果进行二次检测，二次检测得到的二级检测结果值包括违规视频图像和包含大概率违规信息的视频图像。并且，本实施例中的内容审核平台可以是第三方内容审核平台，也可以是自主研发的内容审核平台。由此，能够提高视频图像中信息检测的精确度。同时，为保证待检测视频图像中信息检测的精确度，一般的第三方内容审核平台的模型复杂度都很高。因此，通过轻量级的一级检测模型先对待检测视频图像进行初步过滤，并将初步过滤后对应的一级检测结果输入至第三方内容审核平台，使得输入至大容量的第三方内容审核平台的视频图像数量减少。由此，在实现高精度视频图像信息检测和提升视频信息品质的同时，还能够提高视频信息检测效率，降低信息检测成本。

在步骤S400，对二级检测结果对应的视频图像执行处理流程。

可选地，本实施例中的二级检测结果只包括涉及有违规信息的视频图像，而不包括正常视频图像。由此，减少后续处理流程中需要处理的信息的数据量，提高整个信息检测流程的处理效率。

本发明实施例的技术方案通过获取视频帧序列，并将视频帧序列输入至一级检测模型进行初次检测，确定出一级检测结果，再对一级检测结果进行二次检测，确定二级检测结果，最后对二级检测结果对应的视频图像执行处理流程，实现对视频图像信息的检测，进而提升视频信息品质。同时，通过轻量级的一级检测模型的初次检测和高精度的二级检测模型的二次检测的结合，使得信息检测模型的整体复杂度和检测速度得到改善，相比于低复杂度模型有利于提高信息检测效率，相比于高复杂度模型有利于降低信息检测成本。

图2是本发明实施例的获取视频帧的流程图。如图2所示，本实施例在获取视频帧序列时，基于以下步骤实现。

在步骤S110，获取视频流。其中，视频流包括多个视频帧，各视频帧具有对应的视频图像。

可选地，本实施例中的视频流通过在线教学场景中的图像采集设备实时采集得到。其中，图像采集设备可以是内置于终端设备的，也可以外置于终端设备，并能够采集到学生和教师双方终端上的播放画面。

在步骤S120，根据视频流获取视频帧序列。

本实施例中，通过获取待检测的视频流，并根据获取到的视频流获取待检测的视频帧序列。由此，便于批量化处理待检测的视频流对应的视频图像，有利于提高信息检测效率。

可选地，由于视频流中相邻前后帧的图像相似度极高，图像中的图像信息重复度极高，为避免反复检测相同的图像信息引起的资源浪费和成本消耗，如图3所示，本实施例中的视频帧序列基于以下步骤确定。

在步骤S121，每隔预设时间抽取视频流中的一帧视频帧。

本实施例中，预设时间的具体时间跨度可以根据实际情况设置或调整。可选地，本实施例中的预设时间设置为5秒。由此，在保证全部图像信息能够被检测的同时，避免反复检测相同的图像信息，有利于提高信息检测效率，降低资源浪费和成本消耗。

在步骤S122，按照预设顺序排列从视频流中抽取到的全部视频帧。

可选地，本实施例中可以根据视频帧出现的先后顺序对视频帧进行排列，先出现的视频帧先进行排列，以在待检测视频图像数量庞大时方便管理和检测。

应理解，本实施例的预设顺序可以根据实际情况设置，如按照视频帧对应图像数据量的大小，视频帧对应图像的相似度等。

在步骤S123，将排列后的全部视频图像组成的集合确定为视频帧序列。

本实施例中，通过每个预设时间抽取待检测视频流中的一帧视频帧，并按照预设顺序排列从待检测视频流中抽取到的全部视频帧，将排列后的全部视频图像组成的集合确定为视频帧序列，确定视频帧序列的方式灵活简便，便于快速确定待检测视频流对应的视频帧序列，并将确定的视频帧序列应用于后续信息检测步骤中。

可选地，本实施例中的一级检测模型包括第一模型和第二模型。其中，第一模型和第二模型分别用于检测视频图像中的涉黄信息和涉暴信息。由此，通过专用的检测模型对待检测视频图像中对应的图像信息进行检测，有利于提高信息检测结果的准确度，从而避免违规信息检测时的遗漏，进而有利于提高视频图像播放和传播过程中的品质。

图4是本发明实施例的确定一级检测结果的示意图。如图4所示，本实施例中基于以下步骤确定一级检测结果。

在步骤S210，将视频帧序列分别输入至第一模型和第二模型，确定对应的第一检测结果和第二检测结果。

本实施例中，第一检测模型对待检测的视频帧序列对应的视频图像中的涉黄信息进行检测，并输出对应的第一检测结果。第二检测模型对待检测的视频帧序列对应的视频图像中的涉暴信息进行检测，并输出对应的第二检测结果。由此，实现视频帧序列对应视频图像在不同维度上的全面的信息检测，最大程度地筛选出违规信息，提高检测性能，使得检测完成后用于播放或传播的视频图像的品质得到改善，并有利于提升使用者的使用体验。再者，通过第一检测模型和第二检测模型筛选出待检测视频流中尽可能多的违规信息的同时，能够减少后面二级检测模型的信息检测数据量，提高系统信息检测的处理效率，降低时间成本和检测的机器成本。

可选地，本实施例中的第一模型和第二模型均采用轻量级的识别模型。由此，在保证视频图像中信息检测结果准确度的同时，进一步加快信息检测的处理速度，提高整体信息检测效率。

可选地，为提高信息检测结果的可靠性，本实施例中的第一检测结果和第二检测结果均包括直接识别到的带有对应违规信息的视频图像以及带有大概率违规信息的视频图像。由此，能够最大程度地筛选出违规信息，同时将过滤掉的视频图像中出现违规信息的可能性降到最低，最大程度地保证视频图像的品质。

进一步地，本实施例中将视频帧序列复制成相同的两份，在进行信息检测时，可以根据预先设置的顺序依次进行不同维度的信息检测，也可以将不同的视频帧序列同时输入至不同的第一模型和第二模型中进行信息检测，并基于不同的检测模型输出对应的第一检测结果和第二检测结果。由此，便于进一步保证信息检测结果的可靠性，提高信息检测的准确度。

应理解，本实施例中的信息检测的维度数量也可以根据实际使用情况设置，并选用第一模型和第二模型中的任意一项或两项。或者，将第一模型和第二模型中的一项或多项替换为其他轻量级的信息检测模型实现视频图像中的信息检测。

在步骤S220，根据第一检测结果和第二检测结果确定一级检测结果。

本实施例中，将第一检测结果和第二检测结果对应的视频图像进行汇总，以确定对应的一级检测结果。

可选地，本实施例中可以对获取到的视频帧序列对应的视频图像建立唯一对应的标识。当第一检测结果和第二检测结果中的至少两项中包含有相同标识的视频图像时，根据视频图像对应的标识对全部视频图像进行整理，并将同一视频图像中出现的全部违规信息进行整合。最后，将包含有违规信息的视频图像进行汇总。由此，使得一级检测结果能够反映初次检测后的全部违规信息，同时避免包含有两种或多种违规信息的视频图像在一级检测结果中重复出现，减少后续信息检测步骤的工作量，提高整体信息检测效率。

图5是本发明实施例的确定二级检测结果的示意图。如图5所示，本实施中基于以下步骤确定二级检测结果。

在步骤S310，调用内容审核平台。

本实施例中的内容审核平台可以为第三方内容审核平台，也可以为自主研发的内容审核平台。并且，内容审核平台一般均配置有便于外部系统接入的接口。

具体地，本实施例中的内容审核平台采用第三方内容审核平台。因此，本实施例中通过调用第三方内容审核平台接口的方式，将二级检测结果对应的视频图像传输至第三方内容审核平台，并由第三方内容审核平台对待检测视频图像中的违规信息进行再次进行检测和识别，以此提高视频图像中信息检测的精确度。

在步骤S320，基于内容审核平台输出的识别结果确定二级检测结果。

本实施例中，在获取到内容审核平台输出的识别结果后，将内容审核平台输出的识别结果确定为二级检测结果。

需要说明的是，由于一般的内容审核平台的模型复杂度都很高，相应地，识别并输出对应的识别结果所需的时间成本和机器成本也高。因此，本实施例中通过将轻量级的一级检测模型对待检测视频图像进行初步过滤后形成的一级检测结果输入至内容审核平台，既能够保证信息检测结果的可靠性和准确性，还能够减少输入至大容量的内容审核平台的视频图像数量，加快整体信息检测任务的处理速度，降低信息检测所消耗的时间成本和机器成本。

图6是本发明实施例的执行处理流程的流程图。如图6所示，本实施例对二级检测结果对应的视频图像执行的处理流程包括以下步骤。

在步骤S410，对二级检测结果对应的视频图像进行标记。

本实施例中，可以采用常用的图像数据标注工具对二级检测结果对应的视频图像进行标记。其中，常用的图像标注工具包括Labellmg、 Labelme、RectLable、OpenCV/CVAT、VOTT、LabelBox、VIA-VGG Image Annotator、point-cloud-annotation-tool和Boobs等等。

进一步地，本实施例的不良信息检测方法在执行步骤S410之前还可以增加人工审核平台，并通人工审核平台对二级检测结果对应的视频图像进行再次审核，并通过人工标记的方式对二级检测结果对应的视频图像中的违规信息进行标记。标记完成后，触发下述的步骤S420执行后续处理流程步骤。

具体地，本实施例中的人工审核平台除了显示二级检测结果对应的视频图像之外，还提供有可视化显示各视频图像对应的视频流片段的界面，以方便工作人员进一步审核相应视频图像中是否存在违规信息。

在步骤S420，对标记后的视频图像进行删除或打码。

本实施例中，通过对标记后的视频图像进行删除或打码的方式对视频流中涉及有违规信息的视频图像进行处理，使得涉及有违规信息的视频图像无法播放或传播，由此能够消除播放或传播视频图像中的潜在违规信息，保证播放或传播视频流中视频图像的品质，提升观看者的使用体验。

应理解，随着图像处理技术的进步，本实施例中也可以采用删除或打码图片之外的其他方式对视频图像中的违规信息进行虚化或去除处理，使得涉及有违规信息的视频图像无法播放或传播，进而保证播放或传播视频流中视频图像的品质。

可选地，本实施例在对标记后的视频图像进行删除或打码之后，还会向服务平台(这里可以至在线教育平台)或终端发送通知信息。进一步地，本实施例中的通知信息可以以邮件或者短信的方式发送。由此，方便服务平台或终端对应用户知晓视频流的处理情况，有利于提升用户使用体验。

本发明实施例的技术方案通过获取视频帧序列，并将视频帧序列分别输入至第一模型和第二模型进行初次检测，确定出一级检测结果，再通过调用内容审核平台对一级检测结果进行二次检测，确定二级检测结果，最后对二级检测结果对应的视频图像极性标记和删除，实现对视频图像信息的检测，进而提升视频信息品质。同时，通过一级检测模型的初次检测和二级检测模型的二次检测的结合，对信息检测模型的整体复杂度和检测速度进行改善，相比于低复杂度模型有利于提高信息检测效率，相比于高复杂度模型有利于降低信息检测成本。

图7是本发明实施例的不良信息检测方法的又一流程图。如图7所示，本实施例在对视频图像信息进行检测时，需要执行以下处理过程：

在获取阶段，获取在线教育过程中通过图像采集设备采集到的视频流71。视频流由多个视频帧组成，各视频帧具有第一个的视频图像，各视频图像具有唯一的图像标识。

在抽帧阶段，对获取到的视频流71每隔预设时间抽取一帧视频帧，再按照预设顺序排列从视频流中抽取到的全部视频帧，并将排列后的全部视频图像组成的集合确定为待检测的视频帧序列72用于执行信息检测。由此，通过抽取视频帧的方式减少相邻视频帧对应视频图像中的相同图像信息被反复检测带来的资源浪费和成本消耗问题，并通过批量化处理的方式提高信息检测效率。

可选地，本实施例中每个视频帧序列对应的视频帧图像的数量可以根据实际使用情况设置，以此在实现批量化信息检测视频流中视频图像，提高信息检测效率的同时，能够提高不良信息检测方法在不同使用场景下的适应性。

在初次检测阶段，将确定好的待检测的视频帧序列72复制成两份，并分别输入至第一模型和第二模型，并由第一模型检测视频帧序列对应视频图像中的涉黄信息，由第二模型检测视频帧序列对应视频图像中的涉暴信息。第一模型和第二模型检测完成对应的违规信息之后，分别输出有第一检测结果和第二检测结果。其中，第一检测结果对应于包括涉黄信息和/或大概率涉黄信息的视频图像，第二检测结果对应于包括涉暴信息和/或大概率涉暴信息的视频图像。最后，将第一检测结果和第二检测结果对应的视频图像进行汇总，得到初次检测后的一级检测结果73。

可选地，本实施例中的第一检测模型和第二检测模型均采用轻量级的识别模型。由此，通过不同的检测模型检测对应类型的违规信息，保证信息检测结果的可靠性，并通过轻量级的模型，使得系统信息检测速度加快，有利于提高信息检测效率。

可选地，在汇总第一检测结果和第二检测结果时，若同一图像标识对应的视频图像中出现至少两类违规信息时，将同一视频图像中涉及的违规信息全部整理到一个视频图像中。

在二次检测阶段，调用内容审核平台的接口，将一级检测结果对应的视频图像通过接口输入至内容审核平台，由内容审核平台对待检测视频图线中的违规信息进行再次检测和识别，并将内容审核平台输出的识别结果确定为二级检测结果74。由此，在初次检测阶段汇总得到一级检测结果73后，通过调用内容审核平台接口进行二次检测，得到二级检测结果74，使得整体信息检测结果精确度和可信度更高。同时，相比于现有技术中直接调用内容审核平台进行信息检测的方法，由于初次检测阶段已经过滤掉视频中大部分的视频图像，使得输入至内容审核平台的视频图像数量明显减少。并且，由于第三方内容审核平台内部处理模型复杂度更高，处理速度相对较慢，在保证违规信息不遗漏的基础上，减少输入至第三方内容审核平台的待检测视频图像的数量，能够在一定程度上加快视频流的信息检测进程，提高信息检测效率，降低信息检测的时间成本和机器成本。

在审核阶段，基于人工审核平台对二级检测结果74对应的视频图像进行再一次审核，并通过人工标记的方式对二级检测结果74对应的视频图像中的违规信息进行标记。应理解，审核阶段的存在是为了更进一步地提高信息检测的品质。当二次检测阶段后得到的二级检测结果已经能够满足使用场景对视频播放和/或传播的视频图像的品质要求时，审核阶段的处理过程是可以省去的，同时带来降低不良信息检测方法使用成本的有益效果。

在处理阶段，删除审核阶段审核结束后得到的带有违规信息标记的视频图像集合75中的各视频图像，并在删除对应的视频图像后，向终端或服务平台发送通知信息。同时，将删除违规的视频图像之后对应的原视频流中的其他正常视频图像组合形成新的正常视频流76，以进行播放或传播。由此，使得涉及有违规信息的视频图像无法播放或传播，同时保证播放或传播视频流中视频图像的品质，有利于提升观看者的使用体验。

可选地，本实施例中可以通过人工审核平台在再次审核完成之后对带有违规信息的视频图像进行删除，并通过人工审核平台中的通信设备向终端后服务器平台发送通知信息。由此，便于减少不良信息检测方法实施时的系统配套设备或硬件的部署，有利于降低不良信息检测方法的使用成本，提高不良信息检测方法的适用性。本发明实施例的技术方案通过获取视频帧序列，并将视频帧序列分别输入至第一模型和第二模型进行初次检测，确定出一级检测结果，再通过调用第三方内容审核平台对一级检测结果进行二次检测，确定二级检测结果，最后基于人工审核平台对二级检测结果对应的视频图像进行标记和删除，实现对视频图像信息的检测，进而提升视频信息品质。另外，在通过第一检测模型和第二检测模型的初次检测以及二级检测模型的二次检测相结合的同时，增加人工审核平台的再次审核，使得对信息检测模型的整体复杂度和检测速度进行改善，提高信息检测效率和降低信息检测成本的同时，进一步提高信息检测的精确度和提升视频流播放或传播的品质。

图8是本发明实施例的不良信息检测系统的示意图。如图8所示，本实施例的不良信息检测系统8包括获取单元81、初次检测单元82、二次检测单元83和处理单元84。其中，获取单元81用于获取视频帧序列，视频帧序列包括至少一个视频帧对应的视频图像。初次检测单元82用于将视频帧序列输入至一级检测模型进行初次检测，确定一级检测结果，其中，一级检测结果包括初次检测认定存在不良信息的视频图像。二次检测单元83用于对一级检测结果对应的视频图像进行二次检测，确定二级检测结果，其中，二级检测结果包括二次检测认定存在不良信息的视频图像。处理单元84用于对二级检测结果对应的视频图像执行处理流程。

图9是本发明实施例的电子设备的示意图。如图9所示，本实施例的电子设备为通用的数据处理装置，包括通用的计算机硬件结构，其至少包括处理器91和存储器92。处理器91和存储器92通过总线93连接。存储器92适于存储处理器91可执行的指令或程序。处理器91可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器91 通过执行存储器92所存储的指令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线93将上述多个组件连接在一起，同时将上述组件连接到显示控制器94、显示装置以及输入/输出(I/O)装置95。输入/输出(I/O)装置95可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置95通过输入/输出(I/O)控制器96与系统相连。

其中，存储器92可以存储软件组件，例如操作系统、通信模块、交互模块以及应用程序。以上所述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。

本领域的技术人员应明白，本申请的实施例可提供为方法、装置(设备)或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质 (包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品。

本申请是参照根据本申请实施例的方法、装置(设备)和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程。

本发明的另一实施例涉及一种计算机程序产品，包括计算机程序/ 指令，计算机程序程序/指令用于在被处理器执行时实现上述部分或全部的方法实施例中的部分或全部步骤。这些计算机程序/指令可以存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的程序/指令产生包括指令装置的制造品，该指令装置实现流程图一个流程或多个流程中指定的功能。也可提供这些计算机程序/指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。

本发明的另一实施例涉及一种计算机可读存储介质，可以是非易失性存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等) 或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种不良信息检测方法，其特征在于，所述方法包括：

获取视频帧序列，所述视频帧序列包括至少一个视频帧对应的视频图像；

将所述视频帧序列输入至一级检测模型进行初次检测，确定一级检测结果，所述一级检测结果包括初次检测认定存在不良信息的视频图像；

对所述一级检测结果对应的视频图像进行二次检测，确定二级检测结果，所述二级检测结果包括二次检测认定存在不良信息的视频图像；

对所述二级检测结果对应的视频图像执行处理流程。

2.根据权利要求1所述的方法，其特征在于，所述一级检测模型包括第一模型和第二模型，所述第一模型和第二模型分别用于检测所述视频图像中的涉黄信息和涉暴信息。

3.根据权利要求2所述的方法，其特征在于，所述将所述视频帧序列输入至一级检测模型进行初次检测，确定一级检测结果包括：

将所述视频帧序列分别输入至第一模型和第二模型，确定对应的第一检测结果和第二检测结果；

根据所述第一检测结果和第二检测结果确定所述一级检测结果。

4.根据权利要求1所述的方法，其特征在于，所述对所述一级检测结果对应的视频图像进行二次检测，确定二级检测结果包括：

调用内容审核平台；

基于所述内容审核平台输出的识别结果确定所述二级检测结果。

5.根据权利要求1所述的方法，其特征在于，所述对所述二级检测结果对应的视频图像执行处理流程包括：

对所述二级检测结果对应的视频图像进行标记；

对标记后的视频图像进行删除或打码。

6.根据权利要求5所述的方法，其特征在于，在所述对标记后的视频图像进行删除或打码之后，所述方法还包括：

向服务平台或终端发送通知信息。

7.根据权利要求1所述的方法，其特征在于，所述获取视频帧序列包括：

获取视频流，所述视频流包括多个视频帧，各视频帧具有对应的视频图像；

根据所述视频流获取所述视频帧序列。

8.根据权利要求7所述的方法，其特征在于，所述视频帧序列基于以下步骤确定：

每隔预设时间抽取所述视频流中的一帧视频帧；

按照预设顺序排列从所述视频流中抽取到的全部视频帧；

将排列后的全部视频图像组成的集合确定为所述视频帧序列。

9.一种不良信息检测系统，其特征在于，所述系统包括：

获取单元，用于获取视频帧序列，所述视频帧序列包括至少一个视频帧对应的视频图像；

初次检测单元，用于将所述视频帧序列输入至一级检测模型进行初次检测，确定一级检测结果，所述一级检测结果包括初次检测认定存在不良信息的视频图像；

二次检测单元，用于对所述一级检测结果对应的视频图像进行二次检测，确定二级检测结果，所述二级检测结果包括二次检测认定存在不良信息的视频图像；

处理单元，用于对所述二级检测结果对应的视频图像执行处理流程。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如权利要求1-8中任一项所述的方法。

11.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-8中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的方法步骤。

Images