CN111382626B - 视频中违规图像的检测方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了视频中违规图像的检测方法、装置、设备及存储介质。该方法包括：获取视频中当前的待测图像，所述待测图像中包括人脸；根据所述人脸的特征向量与预设的人物特征向量的距离确定所述待测图像的人脸得分值；根据所述人脸得分值确定所述待测图像是否为违规图像。利用该方法，与现有的违规图像检测方案相比，有效提高了违规图像检测的时效性，减少了人力资源的投入，从而降低了视频审核的成本消耗，同时降低了人为检测的检测误差以及降低了漏检某些敏感人物的风险，保证了视频流中违规图像的审核精度，具有更好的实用性。

Description

视频中违规图像的检测方法、装置、设备及存储介质

技术领域

本发明涉及图像识别技术领域，尤其涉及视频中违规图像的检测方法、装置、设备及存储介质。

背景技术

随着网络信息的市场化，很多以短视频或者直播等互联网视频流为主打的应用产品已逐渐进入各国市场，对于进入各国市场的应用产品，其上传的视频内容除了需要受当地法律、法规的约束外，还需要遵从当前不同的风俗习惯，如果某些特定人物以不合适的时间、或不合适的方式出现在应用产品上传的视频中，很可能引起当地的习俗，甚至法律法规，从而引起当地用户的不适，进而影响应用产品在当地的正常运营。

一般而言，可以将应用产品中上传的包含特定人物的视频看作违规视频，而视频中存在特定人物的图像帧则相当于违规图像，由此，当前对于进入国外市场的应用产品，需要对该应用产品中上传的视频流进行审核检查，以确定该视频流中是否包含了违规图像。

目前常见的审核检查为基于人工平台的视频审核，即对视频流进行人工审核判断，由于互联网视频流具备数据量大、实时性要求高的特点，采用该方式存在成本投入高、审核时间长、无法消除人为理解偏差以及人工疲倦等造成误差检测等缺点。此外，也可利用人脸识别技术通过识别匹配视频流中的特定人物来实现违规视频检查，但是该种方式受限于单张图片的人脸识别精度，对于导致存在漏检某些敏感特定人物的风险。

发明内容

本发明实施例提供了视频中违规图像的检测方法、装置、设备及存储介质，简单高效准确的实现了视频流中违规图像的审核检测。

一方面，本发明实施例提供了一种视频中违规图像的检测方法，包括：

获取视频中当前的待测图像，所述待测图像中包括人脸；

根据所述人脸的特征向量与预设的人物特征向量的距离确定所述待测图像的人脸得分值；

根据所述人脸得分值确定所述待测图像是否为违规图像。

可选的，所述根据所述人脸的特征向量与预设的人物特征向量的距离确定所述待测图像的人脸得分值，包括：获取所述待测图像中所包含人脸的特征向量；确定各所述人脸的特征向量与预设的人物特征向量的距离值；从各所述距离值中选取最小距离值作为所述待测图像的人脸得分值。

可选的，所述人物特征向量包含在预设的违规人物特征列表中；所述违规人物特征列表通过下述方式确定：

构建初始为空的违规人物特征列表，并确定违规人物样本集中各违规人物的原始特征向量；对各所述原始特征向量进行聚类，并获取聚类后各类对应的中心特征向量；将各所述中心特征向量作为人物特征向量添加到所述违规人物特征列表中。

可选的，根据所述人脸得分值确定所述待测图像是否为违规图像，包括：

获取当前的违规推送比率，所述违规推送比率为违规图像的日推送量与每日业务总推送量的比值；根据所述违规推送比率确定当前的违规判定阈值；如果所述人脸得分值小于或等于所述违规判定阈值，则确定所述待测图像为违规图像。

可选的，该方法还包括：

当确定所述视频中包含违规图像时，将所述视频推送至人工审核平台，并接收所述人工审核平台对所述视频的审核结果；当所述审核结果为视频违规检测正确时，设定所述视频的播放权限。

可选的，该方法还包括：

根据检测到所述视频中违规图像的帧数，确定所述视频是否为违规视频。

可选的，所述根据检测到所述视频中违规图像的帧数，确定所述视频是否为违规视频，包括：如果在所述视频中检测到违规图像的图像帧数大于设定的帧数阈值，则确定所述视频为违规视频。

可选的，该方法还包括：

当存在新的违规人物时，基于各所述新的违规人物的原始特征向量，更新当前确定出的违规人物特征列表。

另一方面，本发明实施例提供了一种视频中违规图像的检测装置，包括：

图像获取模块，用于获取视频中当前的待测图像，所述待测图像中包括人脸；

得分确定模块，用于根据所述人脸的特征向量与预设的人物特征向量的距离确定所述待测图像的人脸得分值；

第一违规确定模块，用于根据所述人脸得分值确定所述待测图像是否为违规图像。

又一方面，本发明实施例提供了一种视频中违规图像的检测设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的视频中违规图像的检测方法。

再一方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的视频中违规图像的检测方法。

在上述视频中违规图像的检测方法、装置、设备及存储介质中，该视频中违规图像的检测方法首先获取视频中当前的待测图像；然后根据人脸的特征相连与预设的任务特征向量的距离确定待测图像的人脸得分值；最终根据人脸得分值确定待测图像是否为违规图像。上述技术方案，与现有的违规图像检测方案相比，有效提高了违规图像检测的时效性，减少了人力资源的投入，从而降低了视频审核的成本消耗，同时降低了人为检测的检测误差以及降低了漏检某些敏感人物的风险，保证了视频流中违规图像的审核精度，具有更好的实用性。

附图说明

图1为本发明实施例提供的一种视频中违规图像的检测方法的流程示意图；

图2给出了本发明实施例中更新违规人物特征列表的实现流程图；

图3给出了本发明实施例提供的视频中违规图像检测方法的另一流程示意图；

图4为本发明实施例提供的一种视频中违规图像的检测装置的结构框图；

图5为本发明实施例提供的一种视频中违规图像的检测设备的硬件结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

需要说明的是，本发明实施例的应用场景为以互联网视频流主打的应用产品(如直播软件、短视频播放软件等)进行视频上传，适用于对上传的视频进行违规图像检测的情况，基于本发明实施例提供的方法，能够简单快速的对所提供视频流中的图像帧(主要是包含人物信息的图像帧)进行违规审核检测。具体地，该方法可以由视频中违规图像的检测装置实现，其中，该装置可以由软件和/或硬件实现，并一般可作为插件集成在视频中违规图像的检测设备中，该视频中违规图像的检测设备具体可以是用于进行图像审核监测处理的图像处理服务器。

图1为本发明实施例提供的一种视频中违规图像的检测方法的流程示意图，如图1所示，该方法具体包括如下操作：

S101、获取视频中当前的待测图像，所述待测图像中包括人脸。

在本实施例中，所述视频具体可理解为视频上传终端待推送到互联网上的短视频或直播视频，所述待测图像具体可理解为从视频中抓取的图像帧，其中，可以实时在视频流中抓取图像帧，也可间隔设定时间抓取图像帧，本实施例不做具体限定。

需要说明的是，本实施例进行违规图像检测的前提可以是所抓取待测图像中包含人脸，由此，如果对抓取到的待测图像进行人脸检测后，确定待测图像中不存在人脸图像，可再重新进行待测图像抓取，而不对当前抓取的待测图像进行下述操作。

具体地，本实施例首先可以基于人脸检测算法对待测图像进行人脸检测，经过该检测后，可以获取从该待测图像中检测到人脸框及人脸框的置信度，其中，人脸框具体可采用框上四个顶点的坐标信息标识，每个人脸框还对应存在一个置信度。如果获取到的人脸框个数为0，则相当于该待测图像中不存在人脸图像，此时可忽略下述操作重新进行待测图像抓取；否则，可以将获取的各人脸框的置信度与设定的置信阈值进行比对，并确定置信度小于置信阈值的人脸框中存在人脸。

S102、根据所述人脸的特征向量与预设的人物特征向量的距离确定所述待测图像的人脸得分值。

在本实施例中，所述人脸具体可认为存在于上述待测图像中确定出的人脸框中，可以知道的是，基于所确定人脸框的顶点坐标信息，可以确定该人脸框所包含人脸的位置信息，根据各位置信息可从待测图像中获得各包含人脸的人脸图像。

本实施例中，所述特征向量具体可理解为表示相应人脸特征的向量值，该特征向量具体可通过预设的特征提取模型获取，具体地，可以向该特征提取模型中输入从待测图像中获得的人脸图像，通过该特征提取模型的提取处理，可获得对应人脸图像的特征向量。一般地，所获得人脸特征向量的维度可以通过对特征提取模型的设定来调整，本实施例对所获得人脸特征向量的维度不做具体限定，但为保证所获得特征向量能够与预设的人物特征向量进行距离计算，本实施例优选设定各人脸的特征向量维度相同，且与预设的人物特征向量的维度相同，即相当于采用同一个特征提取模型进行特征提取操作。

本实施例中，所述预设的人物特征向量具体相当于预先确定的不符合上传要求的违规人物的特征向量，该人物特征向量同样可基于预设的特征提取训练模型获得。本实施例可以采用给定特征距离计算函数来计算待测图像中各人脸的特征向量与人物特征向量的距离值。需要说明的是，两个特征向量进行距离计算后所得的距离值越小，就表明两特征向量的相似程度越高，也可以认为两特征向量所对应图像的相似度越高，本实施可以根据待测图像中人脸的特征向量与人物特征向量进行距离计算后的距离值大小，来确定待测图像中人脸可能属于违规人物的人脸得分值。

S103、根据所述人脸得分值确定所述待测图像是否为违规图像。

在本实施例中，所述人脸得分值具体可用于表示待测图像中存在违规人物的得分值。可以知道的是，当确定出的人脸得分值满足了作为违规图像的分值要求时，就可确定该待测图像为违规图像。具体地，作为违规图像的分值要求可以是一个设定的判定范围，也可以是一个判定阈值，所述判定范围或判定阈值可基于具体情况具体设定。

本发明实施例提供的一种视频中违规图像的检测方法，与现有的违规图像检测方案相比，有效提高了违规图像检测的时效性，减少了人力资源的投入，从而降低了视频审核的成本消耗，同时降低了人为检测的检测误差以及降低了漏检某些敏感人物的风险，保证了视频流中违规图像的审核精度，具有更好的实用性。

在本发明的一个可选实施例中，上述根据所述人脸的特征向量与预设的人物特征向量的距离确定所述待测图像的人脸得分值的步骤，具体可以包括：获取所述待测图像中所包含人脸的特征向量；确定各所述人脸的特征向量与预设的人物特征向量的距离值；从各所述距离值中选取最小距离值作为所述待测图像的人脸得分值。

本实施对于待测图像的人脸得分值的确定，首先需要确定待测图像中存在的人脸图像(可能存在多个人脸图像)，然后可提取每个人脸图像的特征向量，之后将各人脸的特征向量分别与人物特征向量进行距离计算，获得对应各人脸的距离值，比对各距离值，可以找出最小距离值，此时可认为最小距离值对应的人脸图像与预设的违规人物的相似度最高，本实施例优选将最小距离值确定为待测图像的人脸得分值。

在上述实施例的基础上，可选的，所述人物特征向量包含在预设的违规人物特征列表中，相应的，所述违规人物特征列表通过下述方式确定：构建初始为空的违规人物特征列表，并确定违规人物样本集中各违规人物的原始特征向量；对各所述原始特征向量进行聚类，并获取聚类后各类对应的中心特征向量；将各所述中心特征向量作为人物特征向量添加到所述违规人物特征列表中。

在本实施例中，不符合上传要求的违规人物可能存在多个，由此也会相应存在多个对应于违规人物的人物特征向量，本实施例可以预先设定一个违规人物特征列表，以存放违规人物的人物特征向量。

需要说明的是，当存在多个违规人物时，如果直接将违规人物的原始特征向量作为人物特征向量添加在违规特征列表中，则基于本实施例上述确定待测图像人脸得分值的表述可知，待测图像中每个人脸的特征向量需要分别与各违规人物的人物特征向量进行距离计算，最终再从计算出的距离值中选取最小距离值作为人脸得分值。可以发现，上述距离值计算的计算量与参与计算的违规人物的个数有关，违规人物越多，距离值计算所需的计算量就会越大，由此可能影响整个违规图像的检测效率。

分析违规人物的特点，发现某些违规人物一般具备很多相似的特征，由此为避免上述因违规人物数量太多对违规图像检测效率的影响，本实施例考虑采用聚类方法来实现违规人物特征列表的构建，即，通过聚类方法将具备相似特征的多个违规人物划分为一类，并确定该类违规人物的中心特征向量，最终将确定的中心特征向量作为该类违规人物的人物特征向量，形成聚类后的违规人物特征列表。由此在计算人脸得分值时，只需将人脸的特征向量与违规人物特征列表中对应各类违规人物的人物特征向量进行距离计算即可。

示例性地，所述对各所述原始特征向量进行聚类，并获取聚类后各类对应的中心特征向量，具体可包括：1)随机选取设定数量的原始特征向量作为聚类的类中心；2)针对每个类中心，计算各原始特征向量到该类中心的特征距离；将特征距离小于设定距离阈值的原始特征向量归为同一类；3)如果该类中所包括原始特征向量的个数与上一次聚类后的个数相同，则基于该类中所包括原始特征向量，确定该类的中心特征向量，并将该中心特征向量作为该类违规人物的人物特征向量添加到违规人物特征列表中，并结束循环聚类；否则，基于该类中所包括原始特征向量，重新确定类中心，然后返回2)执行特征距离的计算操作重新聚类(如果当前为首次聚类，则一定执行该重新聚类的操作)。

上述聚类操作中，中心特征向量具体相当于同一类原始特征向量的平均值；此外，重新聚类时依据的类中心也具体相当于当前类中所包括各原始特征向量的平均值。此外，完场上述聚类操作后，可以进一步判定各类所包括原始特征向量的个数是否小于设定的个数阈值，若小于，则可删除该类及该类中的原始特征向量。

进一步地，本发明实施例提供的违规图像的检测方法，在上述确定出违规人物特征列表后，还可以包括：当存在新的违规人物时，基于各所述新的违规人物的原始特征向量，更新当前确定出的违规人物特征列表。

可以理解的是，采用上述聚类方式获得当前的包含各人物特征向量的违规人物特征列表后，如果出现了新的违规人物，则需要更新当前已确定出的违规人物列表。示例性地，图2给出了本实施例中更新违规人物特征列表的实现流程图，参照图2，违规人物特征列表的更新操作具体可表述为：

S201、确定新出现的各违规人物的原始特征向量。

S202、从原始的违规人物特征列表中随机选取一个未被选中的中心特征向量作为类中心。

S203、计算各新增的原始特征向量与该类中心的特征距离，并将小于设定距离阈值的所有新增原始特征向量归为同一类。

S204、如果当前为首次聚类，则执行S206；否则，执行S205。

S205、如果当前聚类后同一类中包括的原始特征向量个数与上一次聚类后的个数相同，则将该类中各原始特征向量的均值确定为该类的中心特征向量，并将该中心特征向量作为新的人物特征向量更新到违规人物特征列表中，并执行S207；否则，执行S206。

S206、将当前聚类后同一类中原始特征向量的均值作为新的类中心，并返回执行S203。

S207、确定是否还存在没有聚类的新增原始特征向量，若是，则执行S208；若否，则执行S210。

S208、原始的违规人物列表中是否存在未选中的中心特征向量，若是，则返回执行S202；若否，则执行S209。

S209、对未聚类的新增原始特征向量进行聚类，获取聚类后各类对应的中心特征向量，并将各中心特征向量更新到违规人物特征列表中。

需要说明的是，本步骤中的聚类操作，其实现步骤与上述确定违规人物特征列表时相同，这里不再赘述。

S210、结束违规人物特征列表的更新操作。

可以理解的是，本实施例图2中各步骤的具体实现以在上述实施例中具体表述，这里不再赘述。

在本发明的一个可选实施例中，上述根据所述人脸得分值确定所述待测图像是否为违规图像的步骤，具体可以包括：获取当前的违规推送比率，所述违规推送比率为违规图像的日推送量与每日业务总推送量的比值；根据所述违规推送比率确定当前的违规判定阈值；如果所述人脸得分值小于或等于所述违规判定阈值，则确定所述待测图像为违规图像。

在本实施例中，可以通过将人脸得分值与违规判定阈值的比较来确定待测图像是否为违规图像。其中，所述违规判定阈值为一个动态变化的阈值，其具体可根据当前的违规推送比率来确定，本实施例可以根据给定的阈值确定规则结合当前确定的违规推送比率，来确定当前的违规判定阈值。

需要注意的是，所述违规推送比率具体可基于一个线下监控装置监控获得，该线下监控装置可以对每日视频业务的推送上传量进行监控，并具体监控每日视频业务的总推送量，还可以监控确定出违规图像后向人工审核平台进行推送的日推送量，可以理解的是，该线下监控装置所监控的数据量为动态变化的数据量，由此确定的违规推送比率也是动态变化的，进而基于违规推送比率确定出的违规判定阈值也是动态变化的。

在上述实施例的基础上，可选的，本发明实施例提供的视频中违规图像的检测方法还可以包括：当确定所述视频中包含违规图像时，将所述视频推送至人工审核平台，并接收所述人工审核平台对所述视频的审核结果；当所述审核结果为视频违规检测正确时，设定所述视频的播放权限。

需要说明的时，本实施例上述视频中违规图像的检测方法实际相当于由后端的图像处理服务器来执行，该图像处理服务器可以在用户端上传了短视频，或进行视频直播时，对视频流进行违规图像检测，但为保证检测出违规图像的正确性，本实施例还进一步优化增加了将违规视频推送至人工审核平台进行审核确认的操作。

可以知道的是，本实施例中的人工审核与现有方案中的人工审核相比，已经大大降低了人力资源的投入，且可以保证人工审核的高效进行，此外，本实施例还可以接收人工审核平台对所推送违规视频的审核结果，该审核结果一般可以为违规视频检测有误和违规视频检测正确，当接收到审核结果为违规视频检测正确时，就可以考虑所上传视频的播放权限，如禁止该视频上传到国外视频平台上，或者，进行该视频的后续上传等。

本实施例上述提供的视频违规图像的检测过程也体现了多终端的信息交互，参照图3，给出了本实施例提供的视频中违规图像检测方法的另一流程示意图。如图3所示，其主要实现了视频上传终端与图像处理服务器，以及图像处理服务器与人工审核平台端的信息交互，具体步骤可表示为：

S301、视频上传终端向图像处理服务器发送待上传的原始视频。

S302、图像处理服务器获取原始视频，并捕获原始视频中当前的待测图像，待测图像中包括人脸。

S303、图像处理服务器根据人脸的特征向量与预设的人物特征向量的距离确定待测图像的人脸得分值。

S304、图像处理服务器根据人脸得分值确定待测图像是否为违规图像，并将确定包含违规图像的原始视频推送给人工审核平台。

S305、人工审核平台获取审核人员对所接收原始视频的审核结果，并将该审核结果发送给图像处理服务器。

S306、图像处理服务器根据接收的对应原始视频的审核结果，确定原始视频的播放权限。

可以理解的是，本实施例图3中各步骤的具体实现以在上述实施例中具体表述，这里不再赘述。

在本发明的一个可选实施例中，上述方法还可以包括：根据检测到所述视频中违规图像的帧数，确定所述视频是否为违规视频。

需要说明的是，本发明实施例提供的检测方法其检测对象可以时实时接收的视频流，也可以是已经上传的或已存在的待测视频，当检测对象为待测视频时，可以在基于上述方法确定出待测视频的违规图像后，根据所确定违规图像的帧数来进一步判定该待测视频是否为违规视频。如果为违规视频，同样可以设定该违规视频的播放权限。

进一步的，在上述可选实施例的基础上，所述根据检测到所述视频中违规图像的帧数，确定所述视频是否为违规视频，具体可以是：如果在所述视频中检测到违规图像的图像帧数大于设定的帧数阈值，则确定所述视频为违规视频。

示例性地，确定视频是否为违规视频时，可以从视频中获取至少两帧包括人脸的待测图像，并对各待测图像进行违规图像判定，当确定出待测图像为违规图像的图像帧数达到设定的帧数阈值时，就可以将当前检测的视频确定为违规视频。

综上，本发明实施例实现了违规图像的检测，且在实现违规图像检测的过程中，采用了聚类方法来减少违规人物特征列表的列表长度，减小了检测过程中人脸得分值计算的计算量，从而保证了违规图像检测的检测速率，同时，该检测方法还增加了与人工审核平台的信息交互，通过人工审核来增强所检测违规图像的准确性。此外，本实施例还提出了违规人物特征列表的更新策略，进而保证了人脸得分值所依据人物特征向量的有效性。基于本实施例上述提供的检测方法，能够更好的降低了违规图像检测的检测误差以及降低了漏检某些敏感人物的风险，保证了视频流中违规图像的审核精度，具有更好的实用性。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。

本发明实施例还给出了一种视频中违规图像的检测装置，参考图4，为本发明实施例提供的一种视频中违规图像的检测装置的结构框图，该检测装置适用于对上传的视频流进行违规图像检测的情况，该装置可以由软件和/或硬件实现，并一般可作为插件集成在视频中违规图像的检测设备中，该视频中违规图像的检测设备具体可以是用于进行图像审核监测处理的服务器，在具体实现中，该服务器可以是两个或多个物理实体构成，也可以是一个物理实体构成。

如图4所示，该检测装置包括：图像获取模块41、得分确定模块42以及第一违规确定模块43。

其中，图像获取模块41，用于获取视频中当前的待测图像，所述待测图像中包括人脸；

得分确定模块42，用于根据所述人脸的特征向量与预设的人物特征向量的距离确定所述待测图像的人脸得分值；

第一违规确定模块43，用于根据所述人脸得分值确定所述待测图像是否为违规图像。

进一步地，得分确定模块42，具体用于：获取所述待测图像中所包含人脸的特征向量；确定各所述人脸的特征向量与预设的人物特征向量的距离值；从各所述距离值中选取最小距离值作为所述待测图像的人脸得分值。

可选的，所述人物特征向量包含在预设的违规人物特征列表中；进一步地，该检测装置还包括：违规列表确定模块，用于确定包含人物特征向量的违规人物特征列表；相应的，所述违规列表确定模块具体用于：构建初始为空的违规人物特征列表，并确定违规人物样本集中各违规人物的原始特征向量；对各所述原始特征向量进行聚类，并获取聚类后各类对应的中心特征向量；将各所述中心特征向量作为人物特征向量添加到所述违规人物特征列表中。

可选的，第一违规确定模块43，具体用于：获取当前的违规推送比率，所述违规推送比率为违规图像的日推送量与每日业务总推送量的比值；根据所述违规推送比率确定当前的违规判定阈值；如果所述人脸得分值小于或等于所述违规判定阈值，则确定所述待测图像为违规图像。

进一步地，该装置还可以包括：信息推送模块，用于当确定所述视频中包含违规图像时，将所述视频推送至人工审核平台；信息接收模块，用于接收所述人工审核平台对所述视频的审核结果；权项设定模块，用于当所述审核结果为视频违规检测正确时，设定所述视频的播放权限。

可选的，该装置还可以包括：第二违规确定模块，用于根据检测到所述视频中违规图像的帧数，确定所述视频是否为违规视频。

在上述优化的基础上，所述第二违规确定模块，具体用于：

当在所述视频中检测到违规图像的图像帧数大于设定的帧数阈值时，确定所述视频为违规视频。

可选的，该检测装置还包括：违规列表更新模块，用于当存在新的违规人物时，基于各所述新的违规人物的原始特征向量，更新当前确定出的违规人物特征列表。

此外，本发明实施例还提供一种视频中违规图像的检测设备，包括：处理器和存储器。存储器中存储有至少一条指令，且指令由所述处理器执行，使得所述视频中违规图像的检测设备执行如上述方法实施例中所述的视频中违规图像的检测方法。

参照图5，为本发明实施例提供的一种视频中违规图像的检测设备的硬件结构示意图。如图5所示，该视频中违规图像的检测设备具体可以包括：处理器50、存储装置51、具有触摸功能的显示屏52、输入装置53、输出装置54以及通信装置45。该视频中违规图像的检测设备中处理器50的数量可以是一个或者多个，图4中以一个处理器50为例。该视频中违规图像的检测设备中存储装置51的数量可以是一个或者多个，图4中以一个存储装置51为例。该视频中违规图像的检测设备的处理器50、存储装置51、显示屏52、输入装置53、输出装置54以及通信装置45可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储装置51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明任意实施例所述的视频中违规图像的检测方法对应的程序指令/模块(例如，视频中违规图像的检测装置中的图像获取模块41、得分确定模块42以及第一违规确定模块43等)。存储装置51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需的应用程序；存储数据区可存储根据视频中违规图像的检测设备的使用所创建的数据等。此外，存储装置51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至视频中违规图像的检测设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

显示屏52为具有触摸功能的显示屏52，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏52用于根据处理器50的指示显示数据，还用于接收作用于显示屏52的触摸操作，并将相应的信号发送至处理器50或其他装置。可选的，当显示屏52为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏52的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器50或者其他视频中违规图像的检测设备。

通信装置45，用于与其他视频中违规图像的检测设备建立通信连接，其可以是有线通信装置和/或无线通信装置。

输入装置53可用于接收输入的数字或者字符信息，以及产生与视频中违规图像的检测设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取视频数据中音频的拾音视频中违规图像的检测设备。输出装置54可以包括显示屏等视频视频中违规图像的检测设备以及扬声器等音频视频中违规图像的检测设备。需要说明的是，输入装置53和输出装置54的具体组成可以根据实际情况设定。

处理器50通过运行存储在存储装置51中的软件程序、指令以及模块，从而执行视频中违规图像的检测设备的各种功能应用以及数据处理，即实现上述的视频中违规图像的检测方法。

具体的，实施例中，处理器50执行存储装置51中存储的一个或多个程序时，具体实现如下操作：获取视频中当前的待测图像，所述待测图像中包括人脸；根据所述人脸的特征向量与预设的人物特征向量的距离确定所述待测图像的人脸得分值；根据所述人脸得分值确定所述待测图像是否为违规图像。

本发明实施例还提供一种计算机可读存储介质，所述存储介质中的程序由计算机设备的处理器执行时，使得计算机设备能够执行如上述方法实施例所述的视频中违规图像的检测方法。示例性的，该视频中违规图像的检测方法包括：获取视频中当前的待测图像，所述待测图像中包括人脸；根据所述人脸的特征向量与预设的人物特征向量的距离确定所述待测图像的人脸得分值；根据所述人脸得分值确定所述待测图像是否为违规图像。

需要说明的是，对于装置、视频中违规图像的检测设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的视频中违规图像的检测方法。

值得注意的是，上述视频中违规图像的检测装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种视频中违规图像的检测方法，其特征在于，包括：

获取视频中当前的待测图像，所述待测图像中包括人脸；

根据所述人脸的特征向量与预设的人物特征向量的距离确定所述待测图像的人脸得分值；

根据所述人脸得分值确定所述待测图像是否为违规图像；

其中，所述根据所述人脸的特征向量与预设的人物特征向量的距离确定所述待测图像的人脸得分值，包括：

获取所述待测图像中所包含人脸的特征向量；

确定各所述人脸的特征向量与预设的人物特征向量的距离值；

从各所述距离值中选取最小距离值作为所述待测图像的人脸得分值。

2.根据权利要求1所述的方法，其特征在于，所述人物特征向量包含在预设的违规人物特征列表中；

所述违规人物特征列表通过下述方式确定：

构建初始为空的违规人物特征列表，并确定违规人物样本集中各违规人物的原始特征向量；

对各所述原始特征向量进行聚类，并获取聚类后各类对应的中心特征向量；

将各所述中心特征向量作为人物特征向量添加到所述违规人物特征列表中。

3.根据权利要求1所述的方法，其特征在于，所述根据所述人脸得分值确定所述待测图像是否为违规图像，包括：

获取当前的违规推送比率，所述违规推送比率为违规图像的日推送量与每日业务总推送量的比值；

根据所述违规推送比率确定当前的违规判定阈值；

如果所述人脸得分值小于或等于所述违规判定阈值，则确定所述待测图像为违规图像。

4.根据权利要求1所述的方法，其特征在于，还包括：

当确定所述视频中包含违规图像时，将所述视频推送至人工审核平台，并接收所述人工审核平台对所述视频的审核结果；

当所述审核结果为视频违规检测正确时，设定所述视频的播放权限。

5.根据权利要求1所述的方法，其特征在于，还包括：

根据检测到所述视频中违规图像的帧数，确定所述视频是否为违规视频。

6.根据权利要求5所述的方法，其特征在于，所述根据检测到所述视频中违规图像的帧数，确定所述视频是否为违规视频，包括：

如果在所述视频中检测到违规图像的图像帧数大于设定的帧数阈值，则确定所述视频为违规视频。

7.根据权利要求2所述的方法，其特征在于，还包括：

当存在新的违规人物时，基于各所述新的违规人物的原始特征向量，更新当前确定出的违规人物特征列表。

8.一种视频中违规图像的检测装置，其特征在于，包括：

图像获取模块，用于获取视频中当前的待测图像，所述待测图像中包括人脸；

得分确定模块，用于根据所述人脸的特征向量与预设的人物特征向量的距离确定所述待测图像的人脸得分值；

第一违规确定模块，用于根据所述人脸得分值确定所述待测图像是否为违规图像；

其中，得分确定模块，具体用于：

获取所述待测图像中所包含人脸的特征向量；

确定各所述人脸的特征向量与预设的人物特征向量的距离值；

从各所述距离值中选取最小距离值作为所述待测图像的人脸得分值。

9.一种视频中违规图像的检测设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一项所述的视频中违规图像的检测方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的视频中违规图像的检测方法。

Images