CN113011345B - 图像质量检测方法、装置、电子设备、可读存储介质 - Google Patents

Abstract

本申请提供了一种图像质量检测方法、装置、电子设备、可读存储介质，涉及计算机技术领域，具体涉及信息流和计算机视觉技术领域。具体实现方案为：提取待检测图像中所有人物的人物信息；基于人物信息确定各个人物在待检测图像中的重要性，获得第一检测结果；基于人脸截断模型和人物信息判断各个人物是否发生人脸截断，获得第二检测结果；其中，人脸截断模型是利用存在人脸截断的图像作为训练样本获得的模型；基于第一检测结果和第二检测结果获得待检测图像的质量检测结果。该方法可以使图像质量的检测结果更准确。

Description

图像质量检测方法、装置、电子设备、可读存储介质

技术领域

本申请涉及计算机技术领域，具体涉及信息流和计算机视觉技术领域，特别涉及一种图像质量检测方法、装置、电子设备、可读存储介质。

背景技术

视频是人们获取信息、休闲娱乐的重要手段，随着网络技术的快速发展，视频类产品呈现爆炸式增长，同时视频类产品的竞争越来越激烈。

由于视频裁剪过程中画面裁剪幅度过大或者非正常拍摄，导致视频中经常会出现人脸截断的现象。当被截断的人脸为主体人物的人脸时，不仅会影响画面信息的完整度，影响用户体验，而且严重时无法识别主体人物的身份，给用户观看视频的体验带来了很大的伤害，影响用户对主体人物的识别，长期以往会造成视频产品的口碑下降，导致用户流失。

发明内容

提供了一种图像质量检测方法、装置、电子设备、可读存储介质。

根据第一方面，提供了一种图像质量检测方法，包括：

提取待检测图像中所有人物的人物信息；

基于所述人物信息确定各个所述人物在所述待检测图像中的重要性，获得第一检测结果；

基于人脸截断模型和所述人物信息判断各个所述人物是否发生人脸截断，获得第二检测结果；其中，所述人脸截断模型是利用存在人脸截断的图像作为训练样本获得的模型；

基于所述第一检测结果和所述第二检测结果获得所述待检测图像的质量检测结果。

根据第二方面，提供了图像质量检测装置，包括：

第一提取模块，用于提取待检测图像中所有人物的人物信息；

第一检测模块，用于基于所述人物信息确定各个所述人物在所述待检测图像中的重要性，获得第一检测结果；

第二检测模块，用于基于人脸截断模型和所述人物信息判断各个所述人物是否发生人脸截断，获得第二检测结果；其中，所述人脸截断模型是利用存在人脸截断的图像作为训练样本获得的模型；

质量检测模块，用于基于所述第一检测结果和所述第二检测结果获得所述待检测图像的质量检测结果。

根据第三方面，提供了一种电子设备，其包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行图像质量检测方法中任一项所述的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述任意一种图像质量检测方法。

根据第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述一种图像质量检测方法中任一项所述的方法。

本申请实施例提供的图像检测方法，基于人物信息获得人物在待检测图像中的重要性，基于人脸截断模型和人物信息获得各个人物是否发生人脸截断，再基于待检测图像中人物的重要性和人物是否发生人脸截断确定待检测图像的质量，避免了非主体人物对检测结果的影响，从而使判断结果更准确；而且，由于利用存在人脸截断的图像作为训练样本获得的人脸截断模型，相对于现有的利用完整脸样本获得的人脸截断模型而言，判断的准确率更高，鲁棒性更强。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例提供的一种图像质量检测方法的流程图；

图2为本申请实施例提供的一种人脸截断模型训练方法的流程图；

图3为本申请实施例提供的一种神经网络模型的结构图；

图4为本申请实施例提供的一种图像质量检测装置的结构示意图；

图5为本申请实施例提供一种人脸截断模型训练装置的原理框图；

图6是用来实现本申请实施例的图像质量检测方法和人脸截断模型训练方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在不冲突的情况下，本申请各实施例及实施例中的各特征可相互组合。

如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本申请。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。

在视频中出现人脸截断现象，尤其是主体人物的人脸被截断时，会影响用户体验，容易导致用户流失。因此，视频类产品在上线前，需要对视频进行检测。

目前，常用的人脸截断的检测方式是关键点检测和人体检测相结合的人脸截断检测方式。例如，对目标图像进行人体关键点检测，获取人体的关键点的位置，再根据关键点的位置，检测是否存在人脸截断。这种检测方式主要用于人体肢体检测，对于人脸这样特定的区域无法做到精确识别，不足以表现脸部的截断，检测精度较低。

另一种常见的人脸截断检测方式是利用检测模型进行检测，目前的检测模型的训练样本均是以完整的人脸图像为训练样本，由此获得的检测模型准确率低，鲁棒性差，无法满足用户需求。

另外，图像中包括主体人物和非主体人物，当非主体人物发生人脸截断时，对图像的整体效果影响较低，不会影响用户体验。然而，目前的人脸截断检测方式缺乏对主体人物的区分，因此，判断精度较低。

第一方面，本申请实施例提供一种图像质量检测方法，该方法可用于判断图像中是否存在人脸截断，以及判断发生人脸截断的人物是否影响图像的质量。

图1为本申请实施例提供的一种图像质量检测方法的流程图。参照图1，图像质量检测方法包括：

步骤S101，提取待检测图像中所有人物的人物信息。

其中，待检测图像可以是单独的图片，也可以是从视频中提取的视频帧图像。在待检测图像中包括一个或多个人物，而且，这些人物可以是主体人物或非主体人物，即每个待检测图像包括主体人物，或者既包括主体人物，又包括非主体人物。

其中，人物信息是表征人物特征的信息，基于人物信息可以获得人物的数量以及人物的身体组成信息。其中，身体组成信息包括四肢、躯干、头部等。

在一些实施例中，人物信息可以通过预设的算法从待检测图像中提取，本实施例对预设算法不做限定。

步骤S102，基于人物信息确定各个人物在待检测图像中的重要性，获得第一检测结果。

在本实施例中，根据人物在待检测图像中的重要性将人物确定为主体人物和非主体人物，对应的第一检测结果包括主体人物和非主体人物。

在一些实施例中，通过人物在待检测图像中的位置和占用的面积确定各个人物的重要性，从而确定第一检测结果。例如，将待检测图像的中间区域的人物可以确定为主体人物，将边缘区域的人物确定为非主体人物。或者，将待检测图像的中间区域且占用的面积超过预设面积的人物确定为主体人物，将待检测图像的中间区域且占用的面积小于预设面积的人物确定为非主体人物，并将其他区域的人物确定为非主体人物。

其中，预设面积可以是用户根据待检测图像的尺寸确定。当待检测图像的尺寸较大时，设定相对较大的预设面积。当待检测图像的尺寸较小时，设定相对较下的预设面积。

在一些实施例中，预设面积根据用户的要求设定。当用户对精度要求较高时，设定的预设面积较小；当用户对精度要求较低时，设定的预设面积较大。

本实施例通过预设面积与发生人脸截断的区域的面积进行比较，并根据比较结果判断图像的质量，可以快速、方便地判断图像的质量，从而提高图像质量检测的速度。另外，利用人脸截断区域的面积和位置进行判断，有利于提高待检测图像质量的判断精度。

需要说明的是，主体人物和非主体人物可以根据人物在待检测图像中的位置和占用的面积进行判定，也可以根据其他方式进行判定，在此不再详细介绍。

步骤S103，基于人脸截断模型和人物信息判断各个人物是否发生人脸截断，获得第二检测结果。

其中，人脸截断模型是利用存在人脸截断的图像作为训练样本获得的模型。

在本实施例中，使用存在人脸截断的图像作为训练样本训练预设模型，获得的人脸截断模型相对于利用完整脸图像作为训练样本获得的人脸截断模型而言，更具有针对性，判断的准确率更高，鲁棒性更强，准确率可以达到90％，召回率可以达到90％。其中，预设的模型可以采用适用于判断人脸截断的任意模型，本实施例对预设模型不作限定。

在一些实施例中，第二检测结果可以是各个人物是否发生人脸截断，或者待检测图像中所有人物发生人脸截断的概率。

步骤S104，基于第一检测结果和第二检测结果获得待检测图像的质量检测结果。

其中，待检测图像的质量检测结果是基于第一检测结果和第二检测结果综合判断。例如，基于主体人物、非主体人物以及主体人物和非主体人物是否存在人脸截断判断待检测图像的质量检测结果。

在主体人物发生人脸截断的情况下，判断该待检测图像存在人脸截断，该待检测图像的质量较差。在主体人物未发生人脸截断的情况下，即使非主体人物存在人脸截断，也可以判断该待检测图像不存在人脸截断，该待检测图像的质量较好。

本实施例提供的图像质量检测，利用存在人脸截断的图像作为训练样本获得人脸截断模型，可以提高人脸截断模型的准确率和鲁棒性，因此，利用该人脸截断模型检测待检测图像，得到的检测结果更准确，准确率可以达到90％，而且召回率也可以达到90％。

在一些实施例中，人物信息包括人物的头部信息，基于人物的头部信息判断该人物的人脸是否存在人脸截断。例如，通过某个人物的头部信息判断人脸信息是否完整，若人脸信息不完整，则判断该人物存在人脸截断。

在一些实施例中，基于人脸截断模型和人物的头部信息判断各个所述人物是否发生人脸截断，获得第二检测结果。

其中，第二检测结果还可以包括待检测图像中人脸截断的程度和置信度，即利用人物信息判断人脸截断的程度和置信度。其中，人脸截断的程度是指被截掉的人脸部分和留下来的人脸部分的比例。当被截掉的人脸部分和留下来的人脸部分的比例越小，则人脸截断的程度较低；当被截掉的人脸部分和留下来的人脸部分的比例越大，则人脸截断的程度较高。置信度是对人脸截断模型得出的结果与真实值之间的差值，置信度越大，人脸截断模型得出的结果与真实值越接近。

在一些实施例中，发生人脸截断的区域可以用方框表示，方框的面积越大，说明发生人脸截断的人物在待检测图像中的重要性越大。人脸截断的程度是相对于完整人脸而言，人脸截断的程度越严重，越难分辨发生人脸截断的人物的身份。

在一些实施例中，人脸截断模型判断出待检测图像中存在人脸截断且置信度大于70％时，则认为该待检测图像中存在人脸截断现象，这样可提高判断的准确性。

在一些实施例中，步骤S104，基于第一检测结果和第二检测结果获得待检测图像的质量检测结果，包括：

在第一检测结果中的主体人物未发生人脸截断的情况下，质量检测结果为待检测图像未发生人脸截断；在第一检测结果中的主体人物发生人脸截断的情况下，质量检测结果为待检测图像发生人脸截断。即，本实施例待检测图像的质量检测结果主要依据主体人物和该主体人物是否存在人脸截断来判断。

在一些实施例中，待检测图像的质量检测结果不仅依据主体人物，还依据非主体人物，以及主体人物和非主体人物是否存在人脸截断进行综合判断的结果。例如，当待检测图像中的主体人物不存在人脸截断，但非主体人物存在人脸截断，而且，非主体人物被截断的人脸部分的面积超过预设面积，则判断待检测图像存在人脸截断。再如，当待检测图像中的主体人物不存在人脸截断，但非主体人物存在人脸截断，而且，非主体人物被截断的人脸部分的面积未超过预设面积，则判断待检测图像不存在人脸截断。当待检测图像中的主体人物不存在人脸截断，但非主体人物存在人脸截断，而且，存在人脸截断的非主体人物位于待检测图像的边缘区域，则判断待检测图像不存在人脸截断。当待检测图像中的主体人物不存在人脸截断，但非主体人物存在人脸截断，而且，存在人脸截断的非主体人物位于待检测图像的中间区域，则判断待检测图像存在人脸截断。

其中，待检测图像的边缘区域为与边缘的距离小于1/4的区域，中间区域为待检测图像中与边缘的距离大于或等于1/4的区域。

在实际应用中，用户可以根据实际情况预设判断标准，并依据第一检测结果和第二检测结果确定待检测图像的质量检测结果。其中，图像质量检测结果是针对待检测图像中即使存在人脸截断也不影响图像整体效果而言的，因此，预设的判断标准以不影响图像的整体效果为准。若发生人脸截断的非主体人物不影响图像的整体效果，则对应的图像质量检测结果为好。

在一些实施例中，图像质量检测结果按照质量等级划分，质量等级越高，图像质量检测结果越好。例如，若发生人脸截断的人物影响图像的整体效果，则图像质量检测结果为重度截断。若发生人脸截断的人物不影响图像的整体效果或影响较小，则图像质量检测结果为轻度截断。

在另一些实施例中，图像质量检测结果为根据图像质量的高低划定的分值。例如，图像质量检测结果为0到100的评估值，而且，图像质量越高，评估值越高；图像质量越低，评估值越低。

在一些实施例中，当需要检测的对象为视频时，在步骤S101提取待检测图像中所有人物的人物信息之前，还包括：

步骤S11，从待检测视频中提取待检测视频帧。

在一些实施例中，对待检测视频进行切帧处理，按照预设的时间间隔提取视频帧，获得待检测视频帧。

当视频较长，如果全视频检测，存在资源浪费的问题。因此，在实际应用中，对时长超过200秒的视频，只提取该视频前200秒的视频帧，从而降低待检测视频的数据处理量，提高检测效率。

步骤S12，对待检测视频帧进行处理，获得待检测图像。

在一些实施例中，对待检测视频帧进行处理可以是将视频帧调整到所需的尺寸，或者，将视频帧调整为所需的格式，以降低数据处理量，提高后续的检测效率。

示例性，将视频帧放成416×416cm，将视频帧调整为RGB格式。

本实施例中，对待检测视频帧进行处理，获得待检测图像，在对该待检测图像进行检测，可以降低数据处理量，提高视频检测的效率。

在实际应用中，视频质量不能因为某个视频帧的质量较差而判定该视频的质量差，因此，需要结合多帧的判断结果综合评价视频的质量。

在一些实施例中，待检测视频中连续的预设数量的待检测视频帧发生人脸截断的情况下，判断待检测视频存在人脸截断。

示例性，当待检测视频中连续5帧视频帧出现中度或重度截断，则该视频存在人脸截断，视频质量检测结果可以用1表示。当待检测视频中小于连续2帧视频帧出现中度或重度截断，则可以认为该视频不存在人脸截断，视频质量检测结果可以用0表示。

本实施例通过连续的待检测视频帧来判断待检测视频的质量，可以提高判断的鲁棒性，使得判断结果更合理。

本申请实施例提供的图像质量检测，基于人物信息获得人物在待检测图像中的重要性，基于人脸截断模型和人物信息获得各个人物是否发生人脸截断，再基于待检测图像中人物的重要性和人物是否发生人脸截断确定待检测图像的质量，避免了非主体人物对检测结果的影响，从而使判断结果更准确；而且，由于利用存在人脸截断的图像作为训练样本获得的人脸截断模型，相对于现有的利用完整脸样本获得的人脸截断模型而言，判断的准确率更高，鲁棒性更强，更合理。另外，该方法还可以节省人力检测成本，同时由于检测结果更准确，有利于提高运营商打压低质视频的能力，为客户提供更优质的视频资源。

第二方面，本申请实施例提供一种人脸截断模型训练方法。

图2为本申请实施例提供一种人脸截断模型训练方法的流程图。参考图2，人脸截断模型训练方法包括：

步骤S201，获取存在人脸截断的图像作为训练样本。

在一些实施例中，训练样本采用存在人脸截断的图像，该图像可以从网络搜集，也可以从已有的数据库中提取。

步骤S202，利用存在人脸截断的图像的训练样本训练预设的神经网络模型，得到人脸截断检测模型。

其中，预设的神经网络模型可以是卷积神经网络模型。在一些实施例中，预设的神经网络模型采用较深的卷积神经网络模型，以获得更高的准确率和召回率。例如，卷积神经网络模型的层数在50层以上。

在本实施例中，人脸截断模型是用于检测图像中是否存在人脸截断。例如，将待检测图像输入人脸截断检测模型，可以获得该待检测图像中是否存在人脸截断。

利用存在人脸截断的图像作为训练样本获得的人脸截断模型，可以获得准确率更高、鲁棒性更强的人脸截断模型，基于该人脸截断模型检测待检测图像，可以提高检测结果准确性。

在一些实施例中，步骤S201利用存在人脸截断的图像作为训练样本，训练预设神经网络模型包括：

对人脸截断的图像进行标注，将标注后的人脸截断的图像作为训练样本，训练预设的神经网络模型，获得初始神经网络模型

在一些实施例中，通过人工或标注工具对人脸截断的图像进行标注，标注发生人脸截断的区域和位置。例如，将完整的人脸标注为0，轻度截断的人脸标注为1，重度截断的人脸标注为2。

在一些实施例中，对标注后的人脸截断的图像进行处理。例如，将标注后的人脸截断的图像缩放至416×416像素的尺寸，将图像的格式调整为RGB格式。

在一些实施例中，将标注后的人脸截断的图像作为训练样本，将训练样本输入预设的神经网络模型，获得初始神经网络模型。

在实际应用中，为了提高模型的泛化性，在调整人脸截断的图像的尺寸时，可以将图像的尺寸随机调整为size×size，size＝416+N×32，其中，N为整数，且-6＜N＜6。

本实施例对人脸截断的图像进行标注，再将标注后的人脸截断图像输入预设的神经网络模型进行训练，可以缩短训练的时间，以及提高模型的准确率。

在一些实施例中，预设的神经网络模型可以采用卷积模型和残差模型。图3为本实施例提供的神经网络模型的结构示意图。

参考图3，神经网络模型的结构中，卷积(Convolutional)的类型可以是循环结构和残差(Residual)结构，卷积的核数为32位、64位、128位、256位和1024位，卷积核大小为3×3或1×1，输出层逐渐收敛。

在一些实施例中，选择较深的神经网络结构进行训练时，容易出现过拟合现象。为了解决过拟合问题，可以扩大训练样本的数据集，例如采用超过3万张训练样本进行训练。

在一些实施例中，在将标注后的人脸截断的图像作为训练样本，训练预设的神经网络模型，获得初始神经网络模型之后，包括：

基于初始神经网络模型和训练样本，获得判断错误的人脸截断的图像作为难训练样本；对难训练样本进行标注；利用标注后的难训练样本对初始神经网络模型进行训练，获得人脸截断检测模型。

其中，难训练样本是指采用初始神经网络模型判断待检测图像的结果与实际结果不同的样本。利用这些难训练样本训练后的神经网络模型可以提高检测精度。

其中，标注难训练样本的方式可以采用人工进行标注。

在一些实施例中，使用上述3万训练样本训练的神经网络网络的精度只能达到75％，误检测出现的场景较多，需要对初始神经网络模型进行进一步训练。

在一些实施例中，搜集5千张图像，使用训练好的神经网络模型对这5千图像进行检测，对检出截断的图像进行人工标注，将其中判断结果为无人脸截断的图像作为难样本加入至训练集中，强化了神经网络对这类图像的区分能力。

在本实施例中，使用难训练样本强化训练初始神经网络，得到的人脸截断检测模型，在视频上的检测精度可以提升至90％，召回率可以达到90％。

在本实施例中，使用存在人脸截断的图像作为训练样本，训练预设的神经网络模型，可以获得准确率更高、鲁棒性更强的人脸截断模型，基于该人脸截断模型检测待检测图像，可以提高检测结果准确性。

第三方面，本申请实施例提供一种图像质量检测装置。

图4为本申请实施例提供的一种图像质量检测装置的结构示意图。参考图4，图像质量检测装置400，包括：

第一提取模块401，用于提取待检测图像中所有人物的人物信息。

其中，待检测图像可以是单独的图片，也可以是从视频中提取的视频帧图像。在待检测图像中包括一个或多个人物，而且，这些人物可以是主体人物或非主体人物，即每个待检测图像包括主体人物，或者既包括主体人物，又包括非主体人物。

其中，人物信息是表征人物特征的信息，基于人物信息可以获得人物的数量以及人物的身体组成信息。其中，身体组成信息包括四肢、躯干、头部等。

第一检测模块402，用于基于人物信息确定各个人物在待检测图像中的重要性，获得第一检测结果。

在本实施例中，根据人物在待检测图像中的重要性将人物确定为主体人物和非主体人物，对应的第一检测结果包括主体人物和非主体人物。

在一些实施例中，通过人物在待检测图像中的位置和占用的面积确定各个人物的重要性，从而确定第一检测结果。例如，将待检测图像的中间区域的人物可以确定为主体人物，将边缘区域的人物确定为非主体人物。或者，将待检测图像的中间区域且占用的面积超过预设面积的人物确定为主体人物，将待检测图像的中间区域且占用的面积小于预设面积的人物确定为非主体人物，并将其他区域的人物确定为非主体人物。

其中，预设面积可以是用户根据待检测图像的尺寸确定。当待检测图像的尺寸较大时，设定相对较大的预设面积。当待检测图像的尺寸较小时，设定相对较下的预设面积。

在一些实施例中，预设面积根据用户的要求设定。当用户对精度要求较高时，设定的预设面积较小；当用户对精度要求较低时，设定的预设面积较大。

本实施例通过预设面积与发生人脸截断的区域的面积进行比较，并根据比较结果判断图像的质量，可以快速、方便地判断图像的质量，从而提高图像质量检测的速度。另外，利用人脸截断区域的面积和位置进行判断，有利于提高待检测图像质量的判断精度。

需要说明的是，主体人物和非主体人物可以根据人物在待检测图像中的位置和占用的面积进行判定，也可以根据其他方式进行判定，在此不再详细介绍。

第二检测模块403，用于基于人脸截断模型和人物信息判断各个人物是否发生人脸截断，获得第二检测结果。

其中，人脸截断模型是利用存在人脸截断的图像作为训练样本获得的模型。

在本实施例中，使用存在人脸截断的图像作为训练样本训练预设模型，获得的人脸截断模型相对于利用完整脸图像作为训练样本获得的人脸截断模型而言，更具有针对性，判断的准确率更高，鲁棒性更强，准确率可以达到90％，召回率可以达到90％。其中，预设的模型可以采用适用于判断人脸截断的任意模型，本实施例对预设模型不作限定。

在一些实施例中，第二检测结果可以是各个人物是否发生人脸截断，或者待检测图像中所有人物发生人脸截断的概率。

质量检测模块404，用于基于第一检测结果和第二检测结果获得待检测图像的质量检测结果。

其中，待检测图像的质量检测结果是基于第一检测结果和第二检测结果综合判断。例如，基于主体人物、非主体人物以及主体人物和非主体人物是否存在人脸截断判断待检测图像的质量检测结果。

在主体人物发生人脸截断的情况下，判断该待检测图像存在人脸截断，该待检测图像的质量较差。在主体人物未发生人脸截断的情况下，即使非主体人物存在人脸截断，也可以判断该待检测图像不存在人脸截断，该待检测图像的质量较好。

在一些实施例中，人脸截断检测装置400，还包括：

第二提取模块，用于从待检测视频中提取待检测视频帧。

处理模块，用于对待检测视频帧进行处理，获得待检测图像。

在一些实施例中，提取模块从待检测视频中预设时间段内提取待检测视频帧。

对于视频而言，待检测视频中预设数量的连续待检测视频帧发生人脸截断的情况下，判断待检测视频发生人脸截断。

需要说明的是，本实施例提供的图像质量检测装置主要是基于本实施例提供的图像质量检测方法，方法中的具体方案可以直接应用于本实施例提供的图像质量检测装置中。

本实施例提供的图像质量检测装置，基于人物信息获得人物在待检测图像中的重要性，基于人脸截断模型和人物信息获得各个人物是否发生人脸截断，再基于待检测图像中人物的重要性和人物是否发生人脸截断确定待检测图像的质量，避免了非主体人物对检测结果的影响，从而使判断结果更准确；而且，由于利用存在人脸截断的图像作为训练样本获得的人脸截断模型，相对于现有的利用完整脸样本获得的人脸截断模型而言，判断的准确率更高，鲁棒性更强。因此，利用该人脸截断模型检测待检测图像，得到的检测结果更准确，准确率可以达到90％，而且召回率也可以达到90％。

第四方面，本申请实施例提供一种人脸截断模型训练装置。

图5为本申请实施例提供一种人脸截断模型训练装置的原理框图。参考图5，人脸截断模型训练装置500，包括：

第二输入模块501，用于将存在人脸截断的图像作为训练样本输入预设神经网络模型。

在一些实施例中，训练样本采用存在人脸截断的图像，该图像可以从网络搜集，也可以从已有的数据库中提取。

模型训练模块502，用于基于训练样本和预设神经网络模型得到人脸截断检测模型。

其中，预设的神经网络模型可以是卷积神经网络模型。在一些实施例中，预设的神经网络模型采用较深的卷积神经网络模型，以获得更高的准确率和召回率。例如，卷积神经网络模型的层数在50层以上。

在本实施例中，人脸截断模型是用于检测图像中是否存在人脸截断。例如，将待检测图像输入人脸截断检测模型，可以获得该待检测图像中是否存在人脸截断。

在一些实施例中，人脸截断模型训练装置500，还包括：

标注模块，用于对人脸截断的图像进行标注。

模型训练模块502，用于将标注后的人脸截断的图像作为训练样本，训练预设的神经网络模型，获得初始神经网络模型。

在一些实施例中，人脸截断模型训练装置500，还包括：

难样本获取模块，用于基于初始神经网络模型和训练样本，获得判断错误的人脸截断的图像作为难训练样本；

标注模块，还用于对难训练样本进行标注。

模型训练模块502，还用于利用标注后的难训练样本对初始神经网络模型进行训练，获得人脸截断检测模型。

本实施例提供的人脸截断模型训练装置，使用存在人脸截断的图像作为训练样本，训练预设的神经网络模型，可以获得准确率更高、鲁棒性更强的人脸截断模型，基于该人脸截断模型检测待检测图像，可以提高检测结果准确性。

第五方面，本申请实施例提供一种人脸截断模型，其中，人脸截断模型是基于存在人脸截断的图像作为训练样本得到的模型，利用人脸截断模型和获取的待检测图像执行图像质量检测方法，得到待检测图像的检测结果。

利用该人脸截断模型检测待检测图像，得到的检测结果更准确，而且可以节省人力检测成本，而且由于检测结果精确，有利于提高运营商打压低质视频的能力，为客户提供更优质的视频资源。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如图像质量检测方法。例如，在一些实施例中，图像质量检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的图像质量检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像质量检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本公开的实施例，本公开还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述图像质量检测方法中任一项方法。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (6)

1.一种图像质量检测方法，包括：

提取待检测图像中所有人物在所述待检测图像中的位置和占用的面积；

基于所述人物在所述待检测图像中的位置和占用的面积确定各个所述人物在所述待检测图像中的重要性，获得第一检测结果，所述第一检测结果包括所述人物为主体人物和非主体人物；

基于人脸截断模型和所述人物的头部信息判断各个所述人物是否发生人脸截断，获得第二检测结果；其中，所述人脸截断模型是利用存在人脸截断的图像作为训练样本获得的模型；

基于所述第一检测结果和所述第二检测结果获得所述待检测图像的质量检测结果；

基于所述第一检测结果和所述第二检测结果获得所述待检测图像的质量检测结果，包括：

在所述第一检测结果中的主体人物未发生人脸截断的情况下，所述质量检测结果为所述待检测图像未发生人脸截断；

在所述第一检测结果中的主体人物发生人脸截断的情况下，所述质量检测结果为所述待检测图像发生人脸截断。

2.根据权利要求1所述的方法，其中，所述提取待检测图像中所有人物的人物信息之前，还包括：

从待检测视频中提取待检测视频帧；

对所述待检测视频帧进行处理，获得所述待检测图像。

3.根据权利要求2所述的方法，其中，所述基于所述第一检测结果和所述第二检测结果获得所述待检测图像的质量检测结果之后，包括：

在所述待检测视频中连续的预设数量的所述待检测视频帧的所述质量检测结果为存在人脸截断的情况下，判断所述待检测视频存在人脸截断。

4.一种图像质量检测装置，包括：

第一提取模块，用于提取待检测图像中所有人物在所述待检测图像中的位置和占用的面积；

第一检测模块，用于基于所述人物在所述待检测图像中的位置和占用的面积确定各个所述人物在所述待检测图像中的重要性，获得第一检测结果，所述第一检测结果包括所述人物为主体人物和非主体人物；

第二检测模块，用于基于人脸截断模型和所述人物的头部信息判断各个所述人物是否发生人脸截断，获得第二检测结果；其中，所述人脸截断模型是利用存在人脸截断的图像作为训练样本获得的模型；

质量检测模块，用于基于所述第一检测结果和所述第二检测结果获得所述待检测图像的质量检测结果；

在所述第一检测结果中的主体人物未发生人脸截断的情况下，所述质量检测结果为所述待检测图像未发生人脸截断；

在所述第一检测结果中的主体人物发生人脸截断的情况下，所述质量检测结果为所述待检测图像发生人脸截断。

5.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。

6.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的方法。