CN113570541A - 图像质量评估方法、装置、电子设备及存储介质 - Google Patents

图像质量评估方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113570541A
CN113570541A CN202110103990.1A CN202110103990A CN113570541A CN 113570541 A CN113570541 A CN 113570541A CN 202110103990 A CN202110103990 A CN 202110103990A CN 113570541 A CN113570541 A CN 113570541A
Authority
CN
China
Prior art keywords
image
parameter
image quality
evaluation
test sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110103990.1A
Other languages
English (en)
Inventor
周红花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Beijing Co Ltd
Original Assignee
Tencent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Beijing Co Ltd filed Critical Tencent Technology Beijing Co Ltd
Priority to CN202110103990.1A priority Critical patent/CN113570541A/zh
Publication of CN113570541A publication Critical patent/CN113570541A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种图像质量评估方法、装置、电子设备及存储介质，涉及云技术及人工智能技术领域。该方法包括：获取待评估图像；确定待评估图像对应于各图像质量评估参数的参数值；获取各图像质量评估参数的评估阈值；基于各参数值和各评估阈值，确定待评估图像的质量评估结果。本申请技术方案中，通过各测试样本图像对应于图像质量评估参数的参数值和各测试样本图像的图像质量类别标签，确定各图像质量评估参数的评估阈值，避免了通过人工测试的方式，多次发布测试产品最终确定评估阈值而造成的浪费测试人员大量时间，测试成本高的问题，从而提高了图像质量评估的效率。

Description

图像质量评估方法、装置、电子设备及存储介质
技术领域
本申请涉及云技术及人工智能技术领域，具体而言，本申请涉及一种图像质量评估方法、装置、电子设备及存储介质。
背景技术
随着计算机技术和通信技术的发展，图像识别技术在各领域得到了广泛的应用。例如，用摄像机或摄像头采集含有人脸的图像，通过对人脸的检测和识别，确认用户身份等。
图像识别的结果是否准确，很大程度上依赖于待识别图像的图像质量。因此，在进行图像识别之前，需要对待识别图像的图像质量进行评估。现有技术中，对图像质量进行评估通常需要将图像发布到测试环境，通过内部测试人员进行多次测试，退回质量不合格图像，浪费测试人员大量时间，测试成本高，图像质量评估效率低下。
发明内容
本申请实施例提供了一种图像质量评估方法、装置、电子设备及存储介质，基于该方案，能够有效提高图像质量评估的效率。
为实现上述目的，本申请实施例提供的具体技术方案如下：
一方面，本申请实施例提供了一种图像质量评估方法，该方法包括：
获取待评估图像；
确定待评估图像对应于各图像质量评估参数的参数值；
获取各图像质量评估参数的评估阈值；
基于各参数值和各评估阈值，确定待评估图像的质量评估结果；
其中，对于任一图像质量评估参数，图像质量评估参数对应的评估阈值是通过以下方式确定的：
获取图像质量评估参数对应的测试数据集，测试数据集包括各测试样本图像以及各测试样本图像的图像质量类别标签；
获取各测试样本图像对应于图像质量评估参数的参数值；
基于各测试样本图像对应于图像质量评估参数的参数值和各图像质量类别标签，确定图像质量评估参数的评估阈值。
另一方面，本发明实施例还提供了一种图像质量评估装置，该装置包括：
图像获取模块，用于获取待评估图像；
参数确定模块，用于确定待评估图像对应于各图像质量评估参数的参数值；
阈值获取模块，用于获取各图像质量评估参数的评估阈值；
结果确定模块，用于基于各参数值和各评估阈值，确定待评估图像的质量评估结果；
其中，对于任一图像质量评估参数，图像质量评估参数对应的评估阈值是通过以下方式确定的：
获取图像质量评估参数对应的测试数据集，测试数据集包括各测试样本图像以及各测试样本图像的图像质量类别标签；
获取各测试样本图像对应于图像质量评估参数的参数值；
基于各测试样本图像对应于图像质量评估参数的参数值和各图像质量类别标签，确定图像质量评估参数的评估阈值。
本发明实施例还提供了一种电子设备，该电子设备包括一个或多个处理器；存储器；一个或多个计算机程序，其中一个或多个计算机程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个计算机程序被配置用于执行如本申请的上述图像质量评估方法或图像质量评估方法的各种可选实现方式中提供的方法。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，当计算机程序在处理器上运行时，使得处理器可以执行如本申请的上述图像质量评估方法或图像质量评估方法的各种可选实现方式中提供的方法。
本发明实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像质量评估方法或图像质量评估方法的各种可选实现方式中提供的方法。
本申请提供的技术方案带来的有益效果是：
本申请提供了一种图像质量评估方法、装置、电子设备及存储介质，通过测试数据集中的各测试样本图像对应于图像质量评估参数的参数值和各图像质量类别标签，确定图像质量评估参数的评估阈值，基于各图像质量评估参数的参数值和各评估阈值，对待评估图像进行质量评估，避免了通过人工测试的方式，多次发布测试产品最终确定评估阈值而造成的浪费测试人员大量时间，测试成本高的问题，从而提高了图像质量评估的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种图像质量评估方法的流程示意图；
图2为本申请实施例提供的人脸识别模型处理待评估图像的示意图；
图3为本申请实施例提供的用户界面的示意图；
图4为本申请实施例提供的人脸检测的提示信息的示意图；
图5为本申请实施例提供的人脸检测的提示信息的示意图；
图6为本申请实施例提供的人脸检测的提示信息的示意图；
图7为本申请实施例提供的多级质量过滤器的处理过程的示意图；
图8为本申请实施例提供的各质量评估参数的评估阈值确定过程和图像质量评估过程的示意图；
图9为本申请实施例提供的图像质量评估装置的结构示意图；
图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本申请实施例是针对现有技术中对图像质量进行评估通常需要将图像发布到测试环境，通过内部测试人员进行多次测试，退回质量不合格图像，浪费测试人员大量时间，测试成本高，图像质量评估效率低下的问题。本申请实施例提供的图像质量评估方法，通过测试数据集中的各测试样本图像对应于图像质量评估参数的参数值和各图像质量类别标签，确定图像质量评估参数的评估阈值，基于各图像质量评估参数的参数值和各评估阈值，对待评估图像进行质量评估，避免了通过人工测试的方式，多次发布测试产品最终确定评估阈值而造成的浪费测试人员大量时间，测试成本高的问题，从而提高了图像质量评估的效率。
本申请技术方案的执行主体为计算机设备，包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。计算机设备包括用户设备与网络设备。其中，用户设备包括但不限于电脑、智能手机、PAD等；网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或于云计算的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，计算机设备可单独运行来实现本申请，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本申请。其中，计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
本申请实施例提供的方案涉及计算机技术中的云技术、大数据、人工智能等领域。
本申请实施例中所涉及的数据处理可以通过云技术来实现，其中所涉及的数据计算可以通过云技术中的云计算实现。
云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
按照逻辑功能划分,在IaaS(Infrastructure as a Service，基础设施即服务)层上可以部署PaaS(Platform as a Service,平台即服务)层，PaaS层之上再部署SaaS(Software as a Service,软件即服务)层，也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台，如数据库、web容器等。SaaS为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，SaaS和PaaS相对于IaaS是上层。
云计算(cloud computing)指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算是网格计算(Grid Computing)、分布式计算(DistributedComputing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network StorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。
随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
本申请实施例中所涉及的人脸识别模型可以通过人工智能技术中的机器学习来实现。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。本申请实施例涉及的人工智能技术主要包括机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例中所涉及的测试样本图像可以为从互联网中获取到的大数据。
大数据(Big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临，大数据也吸引了越来越多的关注，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请实施例提供了一种图像质量评估方法，该方法的执行主体可以为任一电子设备，可选的，该方法的执行主体可以为具有图像识别功能的应用程序的服务器，该服务器可以基于本申请实施例所提供的方法实现对待识别图像质量的识别，并可以根据识别结果进行待识别图像的处理，例如，上述图像识别功能可以是人脸识别功能，该服务器可以通过图像质量评估估参数的参数值判断待识别人脸图像的图像质量是否符合要求，在待识别图像的质量符合要求时可以对待识别人脸图像进行后续的人脸识别过程，如图1所示，该方法可以包括：
步骤S101，获取待评估图像；
其中，待评估图像可以是需要进行图像质量评估的任意图像，例如，可以是包含人脸的图像。
具体的，可以通过用户终端的图像采集设备采集待评估图像，例如，通过摄像头采集用户的人脸图像等；或者，也可以从预设的存储空间中获取待评估图像。
步骤S102，确定待评估图像对应于各图像质量评估参数的参数值；
其中，图像质量评估参数是用于评估待评估图像的质量的参数，例如，图像清晰度、图像亮度等。图像质量评估参数的参数值表示待评估图像在图像质量评估参数对应的评估维度的质量合格或不合格程度。图像质量评估参数可以是至少一个，可以通过质量评估参数从至少一个评估维度对待评估图像的质量进行评估。具体从哪些维度对待评估图像进行质量评估，也就是说，具体选择哪些图像质量评估参数，可以根据具体需要进行设定，本申请对此不做限定。
确定了待评估图像的各图像质量评估参数之后，计算待评估图像对应于各图像质量评估参数的参数值。可选的，可以通过神经网络模型获取各图像质量评估参数的参数值。可选的，还可以通过神经网络模型获取待评估图像的图像特征，基于获取到的图像特征，计算图像质量评估参数的参数值。
在不同的应用场景中，待评估图像的内容不同，根据待评估图像的内容，确定相应的图像质量评估参数，具体见如下实施例：
在一种可能的实现方式中，待评估图像包括人脸图像，图像质量评估参数包括以下至少一项：
人脸置信度、人脸倾斜度、人脸偏移度、人脸面积在人脸图像中的占比、人脸图像的分辨率、人脸图像的清晰度、人脸图像的亮度。
在人脸识别的应用场景中，需要对人脸图像进行质量评估。则图像质量评估参数包括以下至少一项：人脸置信度、人脸倾斜度、人脸偏移度、人脸面积在人脸图像中的占比、人脸图像的分辨率、人脸图像的清晰度、人脸图像的亮度。
在一些可选的实施例中，人脸置信度的参数值可以通过人脸识别模型得到。将人脸图像输入人脸识别模型，得到人脸识别模型输出的人脸置信度(也可称为类别置信度)，也就是待识别图像是人脸图像的概率值。另外，人脸识别模型还可以输出人脸区域在图像中的位置，人脸关键点(例如，左眼、右眼、鼻子、左嘴角、右嘴角等)坐标。其中，人脸识别模型可以是任意神经网络模型，例如，卷积神经网络模型等。人脸识别模型的具体结构本申请对此不做限定。
在一示例中，如图2所示，将待评估图像输入人脸识别模型，经过人脸识别模型的各处理层(如图中所示的各长方体，每个长方体表示一个处理层)进行处理，输出人脸置信度(如图中所示的类别置信度)，也就是待识别图像是人脸图像的概率值。人脸识别模型还输出人脸区域在图像中的位置框(如图中所示的人脸框)，以及人脸关键点(例如，左眼、右眼、鼻子、左嘴角、右嘴角等)坐标。输出图像包含人脸置信度(如图所示的0.999)、人脸框(如图中所示的人脸对应的黑色矩形框)、人脸关键点(如图所示的左眼、右眼、鼻子、左嘴角、右嘴角各自对应的标记点)的标记位置，如图2所示。
在一示例中，可以通过人脸关键点坐标计算人脸倾斜度，通过计算眼睛倾斜度、嘴巴倾斜度、鼻子偏移度，这3个指标综合表示人脸倾斜度。
其中，眼睛倾斜度可以通过以下公式(1)计算得到：
eye_gradient＝abs(eye_left_y-eye_right_y)/(eye_left_x-eye_right_x)(1)
其中，eye_gradient表示眼睛倾斜度，是两个眼睛连线的斜率。eye_left_y表示左眼的中心点纵坐标；eye_right_y表示右眼的中心点的纵坐标；eye_left_x表示左眼的中心点的横坐标；eye_right_x表示右眼的中心点的横坐标。
嘴巴倾斜度可以通过以下公式(2)计算得到：
Figure BDA0002917122820000091
其中，mouth_gradient表示嘴巴的倾斜度，是双眼中心点和嘴巴中心点的斜率的倒数。eye_left_y表示左眼的中心点的纵坐标；eye_right_y表示右眼的中心点的纵坐标；eye_left_x表示左眼的中心点的横坐标；eye_right_x表示右眼的中心点的横坐标。mouth_left_y表示左嘴角的中心点的纵坐标；mouth_right_y表示右嘴角的中心点的纵坐标；mouth_left_x表示左嘴角的中心点的横坐标；mouth_right_x表示右嘴角的中心点的横坐标。
鼻子偏移度通过以下方式计算：
首先，通过公式(3)计算两只眼睛中心点位置：
eye_middle＝[(eye0[0]+eye1[0])/2,(eye0[1]+eye1[1])/2] (3)
其中，eye_middle表示两只眼睛中心点位置；eye0[0]表示左眼中心点横坐标；eye1[0]表示右眼中心点横坐标；eye0[1]表示左眼中心点纵坐标；eye1[1]表示右眼中心点纵坐标。
通过公式(4)计算嘴巴中心点位置：
mouse_middle＝[(mouse0[0]+mouse1[0])/2,(mouse0[1]+mouse1[1])/2](4)
其中，mouse_middle表示嘴巴中心点位置；mouse0[0]表示左嘴角的中心点的横坐标；mouse1[0]表示右嘴角的中心点的横坐标；mouse0[1]表示右嘴角的中心点的纵坐标；mouse1[1]表示右嘴角的中心点的纵坐标。
通过公式(5)计算两只眼睛中心点和嘴巴中心点所在直线斜率的倒数：
Figure BDA0002917122820000101
其中，mouse_eye_slope_reverse表示两只眼睛中心点和嘴巴中心点所在直线斜率的倒数；eye_middle[0]表示两只眼睛中心点的横坐标；mouse_middle[0]表示嘴巴中心点的横坐标；eye_middle[1]表示两只眼睛中心点的纵坐标；mouse_middle[1]表示嘴巴中心点的纵坐标。
通过公式(6)计算两只眼睛中心点和嘴巴中心点所在直线的偏置：
Figure BDA0002917122820000102
其中，mouse_eye_b_reverse表示两只眼睛中心点和嘴巴中心点所在直线的偏置；eye_middle[0]表示两只眼睛中心点的横坐标；mouse_middle[0]表示嘴巴中心点的横坐标；eye_middle[1]表示两只眼睛中心点的纵坐标；mouse_middle[1]表示嘴巴中心点的纵坐标。
通过公式(7)计算鼻子水平线与中线的交点的横坐标：
nose_x_head＝mouse_eye_slope_reverse*nose[1]+mouse_eye_b_reverse(7)
其中，nose_x_head表示鼻子水平线与中线的交点的横坐标；mouse_eye_slope_reverse表示两只眼睛中心点和嘴巴中心点所在直线斜率的倒数；mouse_eye_b_reverse表示两只眼睛中心点和嘴巴中心点所在直线的偏置；nose[1]表示鼻子中心点的纵坐标。
通过公式(8)计算鼻子的偏移度：
delt_rate＝abs((nose_x_head-nose[0]))/(abs(eye1[0]-eye0[0])) (8)
其中，delt_rate表示鼻子的偏移度；nose_x_head表示鼻子水平线与中线的交点的横坐标；nose[0]表示鼻子中心点的横坐标；eye0[0]表示左眼中心点横坐标；eye1[0]表示右眼中心点横坐标。
综上，人脸的倾斜度包括眼睛倾斜度、嘴巴倾斜度、鼻子偏移度三个维度的值，人脸的倾斜度对应的评估阈值，包括上述三个维度各自对应的评估阈值。
人脸偏移度通过人脸区域在人脸图像中的位置来确定，也就是人脸位置框分别距离人脸图像上边界、下边界、左边界、右边界的距离，具体见公式(9)-(12)：
top_distance＝face_box_ymin (9)
bottom_distance＝image_height-face_box_ymax (10)
left_distance＝face_box_xmin (11)
right_distance＝image_width-face_box_xmax (12)
其中，top_distance表示人脸位置框的上边界到人脸图像上边界的距离；bottom_distance表示人脸位置框到人脸图像下边界的距离；left_distance表示人脸位置框到人脸图像左边界的距离；right_distance表示人脸位置框到人脸图像右边界的距离；face_box_ymin表示人脸位置框的最小的纵坐标；image_height表示人脸图像的高度，也就是人脸图像的最大纵坐标；face_box_ymax表示人脸位置框的最大的纵坐标；face_box_xmin表示人脸位置框的最小的横坐标；Image_width表示人脸图像的宽度，也就是人脸图像的最大横坐标；face_box_xmax表示人脸位置框的最大的横坐标。其中，face_box_ymin、image_height、face_box_ymax、face_box_xmin、face_box_xmax、Image_width各值可以由人脸识别模型输出。
人脸面积在人脸图像中的占比通过以下公式(13)计算得到：
Figure BDA0002917122820000111
其中，face_area_ratio表示人脸位置框的面积占人脸图像的面积比例；face_xmin表示人脸位置框的左上角在人脸图像中的横坐标。face_ymin表示人脸位置框的左上角在人脸图像中的纵坐标。face_xmax表示人脸位置框的右下角在人脸图像中的横坐标。face_ymax表示人脸位置框的右下角在人脸图像中的纵坐标。image_xmin表示人脸图像的横坐标的最小值，可以等于0。image_ymin表示人脸图像的纵坐标的最小值，可以等于0。image_xmax表示人脸图像的横坐标的最大值，等于人脸图像的宽度。image_ymax表示人脸图像的纵坐标的最大值，等于人脸图像的宽度。
人脸图像的分辨率通过以下公式(14)计算得到：
resolution＝image_width*image_height (14)
其中，resolution表示人脸图像的分辨率；image_width表示人脸图像的宽度对应的像素数量；image_height表示人脸图像的高度对应的像素数量。
在一种可能的实现方式中，人脸图像的清晰度是通过以下方式确定的：
获取人脸图像的全局清晰度、以及人脸图像中人脸区域的局部清晰度；
通过融合全局清晰度和局部清晰度，得到人脸图像的清晰度；
人脸图像的亮度是通过以下方式确定的：
获取人脸图像的全局亮度、以及人脸图像中人脸区域的局部亮度；
通过融合全局亮度和局部亮度，得到人脸图像的亮度。
在实际应用中，可以通过融合人脸图像的全局清晰度和人脸图像中人脸区域的局部清晰度，得到人脸图像的清晰度。可选的，将全局清晰度和局部清晰度的均方差作为人脸图像的清晰度。其中，人脸区域的局部清晰度是指人脸识别模型输出的人脸位置框内的图像的清晰度。
在一示例中，人脸图像的全局清晰度通过以下公式(15)计算得到：
definition(image)＝mean(mean((image_gray-image_gray_mean)*(image_gray-image_gray_mean))) (15)
其中，definition(image)表示人脸图像的全局清晰度；image_gray表示将人脸图像进行灰度处理之后的灰度图的二维矩阵；image_gray_mean表示灰度二维矩阵中各灰度值的平均值；mean()表示求均值。人脸区域的局部清晰度也可以通过公式(15)计算，需要将其中的参数值替换为人脸区域图像的参数值。
人脸图像的清晰度可以通过以下公式(16)计算得到：
Figure BDA0002917122820000121
其中，definition表示人脸图像的清晰度；definition(image)表示人脸图像的全局清晰度；definition(face)表示人脸区域的局部清晰度。
本实施例中，使用人脸区域的局部清晰度和人脸图像的全局清晰度的均方差作为人脸图像的清晰度，人脸图像的清晰度倾向于人脸区域的局部清晰度和人脸图像的全局清晰度中清晰度比较大的数值，通过融合得到人脸图像的清晰度，避免了因人脸图像的背景颜色单一或者人脸化妆等单一因素导致的人脸图像的清晰度计算不准确的问题。
在一示例中，人脸图像的全局亮度通过以下公式(17)计算得到：
light(image)＝mean(image_gray) (17)
其中，light(image)表示人脸图像的全局亮度，可以用平均灰度值表示；image_gray表示人脸图像的灰度图的二维矩阵；mean()表示对image_gray求均值。人脸区域的局部亮度也可以通过公式(17)计算得到，需要将其中的参数值替换为人脸区域图像的参数值。
人脸图像的亮度可以通过以下公式(18)计算得到：
Figure BDA0002917122820000131
其中，light表示人脸图像的亮度；light(face)表示人脸区域的局部亮度；light(image)表示人脸图像的全局亮度。
本实施例中，采用人脸区域局部亮度和人脸图像的全局亮度的均方差计算人脸图像的亮度，通过融合的方式得到人脸图像的亮度，避免人脸区域太暗或者背景太暗导致人脸图像的亮度计算不准确的问题。
步骤S103，获取各图像质量评估参数的评估阈值；
具体的，可以预先确定各图像质量评估参数的评估阈值并进行存储，在对待评估图像进行质量评估时，可以直接从预设的存储空间调用各图像质量评估参数各自对应的评估阈值。
可选的，采用对象简谱(JavaScript Object Notation,JSON)格式文件存储各质量评估参数的评估阈值。将各质量评估参数的评估阈值通过JSON格式存储在配置文件中，当进行图像质量评估时，从配置文件中读取各质量评估参数的评估阈值进行图像质量评估。通过JSON格式存储各评估阈值，便于随时进行评估阈值的调用和优化。
步骤S104，基于各参数值和各评估阈值，确定待评估图像的质量评估结果。
具体的，可以预先配置待评估图像对应于各图像质量评估参数的质量评估条件。质量评估条件可以根据具体需要进行配置，本申请对此不做限定。
可选的，对于某一图像质量评估参数，质量评估条件可以是：参数值大于或等于对应的评估阈值，则待评估图像质量合格；对于另一图像质量评估参数，质量评估条件可以是：参数值小于对应的评估阈值，则待评估图像质量合格。
基于待评估图像的各图像质量评估参数的参数值和评估阈值，以及图像质量评估参数对应的质量合格条件，确定待评估图像是否质量合格。
可选的，依次评估每个图像质量评估参数的参数值是否符合质量合格条件，若其中一个图像质量评估参数的参数值不符合质量合格条件，则确定待评估图像质量不合格。可选的，也可以是两个及两个以上图像质量评估参数的参数值不符合质量合格条件，则确定待评估图像质量不合格。
其中，对于任一图像质量评估参数，图像质量评估参数对应的评估阈值是通过以下方式确定的：
获取图像质量评估参数对应的测试数据集，测试数据集包括各测试样本图像以及各测试样本图像的图像质量类别标签；获取各测试样本图像对应于图像质量评估参数的参数值；基于各测试样本图像对应于图像质量评估参数的参数值和各图像质量类别标签，图像质量类别标签表征了测试样本图像对应于质量评估参数的真实质量类别；确定图像质量评估参数的评估阈值。
其中，各测试样本图像可以是根据待评估图像的图像内容选择的样本图像，例如，待评估图像为人脸图像，则可以选择多个包含人脸的图像作为测试样本图像。
可选的，测试样本图像包括不易分类样本图像以及不易分类样本图像对应的图像质量类别标签。其中，不易分类样本图像也可称为困难样本(Hard Sample)，是指在进行样本分类时，该类型的样本被分到各类别中的概率相差较小，距离分类边界较近，不容易被分到任一类别中。
对于任一图像质量评估参数，获取各测试图像，计算各测试图像对应于各图像质量评估参数的参数值，可选的，可以利用EXCEL格式文件存储各测试图像以及各测试图像的质量评估参数的参数值。EXCEL格式文件可以将各测试图像和对应的参数值以可视化的方式呈现，便于用户进行编辑。对于每个图像质量评估参数，将测试图像按照参数值从大到小或从小到大的顺序进行排序，将排序后的测试图像和对应的参数值以可视化的方式呈现，可以将参数值在预设范围内的测试图像确定为不易分类样本图像，也就是测试样本图像，可以通过人机交互的方式对测试样本图像进行标注，接收用户输入的各测试样本图像的图像质量类别标签，从而得到测试数据集。
可选的，可以通过神经网络模型获取各图像质量评估参数的参数值。
可选的，还可以通过神经网络模型获取待评估图像的图像特征，基于获取到的图像特征，计算图像质量评估参数的参数值。
对于任一图像质量评估参数，可以基于各测试样本图像对应于图像质量评估参数的参数值和各图像质量类别标签，确定各测试样本图像的质量分类结果，包括两种情况：一种为线性可分；一种为线性不可分，根据不同类型的质量分类结果，通过不同处理方式确定图像质量评估参数的评估阈值。
在一种可能的实现方式中，各测试样本图像包括正样本图像和负样本图像，对于任一图像质量评估参数，基于各测试样本图像的参数值和图像质量类别标签，确定图像质量评估参数的评估阈值，包括：
基于各测试样本图像的参数值和图像质量类别标签，确定各测试样本图像对应的质量分类结果；
若各测试样本图像对应的质量分类结果为线性可分，则基于各目标测试样本图像的参数值，确定评估阈值，其中，各目标测试样本图像包括测试样本图像中参数值相邻的样本图像的集合，参数值相邻的样本图像的集合中包括至少一个正样本图像和至少一个负样本图像；
若各测试样本图像对应的质量分类结果为线性不可分，则基于各测试样本图像对应于图像质量评估参数的参数值，确定正样本图像和负样本图像的分类交叉区域；
基于分类交叉区域所对应的图像质量评估参数的参数值和各图像质量类别标签，确定评估阈值。
在实际应用中，各测试样本图像包括正样本图像和负样本图像，其中，正样本图像可以为质量合格图像，负样本图像可以为质量不合格图像。对于任一图像质量评估参数，正样本图像和负样本图像各自对应各自的图像质量类别标签。例如，正样本图像的图像质量类别标签可以是1，负样本图像的图像质量类别标签可以是-1。
对于任一图像质量评估参数，正样本图像和负样本图像的图像质量分类结果满足以下任一条件，则线性可分，否则线性不可分：
在图像质量评估参数的参数值越大图像质量越好的情况下，正样本图像的图像质量评估参数的参数值的最小值大于负样本图像的图像质量评估参数的参数值的最大值；
在图像质量评估参数的参数值越小图像质量越好的情况下，正样本图像的图像质量评估参数的参数值的最大值小于负样本图像的图像质量评估参数的参数值的最小值。
若正样本图像和负样本图像的图像质量分类结果线性可分，则从正样本图像和负样本图像中选择至少两个目标测试样本图像，至少两个目标测试样本图像包括参数值相邻的样本图像的集合，该集合中包括至少一个正样本图像和至少一个负样本图像。
其中，从正样本图像中确定的目标测试样本图像的数量可以为至少一个，从负样本图像中确定的目标测试样本图像的数量也可以为至少一个，从正样本图像中确定的目标测试样本图像和负样本图像中确定的目标测试样本图像的数量可以相同也可以不同。
具体的，对于任一图像质量评估参数，可以根据测试样本图像的参数值从大到小的顺序进行排序，在一示例中，参数值排序结果为：0.8、0.7、0.65、0.5、0.43，其中，每个数值对应一个样本图像，各正样本图像对应的参数值分别为0.8、0.7、0.65，各负样本图像对应的参数值分别为0.5、0.43，则0.65、0.5为相邻的参数值，而且其中包括正样本图像和负样本图像，因此可以将0.65、0.5对应的样本图像作为目标样本图像，根据这两个目标样本图像的参数值确定评估阈值。0.65、0.5、0.43为相邻的参数值，而且其中包括正样本图像和负样本图像，因此可以将0.65、0.5、0.43对应的样本图像作为目标样本图像，根据这三个目标样本图像的参数值确定评估阈值。0.8、0.7、0.65、0.5为相邻的参数值，而且其中包括正样本图像和负样本图像，因此可以将0.8、0.7、0.65、0.5对应的样本图像作为目标样本图像，根据这四个目标样本图像的参数值确定评估阈值。
在在线性可分的情况下，由于目标测试样本图像的参数值为正负样本的分类边界，或者最接近正负样本的分类边界，因此，根据目标测试样本图像的参数值得到的评估阈值更加精准，将该评估阈值应用到待评估图像质量评估中，评估的结果更准确。
对于任一图像质量评估参数，若正样本图像和负样本图像的图像质量分类结果不满足线性可分的条件，则线性不可分。根据正样本图像的图像质量评估参数的参数值和负样本图像的图像质量评估参数的参数值，确定分类交叉区域。其中，分类交叉区域为正样本图像对应的集合和负样本图像对应的集合的交集。因此，分类交叉区域所对应的图像质量评估参数的参数值包括正样本图像的图像质量评估参数的参数值，也包括负样本图像的图像质量评估参数的参数值。可以根据分类交叉区域所对应的图像质量评估参数的参数值和各图像质量类别标签，确定图像质量评估参数的评估阈值。
在线性不可分的情况下，在正样本图像和负样本图像的分类交叉区域对应的图像质量评估参数的参数值更接近最优的评估阈值，这样得到的评估阈值，应用到图像质量评估中，可以使图像质量评估的评估结果更准确。
在一种可能的实现方式中，基于各目标样本图像的参数值，确定评估阈值，包括：
通过融合各目标测试样本图像对应于图像质量评估参数的参数值，得到图像质量评估参数的评估阈值。
在实际应用中，由于目标测试样本图像的参数值为正负样本的分类边界，或者最接近正负样本的分类边界，因此，将各目标测试样本图像的参数值进行融合得到的评估阈值更加精准，更接近最优的评估阈值。将该评估阈值应用到待评估图像质量评估中，评估的结果更准确。其中，融合的具体方式可以是任意方式，本申请对此不做限定。
在一示例中，图像质量评估参数的参数值越大图像质量越好，则将正样本图像的该图像质量评估参数的参数值最小的测试样本图像作为第一目标测试样本图像，将负样本图像的该图像质量评估参数的参数值最大的测试样本图像作为第二目标测试样本图像，计算第一目标测试样本图像的该图像质量评估参数的第一参数值和第二目标测试样本图像的该图像质量评估参数的第二参数值的平均值，将该平均值作为该图像质量评估参数的评估阈值。
在又一示例中，图像质量评估参数的参数值越小图像质量越好，则将正样本图像的该图像质量评估参数的参数值最大的测试样本图像作为第第一目标测试样本图像，将负样本图像的该图像质量评估参数的参数值最小的测试样本图像作为第二目标测试样本图像，计算第一目标测试样本图像的该图像质量评估参数的第一参数值和第二目标测试样本图像的该图像质量评估参数的第二参数值的平均值，将该平均值作为该图像质量评估参数的评估阈值。
在一种可能的实现方式中，基于分类交叉区域所对应的图像质量评估参数的参数值和各图像质量类别标签，确定图像质量评估参数的评估阈值，包括：
将质量分类结果位于分类交叉区域中的各测试样本图像对应的参数值分别作为第一候选评估阈值；
对于每一第一候选评估阈值，基于测试数据集中各测试样本图像的参数值和第一候选评估阈值，确定各测试样本图像的第一分类结果；
对于每一第一候选评估阈值，基于每个测试样本图像对应的第一分类结果和图像质量类别标签，确定第一候选评估阈值对应的分类分类损失值；
将各第一候选评估阈值所对应的分类损失值中分类损失值最小的第一候选评估阈值作为评估阈值。
在实际应用中，质量分类结果位于正样本图像和负样本图像的分类交叉区域中的测试样本图像可能是一个也可能是多个，从中选择至少一个测试样本图像，将选择出的测试样本图像的参数值作为第一候选评估阈值，根据第一候选评估阈值，对各测试样本图像的参数值进行质量分类，得到各测试样本图像对应的第一分类结果，根据每个测试样本图像对应的第一分类结果和图像质量类别标签，确定分类损失值。将各第一候选评估阈值所对应的分类损失值中分类损失值最小的第一候选评估阈值作为最终的评估阈值。
在一示例中，在分类交叉区域确定的测试样本图像a1的亮度值为0.5，将0.5作为第一候选评估阈值，亮度值大于0.5为合格图像，亮度值小于或等于0.5为不合格图像，某一测试样本图像的亮度值为0.6，则该测试样本图像为合格图像，合格图像对应的分类结果为1，另一测试样本图像的亮度值为0.4，则该测试样本图像为不合格图像，不合格图像对应的分类结果为-1。
本申请实施例中，在正样本图像和负样本图像的分类交叉区域确定测试样本图像，分类交叉区域中的测试样本图像比其他区域的测试样本图像的参数值更接近最优的评估阈值，将分类交叉区域中的测试样本图像的参数值作为候选评估阈值，应用到图像质量分类中，可以使图像质量评估的评估结果更准确。
在一种可能的实现方式中，基于分类交叉区域所对应的图像质量评估参数的参数值和各图像质量类别标签，确定图像质量评估参数的评估阈值，包括：
确定分类交叉区域对应于图像质量评估参数的参数值范围；
在参数值范围内选取至少一个数值作为第二候选评估阈值；
对于每一第二候选评估阈值，基于测试数据集中各测试样本图像的参数值和第二候选评估阈值，确定各测试样本图像的第二分类结果；
对于每一第二候选评估阈值，基于每个测试样本图像对应的第二分类结果和图像质量类别标签，确定第二候选评估阈值对应的分类损失值；
将各第二候选评估阈值所对应的分类损失值中分类损失值最小的第二候选评估阈值作为评估阈值。
在实际应用中，分类交叉区域对应于图像质量评估参数的参数值范围可以是分类交叉区域的测试样本图像的图像质量评估参数的参数值的最小值和最大值之间的数值范围，可以在该数值范围内选取至少一个数值作为第二候选评估阈值。可选的，可以在该数值范围内平均划分多个网格，将每个网格中的数值作为第二候选评估阈值，从而得到多个第二候选评估阈值。第二候选评估阈值的数量可以根据具体需要进行确定。
根据第二候选评估阈值，对各测试样本图像的参数值进行质量分类，得到各测试样本图像对应的第二分类结果，根据每个测试样本图像对应的第二分类结果和图像质量类别标签，确定分类损失值。将各第二候选评估阈值所对应的分类损失值中分类损失值最小的第二候选评估阈值作为最终的评估阈值。
本申请实施例中，在正样本图像和负样本图像的分类交叉区域对应的参数值范围内确定多个候选评估阈值，相比于在分类交叉区域中的测试样本图像的参数值中确定候选评估阈值，可以得到更多个候选评估阈值，这样从多个候选评估阈值中最终确定的评估阈值，更接近最优的评估阈值，应用到图像质量评估中可以使图像质量评估的评估结果更准确。
在一示例中，通过以下公式(19)计算分类损失：
Figure BDA0002917122820000201
其中，N表示测试样本图像的数量，x表示各测试样本图像的质量评估参数的参数值，theta表示候选评估阈值(第一候选评估阈值或第二候选评估阈值)，y表示在阈值为theta时，各测试样本图像的分类结果(第一分类结果或第二分类结果)和图像质量类别标签的差值的绝对值，将y＝abs(yi-yi gt)代入公式(1)，得到如下公式(20)：
Figure BDA0002917122820000202
其中，Loss表示分类损失的值；xi表示第i个测试样本图像的质量评估参数的参数值；theta表示本次计算依据的候选评估阈值；yi表示xi在评估阈值theta下的分类结果，例如，yi可以为0或1，0表示测试样本图像质量合格，1表示测试样本图像质量不合格；yi gt表示xi对应的图像质量类别标签，可以为0或1，0表示标注测试样本图像质量为合格，1表示标注测试样本图像质量为不合格。每次选择一个候选评估阈值，计算一个loss，选取loss最小的候选评估阈值作为最终的评估阈值。
在一些可选的实施例中，若不易分类样本中的正样本图像和负样本图像的图像质量分类结果线性不可分，还可以通过感知机(Perception)模型、神经网络模型、逻辑回归(Logistic Regression,LR)模型，输入不易分类样本图像和各图像的图像质量类别标签，确定损失函数，采用梯度下降法，经过多次迭代训练，得到训练好的感知机模型，最终得到评估阈值。
在一些可选的实施例中，若不易分类样本中的正样本图像和负样本图像的图像质量分类结果线性不可分，还可以通过支持向量机(Support Vector Machine，SVM)模型，输入不易分类样本图像和各图像的图像质量类别标签，确定损失函数，经过多次迭代训练，得到训练好的SVM模型，确定支持向量，计算预设数量个支持向量的的均值作为评估阈值。
在一些可选的实施例中，将所有测试样本图像(包括困难样本和非困难样本)进行标注，利用标注后的各测试样本图像训练图像质量分类模型，经过多次迭代训练，得到最终的评估阈值。
下面通过一个具体的应用场景，对本申请技术方案的具体应用进行介绍。
本申请技术方案可以应用在游戏“和平精英”的防作弊系统中，防作弊系统采集用户上传的照片和录音，对照片进行质量评估，如果照片质量不合格，则提示用户重新上传照片。防作弊系统的用户界面如图3所示。具体过程如下：
当接收到用户针对“开始比赛”按钮的触发操作时，如图4所示，启动用户终端的图像采集设备，采集用户的人脸图像，本申请技术方案的质量评估过程可以通过多级质量过滤器的形式实现，多级质量过滤器的每一级对用户的人脸图像的每一个质量评估参数进行评估，基于各参数值和各评估阈值，确定待评估图像的评估结果，如果其中一个质量评估参数的参数值不合格，则显示相应的提示信息。
如图5所示，如果在画面中没有检测到用户的人脸图像，则显示提示信息，如图5所示的“未检测到人脸，请将人脸对准方框重拍”；如果检测到人脸图像，则对人脸图像的质量进行评估，如果人脸图像的质量不合格，根据不合格的质量评估参数，显示提示信息，若人脸的偏移度的参数值不符合要求(例如，偏移度大于偏移度对应的评估阈值)，则显示提示信息，如图5所示，“脸部未居中，请将人脸对准方框重拍”；若人脸的倾斜度的参数值不符合要求(例如，倾斜度大于倾斜度对应的评估阈值)，则显示提示信息，如图6所示，“脸部倾斜，请拍摄正脸照片”；如果人脸图像质量合格，则跳转到如图3所示的用户界面，当接收到用户针对“上传”按钮的触发操作时，上传人脸图像；当接收到用户针对“登出”按钮的触发操作时，退出防作弊系统。
本申请实施例中，将本申请技术方案应用到游戏的防作弊系统中，从产品应用层面可以采集到高质量的图像，避免了因图像的质量问题导致作弊系统图像检测的误判，为电竞防作弊提供了有力的保障。
下面通过一个具体的实施例，对本申请技术方案的图像质量评估的具体过程进行介绍。
如图7所示，待评估图像输入多级质量过滤器，多级质量过滤器的每一级对用户图像的每一个质量评估参数进行评估，基于各参数值和各评估阈值，确定待评估图像的评估结果，也就是判断用户图像的各质量评估参数的参数值是否合格(如图中所示的是否合格)，如果图像质量合格，则质量评估过程结束。如果图像质量不合格，则根据不合格的质量评估参数，提示不合格原因，质量评估过程结束。
下面通过一个具体的实施例，对本申请技术方案的各质量评估参数的评估阈值确定过程和图像质量评估过程进行详细介绍。本实施例以待评估图像为人脸图像为例进行介绍。
如图8所示，本实施例首先介绍评估阈值确定过程：
获取各测试图像，计算各测试图像对应于各图像质量评估参数的参数值，在本实施例中，通过样本结构化脚本计算各测试图像对应于各图像质量评估参数的参数值，具体过程包括：遍历、解析各测试图像(如图中所示的遍历、解析图片)，在各测试图像中检测人脸，计算各测试图像的人脸置信度(如图中所示的得到置信度)、人脸倾斜度(如图中所示的计算倾斜度)、人脸图像的清晰度(如图中所示的计算清晰度)、人脸图像的亮度(如图中所示的计算亮度)、人脸区域在人脸图像中的面积占比(如图中所示的计算面积占比)、人脸图像的分辨率(如图中所示的计算分辨率)，并进行存储，将各测试图像的各质量评估参数(如图中所示的特征维度)以及各参数值(如图中所示的各图片维度数值)存储在EXCEL文件中(如图中所示的存储表格文件中)，对于每个质量评估参数的参数值进行排序(如图所示的单维度调参)，本实施例以测试图像的亮度为例，将排序后的测试图像和各测试图像的亮度值(如图中所示的5、7、8、11、85、85.6、86、86、150、151、152)进行可视化展示。将亮度值在一定范围内的测试图像确定为不易分类样本图像(如图所示不易分类样本图像对应的亮度值为矩形框中的85、85.6、86、86)，通过人机交互的方式对测试图像中的不易分类样本图像进行标注(如图所示的人机交互标定数个困难样本)，接收用户输入的图像质量类别标签，标注测试图像质量合格或不合格，例如，用标注1表示合格，标注-1表示不合格。将各不易分类样本图像和对应的图像质量类别标签作为测试数据集。基于各测试样本图像的亮度值和各图像质量类别标签，通过参数自学习脚本确定评估阈值(如图所示的级联过滤器自动调参)。具体过程包括：将各参数值进行数据归一化处理，例如，可以将各参数值转换到0到1范围内。基于各测试样本图像的参数值和各图像质量类别标签，确定正样本图像(质量合格图像)和负样本图像(质量不合格图像)的图像质量分类结果包括两种情况：一种是图像质量分类结果线性可分，一种是图像质量分类结果线性不可分。若线性可分，则选择参数值相邻的一个正样本图像和一个负样本图像，作为目标测试样本图像(如图所示的找到支撑点)，计算各目标测试样本图像的质量评估参数的参数值的平均值(如图所示的计算支持点均值)，将平均值作为质量评估参数的评估阈值。若图像质量分类结果线性不可分，在正样本图像和负样本图像的分类交叉区域中搜索m个值作为候选评估阈值，确定分类损失，分类损失可以为均方差loss函数(如图所示的设计均方差loss函数)，基于各候选评估阈值，对各测试样本图像进行分类，得到每个测试样本图像对应的分类结果；基于各分类结果和各测试样本图像的质量类别标签，确定各候选评估阈值对应的分类损失的值，将分类损失的值最小的候选评估阈值作为最终的评估阈值(如图所示的网格搜索最优解)。通过参数自学习脚本进行自动调参，得到各质量评估参数的评估阈值，包括：人脸置信度阈值(如图中所示的置信度阈值)、人脸倾斜度阈值(如图中所示的倾斜度阈值)、清晰度阈值(如图中所示的清晰度阈值)、亮度阈值(如图中所示的亮度阈值)、人脸区域在人脸图像中的面积占比阈值(如图中所示的面积占比阈值)、人脸图像的分辨率阈值(如图中所示的分辨率阈值)，将各评估阈值以JSON格式文件进行存储(如图所示的阈值参数josn文件存储)。
本实施例中的图像质量评估具体实现过程如下：
待评估图像输入级联过滤器，级联过滤器中的每个过滤器对待评估图像的每一个质量评估参数进行评估。首先输入第一个过滤器(如图中所示的输入下一个过滤器)，计算各质量评估参数的参数值(如图所示的计算维度特征)，从存储评估阈值的josn文件中查询该质量评估参数对应的评估阈值，判断参数值是否超出评估阈值(如图中所示的判断框中的特征超出阈值)，如果参数值超出评估阈值，则确定待评估图像的质量评估结果为不合格；如果参数值没有超出评估阈值，判断是否是最后一个过滤器，如果是，则确定待评估图像的评估结果为质量合格；如果不是最后一个过滤器，则输入下一个过滤器，继续判断下一个质量评估参数的参数值是否超出阈值。如果所有质量评估参数的参数值均没有超出对应的评估阈值，则确定待评估图像的评估结果为质量合格。
本申请提供的图像质量评估方法，通过测试数据集中的各测试样本图像对应于图像质量评估参数的参数值和各图像质量类别标签，确定图像质量评估参数的评估阈值，基于各图像质量评估参数的参数值和各评估阈值，对待评估图像进行质量评估，避免了通过人工测试的方式，多次发布测试产品最终确定评估阈值而造成的浪费测试人员大量时间，测试成本高的问题，从而提高了图像质量评估的效率。
与图1中所示方法相同的原理，本公开的实施例中还提供了一种图像质量评估装置20，如图9所示，该图像质量评估装置20包括：
图像获取模块21，用于获取待评估图像；
参数确定模块22，用于确定待评估图像对应于各图像质量评估参数的参数值；
阈值获取模块23，用于获取各图像质量评估参数的评估阈值；
结果确定模块24，用于基于各参数值和各评估阈值，确定待评估图像的质量评估结果；
其中，对于任一图像质量评估参数，图像质量评估参数对应的评估阈值是通过以下方式确定的：
获取图像质量评估参数对应的测试数据集，测试数据集包括各测试样本图像以及各测试样本图像的图像质量类别标签；
获取各测试样本图像对应于图像质量评估参数的参数值；
基于各测试样本图像对应于图像质量评估参数的参数值和各图像质量类别标签，确定图像质量评估参数的评估阈值。
在一种可能的实现方式中，各测试样本图像包括正样本图像和负样本图像，对于任一图像质量评估参数，阈值获取模块23在基于各测试样本图像对应于图像质量评估参数的参数值和各图像质量类别标签，确定图像质量评估参数的评估阈值时，用于：
基于各测试样本图像的参数值和图像质量类别标签，确定各测试样本图像对应的质量分类结果；
若各测试样本图像对应的质量分类结果为线性可分，则基于各目标测试样本图像的参数值，确定评估阈值，其中，各目标测试样本图像包括测试样本图像中参数值相邻的样本图像的集合，参数值相邻的样本图像的集合中包括至少一个正样本图像和至少一个负样本图像；
若各测试样本图像对应的质量分类结果为线性不可分，则基于各测试样本图像对应于图像质量评估参数的参数值，确定正样本图像和负样本图像的分类交叉区域；
基于分类交叉区域所对应的图像质量评估参数的参数值和各图像质量类别标签，确定评估阈值。
在一种可能的实现方式中，阈值获取模块23在基于各目标样本图像的参数值，确定评估阈值时，用于：
通过融合各目标测试样本图像对应于图像质量评估参数的参数值，得到图像质量评估参数的评估阈值。
在一种可能的实现方式中，阈值获取模块23在基于分类交叉区域所对应的图像质量评估参数的参数值和各图像质量类别标签，确定图像质量评估参数的评估阈值时，用于：
将质量分类结果位于分类交叉区域中的各测试样本图像对应的参数值分别作为第一候选评估阈值；
对于每一第一候选评估阈值，基于测试数据集中各测试样本图像的参数值和第一候选评估阈值，确定各测试样本图像的第一分类结果；
对于每一第一候选评估阈值，基于每个测试样本图像对应的第一分类结果和图像质量类别标签，确定第一候选评估阈值对应的分类分类损失值；
将各第一候选评估阈值所对应的分类损失值中分类损失值最小的第一候选评估阈值作为评估阈值。
在一种可能的实现方式中，阈值获取模块23在基于分类交叉区域所对应的图像质量评估参数的参数值和各图像质量类别标签，确定图像质量评估参数的评估阈值时，用于：
确定分类交叉区域对应于图像质量评估参数的参数值范围；
在参数值范围内选取至少一个数值作为第二候选评估阈值；
对于每一第二候选评估阈值，基于测试数据集中各测试样本图像的参数值和第二候选评估阈值，确定各测试样本图像的第二分类结果；
对于每一第二候选评估阈值，基于每个测试样本图像对应的第二分类结果和图像质量类别标签，确定第二候选评估阈值对应的分类损失值；
将各第二候选评估阈值所对应的分类损失值中分类损失值最小的第二候选评估阈值作为评估阈值。
在一种可能的实现方式中，待评估图像包括人脸图像，图像质量评估参数包括以下至少一项：
人脸置信度、人脸倾斜度、人脸偏移度、人脸面积在人脸图像中的占比、人脸图像的分辨率、人脸图像的清晰度、人脸图像的亮度。
在一种可能的实现方式中，人脸图像的清晰度是通过以下方式确定的：
获取人脸图像的全局清晰度、以及人脸图像中人脸区域的局部清晰度；
通过融合全局清晰度和局部清晰度，得到人脸图像的清晰度；
人脸图像的亮度是通过以下方式确定的：
获取人脸图像的全局亮度、以及人脸图像中人脸区域的局部亮度；
通过融合全局亮度和局部亮度，得到人脸图像的亮度。
本公开实施例的图像质量评估装置可执行本公开的实施例所提供的与图1对应的图像质量评估方法，其实现原理相类似，本公开实施例中的图像质量评估装置中的各模块所执行的动作是与本公开实施例中的图像质量评估方法中的步骤相对应的，对于图像质量评估装置的各模块的详细功能描述具体可以参见前文中所示的对应的图像质量评估方法中的描述，此处不再赘述。
本申请实施例提供的图像质量评估装置，通过测试数据集中的各测试样本图像对应于图像质量评估参数的参数值和各图像质量类别标签，确定图像质量评估参数的评估阈值，基于各图像质量评估参数的参数值和各评估阈值，对待评估图像进行质量评估，避免了通过人工测试的方式，多次发布测试产品最终确定评估阈值而造成的浪费测试人员大量时间，测试成本高的问题，从而提高了图像质量评估的效率。
其中，所述图像质量评估装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该图像质量评估装置为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。
在一些实施例中，本发明实施例提供的图像质量评估装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的图像质量评估装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图像质量评估方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
在另一些实施例中，本发明实施例提供的图像质量评估装置可以采用软件方式实现，图9示出了存储在存储器中的图像质量评估装置，其可以是程序和插件等形式的软件，并包括一系列的模块，包括图像获取模块21、图像复原模块22、阈值获取模块23、结果确定模块24，用于实现本发明实施例提供的图像质量评估方法。
上述实施例从虚拟模块的角度介绍了图像质量评估装置，下述从实体模块的角度介绍一种电子设备，具体如下所示：
本申请实施例提供了一种电子设备，如图10所示，图10所示的电子设备8000包括：处理器8001和存储器8003。其中，处理器8001和存储器8003相连，如通过总线8002相连。可选地，电子设备8000还可以包括收发器8004。需要说明的是，实际应用中收发器8004不限于一个，该电子设备8000的结构并不构成对本申请实施例的限定。
处理器8001可以是CPU，通用处理器，GPU，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器8001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线8002可包括一通路，在上述组件之间传送信息。总线8002可以是PCI总线或EISA总线等。总线8002可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器8003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器8003用于存储执行本申请方案的应用程序代码，并由处理器8001来控制执行。处理器8001用于执行存储器8003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。
本申请实施例提供了一种电子设备，本申请实施例中的电子设备包括：一个或多个处理器；存储器；一个或多个计算机程序，其中一个或多个计算机程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序被处理器执行时，获取待评估图像；确定待评估图像对应于各图像质量评估参数的参数值；获取各图像质量评估参数的评估阈值；基于各参数值和各评估阈值，确定待评估图像的质量评估结果；其中，对于任一图像质量评估参数，图像质量评估参数对应的评估阈值是通过以下方式确定的：获取图像质量评估参数对应的测试数据集，测试数据集包括各测试样本图像以及各测试样本图像的图像质量类别标签；获取各测试样本图像对应于图像质量评估参数的参数值；基于各测试样本图像对应于图像质量评估参数的参数值和各图像质量类别标签，确定图像质量评估参数的评估阈值。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当计算机程序在处理器上运行时，使得处理器可以执行前述方法实施例中相应内容。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像质量评估方法的各种可选实现方式中提供的方法。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种图像质量评估方法，其特征在于，所述方法包括：
获取待评估图像；
确定所述待评估图像对应于各图像质量评估参数的参数值；
获取所述各图像质量评估参数的评估阈值；
基于各所述参数值和各所述评估阈值，确定所述待评估图像的质量评估结果；
其中，对于任一所述图像质量评估参数，所述图像质量评估参数对应的评估阈值是通过以下方式确定的：
获取所述图像质量评估参数对应的测试数据集，所述测试数据集包括各测试样本图像以及各所述测试样本图像的图像质量类别标签，所述图像质量类别标签表征了所述测试样本图像对应于所述质量评估参数的真实质量类别；
获取各所述测试样本图像对应于所述图像质量评估参数的参数值；
基于各所述测试样本图像的参数值和图像质量类别标签，确定所述图像质量评估参数的评估阈值。
2.根据权利要求1所述的方法，其特征在于，所述各测试样本图像包括正样本图像和负样本图像，对于任一所述图像质量评估参数，所述基于各所述测试样本图像的参数值和图像质量类别标签，确定所述图像质量评估参数的评估阈值，包括：
基于各所述测试样本图像的参数值和图像质量类别标签，确定各所述测试样本图像对应的质量分类结果；
若各所述测试样本图像对应的质量分类结果为线性可分，则基于各目标测试样本图像的参数值，确定所述评估阈值，其中，所述各目标测试样本图像包括所述测试样本图像中参数值相邻的样本图像的集合，所述参数值相邻的样本图像的集合中包括至少一个正样本图像和至少一个负样本图像；
若各所述测试样本图像对应的质量分类结果为线性不可分，则基于各所述测试样本图像对应于所述图像质量评估参数的参数值，确定所述正样本图像和所述负样本图像的分类交叉区域；
基于所述分类交叉区域所对应的所述图像质量评估参数的参数值和各所述图像质量类别标签，确定所述评估阈值。
3.根据权利要求2所述的方法，其特征在于，所述基于各目标样本图像的参数值，确定所述评估阈值，包括：
通过融合所述各目标测试样本图像对应于所述图像质量评估参数的参数值，得到所述图像质量评估参数的评估阈值。
4.根据权利要求2所述的方法，其特征在于，所述基于所述分类交叉区域所对应的图像质量评估参数的参数值和各所述图像质量类别标签，确定所述图像质量评估参数的评估阈值，包括：
将质量分类结果位于所述分类交叉区域中的各所述测试样本图像对应的所述参数值分别作为第一候选评估阈值；
对于每一所述第一候选评估阈值，基于所述测试数据集中各测试样本图像的参数值和所述第一候选评估阈值，确定各所述测试样本图像的第一分类结果；
对于每一所述第一候选评估阈值，基于每个所述测试样本图像对应的第一分类结果和图像质量类别标签，确定所述第一候选评估阈值对应的分类分类损失值；
将各所述第一候选评估阈值所对应的分类损失值中分类损失值最小的第一候选评估阈值作为所述评估阈值。
5.根据权利要求2所述的方法，其特征在于，所述基于所述分类交叉区域所对应的图像质量评估参数的参数值和各所述图像质量类别标签，确定所述图像质量评估参数的评估阈值，包括：
确定所述分类交叉区域对应于所述图像质量评估参数的参数值范围；
在所述参数值范围内选取至少一个数值作为第二候选评估阈值；
对于每一所述第二候选评估阈值，基于所述测试数据集中各测试样本图像的参数值和所述第二候选评估阈值，确定各所述测试样本图像的第二分类结果；
对于每一所述第二候选评估阈值，基于每个所述测试样本图像对应的第二分类结果和图像质量类别标签，确定所述第二候选评估阈值对应的分类损失值；
将各所述第二候选评估阈值所对应的分类损失值中分类损失值最小的第二候选评估阈值作为所述评估阈值。
6.根据权利要求1所述的方法，其特征在于，所述待评估图像包括人脸图像，所述图像质量评估参数包括以下至少一项：
人脸置信度、人脸倾斜度、人脸偏移度、人脸面积在所述人脸图像中的占比、所述人脸图像的分辨率、所述人脸图像的清晰度、所述人脸图像的亮度。
7.根据权利要求6所述的方法，其特征在于，所述人脸图像的清晰度是通过以下方式确定的：
获取所述人脸图像的全局清晰度、以及所述人脸图像中人脸区域的局部清晰度；
通过融合所述全局清晰度和所述局部清晰度，得到所述人脸图像的清晰度；
所述人脸图像的亮度是通过以下方式确定的：
获取所述人脸图像的全局亮度、以及所述人脸图像中人脸区域的局部亮度；
通过融合所述全局亮度和所述局部亮度，得到所述人脸图像的亮度。
8.一种图像质量评估装置，其特征在于，所述装置包括：
图像获取模块，用于获取待评估图像；
参数确定模块，用于确定所述待评估图像对应于各图像质量评估参数的参数值；
阈值获取模块，用于获取所述各图像质量评估参数的评估阈值；
结果确定模块，用于基于各所述参数值和各所述评估阈值，确定所述待评估图像的质量评估结果；
其中，对于任一所述图像质量评估参数，所述图像质量评估参数对应的评估阈值是通过以下方式确定的：
获取所述图像质量评估参数对应的测试数据集，所述测试数据集包括各测试样本图像以及各所述测试样本图像的图像质量类别标签；
获取各所述测试样本图像对应于所述图像质量评估参数的参数值；
基于各所述测试样本图像对应于所述图像质量评估参数的参数值和各所述图像质量类别标签，确定所述图像质量评估参数的评估阈值。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器；
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序被配置用于执行根据权利要求1～7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，当所述计算机程序在处理器上运行时，使得所述处理器可以执行权利要求1～7任一项所述的方法。
CN202110103990.1A 2021-01-26 2021-01-26 图像质量评估方法、装置、电子设备及存储介质 Pending CN113570541A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110103990.1A CN113570541A (zh) 2021-01-26 2021-01-26 图像质量评估方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110103990.1A CN113570541A (zh) 2021-01-26 2021-01-26 图像质量评估方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113570541A true CN113570541A (zh) 2021-10-29

Family

ID=78161018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110103990.1A Pending CN113570541A (zh) 2021-01-26 2021-01-26 图像质量评估方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113570541A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171198A (zh) * 2022-09-02 2022-10-11 腾讯科技（深圳）有限公司 模型质量评估方法、装置、设备及存储介质
CN116593128A (zh) * 2023-04-28 2023-08-15 南京贝迪新材料科技股份有限公司 一种激光显示质量检测分析方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171198A (zh) * 2022-09-02 2022-10-11 腾讯科技（深圳）有限公司 模型质量评估方法、装置、设备及存储介质
CN116593128A (zh) * 2023-04-28 2023-08-15 南京贝迪新材料科技股份有限公司 一种激光显示质量检测分析方法及系统

Similar Documents

Publication Publication Date Title
US11062123B2 (en) Method, terminal, and storage medium for tracking facial critical area
CN108664893B (zh) 一种人脸检测方法及存储介质
CN108460362B (zh) 一种检测人体部位的系统及方法
CN112862874B (zh) 点云数据匹配方法、装置、电子设备及计算机存储介质
CN112221159B (zh) 一种虚拟道具推荐方法、装置及计算机可读存储介质
CN113518256B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN113704531A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110163076A (zh) 一种图像数据处理方法和相关装置
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
Zheng et al. A lightweight ship target detection model based on improved YOLOv5s algorithm
US20190034704A1 (en) Method and apparatus for face classification
CN111783712A (zh) 一种视频处理方法、装置、设备及介质
CN112926429B (zh) 机审模型训练、视频机审方法、装置、设备及存储介质
CN113570541A (zh) 图像质量评估方法、装置、电子设备及存储介质
CN109086737B (zh) 基于卷积神经网络的航运货物监控视频识别方法及系统
CN113255685B (zh) 一种图像处理方法、装置、计算机设备以及存储介质
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN113705598A (zh) 数据分类方法、装置及电子设备
CN113822134A (zh) 一种基于视频的实例跟踪方法、装置、设备及存储介质
CN112989952A (zh) 一种基于遮罩引导的人群密度估计方法及装置
Li et al. CDMY: A lightweight object detection model based on coordinate attention
Ashraf et al. Efficient Pavement Crack Detection and Classification Using Custom YOLOv7 Model
CN113239915B (zh) 一种课堂行为的识别方法、装置、设备及存储介质
CN115205606A (zh) 一种图像的多标签分类的方法、装置及相关产品
CN112733686A (zh) 用于云联邦的图像中的目标物识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination