CN114549409A - 图像处理方法、装置、存储介质及计算机设备 - Google Patents

图像处理方法、装置、存储介质及计算机设备 Download PDF

Info

Publication number
CN114549409A
CN114549409A CN202210029610.9A CN202210029610A CN114549409A CN 114549409 A CN114549409 A CN 114549409A CN 202210029610 A CN202210029610 A CN 202210029610A CN 114549409 A CN114549409 A CN 114549409A
Authority
CN
China
Prior art keywords
training
image
face
sample
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210029610.9A
Other languages
English (en)
Inventor
魏恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lianzhou International Technology Co Ltd
Original Assignee
Shenzhen Lianzhou International Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lianzhou International Technology Co Ltd filed Critical Shenzhen Lianzhou International Technology Co Ltd
Priority to CN202210029610.9A priority Critical patent/CN114549409A/zh
Publication of CN114549409A publication Critical patent/CN114549409A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法、装置、存储介质及计算机设备,其中,该方法包括:获取样本图像集,其中样本图像集包括多个人脸对象对应的样本图像,每一个人脸对象对应多个样本图像;通过目标人脸识别系统对样本图像进行识别处理,得到具有质量好标签的第一训练图像,及具有质量差标签的第二训练图像;将同一个人脸对象对应的第一训练图像和第二训练图像进行配对,得到多个人脸对象对应的配对训练图像;通过多个人脸对象对应的配对训练图像训练目标模型,基于训练后的目标模型对待测人脸图像进行人脸质量评估,以输出待测人脸图像的人脸质量评估结果,可以降低数据获取难度,节省时间,降低成本,提升人脸质量评估的速度和准确性。

Description

图像处理方法、装置、存储介质及计算机设备
技术领域
本申请涉及计算机技术领域,具体涉及一种图像处理方法、装置、存储介质及计算机设备。
背景技术
目前市面上的图像处理方法通常是将人脸质量的高低归结于姿态、角度、模糊度、光照四个维度,输入一张图片,若检测到人脸,则分别计算姿态、角度、模糊度、光照四个维度的质量得分,再对四个维度分别分配特定权重映射出一个最终质量分,最终通过总分来评估人脸的质量。但是,在数据获取阶段需要通过人工打分获得质量分标签,对于数据的获取处理方式存在成本高和比较耗时等缺陷,另外,多个维度评估的方式,模型中需要调整的参数非常多,从而导致训练过程比较耗时。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及计算机设备,可以降低数据获取难度,节省时间,降低成本,以及提升人脸质量评估的速度和准确性。
一方面,提供一种图像处理方法,所述方法包括:
获取样本图像集,其中所述样本图像集包括多个人脸对象对应的样本图像,每一个人脸对象对应多个样本图像;
通过目标人脸识别系统对所述样本图像集中的样本图像进行识别处理,以得到具有质量好标签的第一训练图像,以及具有质量差标签的第二训练图像;
将同一个人脸对象对应的第一训练图像和第二训练图像进行配对,以得到多个人脸对象对应的配对训练图像;
通过所述多个人脸对象对应的配对训练图像训练目标模型,以得到训练后的目标模型;
基于所述训练后的目标模型对待测人脸图像进行人脸质量评估,以输出所述待测人脸图像的人脸质量评估结果。
在一些实施例中,所述通过目标人脸识别系统对所述样本图像集中的样本图像进行识别处理,以得到具有质量好标签的第一训练图像,以及具有质量差标签的第二训练图像,包括:
将所述样本图像集中能被所述目标人脸识别系统识别的样本图像标记为质量好,以及将不能被所述目标人脸识别系统识别的样本图像标记为质量差,以得到所述具有质量好标签的第一训练图像和所述具有质量差标签的第二训练图像。
在一些实施例中,所述将所述样本图像集中能被所述目标人脸识别系统识别的样本图像标记为质量好,以及将不能被所述目标人脸识别系统识别的样本图像标记为质量差,包括:
将所述样本图像集中的每一张样本图像多次输入所述目标人脸识别系统,以得到每一张样本图像对应的多次输出值,根据所述每一张样本图像对应的多次输出值的平均值来确定每一张样本图像的识别结果;
根据所述识别结果,将所述样本图像集中能被所述目标人脸识别系统识别的样本图像标记为质量好,以及将不能被所述目标人脸识别系统识别的样本图像标记为质量差。
在一些实施例中,所述将同一个人脸对象对应的第一训练图像和第二训练图像进行配对,以得到多个人脸对象对应的配对训练图像,包括:
从同一个人脸对象对应的多张第一训练图像和多张第二训练图像中,分别抽取一张第一训练图像和一张第二训练图像进行配对,以得到多个人脸对象对应的配对训练图像,其中,同一个人脸对象对应的配对训练图像包括一张第一训练图像和一张第二训练图像。
在一些实施例中,所述通过所述多个人脸对象对应的配对训练图像训练目标模型,以得到训练后的目标模型,包括:
将所述配对训练图像输入所述目标模型,以得到所述配对训练图像中所述第一训练图像对应的第一质量得分和所述第二训练图像对应的第二质量得分;
根据所述第一质量得分和所述第二质量得分训练所述目标模型的损失函数;
根据所述目标模型的损失函数的值优化所述目标模型的模型参数,以得到训练后的目标模型。
在一些实施例中,所述第一训练图像对应第一标签值,所述第二训练图像对应第二标签值,所述根据所述第一质量得分和所述第二质量得分训练所述目标模型的损失函数,包括:
根据所述第一质量得分与所述第一标签值之间的误差距离,以及所述第二质量得分与所述第二标签值之间的误差距离,训练所述目标模型的损失函数。
在一些实施例中,所述根据所述目标模型的损失函数的值优化所述目标模型的模型参数,以得到训练后的目标模型,还包括:
在优化完成所述目标模型的所有模型参数后,根据预设精简比例从所述所有模型参数中删除部分模型参数;
将所述配对训练图像输入所述已删除部分模型参数的目标模型,以得到所述配对训练图像中所述第一训练图像对应的第三质量得分和所述第二训练图像对应的第四质量得分;
根据所述第三质量得分和所述第四质量得分训练所述已删除部分模型参数的目标模型的损失函数;
根据所述已删除部分模型参数的目标模型的损失函数的值优化所述目标模型的剩余模型参数,以得到训练后的目标模型。
在一些实施例中,在所述通过目标人脸识别系统对所述样本图像集中的样本图像进行处理之前,还包括:
对所述样本图像集中的样本图像进行数据增强处理。
另一方面,提供一种图像处理装置,所述装置包括:
获取单元,用于获取样本图像集,其中所述样本图像集包括多个人脸对象对应的样本图像,每一个人脸对象对应多个样本图像;
识别单元,用于通过目标人脸识别系统对所述样本图像集中的样本图像进行识别处理,以得到具有质量好标签的第一训练图像,以及具有质量差标签的第二训练图像;
配对单元,用于将同一个人脸对象对应的第一训练图像和第二训练图像进行配对,以得到多个人脸对象对应的配对训练图像;
训练单元,用于通过所述多个人脸对象对应的配对训练图像训练目标模型,以得到训练后的目标模型;
评估单元,用于基于所述训练后的目标模型对待测人脸图像进行人脸质量评估,以输出人脸质量评估结果。
另一方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行如上任一实施例所述的图像处理方法中的步骤。
另一方面,提供一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行如上任一实施例所述的图像处理方法中的步骤。
本申请实施例通过获取样本图像集,其中样本图像集包括多个人脸对象对应的样本图像,每一个人脸对象对应多个样本图像;通过目标人脸识别系统对样本图像集中的样本图像进行识别处理,以得到具有质量好标签的第一训练图像,以及具有质量差标签的第二训练图像;将同一个人脸对象对应的第一训练图像和第二训练图像进行配对,以得到多个人脸对象对应的配对训练图像;通过多个人脸对象对应的配对训练图像训练目标模型,以得到训练后的目标模型;基于训练后的目标模型对待测人脸图像进行人脸质量评估,以输出待测人脸图像的人脸质量评估结果。本申请实施例通过目标人脸识别系统对样本图像集进行识别并给出相应的标签,得到具有质量好标签的第一训练图像和具有质量差标签的第二训练图像,然后将同一个人脸对象对应的第一训练图像和第二训练图像进行配对,并利用配对后的训练图像进行模型的训练,得到训练后的模型,最后利用训练后的模型进行人脸质量评估,可以降低数据获取难度,节省时间,降低成本,以及提升人脸质量评估的速度和准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像处理方法的流程示意图。
图2为本申请实施例提供的图像处理装置的结构示意图。
图3为本申请实施例提供的图像处理装置的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种图像处理方法、装置、存储介质及计算机设备。具体地,本申请实施例的图像处理方法可以由计算机设备执行,其中,该计算机设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、智能电视、智能音箱、穿戴式智能设备、智能车载终端等设备,终端10还可以包括客户端,该客户端可以是视频客户端、浏览器客户端或即时通信客户端等。服务器20可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优先顺序的限定。
本申请各实施例提供了一种图像处理方法,该方法可以由终端或服务器执行,也可以由终端和服务器共同执行;本申请实施例以图像处理方法由服务器执行为例来进行说明。
请参阅图1,图1为本申请实施例提供的图像处理方法的流程示意图。该方法包括:
步骤110,获取样本图像集,其中所述样本图像集包括多个人脸对象对应的样本图像,每一个人脸对象对应多个样本图像。
例如,可以获取大批量的样本图像,该样本图像可以为任意人脸对象对应的图片,该样本图像没有质量标签。
例如,每一个人脸对象对应多个样本图像,若以每一个人脸对象对应的多个样本图像为一组样本图像,则该样本图像集包括多个人脸对象对应的多组样本图像。
步骤120,通过目标人脸识别系统对所述样本图像集中的样本图像进行识别处理,以得到具有质量好标签的第一训练图像,以及具有质量差标签的第二训练图像。
在一些实施例中,在所述通过目标人脸识别系统对所述样本图像集中的样本图像进行处理之前,还包括:
对所述样本图像集中的样本图像进行数据增强处理。
例如,所述数据增强处理可以包括裁剪、缩放、旋转、遮挡、亮度调节、对比度调节、颜色调节、模糊处理中的任一种或多种。
例如,可以将样本图像进行裁剪、缩放、旋转、遮挡、亮度调节、对比度调节、颜色调节、模糊处理等操作,即是对原始的样本图像进行图片处理操作,可以用于进行数据增强,以增加样本图像的数量。例如,经过模糊处理的样本图像,还可以用于表示对应现实中图像中的人脸没有被正对、拍摄画面抖动导致模糊的场景。
在一些实施例中,所述通过目标人脸识别系统对所述样本图像集中的样本图像进行识别处理,以得到具有质量好标签的第一训练图像,以及具有质量差标签的第二训练图像,包括:
将所述样本图像集中能被所述目标人脸识别系统识别的样本图像标记为质量好,以及将不能被所述目标人脸识别系统识别的样本图像标记为质量差,以得到所述具有质量好标签的第一训练图像和所述具有质量差标签的第二训练图像。
例如,该目标人脸识别系统为原有的人脸识别系统,原有的人脸识别系统符合行业要求。例如,原有的人脸识别系统的识别率达到市面上人脸识别产品的平均水平。
例如,将样本图像集中的大批量样本图像输入目标人脸识别系统,将能被目标人脸识别系统正确识别的样本图像标记为质量好,不能被该目标人脸识别系统识别的样本图像标记为质量差,以得到具有质量好标签的第一训练图像,以及具有质量差标签的第二训练图像。
在一些实施例中,所述将所述样本图像集中能被所述目标人脸识别系统识别的样本图像标记为质量好,以及将不能被所述目标人脸识别系统识别的样本图像标记为质量差,包括:
将所述样本图像集中的每一张样本图像多次输入所述目标人脸识别系统,以得到每一张样本图像对应的多次输出值,根据所述每一张样本图像对应的多次输出值的平均值来确定每一张样本图像的识别结果;
根据所述识别结果,将所述样本图像集中能被所述目标人脸识别系统识别的样本图像标记为质量好,以及将不能被所述目标人脸识别系统识别的样本图像标记为质量差。
例如,为了提升标记结果的准确性,可以通过多次将同一张样本图像输入到目标人脸识别系统中,取多次结果的平均来对人脸识别结果的准确性进行验证,以最终对每一样本图像的进行质量标签的标记,将样本图像集中能被目标人脸识别系统识别的样本图像标记为质量好,以及将不能被目标人脸识别系统识别的样本图像标记为质量差。
步骤130,将同一个人脸对象对应的第一训练图像和第二训练图像进行配对,以得到多个人脸对象对应的配对训练图像。
在一些实施例中,所述将同一个人脸对象对应的第一训练图像和第二训练图像进行配对,以得到多个人脸对象对应的配对训练图像,包括:
从同一个人脸对象对应的多张第一训练图像和多张第二训练图像中,分别抽取一张第一训练图像和一张第二训练图像进行配对,以得到多个人脸对象对应的配对训练图像,其中,同一个人脸对象对应的配对训练图像包括一张第一训练图像和一张第二训练图像。
例如,在将同一个人脸对象对应的第一训练图像和第二训练图像进行配对时,每个人脸对象可以对应一张标准图片,该标准图片可以理解为能被目标人脸识别系统识别的第一训练图像,将这张标准图片和该人脸对象对应的不能被目标人脸识别系统识别的图片(第二训练图像)进行配对。
例如,为了降低模型训练的计算量,每一个人脸对象可以对应一组配对训练图像。例如,从同一个人脸对象对应的多张第一训练图像和多张第二训练图像中,分别抽取一张第一训练图像和一张第二训练图像进行配对,同一个人脸对象对应的配对训练图像包括一张第一训练图像和一张第二训练图像。
例如,为了提高模型训练的样本多样性,每一个人脸对象可以对应多组配对训练图像。例如,在确定标准图片时,可以从同一个人脸对象对应的多个第一训练图像中选取一张作为标准图片,然后将选出的这一张标准图片分别与所有的第二训练图像逐个进行配对,以得到同一个人脸对象可以对应的多组配对训练图像。例如,也可以将同一个人脸对象对应的所有第一训练图像均确定为标准图片,然后将所有第一训练图像中的每一张第一训练图像分别与所有的第二训练图像逐个进行配对,以得到同一个人脸对象可以对应的多组配对训练图像。
其中,得到的多个人脸对象对应的配对训练图像作为训练数据集,本申请实施例在数据获取阶段不需要手工标注人脸质量数据集,直接通过现有的人脸识别系统生成训练数据,这样很大程度降低了数据的获取难度,节省了时间和金钱成本。
步骤140,通过所述多个人脸对象对应的配对训练图像训练目标模型,以得到训练后的目标模型。
其中,通过配对训练图像训练目标模型,只训练质量得分,不对姿态、角度、模糊度、光照等特征区分,直接判断输入的图像中的人脸质量的识别结果。
在一些实施例中,所述通过所述多个人脸对象对应的配对训练图像训练目标模型,以得到训练后的目标模型,包括:
将所述配对训练图像输入所述目标模型,以得到所述配对训练图像中所述第一训练图像对应的第一质量得分和所述第二训练图像对应的第二质量得分;
根据所述第一质量得分和所述第二质量得分训练所述目标模型的损失函数;
根据所述目标模型的损失函数的值优化所述目标模型的模型参数,以得到训练后的目标模型。
例如,将每一组将配对好的配对训练图像输入到一个目标模型中,其中,每一组配对训练图像包括一张为质量好的第一训练图像,一张质量差的第二训练图像;然后,目标模型对每组配对训练图像处理后会输出两个值,例如,质量好的第一训练图像对应输出的第一质量得分为1,质量差的第二训练图像对应输出的第二质量得分为0。其中,在模型训练的初始阶段,目标模型输出的值可能并不是对应的1和0。将大量配对好的配对训练图像输入到目标模型中进过多个轮次的训练,在训练过程中根据目标模型的损失函数的值优化目标模型的模型参数,最终该目标模型可以学习到如何分辨人脸质量,对应质量好的第一训练图像输出的值为1,对应质量差的第二训练图像输出的值为0,以达到训练的目的,进而得到训练后的目标模型。
在一些实施例中,所述第一训练图像对应第一标签值,所述第二训练图像对应第二标签值,所述根据所述第一质量得分和所述第二质量得分训练所述目标模型的损失函数,包括:
根据所述第一质量得分与所述第一标签值之间的误差距离,以及所述第二质量得分与所述第二标签值之间的误差距离,训练所述目标模型的损失函数。
例如,第一训练图像对应的第一标签值可以为1,第二训练图像对应的第二标签值可以为0。例如,在训练过程中目标模型输出的第一质量得分和第二质量得分可以为概率值。通过计算第一质量得分与第一标签值之间的误差距离,以及第二质量得分与第二标签值之间的误差距离,训练目标模型的损失函数。第一质量得分与第一标签值之间的误差距离越小,以及第二质量得分与第二标签值之间的误差距离越小,则损失函数的值越小,说明目标模型预测的识别结果越准确。
例如,本申请实施例没有一个具体的特征来判断人脸质量的好坏。而市面上的人脸质量评估是通过姿态、角度、模糊度、光照等特征来判断人脸质量。本申请实施例通过改进,把得到这些特征的中间步骤省略了,针对输入的待测人脸图片不用对多个特征进行打分,而是可以直接输出结果。例如,可以应用ranking loss和MSE loss损失函数来进行训练。
例如,训练流程的步骤可以包括:
(1)初始化一个目标模型;
(2)输入配对好的配对训练图像,一张为质量好的第一训练图像,一张为质量差的第二训练图像;
(3)目标模型会输出两个值,将这两个值和标签值进行对比计算(质量好的标签值为1,质量差的标签值为0);
(4)根据计算出的loss调整模型的参数,其中,调整过程是自动进行的;
(5)当输出值和标签值的loss差距很小时,结束训练。
在一些实施例中,所述根据所述目标模型的损失函数的值优化所述目标模型的模型参数,以得到训练后的目标模型,还包括:
在优化完成所述目标模型的所有模型参数后,根据预设精简比例从所述所有模型参数中删除部分模型参数;
将所述配对训练图像输入所述已删除部分模型参数的目标模型,以得到所述配对训练图像中所述第一训练图像对应的第三质量得分和所述第二训练图像对应的第四质量得分;
根据所述第三质量得分和所述第四质量得分训练所述已删除部分模型参数的目标模型的损失函数;
根据所述已删除部分模型参数的目标模型的损失函数的值优化所述目标模型的剩余模型参数,以得到训练后的目标模型。
例如,目标模型由一系列模型参数构成,在模型训练结束之后。可以利用这些训练后的模型参数对输入图片进行运算,得到输出结果。精简即是减少这些模型参数的数目。例如,预设精简比例为精简后的模型参数为原参数的70%。例如,模型精简的流程如下:
(1)目标模型可以理解为是由一层一层的模型参数叠加得到的,在进行模型精简时,可以根据预设精简比例去除模型中的某一层的参数,以从所有模型参数中删除部分模型参数。
(2)测试模型参数减少后的新目标模型的分辨效果,如果模型参数减少后的新目标模型和原目标模型的准确率一样,则不进行多余操作。如果不一样,则继续输入配对训练图像进行训练,直到识别结果的准确率和原目标模型一致。
(3)在训练的过程中,也可以逐步删除目标模型中的部分模型参数,每删除一次,就训练目标模型,在新目标模型的识别结果的准确率和原目标模型一致时,确认精简后的目标模型的模型参数是否达到希望精简的预设精简比例。若精简后的目标模型的模型参数已达到希望精简的预设精简比例(比如只有原参数的70%),则停止此模型精简过程;若精简后的目标模型的模型参数未达到希望精简的预设精简比例,则返回步骤(1)。
通过模型精简,可以在应用模型进行人脸质量评估时,减少模型的计算次数,提升模型运行速度。
步骤150,基于所述训练后的目标模型对待测人脸图像进行人脸质量评估,以输出所述待测人脸图像的人脸质量评估结果。
例如,在得到训练后的目标模型后,在采用该训练后的目标模型对待测人脸图像进行人脸质量评估时,可以对人脸质量进行直接打分,以输出待测人脸图像的人脸质量评估结果。与目前通过四个维度间接打分的方案相比,降低了总体计算量,速度更快,准确性也更高。
例如,精简后的用于进行人脸质量评估的目标模型,大大减小了模型的大小以及模型的计算规模,提升了模型运行速度,精简后的目标模型可以部署在移动设备中,以实现实时的人脸质量检测。
为便于更好的实施本申请实施例的图像处理方法,本申请实施例还提供一种图像处理装置。请参阅图2,图2为本申请实施例提供的图像处理装置的结构示意图。其中,该图像处理装置200可以包括:
获取单元210,用于获取样本图像集,其中所述样本图像集包括多个人脸对象对应的样本图像,每一个人脸对象对应多个样本图像;
识别单元220,用于通过目标人脸识别系统对所述样本图像集中的样本图像进行识别处理,以得到具有质量好标签的第一训练图像,以及具有质量差标签的第二训练图像;
配对单元230,用于将同一个人脸对象对应的第一训练图像和第二训练图像进行配对,以得到多个人脸对象对应的配对训练图像;
训练单元240,用于通过所述多个人脸对象对应的配对训练图像训练目标模型,以得到训练后的目标模型;
评估单元250,用于基于所述训练后的目标模型对待测人脸图像进行人脸质量评估,以输出人脸质量评估结果。
获取样本图像集,其中所述样本图像集包括多个人脸对象对应的样本图像,每一个人脸对象对应多个样本图像;
通过目标人脸识别系统对所述样本图像集中的样本图像进行识别处理,以得到具有质量好标签的第一训练图像,以及具有质量差标签的第二训练图像;
将同一个人脸对象对应的第一训练图像和第二训练图像进行配对,以得到多个人脸对象对应的配对训练图像;
通过所述多个人脸对象对应的配对训练图像训练目标模型,以得到训练后的目标模型;
基于所述训练后的目标模型对待测人脸图像进行人脸质量评估,以输出所述待测人脸图像的人脸质量评估结果。
在一些实施例中,所述识别单元220,可以用于:
将所述样本图像集中能被所述目标人脸识别系统识别的样本图像标记为质量好,以及将不能被所述目标人脸识别系统识别的样本图像标记为质量差,以得到所述具有质量好标签的第一训练图像和所述具有质量差标签的第二训练图像。
在一些实施例中,所述识别单元220在将所述样本图像集中能被所述目标人脸识别系统识别的样本图像标记为质量好,以及将不能被所述目标人脸识别系统识别的样本图像标记为质量差时,可以用于:
将所述样本图像集中的每一张样本图像多次输入所述目标人脸识别系统,以得到每一张样本图像对应的多次输出值,根据所述每一张样本图像对应的多次输出值的平均值来确定每一张样本图像的识别结果;
根据所述识别结果,将所述样本图像集中能被所述目标人脸识别系统识别的样本图像标记为质量好,以及将不能被所述目标人脸识别系统识别的样本图像标记为质量差。
在一些实施例中,所述配对单元230,可以用于:
从同一个人脸对象对应的多张第一训练图像和多张第二训练图像中,分别抽取一张第一训练图像和一张第二训练图像进行配对,以得到多个人脸对象对应的配对训练图像,其中,同一个人脸对象对应的配对训练图像包括一张第一训练图像和一张第二训练图像。
在一些实施例中,所述训练单元240,可以用于:
将所述配对训练图像输入所述目标模型,以得到所述配对训练图像中所述第一训练图像对应的第一质量得分和所述第二训练图像对应的第二质量得分;
根据所述第一质量得分和所述第二质量得分训练所述目标模型的损失函数;
根据所述目标模型的损失函数的值优化所述目标模型的模型参数,以得到训练后的目标模型。
在一些实施例中,所述第一训练图像对应第一标签值,所述第二训练图像对应第二标签值,所述训练单元240在根据所述第一质量得分和所述第二质量得分训练所述目标模型的损失函数时,可以用于:
根据所述第一质量得分与所述第一标签值之间的误差距离,以及所述第二质量得分与所述第二标签值之间的误差距离,训练所述目标模型的损失函数。
在一些实施例中,所述训练单元240在根据所述目标模型的损失函数的值优化所述目标模型的模型参数,以得到训练后的目标模型时,还可以用于:
在优化完成所述目标模型的所有模型参数后,根据预设精简比例从所述所有模型参数中删除部分模型参数;
将所述配对训练图像输入所述已删除部分模型参数的目标模型,以得到所述配对训练图像中所述第一训练图像对应的第三质量得分和所述第二训练图像对应的第四质量得分;
根据所述第三质量得分和所述第四质量得分训练所述已删除部分模型参数的目标模型的损失函数;
根据所述已删除部分模型参数的目标模型的损失函数的值优化所述目标模型的剩余模型参数,以得到训练后的目标模型。
在一些实施例中,所述识别单元220在所述通过目标人脸识别系统对所述样本图像集中的样本图像进行处理之前,还可以用于:
对所述样本图像集中的样本图像进行数据增强处理。
需要说明的是,本申请实施例中的图像处理装置200中各模块的功能可对应参考上述各方法实施例中任意实施例的具体实现方式,这里不再赘述。
上述图像处理装置中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各个单元可以以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行上述各个单元对应的操作。
图像处理装置200例如可以集成在具备储存器并安装有处理器而具有运算能力的终端或服务器中,或者该图像处理装置200为该终端或服务器。该终端可以为智能手机、平板电脑、笔记本电脑、智能电视、智能音箱、穿戴式智能设备、个人计算机(PersonalComputer,PC)等设备,终端还可以包括客户端,该客户端可以是视频客户端、浏览器客户端或即时通信客户端等。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
图3为本申请实施例提供的图像处理装置的另一示意性结构图,如图3所示,图像处理装置300可以包括:通信接口301,存储器302,处理器303和通信总线304。通信接口301,存储器302,处理器303通过通信总线304实现相互间的通信。通信接口301用于装置300与外部设备进行数据通信。存储器302可用于存储软件程序以及模块,处理器303通过运行存储在存储器302的软件程序以及模块,例如前述方法实施例中的相应操作的软件程序。
可选的,该处理器303可以调用存储在存储器302的软件程序以及模块执行如下操作:获取样本图像集,其中所述样本图像集包括多个人脸对象对应的样本图像,每一个人脸对象对应多个样本图像;通过目标人脸识别系统对所述样本图像集中的样本图像进行识别处理,以得到具有质量好标签的第一训练图像,以及具有质量差标签的第二训练图像;将同一个人脸对象对应的第一训练图像和第二训练图像进行配对,以得到多个人脸对象对应的配对训练图像;通过所述多个人脸对象对应的配对训练图像训练目标模型,以得到训练后的目标模型;基于所述训练后的目标模型对待测人脸图像进行人脸质量评估,以输出所述待测人脸图像的人脸质量评估结果。
可选的,图像处理装置300例如可以集成在具备储存器并安装有处理器而具有运算能力的终端或服务器中,或者该图像处理装置300为该终端或服务器。
可选的,本申请还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质,用于存储计算机程序。该计算机可读存储介质可应用于计算机设备,且该计算机程序使得计算机设备执行本申请实施例中的图像处理方法中的相应流程,为了简洁,在此不再赘述。
本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得计算机设备执行本申请实施例中的图像处理方法中的相应流程,为了简洁,在此不再赘述。
本申请实施例还提供了一种计算机程序,该计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得计算机设备执行本申请实施例中的图像处理方法中的相应流程,为了简洁,在此不再赘述。
应理解,本申请实施例的处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解,上述存储器为示例性但不是限制性说明,例如,本申请实施例中的存储器还可以是静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)以及直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)等等。也就是说,本申请实施例中的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种图像处理方法,其特征在于,所述方法包括:
获取样本图像集,其中所述样本图像集包括多个人脸对象对应的样本图像,每一个人脸对象对应多个样本图像;
通过目标人脸识别系统对所述样本图像集中的样本图像进行识别处理,以得到具有质量好标签的第一训练图像,以及具有质量差标签的第二训练图像;
将同一个人脸对象对应的第一训练图像和第二训练图像进行配对,以得到多个人脸对象对应的配对训练图像;
通过所述多个人脸对象对应的配对训练图像训练目标模型,以得到训练后的目标模型;
基于所述训练后的目标模型对待测人脸图像进行人脸质量评估,以输出所述待测人脸图像的人脸质量评估结果。
2.如权利要求1所述的图像处理方法,其特征在于,所述通过目标人脸识别系统对所述样本图像集中的样本图像进行识别处理,以得到具有质量好标签的第一训练图像,以及具有质量差标签的第二训练图像,包括:
将所述样本图像集中能被所述目标人脸识别系统识别的样本图像标记为质量好,以及将不能被所述目标人脸识别系统识别的样本图像标记为质量差,以得到所述具有质量好标签的第一训练图像和所述具有质量差标签的第二训练图像。
3.如权利要求2所述的图像处理方法,其特征在于,所述将所述样本图像集中能被所述目标人脸识别系统识别的样本图像标记为质量好,以及将不能被所述目标人脸识别系统识别的样本图像标记为质量差,包括:
将所述样本图像集中的每一张样本图像多次输入所述目标人脸识别系统,以得到每一张样本图像对应的多次输出值,根据所述每一张样本图像对应的多次输出值的平均值来确定每一张样本图像的识别结果;
根据所述识别结果,将所述样本图像集中能被所述目标人脸识别系统识别的样本图像标记为质量好,以及将不能被所述目标人脸识别系统识别的样本图像标记为质量差。
4.如权利要求1所述的图像处理方法,其特征在于,所述将同一个人脸对象对应的第一训练图像和第二训练图像进行配对,以得到多个人脸对象对应的配对训练图像,包括:
从同一个人脸对象对应的多张第一训练图像和多张第二训练图像中,分别抽取一张第一训练图像和一张第二训练图像进行配对,以得到多个人脸对象对应的配对训练图像,其中,同一个人脸对象对应的配对训练图像包括一张第一训练图像和一张第二训练图像。
5.如权利要求1-4所述的图像处理方法,其特征在于,所述通过所述多个人脸对象对应的配对训练图像训练目标模型,以得到训练后的目标模型,包括:
将所述配对训练图像输入所述目标模型,以得到所述配对训练图像中所述第一训练图像对应的第一质量得分和所述第二训练图像对应的第二质量得分;
根据所述第一质量得分和所述第二质量得分训练所述目标模型的损失函数;
根据所述目标模型的损失函数的值优化所述目标模型的模型参数,以得到训练后的目标模型。
6.如权利要求5所述的图像处理方法,其特征在于,所述第一训练图像对应第一标签值,所述第二训练图像对应第二标签值,所述根据所述第一质量得分和所述第二质量得分训练所述目标模型的损失函数,包括:
根据所述第一质量得分与所述第一标签值之间的误差距离,以及所述第二质量得分与所述第二标签值之间的误差距离,训练所述目标模型的损失函数。
7.如权利要求5所述的图像处理方法,其特征在于,所述根据所述目标模型的损失函数的值优化所述目标模型的模型参数,以得到训练后的目标模型,还包括:
在优化完成所述目标模型的所有模型参数后,根据预设精简比例从所述所有模型参数中删除部分模型参数;
将所述配对训练图像输入所述已删除部分模型参数的目标模型,以得到所述配对训练图像中所述第一训练图像对应的第三质量得分和所述第二训练图像对应的第四质量得分;
根据所述第三质量得分和所述第四质量得分训练所述已删除部分模型参数的目标模型的损失函数;
根据所述已删除部分模型参数的目标模型的损失函数的值优化所述目标模型的剩余模型参数,以得到训练后的目标模型。
8.如权利要求1所述的图像处理方法,其特征在于,在所述通过目标人脸识别系统对所述样本图像集中的样本图像进行处理之前,还包括:
对所述样本图像集中的样本图像进行数据增强处理。
9.一种图像处理装置,其特征在于,所述装置包括:
获取单元,用于获取样本图像集,其中所述样本图像集包括多个人脸对象对应的样本图像,每一个人脸对象对应多个样本图像;
识别单元,用于通过目标人脸识别系统对所述样本图像集中的样本图像进行识别处理,以得到具有质量好标签的第一训练图像,以及具有质量差标签的第二训练图像;
配对单元,用于将同一个人脸对象对应的第一训练图像和第二训练图像进行配对,以得到多个人脸对象对应的配对训练图像;
训练单元,用于通过所述多个人脸对象对应的配对训练图像训练目标模型,以得到训练后的目标模型;
评估单元,用于基于所述训练后的目标模型对待测人脸图像进行人脸质量评估,以输出人脸质量评估结果。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行如权利要求1-8任一项所述的图像处理方法中的步骤。
11.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行权利要求1-8任一项所述的图像处理方法中的步骤。
CN202210029610.9A 2022-01-11 2022-01-11 图像处理方法、装置、存储介质及计算机设备 Pending CN114549409A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210029610.9A CN114549409A (zh) 2022-01-11 2022-01-11 图像处理方法、装置、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210029610.9A CN114549409A (zh) 2022-01-11 2022-01-11 图像处理方法、装置、存储介质及计算机设备

Publications (1)

Publication Number Publication Date
CN114549409A true CN114549409A (zh) 2022-05-27

Family

ID=81670895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210029610.9A Pending CN114549409A (zh) 2022-01-11 2022-01-11 图像处理方法、装置、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN114549409A (zh)

Similar Documents

Publication Publication Date Title
CN110232369B (zh) 一种人脸识别方法和电子设备
CN112950581B (zh) 质量评估方法、装置和电子设备
CN108337505B (zh) 信息获取方法和装置
CN111193965B (zh) 一种视频播放方法、视频处理方法及装置
CN110660102B (zh) 基于人工智能的说话人识别方法及装置、系统
CN110991231B (zh) 活体检测方法、装置、服务器和人脸识别设备
CN111027450A (zh) 银行卡信息识别方法、装置、计算机设备及存储介质
CN110414335A (zh) 视频识别方法、装置及计算机可读存储介质
CN111680546A (zh) 注意力检测方法、装置、电子设备及存储介质
CN113139915A (zh) 人像修复模型的训练方法和装置、电子设备
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
CN113888431A (zh) 图像修复模型的训练方法、装置、计算机设备及存储介质
CN111339884A (zh) 图像识别方法以及相关设备、装置
CN112328822A (zh) 图片预标注方法、装置及终端设备
CN111435445A (zh) 字符识别模型的训练方法及装置、字符识别方法及装置
CN111553431A (zh) 图片清晰度检测方法、装置、计算机设备及存储介质
CN112183594B (zh) 票据图像的处理方法和装置、存储介质及电子设备
CN112036342B (zh) 单证抓拍方法、设备及计算机存储介质
CN111179245B (zh) 图像质量检测方法、装置、电子设备和存储介质
CN113012030A (zh) 图像拼接方法、装置及设备
CN114549409A (zh) 图像处理方法、装置、存储介质及计算机设备
CN111935480B (zh) 一种用于图像获取装置的检测方法及相关装置
CN112581001B (zh) 设备的评估方法及装置、电子设备、可读存储介质
CN113870210A (zh) 一种图像质量评估方法、装置、设备及存储介质
CN111259703B (zh) 人脸倾斜角度检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination