CN108664839A - 一种图像处理方法和设备 - Google Patents

一种图像处理方法和设备 Download PDF

Info

Publication number
CN108664839A
CN108664839A CN201710187197.8A CN201710187197A CN108664839A CN 108664839 A CN108664839 A CN 108664839A CN 201710187197 A CN201710187197 A CN 201710187197A CN 108664839 A CN108664839 A CN 108664839A
Authority
CN
China
Prior art keywords
image
face
recognition
classification
image quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710187197.8A
Other languages
English (en)
Other versions
CN108664839B (zh
Inventor
安耀祖
韩在濬
张超
徐静涛
单言虎
冯昊
崔昌圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201710187197.8A priority Critical patent/CN108664839B/zh
Priority to KR1020170182979A priority patent/KR102578209B1/ko
Priority to US15/922,237 priority patent/US10902244B2/en
Publication of CN108664839A publication Critical patent/CN108664839A/zh
Application granted granted Critical
Publication of CN108664839B publication Critical patent/CN108664839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本申请公开了一种图像处理方法包括：对待处理图像进行人脸检测后，利用多个图像类别分别对应的低质量人脸图像回归模型，对所述人脸检测的结果图像进行图像质量评估，确定图像质量等级。应用本申请，能够有效提高图像质量评估的准确性。

Description

一种图像处理方法和设备
技术领域
本申请涉及图像处理技术，特别是一种图像处理方法和设备。
背景技术
在非受控条件下，如光照、相机抖动和被拍摄主体运动等，日常采集的图像和视频存在的大量低质量图像，如强背光图像，低光照图像和模糊图像等，对当前人脸识别和活体检测造成了极大的阻碍，成为影响人脸识别和活体检测效果的难点。为解决这一问题，对图像进行预处理是提高人脸检测和识别效果的常用方法。预处理就是对输入图像进行优化，从而尽可能去除或者减小光照、成像系统、外部环境等对待处理图像的干扰，提高后续处理质量。
在人脸检测识别技术中，现有的图像预处理方法主要是针对不同图像类别的低质量图像进行处理，一般是在假设已知光照模型或者模糊模型基础上进行预处理，例如，对于不同光照条件下采集的图像，如背光图像，低光照图像等，一般进行全局统一的归一化处理，如直方图均衡化、灰度拉伸和滤波等；对于模糊图像进行去模糊处理等。目前，对于背光图像，通常的检测方法为：将输入图像进行分块计算亮度，再根据小块之间的亮度对比关系确定前景背景的亮度；对于模糊图像，通常的检测方法为：将输入图像的边缘图像进行分块计算锐化度或模糊度，从而研究整体图像的模糊程度。
要改进现有人脸识别和活体检测算法的效果，对输入图像进行整体的预处理是一种重要的方法。然而，对已有人脸识别和活体检测方法而言，依然是基于相同正常条件下的图像，一般没有考虑低质量图像，人脸识别和活体检测在自然条件下采集的低质量图像上的效果较差，存在严重的错识错检问题。同时，已有的方法中，人脸识别算法使用的数据库一般具有相似或相近的光照条件，能达到令人满意的检测效果。但是在遇到一些与数据库中的图像差异比较大的图像,尤其是脸部区域差异较大时，其识别检测效果将大打折扣。图1a、图1b和图1c展示了这一问题，人脸识别和活体检测不能识别和检测低质量图像上的真实人脸：图1a给出了背光图像样例；图1b给出了低光照图像样例；图1c给出了模糊图像样例。
发明内容
本申请提供一种图像处理方法，能够在活体检测和人脸识别中，有效实现图像质量的评估。
为实现上述目的，本申请采用如下技术方案：
一种图像处理方法，包括：
对待处理图像进行人脸检测后，利用多个图像类别分别对应的人脸图像回归模型，对所述人脸检测的结果图像进行图像质量评估，确定图像质量等级。
较佳地，每个图像类别对应的人脸图像回归模型是预先对相应图像类别的包括人脸的训练图像进行CNN回归训练得到的，或者，每个图像类别对应的人脸图像回归模型是预先对相应图像类别的包括人脸的训练图像和高质量的包括人脸的训练图像进行CNN回归训练得到的。
较佳地，在确定所述图像质量等级后，该方法还包括：根据所述图像质量等级，确定进行活体检测和/或人脸识别时使用的阈值，用于对所述人脸检测的结果图像进行的活体检测和/或人脸识别。
较佳地，预先训练每个图像类别对应的人脸图像回归模型的方式包括：对于每个训练图像，预先利用所述训练图像进行人脸检测和人脸识别，分别得到人脸检测结果图像和人脸识别概率分数；根据所述人脸检测结果图像和所述人脸识别概率分数，进行CNN回归训练，得到相应图像类别对应的人脸图像回归模型。
较佳地，所述进行CNN回归训练包括：对于不同图像类别的训练图像，采用相同的CNN结构、卷积层参数和池化层参数进行CNN回归训练。
较佳地，所述确定图像质量等级包括：利用每个图像类别对应的人脸图像回归模型，对所述人脸检测的结果图像进行图像质量评估，得到每个图像类别对应的评估分数，再利用所有图像类别对应的评估分数确定所述图像质量等级。
较佳地，利用所有图像类别对应的评估分数确定所述图像质量等级包括：
利用所有图像类别对应的评估分数进行加权平均，将加权平均结果作为所述图像质量等级；或者，若任一图像类别对应的评估分数低于设定的回归模型阈值T，则将所述任一图像类别对应的评估分数作为所述图像质量等级，并结束比较过程。
较佳地，所述确定进行活体检测和/或人脸识别时使用的阈值包括：
预先设定图像质量等级与活体检测或人脸识别时使用的阈值之间的对应关系；
根据所述对应关系，计算确定的图像质量等级对应的活体检测和/或人脸识别时使用的阈值。
较佳地，所述图像类别包括：低光照类别、背光类别和/或模糊类别。
一种图像处理设备，包括：人脸检测模块和图像质量评估模块；
所述人脸检测模块，用于对待处理图像进行人脸检测后，将人脸检测的结果图像输出给所述图像质量评估模块；
所述图像质量评估模块，用于利用多个图像类别分别对应的人脸图像回归模型，对所述人脸检测的结果图像进行图像质量评估，确定图像质量等级。
较佳地，该设备还包括阈值确定模块，用于根据所述图像质量等级，确定进行活体检测和/或人脸识别时使用的阈值，用于对所述人脸检测的结果图像进行的活体检测和/或人脸识别。
由上述技术方案可见，本申请中，对待处理图像进行人脸检测后，利用多个图像类别分别对应的人脸图像回归模型，对人脸检测的结果图像进行图像质量评估，确定图像质量等级。通过上述方式，利用人脸图像回归模型，能够实现对低质量图像的有效质量评估。
另外，进一步地，还可以根据确定出的图像质量等级，确定进行人脸识别和/或活体检测时使用的阈值，利用相应阈值对人脸检测的结果图像进行人脸识别和/或活体检测。这样，可以依据评估结果动态选取活体检测或人脸识别的阈值，从而针对不同质量的图像选用不同的活体检测和/或人脸识别标准，进而提高活体检测和/或人脸识别对于低质量图像的性能。
附图说明
图1a背光图像样例；
图1b为低光照图像样例；
图1c为模糊图像样例；
图2为本申请中图像处理方法的基本流程示意图；
图3为训练人脸图像回归模型的示意图；
图4为CNN回归模型的示意图；
图5为图像质量等级评定的示意图；
图6为确定活体检测阈值的示意图；
图7为确定人脸识别阈值的示意图；
图8为本申请中图像处理设备的基本结构示意图；
图9为训练CNN模型的效果示意图；
图10为测试CNN模型的效果示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
本申请提供一种图像处理方法，通过引入多种不同图像类别的人脸图像模型，能够对人脸图像进行全方位的有效评估，提高图像质量评估的准确性。
进一步地，在现有的活体检测和/或人脸识别方法中，需要将待处理图像进行处理后与预先设定的阈值进行比较，以进行有效的活体检测和/或人脸识别。在现有方法中，活体检测和/或人脸识别中的阈值在一种算法中通常是相对固定的，无论待处理图像质量如何，均需要通过图像预处理将其处理成更高质量的图像后，再与阈值进行比较。当图像质量很差时，如果通过图像预处理无法处理成与设定阈值相匹配的高质量图像，那么在与阈值进行比较后，可能就会导致错检误检以及无法识别的问题。
基于此，本申请中的图像处理方法，在对人脸图像进行有效的质量评估的基础上，还可以依据评估结果动态选取活体检测和/或人脸识别的阈值，使阈值能够适应于待处理图像质量，从而避免由于待处理图像质量过低、阈值要求过高而导致的错检误检以及无法识别的问题，进而提高活体检测和/或人脸识别的性能。
综上，本申请针对上述两个问题，本发明提出了一种新的基于CNN回归的IQA(图像质量评估)图像预处理方。本申请方法可以解决现有方法的技术缺陷，提高图像质量评估的准确性，还能够作为一个有效的人脸图像预处理方法应用到现有的大部分人脸认证方法中，进行结合并提升其性能，同时有较高的计算效率，具有广阔的应用前景。
具体地，在与活体检测和/或人脸识别算法的结合方面，首先，针对低质量人脸图像活体检测时误检率高的问题，本申请提出的图像处理方法，利用基于共享CNN模型参数的低质量人脸图像回归模块，对所有输入人脸图像进行质量等级评估，利用多个低质量图像回归模型的质量评估分数调整活体检测的阈值。
其次，针对低质量人脸图像识别难的问题，本申请提出的图像处理方法，利用基于共享CNN模型参数的低质量人脸图像回归模块，对所有输入人脸图像进行质量等级评估，利用多个低质量图像回归模型的质量评估分数调整人脸识别的阈值。
图2为本申请中图像处理方法的基本流程示意图。如图2所示，该方法包括：
步骤201，预先对每个图像类别的包括人脸的训练图像进行CNN回归训练，得到相应图像类别对应的人脸图像回归模型。
为有效实现图像质量评估，需要预先训练不同图像类别对应的人脸图像回归模型。其中，可以根据实际需要以及图像特性对各种人脸图像进行分类，得到不同的人脸图像的图像类别，例如，人脸图像的图像类别可以包括低光照类别、背光类别和/或模糊类别等，当然，人脸图像的类别不限于此。
对于每一种低质量人脸图像的图像类别，需要利用该类别的包括人脸的训练图像，进行CNN回归训练，得到该图像类别对应的人脸图像回归模型。这里用于训练的包括人脸训练图像通常是标准的该图像类别的低质量人脸图像，例如标准的背光图像等。或者，训练图像还可以包括高质量的包括人脸的训练图像。
本步骤进行回归模型训练的处理可以预先完成并保存，在每次进行活体检测和/或人脸识别时，直接使用保存好的回归模型即可。
步骤202，对待处理图像进行人脸检测后，利用多个图像类别分别对应的人脸图像回归模型，对人脸检测的结果图像进行图像质量评估，确定图像质量等级。
利用步骤201中得到的各种图像类别对应的人脸图像回归模型，对人脸检测的结果图像进行质量评估。其中，人脸检测过程是在待处理图像中选取出人脸部分的处理。通常，本申请更适用于低质量图像的处理，因此，待处理图像通常为低质量的待处理图像。当然，也可以对其他质量的待处理图像进行处理，并不限定一定对低质量待处理图像进行处理。
综合所有图像类别的回归模型对同一人脸检测结果图像的质量评估结果，确定待处理图像的质量等级。这样，可以有效看出待处理图像经过人脸检测后的结果图像在不同图像类别方面的质量水平，并给出一个综合的质量等级。
至此，本申请中最基本的方法流程结束。
在上述基本方法的基础上，还可以与活体检测和/或人脸识别方法结合，则执行以下处理：
步骤203，根据步骤202确定的图像质量等级，确定进行活体检测和/或人脸识别时使用的阈值，用于对人脸检测的结果图像进行活体检测和/或人脸识别。
根据步骤202确定出的图像质量等级，对活体检测和/或人脸识别时使用的阈值进行动态调整，以适应于待处理图像的图像质量，再利用调整后的阈值进行活体检测和/或人脸识别，从而提高活体检测和/或人脸识别性能。
下面，分别就上述图2中各个步骤的具体处理进行详细描述。其中，以人脸图像的图像类别包括背光、低光照和模糊三类为例进行说明。
一、步骤201中的回归模型训练处理
对于每个图像类别(背光、低光照和模糊类别)对应的人脸图像回归模型的训练过程包括：利用每个训练图像进行人脸检测和人脸识别，分别得到人脸检测结果图像和人脸识别概率分数；根据人脸检测结果图像和人脸识别概率分数，进行CNN回归训练，得到相应图像类别对应的人脸图像回归模型。
具体如图3所示，首先，将训练图像进行人脸检测处理，得到人脸检测结果图像，再对该人脸检测结果图像进行特征点检测归一化处理和人脸识别处理，得到人脸识别概率分数；将人脸检测结果图像和与每一幅人脸训练图像对应的人脸识别概率分数用于CNN回归训练，训练出三类低质量人脸图像回归模型，即背光对应的低质量人脸图像回归模型、低光照对应的低质量人脸图像回归模型和模糊对应的低质量人脸图像回归模型。
为提高训练模型的计算效果和节省存储空间，对于各个不同图像类别的回归模型训练，可以采用相同的CNN结构和卷积层及池化层参数。本申请中，用于训练三个图像类别的CNN回归模型可以如图4所示。
具体地讲，CNN人脸图像回归模型的卷积神经网络可以采用多种网络结构。作为示例，如图4中所示，CNN人脸图像回归模型从左至右可包括输入层、7个隐层和输出层。
其中，所述7个隐层从左至右依次为第一层卷积层(又称第一层过滤器层)、第一层池化层、第二层卷积层、第二层池化层、第三层卷积层、第三层池化层、和全连接层。所述CNN人脸图像回归模型可通过利用人脸图像数据库对所有的卷积层、池化层以及全连接层的参数进行训练来获得所有的卷积层、池化层以及全连接层的训练参数。
具体地讲，图4中左起第一个图标(即，长方形)表示输入层，该长方形的高度48和深度48表示输入层是由48×48个神经元组成的矩阵，该矩阵对应于输入图像的48×48个像素点组成的像素点矩阵。图4中左起第二个图标为高度44、深度44和宽度32的长方体，该长方体表示输入图像经过第一层卷积层的卷积后得到的作为第一层卷积结果的32个特征图，其中，作为第一层卷积结果的32个特征图中的每一个特征图包括44×44个像素点。
图4中左起第三个图标为高度22、深度22和宽度32的长方体，该长方体表示作为第一层卷积结果的32个特征图在经过第一层池化层的池化之后所得到的作为第一层池化结果的32个特征图，其中，作为第一层池化结果的32个表征图中的每一个特征图包括22×22个像素点。
此外，第二层卷积层和第三层卷积层中的每一层的卷积过程与上述第一层卷积层的卷积过程类似，并且第二层池化层和第三层池化层中的每一层的池化过程与上述第一层池化层的池化过程类似，因此，这里不再进行重复描述。
此外，图4中左起第八个图标(即，长方形)表示全连接层，全连接层下方的64表示该层包含64个神经元。图中左起第九个(即右起第一个)图标为长方形表示输出层，输出层输出对应回归模型的计算分数。全连接层中每个神经元都独立地与第三层池化层中的各神经元相连接。输出层中每个神经元都独立地与全连接层中的各神经元相连接。
图4中，在训练三个图像类别的人脸图像模型时，CNN回归模型中间6个隐层的参数是共享的，以提高计算效率和节省存储空间，而全连接层的参数根据不同的图像类别是相互区别的。
二、步骤202中的人脸图像质量评估处理
对于待处理图像进行人脸检测后的结果图像，利用三个图像类别对应的人脸图像回归模型计算出人脸检测的结果图像在三个图像类别上的质量评估分数，再利用三个类别上的评估分数，综合评定图像质量等级，如图5所示。
具体地，根据三个图像类别上的评估分数确定图像质量等级的处理可以根据需要设定多种策略。以下给出两个例子：
1、可利用三个图像类别上的质量评估分数的加权平均值作为图像质量等级，例如，图像质量等级＝(低光照类别的质量评估分数+背光类别的质量评估分数+模糊类别的质量评估分数)/3；
2、将各个图像类别对应的评估分数与设定的回归模型阈值T进行比较，若任一图像类别对应的评估分数低于所述回归模型阈值T，则将该任一图像类别对应的评估分数作为图像质量等级，并结束比较过程。可以设定所有图像类别的优先级，按照优先级由高到低的顺序，依次将各个图像类别对应的评估分数与设定的回归模型阈值T进行比较，例如，假定回归模型阈值T为0.5，设定低光照类别的优先级>背光类别的优先级>模糊类别的优先级，基于该优先级设置，先判断低光照类别的质量评估分数，如果低光照类别的质量评估小于T，则取低光照类别的质量评估分数为图像质量等级；如果其分数大于T，则认为该图像类别的计算结果图像为高质量图像，再判断背光类别的质量评估分数，如果背光类别的质量评估分数小于T，则取背光类别的质量评估分数为图像质量等级；如果背光类别的质量评估分数大于T，则认为该类别的计算结果图像为高质量图像，再判断模糊类别的质量评估分数，如果模糊类别的质量评估分数小于T，则取模糊类别的质量评估分数为图像质量等级。
当然，根据不同图像类别的质量评估分数确定图像质量等级的方式不限于上述两种。
三、步骤203中的阈值选择处理
基于步骤202确定出的图像质量等级，确定活体检测和/或人脸识别的阈值。具体地，可以如图6和图7所示，预先设定图像质量等级与活体检测和/或人脸识别时使用的阈值之间的对应关系；查找图像质量等级与阈值的对应关系，计算确定的图像质量等级对应的活体检测和/或人脸识别时使用的阈值。图像质量等级与阈值的对应关系可以如表1所示。
0<图像质量等级<0.3 0.3<图像质量等级<0.6 0.6<图像质量等级<0.1
阈值 0.9 0.7 0.5
表1
利用活体检测算法(例如基于深度卷积神经网络的分类算法，基于支持向量机和局部二值模式算子的分类算法)和/或人脸识别算法(例如，基于深度卷积神经网络的识别算法，结合前述人脸图像质量评估模块处理得出的图像质量等级，动态选取的活体检测和/或人脸识别时使用模块的阈值，进行活体检测和/或人脸识别，以达到针对不同质量图像选用不同标准进行活体检测和/或人脸识别，从而获得更鲁棒的效果。
上述即为本申请中图像处理方法的具体实现。本申请还提供了一种图像处理设备，可以用于实施上述方法。图8为该设备的基本结构示意图。如图8所示，该设备包括：人脸检测模块和图像质量评估模块。
其中，人脸检测模块，用于对待处理图像进行人脸检测后，将人脸检测的结果图像输出给图像质量评估模块。图像质量评估模块，用于利用多个图像类别分别对应的人脸图像回归模型，对人脸检测的结果图像进行图像质量评估，确定图像质量等级。
另外，当该设备用于进行活体检测和/或人脸识别时，还可以进一步包括阈值确定模块，用于根据图像质量等级，确定进行活体检测和/或人脸识别时使用的阈值，用于对人脸检测的结果图像进行的活体检测和/或人脸识别。
申请人在收集的人脸图像库上进行了算法性能的比较。其中，低光照+清晰图像用于训练低光照图像回归模型，背光+清晰图像用于训练背光图像回归模型，模糊+清晰图像用于训练模糊图像回归模型。其中训练集用于训练CNN模型，测试集用于测试模型效果，测试结果分布如图9和图10所示。由该测试结果可见，本申请中训练模型，其检测结果与实际图像的匹配度较高，因此，利用该模型能够有效提高了图像处理性能。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，包括：
对待处理图像进行人脸检测后，利用多个图像类别分别对应的人脸图像回归模型，对所述人脸检测的结果图像进行图像质量评估，确定图像质量等级。
2.根据权利要求1所述的方法，其特征在于，每个图像类别对应的人脸图像回归模型是预先对相应图像类别的包括人脸的训练图像进行CNN回归训练得到的，或者，每个图像类别对应的人脸图像回归模型是预先对相应图像类别的包括人脸的训练图像和高质量的包括人脸的训练图像进行CNN回归训练得到的。
3.根据权利要求1或2所述的方法，其特征在于，在确定所述图像质量等级后，该方法还包括：根据所述图像质量等级，确定进行活体检测和/或人脸识别时使用的阈值，用于对所述人脸检测的结果图像进行的活体检测和/或人脸识别。
4.根据权利要求2所述的方法，其特征在于，预先训练每个图像类别对应的人脸图像回归模型的方式包括：对于每个训练图像，预先利用所述训练图像进行人脸检测和人脸识别，分别得到人脸检测结果图像和人脸识别概率分数；根据所述人脸检测结果图像和所述人脸识别概率分数，进行CNN回归训练，得到相应图像类别对应的人脸图像回归模型。
5.根据权利要求2所述的方法，其特征在于，所述进行CNN回归训练包括：对于不同图像类别的训练图像，采用相同的CNN结构、卷积层参数和池化层参数进行CNN回归训练。
6.根据权利要求1、2或3所述的方法，其特征在于，所述确定图像质量等级包括：利用每个图像类别对应的人脸图像回归模型，对所述人脸检测的结果图像进行图像质量评估，得到每个图像类别对应的评估分数，再利用所有图像类别对应的评估分数确定所述图像质量等级。
7.根据权利要求6所述的方法，其特征在于，利用所有图像类别对应的评估分数确定所述图像质量等级包括：
利用所有图像类别对应的评估分数进行加权平均，将加权平均结果作为所述图像质量等级；或者，若任一图像类别对应的评估分数低于设定的回归模型阈值T，则将所述任一图像类别对应的评估分数作为所述图像质量等级，并结束比较过程。
8.根据权利要求3所述的方法，其特征在于，所述确定进行活体检测和/或人脸识别时使用的阈值包括：
预先设定图像质量等级与活体检测或人脸识别时使用的阈值之间的对应关系；
根据所述对应关系，计算确定的图像质量等级对应的活体检测和/或人脸识别时使用的阈值。
9.根据权利要求1到8中任一所述的方法，其特征在于，所述图像类别包括：低光照类别、背光类别和/或模糊类别。
10.一种图像处理设备，其特征在于，包括：人脸检测模块和图像质量评估模块；
所述人脸检测模块，用于对待处理图像进行人脸检测后，将人脸检测的结果图像输出给所述图像质量评估模块；
所述图像质量评估模块，用于利用多个图像类别分别对应的人脸图像回归模型，对所述人脸检测的结果图像进行图像质量评估，确定图像质量等级。
11.根据权利要求10所述的图像处理设备，其特征在于，该设备还包括阈值确定模块，用于根据所述图像质量等级，确定进行活体检测和/或人脸识别时使用的阈值，用于对所述人脸检测的结果图像进行的活体检测和/或人脸识别。
CN201710187197.8A 2017-03-27 2017-03-27 一种图像处理方法和设备 Active CN108664839B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710187197.8A CN108664839B (zh) 2017-03-27 2017-03-27 一种图像处理方法和设备
KR1020170182979A KR102578209B1 (ko) 2017-03-27 2017-12-28 영상 처리 방법과 장치
US15/922,237 US10902244B2 (en) 2017-03-27 2018-03-15 Apparatus and method for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710187197.8A CN108664839B (zh) 2017-03-27 2017-03-27 一种图像处理方法和设备

Publications (2)

Publication Number Publication Date
CN108664839A true CN108664839A (zh) 2018-10-16
CN108664839B CN108664839B (zh) 2024-01-12

Family

ID=63785490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710187197.8A Active CN108664839B (zh) 2017-03-27 2017-03-27 一种图像处理方法和设备

Country Status (2)

Country Link
KR (1) KR102578209B1 (zh)
CN (1) CN108664839B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784230A (zh) * 2018-12-29 2019-05-21 中国科学院重庆绿色智能技术研究院 一种人脸视频图像质量寻优方法、系统及设备
CN111160299A (zh) * 2019-12-31 2020-05-15 上海依图网络科技有限公司 活体识别方法及装置
WO2020133072A1 (en) * 2018-12-27 2020-07-02 Zhejiang Dahua Technology Co., Ltd. Systems and methods for target region evaluation and feature point evaluation
CN112561813A (zh) * 2020-12-10 2021-03-26 深圳云天励飞技术股份有限公司 人脸图像增强方法、装置、电子设备及存储介质
CN114373218A (zh) * 2022-03-21 2022-04-19 北京万里红科技有限公司 一种用于检测活体对象的卷积网络的生成方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210399B (zh) * 2018-11-22 2023-10-17 杭州海康威视数字技术股份有限公司 一种成像质量评价方法、装置及设备
CN113591767A (zh) * 2021-08-09 2021-11-02 浙江大华技术股份有限公司 图像识别评估值的确定方法及装置、存储介质、电子装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274361A1 (en) * 2010-05-10 2011-11-10 Board Of Regents, The University Of Texas System Determining quality of an image or video using a distortion classifier
CN102799877A (zh) * 2012-09-11 2012-11-28 上海中原电子技术工程有限公司 人脸图像筛选方法及系统
CN102800111A (zh) * 2012-07-19 2012-11-28 北京理工大学 基于颜色协调性的彩色融合图像颜色质量评价方法
CN103475897A (zh) * 2013-09-09 2013-12-25 宁波大学 一种基于失真类型判断的自适应图像质量评价方法
US20140092419A1 (en) * 2012-09-28 2014-04-03 Fujifilm Corporation Image evaluation device, image evaluation method and program storage medium
JP2014069499A (ja) * 2012-09-28 2014-04-21 Fujifilm Corp 画像評価装置、画像評価方法、画像評価システム、及びプログラム
US20150169575A1 (en) * 2013-02-05 2015-06-18 Google Inc. Scoring images related to entities
CN104778446A (zh) * 2015-03-19 2015-07-15 南京邮电大学 一种图像质量评价与人脸识别效率关系模型的构建方法
US20150363634A1 (en) * 2014-06-17 2015-12-17 Beijing Kuangshi Technology Co.,Ltd. Face Hallucination Using Convolutional Neural Networks
CN105894047A (zh) * 2016-06-28 2016-08-24 深圳市唯特视科技有限公司 一种基于三维数据的人脸分类系统
CN106331492A (zh) * 2016-08-29 2017-01-11 广东欧珀移动通信有限公司 一种图像处理方法及终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589351B2 (en) * 2014-09-10 2017-03-07 VISAGE The Global Pet Recognition Company Inc. System and method for pet face detection

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274361A1 (en) * 2010-05-10 2011-11-10 Board Of Regents, The University Of Texas System Determining quality of an image or video using a distortion classifier
CN102800111A (zh) * 2012-07-19 2012-11-28 北京理工大学 基于颜色协调性的彩色融合图像颜色质量评价方法
CN102799877A (zh) * 2012-09-11 2012-11-28 上海中原电子技术工程有限公司 人脸图像筛选方法及系统
US20140092419A1 (en) * 2012-09-28 2014-04-03 Fujifilm Corporation Image evaluation device, image evaluation method and program storage medium
JP2014069499A (ja) * 2012-09-28 2014-04-21 Fujifilm Corp 画像評価装置、画像評価方法、画像評価システム、及びプログラム
US20150169575A1 (en) * 2013-02-05 2015-06-18 Google Inc. Scoring images related to entities
CN103475897A (zh) * 2013-09-09 2013-12-25 宁波大学 一种基于失真类型判断的自适应图像质量评价方法
US20150363634A1 (en) * 2014-06-17 2015-12-17 Beijing Kuangshi Technology Co.,Ltd. Face Hallucination Using Convolutional Neural Networks
CN104778446A (zh) * 2015-03-19 2015-07-15 南京邮电大学 一种图像质量评价与人脸识别效率关系模型的构建方法
CN105894047A (zh) * 2016-06-28 2016-08-24 深圳市唯特视科技有限公司 一种基于三维数据的人脸分类系统
CN106331492A (zh) * 2016-08-29 2017-01-11 广东欧珀移动通信有限公司 一种图像处理方法及终端

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
SHIH-MING HUANG 等: "Linear Discriminant Regression Classification for Face Recognition", 《 IEEE SIGNAL PROCESSING LETTERS 》 *
SHIH-MING HUANG 等: "Linear Discriminant Regression Classification for Face Recognition", 《 IEEE SIGNAL PROCESSING LETTERS 》, vol. 20, no. 1, 3 December 2012 (2012-12-03), pages 91 - 94, XP011475412, DOI: 10.1109/LSP.2012.2230257 *
尹渺源: "人脸图像的光照和清晰度质量无参考评价及应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
尹渺源: "人脸图像的光照和清晰度质量无参考评价及应用", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2016, 15 June 2016 (2016-06-15), pages 138 - 1288 *
高修峰: "人脸图像质量评估标准方法研究", 《中国博士论文全文数据库信息科技辑》 *
高修峰: "人脸图像质量评估标准方法研究", 《中国博士论文全文数据库信息科技辑》, no. 2009, 15 June 2009 (2009-06-15), pages 138 - 29 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020133072A1 (en) * 2018-12-27 2020-07-02 Zhejiang Dahua Technology Co., Ltd. Systems and methods for target region evaluation and feature point evaluation
CN113302619B (zh) * 2018-12-27 2023-11-14 浙江大华技术股份有限公司 目标区域评估和特征点评估的系统和方法
US12026600B2 (en) 2018-12-27 2024-07-02 Zhejiang Dahua Technology Co., Ltd. Systems and methods for target region evaluation and feature point evaluation
CN109784230A (zh) * 2018-12-29 2019-05-21 中国科学院重庆绿色智能技术研究院 一种人脸视频图像质量寻优方法、系统及设备
CN111160299A (zh) * 2019-12-31 2020-05-15 上海依图网络科技有限公司 活体识别方法及装置
CN112561813A (zh) * 2020-12-10 2021-03-26 深圳云天励飞技术股份有限公司 人脸图像增强方法、装置、电子设备及存储介质
CN112561813B (zh) * 2020-12-10 2024-03-26 深圳云天励飞技术股份有限公司 人脸图像增强方法、装置、电子设备及存储介质
CN114373218A (zh) * 2022-03-21 2022-04-19 北京万里红科技有限公司 一种用于检测活体对象的卷积网络的生成方法
CN114373218B (zh) * 2022-03-21 2022-06-14 北京万里红科技有限公司 一种用于检测活体对象的卷积网络的生成方法

Also Published As

Publication number Publication date
KR20180109658A (ko) 2018-10-08
CN108664839B (zh) 2024-01-12
KR102578209B1 (ko) 2023-09-12

Similar Documents

Publication Publication Date Title
CN108664839A (zh) 一种图像处理方法和设备
CN111723860B (zh) 一种目标检测方法及装置
CN106169081B (zh) 一种基于不同照度的图像分类及处理方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN106897673B (zh) 一种基于retinex算法和卷积神经网络的行人再识别方法
CN110414362A (zh) 基于生成式对抗网络的电力图像数据增广方法
CN101999900B (zh) 一种应用于人脸识别的活体检测方法及系统
CN105427275B (zh) 大田环境麦穗计数方法及装置
CN109584251A (zh) 一种基于单目标区域分割的舌体图像分割方法
CN111507426B (zh) 基于视觉融合特征的无参考图像质量分级评价方法及装置
CN110516728B (zh) 基于去噪卷积神经网络的极化sar地物分类方法
CN109902715A (zh) 一种基于上下文聚合网络的红外弱小目标检测方法
CN108241821A (zh) 图像处理设备和方法
CN115131325A (zh) 一种基于图像识别分析的断路器故障运维监测方法及系统
CN105046202B (zh) 自适应的人脸识别光照处理方法
CN110363218B (zh) 一种胚胎无创评估方法及装置
CN114926407A (zh) 一种基于深度学习的钢材表面缺陷检测系统
CN111783693A (zh) 果蔬采摘机器人的智能识别方法
CN108334870A (zh) Ar设备数据服务器状态的远程监控系统
CN113643229A (zh) 图像构图质量评估方法及装置
CN108446639A (zh) 低功耗增强现实设备
CN114972711B (zh) 一种基于语义信息候选框的改进弱监督目标检测方法
CN112115824B (zh) 果蔬检测方法、装置、电子设备以及计算机可读介质
CN107341456B (zh) 一种基于单幅户外彩色图像的天气晴阴分类方法
CN110110665A (zh) 一种驾驶环境下手部区域的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant