CN112991159B - 人脸光照质量评估方法、系统、服务器与计算机可读介质 - Google Patents

人脸光照质量评估方法、系统、服务器与计算机可读介质 Download PDF

Info

Publication number
CN112991159B
CN112991159B CN202110469734.4A CN202110469734A CN112991159B CN 112991159 B CN112991159 B CN 112991159B CN 202110469734 A CN202110469734 A CN 202110469734A CN 112991159 B CN112991159 B CN 112991159B
Authority
CN
China
Prior art keywords
face
image
key points
face image
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110469734.4A
Other languages
English (en)
Other versions
CN112991159A (zh
Inventor
杨帆
郝强
潘鑫淼
胡建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaoshi Technology Jiangsu Co ltd
Original Assignee
Nanjing Zhenshi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhenshi Intelligent Technology Co Ltd filed Critical Nanjing Zhenshi Intelligent Technology Co Ltd
Priority to CN202110772015.XA priority Critical patent/CN113362221A/zh
Priority to CN202110469734.4A priority patent/CN112991159B/zh
Publication of CN112991159A publication Critical patent/CN112991159A/zh
Application granted granted Critical
Publication of CN112991159B publication Critical patent/CN112991159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸光照质量评估方法、系统、服务器与计算机可读介质，其过程包括：获取输入的原始图像；检测人脸关键点；裁剪得到第一人脸图像；将人脸关键点进行坐标修正，匹配到第一人脸图像；去除背景，获得第二人脸图像；基于第二人脸图像，计算人脸光照亮度；将第一人脸图像仿射变换到标准姿态，得到第三人脸图像；基于第三人脸图像，计算人脸全局光照均匀度；以及基于人脸全局光照均匀度以及人脸光照亮度，获得人脸的光照质量评估结果。本发明通过面部区域裁剪、仿射变换的方法，有效地排除了非面部区域干扰，平衡了左右脸的占比，提升人脸图像光照质量评估的准确性，能够准确反应图像的真实亮度情况。

Description

人脸光照质量评估方法、系统、服务器与计算机可读介质
技术领域
本发明涉及计算机视觉技术领域，尤其是人脸图像，具体而言涉及一种基于局部仿射变换的人脸光照质量评估方法。
背景技术
人脸图像的质量在很大程度上影响了人脸识别模型的训练以及实时人脸识别的准确性，人脸图像的质量通常体现在人脸光照质量上，表征人脸位置的光照质量优劣。现有的人脸光照质量评估算法首先检测人脸位置，根据矩形检测框截取人脸区域，来计算光照质量，采用这样的方式进行评估的过程中，所截取的矩形人脸区域中会包含头发背景等干扰信息，这些干扰信息的颜色和亮度与脸部差别较大，在计算脸部光照亮度时会产生比较大的干扰。
同时，在计算光照均匀度时，会比较图像左右部分的差异，在侧脸的情况下，人脸左右部分在图像中的占比差别较大，使得光照均匀度计算不准确。
发明内容
本发明目的在于提供一种基于局部仿射变换的人脸光照质量评估方法与系统，根据人脸关键点裁剪出面部区域，利用局部仿射变换将不同姿态的人脸矫正到标准形态，从而更加准确地计算人脸光照的亮度和均匀度以及综合光照质量。
根据本发明的第一方面提出一种基于局部仿射变换的人脸光照质量评估方法，包括：
获取输入的原始图像；
检测所述原始图像中的人脸关键点；
根据所述原始图像中的人脸关键点，裁剪得到第一人脸图像；
将原始图像中的人脸关键点进行坐标修正，匹配到第一人脸图像，得到修正的人脸关键点；
基于第一人脸图像，去除背景，获得第二人脸图像；
基于第二人脸图像，计算人脸光照亮度；
根据基于左右对称的标准正脸的标准正脸剖分处理以及修正的人脸关键点，将第一人脸图像仿射变换到标准姿态，得到第三人脸图像；
基于第三人脸图像，计算人脸全局光照均匀度；以及
基于所述人脸全局光照均匀度以及所述人脸光照亮度，获得人脸光照质量评估结果。
优选地，所述根据所述原始图像中的人脸关键点，裁剪得到第一人脸图像，包括：
根据原始图像中的人脸关键点的坐标确定人脸边界框；
对人脸边界框中的区域进行裁剪，缩放到L*L像素大小并灰度化，获得第一人脸图像。
优选地，所述基于第一人脸图像，去除背景，获得第二人脸图像，包括：
获取修正的人脸关键点的凸包M，即为人脸区域的掩模，其中M为L*L像素大小的二值图像，人脸区域的像素值为1，其他区域的像素值为0；以及
根据所述人脸区域的掩模以及人脸关键点的修正，得到具有人脸区域的第二人脸图像。
优选地，所述基于第二人脸图像，计算人脸光照亮度，包括：
采用人脸区域的平均像素值并归一化来表示平均光照亮度，获得排除非人脸区域的人脸光照亮度。
优选地，所述基于左右对称的标准正脸的标准正脸剖分处理，包括：
采用左右对称的正脸图像，检测所述正脸图像中的人脸关键点，并据此裁剪出正脸图像的人脸图像；
将所述正脸图像中的人脸关键点修正到正脸图像的人脸图像中，获得修正后的人脸关键点；
采用三角剖分算法将修正后的人脸关键点划分为K个三角形子区域，划分后每个子区域的三个顶点组成一个集合。
优选地，所述将第一人脸图像仿射变换到标准姿态，得到第三人脸图像，包括：
对第一人脸图像的修正的人脸关键点采用三角剖分算法进行三角剖分，划分为K个三角形子区域；
依次将第一人脸图像的修正的人脸关键点的子区域仿射变换为正脸图像的修正后的人脸关键点的子区域的形状，得到仿射变换后的子区域图像；以及
将仿射变换后的子区域图像按照正脸图像的修正后的人脸关键点的子区域的三个顶点坐标重新拼接，获得第三人脸图像。
优选地，所述基于第三人脸图像，计算人脸全局光照均匀度，包括：
将第三人脸图像平均分成左右两部分，即左脸部分和右脸部分，每个部分各包含半张脸；
左脸部分记作第一图像，右脸部分水平翻转记作第二图像；
采用滑动窗口从第一图像和第二图像左上角到右下角逐像素移动；
以每次滑动窗口区域内的平均像素值为基础，计算滑动窗口的局部光照均匀度；以及
采用加权求和的方式计算人脸全局光照均匀度。
优选地，所述基于人脸全局光照均匀度以及人脸光照亮度，获得人脸的光照质量评估结果，包括：
将人脸全局光照均匀度以及人脸光照亮度相结合，采用乘积的方式，得到人脸的光照质量评估结果。
根据本发明的第二方面还提出一种计算机系统，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括如前述基于局部仿射变换的人脸光照质量评估方法的流程。
根据本发明的第三方面还提出一种存储软件的计算机可读介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括如前述基于局部仿射变换的人脸光照质量评估方法的流程。
根据本发明的第四方面还提出一种基于局部仿射变换的人脸光照质量评估装置，包括：
用于获取输入的原始图像的模块；
用于检测所述原始图像中的人脸关键点的模块；
用于根据所述原始图像中的人脸关键点，裁剪得到第一人脸图像的模块；
用于将原始图像中的人脸关键点进行坐标修正，匹配到第一人脸图像，得到修正的人脸关键点的模块；
用于基于第一人脸图像，去除背景，获得第二人脸图像的模块；
用于基于第二人脸图像，计算人脸光照亮度的模块；
用于根据基于左右对称的标准正脸的标准正脸剖分处理以及修正的人脸关键点，将第一人脸图像仿射变换到标准姿态，得到第三人脸图像的模块；
用于基于第三人脸图像，计算人脸全局光照均匀度的模块；以及
用于基于所述人脸全局光照均匀度以及所述人脸光照亮度，获得人脸光照质量评估结果的模块。
根据本发明的第五方面一种服务器，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括前述的基于局部仿射变换的人脸光照质量评估方法的流程。
本发明的基于局部仿射变换的人脸光照质量评估方法，通过面部区域裁剪、仿射变换的方法，有效地排除了非面部区域干扰，平衡了左右脸的占比，提升人脸图像光照质量评估的准确性，能够准确反应图像的真实亮度情况。
结合以上本发明的方案，使用人脸关键点的凸包截取人脸区域计算光照亮度值，排除了背景干扰；同时使用仿射变换将人脸校正到标准姿态，克服了侧脸情况下光照均匀度评估不准确的问题，从而更加准确地计算人脸光照的亮度和均匀度以及综合光照质量。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
附图说明
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图并不一定都是按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1是根据本发明第一实施例的基于局部仿射变换的人脸光照质量评估方法的流程示意图。
图2是根据本发明第一实施例的示例性实施例的测试原图。
图3是根据本发明第一实施例的使用人脸关键点裁剪得到的第一人脸图像的示例。
图4是根据本发明第一实施例的去除背景后得到的第二人脸图像的示例。
图5是根据本发明第一实施例的将人脸校正到标准姿态得到的第三人脸图像的示例。
图6是根据本发明第一实施例的人脸识别系统的示意图。
图7是根据本发明第一实施例的人脸识别系统的人脸特征预登记入库流程示意图。
图8是根据本发明第一实施例的人脸识别系统的的人脸识别处理流程图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
结合图1所示的本发明第一实施例的基于局部仿射变换的人脸光照质量评估方法，其实现包括：
S101：获取输入的原始图像；
S102：检测所述原始图像中的人脸关键点；
S103：根据所述原始图像中的人脸关键点，裁剪得到第一人脸图像；
S104：将原始图像中的人脸关键点进行坐标修正，匹配到第一人脸图像，得到修正的人脸关键点；
S105：基于第一人脸图像，去除背景，获得第二人脸图像；
S106：基于第二人脸图像，计算人脸光照亮度；
S107：根据基于左右对称的标准正脸的标准正脸剖分处理以及修正的人脸关键点，将第一人脸图像仿射变换到标准姿态，得到第三人脸图像；
S108：基于第三人脸图像，计算人脸全局光照均匀度；以及
S109：基于人脸全局光照均匀度以及人脸光照亮度，获得人脸的光照质量评估结果。
如此，在根据人脸检测的结果评估人脸的光照质量时，通过人脸位置的光照强度与光照均匀度综合评估人脸的光照质量，在排除背景干扰的同时，还可以克服侧脸情况下光照均匀度评估不准确的问题。
优选地，所述根据所述原始图像中的人脸关键点，裁剪得到第一人脸图像，包括：
根据原始图像中的人脸关键点的坐标确定人脸边界框；
对人脸边界框中的区域进行裁剪，缩放到L*L像素大小并灰度化，获得第一人脸图像。
优选地，所述基于第一人脸图像，去除背景，获得第二人脸图像，包括：
获取修正的人脸关键点的凸包M，即为人脸区域的掩模，其中M为L*L像素大小的二值图像，人脸区域的像素值为1，其他区域的像素值为0；以及
根据所述人脸区域的掩模以及人脸关键点的修正，得到具有人脸区域的第二人脸图像。
优选地，所述基于第二人脸图像，计算人脸光照亮度，包括：
采用人脸区域的平均像素值并归一化来表示平均光照亮度，获得排除非人脸区域的人脸光照亮度。
优选地，所述基于左右对称的标准正脸的标准正脸剖分处理，包括：
采用左右对称的标准的正脸图像，检测所述正脸图像中的人脸关键点，并据此裁剪出正脸图像的人脸图像；
将所述正脸图像中的人脸关键点修正到正脸图像的人脸图像中，获得修正后的人脸关键点；
采用三角剖分算法将修正后的人脸关键点划分为K个三角形子区域，划分后每个子区域的三个顶点组成一个集合。
优选地，所述将第一人脸图像仿射变换到标准姿态，得到第三人脸图像，包括：
对第一人脸图像的修正的人脸关键点采用三角剖分算法进行三角剖分，划分为K个三角形子区域；
依次将第一人脸图像的修正的人脸关键点的子区域仿射变换为正脸图像的修正后的人脸关键点的子区域的形状，得到仿射变换后的子区域图像；以及
将仿射变换后的子区域图像按照正脸图像的修正后的人脸关键点的子区域的三个顶点坐标重新拼接，获得第三人脸图像。
优选地，所述基于第三人脸图像，计算人脸全局光照均匀度，包括：
将第三人脸图像平均分成左右两部分，即左脸部分和右脸部分，每个部分各包含半张脸；
左脸部分记作第一图像，右脸部分水平翻转记作第二图像；
采用滑动窗口从第一图像和第二图像左上角到右下角逐像素移动；
以每次滑动窗口区域内的平均像素值为基础，计算滑动窗口的局部光照均匀度；以及
采用加权求和的方式计算人脸全局光照均匀度。
优选地，所述基于人脸全局光照均匀度以及人脸光照亮度，获得人脸的光照质量评估结果，包括：
将人脸全局光照均匀度以及人脸光照亮度相结合，采用乘积的方式，得到人脸的光照质量评估结果。
下面，我们将结合附图所示，更加具体地描述前述方法的示例性实现。
人脸关键点检测
对于从前端或者服务器获得的原始图像，或者从视频中通过帧提取的原始图像，作为输入，通过人脸关键点检测模型进行关键点检测输出。人脸关键点通常包含了人脸的脸部轮廓及五官的位置信息。
在本示例中，使用预先训练好的人脸关键点检测模型（如Dlib工具）检测输入图像
Figure DEST_PATH_IMAGE002
的N个人脸关键点，表示为；
Figure DEST_PATH_IMAGE003
其中，
Figure DEST_PATH_IMAGE005
为第n个人脸关键点坐标，n=0,1,...,N -1。
数据预处理
在数据预处理的步骤处理中，包括对原始图像的裁剪，获得第一人脸图像I，以及将原始图像对应的人脸关键点进行坐标修正，从而匹配到第一人脸图像I，并获得修正后的人脸关键点。
作为示例，对原始图像进行裁剪得到第一人脸图像I的过程包括：
根据原始图像中的人脸关键点的坐标确定人脸边界框；
对人脸边界框中的区域进行裁剪，缩放到大小并灰度化，获得第一人脸图像。
例如，根据人脸关键点的最高、最低、最左、最右点确定人脸边界框，边界框左上角坐标为
Figure DEST_PATH_IMAGE007
，右下角坐标为
Figure DEST_PATH_IMAGE009
，剪出人脸边界框中的区域，放缩至预设的L*L像素大小并灰度化，得到图像I。可选地，前述的像素大小可选为64*64。
再将人脸关键点进行坐标修正，从而匹配图像I。
修正后的关键点记为P，其中
Figure DEST_PATH_IMAGE011
。
其中，
Figure DEST_PATH_IMAGE013
为图像I的第n个人脸关键点的坐标。
作为可选的方式，前述坐标修正的方法包括：
Figure DEST_PATH_IMAGE015
。
由此，得到修正后的第n个人脸关键点的坐标。
根据人脸关键点计算人脸区域，去除背景
作为示例，使用opencv图像处理库中的convexHull方法，计算出关键点P的凸包M，即为人脸区域的掩模。M为L*L像素大小的二值图像，其中人脸区域像素值为1，其他区域像素值为0。
则，获得去除背景后的人脸图像
Figure DEST_PATH_IMAGE017
，记为第二人脸图像；
Figure DEST_PATH_IMAGE019
。
计算人脸区域的光照亮度
作为示例，采用人脸区域的平均像素值并归一化来表示平均光照亮度，则排除非人脸区域的人脸光照亮度
Figure DEST_PATH_IMAGE021
的计算方法为：
Figure DEST_PATH_IMAGE023
其中，
Figure DEST_PATH_IMAGE025
表示第二人脸图像
Figure DEST_PATH_IMAGE026
中第x行第y列的像素值，
Figure DEST_PATH_IMAGE028
表示凸包M中第x行第y列的像素值。
构建标准正脸剖分
获取一张左右对称的标准的正脸图像，按照本发明前述实施例的人脸关键点检测、人脸图像裁剪以及坐标修正，可得到标准的正脸图像的人脸图像
Figure DEST_PATH_IMAGE030
以及修正后的人脸关键点坐标
Figure DEST_PATH_IMAGE032
，即：
对正脸图像进行人脸关键点检测，获得对应的人脸关键点坐标，在此基础上，对正脸图像按照人脸关键点坐标进行裁剪，得到前述的人脸图像
Figure DEST_PATH_IMAGE034
；
并且，将正脸图像的人脸关键点进行坐标修正，匹配到人脸图像
Figure DEST_PATH_IMAGE036
，获得修正后的人脸关键点坐标
Figure DEST_PATH_IMAGE037
。
然后，采用Bowyer-Watson三角剖分算法将所有修正后的人脸关键点坐标
Figure DEST_PATH_IMAGE039
划分为K个三角形子区域，划分后每个子区域的三个顶点组成一个集合
Figure DEST_PATH_IMAGE041
：
Figure DEST_PATH_IMAGE043
其中，一组数据
Figure DEST_PATH_IMAGE045
为标准的正脸图像的人脸图像
Figure DEST_PATH_IMAGE047
中第m个子区域
Figure DEST_PATH_IMAGE049
的三个顶点，m=0,1，…，K-1。
根据关键点将人脸仿射变换到标准姿态
对人脸图像I的关键点P也采用Bowyer-Watson三角剖分算法，划分为K个三角形子区域，记为集合T：
Figure DEST_PATH_IMAGE051
其中，一组数据
Figure DEST_PATH_IMAGE053
表示人脸图像I的第m个子区域
Figure DEST_PATH_IMAGE055
的三个顶点。
最后，采用opencv图像处理库的applyAffineTransform函数依次将子区域
Figure DEST_PATH_IMAGE056
仿射变换为标准正脸子区域
Figure DEST_PATH_IMAGE058
的形状，得到变换后的子区域图像
Figure DEST_PATH_IMAGE059
；
将仿射变换后的各子区域图像
Figure DEST_PATH_IMAGE061
按照子区域
Figure DEST_PATH_IMAGE063
的三个顶点坐标重新拼接，组合得到新的人脸图像
Figure DEST_PATH_IMAGE065
，记为第三人脸图像。
计算人脸全局光照均匀度
将仿射变换后的人脸图像
Figure DEST_PATH_IMAGE067
，平均分成左右两部分，每个部分各包含半张脸。
左脸部分作为图像
Figure DEST_PATH_IMAGE069
，记作第一图像。
将右脸部分水平翻转，得到图像
Figure DEST_PATH_IMAGE071
，记作第二图像。
采用滑动窗口，例如8×8，从第一图像和第二图像左上角到右下角逐像素移动，来计算局部光照均匀度，共移动J次，将第j次滑动窗口的局部光照均匀度记为
Figure DEST_PATH_IMAGE073
，j=0,1,…,J-1。
则有：
Figure DEST_PATH_IMAGE075
其中，
Figure DEST_PATH_IMAGE077
和
Figure DEST_PATH_IMAGE079
分别为第一图像和第二图像在第j次滑动窗口区域
Figure DEST_PATH_IMAGE081
和
Figure DEST_PATH_IMAGE083
的平均像素值。
采用加权求和的方式计算人脸全局光照均匀度
Figure DEST_PATH_IMAGE085
：
Figure DEST_PATH_IMAGE087
其中，
Figure DEST_PATH_IMAGE089
表示权重值，
Figure DEST_PATH_IMAGE090
，
Figure DEST_PATH_IMAGE092
为第j次滑动窗口区域
Figure DEST_PATH_IMAGE093
和
Figure DEST_PATH_IMAGE095
的相关系数。c是一个极小值，防止权重值为0。
Figure DEST_PATH_IMAGE097
其中，
Figure DEST_PATH_IMAGE099
表示第一图像在第j次滑动窗口区域的第x行第y列的像素值；
Figure DEST_PATH_IMAGE101
表示第二图像在第j次滑动窗口区域的第x行第y列的像素值。
综合计算光照质量
作为示例，综合考虑光照强度与均匀度，评估人脸光照质量。
可选地，采用乘积的方式，将亮度与均匀度相结合，计算得到人脸图像的光照质量Q：
Figure DEST_PATH_IMAGE103
其中，
Figure DEST_PATH_IMAGE104
表示前述人脸全局光照均匀度，
Figure DEST_PATH_IMAGE105
表示排除非人脸区域的人脸光照亮度。
人脸图像的光照质量测试
如图2、3、4、5所示，针对所采集的图2测试图中的人脸光照质量。
首先，裁剪出人脸区域，如图3所示。现有技术中的评估方法是直接基于图3计算光照质量。而本发明的前述实施例在图3的基础上，再截取出脸部区域（如图4），排除背景干扰，计算人脸区域的亮度；再将人脸校正到标准姿态（如图5），计算全局光照均匀度。实验结果如下表所示的光照质量评估对比实验结果，从实验结果可以看出，受背景干扰和侧脸影响，即使测试图像光照质量较好，现有方法的评估值也会较低，而本发明能够更加准确反应图像的真实亮度情况。
光照亮度 光照均匀度 光照质量
现有方法 0.56 0.81 0.45
本发明的方法 0.75 0.89 0.67
结合图1以及本发明上述第一实施例的实施过程，本发明还可以被配置成按照以下方式实施。
基于局部仿射变换的人脸光照质量评估装置
根据本发明公开的实施例，还提出一种基于局部仿射变换的人脸光照质量评估装置，包括：
用于获取输入的原始图像的模块；
用于检测所述原始图像中的人脸关键点的模块；
用于根据所述原始图像中的人脸关键点，裁剪得到第一人脸图像的模块；
用于将原始图像中的人脸关键点进行坐标修正，匹配到第一人脸图像，得到修正的人脸关键点的模块；
用于基于第一人脸图像，去除背景，获得第二人脸图像的模块；
用于基于第二人脸图像，计算人脸光照亮度的模块；
用于根据基于左右对称的标准正脸的标准正脸剖分处理以及修正的人脸关键点，将第一人脸图像仿射变换到标准姿态，得到第三人脸图像的模块；
用于基于第三人脸图像，计算人脸全局光照均匀度的模块；以及
用于基于人脸全局光照均匀度以及人脸光照亮度，获得人脸的光照质量评估结果的模块。
服务器
根据本发明公开的实施例，还提出一种服务器，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括前述任意实施例的基于局部仿射变换的人脸光照质量评估方法的流程，尤其是图1所示方法的流程。
计算机系统
根据本发明公开的实施例，还提出一种计算机系统，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括前述任意实施例的基于局部仿射变换的人脸光照质量评估方法的流程，尤其是图1所示方法的流程。
存储软件的计算机可读介质
根据本发明公开的实施例，还提出一种存储软件的计算机可读介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括前述任意实施例的基于局部仿射变换的人脸光照质量评估方法的流程，尤其是图1所示方法的流程。
人脸识别系统
根据本发明公开的前述人脸光照质量评估方法，可用于对人脸特征数据库的数据更新处理。
在人脸识别系统中，以用于门禁的人脸识别系统为例，如图6所示，包括至少一个位于前端的人脸图像采集终端100，以及位于云端的服务器200。服务器200可以采用单个服务器（例如单个刀片式服务器）或者多个服务器（例如多个刀片式服务器）构成的阵列或者组合实现。
人脸图像采集终端100，在一些实施例中，可以是具有数据接口的摄像装置，安装在门禁系统的闸机的入口位置，其镜头朝向拍摄对象，采集人脸图像，通过数据接口传输至云端的服务器200进行人脸识别。优选的实施例中，摄像装置的数据接口为网络通信接口，可接入局域网，或者通过基站节点接入互联网进行图像的传输与通信。
在另外的实施例中，人脸图像采集终端100还可以是集成有摄像装置的智能识别终端，例如具有处理器、存储器、网络通信模块等集成的具有显示屏的终端，例如基于iOS或者Android操作系统的识别PAD，安装在门禁系统的闸机的入口位置，拍摄人脸图像，通过网络通信模块传输到云端的服务器进行人脸识别处理。
在另外的实施例中，如前述的智能终端，还可以在其存储器中部署人脸识别模型，作为本地端的人脸识别模块110在本地端实现离线的人脸识别处理，以应对特殊情况下的人脸识别处理，例如网络中断。
在前述的系统中，服务器200中部署的人脸识别模型通常是具有高鲁棒性、高准确率的大模型，而在智能识别终端中部署的人脸识别模型通常是可实现快速识别的小模型，但准确性相对于大模型来说相对会降低。识别模型的具体应用，可以基于现有的人脸识别算法实现。
在可选的实施例中，在本实施例的人脸图像采集终端100，可设置一人脸光照质量判断模块120，被设置成用于执行图1所示实施例的过程以实现对所采集的人脸图像的光照质量的快速判断。
由此，在预先进行人脸识别数据库（即人脸底库）的特征采集时，如图7所示，对于每个拍摄对象的人脸图像，均进行光照质量的评估，使得满足质量阈值Qm要求的图像作为拍摄对象的入库图像，即满足Q≥Qm，并在此基础上进行人脸特征值得提取，并与拍摄对象的身份信息关联，作为其识别数据进行关联存储。
如图8所示，在闸机端进行人脸图像的采集时，如采用前述的集成摄像装置的智能识别终端进行图像采集，将采集到的图像输入上述人脸光照质量判断模块进行光照质量的快速判断，如果Q＜Qm，则发送至服务器200，利用部署在服务器内的大模型进行人脸识别，以减少光照质量对识别结果的影响，提高识别的准确性，服务器200向前端的智能识别终端反馈识别结果。如果Q≥Qm，则在智能识别终端的本地进行人脸识别输出识别结果，利用高质量的图像进行快速识别，一方面实现快速识别，另一方面可保证识别的准确性。
如图7所示，在Q≥Qm的前提下，针对识别结果对应的拍摄对象（人员）的身份信息，进一步判断人脸识别数据库中所存储的该对象的入库图像的光照质量，如果当前拍摄获得的人脸照片的光照质量Q实时大于入库图像的光照质量Q库，则置Q库=Q实时，即以当前拍摄获得的人脸照片替换入库图像，实现人脸识别数据库的更新。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (11)

1.一种基于局部仿射变换的人脸光照质量评估方法，其特征在于，包括：
获取输入的原始图像；
检测所述原始图像中的人脸关键点；
根据所述原始图像中的人脸关键点，裁剪得到第一人脸图像；
将原始图像中的人脸关键点进行坐标修正，匹配到第一人脸图像，得到修正的人脸关键点；
基于第一人脸图像，去除背景，获得第二人脸图像；
基于第二人脸图像，计算人脸光照亮度；
根据基于左右对称的标准正脸的标准正脸剖分处理以及修正的人脸关键点，将第一人脸图像仿射变换到标准姿态，得到第三人脸图像；
基于第三人脸图像，计算人脸全局光照均匀度；以及
基于所述人脸全局光照均匀度以及所述人脸光照亮度，获得人脸光照质量评估结果；
其中，所述基于左右对称的标准正脸的标准正脸剖分处理，包括：
采用左右对称的正脸图像，检测所述正脸图像中的人脸关键点，并据此裁剪出正脸图像的人脸图像；
将所述正脸图像中的人脸关键点修正到正脸图像的人脸图像中，获得修正后的人脸关键点；
采用三角剖分算法将修正后的人脸关键点划分为K个三角形子区域，划分后每个子区域的三个顶点组成一个集合。
2.根据权利要求1所述的基于局部仿射变换的人脸光照质量评估方法，其特征在于，所述根据所述原始图像中的人脸关键点，裁剪得到第一人脸图像，包括：
根据原始图像中的人脸关键点的坐标确定人脸边界框；
对人脸边界框中的区域进行裁剪，缩放到L*L像素大小并灰度化，获得第一人脸图像。
3.根据权利要求1所述的基于局部仿射变换的人脸光照质量评估方法，其特征在于，所述基于第一人脸图像，去除背景，获得第二人脸图像，包括：
获取修正的人脸关键点的凸包M，即为人脸区域的掩模，其中M为L*L像素大小的二值图像，人脸区域的像素值为1，其他区域的像素值为0；以及
根据所述人脸区域的掩模以及人脸关键点的修正，得到具有人脸区域的第二人脸图像。
4.根据权利要求1所述的基于局部仿射变换的人脸光照质量评估方法，其特征在于，所述基于第二人脸图像，计算人脸光照亮度，包括：
采用人脸区域的平均像素值并归一化来表示平均光照亮度，获得排除非人脸区域的人脸光照亮度。
5.根据权利要求1所述的基于局部仿射变换的人脸光照质量评估方法，其特征在于，所述将第一人脸图像仿射变换到标准姿态，得到第三人脸图像，包括：
对第一人脸图像的修正的人脸关键点采用三角剖分算法进行三角剖分，划分为K个三角形子区域；
依次将第一人脸图像的修正的人脸关键点的子区域仿射变换为正脸图像的修正后的人脸关键点的子区域的形状，得到仿射变换后的子区域图像；以及
将仿射变换后的子区域图像按照正脸图像的修正后的人脸关键点的子区域的三个顶点坐标重新拼接，获得第三人脸图像。
6.根据权利要求5所述的基于局部仿射变换的人脸光照质量评估方法，其特征在于，所述基于第三人脸图像，计算人脸全局光照均匀度，包括：
将第三人脸图像平均分成左右两部分，即左脸部分和右脸部分，每个部分各包含半张脸；
左脸部分记作第一图像，右脸部分水平翻转记作第二图像；
采用滑动窗口从第一图像和第二图像左上角到右下角逐像素移动；
以每次滑动窗口区域内的平均像素值为基础，计算滑动窗口的局部光照均匀度；以及
采用加权求和的方式计算人脸全局光照均匀度。
7.根据权利要求5所述的基于局部仿射变换的人脸光照质量评估方法，其特征在于，所述基于人脸全局光照均匀度以及人脸光照亮度，获得人脸的光照质量评估结果，包括：
将人脸全局光照均匀度以及人脸光照亮度相结合，采用乘积的方式，得到人脸的光照质量评估结果。
8.一种基于局部仿射变换的人脸光照质量评估装置，其特征在于，包括：
用于获取输入的原始图像的模块；
用于检测所述原始图像中的人脸关键点的模块；
用于根据所述原始图像中的人脸关键点，裁剪得到第一人脸图像的模块；
用于将原始图像中的人脸关键点进行坐标修正，匹配到第一人脸图像，得到修正的人脸关键点的模块；
用于基于第一人脸图像，去除背景，获得第二人脸图像的模块；
用于基于第二人脸图像，计算人脸光照亮度的模块；
用于根据基于左右对称的标准正脸的标准正脸剖分处理以及修正的人脸关键点，将第一人脸图像仿射变换到标准姿态，得到第三人脸图像的模块；
用于基于第三人脸图像，计算人脸全局光照均匀度的模块；以及
用于基于所述人脸全局光照均匀度以及所述人脸光照亮度，获得人脸光照质量评估结果的模块；
其中，所述基于左右对称的标准正脸的标准正脸剖分处理，包括：
采用左右对称的正脸图像，检测所述正脸图像中的人脸关键点，并据此裁剪出正脸图像的人脸图像；
将所述正脸图像中的人脸关键点修正到正脸图像的人脸图像中，获得修正后的人脸关键点；
采用三角剖分算法将修正后的人脸关键点划分为K个三角形子区域，划分后每个子区域的三个顶点组成一个集合。
9.一种服务器，其特征在于，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括如权利要求1-7中任意一项所述的基于局部仿射变换的人脸光照质量评估方法的流程。
10.一种计算机系统，其特征在于，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括如权利要求1-7中任意一项所述的基于局部仿射变换的人脸光照质量评估方法的流程。
11.一种存储软件的计算机可读介质，其特征在于，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括如权利要求1-7中任意一项所述的基于局部仿射变换的人脸光照质量评估方法的流程。
CN202110469734.4A 2021-04-29 2021-04-29 人脸光照质量评估方法、系统、服务器与计算机可读介质 Active CN112991159B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110772015.XA CN113362221A (zh) 2021-04-29 2021-04-29 用于门禁的人脸识别系统与人脸识别方法
CN202110469734.4A CN112991159B (zh) 2021-04-29 2021-04-29 人脸光照质量评估方法、系统、服务器与计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110469734.4A CN112991159B (zh) 2021-04-29 2021-04-29 人脸光照质量评估方法、系统、服务器与计算机可读介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110772015.XA Division CN113362221A (zh) 2021-04-29 2021-04-29 用于门禁的人脸识别系统与人脸识别方法

Publications (2)

Publication Number Publication Date
CN112991159A CN112991159A (zh) 2021-06-18
CN112991159B true CN112991159B (zh) 2021-07-30

Family

ID=76340616

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110772015.XA Withdrawn CN113362221A (zh) 2021-04-29 2021-04-29 用于门禁的人脸识别系统与人脸识别方法
CN202110469734.4A Active CN112991159B (zh) 2021-04-29 2021-04-29 人脸光照质量评估方法、系统、服务器与计算机可读介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110772015.XA Withdrawn CN113362221A (zh) 2021-04-29 2021-04-29 用于门禁的人脸识别系统与人脸识别方法

Country Status (1)

Country Link
CN (2) CN113362221A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627603B (zh) * 2022-03-16 2023-05-23 北京物资学院 一种仓库安全预警方法及系统
CN115346333A (zh) * 2022-07-12 2022-11-15 北京声智科技有限公司 信息提示方法、装置、ar眼镜、云服务器及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558046B (zh) * 2016-10-31 2018-02-06 深圳市飘飘宝贝有限公司 一种证件照的质量检测方法及检测装置
JP7132041B2 (ja) * 2018-09-03 2022-09-06 株式会社日立製作所 色評価装置、および、色評価方法
CN111382618B (zh) * 2018-12-28 2021-02-05 广州市百果园信息技术有限公司 一种人脸图像的光照检测方法、装置、设备和存储介质
CN110826402B (zh) * 2019-09-27 2024-03-29 深圳市华付信息技术有限公司 一种基于多任务的人脸质量估计方法
CN111062272A (zh) * 2019-11-29 2020-04-24 南京甄视智能科技有限公司 基于色彩恢复的图像处理、行人识别方法、装置与可读存储介质
CN111178337B (zh) * 2020-01-07 2020-12-29 南京甄视智能科技有限公司 人脸关键点数据增强方法、装置、系统以及模型训练方法
CN111860091A (zh) * 2020-01-22 2020-10-30 北京嘀嘀无限科技发展有限公司 人脸图像评估方法和系统、服务器和计算机可读存储介质

Also Published As

Publication number Publication date
CN112991159A (zh) 2021-06-18
CN113362221A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
US9613258B2 (en) Image quality assessment
JP4739355B2 (ja) 統計的テンプレートマッチングによる高速な物体検出方法
CN109934847B (zh) 弱纹理三维物体姿态估计的方法和装置
CN109087261B (zh) 基于非受限采集场景的人脸矫正方法
US20200057886A1 (en) Gesture recognition method and apparatus, electronic device, and computer-readable storage medium
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
CN105930822A (zh) 一种人脸抓拍方法及系统
CN114241548A (zh) 一种基于改进YOLOv5的小目标检测算法
CN112991159B (zh) 人脸光照质量评估方法、系统、服务器与计算机可读介质
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
WO2018171008A1 (zh) 一种基于光场图像的高光区域修复方法
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CA3136674C (en) Methods and systems for crack detection using a fully convolutional network
CN111683221B (zh) 嵌入矢量红线数据的自然资源实时视频监测方法及系统
CN110288040B (zh) 一种基于拓扑验证的图像相似评判方法及设备
CN112102141A (zh) 水印的检测方法、装置、存储介质以及电子设备
CN112204957A (zh) 白平衡处理方法和设备、可移动平台、相机
CN111274851A (zh) 一种活体检测方法及装置
US20170140206A1 (en) Symbol Detection for Desired Image Reconstruction
CN113822927A (zh) 一种适用弱质量图像的人脸检测方法、装置、介质及设备
JP6799325B2 (ja) 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム
KR101904480B1 (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
CN116342519A (zh) 一种基于机器学习的图像处理方法
CN116309488A (zh) 图像清晰度检测方法、装置、电子设备和可读存储介质
CN110751163A (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000

Patentee after: Xiaoshi Technology (Jiangsu) Co.,Ltd.

Address before: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000

Patentee before: NANJING ZHENSHI INTELLIGENT TECHNOLOGY Co.,Ltd.