CN111325051B - 一种基于人脸图像roi选取的人脸识别方法及装置 - Google Patents

一种基于人脸图像roi选取的人脸识别方法及装置 Download PDF

Info

Publication number
CN111325051B
CN111325051B CN201811525466.8A CN201811525466A CN111325051B CN 111325051 B CN111325051 B CN 111325051B CN 201811525466 A CN201811525466 A CN 201811525466A CN 111325051 B CN111325051 B CN 111325051B
Authority
CN
China
Prior art keywords
face
frame
pixel
target
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811525466.8A
Other languages
English (en)
Other versions
CN111325051A (zh
Inventor
侯国梁
李书霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Potevio Information Technology Co Ltd
Original Assignee
Potevio Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Potevio Information Technology Co Ltd filed Critical Potevio Information Technology Co Ltd
Priority to CN201811525466.8A priority Critical patent/CN111325051B/zh
Publication of CN111325051A publication Critical patent/CN111325051A/zh
Application granted granted Critical
Publication of CN111325051B publication Critical patent/CN111325051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明的实施例公开了一种基于人脸图像ROI选取的人脸识别方法及装置，预先对由某预设摄像头拍摄的图片进行评分，得到该预设摄像头对应的人脸质量像素分布图。对由该预设摄像头拍摄得到的目标图片，根据人脸质量像素分布图确定目标图片中各目标人脸框中的每一像素点的像素值，进而得到各目标人脸框对应的人脸图像的ROI得分值。由于人脸质量像素分布图是根据预设摄像头拍摄的历史图片生成的，故其中的各像素点的像素值是综合了预设摄像头所处环境的各因素和算法本身对图片质量影响所得的结果。因此，由人脸质量像素分布图筛选的图像区域是该预设摄像头拍照质量较好的区域，对该区域进行人脸识别不仅能够实现准确识别，也能提高识别效率。

Description

一种基于人脸图像ROI选取的人脸识别方法及装置
技术领域
本发明实施例涉及图像处理技术领域，尤其是涉及一种基于人脸图像ROI选取的人脸识别方法及装置。
背景技术
人脸识别技术已广泛的应用于公安、商业、银行、海关、机场，等多个重要领域和行业。人脸识别系统的应用场景越来越多，且人脸抓拍环境复杂多变，如小区，机场，学校，火车站等。影响人脸识别准确率的因素有很多，如人脸姿态、人脸清晰度、人脸光照度、人脸像素大小、ROI区域等，相机图像采集区域中人脸的ROI区域也是影响识别的准确率重要因素，因此人脸质量判别模块(挑选照片)起到重要作用，其功能是在视频有序帧中检测出来(人脸在图片的哪里)的同一人脸图片集进行筛选，选择最清晰，光照效果鲜明，照片足够大的”好照片”，提供给识别模块进行人脸识别(照片是谁)。同时不同的人脸质量判别算法对图像各项质量要求高低也不同，如何让人脸识别系统更好的适应复杂多变的监控场景，是提高人脸识别的准确率要考虑的一个因素。
人脸数据采集时一般会把监控摄像头固定安装在某一位置，之后永久固定，典型的应用场景是安防卡口。然而面对复杂多变的人脸识别场景，尤其是摄像头监控区域在室外时，不同季节，一天中的不同时段区域内光照、明暗度等条件是不断变化的。最适合人脸识别的人脸图像产生位置也会发生变化。找到一种方法可以根据外界条件变化自适应的选择待识别的人脸图像，减小外界环境干扰对算法性能的影响，对提高人脸识别准确率有一定的作用。
机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域ROI。提取并选择ROI区域目的在于缩小计算范围减少计算量，用于并进行图像的下一步处理。
在实现本发明实施例的过程中，发明人发现现有的人脸识别技术在考率影响识别准确率因素时，没有针对不同的人脸识别场景和不同人脸识别算法要求，自适应的找到适合本场景和本算法的ROI人脸图像区域，导致人脸识别的准确率和识别效率较低。
发明内容
本发明所要解决的技术问题是如何解决现有的人脸识别技术在考率影响识别准确率因素时，没有针对不同的人脸识别场景和不同人脸识别算法要求，自适应的找到适合本场景和本算法的ROI人脸图像区域，导致人脸识别的准确率和识别效率较低的问题。
针对以上技术问题，本发明的实施例提供了一种基于人脸图像ROI选取的人脸识别方法，包括：
获取由预设摄像头进行拍摄得到的目标图片，通过人脸检测算法识别出所述目标图片中的人脸图像，将对应于每一人脸图像的人脸框标记为目标人脸框；
获取与所述预设摄像头对应的人脸质量像素分布图，对每一目标人脸框，根据所述人脸质量像素分布图确定出所述目标人脸框中各像素点对应的像素值，由所述目标人脸框中各像素点对应的像素值得到所述目标人脸框对应的人脸图像的ROI得分值；
若所述目标人脸框对应的人脸图像的ROI得分值大于预设ROI得分值，则在判断所述目标人脸框对应的人脸图像满足清晰度和光照度的要求后，对所述目标人脸框对应的人脸图像进行人脸识别。
本发明的实施例提供了一种基于人脸图像ROI选取的人脸识别装置，包括：
获取模块，用于获取由预设摄像头进行拍摄得到的目标图片，通过人脸检测算法识别出所述目标图片中的人脸图像，将对应于每一人脸图像的人脸框标记为目标人脸框；
处理模块，用于获取与所述预设摄像头对应的人脸质量像素分布图，对每一目标人脸框，根据所述人脸质量像素分布图确定出所述目标人脸框中各像素点对应的像素值，由所述目标人脸框中各像素点对应的像素值得到所述目标人脸框对应的人脸图像的ROI得分值；
判断模块，用于若所述目标人脸框对应的人脸图像的ROI得分值大于预设ROI得分值，则在判断所述目标人脸框对应的人脸图像满足清晰度和光照度的要求后，对所述目标人脸框对应的人脸图像进行人脸识别。
本实施例提供了一种电子设备，包括：
至少一个处理器、至少一个存储器、通信接口和总线；其中，
所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述通信接口用于该电子设备和其它电子设备的通信设备之间的信息传输；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行以上所述的方法。
本实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行以上所述的方法。
本发明的实施例提供了一种基于人脸图像ROI选取的人脸识别方法及装置，预先对由某预设摄像头拍摄的图片进行评分，得到该预设摄像头对应的人脸质量像素分布图。对由该预设摄像头拍摄得到的目标图片，根据人脸质量像素分布图确定目标图片中各目标人脸框中的每一像素点的像素值，进而得到各目标人脸框对应的人脸图像的ROI得分值。由于人脸质量像素分布图是根据预设摄像头拍摄的历史图片生成的，故其中的各像素点的像素值是综合了预设摄像头所处环境的各因素和算法本身对图片质量影响所得的结果。因此，由人脸质量像素分布图筛选的图像区域是该预设摄像头拍照质量较好的区域，对该区域进行人脸识别不仅能够实现准确识别，也能提高识别效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的基于人脸图像ROI选取的人脸识别方法的流程示意图；
图2是本发明另一个实施例提供的基于人脸图像ROI选取的人脸识别装置的结构框图；
图3是本发明另一个实施例提供的电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例提供的方法中，人脸检测是人脸识别中的第一个环节，是一项关键技术。人脸检测是指假设在输入图像中存在一个或者多个人脸区域的情况下，确定图像中全部人脸的位置、大小和姿势的过程。人脸检测算法包括基于二进小波变换的人脸检测、基于弹性模型的方法、神经网络方法等。例如，通过机器学习训练出能够通过人脸框标记出图片中人脸图像区域的模型，通过该模型进行人脸检测，标记出图片中人脸图像对应的人脸框。或者使用的人脸检测算法为haar，faster rcnn，yolo，ssd等。
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。一般来说，人脸识别系统包括图像摄取、人脸定位、图像预处理、以及人脸识别(身份确认或者身份查找)。
质量判别算法是对图像多方面的质量进行判别的算法。例如，对图片尺寸、清晰度、是否逆光、是否存在阴阳脸等方面进行判断。将对某一人脸框的各方面进行判断得到的评分值相加即得到了质量判别算法对该人脸框图像的评分值。或者，质量判别算法也可以通过计算人脸框对应区域的系数对人脸框对应区域的质量进行评分，例如，这些系数包括均方根误差、皮尔逊积矩相关系数、Spearman秩相关系数和Kendall秩相关系数，同理还是将各系数对应的评分值相加得到质量判别算法对该人脸框图像的评分值。
在人脸识别之前通过本申请提供的方法挑选质量较好的图像，使得进行人脸识别的图像能够满足进行人脸识别的要求。图1为本实施例提供的基于人脸图像ROI选取的人脸识别方法的流程示意图，参见图1，该方法包括：
101：获取由预设摄像头进行拍摄得到的目标图片，通过人脸检测算法识别出所述目标图片中的人脸图像，将对应于每一人脸图像的人脸框标记为目标人脸框；
102：获取与所述预设摄像头对应的人脸质量像素分布图，对每一目标人脸框，根据所述人脸质量像素分布图确定出所述目标人脸框中各像素点对应的像素值，由所述目标人脸框中各像素点对应的像素值得到所述目标人脸框对应的人脸图像的ROI得分值；
103：若所述目标人脸框对应的人脸图像的ROI得分值大于预设ROI得分值，则在判断所述目标人脸框对应的人脸图像满足清晰度和光照度的要求后，对所述目标人脸框对应的人脸图像进行人脸识别。
本实施例提供的方法由服务器或者专用于筛选进行人脸识别的图像的设备执行，该方法适用于人脸识别之前。例如，服务器实时获取预设摄像头拍摄的图片，通过上述步骤101-103从获取的各帧图片中筛选出用于人脸识别的图像区域，对筛选出的图像区域进行人脸识别。由于通过本实施例的方法将预设摄像头拍摄的质量较好的区域挑选了出来，对这些质量较好的区域进行人脸识别不仅能够实现快速识别，还避免了其它因素对识别结果的影响，保证识别的准确性。
预设摄像头，例如，可以是安装在地铁某一固定位置的摄像头，安装在室外某一固定位置的摄像头，或者安装在某一固定位置进行周期性拍照的设备。由于不同的摄像头所处的环境因素不同，例如，光照的变化和强度不同，因此通常不同的摄像头对应不同的人脸质量像素分布图。人脸质量像素分布图反应了由某一摄像头在某段时间内拍摄的图片中，各个像素点的质量分布情况。对于任一目标图片，通过相应的人脸质量像素分布图对该目标图片中人脸框的质量进行判断，其判断结果能够准确反应环境因素和对图片进行处理的算法本身对图片质量的影响。人脸图像的ROI得分值越高，该目标人脸框的图像质量越好。通过ROI得分值、清晰度和光照度的限制，能够保证进行人脸识别的图像的图像质量，进而保证对该图像进行人脸识别的准确性和识别效率。
本实施例提供了一种基于人脸图像ROI选取的人脸识别方法，预先对由某预设摄像头拍摄的图片进行评分，得到该预设摄像头对应的人脸质量像素分布图。对由该预设摄像头拍摄得到的目标图片，根据人脸质量像素分布图确定目标图片中各目标人脸框中的每一像素点的像素值，进而得到各目标人脸框对应的人脸图像的ROI得分值。由于人脸质量像素分布图是根据预设摄像头拍摄的历史图片生成的，故其中的各像素点的像素值是综合了预设摄像头所处环境的各因素和算法本身对图片质量影响所得的结果。因此，由人脸质量像素分布图筛选的图像区域是该预设摄像头拍照质量较好的区域，对该区域进行人脸识别不仅能够实现准确识别，也能提高识别效率。
进一步地，在上述实施例的基础上，所述获取与所述预设摄像头对应的人脸质量像素分布图，包括：
获取由预设摄像头进行拍摄得到的视频帧序列，对所述视频帧序列中的每一帧视频图片，通过人脸检测算法识别所述视频图片中的每一人脸图像，将对应于每一人脸图像的人脸框标记为第一人脸框；
对所述视频图片中每一第一人脸框，通过质量判别算法得到所述第一人脸框对应的人脸图像的第一评分值，并将所述第一评分值作为所述第一人脸框中的每一像素点对应的像素值；
在将所述视频图片中的每一第一人脸框中像素点的像素值均标记为对应的第一评分值后，将所述视频图片中不存在第一人脸框的像素点的像素值标记为0，得到所述视频图片对应的单帧像素分布图；
获取所述视频帧序列中每一视频图片对应的单帧像素分布图，将各单帧像素分布图对应位置处像素点的像素值进行叠加，将叠加后得到的像素分布图作为与所述预设摄像头对应的人脸质量像素分布图，获取所述人脸质量像素分布图。
进一步地，所述通过质量判别算法得到所述第一人脸框对应的人脸图像的第一评分值，包括：
通过质量判别算法对所述第一人脸框中的各项质量因素进行评分，各项质量因素对应的评分值综合作为所述第一人脸框对应的人脸图像的第一评分值；
其中，质量因素包括清晰度、光照和是否阴阳脸。
对视频帧序列中的每一帧视频图片，该视频图片中的各人脸图像对应的人脸框均为第一人脸框。通过质量判别算法能够得到每一第一人脸框对应的评分值，该评分值叫做第一评分值。将各帧视频图片对应位置出的像素值相加即可得到人脸质量像素分布图。
视频帧序列是由预设摄像头拍摄的历史图片组成的。在确定人脸质量像素分布图时，需要(1)人脸检测算法确定人脸位置和并记录人脸抓拍时间；(2)送入质量判别算法，记录该抓拍人脸的质量分数；(3)根据人脸位置和质量分数生成一段时间内该监控场景下的人脸图片质量判别分数像素分布图。
对于(1)，在得到视频帧序列后，当视频图片中有人脸时，人脸检测算法检测出人脸并给出人脸框位置(即标记出图片中所有的第一人脸框)，人脸框位置用框的左上角b1(x1,y1)和右下角坐标b2(x2,y2)表示,在视频图片中截取人脸图像，对于视频还可以使用跟踪算法简化计算量。即每一人脸框表示为face＝frame[x1:x2,y1:y2]。
其中，对于全高清1080p的摄像头，每一帧视频图像frame为1920*1080。对于高清720p的摄像头，每一帧视频图像frame为1280*720。
对于(2)，对(1)中确定的各人脸框，对某一人脸框，通过质量判别算法确定该人脸框的质量分数score(即第一评分值)，其中，质量分数score为人脸的清晰度，光照好坏如是否阴阳脸是否逆光等的判定，人脸像素尺寸等的综合判定，例如，质量分数score为各项评分的和。
在一段时间内，多帧视频截取的同一人的所有人脸记录其抓拍时间和质量分数。
本实施例提供了一种基于人脸图像ROI选取的人脸识别方法，通过质量判别算法得到每一第一人脸框的对应的第一评分值，通过视频帧序列中各帧图片的单帧像素分布图计算人脸质量像素分布图，人脸质量像素分布图通过多帧图像的单帧像素分布图得到，能够反应出环境因素和算法对图像质量的影响。
进一步地，在上述各实施例的基础上，所述获取由预设摄像头进行拍摄得到的视频帧序列，包括：
设定由预设帧数的图片组成的先入先出队列，所述预设摄像头最新拍摄的图片作为队列的最后一帧图片；
在所述目标图片进入队列作为队列的最后一帧图片时，将由队列中的各帧图片组成的视频流作为所述视频帧序列。
受不同时间段环境的影响，例如，光照，不同时间段由预设摄像头拍摄的图片中各个区域的图片质量也相应变化。因此，实时计算的人脸质量像素分布图能够更为准确地反应环境对图片质量的影响。
设定先入先出队列，由队列中的各帧图片组成的视频流作为视频帧序列来计算人脸质量像素分布图。当从预设摄像头获取了新的图片时，该新的图片加入队列，最先加入队列的图片从队列清出。队列实时更新，人脸质量像素分布图也实时更新。例如，预设帧数为n帧，视频的帧率为f，则视频每一帧所经历的时间为1/f秒，n帧则该一段时间为n/f秒。若形成队列的一段时间为预设摄像头拍摄到n帧图片的时间，对于该段时间，根据(1)(2)将记录n张全景图。每张全景图记录了检测出的人脸框位置信息左上角坐标b1(x1,y1)和右下角坐标b2(x2,y2)，即人脸face在视频图像中的区域是[x1:x2,y1:y2]；还记录了每张人脸的质量分数score。
对于(3)，定义一个先入先出的FIFO队列，队列长度为n，每经历新的一帧，则删除队列尾，新增队列头。起始时刻开始经过n帧后，FIFO队列中每一个元素为矩阵f0,f1,f2…fn-1，再经过t帧后FIFO队列内的元素为矩阵ft,ft+1,ft+2…ft+n-1(队列为由每一图片为元素的矩阵，每一图片为由各像素点的像素值组成的矩阵)。
进一步地，在上述各实施例的基础上，所述获取所述视频帧序列中每一视频图片对应的单帧像素分布图，将各单帧像素分布图对应位置处像素点的像素值进行叠加，将叠加后得到的像素分布图作为与所述预设摄像头对应的人脸质量像素分布图，获取所述人脸质量像素分布图，包括：
获取当所述目标图片进入队列作为队列的最后一帧图片时，从队列中出列的出列图片，获取所述目标图片对应的单帧像素分布图和所述出列图片对应的单帧像素分布图；
获取当所述出列图片作为队列第一帧图片时，由视频帧序列中每一视频图片对应的单帧像素分布图计算得到的前一时刻人脸质量像素分布图；
计算前一时刻人脸质量像素分布图与所述目标图片对应的单帧像素分布图对应位置处像素点的像素值进行叠加的叠加结果，并计算得到的叠加结果与出列图片对应的单帧像素分布图在对应位置处像素点的像素值作差得到的作差结果；
将得到的作差结果作为与所述预设摄像头对应的人脸质量像素分布图，获取所述人脸质量像素分布图。
对于(3)，每一视频图片对应的矩阵为i时刻所捕获的帧framei，该帧对应的矩阵fi，fi矩阵中的元素为x，y，(fi表示队列中任一图片对应的矩阵，该矩阵的每一元素为该图片的像素值。因此，在该矩阵中，对应图片中存在人脸框的位置处矩阵中元素的值为该人脸框对应的评分值，对应图片中不存在人脸框的位置处矩阵中元素的值为0)。
假设检测结果为共有K个人，其中第j个人脸框为b1(aj,bj),b2(cj,dj)时，人脸质量分为scoreij，则该i时刻framei对应的矩阵计算方法如下：
fi(x,y)＝Sij(x,y)
Figure BDA0001904339400000111
Sij为1920*1080的矩阵，因此对于x，y取值为(0≤x＜1920，0≤y＜1080)。
由于FIFO队列恒定保持一个固定的个数n，顺序的将某时刻的FIFO队列矩阵元素统一记录为F0，F1，F2...Fn-1，则人脸质量像素分布函数为
Figure BDA0001904339400000112
Fsum为人脸质量像素分布图，是队列中每一帧图片各对应像素点的像素值叠加后的叠加结果，即每一帧图片对应的矩阵相加得到的结果。
为了提高运算速度，可以简化为只对减队列尾加队列头的操作：Fsum＝F′sum+Fn-1-F0，F′sum为前一时刻人脸质量像素分布图，即在目标图片加入队列的前一时刻，队列中各图片对应的矩阵叠加后得到的结果，Fn-1为目标图片对应的单帧像素分布图，F0为出列图片对应的单帧像素分布图。
本实施例提供了一种基于人脸图像ROI选取的人脸识别方法，设定队列，在目标图片进入队列时，通过当前队列中各帧图片计算人脸质量像素分布图。实时更新的人脸质量像素分布图能够反应当前的环境对图片质量的影响。通过该人脸质量像素分布图对目标图片进行质量判别，能够提供更为准确的判别依据。
进一步地，在上述各实施例的基础上，所述对每一目标人脸框，根据所述人脸质量像素分布图确定出所述目标人脸框中各像素点对应的像素值，由所述目标人脸框中各像素点对应的像素值得到所述目标人脸框对应的人脸图像的ROI得分值，包括：
对每一目标人脸框，将所述人脸质量像素分布图中与所述目标人脸框对应位置处各像素点的像素值作为所述目标人脸框中像素点的像素值，得到所述目标人脸框中各像素点的像素值；
将所述目标人脸框中各像素点的像素值的和作为所述目标人脸框对应的人脸图像的ROI得分值。
在通过人脸质量像素分布图对目标图片各人脸框中的人脸图像的图像质量进行判别时，将目标图片的各人脸框的各像素点的像素值设置为对应位置处人脸质量像素分布图的像素值，各人脸框中各像素点的像素值之和即为该人脸框人脸图像的ROI得分值。
具体来说，摄像头采集到的视频流送入到人脸检测算法，当视频中有人脸时，人脸检测算法检测出人脸并给出人脸框位置，人脸框位置用框的左上角bb1(x1,y1)和右下角坐标bb2(x2,y2)表示,在视频帧中截取人脸图像face，其中，
face＝frame[x1:x2,y1:y2]
则本次截取的人脸图像的人脸ROI的得分为
Figure BDA0001904339400000121
其中，
Figure BDA0001904339400000122
本实施例提供了一种基于人脸图像ROI选取的人脸识别方法，通过人脸质量像素分布图对目标图片中各人脸图像的ROI得分值进行计算，ROI得分值准确反应了受环境和算法影响下的图像的质量，该质量可以该人脸框的图像是否作为人脸识别的图像的一个参考因素。
进一步地，在上述各实施例的基础上，所述若所述目标人脸框对应的人脸图像的ROI得分值大于预设ROI得分值，则在判断所述目标人脸框对应的人脸图像满足清晰度和光照度的要求后，对所述目标人脸框对应的人脸图像进行人脸识别，包括：
若所述目标人脸框对应的人脸图像的ROI得分值大于预设ROI得分值，则检测所述目标人脸框对应的人脸图像的清晰度，判断检测的清晰度是否符合清晰度要求；
若检测的清晰度符合清晰度要求，则检测所述目标人脸框对应的人脸图像的光照度，判断检测的光照度是否符合光照度要求；
若检测的光照度符合光照度要求，则将所述人脸图像输入人脸识别模型，得到识别结果，输出所述识别结果。
进一步地，在上述各实施例的基础上，还包括：
若所述目标人脸框对应的人脸图像的ROI得分值小于或等于预设ROI得分值，则发出所述人脸图像不符合进行人脸识别的条件的提示信息。
通过人脸质量像素分布图判断图像是否作为人脸识别的图像只是其中的一个判断因素。在判断某个图像是否符合作为人脸识别的图像时，在通过本实施例进行判断后，还需要对该图像的其它方面进行判断，例如，清晰度和光照。其中，清晰度和光照度的判断可以通过上述的质量判别算法实现，本实施例对对此不再赘述。
本实施例提供了一种基于人脸图像ROI选取的人脸识别方法，将人脸的ROI评分以一定的权重比例加入到人脸质量判别中，如结合人脸姿态、清晰度等综合对人脸图形进行筛选，有助于优先选择出容易获得高分的好质量人脸，集中计算资源降低运算开销。
本实施例提供了一种基于人脸图像ROI选取的人脸识别方法，针对不同的人脸识别场景和不同人的人脸质量判别算法，自适应的选择有利于提高识别准确率的人脸感兴趣区域，有利于将计算资源集中于ROI区域，并且利于历史情况提高ROI区域对最终人脸质量分数的加权提升。根据历史人脸质量判别分数高低，统计人脸的不同分值在画幅中像素的分布情况。在获取新的人脸图像时，参考人脸评分像素分布图给该图像打分，最后该分值以一定的权重加入人脸图像质量判别分数，后期送入人脸识别算法进行识别，保证人脸识别的准确率和识别效率。
图2示出了本发明的实施例提供的一种基于人脸图像ROI选取的人脸识别装置的结构框图，参见图2，本实施例提供的基于人脸图像ROI选取的人脸识别装置包括获取模块201、处理模块202和判断模块203，其中，
获取模块201，用于获取由预设摄像头进行拍摄得到的目标图片，通过人脸检测算法识别出所述目标图片中的人脸图像，将对应于每一人脸图像的人脸框标记为目标人脸框；
处理模块202，用于获取与所述预设摄像头对应的人脸质量像素分布图，对每一目标人脸框，根据所述人脸质量像素分布图确定出所述目标人脸框中各像素点对应的像素值，由所述目标人脸框中各像素点对应的像素值得到所述目标人脸框对应的人脸图像的ROI得分值；
判断模块203，用于若所述目标人脸框对应的人脸图像的ROI得分值大于预设ROI得分值，则在判断所述目标人脸框对应的人脸图像满足清晰度和光照度的要求后，对所述目标人脸框对应的人脸图像进行人脸识别。
本实施例提供的基于人脸图像ROI选取的人脸识别装置适用于上述实施例中提供的基于人脸图像ROI选取的人脸识别方法，在此不再赘述。
本发明的实施例提供了一种基于人脸图像ROI选取的人脸识别装置，预先对由某预设摄像头拍摄的图片进行评分，得到该预设摄像头对应的人脸质量像素分布图。对由该预设摄像头拍摄得到的目标图片，根据人脸质量像素分布图确定目标图片中各目标人脸框中的每一像素点的像素值，进而得到各目标人脸框对应的人脸图像的ROI得分值。由于人脸质量像素分布图是根据预设摄像头拍摄的历史图片生成的，故其中的各像素点的像素值是综合了预设摄像头所处环境的各因素和算法本身对图片质量影响所得的结果。因此，由人脸质量像素分布图筛选的图像区域是该预设摄像头拍照质量较好的区域，对该区域进行人脸识别不仅能够实现准确识别，也能提高识别效率。
图3是示出本实施例提供的电子设备的结构框图。
参照图3，所述电子设备包括：处理器(processor)301、存储器(memory)302、通信接口(Communications Interface)303和总线304；
其中，
所述处理器301、存储器302、通信接口303通过所述总线304完成相互间的通信；
所述通信接口303用于该电子设备和其它电子设备的通信设备之间的信息传输；
所述处理器301用于调用所述存储器302中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取由预设摄像头进行拍摄得到的目标图片，通过人脸检测算法识别出所述目标图片中的人脸图像，将对应于每一人脸图像的人脸框标记为目标人脸框；获取与所述预设摄像头对应的人脸质量像素分布图，对每一目标人脸框，根据所述人脸质量像素分布图确定出所述目标人脸框中各像素点对应的像素值，由所述目标人脸框中各像素点对应的像素值得到所述目标人脸框对应的人脸图像的ROI得分值；若所述目标人脸框对应的人脸图像的ROI得分值大于预设ROI得分值，则在判断所述目标人脸框对应的人脸图像满足清晰度和光照度的要求后，对所述目标人脸框对应的人脸图像进行人脸识别。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取由预设摄像头进行拍摄得到的目标图片，通过人脸检测算法识别出所述目标图片中的人脸图像，将对应于每一人脸图像的人脸框标记为目标人脸框；获取与所述预设摄像头对应的人脸质量像素分布图，对每一目标人脸框，根据所述人脸质量像素分布图确定出所述目标人脸框中各像素点对应的像素值，由所述目标人脸框中各像素点对应的像素值得到所述目标人脸框对应的人脸图像的ROI得分值；若所述目标人脸框对应的人脸图像的ROI得分值大于预设ROI得分值，则在判断所述目标人脸框对应的人脸图像满足清晰度和光照度的要求后，对所述目标人脸框对应的人脸图像进行人脸识别。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，包括：获取由预设摄像头进行拍摄得到的目标图片，通过人脸检测算法识别出所述目标图片中的人脸图像，将对应于每一人脸图像的人脸框标记为目标人脸框；获取与所述预设摄像头对应的人脸质量像素分布图，对每一目标人脸框，根据所述人脸质量像素分布图确定出所述目标人脸框中各像素点对应的像素值，由所述目标人脸框中各像素点对应的像素值得到所述目标人脸框对应的人脸图像的ROI得分值；若所述目标人脸框对应的人脸图像的ROI得分值大于预设ROI得分值，则在判断所述目标人脸框对应的人脸图像满足清晰度和光照度的要求后，对所述目标人脸框对应的人脸图像进行人脸识别。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的电子设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。

Claims (9)

1.一种基于人脸图像ROI选取的人脸识别方法，其特征在于，包括：
获取由预设摄像头进行拍摄得到的目标图片，通过人脸检测算法识别出所述目标图片中的人脸图像，将对应于每一人脸图像的人脸框标记为目标人脸框；
获取与所述预设摄像头对应的人脸质量像素分布图，对每一目标人脸框，根据所述人脸质量像素分布图确定出所述目标人脸框中各像素点对应的像素值，由所述目标人脸框中各像素点对应的像素值得到所述目标人脸框对应的人脸图像的ROI得分值；
若所述目标人脸框对应的人脸图像的ROI得分值大于预设ROI得分值，则在判断所述目标人脸框对应的人脸图像满足清晰度和光照度的要求后，对所述目标人脸框对应的人脸图像进行人脸识别；
其中，所述获取与所述预设摄像头对应的人脸质量像素分布图，包括：
获取由预设摄像头进行拍摄得到的视频帧序列，对所述视频帧序列中的每一帧视频图片，通过人脸检测算法识别所述视频图片中的每一人脸图像，将对应于每一人脸图像的人脸框标记为第一人脸框；
对所述视频图片中每一第一人脸框，通过质量判别算法得到所述第一人脸框对应的人脸图像的第一评分值，并将所述第一评分值作为所述第一人脸框中的每一像素点对应的像素值；
在将所述视频图片中的每一第一人脸框中像素点的像素值均标记为对应的第一评分值后，将所述视频图片中不存在第一人脸框的像素点的像素值标记为0，得到所述视频图片对应的单帧像素分布图；
获取所述视频帧序列中每一视频图片对应的单帧像素分布图，将各单帧像素分布图对应位置处像素点的像素值进行叠加，将叠加后得到的像素分布图作为与所述预设摄像头对应的人脸质量像素分布图，获取所述人脸质量像素分布图。
2.根据权利要求1所述的方法，其特征在于，所述获取由预设摄像头进行拍摄得到的视频帧序列，包括：
设定由预设帧数的图片组成的先入先出队列，所述预设摄像头最新拍摄的图片作为队列的最后一帧图片；
在所述目标图片进入队列作为队列的最后一帧图片时，将由队列中的各帧图片组成的视频流作为所述视频帧序列。
3.根据权利要求2所述的方法，其特征在于，所述获取所述视频帧序列中每一视频图片对应的单帧像素分布图，将各单帧像素分布图对应位置处像素点的像素值进行叠加，将叠加后得到的像素分布图作为与所述预设摄像头对应的人脸质量像素分布图，获取所述人脸质量像素分布图，包括：
获取当所述目标图片进入队列作为队列的最后一帧图片时，从队列中出列的出列图片，获取所述目标图片对应的单帧像素分布图和所述出列图片对应的单帧像素分布图；
获取当所述出列图片作为队列第一帧图片时，由视频帧序列中每一视频图片对应的单帧像素分布图计算得到的前一时刻人脸质量像素分布图；
计算前一时刻人脸质量像素分布图与所述目标图片对应的单帧像素分布图对应位置处像素点的像素值进行叠加的叠加结果，并计算得到的叠加结果与出列图片对应的单帧像素分布图在对应位置处像素点的像素值作差得到的作差结果；
将得到的作差结果作为与所述预设摄像头对应的人脸质量像素分布图，获取所述人脸质量像素分布图。
4.根据权利要求1所述的方法，其特征在于，所述对每一目标人脸框，根据所述人脸质量像素分布图确定出所述目标人脸框中各像素点对应的像素值，由所述目标人脸框中各像素点对应的像素值得到所述目标人脸框对应的人脸图像的ROI得分值，包括：
对每一目标人脸框，将所述人脸质量像素分布图中与所述目标人脸框对应位置处各像素点的像素值作为所述目标人脸框中像素点的像素值，得到所述目标人脸框中各像素点的像素值；
将所述目标人脸框中各像素点的像素值的和作为所述目标人脸框对应的人脸图像的ROI得分值。
5.根据权利要求1所述的方法，其特征在于，所述若所述目标人脸框对应的人脸图像的ROI得分值大于预设ROI得分值，则在判断所述目标人脸框对应的人脸图像满足清晰度和光照度的要求后，对所述目标人脸框对应的人脸图像进行人脸识别，包括：
若所述目标人脸框对应的人脸图像的ROI得分值大于预设ROI得分值，则检测所述目标人脸框对应的人脸图像的清晰度，判断检测的清晰度是否符合清晰度要求；
若检测的清晰度符合清晰度要求，则检测所述目标人脸框对应的人脸图像的光照度，判断检测的光照度是否符合光照度要求；
若检测的光照度符合光照度要求，则将所述人脸图像输入人脸识别模型，得到识别结果，输出所述识别结果。
6.根据权利要求1所述的方法，其特征在于，还包括：
若所述目标人脸框对应的人脸图像的ROI得分值小于或等于预设ROI得分值，则发出所述人脸图像不符合进行人脸识别的条件的提示信息。
7.一种基于人脸图像ROI选取的人脸识别装置，其特征在于，包括：
获取模块，用于获取由预设摄像头进行拍摄得到的目标图片，通过人脸检测算法识别出所述目标图片中的人脸图像，将对应于每一人脸图像的人脸框标记为目标人脸框；
处理模块，用于获取与所述预设摄像头对应的人脸质量像素分布图，对每一目标人脸框，根据所述人脸质量像素分布图确定出所述目标人脸框中各像素点对应的像素值，由所述目标人脸框中各像素点对应的像素值得到所述目标人脸框对应的人脸图像的ROI得分值；
判断模块，用于若所述目标人脸框对应的人脸图像的ROI得分值大于预设ROI得分值，则在判断所述目标人脸框对应的人脸图像满足清晰度和光照度的要求后，对所述目标人脸框对应的人脸图像进行人脸识别；
其中，所述获取与所述预设摄像头对应的人脸质量像素分布图，包括：
获取由预设摄像头进行拍摄得到的视频帧序列，对所述视频帧序列中的每一帧视频图片，通过人脸检测算法识别所述视频图片中的每一人脸图像，将对应于每一人脸图像的人脸框标记为第一人脸框；
对所述视频图片中每一第一人脸框，通过质量判别算法得到所述第一人脸框对应的人脸图像的第一评分值，并将所述第一评分值作为所述第一人脸框中的每一像素点对应的像素值；
在将所述视频图片中的每一第一人脸框中像素点的像素值均标记为对应的第一评分值后，将所述视频图片中不存在第一人脸框的像素点的像素值标记为0，得到所述视频图片对应的单帧像素分布图；
获取所述视频帧序列中每一视频图片对应的单帧像素分布图，将各单帧像素分布图对应位置处像素点的像素值进行叠加，将叠加后得到的像素分布图作为与所述预设摄像头对应的人脸质量像素分布图，获取所述人脸质量像素分布图。
8.一种电子设备，其特征在于，包括：
至少一个处理器、至少一个存储器、通信接口和总线；其中，
所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述通信接口用于该电子设备和其它电子设备的通信设备之间的信息传输；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6中任一项所述的方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一项所述的方法。
CN201811525466.8A 2018-12-13 2018-12-13 一种基于人脸图像roi选取的人脸识别方法及装置 Active CN111325051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811525466.8A CN111325051B (zh) 2018-12-13 2018-12-13 一种基于人脸图像roi选取的人脸识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811525466.8A CN111325051B (zh) 2018-12-13 2018-12-13 一种基于人脸图像roi选取的人脸识别方法及装置

Publications (2)

Publication Number Publication Date
CN111325051A CN111325051A (zh) 2020-06-23
CN111325051B true CN111325051B (zh) 2023-06-23

Family

ID=71170045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811525466.8A Active CN111325051B (zh) 2018-12-13 2018-12-13 一种基于人脸图像roi选取的人脸识别方法及装置

Country Status (1)

Country Link
CN (1) CN111325051B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832542B (zh) * 2020-08-15 2024-04-16 武汉易思达科技有限公司 三目视觉识别与定位装置
CN112183227B (zh) * 2020-09-08 2023-12-22 瑞芯微电子股份有限公司 一种智能泛人脸区域的编码方法和设备
CN112132074A (zh) * 2020-09-28 2020-12-25 平安养老保险股份有限公司 人脸图像验证方法、装置、计算机设备及存储介质
CN112651311A (zh) * 2020-12-15 2021-04-13 展讯通信(天津)有限公司 一种人脸识别方法和相关设备
CN112733650B (zh) * 2020-12-29 2024-05-07 深圳云天励飞技术股份有限公司 目标人脸检测方法、装置、终端设备及存储介质
CN113269141B (zh) * 2021-06-18 2023-09-22 浙江机电职业技术学院 一种图像处理方法及装置
CN114333030A (zh) * 2021-12-31 2022-04-12 科大讯飞股份有限公司 图像处理方法、装置、设备及存储介质
CN115410261B (zh) * 2022-09-28 2023-12-15 范孝徐 面部识别异构数据关联解析系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845395A (zh) * 2017-01-19 2017-06-13 北京飞搜科技有限公司 一种基于人脸识别进行活体检测的方法
CN108109010A (zh) * 2017-12-26 2018-06-01 南京开为网络科技有限公司 一种智能ar广告机
CN108805077A (zh) * 2018-06-11 2018-11-13 深圳市唯特视科技有限公司 一种基于三元组损失函数的深度学习网络的人脸识别系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845395A (zh) * 2017-01-19 2017-06-13 北京飞搜科技有限公司 一种基于人脸识别进行活体检测的方法
CN108109010A (zh) * 2017-12-26 2018-06-01 南京开为网络科技有限公司 一种智能ar广告机
CN108805077A (zh) * 2018-06-11 2018-11-13 深圳市唯特视科技有限公司 一种基于三元组损失函数的深度学习网络的人脸识别系统

Also Published As

Publication number Publication date
CN111325051A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN111325051B (zh) 一种基于人脸图像roi选取的人脸识别方法及装置
US11107232B2 (en) Method and apparatus for determining object posture in image, device, and storage medium
CN109325933B (zh) 一种翻拍图像识别方法及装置
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN110853033B (zh) 基于帧间相似度的视频检测方法和装置
US8345921B1 (en) Object detection with false positive filtering
US20120070041A1 (en) System And Method For Face Verification Using Video Sequence
US20120027252A1 (en) Hand gesture detection
US10242447B2 (en) Video processing system and method for deformation and occlusion resistant object tracking in video content
CN114783003B (zh) 一种基于局部特征注意力的行人重识别方法和装置
CN112396116B (zh) 一种雷电检测方法、装置、计算机设备及可读介质
CN107248174A (zh) 一种基于tld算法的目标跟踪方法
Yimyam et al. Face detection criminals through CCTV cameras
CN110827432B (zh) 一种基于人脸识别的课堂考勤方法及系统
Phankokkruad et al. An evaluation of technical study and performance for real-time face detection using web real-time communication
CN110858316A (zh) 对时间序列图像数据进行分类
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN112766028B (zh) 人脸模糊处理方法、装置、电子设备及存储介质
Saranya et al. Face Mask Detection using CNN
CN115482523A (zh) 轻量级多尺度注意力机制的小物体目标检测方法及系统
US11605220B2 (en) Systems and methods for video surveillance
CN106339684A (zh) 一种行人检测的方法、装置及车辆
CN111654668A (zh) 监控设备同步方法、装置及计算机终端
CN116110095A (zh) 一种人脸过滤模型的训练方法、人脸识别方法及装置
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant