CN110796106A - 人像质量评估模型建立和从视频中进行人像识别的方法 - Google Patents
人像质量评估模型建立和从视频中进行人像识别的方法 Download PDFInfo
- Publication number
- CN110796106A CN110796106A CN201911065174.5A CN201911065174A CN110796106A CN 110796106 A CN110796106 A CN 110796106A CN 201911065174 A CN201911065174 A CN 201911065174A CN 110796106 A CN110796106 A CN 110796106A
- Authority
- CN
- China
- Prior art keywords
- picture
- portrait
- score
- quality evaluation
- definition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种人像质量评估模型建立和从视频中进行人像识别的方法。该人像质量评估模型建立方法包括：获取包括完整且清晰的人像的原始图片；对所述原始图片进行处理，分别获得完整度降低图片和清晰度降低图片；分别对所述原始图片、所述完整度降低图片、所述清晰度降低图片和无人像图片匹配一个标记分数；以分别匹配有标记分数的所述原始图片、所述完整度降低图片、所述清晰度降低图片和所述无人像图片对预设分类学习模型进行训练，获得人像质量评估模型。本发明的技术方案有助于提高人像识别的精度和效率。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种人像质量评估模型建立和从视频中进行人像识别的方法。
背景技术
在安防监控等领域，需要对采集到的人像进行识别，以确认人员身份。其中，检测到人像是第一步，在例如追踪(tracking)识别中，会在一段时间内检测出一个人的很多图像，然后从中选取部分图像发送至后续模型进行属性识别等进一步处理，如果送至后续模型的图像是随机选取的，则后续模型的输入图像质量也将是随机且不可控的，这将严重影响后续模型进行进一步处理的效果。另外，目前对图像质量的评估标准主要基于图像的模糊度、噪声和块状效益等外部特性，但是，特别是对人像识别，如果仅根据上述外部特性对图像质量予以评判，将有可能导致很清晰但与人像不太相关，甚至完全不相关的图像用于人像识别，这无疑将降低人像识别的效率以及识别精度。
发明内容
为了使人像质量评估更符合实际使用需求，本发明提供一种人像质量评估模型建立、人像质量评估、从视频中进行人像识别的方法、装置和存储介质。
第一方面，本发明提供了一种人像质量评估模型建立方法，该方法包括如下步骤：
获取包括完整且清晰的人像的原始图片；
对所述原始图片进行处理，分别获得完整度降低图片和清晰度降低图片；
分别对所述原始图片、所述完整度降低图片、所述清晰度降低图片和无人像图片匹配一个标记分数；
以分别匹配有标记分数的所述原始图片、所述完整度降低图片、所述清晰度降低图片和所述无人像图片对预设分类学习模型进行训练，获得人像质量评估模型。
第二方面，本发明提供了一种人像质量评估模型建立装置，该装置包括：
获取模块，用于获取包括完整且清晰的人像的原始图片；
处理模块，用于对所述原始图片进行处理，分别获得完整度降低图片和清晰度降低图片；
标记模块，用于分别对所述原始图片、所述完整度降低图片、所述清晰度降低图片和无人像图片匹配一个标记分数；
生成模块，用于以分别匹配有标记分数的所述原始图片、所述完整度降低图片、所述清晰度降低图片和所述无人像图片对预设分类学习模型进行训练，获得人像质量评估模型。
第三方面，本发明提供了一种人像质量评估模型建立装置，该装置包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的人像质量评估模型建立方法。
第四方面，本发明提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的人像质量评估模型建立方法。
本发明提供的人像质量评估模型建立方法、装置和存储介质的有益效果是，通过将包括完整且清晰的人像的原始图片进行处理，获得图片清晰度等外在特性改变的清晰度降低图片以及人像完整性等内在特性改变的完整度降低图片，根据一定规则对上述三者及无法体现人像特性的无人像图片分别进行评分，以体现出不同类型图片对应的用于人像识别的适用程度，将上述图片作为分类学习模型的输入，并以模型输出与对应图片的标定分数间是否满足预定规则不断对模型进行训练，最终获得符合要求的人像质量评估模型。其可用于后续人像质量评估过程，同时从图片的质量等外在特性与内容等内在特性对图片进行评估，获得更符合人像识别实际使用要求的图片，有助于提高人像识别的精度和效率。
第五方面，本发明提供了一种人像质量评估方法，该方法包括如下步骤：
将标定人像输入根据如上所述的人像质量评估模型建立方法建立的人像质量评估模型，获得人像质量评估分数；
将满足预设规则的所述人像质量评估分数对应的所述标定图像进行标记。
第六方面，本发明提供了一种人像质量评估装置，该装置包括：
处理模块，用于将标定人像输入根据如上所述的人像质量评估模型建立方法建立的人像质量评估模型，获得人像质量评估分数；
标记模块，用于将满足预设规则的所述人像质量评估分数对应的所述标定图像进行标记。
第七方面，本发明提供了一种人像质量评估装置，该装置包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的人像质量评估方法。
第八方面，本发明提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的人像质量评估方法。
本发明提供的人像质量评估方法、装置和存储介质的有益效果是，将图片输入通过上述人像质量评估模型建立方法建立的人像质量评估模型，可获得模型输出的相应的人像质量评估分数，该分数所反映的人像图片质量同时兼顾了清晰度等外在特性以及人像内容等内在特性，采用分数值较高的图片用于人像识别，不仅符合对图片清晰度等质量的客观要求，同时也更符合对人像的主观感受等要求，将有效提高人像识别的精度及效率。
第九方面，本发明提供了一种从视频中进行人像识别的方法，该方法包括如下步骤：
获取视频信息；
从所述视频信息中获取连续多帧图片，其中，至少一帧所述图片包括标定人像；
将连续多帧所述图片输入根据如上所述的人像质量评估模型建立方法建立的人像质量评估模型，获得人像质量评估分数；
根据满足预设规则的所述人像质量评估分数对应的所述图片，对所述视频信息中的所述标定人像进行识别。
第十方面，本发明提供了一种从视频中进行人像识别的装置，该装置包括：
获取模块，用于获取视频信息；
提取模块，用于从所述视频信息中获取连续多帧图片，其中，至少一帧所述图片包括标定人像；
处理模块，用于将连续多帧所述图片输入根据如上所述的人像质量评估模型建立方法建立的人像质量评估模型，获得人像质量评估分数；
识别模块，用于根据满足预设规则的所述人像质量评估分数对应的所述图片，对所述视频信息中的所述标定人像进行识别。
第十一方面，本发明提供了一种从视频中进行人像识别的装置，该装置包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的从视频中进行人像识别的方法。
第十二方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的从视频中进行人像识别的方法。
本发明提供的从视频中进行人像识别的方法、装置和存储介质的有益效果是，在需要对视频中的特定人像进行识别时，可将视频中部分帧图片输入通过上述人像质量评估模型建立方法建立的人像质量评估模型，可获得模型输出的相应的人像质量评估分数，该分数所反映的人像图片质量同时兼顾了清晰度等外在特性以及人像内容等内在特性，采用分数值较高的图片用于后续的人像属性识别，并根据特定人像的属性信息在视频中找出所有符合该属性，也就是具有该特定人像的帧图片，实现对视频信息中特定人像的追踪识别，将有效提高人像识别的精度及效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的人像质量评估模型建立方法的流程示意图；
图2为本发明实施例的根据原始图片获得完整度降低图片的示意图；
图3为本发明实施例的根据原始图片获得清晰度降低图片的示意图；
图4为本发明实施例的预设分类学习模型进行训练的示意图；
图5为本发明实施例的人像质量评估模型建立装置的结构框图；
图6为本发明实施例的人像质量评估方法的流程示意图；
图7为本发明实施例的从视频中进行人像识别的方法的流程示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，本发明实施例的一种人像质量评估模型建立方法包括如下步骤：
S11，获取包括完整且清晰的人像的原始图片。
具体地，可从数据库中直接获取包括完整且清晰的人像的原始图片，其中，数据库可事先建立，其已对不同类型的图片进行分类，且可以通过命名或赋予标签的方式对不同类型的图片予以区分。例如，数据库中部分图片的名称中就已体现其为包括完整且清晰的人像的图片，同时，其他部分图片的名称中可体现其为不包括任何图像的背景图片。这样，便可快速获取包括完整且清晰的人像的原始图片。
S12，对所述原始图片进行处理，分别获得完整度降低图片和清晰度降低图片。
具体地，以原始图片为基础，对其进行处理，分别获得完整度降低图片和清晰度降低图片。其中，由于原始图片中具有完整且清晰的人像，完整度降低图片可以理解为该图片中的人像相较于原始图片并不完整，可通过例如截取等方式获得；清晰度降低图片可以理解为该图片中的人像相较于原始图片并不清晰，可通过例如采样等方式获得。
S13，分别对所述原始图片、所述完整度降低图片、所述清晰度降低图片和无人像图片匹配一个标记分数。
具体地，对于人像分析，一方面，图片的清晰程度等外部特性会影响最终的识别精度，另一方面，图片呈现出的人为感官质量也将对识别效率和准确性造成影响。例如，同样清晰度的人像图片，其中的人像如果符合直立、正脸、无遮挡、全身等内在特性，则将对下一级属性识别模型更为友好，有助于提高后续人像识别的效率和精度。
由于原始图片、完整度降低图片、清晰度降低图片和无人像图片可在一定程度上分别从图片的外在特性和内在特性等方面对图片应用于人像识别产生影响，按照预设规则，对上述四种类型的图片分别匹配一个标记分数，标记分数可体现其应用于人像识别的适合程度，例如，可对原始图片标记最高分，对应的无人像图片则标记最低分，完整度降低图片、清晰度降低图片的标记分数则可介于原始图片和无人像图片之间。
需要注意的是，无人像图片可以从数据库中直接调用获得，也可以从原始图片中进行截取获得。
S14，以分别匹配有标记分数的所述原始图片、所述完整度降低图片、所述清晰度降低图片和所述无人像图片对预设分类学习模型进行训练，获得人像质量评估模型。
具体地，将上述图片分别输入预设分类学习模型，并对模型进行训练，使模型的输出值不断逼近各图片对应的标记分数。在满足预设条件后，例如训练模型输出值与对应输入图片的标记分数的差值足够小时，经训练的模型即为人像质量评估模型。其可用于后续人像质量评估过程中，输入一张图片，便可输出一个分数值，基于设定标记分数的规则，该分数值可反映输入图片用于人像识别的适用程度，有助于例如下一级属性识别模型选用更合适的输入图片，进而提高识别的精度和效率。
在本实施例中，通过将包括完整且清晰的人像的原始图片进行处理，获得图片清晰度等外在特性改变的清晰度降低图片以及人像完整性等内在特性改变的完整度降低图片，根据一定规则对上述三者及无法体现人像特性的无人像图片分别进行评分，以体现出不同类型图片对应的用于人像识别的适用程度，将上述图片作为分类学习模型的输入，并以模型输出与对应图片的标定分数间是否满足预定规则不断对模型进行训练，最终获得符合要求的人像质量评估模型。其可用于后续人像质量评估过程，同时从图片的质量等外在特性与内容等内在特性对图片进行评估，获得更符合人像识别实际使用要求的图片，有助于提高人像识别的精度和效率。
可选地，所述对所述原始图片进行处理，分别获得完整度降低图片和清晰度降低图片，具体包括：
对所述原始图片进行截断处理，获得包括部分且清晰的所述人像的图片，作为所述完整度降低图片。
具体地，如图2所示，通过原始图片获得完整度降低图片。原始图片中包括人像和背景，可以随机进行截断，只需保证截断获得的图片中依然存在部分人像。例如，可通过初步处理，基于人像和背景获得人像轮廓，在原始图片上随机生成一条截断线，若该截断线与上述人像轮廓相交，便可按照截断线对原始图片进行截断。需要注意的是，还可以设定只有满足保留原始图片中人像中例如至少50％部分的截断图像才能作为完整度降低图片。
在本实施例中，通过对原始图片中的人像进行截断，获得完整度降低图片，完整度降低图片相对于原始图片所能呈现的人像完整度有所降低，相对而言，完整度降低图片相对于原始图片用于人像识别的适用程度较低，将原始图片和完整度降低图片均作为学习模型的训练基础，可以使最终模型体现出不同的特性，有助于提高模型对人像识别等应用的适用性。
可选地，所述对所述原始图片进行处理，分别获得完整度降低图片和清晰度降低图片，具体包括：
对所述原始图像先后进行降采样与上采样处理，获得包括完整且模糊的所述人像的图片，作为所述清晰度降低图片。
具体地，如图3所示，通过原始图片获得清晰度降低图片。原始图片具有相对较高的清晰度，可采用插值等算法对原始图片进行采样处理，以获得能保留图片内容，但清晰度相对较低的清晰度降低图片。例如，首先通过双线性插值算法对原始图片进行降采样处理，然后通过双线性插值算法进一步进行上采样处理，以得到最终的模糊图像，也就是清晰度降低图片。
在本实施例中，通过对原始图片进行插值采样处理，在保证能基本保留图片内容的基础上，所获得的图片清晰度有所降低，相对而言，清晰度降低图片相对于原始图片用于人像识别的适用程度较低，将原始图片和清晰度降低图片均作为学习模型的训练基础，可以使最终模型体现出不同的特性，有助于提高模型对人像识别等应用的适用性。
可选地，所述分别对所述原始图片、所述完整度降低图片、所述清晰度降低图片和无人像图片匹配一个标记分数，具体包括：
对所述原始图片匹配第一等级标记分数，对所述完整度降低图片匹配第二等级标记分数，对所述清晰度降低图片匹配第三等级标记分数，对所述无人像图片匹配第四等级标记分数；其中，所述第一等级标记分数、所述第二等级标记分数、所述第三等级标记分数至所述第四等级标记分数依次降低，或者，所述第一等级标记分数、所述第二等级标记分数、所述第三等级标记分数至所述第四等级标记分数依次升高。
具体地，根据图片对人像识别的适用程度，可确定如下规则：原始完整且清晰的人像可以得到最高分，能清楚看到部分人像的图片可以得到次高分，比较模糊的人像可以得到次高分或低于次高分的分数，看不到人像的图片可以得到最低分，也就是标记分数越高的图片，越适合用于人像识别。或者，在一定范围内，定义标记分数越低的图片，越适合用于人像识别。
例如，可对图2和图3中最左侧的原始图片匹配标记分数为1，对图2中最右侧的完整度降低图片匹配标记分数为0.7，对图3中最右侧的清晰度降低图片匹配标记分数为0.3，对一张无人像图片匹配标记分数为0。
在本实施例中，对在人像识别中适用程度不同的不同图片标记不同的得分，通过图片对应的得分反映其用于人像识别的综合质量，基于具有不同标记分数的图片对分类学习模型进行训练，可以使最终模型体现出不同的特性，有助于提高模型对人像识别等应用的适用性。
可选地，如图4所示，所述预设分类学习模型包括神经网络和损失函数。
所述以分别匹配有标记分数的所述原始图片、所述完整度降低图片、所述清晰度降低图片和所述无人像图片对预设分类学习模型进行训练，获得人像质量评估模型，具体包括：
将标定图片输入具有标定参数的所述神经网络，获得所述神经网络输出的质量分数，其中，所述标定图片为匹配有标记分数的所述原始图片、所述完整度降低图片、所述清晰度降低图片或所述无人像图片。
将所述质量分数与所述标定图片匹配的所述标记分数的差值作为所述损失函数的输入，获得损失函数输出。
根据所述损失函数输出调整所述神经网络的所述标定参数，直至所述差值满足预设条件，将经参数调整的神经网络作为所述人像质量评估模型。
具体地，可选用例如VGG-16结构的神经网络的backbone结构对输入图像进行提取特征，其具有初始权重等标定参数，将一张标定图片输入神经网络，经过全连接处理可输出一个质量分数。由于标定图片已匹配有标记分数，将同一标定图片的质量分数与标记分数取差值，作为损失函数的输入，其中，损失函数可以选用例如smooth L1损失函数，通过最小化smooth L1损失函数，也就是通过其损失函数去不断调整神经网络的标定参数，直至神经网络输出的质量分数满足一定要求，例如输出质量分数与对应输入图片的标记分数的差值足够小时，最终获得人像质量评估模型。
在本实施例中，通过具有不同标记分数的图片对分类学习模型进行训练，最终获得满足要求的人像质量评估模型，该模型可以同时从图片的清晰度质量等外在特性与人像内容等内在特性去评估一张输入图片，并给出一个可以同时反映上述两种特性的质量评估分数，有助于后续例如进行属性识别的模型选用更合适的图片，从而提高人像识别的精度与效率。
如图5所示，本发明实施例的一种人像质量评估模型建立装置包括：
获取模块，用于获取包括完整且清晰的人像的原始图片。
处理模块，用于对所述原始图片进行处理，分别获得完整度降低图片和清晰度降低图片。
标记模块，用于分别对所述原始图片、所述完整度降低图片、所述清晰度降低图片和无人像图片匹配一个标记分数。
生成模块，用于以分别匹配有标记分数的所述原始图片、所述完整度降低图片、所述清晰度降低图片和所述无人像图片对预设分类学习模型进行训练，获得人像质量评估模型。
可选地，所述处理模块具体用于：
对所述原始图片进行截断处理，获得包括部分且清晰的所述人像的图片，作为所述完整度降低图片。
可选地，所述处理模块具体用于：
对所述原始图像先后进行降采样与上采样处理，获得包括完整且模糊的所述人像的图片，作为所述清晰度降低图片。
可选地，所述标记模块具体用于：
对所述原始图片匹配第一等级标记分数，对所述完整度降低图片匹配第二等级标记分数，对所述清晰度降低图片匹配第三等级标记分数，对所述无人像图片匹配第四等级标记分数；其中，所述第一等级标记分数、所述第二等级标记分数、所述第三等级标记分数至所述第四等级标记分数依次降低，或者，所述第一等级标记分数、所述第二等级标记分数、所述第三等级标记分数至所述第四等级标记分数依次升高。
可选地，所述预设分类学习模型包括神经网络和损失函数。
所述生成模块具体用于：
将标定图片输入具有标定参数的所述神经网络，获得所述神经网络输出的质量分数，其中，所述标定图片为匹配有标记分数的所述原始图片、所述完整度降低图片、所述清晰度降低图片或所述无人像图片。
将所述质量分数与所述标定图片匹配的所述标记分数的差值作为所述损失函数的输入，获得损失函数输出。
根据所述损失函数输出调整所述神经网络的所述标定参数，直至所述差值满足预设条件，将经参数调整的神经网络作为所述人像质量评估模型。
在本发明另一实施例中，一种人像质量评估模型建立装置包括存储器和处理器。所述存储器，用于存储计算机程序。所述处理器，用于当执行所述计算机程序时，实现如上所述的人像质量评估模型建立方法。
需要注意的是，该装置可以为服务器、移动终端等计算机装置。
在本发明另一实施例中，一种计算机可读存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的人像质量评估模型建立方法。
如图6所示，本发明实施例的一种人像质量评估方法包括如下步骤：
S21，将标定人像输入根据如上所述的人像质量评估模型建立方法建立的人像质量评估模型，获得人像质量评估分数。
具体地，通过上述人像质量评估模型建立方法获得人像质量评估模型后，可将其应用于例如追踪(tracking)识别中，由于追踪识别过程中会在一段时间内产生一个人的很多图像，将这些图像输入人像质量评估模型，可相应输出一个人像质量评估分数，而该分数所反映的人像图片质量同时兼顾了清晰度等外在特性以及人像内容等内在特性，更符合人的感官需求。
S22，将满足预设规则的所述人像质量评估分数对应的所述标定图像进行标记。
具体地，例如人像质量评估分数的范围是从0至1，可对例如分数高于0.9的所有图片进行标记，同样地，还可对例如分数介于0.8至0.9以及其他区间的各图片进行标记。在满足数量要求的前提下，可选取例如标记为得分高于0.9的图片发送至后续模型进行属性识别等进一步处理，或者选取分数在其他区间的图片发送至其他具有相应要求的后续模型等应用中。
在本实施例中，将图片输入通过上述人像质量评估模型建立方法建立的人像质量评估模型，可获得模型输出的相应的人像质量评估分数，该分数所反映的人像图片质量同时兼顾了清晰度等外在特性以及人像内容等内在特性，采用分数值较高的图片用于人像识别，不仅符合对图片清晰度等质量的客观要求，同时也更符合对人像的主观感受等要求，将有效提高人像识别的精度及效率。
可选地，该方法还包括如下步骤：
发送经标记的标定图像。
具体地，可将标记为得分高于0.9的图像发送至后续模型进行属性识别等进一步处理，还可根据实际需求，将具有其他得分标记的图像发送至相应的应用系统，使发送至该系统的图片对该系统具有更强的适用性。
在本发明另一实施例中，一种人像质量评估装置包括：
处理模块，用于将标定人像输入根据如上所述的人像质量评估模型建立方法建立的人像质量评估模型，获得人像质量评估分数。
标记模块，用于将满足预设规则的所述人像质量评估分数对应的所述标定图像进行标记。
可选地，该装置还包括：
发送模块，用于发送经标记的标定图像。
在本发明另一实施例中，一种人像质量评估装置包括存储器和处理器。所述存储器，用于存储计算机程序。所述处理器，用于当执行所述计算机程序时，实现如上所述的人像质量评估方法。
需要注意的是，该装置可以为服务器、移动终端等计算机装置。
在本发明另一实施例中，一种计算机可读存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的人像质量评估方法。
如图7所示，本发明实施例的一种从视频中进行人像识别的包括如下步骤：
S31，获取视频信息。
具体地，对于例如追踪(tracking)识别，期望从一段视频信息中对特定人像进行识别，确定包括该人像的每一帧图片以及该特定人像在每一帧图片中的位置标示信息等。
S32，从所述视频信息中获取连续多帧图片，其中，至少一帧所述图片包括标定人像。
具体地，可采用拆帧的方式提取例如视频信息最靠前的若干帧图片，或者其他具有标定人像的图片。
S33，将连续多帧所述图片输入根据如上所述的人像质量评估模型建立方法建立的人像质量评估模型，获得人像质量评估分数。
具体地，将各图片作为上述获得的人像质量评估模型的输入，相应地，模型会输出与各帧图片对应的人像质量评估分数。分数区间可设定为0至1之间，也就是各帧图片输入上述模型均会输出一个介于0至1之间的得分。
S34，根据满足预设规则的所述人像质量评估分数对应的所述图片，对所述视频信息中的所述标定人像进行识别。
具体地，由于图片的得分越高，反映该图片质量越高，同时兼顾了清晰度等外在特性以及人像内容等内在特性，更符合作为人像识别基础图片的要求。可将例如得分高于0.9的所有图片进行标记，并发送至后续模型进行属性识别等进一步处理，从而更准确确定该人像的属性，并在视频信息中找出所有符合上述属性的人像，也就是找出该人像所在的所有帧图片及该人像在各帧图片上的位置信息等。
在本实施例中，在需要对视频中的特定人像进行识别时，可将视频中部分帧图片输入通过上述人像质量评估模型建立方法建立的人像质量评估模型，可获得模型输出的相应的人像质量评估分数，该分数所反映的人像图片质量同时兼顾了清晰度等外在特性以及人像内容等内在特性，采用分数值较高的图片用于后续的人像属性识别，并根据特定人像的属性信息在视频中找出所有符合该属性，也就是具有该特定人像的帧图片，实现对视频信息中特定人像的追踪识别，将有效提高人像识别的精度及效率。
在本发明另一实施例中，一种从视频中进行人像识别的装置包括：
获取模块，用于获取视频信息。
提取模块，用于从所述视频信息中获取连续多帧图片，其中，至少一帧所述图片包括标定人像。
处理模块，用于将连续多帧所述图片输入根据如上所述的人像质量评估模型建立方法建立的人像质量评估模型，获得人像质量评估分数。
识别模块，用于根据满足预设规则的所述人像质量评估分数对应的所述图片，对所述视频信息中的所述标定人像进行识别。
在本发明另一实施例中，一种从视频中进行人像识别的装置包括存储器和处理器。所述存储器，用于存储计算机程序。所述处理器，用于当执行所述计算机程序时，实现如上所述的从视频中进行人像识别的方法。
需要注意的是，该装置可以为服务器、移动终端等计算机装置。
在本发明另一实施例中，一种计算机可读存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的从视频中进行人像识别的方法。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (11)
1.一种人像质量评估模型建立方法，其特征在于，包括：
获取包括完整且清晰的人像的原始图片；
对所述原始图片进行处理，分别获得完整度降低图片和清晰度降低图片；
分别对所述原始图片、所述完整度降低图片、所述清晰度降低图片和无人像图片匹配一个标记分数；
以分别匹配有标记分数的所述原始图片、所述完整度降低图片、所述清晰度降低图片和所述无人像图片对预设分类学习模型进行训练，获得人像质量评估模型。
2.根据权利要求1所述的人像质量评估模型建立方法，其特征在于，所述对所述原始图片进行处理，分别获得完整度降低图片和清晰度降低图片，具体包括：
对所述原始图片进行截断处理，获得包括部分且清晰的所述人像的图片，作为所述完整度降低图片。
3.根据权利要求1所述的人像质量评估模型建立方法，其特征在于，所述对所述原始图片进行处理，分别获得完整度降低图片和清晰度降低图片，具体包括：
对所述原始图像先后进行降采样与上采样处理，获得包括完整且模糊的所述人像的图片，作为所述清晰度降低图片。
4.根据权利要求1至3任一项所述的人像质量评估模型建立方法，其特征在于，所述分别对所述原始图片、所述完整度降低图片、所述清晰度降低图片和无人像图片匹配一个标记分数，具体包括：
对所述原始图片匹配第一等级标记分数，对所述完整度降低图片匹配第二等级标记分数，对所述清晰度降低图片匹配第三等级标记分数，对所述无人像图片匹配第四等级标记分数；其中，所述第一等级标记分数、所述第二等级标记分数、所述第三等级标记分数至所述第四等级标记分数依次降低，或者，所述第一等级标记分数、所述第二等级标记分数、所述第三等级标记分数至所述第四等级标记分数依次升高。
5.根据权利要求4所述的人像质量评估模型建立方法，其特征在于，所述预设分类学习模型包括神经网络和损失函数；
所述以分别匹配有标记分数的所述原始图片、所述完整度降低图片、所述清晰度降低图片和所述无人像图片对预设分类学习模型进行训练，获得人像质量评估模型，具体包括：
将标定图片输入具有标定参数的所述神经网络，获得所述神经网络输出的质量分数，其中，所述标定图片为匹配有标记分数的所述原始图片、所述完整度降低图片、所述清晰度降低图片或所述无人像图片；
将所述质量分数与所述标定图片匹配的所述标记分数的差值作为所述损失函数的输入，获得损失函数输出；
根据所述损失函数输出调整所述神经网络的所述标定参数，直至所述差值满足预设条件，将经参数调整的神经网络作为所述人像质量评估模型。
6.一种人像质量评估模型建立装置，其特征在于，包括：
获取模块，用于获取包括完整且清晰的人像的原始图片；
处理模块，用于对所述原始图片进行处理，分别获得完整度降低图片和清晰度降低图片；
标记模块，用于分别对所述原始图片、所述完整度降低图片、所述清晰度降低图片和无人像图片匹配一个标记分数；
生成模块，用于以分别匹配有标记分数的所述原始图片、所述完整度降低图片、所述清晰度降低图片和所述无人像图片对预设分类学习模型进行训练，获得人像质量评估模型。
7.一种人像质量评估模型建立装置，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1至5任一项所述的人像质量评估模型建立方法。
8.一种从视频中进行人像识别的方法，其特征在于，包括：
获取视频信息；
从所述视频信息中获取连续多帧图片，其中，至少一帧所述图片包括标定人像；
将连续多帧所述图片输入根据权利要求1至5任一项所述的人像质量评估模型建立方法建立的人像质量评估模型，获得人像质量评估分数；
根据满足预设规则的所述人像质量评估分数对应的所述图片，对所述视频信息中的所述标定人像进行识别。
9.一种从视频中进行人像识别的装置，其特征在于，包括：
获取模块，用于获取视频信息；
提取模块，用于从所述视频信息中获取连续多帧图片，其中，至少一帧所述图片包括标定人像；
处理模块，用于将连续多帧所述图片输入根据权利要求1至5任一项所述的人像质量评估模型建立方法建立的人像质量评估模型，获得人像质量评估分数；
识别模块，用于根据满足预设规则的所述人像质量评估分数对应的所述图片，对所述视频信息中的所述标定人像进行识别。
10.一种从视频中进行人像识别的装置，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求8所述的从视频中进行人像识别的方法。
11.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1至5任一项所述的人像质量评估模型建立方法或者如权利要求8所述的从视频中进行人像识别的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911065174.5A CN110796106A (zh) | 2019-11-04 | 2019-11-04 | 人像质量评估模型建立和从视频中进行人像识别的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911065174.5A CN110796106A (zh) | 2019-11-04 | 2019-11-04 | 人像质量评估模型建立和从视频中进行人像识别的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110796106A true CN110796106A (zh) | 2020-02-14 |
Family
ID=69442570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911065174.5A Pending CN110796106A (zh) | 2019-11-04 | 2019-11-04 | 人像质量评估模型建立和从视频中进行人像识别的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110796106A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112891803A (zh) * | 2021-03-11 | 2021-06-04 | 苏州博枫智能科技有限公司 | 基于图像识别的消防机器人 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171256A (zh) * | 2017-11-27 | 2018-06-15 | 深圳市深网视界科技有限公司 | 人脸图像质评模型构建、筛选、识别方法及设备和介质 |
| CN109146856A (zh) * | 2018-08-02 | 2019-01-04 | 深圳市华付信息技术有限公司 | 图像质量评定方法、装置、计算机设备及存储介质 |
| CN109360183A (zh) * | 2018-08-20 | 2019-02-19 | 中国电子进出口有限公司 | 一种基于卷积神经网络的人脸图像质量评估方法和系统 |
| CN109978764A (zh) * | 2019-03-11 | 2019-07-05 | 厦门美图之家科技有限公司 | 一种图像处理方法及计算设备 |
| US20190228547A1 (en) * | 2018-01-24 | 2019-07-25 | New York University | Systems and methods for diagnostic oriented image quality assessment |
| CN110298310A (zh) * | 2019-06-28 | 2019-10-01 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
-
2019
- 2019-11-04 CN CN201911065174.5A patent/CN110796106A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171256A (zh) * | 2017-11-27 | 2018-06-15 | 深圳市深网视界科技有限公司 | 人脸图像质评模型构建、筛选、识别方法及设备和介质 |
| US20190228547A1 (en) * | 2018-01-24 | 2019-07-25 | New York University | Systems and methods for diagnostic oriented image quality assessment |
| CN109146856A (zh) * | 2018-08-02 | 2019-01-04 | 深圳市华付信息技术有限公司 | 图像质量评定方法、装置、计算机设备及存储介质 |
| CN109360183A (zh) * | 2018-08-20 | 2019-02-19 | 中国电子进出口有限公司 | 一种基于卷积神经网络的人脸图像质量评估方法和系统 |
| CN109978764A (zh) * | 2019-03-11 | 2019-07-05 | 厦门美图之家科技有限公司 | 一种图像处理方法及计算设备 |
| CN110298310A (zh) * | 2019-06-28 | 2019-10-01 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112891803A (zh) * | 2021-03-11 | 2021-06-04 | 苏州博枫智能科技有限公司 | 基于图像识别的消防机器人 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109146892B (zh) | 一种基于美学的图像裁剪方法及装置 | |
| JP7013077B2 (ja) | 生体検出方法及び装置、機器並びに記憶媒体 | |
| CN108156519B (zh) | 图像分类方法、电视设备及计算机可读存储介质 | |
| WO2020098250A1 (zh) | 字符识别方法、服务器及计算机可读存储介质 | |
| CN109583483B (zh) | 一种基于卷积神经网络的目标检测方法和系统 | |
| US8509499B2 (en) | Automatic face detection and identity masking in images, and applications thereof | |
| CN110569808A (zh) | 活体检测方法、装置及计算机设备 | |
| CN111507333B (zh) | 一种图像矫正方法、装置、电子设备和存储介质 | |
| CN110782445A (zh) | 无参考图像质量评价方法及系统 | |
| CN109360179B (zh) | 一种图像融合方法、装置及可读存储介质 | |
| CN110942456B (zh) | 篡改图像检测方法、装置、设备及存储介质 | |
| CN111222380A (zh) | 一种活体检测方法、装置、及其识别模型训练方法 | |
| CN113781421A (zh) | 基于水下的目标识别方法、装置及系统 | |
| CN107368817B (zh) | 人脸识别方法和装置 | |
| CN110796106A (zh) | 人像质量评估模型建立和从视频中进行人像识别的方法 | |
| CN113792659A (zh) | 文档识别方法、装置及电子设备 | |
| CN117496019A (zh) | 一种驱动静态图像的图像动画处理方法及系统 | |
| CN112839167A (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| JP2005332382A (ja) | 画像処理方法および装置並びにプログラム | |
| JP2008084109A (ja) | 目開閉判定装置及び目開閉判定方法 | |
| CN112861836B (zh) | 文本图像处理方法、文本及卡证图像质量评价方法和装置 | |
| CN111859022A (zh) | 封面生成方法、电子设备及计算机可读存储介质 | |
| CN112634126A (zh) | 人像减龄处理方法、训练方法、装置、设备及存储介质 | |
| CN112907553A (zh) | 一种基于Yolov3的高清图像目标检测方法 | |
| CN113014914A (zh) | 一种基于神经网络的单人换脸短视频的识别方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200214 |
|
| RJ01 | Rejection of invention patent application after publication |