CN108108673A - 一种图像质量无关的深度学习人脸模型训练方法 - Google Patents

一种图像质量无关的深度学习人脸模型训练方法 Download PDF

Info

Publication number
CN108108673A
CN108108673A CN201711294189.XA CN201711294189A CN108108673A CN 108108673 A CN108108673 A CN 108108673A CN 201711294189 A CN201711294189 A CN 201711294189A CN 108108673 A CN108108673 A CN 108108673A
Authority
CN
China
Prior art keywords
sample
picture quality
unrelated
deep learning
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711294189.XA
Other languages
English (en)
Inventor
尚凌辉
张兆生
王弘玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Original Assignee
ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd filed Critical ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority to CN201711294189.XA priority Critical patent/CN108108673A/zh
Publication of CN108108673A publication Critical patent/CN108108673A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像质量无关的深度学习人脸模型训练方法。本发明对训练样本作了如下三种方式处理：随机将其中的一部分转化为灰度图像，并且最终使得该类样本中，灰度图像数量为M/2个。随机将其中M/2个样本进行降低图像质量处理。随机对其中M/2个样本加入高斯噪声。经过训练样本预处理后，使得在端到端的深度学习过程中，神经网络会尽量避免学习到与图像质量有关的特征，从而使得人脸识别模型最终能够做到图像质量无关。

Description

一种图像质量无关的深度学习人脸模型训练方法
技术领域
本发明属于视频监控技术领域，涉及一种图像质量无关的深度学习人脸模型训练方法。
背景技术
人脸识别是人脸信息处理中的一个焦点问题，它在基于内容的检索、数字视频处理、公安刑侦等领域有着极为广泛的价值，而目前对于人脸检索方法的研究，主要集中在以下几个方面：
对于人脸特征的研究；人脸特征算法决定了最终检索的效果，传统方法例如专利《人脸识别方法及人脸识别系统》[201010034359.2]，将人脸划分成若干子区域来提取纹理特征。
对于检索速度的研究；例如专利《一种大规模人脸图像检索方法》[201210527836.8],通过对人脸图像数据库中的所有人脸图像建立倒排索引，并利用重排序算法对候选人脸图像集合进行重排序，从而实现大规模人脸库上快速的检索。
利用深度神经网络来进行端到端的人脸识别，例如专利《一种人脸识别装置》[201520986440.9]。
特别的，对于基于深度学习的人脸识别方法，由于采用了端到端的策略，神经网络中所学习到的特征很大程度上会受到训练样本的影响。例如，当同一个人脸ID的样本中绝大部分都是黑白图像时，神经网络就会倾向于学习图像的颜色特征来区分这个ID的人脸，而图像的颜色特征，并不是一个真正意义上有效的人脸特征，利用这种特征来进行人脸识别，就会导致黑白的人脸之间相似度会比较高，这样的模型就无法做到颜色无关。
发明内容
本发明针对上述技术问题，提出了一种新的训练方法，对于训练样本进行预处理，使得在端到端的深度学习过程中，神经网络会尽量避免学习到与图像质量有关的特征，从而使得人脸识别模型最终能够做到图像质量无关。
本发明中假设训练样本共有N类，每类共有M个样本，对每一类中的M个样本进行如下操作：
随机将其中的一部分转化为灰度图像，并且最终使得该类样本中，灰度图像数量为M/2个。若原本灰度图像数量就已经超过M/2时，则将该类的所有样本从训练集中剔除。
随机将其中M/2个样本进行降低图像质量处理，具体是：假设原图分辨率为W*H，降质比例为r，则降质后的图像分辨率为(W*r)*(H*r)，再将降质后的图像放大至原始图像分辨率，这样就使得在保持图像尺度不变的情况下，降低了图像的有效分辨率。
随机对其中M/2个样本加入高斯噪声，具体是：假设高斯噪声满足分布：
对于每个像素，按此分布生成一个随机数，并在乘以一定值后与原像素值相加。
本发明的有益效果：
1、对图像质量特征（例如颜色、低质、噪声等）具备无关性；
2、能将计算量更有效的集中在人脸特征上，提高计算效率；
3、对人脸特征学习更加充分，提升整体识别性能。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。
当使用深度学习进行端到端人脸识别模型训练时，神经网络所训练得到的特征完全是以降低Loss为目的的，所以当同一个人脸ID的类内数据存在一些图像质量相关的特性时（例如黑白图像较多，或者都比较模糊，或者都有比较大的噪声），神经网络就会去学习这些图像质量相关，但与人脸本身无关的特征。这样会带来两个坏处：第一，使得模型对图像质量敏感，类似质量的人脸会有更高的相似度，影响识别效果；第二，消耗了模型容量，大量的计算被浪费在人脸无关的特征上。
因此，为了防止神经网络学习这些人脸无关的特征，本发明提出了一种训练集的预处理方法，使得这些图像质量相关的特征，对于区分不同ID的人脸不再有价值，那么Loss也就不再会指导网络去学习这些特征。
假设训练样本共有N类，每类共有M个样本，我们对每一类中的这M个样本进行如下操作：
随机将其中的一部分转化为灰度图像，并且最终使得该类样本中，灰度图像数量为M/2个。若原本灰度图像数量就已经超过M/2时，则将该类的所有样本从训练集中剔除。
彩色图转为灰度图的公式为：
Gray = (R*299 + G*587 + B*114 + 500) / 1000
其中R、G、B分别为彩色图中某个像素的RGB通道值，Gray为该像素转换后的灰度值。
通过此预处理方式，同一ID的人脸样本中，有一半是灰度图像，另一半是彩色图像，此时图像的灰度特征就不再能够区分不同人脸ID，神经网络也将不再会学习到灰度特征。
随机将其中M/2个样本进行降低图像质量处理，具体方法为：假设原图分辨率为W*H，降质比例为r，则降质后的图像分辨率为(W*r)*(H*r)，最后再将降质后的图像放大至原始图像分辨率，这样就使得在保持图像尺度不变的情况下，降低了图像的有效分辨率。其中降质比例r是在[0.6,0.9]范围内的一个随机数。
通过此预处理方式，同一ID的人脸样本中，有一半是降质图像，另一半原始质量图像，此时图像的低分辨率特征就不再能够区分不同人脸ID，神经网络也将不再会学习到低分辨率特征。
随机对其中M/2个样本加入高斯噪声，具体方法为：假设高斯噪声满足分布：
对于每个像素，按此分布生成一个随机数，并在乘以32后与原像素值相加。
通过此预处理方式，同一ID的人脸样本中，有一半是加噪图像，另一半原始图像，此时图像的噪声特征就不再能够区分不同人脸ID，神经网络也将不再会学习到噪声特征。
实施例：
假设训练样本共有10000类，每类150个样本。
对于10000类中的每一类，例如第1类，先按技术方案中的第1点，随机将其中的75个样本转换成灰度图像。
再利用技术方案中的第2点，随机将其中的75个样本进行低质处理：假设原图分辨率为96*112，降质比例为0.6，则降质后的图像分辨率为57.6*67.2，然后再将其放大回96*112，完成降质处理。最后利用第3点，随机对其中的75个样本进行加噪处理。
至此，对于第1类的所有训练数据预处理完成，依次再对剩余的9999类数据进行预处理。
依据上述方法，当用一张黑白人脸进行识别时，并不会出现黑白人脸相似度更高的情况；当用一张模糊人脸进行识别时，也不会出现模糊人脸相似度更高的情况。
综上，本发明不依赖于神经网络的结构，任何使用深度学习端到端的人脸识别模型都能在此训练方法中获益。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。

Claims (4)

1.一种图像质量无关的深度学习人脸模型训练方法，其特征在于：
假设训练样本共有N类，每类共有M个样本，对每一类中的M个样本进行如下操作：
随机将其中的一部分转化为灰度图像，并且最终使得该类样本中，灰度图像数量为M/2个；若原本灰度图像数量就已经超过M/2时，则将该类的所有样本从训练集中剔除；
随机将其中M/2个样本进行降低图像质量处理，具体是：假设原图分辨率为W*H，降质比例为r，则降质后的图像分辨率为(W*r)*(H*r)，再将降质后的图像放大至原始图像分辨率，这样就使得在保持图像尺度不变的情况下，降低了图像的有效分辨率；
随机对其中M/2个样本加入高斯噪声，具体是：假设高斯噪声满足分布：
对于每个像素，按此分布生成一个随机数，并在乘以一定值后与原像素值相加。
2.根据权利要求1所述的一种图像质量无关的深度学习人脸模型训练方法，其特征在于：灰度图像的转换公式为：
Gray = (R*299 + G*587 + B*114 + 500) / 1000
其中R、G、B分别为彩色图中某个像素的RGB通道值，Gray为该像素转换后的灰度值。
3.根据权利要求1所述的一种图像质量无关的深度学习人脸模型训练方法，其特征在于：所述的降质比例r是一个在[0.6,0.9]范围内的随机数。
4.根据权利要求1所述的一种图像质量无关的深度学习人脸模型训练方法，其特征在于：所述的随机数乘以32后与原像素值相加。
CN201711294189.XA 2017-12-08 2017-12-08 一种图像质量无关的深度学习人脸模型训练方法 Pending CN108108673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711294189.XA CN108108673A (zh) 2017-12-08 2017-12-08 一种图像质量无关的深度学习人脸模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711294189.XA CN108108673A (zh) 2017-12-08 2017-12-08 一种图像质量无关的深度学习人脸模型训练方法

Publications (1)

Publication Number Publication Date
CN108108673A true CN108108673A (zh) 2018-06-01

Family

ID=62209368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711294189.XA Pending CN108108673A (zh) 2017-12-08 2017-12-08 一种图像质量无关的深度学习人脸模型训练方法

Country Status (1)

Country Link
CN (1) CN108108673A (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697197A (zh) * 2009-10-20 2010-04-21 西安交通大学 一种基于典型相关分析空间超分辨率的人脸识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697197A (zh) * 2009-10-20 2010-04-21 西安交通大学 一种基于典型相关分析空间超分辨率的人脸识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
王莹: "基于深度学习的多形态人脸识别", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
蔡利梅等: "《数字图像处理》", 31 August 2014, 中国矿业大学出版社有限责任公司 *
赵民: "《石材数控加工技术》", 31 August 2013, 辽宁科学技术出版社 *
陈凯等: "《中文版Photoshop CS6入门与提高》", 31 October 2012, 北京希望电子出版社 *

Similar Documents

Publication Publication Date Title
CN111639692B (zh) 一种基于注意力机制的阴影检测方法
CN108121991B (zh) 一种基于边缘候选区域提取的深度学习舰船目标检测方法
CN112150493B (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN109657715B (zh) 一种语义分割方法、装置、设备及介质
CN109657612B (zh) 一种基于人脸图像特征的质量排序系统及其使用方法
CN107705254B (zh) 一种基于街景图的城市环境评估方法
CN107633226A (zh) 一种人体动作跟踪识别方法及系统
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN111639564A (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN114067444A (zh) 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统
CN106886763A (zh) 实时检测人脸的系统及其方法
CN112487981A (zh) 基于双路分割的ma-yolo动态手势快速识别方法
CN115205667A (zh) 一种基于YOLOv5s的密集目标检测方法
CN113743505A (zh) 基于自注意力和特征融合的改进ssd目标检测方法
CN113011253A (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN111222447A (zh) 基于神经网络及多通道融合lbp特征的活体检测方法
CN116798070A (zh) 一种基于光谱感知和注意力机制的跨模态行人重识别方法
CN104794726B (zh) 一种水下图像并行分割方法及装置
CN111462090A (zh) 一种多尺度图像目标检测方法
CN110414431B (zh) 基于弹性上下文关系损失函数的人脸识别方法及系统
CN115482529A (zh) 近景色水果图像识别方法、设备、存储介质及装置
CN113537173A (zh) 一种基于面部补丁映射的人脸图像真伪识别方法
CN110728214B (zh) 一种基于尺度匹配的弱小人物目标检测方法
CN111881803A (zh) 一种基于改进YOLOv3的畜脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180601

WD01 Invention patent application deemed withdrawn after publication