CN105825163A - 一种人脸图像的检索系统及方法 - Google Patents
一种人脸图像的检索系统及方法 Download PDFInfo
- Publication number
- CN105825163A CN105825163A CN201510013920.1A CN201510013920A CN105825163A CN 105825163 A CN105825163 A CN 105825163A CN 201510013920 A CN201510013920 A CN 201510013920A CN 105825163 A CN105825163 A CN 105825163A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- carried out
- facial image
- pretreatment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012937 correction Methods 0.000 claims abstract description 42
- 238000005516 engineering process Methods 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 230000001815 facial effect Effects 0.000 claims description 120
- 230000002452 interceptive effect Effects 0.000 claims description 29
- 230000009467 reduction Effects 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 230000003247 decreasing effect Effects 0.000 abstract 2
- 230000008569 process Effects 0.000 description 18
- 238000005286 illumination Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 210000001331 nose Anatomy 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 210000001508 eye Anatomy 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 238000011524 similarity measure Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000035045 associative learning Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 230000013016 learning Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸图像的检索系统及方法，克服现有技术中的人脸识别技术在图像不清晰或者存在姿态偏转等不利于识别的因素时检索正确率就会急剧下降的问题。该方法包括：对人脸图像进行全局的画质预处理；对预处理人脸图像进行人脸检测，获得其中中的人脸并进行特征点定位，获得人脸的特征点；根据特征点对人脸进行人脸校正，获得正面人脸图像；对正面人脸图像进行人脸建模，获得人脸模型；采用人脸模型对人脸图像数据库进行人脸比对，得到相似人脸序列。本发明的实施例解决了当前人脸识别技术在图像不清晰或者图像中的人脸存在姿态偏转等不利于识别的因素时识别正确率就会急剧下降的问题，提高了人脸识别的正确率和准确性。
Description
技术领域
本发明涉及智能安防技术领域，尤其涉及一种人脸图像的检索系统及方法。
背景技术
人脸作为图像与视频中最重要的视觉对象(VisualObject)之一，在计算机视觉、模式识别、多媒体技术研究中占有重要的地位。人脸检索是人脸信息处理及基于内容的检索研究中的一个焦点问题，是近年来研究十分活跃的一个方向。它在智能人机接口、基于内容的检索、数字视频处理、保安等领域有着极为广泛的应用价值。
人脸检索技术主要是通过一定的建模和比对方法，输出与所输入的人脸图像最相似的数据库(数据库规模通常上百万量级)中的前N张人脸图像，并按照相似度对这N张人脸图像进行排序，得到按照相似度从高到低的相似人脸序列即检索结果。其中，N为大于等于1的正整数。
人脸检索是人脸识别的经典应用之一。虽然人脸识别技术已经有了多年的发展，但是目前的人脸识别技术仍然存在当图像不清晰或者存在姿态偏转等不利于识别的因素时，检索的正确率就会急剧下降的问题。这一下降的趋势在检索数据库增大时会显得更加突出。
发明内容
本发明所要解决的技术问题是为了克服现有技术中的人脸识别技术在图像不清晰或者存在姿态偏转等不利于识别的因素时检索正确率就会急剧下降的问题。
为了解决上述技术问题，本发明的实施例首先提供了一种人脸图像的检索方法，该方法包括：对人脸图像进行全局的画质预处理，得到预处理人脸图像；对所述预处理人脸图像进行人脸检测，获得所述预处理人脸图像中的人脸；对所述预处理人脸图像中的人脸进行特征点定位，获得所述人脸的特征点；根据所述特征点对所述预处理人脸图像中的人脸进行人脸校正，获得正面人脸图像；对所述正面人脸图像进行人脸建模，获得人脸模型；采用所述人脸模型，对人脸图像数据库进行人脸比对，得到按相似度顺序进行排列的相似人脸序列。
优选地，对所述预处理人脸图像中的人脸进行人脸校正，包括：对所述预处理人脸图像中的人脸进行人脸进行几何校正和/或画质校正。
优选地，该方法包括：在所述全局的画质预处理、所述人脸检测、所述特征点定位以及所述人脸校正的至少一个过程中接受用户的交互式操作。
优选地，接受用户的交互式操作，包括：接受用户采用模板选择和/或参数调整的所述交互式操作。
优选地，对所述正面人脸图像进行人脸建模，获得人脸模型，包括：对所述正面人脸图像进行人脸建模，获得所述正面人脸图像的高维特征；对所述正面人脸图像的高维特征进行降维，获得所述人脸模型。
本发明的实施例还提供了一种人脸图像的检索方法，该方法包括：获取平均人脸模型；利用语义描述技术对所述平均人脸模型中的人脸部件进行调整，获得正面人脸图像；对所述正面人脸图像进行人脸建模，获得人脸模型；采用所述人脸模型，对人脸图像数据库进行人脸比对，得到按相似度顺序进行排列的相似人脸序列。
优选地，对所述平均人脸模型中的人脸部件进行调整，包括：采用模板选择和/或参数调整的方式，对所述平均人脸模型中的人脸部件进行所述调整。
优选地，对所述正面人脸图像进行人脸建模，获得人脸模型，包括：对所述正面人脸图像进行人脸建模，获得所述正面人脸图像的高维特征；对所述正面人脸图像的高维特征进行降维，获得所述人脸模型。
本发明的实施例还提供了一种人脸图像的检索系统，该系统包括：预处理模块，设置为对人脸图像进行全局的画质预处理，得到预处理人脸图像；检测模块，设置为对所述预处理人脸图像进行人脸检测，获得所述预处理人脸图像中的人脸；定位模块，设置为对所述预处理人脸图像中的人脸进行特征点定位，获得所述人脸的特征点；校正模块，设置为根据所述特征点对所述预处理人脸图像中的人脸进行人脸校正，获得标准的正面人脸图像；建模模块，设置为对所述正面人脸图像进行人脸建模，获得人脸模型；比对模块，设置为采用所述人脸模型，对人脸图像数据库进行人脸比对，得到按相似度顺序进行排列的相似人脸序列。
优选地，所述校正模块设置为对所述预处理人脸图像中的人脸进行人脸进行几何校正和/或画质校正。
优选地，该系统包括：交互式操作模块，设置为在所述全局的画质预处理、所述人脸检测、所述特征点定位以及所述人脸校正的至少一个过程中接受用户的交互式操作。
优选地，所述交互式操作模块设置为接受用户采用模板选择和/或参数调整的所述交互式操作。
优选地，所述建模模块包括：建模单元，设置为对所述正面人脸图像进行人脸建模，获得所述正面人脸图像的高维特征；降维单元，设置为对所述正面人脸图像的高维特征进行降维，获得所述人脸模型。
本发明的实施例还提供了一种人脸图像的检索系统，该系统包括：获取模块，设置为获取平均人脸模型；调整模块，设置为利用语义描述技术对所述平均人脸模型中的人脸部件进行调整，获得标准的正面人脸图像；建模模块，设置为对所述正面人脸图像进行人脸建模，获得人脸模型；比对模块，设置为采用所述人脸模型，对人脸图像数据库进行人脸比对，得到按相似度顺序进行排列的相似人脸序列。
优选地，所述调整模块设置为采用模板选择和/或参数调整的方式，对所述平均人脸模型中的人脸部件进行所述调整。
优选地，所述建模模块包括：建模单元，设置为对所述正面人脸图像进行人脸建模，获得所述正面人脸图像的高维特征；降维单元，设置为对所述正面人脸图像的高维特征进行降维，获得所述人脸模型。
与现有技术相比，本发明的实施例可以根据一张模糊的或者存在姿态偏转等不利于检索因素的人脸图像生成一张标准的、清晰的正面人脸图像。本发明的实施例可以通过语言描述的交互过程生成一张符合描述者描述需求的人脸图像。本发明的实施例解决了当前人脸识别技术在图像不清晰或者图像中的人脸存在姿态偏转等不利于识别的因素时识别正确率就会急剧下降的问题，提高了人脸识别的正确率和准确性。利用本发明的实施例所生成的人脸图像可以进行人脸检索，弥补了当前没有可以作为输入的人脸图像就无法进行人脸检索的缺陷。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。
附图说明
附图用来提供对本发明的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本发明实施例的附图与本发明的实施例一起用于解释本发明的技术方案，但并不构成对本发明技术方案的限制。
图1为本发明的人脸图像的检索方法的实施例的流程示意图。
图2为本发明的人脸图像的检索方法的另一实施例的流程示意图。
图3为本发明的人脸图像的检索系统的实施例的构造示意图。
图4为本发明的人脸图像的检索系统的另一实施例的构造示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本发明实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。
附图所示出的本发明的实施例的方法所包含的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然本发明的实施例的方法在流程图中示出了逻辑顺序，但是在某些情况下，本发明的实施例的方法也可以以不同于附图所示的顺序执行所示出或描述的步骤。
本发明的发明人在对现有技术进行研究时，还发现了现有技术存在如下的技术缺陷：人脸检索应用的输入是一张人脸图像，这就需要存在一张人脸图像，以可以作为输入。但是当没有可以作为输入的人脸图像时，就无法使用人脸检索系统。虽然可以通过素描生成一张虚拟的人脸图像然后作为输入来弥补这一不足，但是虚拟的人脸图像与真实的人脸图像差异非常大，用作检索的输入，往往效果不佳。
本发明的人脸图像的检索方法的实施例，基于一张真实的人脸图像生成一张就可以用于人脸检索的人脸图像。该作为输入的真实的人脸图像，可以不是标准的、清晰的正面人脸图像，在人脸图像不清晰或者人脸图像中的人脸存在姿态偏转等不利于识别的因素时，仍然可以获得清晰的、标准的正面人脸图像。如图1所示，该检索方法的实施例主要包括如下步骤。
步骤S110，对真实的人脸图像进行全局的画质预处理，降低图像噪声、光照等不利因素对后续处理的影响。
接收真实的人脸图像的输入，或者主动获取一张真实的人脸图像。然后对该真实的人脸图像进行全局的画质预处理，得到预处理人脸图像。该画质预处理，主要包括对该真实的人脸图像进行去噪点、去光照影响、对比度和清晰度调整(如提升对比度和清晰度)等处理。
步骤S120，对所得到的预处理人脸图像进行人脸检测，从经过了上述全局的画质预处理的人脸图像(也即预处理人脸图像)中检测获得人脸。
步骤S130，对检测获得的预处理人脸图像中的人脸进行特征点定位，找到该幅真实的人脸图像中人脸的特征点。
步骤S140，基于所定位到的特征点，对预处理人脸图像中的人脸进行校正，获得标准的正面人脸图像。由于对人脸图像进行了画质处理，因此所得到的人脸图像，是清晰的。从而，利用通过该校正所得到的标准的正面人脸图像，就可以进行高效、准确的人脸检索了。
本步骤中的对人脸进行校正，主要包括对人脸的几何校正和/或对人脸的画质校正。对人脸的几何校正，主要包括将存在姿态偏转的人脸通过3D匹配和/或3D旋转技术调整成标准的正面人脸。人脸的画质校正，主要包括根据所检测出的人脸本身的特性，进行光照校正(如去光照影响或者增加光照)、清晰度校正(提升或者降低清晰度)等处理。
步骤S150，基于该标准的正面人脸图像进行人脸建模。
本发明的实施例中，人脸建模采用的是基于五官的Gabor/LBP特征提取算法(Gabor特征和LBP特征是图像处理技术中两种常用的图像特征)，获得该标准的正面人脸图像的高维特征。
步骤S160，采用非线性子空间的特征降维技术，对所获得的标准的正面人脸图像的高维特征进行降维处理，得到人脸模型。本发明的实施例中，该人脸模型的维度比如可以是5000维等。
步骤S170，采用该人脸模型，对人脸图像数据库进行人脸比对，得到按相似度顺序从高到低的相似人脸序列。其中，对人脸图像数据库进行人脸比对，可以是异画质的人脸比对。异画质的人脸比对，重点在于当两个模型的原始图片存在较大差异时仍然能够得到比较好的相似度计算结果。采用基于MetricLearning的学习方法，并结合学习得到的度量矩阵计算马氏距离，即便合成人脸和库中人脸画质差异较大，得到的相似度仍然比较准确。
本发明的实施例，可以根据需要，针对上述的任何中间处理结果或者最后得到的经过校正的人脸图像，接受用户的交互式操作，以便提高最后得到的人脸图像的效果。比如，对所检测出的人脸进行特征点定位时，接收用户对自动定位出的特征点的调整，并根据用户所进行的调整对特征点进行修正，以提高所检测出的人脸中特征点的准确性，为后续提高人脸校正质量打好基础。具体地，对人脸中的双眼皮进行特征点的定位时，接收用户通过交互式操作所输入的两层眼皮之间的调整参数，并根据用户所输入的调整参数对两层眼皮之间的距离进行微调；在对人脸中右眼眼角进行特征点的定位时，接收用户通过交互式操作所输入的眼角的角度参数，并根据用户所输入的眼角的角度参数，对人脸中右眼的眼角进行微调，等等。
上述的本发明的实施例，只是一种较佳的实施方式，可以较高效率地得到较高质量的标准的正面人脸图像。在另一些实施例中，本发明的方法所包含的步骤，可以进行顺序上的调整或者选择性地执行。比如，对所检测出的人脸进行的画质校正和几何校正，二者执行的先后顺序是可以调整的，既可以先进行画质校正再进行几何校正，也可以先进行几何校正在进行画质校正。当然，还可以一边进行画质校正一边进行几何校正。再如，在对人脸进行画质校正时，既可以是仅进行光照校正，也可以是仅进行清晰度校正，还可以是既进行光照校正又进行清晰度校正。本发明的普通技术人员能够理解，这些步骤的顺序调整或者选择性地执行，主要是针对不同情形下的灵活选择，本领域的普通技术人员根据需要自行确定。
如图1所示，对真实的人脸图像进行预处理、人脸检测、特征定位以及人脸校正时，还可以基于人脸语义描述技术，对人脸的嘴巴、鼻子、颧骨、眼睛、眉毛、耳朵等部件进行细致的调整。在这些步骤中，允许用户以交互式操作方式的介入，可以进一步提高人脸图像处理结果的准确性。
比如，在对真实的人脸图像进行全局的画质预处理过程中，用户可以通过交互式操作来选择通用的图像处理方法，以提升全局的图像画质，包括去噪点、去光照影响、提升对比度和清晰度等。具体地，可以选择平滑滤波、中值滤波等技术进行去噪点处理，可以选择Retinex滤波、直方图均衡等算法来进行去光照影响的处理，可以选择直方图校正等算法来提升图像的对比度，可以选择图像锐化等算法来提升图像的清晰度。本发明的实施例中，用户可以根据不同的图像特性，来选择上述预处理的具体处理算法。
再如，可以通过Adaboost人脸检测算法等在经过画质预处理的人脸图像中检测出人脸位置，以便进一步地针对人脸进行后续处理。在这个处理过程中，对于检测多个人脸的情形，用户可以通过交互式操作逐一选择其中的每个人脸。在自动检测失败时，用户还可以通过框选的方式来在人脸图像中选择给出待处理的人脸。
又如，在人脸的特征定位过程中，基于回归的人脸特征点定位方法，在人脸图像中精细定位出多个(本发明的一个实施例中用到了87个)特征点，以描出人脸五官和脸颊的轮廓等。当存在特征点定位不够精准时，用户可以通过交互式操作来修改特征点的坐标，以精确调整特征点的位置。
还如，在人脸的几何校正过程中，可以基于优化的3D人脸匹配算法，如3D匹配和3D旋转等，将人脸校正为标准的正面人脸。由于不同的人脸模型对于后续的处理存在着细微的差异，用户可以通过交互式操作，选择合适的3D人脸模型来提高几何校正的精度和准确度。
在人脸的画质校正过程中，可以采用3D纹理贴图和基于学习的超分辨率算法，将人脸图像合成到3D模型上。
本发明的实施例中，可以将人脸按照部件进行独立化处理。比如，可以将人脸分为额头、脸颊、下巴、双耳、双眼、双眉、鼻梁、鼻、鼻翼、嘴、嘴角、头发、胡须(上唇)、胡须(下巴)以及眼镜等15个部件。在对人脸的部件进行调整时，可以每次选中其中一个部件来进行。
基于人脸语义描述技术，接受用户对人脸的部件进行交互式操作的调整，可以是接受用户采用模板选择和/或参数调整等多种方式所提供的交互式操作。模板选择是指预先按照不同参数为人脸的各个部件生成众多模板，在进行人脸部件的调整时，用户选择其认为与所需要的部件比较接近的相应的部件模板并进行替换。模板选择这种方式通常可以用来调整不同的部件外观。上述的参数调整则是直接修改部件的参数，这种方式通常可以用来调整部件的位置、大小等。
对于模板选择的调整方法，为了提高调整效率，可以预先构造出合理的人脸模板，即通过少数种类的模板就能够均匀覆盖整个部件外观空间。
本发明的实施例采用超过600万的真实的标准的正面人脸图像针对每个部件进行主元分析(PCA)建模，再对每个部件的PCA模型取前3个分量(软件上对应于三维排列，从而通过上下、左右和翻页键即可进行快速操作)，每个分量在按照取7个样点，共计得到343个模板。其中，λ为主元分析中每个主成分对应的特征值，用来限定对应主成分归一化变化范围。
对于参数调整方式，除位置和大小参数外，每个部件的PCA模型的前10个分量都可以作为控制参数进行提供，从而可以获得更加逼真的部件。
本发明的人脸图像的检索方法的实施例中，也可以基于平均人脸模型来获得可以用来进行人脸检索的人脸图像。
如图2所示，本发明的人脸图像的检索方法的另一实施例，主要包括如下步骤。
步骤S210，获取平均人脸模型。
本发明的实施例中，平均人脸模型可以是预先基于海量的标准的正面人脸图像数据统计得到。
步骤S220，利用语义描述技术对平均人脸模型中的人脸部件进行调整，获得标准的正面人脸图像。在调整过程中，每次可以选择一个部件来进行。先前进行过调整的部件，在对另一些部件进行调整之后，又可以继续进行调整。
本发明的实施例中，可以将人脸按照部件进行独立化处理。比如，可以将人脸分为额头、脸颊、下巴、双耳、双眼、双眉、鼻梁、鼻、鼻翼、嘴、嘴角、头发、胡须(上唇)、胡须(下巴)以及眼镜等15个部件。在对人脸的部件进行调整时，可以每次选中其中一个部件来进行。
对人脸的部件进行调整，可以采用模板选择和/或参数调整等多种方式。模板选择是指预先按照不同参数为人脸的各个部件生成众多模板，在进行人脸部件的调整时，用户选择其认为与所需要的部件比较接近的相应的部件模板并进行替换。模板选择这种方式通常可以用来调整不同的部件外观。上述的参数调整则是直接修改部件的参数，这种方式通常可以用来调整部件的位置、大小等。预先构造出合理的人脸模板，请参考本发明前述实施例中的内容。
步骤S230，基于该标准的正面人脸图像进行人脸建模。
本发明的实施例中，人脸建模采用的是基于五官的Gabor/LBP特征提取算法(Gabor特征和LBP特征是图像处理技术中两种常用的图像特征)，获得该标准的正面人脸图像的高维特征。
步骤S240，采用非线性子空间的特征降维技术，对所获得的标准的正面人脸图像的高维特征进行降维处理，得到人脸模型。本发明的实施例中，该人脸模型的维度比如可以是5000维等。
步骤S250，采用该人脸模型，对人脸图像数据库进行人脸比对，得到按相似度顺序从高到低的相似人脸序列。其中，对人脸图像数据库进行人脸比对，可以是异画质的人脸比对。异画质的人脸比对，重点在于当两个模型的原始图片存在较大差异时仍然能够得到比较好的相似度计算结果。采用基于MetricLearning的学习方法，并结合学习得到的度量矩阵计算马氏距离，即便合成人脸和库中人脸画质差异较大，得到的相似度仍然比较准确。
本发明的实施例，对人脸的部件所进行的调整，无论是模板选择还是参数调整的方式，语义输入合成人脸图像的整个过程都是描述者(也即用户或者使用者)高度参与的交互过程。系统通过模板或者参数，可以快速地合成出不同的人脸图像，并由描述者主观判断是否与期望吻合。
对于不同的部件，调整的先后顺序并没有要求。通常可以先对轮廓等进行初步的调整，得到一个比较接近的外观，然后再反复选择剩下的各种部件来进行调整，最终可以得到与描述者语义描述一致的人脸。
本发明的实施例中，对于语义描述合成人脸图像时按照部件来进行调整，可以降低调整的难度，从而使交互过程便于实施。需要说明的是，本发明的实施例在上述所列举的15个部件的划分，仅是众多划分方式的一种；对于与之类似的划分方式应当认为与本发明等同，均在本发明的保护范围内。
利用本发明的上述实施例所得到的标准的正面人脸图像，可以用来进行人脸检索。需要说明的是，前述基于真实的人脸图像或者基于语义描述所生成的标准的正面人脸图像，毕竟不是真实的人脸图像，而是经过一定处理后得到的虚拟的人脸图像。因此，可以引入异画质人脸比对等技术，得到比较好的相似度排序，最终得到较为准确的相似人脸序列。
本发明的实施例，根据人脸图像或者语义描述所得到的标准的正面人脸图像，实际是虚拟的人脸图像。而人脸图像数据库中所存在的人脸图像，通常是标准的证件照(如身份证照片等)。本发明的实施例采用机器学习的方法，让用来进行人脸比对的相似度计算表达式能够容忍一定的画质差异。加入两张同一个人的人脸图像，一张是标准照，一张是生成的虚拟人脸，如果不做此处理，则二者之间相似度会很低，而考虑了画质差异则相似度仍然会很高。
MetricLearning是解决异画质的方案之一。具体做法是通过大规模的样本直接学习得到考虑了画质差异的度量矩阵，然后就可以直接用来替换标准的马氏距离计算中的协方差矩阵。
本发明的技术方案，采用虚拟的人脸图像(即前述实施例中的标准的正面人脸图像)与标准证件照等人脸图像数据库中的人脸图像进行的比对，并没有采用对人脸图像数据库中的人脸图像进行虚拟化处理，比如本发明前述实施例中根据所输入的人脸图像获得标准的正面人脸图像的方案，避免了这种方案在实现时效率较低以及处理过程中容易丢死部分信息的固有缺陷。
如图3所示，本发明的人脸图像的检索系统，主要包括有预处理模块310、检测模块320、定位模块330、校正模块340、建模模块350以及比对模块360等。
预处理模块310，设置为对真实的人脸图像进行全局的画质预处理，得到预处理人脸图像。
检测模块320，与预处理模块310相连，设置为对预处理人脸图像进行人脸检测，获得预处理人脸图像中的人脸。
定位模块330，与检测模块320相连，设置为对预处理人脸图像中的人脸进行特征点定位，获得人脸的特征点。
校正模块340，与定位模块330相连，设置为根据特征点对预处理人脸图像中的人脸进行人脸校正，获得标准的正面人脸图像。校正模块340设置为对预处理人脸图像中的人脸进行人脸进行几何校正和/或画质校正。
建模模块350，与校正模块340相连，设置为对校正模块340获得的标准的正面人脸图像进行人脸建模，获得人脸模型。
比对模块360，与建模模块350相连，设置为采用建模模块350所获得的人脸模型，对人脸图像数据库进行人脸比对，得到按相似度顺序进行排列的相似人脸序列。
如图3所示，建模模块350包括建模单元351和降维单元352。建模单元351与校正模块340相连，设置为对校正模块340获得的标准的正面人脸图像进行人脸建模，获得标准的正面人脸图像的高维特征。降维单元352，与建模单元351及比对模块360相连，设置为对建模单元351获得的标准的正面人脸图像的高维特征进行降维，获得人脸模型。
本发明的人脸检索系统的实施例，还请参考前述图1所描述的本发明的人脸检索方法的实施例。
如图3所示，本发明的人脸图像的检索系统，还可以包括交互式操作模块370，与预处理模块310、检测模块320、定位模块330、校正模块340、建模模块350中的建模单元351和降维单元352、以及比对模块360等均相连，设置为在全局的画质预处理、人脸检测、特征点定位、人脸校正、人脸建模以及比对的至少一个过程中接受用户的交互式操作。该交互式操作模块370设置为接受用户采用模板选择和/或参数调整的交互式操作。
如图4所示，本发明的人脸图像的另一种检索系统的实施例，包括获取模块410、调整模块420、建模模块430以及比对模块440等。
获取模块410设置为获取平均人脸模型。
调整模块420，与获取模块410相连，设置为利用语义描述技术对平均人脸模型中的人脸部件进行调整，获得标准的正面人脸图像。具体地，该调整模块420设置为采用模板选择和/或参数调整的方式，对平均人脸模型中的人脸部件进行调整。
建模模块430，与调整模块420相连，设置为对调整模块420获得的标准的正面人脸图像进行人脸建模，获得人脸模型。
比对模块440，与建模模块430相连，设置为采用建模模块430所获得的人脸模型，对人脸图像数据库进行人脸比对，得到按相似度顺序进行排列的相似人脸序列。
如图4所示，建模模块430包括建模单元431和降维单元432。建模单元431与调整模块420相连，设置为对调整模块420获得的标准的正面人脸图像进行人脸建模，获得标准的正面人脸图像的高维特征。降维单元432，与建模单元431及比对模块440相连，设置为对建模单元431获得的标准的正面人脸图像的高维特征进行降维，获得人脸模型。
本发明的人脸图像的检索系统的实施例，还请参考前述图2所描述的本发明的人脸图像的检索方法的实施例。
本发明的实施例良好地解决了先前人脸检索技术对存在模糊、姿态偏转等不利于人脸识别因素的图像，检索正确率显著低下的问题。本发明的实施例能够通过交互式操作生成一张与描述内容最相似的标准的正面人脸图像。而且，该标准的正面人脸图像可以作为人脸作为检索的输入。
本发明的实施例中，基于自动重构的技术，可以通过模糊的人脸图像生成更加清晰的人脸图像，对存在姿态偏转的人脸图像生成正面的人脸图像，以及通过语言描述交互式生成人脸图像，这三者并不是相互排斥的，而是可以根据实际需要，可以选择其中任意一种、或者其中任意两种、或者全部三种方式来生成标准的正面的人脸图像。而且，还可以把所生成的标准的正面的人脸图像作为检索输入来进行人脸检索，获得高准确度的检索结果。
基于人脸图像，采用自动重构的方式可以适用于有输入但输入图像质量不高的情况。语义描述主要是针对没有人脸图像可供输入的情况，比如根据人(如目击证人等)的描述生成虚拟的人脸图像。对于自动重构，由于自动化完成可能存在一些偏差，可以通过人的语义描述进行修正，保证最后输出的人脸图像以及后续所进行的检索的准确性。对于语义描述，因为人很难是一次性精确描述一个图像，所以必然需要交互的过程，逐渐地改动某个局部，直到符合描述着的预期。
本领域的技术人员应该明白，上述的本发明实施例所提供的系统的各组成部分，以及方法中的各步骤，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上。可选地，它们可以用计算装置可执行的程序代码来实现。从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明技术方案而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (16)
1.一种人脸图像的检索方法，该方法包括：
对人脸图像进行全局的画质预处理，得到预处理人脸图像；
对所述预处理人脸图像进行人脸检测，获得所述预处理人脸图像中的人脸；
对所述预处理人脸图像中的人脸进行特征点定位，获得所述人脸的特征点；
根据所述特征点对所述预处理人脸图像中的人脸进行人脸校正，获得正面人脸图像；
对所述正面人脸图像进行人脸建模，获得人脸模型；
采用所述人脸模型，对人脸图像数据库进行人脸比对，得到按相似度顺序进行排列的相似人脸序列。
2.根据权利要求1所述的方法，其中，对所述预处理人脸图像中的人脸进行人脸校正，包括：
对所述预处理人脸图像中的人脸进行人脸进行几何校正和/或画质校正。
3.根据权利要求1所述的方法，其中，该方法包括：
在所述全局的画质预处理、所述人脸检测、所述特征点定位以及所述人脸校正的至少一个过程中接受用户的交互式操作。
4.根据权利要求3所述的方法，其中，接受用户的交互式操作，包括：
接受用户采用模板选择和/或参数调整的所述交互式操作。
5.根据权利要求1所述的方法，其中，对所述正面人脸图像进行人脸建模，获得人脸模型，包括：
对所述正面人脸图像进行人脸建模，获得所述正面人脸图像的高维特征；
对所述正面人脸图像的高维特征进行降维，获得所述人脸模型。
6.一种人脸图像的检索方法，该方法包括：
获取平均人脸模型；
利用语义描述技术对所述平均人脸模型中的人脸部件进行调整，获得正面人脸图像；
对所述正面人脸图像进行人脸建模，获得人脸模型；
采用所述人脸模型，对人脸图像数据库进行人脸比对，得到按相似度顺序进行排列的相似人脸序列。
7.根据权利要求6所述的方法，其中，对所述平均人脸模型中的人脸部件进行调整，包括：
采用模板选择和/或参数调整的方式，对所述平均人脸模型中的人脸部件进行所述调整。
8.根据权利要求6所述的方法，其中，对所述正面人脸图像进行人脸建模，获得人脸模型，包括：
对所述正面人脸图像进行人脸建模，获得所述正面人脸图像的高维特征；
对所述正面人脸图像的高维特征进行降维，获得所述人脸模型。
9.一种人脸图像的检索系统，该系统包括：
预处理模块，设置为对人脸图像进行全局的画质预处理，得到预处理人脸图像；
检测模块，设置为对所述预处理人脸图像进行人脸检测，获得所述预处理人脸图像中的人脸；
定位模块，设置为对所述预处理人脸图像中的人脸进行特征点定位，获得所述人脸的特征点；
校正模块，设置为根据所述特征点对所述预处理人脸图像中的人脸进行人脸校正，获得标准的正面人脸图像；
建模模块，设置为对所述正面人脸图像进行人脸建模，获得人脸模型；
比对模块，设置为采用所述人脸模型，对人脸图像数据库进行人脸比对，得到按相似度顺序进行排列的相似人脸序列。
10.根据权利要求9所述的系统，其中：
所述校正模块设置为对所述预处理人脸图像中的人脸进行人脸进行几何校正和/或画质校正。
11.根据权利要求9所述的系统，其中，该系统包括：
交互式操作模块，设置为在所述全局的画质预处理、所述人脸检测、所述特征点定位以及所述人脸校正的至少一个过程中接受用户的交互式操作。
12.根据权利要求11所述的系统，其中：
所述交互式操作模块设置为接受用户采用模板选择和/或参数调整的所述交互式操作。
13.根据权利要求9所述的系统，其中，所述建模模块包括：
建模单元，设置为对所述正面人脸图像进行人脸建模，获得所述正面人脸图像的高维特征；
降维单元，设置为对所述正面人脸图像的高维特征进行降维，获得所述人脸模型。
14.一种人脸图像的检索系统，该系统包括：
获取模块，设置为获取平均人脸模型；
调整模块，设置为利用语义描述技术对所述平均人脸模型中的人脸部件进行调整，获得标准的正面人脸图像；
建模模块，设置为对所述正面人脸图像进行人脸建模，获得人脸模型；
比对模块，设置为采用所述人脸模型，对人脸图像数据库进行人脸比对，得到按相似度顺序进行排列的相似人脸序列。
15.根据权利要求14所述的系统，其中：
所述调整模块设置为采用模板选择和/或参数调整的方式，对所述平均人脸模型中的人脸部件进行所述调整。
16.根据权利要求14所述的系统，其中，所述建模模块包括：
建模单元，设置为对所述正面人脸图像进行人脸建模，获得所述正面人脸图像的高维特征；
降维单元，设置为对所述正面人脸图像的高维特征进行降维，获得所述人脸模型。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510013920.1A CN105825163A (zh) | 2015-01-09 | 2015-01-09 | 一种人脸图像的检索系统及方法 |
| PCT/CN2015/078302 WO2016110030A1 (zh) | 2015-01-09 | 2015-05-05 | 一种人脸图像的检索系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510013920.1A CN105825163A (zh) | 2015-01-09 | 2015-01-09 | 一种人脸图像的检索系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105825163A true CN105825163A (zh) | 2016-08-03 |
Family
ID=56355454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510013920.1A Pending CN105825163A (zh) | 2015-01-09 | 2015-01-09 | 一种人脸图像的检索系统及方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN105825163A (zh) |
| WO (1) | WO2016110030A1 (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408658A (zh) * | 2016-10-31 | 2017-02-15 | 北京旷视科技有限公司 | 人脸建模的方法及装置 |
| CN107358573A (zh) * | 2017-06-16 | 2017-11-17 | 广东欧珀移动通信有限公司 | 图像美颜处理方法和装置 |
| CN107679235A (zh) * | 2017-10-25 | 2018-02-09 | 成都尽知致远科技有限公司 | 基于云平台的检索系统 |
| CN107947871A (zh) * | 2017-11-21 | 2018-04-20 | 韩劝劝 | 一种控制路由器的辐射量的方法 |
| WO2018121523A1 (en) * | 2016-12-28 | 2018-07-05 | Zhejiang Dahua Technology Co., Ltd. | Methods, systems, and media for evaluating images |
| CN108874889A (zh) * | 2018-05-15 | 2018-11-23 | 中国科学院自动化研究所 | 基于目标体图像的目标体检索方法、系统及装置 |
| CN108946349A (zh) * | 2018-07-23 | 2018-12-07 | 广州跨行网络科技有限公司 | 一种人脸识别和云视频对讲的电梯控制系统及其实施方法 |
| CN109086703A (zh) * | 2018-07-23 | 2018-12-25 | 广州跨行网络科技有限公司 | 一种非接触式掌纹识别系统及其实施方法 |
| CN109508660A (zh) * | 2018-10-31 | 2019-03-22 | 上海交通大学 | 一种基于视频的au检测方法 |
| CN110457998A (zh) * | 2019-06-27 | 2019-11-15 | 北京旷视科技有限公司 | 影像数据关联方法和设备、数据处理设备及介质 |
| CN110782419A (zh) * | 2019-10-18 | 2020-02-11 | 杭州趣维科技有限公司 | 一种基于图形处理器的三维人脸融合方法及系统 |
| CN113313631A (zh) * | 2021-06-10 | 2021-08-27 | 北京百度网讯科技有限公司 | 图像渲染方法和装置 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110377389B (zh) * | 2019-07-12 | 2022-07-26 | 北京旷视科技有限公司 | 图像标注导引方法、装置、计算机设备和存储介质 |
| CN111951373B (zh) * | 2020-06-30 | 2024-02-13 | 重庆灵翎互娱科技有限公司 | 一种人脸图像的处理方法和设备 |
| CN112733680B (zh) * | 2020-12-31 | 2024-02-13 | 南京视察者智能科技有限公司 | 一种基于监控视频流生成高质量人脸图像的模型训练方法、提取方法、装置和终端设备 |
| CN114168684B (zh) * | 2021-12-10 | 2023-08-08 | 清华大学 | 一种基于异步机制的人脸建模入库服务实现方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1885310A (zh) * | 2006-06-01 | 2006-12-27 | 北京中星微电子有限公司 | 人脸模型训练模块及方法、人脸实时认证系统及方法 |
| CN102004899A (zh) * | 2010-11-03 | 2011-04-06 | 无锡中星微电子有限公司 | 一种人脸认证系统及方法 |
| CN104112152A (zh) * | 2013-10-30 | 2014-10-22 | 北京安捷天盾科技发展有限公司 | 二维码生成装置、人像识别装置和身份验证装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2007327540A1 (en) * | 2006-08-18 | 2008-06-05 | National Ict Australia Limited | Facial feature processing |
| JP4946730B2 (ja) * | 2007-08-27 | 2012-06-06 | ソニー株式会社 | 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム |
| CN103632147A (zh) * | 2013-12-10 | 2014-03-12 | 公安部第三研究所 | 实现面部特征标准化语义描述的系统及方法 |
-
2015
- 2015-01-09 CN CN201510013920.1A patent/CN105825163A/zh active Pending
- 2015-05-05 WO PCT/CN2015/078302 patent/WO2016110030A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1885310A (zh) * | 2006-06-01 | 2006-12-27 | 北京中星微电子有限公司 | 人脸模型训练模块及方法、人脸实时认证系统及方法 |
| CN102004899A (zh) * | 2010-11-03 | 2011-04-06 | 无锡中星微电子有限公司 | 一种人脸认证系统及方法 |
| CN104112152A (zh) * | 2013-10-30 | 2014-10-22 | 北京安捷天盾科技发展有限公司 | 二维码生成装置、人像识别装置和身份验证装置 |
Non-Patent Citations (1)
| Title |
|---|
| 李武军等: ""计算机人脸合成系统的设计与实现"", 《计算机应用研究》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408658A (zh) * | 2016-10-31 | 2017-02-15 | 北京旷视科技有限公司 | 人脸建模的方法及装置 |
| CN106408658B (zh) * | 2016-10-31 | 2021-06-15 | 北京旷视科技有限公司 | 人脸建模的方法及装置 |
| WO2018121523A1 (en) * | 2016-12-28 | 2018-07-05 | Zhejiang Dahua Technology Co., Ltd. | Methods, systems, and media for evaluating images |
| US11615643B2 (en) | 2016-12-28 | 2023-03-28 | Zhejiang Dahua Technology Co., Ltd. | Methods, systems, and media for evaluating images |
| CN107358573A (zh) * | 2017-06-16 | 2017-11-17 | 广东欧珀移动通信有限公司 | 图像美颜处理方法和装置 |
| CN107679235A (zh) * | 2017-10-25 | 2018-02-09 | 成都尽知致远科技有限公司 | 基于云平台的检索系统 |
| CN107679235B (zh) * | 2017-10-25 | 2021-09-21 | 成都尽知致远科技有限公司 | 基于云平台的检索系统 |
| CN107947871A (zh) * | 2017-11-21 | 2018-04-20 | 韩劝劝 | 一种控制路由器的辐射量的方法 |
| CN108874889A (zh) * | 2018-05-15 | 2018-11-23 | 中国科学院自动化研究所 | 基于目标体图像的目标体检索方法、系统及装置 |
| CN108946349A (zh) * | 2018-07-23 | 2018-12-07 | 广州跨行网络科技有限公司 | 一种人脸识别和云视频对讲的电梯控制系统及其实施方法 |
| CN109086703A (zh) * | 2018-07-23 | 2018-12-25 | 广州跨行网络科技有限公司 | 一种非接触式掌纹识别系统及其实施方法 |
| CN109508660A (zh) * | 2018-10-31 | 2019-03-22 | 上海交通大学 | 一种基于视频的au检测方法 |
| CN110457998B (zh) * | 2019-06-27 | 2020-07-28 | 北京旷视科技有限公司 | 影像数据关联方法和设备、数据处理设备及介质 |
| CN110457998A (zh) * | 2019-06-27 | 2019-11-15 | 北京旷视科技有限公司 | 影像数据关联方法和设备、数据处理设备及介质 |
| CN110782419A (zh) * | 2019-10-18 | 2020-02-11 | 杭州趣维科技有限公司 | 一种基于图形处理器的三维人脸融合方法及系统 |
| CN110782419B (zh) * | 2019-10-18 | 2022-06-21 | 杭州小影创新科技股份有限公司 | 一种基于图形处理器的三维人脸融合方法及系统 |
| CN113313631A (zh) * | 2021-06-10 | 2021-08-27 | 北京百度网讯科技有限公司 | 图像渲染方法和装置 |
| CN113313631B (zh) * | 2021-06-10 | 2024-05-10 | 北京百度网讯科技有限公司 | 图像渲染方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016110030A1 (zh) | 2016-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105825163A (zh) | 一种人脸图像的检索系统及方法 | |
| CN109472198B (zh) | 一种姿态鲁棒的视频笑脸识别方法 | |
| CN109815826B (zh) | 人脸属性模型的生成方法及装置 | |
| CN104680121B (zh) | 一种人脸图像的处理方法及装置 | |
| Senechal et al. | Combining AAM coefficients with LGBP histograms in the multi-kernel SVM framework to detect facial action units | |
| Kaur et al. | Recognition of facial expressions with principal component analysis and singular value decomposition | |
| Perez et al. | Face and iris localization using templates designed by particle swarm optimization | |
| US20120288167A1 (en) | Pose-robust recognition | |
| Khan et al. | A comparative analysis of gender classification techniques | |
| Heseltine et al. | Three-dimensional face recognition using combinations of surface feature map subspace components | |
| CN111183405A (zh) | 调整头部区域的数字表示 | |
| Xu et al. | A new attempt to face recognition using 3D eigenfaces | |
| CN109033940A (zh) | 一种图像识别方法、装置、计算设备及存储介质 | |
| Prabhu et al. | Facial Expression Recognition Using Enhanced Convolution Neural Network with Attention Mechanism. | |
| CN112001215A (zh) | 一种基于三维唇动的文本无关说话人身份识别方法 | |
| US20150169945A1 (en) | Facial analysis by synthesis and biometric matching | |
| Tin | Perceived gender classification from face images | |
| Li et al. | A feature-level solution to off-angle iris recognition | |
| Nejati et al. | A study on recognizing non-artistic face sketches | |
| Halder et al. | Face synthesis (fasy) system for generation of a face image from human description | |
| Yang | Hand gesture recognition and face detection in images | |
| Belle | Detection and recognition of human faces using random forests for a mobile robot | |
| Kumar et al. | A pragmatic approach to face recognition using a novel deep learning algorithm | |
| Yi et al. | Face recognition using spatially smoothed discriminant structure-preserved projections | |
| Mitchell | Applications of convolutional neural networks to facial detection and recognition for augmented reality and wearable computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160803 |
|
| RJ01 | Rejection of invention patent application after publication |