CN112307968B - 一种人脸识别特征压缩方法 - Google Patents

一种人脸识别特征压缩方法 Download PDF

Info

Publication number
CN112307968B
CN112307968B CN202011193830.2A CN202011193830A CN112307968B CN 112307968 B CN112307968 B CN 112307968B CN 202011193830 A CN202011193830 A CN 202011193830A CN 112307968 B CN112307968 B CN 112307968B
Authority
CN
China
Prior art keywords
feature
face
mapping
final result
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011193830.2A
Other languages
English (en)
Other versions
CN112307968A (zh
Inventor
王健
陆翔云
高旭麟
张海燕
王哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tiandy Technologies Co Ltd
Original Assignee
Tiandy Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tiandy Technologies Co Ltd filed Critical Tiandy Technologies Co Ltd
Priority to CN202011193830.2A priority Critical patent/CN112307968B/zh
Publication of CN112307968A publication Critical patent/CN112307968A/zh
Application granted granted Critical
Publication of CN112307968B publication Critical patent/CN112307968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种人脸识别特征压缩方法，包括以下步骤：S1、通过人脸识别特征提取神经网络提取图像中的人脸特征信息；S2、对提取的人脸特征信息做归一化处理，然后映射到特定的数值空间；S3、计算人脸特征信息映射过程中产生的精度损失，得到补偿值；S4、计算完补偿值后，对特征相似度进行计算，得出相似度值，通过相似度值加补偿值作为最终的结果；S5、判断最终的结果是否超过识别阈值，若超过则输出识别结果，若未超过则认为未识别成功，不做输出。本发明所述的特征压缩方法在内存紧张的前端设备中，降低了内存的占用，可以在不增加硬件资源的情况下将原来系统人脸底库扩展至更大；特征压缩方法在算力有限的设备中，有效提升了人脸识别的效率。

Description

一种人脸识别特征压缩方法
技术领域
本发明属于人脸识别技术领域，尤其是涉及一种人脸识别特征压缩方法。
背景技术
在前端(嵌入式设备)的人脸识别系统中，设备的算力有限，并且内存一般也不是很大，系统运行时，在内存中存储着从底库图像中提取到的人脸特征向量，需要进行人脸识别时，会将待识别人脸图像的特征向量提取出来，通过某种相似度运算，求得一个相似度得分，根据分值来判断待识别的人脸是否是和底库中的人脸匹配。这其中涉及到两个很重要的环节，一个是人脸特征向量的存储(内存中)，另一个是相似度运算。如果人脸特征向量很大，会产生两个问题，一是占用很大的内存，容易导致系统内存不足，另一个是相似度运算会非常的耗时，导致运行效率极低，无法正常使用。本方法通过特征压缩，旨在解决以上两个问题，减小内存占用、大幅提升系统运行效率，提升识别速度。
发明内容
有鉴于此，本发明旨在提出一种人脸识别特征压缩方法，以解决一是占用很大的内存，容易导致系统内存不足，另一个是相似度运算会非常的耗时，导致运行效率极低，无法正常使用。
为达到上述目的，本发明的技术方案是这样实现的：
一种人脸识别特征压缩方法，包括以下步骤：
S1、通过人脸识别特征提取神经网络提取图像中的人脸特征信息；
S2、对提取的人脸特征信息做归一化处理，将归一化处理的人脸特征信息映射到特定数值空间；
S3、计算人脸特征信息映射过程中产生的精度损失，得到补偿值；
S4、计算完补偿值后，对特征相似度进行计算，得出相似度值，通过相似度值加补偿值作为最终的结果；
S5、判断最终的结果是否超过识别阈值，若超过则输出识别结果，若未超过则认为未识别成功，不做输出。
进一步的，所述步骤S1中神经网络输出的是2048维的特征向量。
进一步的，所述步骤S2中的归一化处理过程如下：设人脸特征向量为(a0，a1,…,a2046,a2047),先求得向量的模长a，再对特征向量中的每一个元素除以特征向量的模长即(a0，a1,…,a2046,a2047)/a，得到归一化后的特征向量。
进一步的，所述步骤S2中人脸特征信映射过程如下：将归一化后的特征向量中的每个元素，由-1～1利用映射函数a＝round(a*128)映射到有符号的8位整形的表示的数值空间。
进一步的，所述步骤S4中特征相似度的计算过程采用的是特征向量的余弦距离进行计算。
进一步的，所述步骤S3中计算人脸特征信息映射过程中产生的精度损失过程如下：
(1)提取同一个人的不同场景下的人脸图像(100张)，将特征进行映射，计算映射前两两特征之间的相似度，再计算映射后两两之间的相似度，通过做差值，求得映射后的精度损失δ；(2)遍历N；(3)重复(1)过程，然后计算所有δ的期望，即为精度损失补偿值。
相对于现有技术，本发明所述的一种人脸识别特征压缩方法具有以下优势：
(1)本发明所述的压缩方法在内存紧张的前端设备中，降低了内存的占用，可以在不增加硬件的情况下将原来系统底库扩展至更大。
(2)本发明所述的压缩方法在算力有限的设备中，有效的提升了人脸识别的效率。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的一种人脸识别特征压缩方法流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
如图1所示，一种人脸识别特征压缩方法，包括以下步骤：
S1、通过人脸识别特征提取神经网络提取图像中的人脸特征信息；
S2、对提取的人脸特征信息做归一化处理，将归一化处理的人脸特征信息映射到特定数值空间；
S3、计算人脸特征信息映射过程中产生的精度损失，得到补偿值；
S4、计算完补偿值后，对特征相似度进行计算，得出相似度值，通过相似度值加补偿值作为最终的结果；
S5、判断最终的结果是否超过识别阈值，若超过则输出识别结果，若未超过则认为未识别成功，不做输出。
所述步骤S1中神经网络输出的是2048维的特征向量。
所述步骤S2中的归一化处理过程如下：设人脸特征向量为(a0，a1,…,a2046,a2047),先求得向量的模长a，再对特征向量中的每一个元素除以特征向量的模长即(a0，a1,…,a2046,a2047)/a，得到归一化后的特征向量。
所述步骤S2中人脸特征信映射过程如下：将归一化后的特征向量中的每个元素，由-1～1利用映射函数a＝round(a*128)映射到有符号的8位整形的表示的数值空间。
所述步骤S4中特征相似度的计算过程采用的是特征向量的余弦距离进行计算。
所述步骤S3中计算人脸特征信息映射过程中产生的精度损失过程如下：
(1)提取同一个人的不同场景下的人脸图像，将特征进行映射，计算映射前两两特征之间的相似度，再计算映射后两两之间的相似度，通过做差值，求得映射后的精度损失δ；(2)遍历N；(3)重复(1)过程，然后计算所有δ的期望，即为精度损失补偿值。
具体方法如下：
人脸特征向量一般是用浮点数来进行表示的；浮点数占用的内存大小为4Byte；对于人脸特征向量长度是2048维度的特征，存储一个人脸特征信息需要4B*2048＝8kB内存；底库大小为10000的人脸识别系统中，所需内存空间是8KB*10000＝80MB；这在前端(嵌入式)设备中属于很大的内存开销；另外进行1∶10000的特征向量比对需要的运算次数(浮点运算)是相当庞大的；如若能将特征压缩到8位整形(1Byte)表示的空间内，并且不改变其精度损失(或者精度损失在可以接受的范围之内)，一方面可以大幅减少内存占用，另一方面，整形的运算相对于浮点运算是要快很多的，此外还可以通过neon指令集并行加速运算，极大提升系统运行效率。具体步骤如下：
(i.)人脸特征提取。通过人脸识别特征提取神经网络，提取到图像中人脸的特征信息，神经网络输出的是2048维的浮点数，即2048维的特征向量。
(ii.)人脸特征归一化处理。人脸特征向量为(a0，a1,…,a2046,a2047),先求得向量的模长a，再对特征向量中的每一个元素除以特征向量的模长即(a0，a1,…,a2046,a2047)/a，得到归一化后的特征向量；
(iii.)人脸特征空间映射。将归一化后的特征向量中的每个元素，由(-1～1)映射到有符号的Int8空间(-128～+127)，映射函数即a＝round(a*128)；这样就可以使用一个字节的整形元素来表示原来四个字节的浮点型元素，使得内存空间占用减少3/4。
(iv.)精度损失补偿。当特征元素由浮点类型映射到Int8整形空间时，必然会有精度损失(单个元素不超过1/128＝0.78％)。因此需要对精度损失做相应的补偿，补偿的具体方法是：设N(N>200)个人，(1)提取同一个人的不同场景下的人脸图像(100张)，按上述步骤将特征进行映射，计算映射前两两特征之间的相似度，再计算映射后两两之间的相似度，通过做差值，求得映射后的精度损失δ；遍历N，重复(1)过程，然后计算所有δ的期望，即为精度损失补偿值。
(v.)特征相似度计算。计算方式采用的是特征向量的余弦距离，可通过neon指令集并行加速运算，大幅提升运算效率。计算出的相似度需要加上精度损失补偿值，作为最终的结果。
(vi.)获取识别结果。根据相似度比对后的结果，判断其是否超过识别阈值，若超过则输出识别结果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种人脸识别特征压缩方法，其特征在于包括以下步骤：
S1、通过人脸识别特征提取神经网络提取图像中的人脸特征信息；
S2、对提取的人脸特征信息做归一化处理，将归一化处理的人脸特征信息映射到特定数值空间；
S3、计算人脸特征信息映射过程中产生的精度损失，得到补偿值；
S4、计算完补偿值后，对特征相似度进行计算，得出相似度值，通过相似度值加补偿值作为最终的结果；
S5、判断最终的结果是否超过识别阈值，若超过则输出识别结果，若未超过则认为未识别成功，不做输出；
所述步骤S4中特征相似度的计算过程采用的是特征向量的余弦距离进行计算；
所述步骤S3中计算人脸特征信息映射过程中产生的精度损失过程如下：
(1)提取同一个人的不同场景下的人脸图像，将特征进行映射，计算映射前两两特征之间的相似度，再计算映射后两两之间的相似度，通过做差值，求得映射后的精度损失δ；(2)遍历N，N为人的个数；(3)重复(1)过程，然后计算所有δ的期望，即为精度损失补偿值。
2.根据权利要求1所述的一种人脸识别特征压缩方法，其特征在于：所述步骤S1中神经网络输出的是2048维的特征向量。
3.根据权利要求1所述的一种人脸识别特征压缩方法，其特征在于：所述步骤S2中的归一化处理过程如下：设人脸特征向量为(a0，a1,…,a2046,a2047),先求得向量的模长a，再对特征向量中的每一个元素除以特征向量的模长即(a0，a1,…,a2046,a2047)/a，得到归一化后的特征向量。
4.根据权利要求1所述的一种人脸识别特征压缩方法，其特征在于：所述步骤S2中人脸特征信映射过程如下：将归一化后的特征向量中的每个元素，由-1～1利用映射函数a＝round(a*128)映射到有符号的8位整形的表示的数值空间。
CN202011193830.2A 2020-10-30 2020-10-30 一种人脸识别特征压缩方法 Active CN112307968B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011193830.2A CN112307968B (zh) 2020-10-30 2020-10-30 一种人脸识别特征压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011193830.2A CN112307968B (zh) 2020-10-30 2020-10-30 一种人脸识别特征压缩方法

Publications (2)

Publication Number Publication Date
CN112307968A CN112307968A (zh) 2021-02-02
CN112307968B true CN112307968B (zh) 2022-11-08

Family

ID=74333060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011193830.2A Active CN112307968B (zh) 2020-10-30 2020-10-30 一种人脸识别特征压缩方法

Country Status (1)

Country Link
CN (1) CN112307968B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101594537A (zh) * 2009-06-04 2009-12-02 京北方科技股份有限公司 海量图像数据压缩方法
CN103096083A (zh) * 2013-01-23 2013-05-08 北京京东方光电科技有限公司 一种运动图像补偿方法及装置
CN111368683A (zh) * 2020-02-27 2020-07-03 南京邮电大学 基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9245352B1 (en) * 2013-04-12 2016-01-26 Google Inc. Systems and methods for near lossless image compression
CN107909147A (zh) * 2017-11-16 2018-04-13 深圳市华尊科技股份有限公司 一种数据处理方法及装置
CN108009528B (zh) * 2017-12-26 2020-04-07 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN110110853B (zh) * 2018-02-01 2021-07-30 赛灵思电子科技(北京)有限公司 一种深度神经网络压缩方法、装置及计算机可读介质
CN109618173B (zh) * 2018-12-17 2021-09-28 深圳Tcl新技术有限公司 视频压缩方法、装置和计算机可读存储介质
CN111479116A (zh) * 2019-01-23 2020-07-31 上海天荷电子信息有限公司 等比特精度预测、映射和分段编码的数据压缩方法和装置
CN110188877A (zh) * 2019-05-30 2019-08-30 苏州浪潮智能科技有限公司 一种神经网络压缩方法与装置
CN111091177B (zh) * 2019-11-12 2022-03-08 腾讯科技（深圳）有限公司 一种模型压缩方法、装置、电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101594537A (zh) * 2009-06-04 2009-12-02 京北方科技股份有限公司 海量图像数据压缩方法
CN103096083A (zh) * 2013-01-23 2013-05-08 北京京东方光电科技有限公司 一种运动图像补偿方法及装置
CN111368683A (zh) * 2020-02-27 2020-07-03 南京邮电大学 基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法

Also Published As

Publication number Publication date
CN112307968A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
US8594432B2 (en) Image processing apparatus and image processing method
US20100027895A1 (en) Image recognition method, image recognition device, and image recognition program
CN111488985B (zh) 深度神经网络模型压缩训练方法、装置、设备、介质
JP2014232533A (ja) Ｏｃｒ出力検証システム及び方法
CN111079517B (zh) 人脸管理及识别方法及计算机可读存储介质
US11734341B2 (en) Information processing method, related device, and computer storage medium
US9519543B2 (en) Method and apparatus for image search using feature point
CN113705462A (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN111814655A (zh) 目标重识别方法及其网络训练方法、相关装置
WO2023065697A1 (zh) 一种乘积量化搜索方法、装置、终端和存储介质
CN110414431B (zh) 基于弹性上下文关系损失函数的人脸识别方法及系统
CN112307968B (zh) 一种人脸识别特征压缩方法
CN115705694A (zh) 用于分割任务的无监督学习的系统和方法
CN114722199A (zh) 基于通话录音的风险识别方法、装置、计算机设备及介质
CN112329666A (zh) 人脸识别方法、装置、电子设备及存储介质
CN112257689A (zh) 人脸识别模型的训练和识别方法、存储介质及相关设备
CN115798004A (zh) 基于局部区域的人脸打卡方法、装置、电子设备及介质
CN115620321A (zh) 表格识别方法及装置、电子设备和存储介质
CN112883875B (zh) 图像聚类方法、装置、服务器及存储介质
CN115578765A (zh) 目标识别方法、装置、系统及计算机可读存储介质
CN111291698B (zh) 密集人群场景人脸图像的高速识别方法及装置
JP4121808B2 (ja) 辞書圧縮装置
Hatibaruah et al. Elliptical local binary co-occurrence pattern for face image retrieval
CN111967579A (zh) 使用卷积神经网络对图像进行卷积计算的方法和装置
CN111814865A (zh) 一种图像识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant