CN113255576A - 人脸识别方法及装置 - Google Patents

人脸识别方法及装置 Download PDF

Info

Publication number
CN113255576A
CN113255576A CN202110674809.2A CN202110674809A CN113255576A CN 113255576 A CN113255576 A CN 113255576A CN 202110674809 A CN202110674809 A CN 202110674809A CN 113255576 A CN113255576 A CN 113255576A
Authority
CN
China
Prior art keywords
channel
parameter
quantization
face recognition
ith
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110674809.2A
Other languages
English (en)
Other versions
CN113255576B (zh
Inventor
张义夫
刘闯
叶雨桐
胡峻毅
陈诗昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sixth mirror technology (Beijing) Group Co.,Ltd.
Original Assignee
Glasssix Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Glasssix Technology Beijing Co ltd filed Critical Glasssix Technology Beijing Co ltd
Priority to CN202110674809.2A priority Critical patent/CN113255576B/zh
Publication of CN113255576A publication Critical patent/CN113255576A/zh
Application granted granted Critical
Publication of CN113255576B publication Critical patent/CN113255576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Abstract

本发明涉及人工智能技术领域,提供了一种人脸识别方法及装置,所述方法包括:获取待识别的人脸图像;将人脸图像输入至预先训练的人脸识别模型,利用人脸识别模型对人脸图像进行处理,以提取人脸图像的人脸特征,其中,人脸识别模型包括至少一个特征提取网络,特征提取网络对输入特征图依次进行量化、卷积及反量化,量化及反量化所采用的第一参数是按照输入特征图的通道数及预设通道组数确定的;依据人脸特征对人脸图像进行人脸识别。本发明既提高了卷积运算的速度,又避免了卷积运算过程中因出现数值溢出而导致的精度计算下降,最终保证了人脸识别的高效性和准确性。

Description

人脸识别方法及装置
技术领域
本发明涉及人工智能技术领域,具体而言,涉及一种人脸识别方法及装置。
背景技术
卷积神经网络在人脸识别中应用及其普遍,而卷积神经网络前向传播中的卷积层的计算量会占整个网络计算量的90%,一般高精度的卷积神经网络包含的参数量较多,导致了比较高的计算密集度,满足不了实时响应要求较高的人脸识别的应用场景的需求。
现有的针对卷积神经网络的加速方法,虽然可以提高卷积神经网络的运算速度,进而提高人脸识别的效率,但是在加速后的运算过程中会出现因数值溢出导致计算精度下降,最终影响了人脸识别的准确性。
发明内容
本发明的目的在于提供了一种人脸识别方法及装置,其能够对人脸识别模型中的卷积神经网络的卷积层进行优化,既能提高卷积层的计算速率,又能保证计算精度,最终保证人脸识别的高效性和准确性。
为了实现上述目的,本发明采用的技术方案如下:
第一方面,本发明提供一种人脸识别方法,所述方法包括:获取待识别的人脸图像;将所述人脸图像输入至预先训练的人脸识别模型,利用所述人脸识别模型对所述人脸图像进行处理,以提取所述人脸图像的人脸特征,其中,所述人脸识别模型包括至少一个特征提取网络,所述特征提取网络对输入特征图依次进行量化、卷积及反量化,所述量化及所述反量化所采用的第一参数是按照所述输入特征图的通道数及预设通道组数确定的;依据所述人脸特征对所述人脸图像进行人脸识别。
第二方面,本发明提供一种人脸识别装置,所述装置包括:获取模块,用于获取待识别的人脸图像;特征提取模块,用于将所述人脸图像输入至预先训练的人脸识别模型,利用所述人脸识别模型对所述人脸图像进行处理,以提取所述人脸图像的人脸特征,其中,所述人脸识别模型包括至少一个特征提取网络,所述特征提取网络对输入特征图依次进行量化、卷积及反量化,所述量化及所述反量化所采用的第一参数是按照所述输入特征图的通道数及预设通道组数确定的;人脸识别模块,用于依据所述人脸特征对所述人脸图像进行人脸识别。
与现有技术相比,本发明预先按照卷积层的输入特征图的通道数及预设通道组数确定第一参数,在卷积层处理之前首先利用第一参数对输入特征图进行量化,然后再对量化后的输入特征图进行卷积,最后对卷积结果进行反量化,既提高了卷积运算的速度,又避免了卷积运算过程中因出现数值溢出而导致的精度计算下降,最终保证了人脸识别的高效性和准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种人脸识别方法的流程示意图。
图2为本发明实施例提供的多个特征提取网络组成人脸识别模型的示例图。
图3为本发明实施例提供的由特征提取网络和卷积层组成的人脸识别模型的示例图。
图4是本发明实施例提供的普通卷积的示例图。
图5是本发明实施例提供的分组卷积的示例图。
图6为本发明实施例提供的利用多个特征提取网络进行人脸特征提取的流程示意图。
图7为本发明实施例提供的任意一个特征提取网络进行人脸特征提取的流程示意图。
图8为本发明实施例提供的反量化的示例图。
图9为本发明实施例提供的确定第一参数的流程示意图。
图10为本发明实施例提供的确定第二参数的流程示意图。
图11为本发明实施例提供的模型量化及量化推理的过程示例图。
图12为本发明实施例提供的人脸识别装置的方框示意图。
图13为本发明实施例提供的计算机设备的方框示意图。
图标:10-计算机设备;11-处理器;12-存储器;13-总线;14-通信接口;100-人脸识别装置;110-获取模块;120-特征提取模块;130-人脸识别模块;140-参数确定模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,若出现术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
需要说明的是,在不冲突的情况下,本发明的实施例中的特征可以相互结合。
现有的对于卷积神经网络的加速优化主要集中在8bit量化上,即将卷积神经网络参数及卷积层输入数据从单精度浮点型量化到8bit整型,以降低访存数据量,并将浮点型乘加操作转换为整形乘加操作,提高指令并行度和运算速度,发明人经过研究发现,这种8bit量化方法只能适用于加速效果较差的Winograd(Winograd是对卷积运算进行优化的一种算法)中的F(2,3)算法(Winograd算法的一种实现方式),如果将8bit量化方法用于加速效果更好的Winograd的F(4,3)算法(Winograd算法的另一种实现方式),则计算过程中会出现数值溢出的问题,导致计算精度下降,最终导致利用卷积神经网络进行人脸识别的准确性。
有鉴于此,本发明实施例提供一种人脸识别方法及装置,用于解决上述问题,下面将对其进行详细描述。
请参考图1,图1为本发明实施例提供的一种人脸识别方法的流程示意图,该方法包括:
步骤S100,获取待识别的人脸图像。
在本实施例中,人脸图像可以是拍摄设备拍摄的人脸图片,也可以是从拍摄的视频中提取出的一帧图像,还可以是对拍摄的人脸图片或者视频帧图像进行预处理后的图像。
步骤S110,将人脸图像输入至预先训练的人脸识别模型,利用人脸识别模型对人脸图像进行处理,以提取人脸图像的人脸特征,其中,人脸识别模型包括至少一个特征提取网络,特征提取网络对输入特征图依次进行量化、卷积及反量化,量化及反量化所采用的第一参数是按照输入特征图的通道数及预设通道组数确定的。
在本实施例中,人脸识别模型可以由多个特征提取网络依次连接而成,例如,人脸识别模型包括N个特征提取网络,其中N为正整数,则N=1时,即第1个特征提取网络的输入特征图为人脸图像,N>1时,第N个特征提取网络的输入特征图为第N-1个特征提取网络的输出,第N个特征提取网络的输出即为人脸图像的人脸特征。图2为本发明实施例提供的多个特征提取网络组成人脸识别模型的示例图。人脸识别模型也可以由至少一个特征提取网络和至少一个卷积层依次连接而成,图3为本发明实施例提供的由特征提取网络和卷积层组成的人脸识别模型的示例图,图3中,人脸识别模型包括依次连接的特征提取网络a、卷积层1、…、特征提取网络b、卷积层2,其中的“…”可以代表一个或多个特征提取网络、也可以代表一个或多个卷积层、还可以代表一个或者多个特征提取网络和一个或多个卷积层等,则特征提取网络a的输入特征图为人脸图像,卷积层1的输入特征图为特征提取网络a的输出,特征提取网络b的输入特征图为其之前的特征提取网络或者卷积层的输出,卷积层2的输入特征图为特征提取网络b的输出,卷积层2的输出即为人脸图像的人脸特征。
需要说明的是,人脸识别模型由至少一个特征提取网络和至少一个卷积层依次连接而成时,特征提取网络和卷积层在人脸识别模型中的位置可以根据需要确定,例如,人脸识别模型中多个特征提取网络依次连接、多个卷积层依次连接,最后一个特征提取网络和第一个卷积层连接,也可以特征提取网络和卷积层交叉连接等。
在本实施例中,对于输入特征图的量化可以是采用第一参数对输入特征图中的每一个数据进行量化,例如,将输入特征图的每一个数据均乘以第一参数后取整,得到量化特征图,将量化特征图作为卷积的输入,由此实现了将输入特征图的单精度浮点型的数据量化为整型,降低了访存数据量,并且将卷积运算时浮点型乘加操作转换为整型乘加操作,提高了指令并行度和运算速度。为了保证数据在量化前后的一致性,在得到卷积的结果后,还需要再根据第一参数对卷积的结果进行反量化,例如,将卷积的结果除以第一参数,得到反量化后的结果,以最终保持输出结果的一致性。
在本实施例中,第一参数是用于对输入特征图进行量化所需的参数,其是按照输入特征图的通道数及预设通道组数确定的,预设通道组数是对输入特征图的通道数进行分组的组数,例如,输入特征图的通道数为12,预设通道组数为3,则每组输入特征图的通道数为4。图4是本发明实施例提供的普通卷积的示例图,图4中,输入特征图的通道数为8,普通卷积时,每一个输出特征图均需要输入特征图的所有通道对应的通道图进行卷积。图5是本发明实施例提供的分组卷积的示例图,图5中,输入特征图的通道数为8,预设通道组数为2,卷积输出的输出特征图也分为2组,分组卷积时,每一组的输出特征图只需要对应组内的输入特征图的通道对应的通道图进行卷积。
步骤S120,依据人脸特征对人脸图像进行人脸识别。
本发明实施例提供的上述方法,预先按照卷积层的输入特征图的通道数及预设通道组数确定第一参数,在卷积层处理之前首先利用第一参数对输入特征图进行量化,然后再对量化后的输入特征图进行卷积,最后对卷积结果进行反量化,既提高了卷积运算的速度,又避免了卷积运算过程中因出现数值溢出而导致的精度计算下降,最终保证了人脸识别的高效性和准确性,同时有利于较大的人脸识别模型中人脸识别算法的部署应用。
在图1的基础上,本发明实施例还给出了一种人脸识别模型包括多个特征提取网络情形下进行人脸特征提取的具体实施方式,请参照图6,图6为本发明实施例提供的利用多个特征提取网络进行人脸特征提取的流程示意图,步骤S110包括以下子步骤:
子步骤S1101,将人脸图像作为第一个特征提取网络的输入特征图、以及将第N-1个特征提取网络的输出作为第N个特征提取网络的输入特征图,利用特征提取网络对输入特征图进行特征提取,得到输出特征图。
在本实施例中,N为大于1的正整数。
在本实施例中,特征提取网络包括量化层、卷积层和反量化层,本发明实施例还提供一种对于任意一个特征提取网络对输入特征图进行特征提取的实现方式,请参照图7,图7为本发明实施例提供的任意一个特征提取网络进行人脸特征提取的流程示意图,子步骤S1101包括以下子步骤:
子步骤S11010,量化层根据预先确定的第一参数对输入特征图进行量化处理,输出量化特征图,第一参数是按照输入特征图的通道数及预设通道组数确定的。
在本实施例中,第一参数在前述步骤S110中已有描述,此处不再赘述。
子步骤S11011,卷积层根据预先确定的量化权重参数对量化特征图进行卷积处理,输出中间特征图,其中,量化权重参数是根据预先确定的第二参数对预设权重参数进行量化后得到的。
在本实施例中,卷积层通常设置有卷积核,卷积层利用卷积核进行卷积运算,该卷积核在人脸识别模型训练开始时被设置初始值,人脸识别模型训练过程中不断地调整该卷积核的取值,人脸识别模型训练后就是最终调整后的值,预设权重参数为人脸识别模型训练后的卷积核最终调整后的值,第二参数是对预设权重参数进行量化的参数,量化权重参数为量化后的预设权重参数。
由于训练后的人脸识别模型的预设权重参数已经确定,第二参数也可以在预设权重参数确定后确定,因此,在利用人脸识别模型进行人脸识别之前,量化权重参数可以根据预设权重参数和第二参数预先确定,在人脸识别时直接使用。
在本实施例中,由于既对预设权重参数进行量化又对输入特征图进行量化,将预设权重参数的浮点型乘加操作和输入特征图的浮点型乘加操作均转换为整型乘加操作,由此可以大大降低访存数据量,大大提高指令并行度和运算速度。
在本实施例中,作为一种具体实施方式,量化权重参数可以根据第一参数是对预设权重参数进行6bit量化后得到,量化特征图可以是根据第二参数对输入特征图进行8bit量化或者7bit量化得到的,卷积层可以通过Winograd的F(4,3)算法,根据量化权重参数对量化特征图进行卷积处理,输出32bit整型表示的中间特征图。
子步骤S11012,反量化层根据第一参数、第二参数对中间特征图进行反量化处理,输出所述输出特征图。
在本实施例中,作为一种具体实施方式,中间特征图包括多个通道图,第一参数包括每个第一通道的第一通道参数,第二参数包括每个第二通道的第二通道参数,输出特征图包括多个反量化特征图,多个通道图和多个反量化特征图一一对应,反量化层根据第一参数、第二参数对中间特征图进行反量化处理,输出所述输出特征图的具体实现方式可以是:
首先,根据第i个第一通道参数和第i个第二通道参数,对第i个通道图进行反量化,得到第i个反量化特征图。
在本实施例中,根据第i个第一通道参数和第i个第二通道参数,采用公式
Figure F_210602135115263_263994001
,对第i个通道图进行反量化,得到第i个反量化特征图,其中,
Figure F_210602135115358_358207002
为第i个反量化特征图,
Figure F_210602135115453_453546003
为第i个通道图,
Figure F_210602135115579_579831004
为第i个的第一通道参数,
Figure F_210602135115673_673702005
为第i个第二通道参数。
在本实施例中,作为一种具体实施方式,第i个通道图是32bit整型数据表示的,第i个反量化特征图是单精度浮点型数据表示的。
为了更清楚地说明分通道反量化的方式,请参照图8,图8为本发明实施例提供的反量化的示例图,图8中,第一通道参数、第二通道参数、通道图及反量化特征图均有4个,第1个反量化特征图是根据第一通道参数1和第二通道参数1对第1个通道图进行反量化得到,第2-4个反量化特征图的处理方式与此相同,此处不再赘述,需要说明的是,图8中的“+”并非数学运算符号,只是用于表征生成反量化特征图需要通道图、第一通道参数和第二通道参数这三项。
其次,将所有反量化特征图进行组合,得到输出特征图。
子步骤S1102,将最后一个特征提取网络的输出特征图作为人脸特征。
本发明实施例提供的上述方法,通过利用多个特征提取网络中每一特征提取网络均进行量化、卷积和反量化,保证了每一特征提取网络的运算过程中均不会出现数值溢出而导致的精度计算下降,最终保证了人脸识别具有较高的准确性。
在本实施例中,第一参数可以在人脸识别模型训练后在人脸识别之前预先确定,本发明实施例还提供了一种确定第一参数的具体实施方式,请参照图9,图9为本发明实施例提供的确定第一参数的流程示意图,该方法包括以下步骤:
步骤S200-10,根据通道数及预设通道组数,确定量化预设值。
在本实施例中,量化预设值用于表征对于输入特征图进行8bit或者7bit量化。作为一种具体实施方式,可以根据通道数及预设通道组数,利用公式
Figure F_210602135115767_767464006
确定量化预设值,其中,
Figure F_210602135115879_879390007
为量化预设值,
Figure F_210602135115974_974907008
为通道数,
Figure F_210602135116069_069224009
为预设通道组数。当Y=127时,量化预设值用于表征对于输入特征图进行8bit量化,当Y=63时,量化预设值用于表征对于输入特征图进行7bit量化。由于针对不同的情况可以对输入特征图采取不同的量化方式,使得对输入特征图进行量化时均能以最合适的方式进行量化,避免不合适的量化方式导致的计算精度下降。
步骤S200-11,根据量化预设值和每个第一通道的预设量化阈值,计算每个第一通道的第一通道参数。
在本实施例中,第一通道为输入特征图的通道,第一通道可以有多个,每一第一通道均对应一个第一通道参数,第一参数是将所有第一通道参数组合后得到的。
在本实施例中,对于每个第一通道均有一个预设量化阈值,任意一个目标第一通道的预设量化阈值的计算方式可以是:
首先,获取校准数据集,校准数据集中包括多张样本人脸图像。
其次,将每一张样本人脸图像输入至训练后的人脸识别单精度模型,得到每一张样本人脸图像对应的输入特征图中与目标第一通道对应的目标通道图。
在本实施例中,人脸识别单精度模型是不包括人脸识别模型中的特征提取网络中的量化层和反量化层的模型,也即是未做量化的人脸识别模型。例如,人脸识别模型包括依次连接的特征提取层a和卷积层1,其中,特征提取层a包括量化层、卷积层a1和反量化层,则对应的人脸识别单精度模型包括依次连接的卷积层a1和卷积层1。如果卷积层a1的输入特征图包括4个通道:通道1~通道4,目标第一通道为通道1,则每一样本人脸图像的目标通道图为每一样本人脸图像的卷积层a1的输入特征图中与通道1对应通道图。
第三,对所有样本人脸图像的目标通道图进行频率直方图统计,并根据预设步长选择预选阈值,计算相对熵,将最小的相对熵对应的预选阈值作为目标第一通道的预设量化阈值。
在本实施例中,作为一种具体实施方式,根据量化预设值及第i个第一通道的预设量化阈值,可以通过公式
Figure F_210602135116162_162919010
,计算第i个第一通道的第一通道参数,其中,
Figure F_210602135116259_259013011
为第i个第一通道的第一通道参数,
Figure F_210602135116336_336681012
为量化预设值,
Figure F_210602135116432_432028013
为第i个第一通道的预设量化阈值。
步骤S200-12,将所有第一通道参数进行组合,得到第一参数。
在本实施例中,第二参数可以在人脸识别模型训练后在人脸识别之前预先确定,本发明实施例还提供了一种确定第二参数的具体实施方式,请参照图10,图10为本发明实施例提供的确定第二参数的流程示意图,该方法包括以下步骤:
步骤S200-20,根据每一第二通道的通道权重参数,确定每一第二通道的第二通道参数。
在本实施例中,卷积层通常设置有卷积核,卷积核通常赋值有预设权重参数,卷积核包括多个第二通道,每一第二通道均设置有通道权重参数,预设权重参数是所有第二通道的通道权重参数组合后得到的。
在本实施例中,作为一种具体实施方式,根据第i个第二通道的多个通道权重参数,利用公式
Figure F_210602135116525_525684014
,确定第i个第二通道的第二通道参数,其中,
Figure F_210602135116621_621435015
为第i个第二通道的第二通道参数,
Figure F_210602135116699_699564016
为多个通道权重参数的绝对值的最大值。
在本实施例中,第二通道权重参数通常表示为矩阵,则
Figure F_210602135116798_798662017
为该矩阵中元素的绝对值的最大值。
步骤S200-21,将所有第二通道参数进行组合,得到第二参数。
可以理解的是,上述第一参数和第二参数的获取方式不但可以应用于人脸识别这一种应用场景,在其他应用场景中,只要用到卷积神经网络,均可以通过上述方式获取第一参数和第二参数,并通过第一参数和第二参数对卷积层的输入进行量化,并对卷积层的输出进行反量化,可以实现加速卷积运算的目的,最终提高了卷积神经网络的运算效率。
作为一种具体实施方式,本发明实施例还提供了一种模型量化及量化推理的过程示例图,请参照图11,图11示出了本发明实施例提供的模型量化及量化推理的过程示例图,图11中,模型量化包括:根据校准数据集及人脸识别单精度模型得到输入特征图的单精度输出数据,根据输入特征图的单精度输出数据确定预设量化阈值,根据预设量化阈值对输入特征图进行8bit或者7bit量化,对人脸识别单精度模型中的权重参数进行6bit量化,根据6bit量化后的权重参数和8bit或者7bit量化后的输入特征图进行Winograd的F(4,3)卷积运算,将运算结果进行反量化后输出卷积结果。
为了执行上述实施例及各个可能的实施方式中人脸识别方法的相应步骤,下面给出一种人脸识别装置100的实现方式。请参照图12,图12示出了本发明实施例提供的人脸识别装置100的方框示意图。需要说明的是,本实施例所提供的人脸识别装置100,其基本原理及产生的技术效果和上述实施例相同,为简要描述,本实施例部分未提及指出。
人脸识别装置100包括获取模块110、特征提取模块120、人脸识别模块130及参数确定模块140。
获取模块110,用于获取待识别的人脸图像。
特征提取模块120,用于将人脸图像输入至预先训练的人脸识别模型,利用人脸识别模型对人脸图像进行处理,以提取人脸图像的人脸特征,其中,人脸识别模型包括至少一个特征提取网络,特征提取网络对输入特征图依次进行量化、卷积及反量化,量化及反量化所采用的第一参数是按照输入特征图的通道数及预设通道组数确定的。
作为一种具体实施方式,人脸识别模型包括多个特征提取网络,特征提取模块120具体用于:将人脸图像作为第一个特征提取网络的输入特征图、以及将第N-1个特征提取网络的输出作为第N个特征提取网络的输入特征图,利用特征提取网络对输入特征图进行特征提取,得到输出特征图;将最后一个特征提取网络的输出特征图作为人脸特征。
作为一种具体实施方式,特征提取网络包括量化层、卷积层和反量化层;特征提取模块120在用于利用特征提取网络对输入特征图进行特征提取,得到输出特征图时,具体用于:量化层根据预先确定的第一参数对输入特征图进行量化处理,输出量化特征图,第一参数是按照输入特征图的通道数及预设通道组数确定的;卷积层根据预先确定的量化权重参数对量化特征图进行卷积处理,输出中间特征图,其中,量化权重参数是根据预先确定的第二参数对预设权重参数进行量化后得到的;反量化层根据第一参数、第二参数对中间特征图进行反量化处理,输出输出特征图。
作为一种具体实施方式,中间特征图包括多个通道图,第一参数包括每个第一通道的第一通道参数,第二参数包括每个第二通道的第二通道参数,输出特征图包括多个反量化特征图,多个通道图和多个反量化特征图一一对应;特征提取模块120在用于通过反量化层根据第一参数、第二参数对中间特征图进行反量化处理,输出输出特征图时,具体用于:根据第i个第一通道参数和第i个第二通道参数,对第i个通道图进行反量化,得到第i个反量化特征图;将所有反量化特征图进行组合,得到输出特征图。
作为一种具体实施方式,特征提取模块120在用于根据第i个第一通道参数和第i个第二通道参数,对第i个通道图进行反量化,得到第i个反量化特征图时,具体用于:根据第i个第一通道参数和第i个第二通道参数,采用公式
Figure F_210602135116876_876771018
,对第i个通道图进行反量化,得到第i个反量化特征图,其中,
Figure F_210602135116971_971482019
为第i个反量化特征图,
Figure F_210602135117096_096960020
为第i个通道图,
Figure F_210602135117193_193158021
为第i个的第一通道参数,
Figure F_210602135117287_287483022
为第i个第二通道参数。
人脸识别模块130,用于依据人脸特征对人脸图像进行人脸识别。
参数确定模块140,用于:根据通道数及预设通道组数,确定量化预设值;根据量化预设值和每个第一通道的预设量化阈值,计算每个第一通道的第一通道参数;将所有第一通道参数进行组合,得到第一参数。
作为一种具体实施方式,参数确定模块140具体用于:根据通道数及预设通道组数,利用公式
Figure F_210602135117398_398742023
确定量化预设值,其中,
Figure F_210602135117492_492585024
为量化预设值,
Figure F_210602135117638_638015025
为通道数,
Figure F_210602135117731_731791026
为预设通道组数;根据量化预设值及第i个第一通道的预设量化阈值,利用公式
Figure F_210602135117795_795768027
,计算第i个第一通道的第一通道参数,其中,
Figure F_210602135117905_905596028
为第i个第一通道的第一通道参数,
Figure F_210602135118001_001323029
为量化预设值,
Figure F_210602135118095_095024030
为第i个第一通道的预设量化阈值。
参数确定模块140,还用于:根据每一第二通道的通道权重参数,确定每一第二通道的第二通道参数;将所有第二通道参数进行组合,得到第二参数,卷积层包括卷积核,卷积核包括多个第二通道,每一第二通道均设置有通道权重参数。
作为一种具体实施方式,每一第二通道的通道权重参数为多个,参数确定模块140具体用于:根据第i个第二通道的多个通道权重参数,利用公式
Figure F_210602135118192_192691031
,确定第i个第二通道的第二通道参数,其中,
Figure F_210602135118302_302068032
为第i个第二通道的第二通道参数,
Figure F_210602135118430_430965033
为多个通道权重参数的绝对值的最大值。
本发明实施例还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上述的人脸识别方法。
本发明实施例还给出了计算机设备10的方框示意图,请参照图13,图13为本发明实施例提供的计算机设备10的方框示意图,计算机设备10包括处理器11、存储器12、总线13、通信接口14。处理器11、存储器12通过总线13连接,处理器11通过通信接口14与外部设备通信。
处理器11可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器11中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器11可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器12用于存储程序,例如本发明实施例中的人脸识别装置100,人脸识别装置100均包括至少一个可以软件或固件(firmware)的形式存储于存储器12中的软件功能模块,处理器11在接收到执行指令后,执行所述程序以实现本发明实施例中的人脸识别方法。
存储器12可能包括高速随机存取存储器(RAM:Random Access Memory),也可能还包括非易失存储器(non-volatile memory)。可选地,存储器12可以是内置于处理器11中的存储装置,也可以是独立于处理器11的存储装置。
总线13可以是ISA总线、PCI总线或EISA总线等。图13仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述的人脸识别方法。
综上所述,本发明实施例提供了一种人脸识别方法及装置,所述方法包括:获取待识别的人脸图像;将人脸图像输入至预先训练的人脸识别模型,利用人脸识别模型对人脸图像进行处理,以提取人脸图像的人脸特征,其中,人脸识别模型包括至少一个特征提取网络,特征提取网络对输入特征图依次进行量化、卷积及反量化,量化及反量化所采用的第一参数是按照输入特征图的通道数及预设通道组数确定的;依据人脸特征对人脸图像进行人脸识别。与现有技术相比,本发明实施例预先按照卷积层的输入特征图的通道数及预设通道组数确定第一参数,在卷积层处理之前首先利用第一参数对输入特征图进行量化,然后再对量化后的输入特征图进行卷积,最后对卷积结果进行反量化,既提高了卷积运算的速度,又避免了卷积运算过程中因出现数值溢出而导致的精度计算下降,最终保证了人脸识别的高效性和准确性。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种人脸识别方法,其特征在于,所述方法包括:
获取待识别的人脸图像;
将所述人脸图像输入至预先训练的人脸识别模型,利用所述人脸识别模型对所述人脸图像进行处理,以提取所述人脸图像的人脸特征,其中,所述人脸识别模型包括至少一个特征提取网络,所述特征提取网络对输入特征图依次进行量化、卷积及反量化,所述量化及所述反量化所采用的第一参数是按照所述输入特征图的通道数及预设通道组数确定的;
依据所述人脸特征对所述人脸图像进行人脸识别。
2.如权利要求1所述的人脸识别方法,其特征在于,所述人脸识别模型包括多个特征提取网络;
所述利用所述人脸识别模型对所述人脸图像进行处理,以提取所述人脸图像的人脸特征的步骤包括:
将所述人脸图像作为第一个所述特征提取网络的输入特征图、以及将第N-1个所述特征提取网络的输出作为第N个所述特征提取网络的输入特征图,利用所述特征提取网络对输入特征图进行特征提取,得到输出特征图;
将最后一个所述特征提取网络的输出特征图作为所述人脸特征。
3.如权利要求2所述的人脸识别方法,其特征在于,所述特征提取网络包括量化层、卷积层和反量化层;
所述利用所述特征提取网络对输入特征图进行特征提取,得到输出特征图的步骤,包括:
所述量化层根据预先确定的第一参数对所述输入特征图进行量化处理,输出量化特征图,所述第一参数是按照所述输入特征图的通道数及预设通道组数确定的;
所述卷积层根据预先确定的量化权重参数对所述量化特征图进行卷积处理,输出中间特征图,其中,所述量化权重参数是根据预先确定的第二参数对预设权重参数进行量化后得到的;
所述反量化层根据所述第一参数、所述第二参数对所述中间特征图进行反量化处理,输出所述输出特征图。
4.如权利要求1-3中任一项所述的人脸识别方法,其特征在于,所述输入特征图包括多个第一通道,所述第一参数是按照以下方式确定的:
根据所述通道数及所述预设通道组数,确定量化预设值;
根据所述量化预设值和每个所述第一通道的预设量化阈值,计算每个所述第一通道的第一通道参数;
将所有所述第一通道参数进行组合,得到所述第一参数。
5.如权利要求4所述的人脸识别方法,其特征在于,所述根据所述通道数及所述预设通道组数,确定量化预设值的步骤包括:
根据所述通道数及所述预设通道组数,利用公式
Figure F_210602135111836_836256001
确定所述量化预设值,其中,
Figure F_210602135112026_026679002
为所述量化预设值,
Figure F_210602135112104_104917003
为所述通道数,
Figure F_210602135112216_216707004
为所述预设通道组数;
所述根据所述量化预设值和每个所述第一通道的预设量化阈值,计算每个所述第一通道的第一通道参数的步骤包括:
根据所述量化预设值及第i个所述第一通道的预设量化阈值,利用公式
Figure F_210602135112310_310437005
,计算第i个所述第一通道的第一通道参数,其中,
Figure F_210602135112388_388488006
为第i个所述第一通道的第一通道参数,
Figure F_210602135112482_482230007
为所述量化预设值,
Figure F_210602135112560_560441008
为第i个所述第一通道的预设量化阈值。
6.如权利要求3所述的人脸识别方法,其特征在于,所述卷积层包括卷积核,所述卷积核包括多个第二通道,每一所述第二通道均设置有通道权重参数,所述第二参数是按照以下方式确定的:
根据每一所述第二通道的通道权重参数,确定每一所述第二通道的第二通道参数;
将所有所述第二通道参数进行组合,得到所述第二参数。
7.如权利要求6所述的人脸识别方法,其特征在于,每一所述第二通道的通道权重参数为多个,所述根据每一所述第二通道的通道权重参数,确定每一所述第二通道的第二通道参数的步骤包括:
根据第i个所述第二通道的多个通道权重参数,利用公式
Figure F_210602135112640_640019009
,确定第i个所述第二通道的第二通道参数,其中,
Figure F_210602135112749_749361010
为第i个所述第二通道的第二通道参数,
Figure F_210602135112828_828934011
为所述多个通道权重参数的绝对值的最大值。
8.如权利要求3所述的人脸识别方法,其特征在于,所述中间特征图包括多个通道图,所述第一参数包括每个第一通道的第一通道参数,所述第二参数包括每个第二通道的第二通道参数,所述输出特征图包括多个反量化特征图,所述多个通道图和所述多个反量化特征图一一对应;
所述反量化层根据所述第一参数、所述第二参数对所述中间特征图进行反量化处理,输出所述输出特征图的步骤包括:
根据第i个第一通道参数和第i个第二通道参数,对第i个所述通道图进行反量化,得到第i个所述反量化特征图;
将所有反量化特征图进行组合,得到所述输出特征图。
9.如权利要求8所述的人脸识别方法,其特征在于,所述根据第i个第一通道参数和第i个第二通道参数,对第i个所述通道图进行反量化,得到第i个所述反量化特征图的步骤包括:
根据第i个第一通道参数和第i个第二通道参数,采用公式
Figure F_210602135112938_938327012
,对第i个所述通道图进行反量化,得到第i个所述反量化特征图,其中,
Figure F_210602135113033_033038013
为第i个所述反量化特征图,
Figure F_210602135113127_127251014
为第i个所述通道图,
Figure F_210602135113223_223012015
为所述第i个的第一通道参数,
Figure F_210602135113316_316723016
为所述第i个第二通道参数。
10.一种人脸识别装置,其特征在于,所述装置包括:
获取模块,用于获取待识别的人脸图像;
特征提取模块,用于将所述人脸图像输入至预先训练的人脸识别模型,利用所述人脸识别模型对所述人脸图像进行处理,以提取所述人脸图像的人脸特征,其中,所述人脸识别模型包括至少一个特征提取网络,所述特征提取网络对输入特征图依次进行量化、卷积及反量化,所述量化及所述反量化所采用的第一参数是按照所述输入特征图的通道数及预设通道组数确定的;
人脸识别模块,用于依据所述人脸特征对所述人脸图像进行人脸识别。
CN202110674809.2A 2021-06-18 2021-06-18 人脸识别方法及装置 Active CN113255576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110674809.2A CN113255576B (zh) 2021-06-18 2021-06-18 人脸识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110674809.2A CN113255576B (zh) 2021-06-18 2021-06-18 人脸识别方法及装置

Publications (2)

Publication Number Publication Date
CN113255576A true CN113255576A (zh) 2021-08-13
CN113255576B CN113255576B (zh) 2021-10-29

Family

ID=77188525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110674809.2A Active CN113255576B (zh) 2021-06-18 2021-06-18 人脸识别方法及装置

Country Status (1)

Country Link
CN (1) CN113255576B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596143A (zh) * 2018-05-03 2018-09-28 复旦大学 基于残差量化卷积神经网络的人脸识别方法及装置
CN109344731A (zh) * 2018-09-10 2019-02-15 电子科技大学 基于神经网络的轻量级的人脸识别方法
CN110210399A (zh) * 2019-05-31 2019-09-06 广东世纪晟科技有限公司 一种基于不确定性量化概率卷积神经网络的人脸识别方法
CN110399839A (zh) * 2019-07-26 2019-11-01 北京达佳互联信息技术有限公司 人脸识别方法、装置、设备及存储介质
CN110874626A (zh) * 2018-09-03 2020-03-10 华为技术有限公司 一种量化方法及装置
CN111263163A (zh) * 2020-02-20 2020-06-09 济南浪潮高新科技投资发展有限公司 一种基于手机平台的深度视频压缩框架的实现方法
CN111340226A (zh) * 2020-03-06 2020-06-26 北京市商汤科技开发有限公司 一种量化神经网络模型的训练及测试方法、装置及设备
CN111680536A (zh) * 2019-10-30 2020-09-18 高新兴科技集团股份有限公司 基于案管场景下的轻量化人脸识别方法
CN111950481A (zh) * 2020-08-17 2020-11-17 广州华多网络科技有限公司 图像中面部表情量化、识别方法及其装置、设备与介质
CN112215136A (zh) * 2020-10-10 2021-01-12 北京奇艺世纪科技有限公司 一种目标人物识别方法、装置、电子设备及存储介质
CN112232117A (zh) * 2020-09-08 2021-01-15 深圳微步信息股份有限公司 一种人脸识别方法、装置及存储介质
CN112613447A (zh) * 2020-12-29 2021-04-06 上海商汤智能科技有限公司 关键点检测方法及装置、电子设备和存储介质
CN112733665A (zh) * 2020-12-31 2021-04-30 中科院微电子研究所南京智能技术研究院 一种基于轻量化网络结构设计的人脸识别方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596143A (zh) * 2018-05-03 2018-09-28 复旦大学 基于残差量化卷积神经网络的人脸识别方法及装置
CN110874626A (zh) * 2018-09-03 2020-03-10 华为技术有限公司 一种量化方法及装置
CN109344731A (zh) * 2018-09-10 2019-02-15 电子科技大学 基于神经网络的轻量级的人脸识别方法
CN110210399A (zh) * 2019-05-31 2019-09-06 广东世纪晟科技有限公司 一种基于不确定性量化概率卷积神经网络的人脸识别方法
CN110399839A (zh) * 2019-07-26 2019-11-01 北京达佳互联信息技术有限公司 人脸识别方法、装置、设备及存储介质
CN111680536A (zh) * 2019-10-30 2020-09-18 高新兴科技集团股份有限公司 基于案管场景下的轻量化人脸识别方法
CN111263163A (zh) * 2020-02-20 2020-06-09 济南浪潮高新科技投资发展有限公司 一种基于手机平台的深度视频压缩框架的实现方法
CN111340226A (zh) * 2020-03-06 2020-06-26 北京市商汤科技开发有限公司 一种量化神经网络模型的训练及测试方法、装置及设备
CN111950481A (zh) * 2020-08-17 2020-11-17 广州华多网络科技有限公司 图像中面部表情量化、识别方法及其装置、设备与介质
CN112232117A (zh) * 2020-09-08 2021-01-15 深圳微步信息股份有限公司 一种人脸识别方法、装置及存储介质
CN112215136A (zh) * 2020-10-10 2021-01-12 北京奇艺世纪科技有限公司 一种目标人物识别方法、装置、电子设备及存储介质
CN112613447A (zh) * 2020-12-29 2021-04-06 上海商汤智能科技有限公司 关键点检测方法及装置、电子设备和存储介质
CN112733665A (zh) * 2020-12-31 2021-04-30 中科院微电子研究所南京智能技术研究院 一种基于轻量化网络结构设计的人脸识别方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
QI ZHANG等: "FPGA Implementation of Quantized Convolutional Neural Networks", 《2019 IEEE 19TH INTERNATIONAL CONFERENCE ON COMMUNICATION TECHNOLOGY (ICCT)》 *
YAN ZENG等: "An accurate and efficient face recognition method based on hash coding", 《2017 13TH INTERNATIONAL CONFERENCE ON NATURAL COMPUTATION, FUZZY SYSTEMS AND KNOWLEDGE DISCOVERY (ICNC-FSKD)》 *
刘辉: "基于神经网络的目标检测算法的移植和优化", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
林雪: "基于深度学习的交通标志识别", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 *
米汀: "复杂环境下的人脸识别系统设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Also Published As

Publication number Publication date
CN113255576B (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN110363279B (zh) 基于卷积神经网络模型的图像处理方法和装置
CN109840589B (zh) 一种在fpga上运行卷积神经网络的方法和装置
CN109002889B (zh) 自适应迭代式卷积神经网络模型压缩方法
US10491239B1 (en) Large-scale computations using an adaptive numerical format
CN111488985B (zh) 深度神经网络模型压缩训练方法、装置、设备、介质
WO2019238029A1 (zh) 卷积神经网络系统和卷积神经网络量化的方法
CN111489364B (zh) 基于轻量级全卷积神经网络的医学图像分割方法
CN111950723A (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
EP4087239A1 (en) Image compression method and apparatus
CN109978144B (zh) 一种模型压缩方法和系统
CN111738427B (zh) 一种神经网络的运算电路
CN109583586B (zh) 一种语音识别或图像识别中的卷积核处理方法及装置
CN111240746A (zh) 一种浮点数据反量化及量化的方法和设备
CN110837890A (zh) 一种面向轻量级卷积神经网络的权值数值定点量化方法
CN110826685A (zh) 神经网络卷积计算的方法和装置
CN111107274B (zh) 一种图像亮度统计方法及成像设备
CN110647974A (zh) 深度神经网络中的网络层运算方法及装置
CN110955405B (zh) 一种输入数据的处理及指数值获取方法、装置及电子设备
CN113111889A (zh) 用于边缘计算端的目标检测网络处理方法
CN110503149B (zh) 一种图像中局部特征分类方法及系统
CN111461302A (zh) 一种基于卷积神经网络的数据处理方法、设备及存储介质
CN116992946A (zh) 模型压缩方法、装置、存储介质和程序产品
CN113255576B (zh) 人脸识别方法及装置
CN113283591B (zh) 基于Winograd算法和近似乘法器的高效卷积实现方法及装置
CN111614358B (zh) 基于分通道量化的特征提取方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room 202-60, building 6, courtyard 1, gaolizhang Road, Haidian District, Beijing 100082

Patentee after: Sixth mirror technology (Beijing) Group Co.,Ltd.

Address before: Room 202-60, building 6, courtyard 1, gaolizhang Road, Haidian District, Beijing 100082

Patentee before: GLASSSIX TECHNOLOGY (BEIJING) Co.,Ltd.