CN113128289B - 人脸识别的特征提取计算方法及设备 - Google Patents
人脸识别的特征提取计算方法及设备 Download PDFInfo
- Publication number
- CN113128289B CN113128289B CN201911418678.0A CN201911418678A CN113128289B CN 113128289 B CN113128289 B CN 113128289B CN 201911418678 A CN201911418678 A CN 201911418678A CN 113128289 B CN113128289 B CN 113128289B
- Authority
- CN
- China
- Prior art keywords
- layer
- result
- convolution
- face
- pooling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 35
- 238000000605 extraction Methods 0.000 title claims abstract description 28
- 238000011176 pooling Methods 0.000 claims abstract description 82
- 238000003062 neural network model Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 53
- 230000036961 partial effect Effects 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000002441 reversible effect Effects 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 210000002364 input neuron Anatomy 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012512 characterization method Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明属于人工智能领域，提供一种人脸识别的特征提取计算方法，所述方法应用于人脸识别神经网络模型，所述神经网络模型包括n层运算，所述n层运算包括：第i层卷积层运算和第i+1层池化层运算。本申请提供的技术方案具有降低功耗的优点。
Description
技术领域
本发明涉及人工智能领域，尤其涉及一种人脸识别的特征提取计算方法及设备。
背景技术
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。
人脸识别均需要对特征进行提取，然后将提取的特征执行多层神经网络的运算得到运算结果，现有的人脸识别特征提取数据量大，较大的数据量不仅增加了处理芯片的运算量，还提高了能耗。
发明内容
本发明的目的之一是提供一种人脸识别的特征提取计算方法，其主要解决现有人脸识别特征提取数据量较大，增加了处理芯片运算量的问题。
第一方面，提供一种人脸识别的特征提取计算方法，所述方法
方法应用于人脸识别神经网络模型，所述神经网络模型包括n层运算，所述n层运算包括：第i层卷积层运算和第i+1层池化层运算；所述i为[1,n-1]内的整数，所述n为整数且大于等于4；所述方法包括：
采集人脸图像，依据人脸图像的每个像素点的RGB值生成该人脸图像的输入数据；
解析人脸识别神经网络模型的n层结构确定该第i层为卷积层运算以及第i+1层为池化层运算时，终端从第i层卷积层的输入数据中提取部分输入数据；
将部分输入数据与第i层卷积核执行卷积运算得到部分卷积结果，终端识别该部分卷积结果的尺寸是否大于第i+1层的池化层基本尺寸；
确定该部分卷积结果的尺寸大于第i+1层的池化层基本尺寸时，对该部分卷积结果执行池化运算得到池化层的部分池化结果。
第二方面，提供人脸识别的特征提取计算装置，所述装置应用于人脸识别神经网络模型，所述神经网络模型包括n层运算，所述n层运算包括：第i层卷积层运算和第i+1层池化层运算；所述i为[1,n-1]内的整数，所述n为整数且大于等于4；所述装置包括：
采集单元，用于采集人脸图像；
处理单元，用于依据人脸图像的每个像素点的RGB值生成该人脸图像的输入数据；解析人脸识别神经网络模型的n层结构确定该第i层为卷积层运算以及第i+1层为池化层运算时，从第i层卷积层的输入数据中提取部分输入数据；将部分输入数据与第i层卷积核执行卷积运算得到部分卷积结果，识别该部分卷积结果的尺寸是否大于第i+1层的池化层基本尺寸；确定该部分卷积结果的尺寸大于第i+1层的池化层基本尺寸时，对该部分卷积结果执行池化运算得到池化层的部分池化结果。
第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法。
实施本发明实施例，本申请的技术方案终端采集人脸图像，生成该人脸图像的输入数据；解析人脸识别模型的n层结构确定该第i层为卷积层运算以及第i+1层为池化层运算时，终端提取第i层卷积层运算的部分输入数据；将部分输入数据与第i层卷积核执行卷积运算得到部分卷积结果，终端识别该部分卷积结果的尺寸是否大于第i+1层的池化层基本尺寸；确定该部分卷积结果的尺寸大于第i+1层的池化层基本尺寸时，对该部分卷积结果执行池化运算得到池化层的结果。对于本申请的技术方案，其相当于将第i层卷积层与第i+1层作为连续的运算进行计算，进而避免了卷积层与池化层运算时需要大量的数据IO开销，因此其具有减少数据IO开销的优点。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本申请提供的一种终端的结构示意图。
图1A为本申请提供的一种人脸识别的特征提取计算的示意图。
图2为本申请提供的人脸识别的特征提取计算的方法的流程示意图。
图2A为本申请提供的一种神经网络结构示意图。
图3为根据本申请部分卷积运算结果示意图。
图4为根据本申请提供的一种人脸识别的特征提取计算的装置的结构示意图。
图5为本发明提供的一种计算机设备的结构图。
具体实施方式
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在上下文中所称“终端”，也称为“智能终端”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。终端包括但不限于平板电脑、智能手机、个人数字助理、电子书等。
这里所公开的具体结构细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
人脸识别技术主要是基于可见光图像的人脸识别，人脸与人体的其它生物特征(指纹、虹膜等)一样与生俱来，它的唯一性和不易被复制的良好特性为身份鉴别提供了必要的前提，与其它类型的生物识别比较人脸识别具有如下特点：
非强制性：用户不需要专门配合人脸采集设备，几乎可以在无意识的状态下就可获取人脸图像，这样的取样方式没有“强制性”；
非接触性：用户不需要和设备直接接触就能获取人脸图像；
并发性：在实际应用场景下可以进行多个人脸的分拣、判断及识别；
除此之外，还符合视觉特性：“以貌识人”的特性，以及操作简单、结果直观、隐蔽性好等特点。
人脸识别系统主要包括四个组成部分，分别为：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。
人脸图像采集及检测
人脸图像采集：不同的人脸图像都能通过摄像镜头采集下来，比如静态图像、动态图像、不同的位置、不同表情等方面都可以得到很好的采集。当用户在采集设备的拍摄范围内时，采集设备会自动搜索并拍摄用户的人脸图像。
人脸检测：人脸检测在实际中主要用于人脸识别的预处理，即在图像中准确标定出人脸的位置和大小。人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征及Haar特征等。人脸检测就是把这其中有用的信息挑出来，并利用这些特征实现人脸检测。
主流的人脸检测方法基于以上特征采用Adaboost学习算法，Adaboost算法是一种用来分类的方法，它把一些比较弱的分类方法合在一起，组合出新的很强的分类方法。
人脸检测过程中使用Adaboost算法挑选出一些最能代表人脸的矩形特征(弱分类器)，按照加权投票的方式将弱分类器构造为一个强分类器，再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，有效地提高分类器的检测速度。
人脸图像预处理
人脸图像预处理：对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。系统获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言，其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。
人脸图像特征提取
人脸图像特征提取：人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取就是针对人脸的某些特征进行的。人脸特征提取，也称人脸表征，它是对人脸进行特征建模的过程。人脸特征提取的方法归纳起来分为两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。
基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等。人脸由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和它们之间结构关系的几何描述，可作为识别人脸的重要特征，这些特征被称为几何特征。基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。
人脸图像匹配与识别
人脸图像匹配与识别：提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。人脸识别就是将待识别的人脸特征与已得到的人脸特征模板进行比较，根据相似程度对人脸的身份信息进行判断。
人脸识别的算法可以包括：基于人脸特征点的识别算法(Feature-basedrecognition algorithms)、基于整幅人脸图像的识别算法(Appearance-basedrecognition algorithms)于模板的识别算法(Template-based recognitionalgorithms)、利用神经网络进行识别的算法(Recognition algorithms using neuralnetwork)。
下面结合附图对本发明作进一步详细描述。
参阅图1，图1为一种移动终端结构示意图，如图1所示，该移动终端可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(MID，Mobile Internet Devices)或穿戴式设备等，上述移动终端仅是举例，而非穷举，包含但不限于上述移动终端，为了描述的方便，下面实施例中将上述移动终端称为用户设备(User equipment，UE)或终端。当然在实际应用中，上述用户设备也不限于上述变现形式，例如还可以包括：智能车载终端、计算机设备等等。如图1所示，该终端包括：处理器101、显示器102、人脸识别模组103和摄像头模组104，在实际应用中，该摄像头模组104也可以与人脸识别模组103集成在一起，当然在另外一种可选的技术方案中，该人脸识别模组103也可以集成在该处理器101内。本发明具体实施方式并不限制上述人脸识别模组103的具体封装位置。该处理器101分别与显示器102、人脸识别模组103和摄像头模组104连接，其连接方式可以为总线方式，当然在实际应用中，也可以采用其他的方式来连接，本发明具体实施方式并不限制处理器101分别与显示器102、人脸识别模组103和摄像头模组104连接的具体方式。
下面说明一下人脸识别的方式，首先需要说明的是，本发明的技术方案涉及人脸识别，但是并不限制该人脸识别的应用范围，例如，在本发明一个可选的技术方案中，可以通过人脸识别的结果实现终端解锁，又如，在本发明又一个可选的技术方案中，可以通过人脸识别的结果实现快捷支付，再如，在本发明另一个可选的技术方案中，可以通过人脸识别的结果实现快速进入设定场地，例如办公室考勤记录、办公室自动门开合等等场景，本发明具体实施方式并不限制具体的应用场景。该人脸识别的方式具体可以为，摄像头模组104采集人脸图像，人脸识别模块执行特征提取、比对认证、活体识别等操作以后输出人脸识别结果，处理器101依据该人脸识别结果执行后续操作，例如解锁操作或快捷支付操作等等。上述特征提取、比对认证、活体识别的操作可以通过人脸识别算法来执行，本发明具体实施方式中并不限制上述人脸识别算法的具体实现形式。
对于人脸识别算法，大部分人脸识别算法一般包括三个部分，即特征提取、比对认证以及活体识别，其中，比对认证具体的实现方式可以为，对采集的人脸图像与模板图像进行比对。对于现有的终端设备来说，由于终端设备使用的人不止一人，或者用户处于一些其他的考虑，可能录入有多个模板图像，这样对于对比特征的方式来说，其首先需要选择的即是采用多个模板图像中的一个图像，因为比对认证的是一一比对的方式，目前的技术并不涉及一对多的比对，所以选择多个模板图像中那个模板图像非常影响识别的速度。人脸识别的算法选取模板图像一般是随机选取或通过录入的时间来选取，随机选取的方式一般看选取的运气，在单个人脸识别中，有可能识别速度很快，但是长期来看，其与通过录入的时间的选取方式几乎一样。
以一种基于神经网络计算的人脸识别的计算方法为例来说明人脸识别的方案，对于神经网络计算时，其输入的数据可以称为输入神经元，该输入神经元在人脸识别中具体可以为一个特征的特征值，例如，轮廓特征值，肤色特征值、眼部特征值、耳朵特征值等等，其计算的方式是将该输入神经元与对应的权值进行计算得到计算结果，如图1A所示为一种人脸识别的特征提取计算的示意图，如图1A所示，i1表示第一输入神经元，O1表示第一输出神经元，w11表示第一输入神经元在O1的计算权值，对应如图1A所示的箭头表示计算的拓扑结构，即需要执行计算，对于如图1A所示的网络计算，以人脸识别为例，假设i1为轮廓特征值，i2为肤色特征值，i3为眼部特征值，i4为头发特征值，对此，其需要执行的计算可以包括：i1*W11、i1*W12、i2*W21、i2*W22、i3*W31、i3*W32、i4*W41、i4*W42，其中W11代表轮廓特征值的第一权值，W12代表轮廓特征值的第二权值，W21代表肤色特征值的第一权值，W22代表肤色特征值的第二权值，W31代表眼部特征值的第一权值，W32代表眼部特征值的第二权值，W41代表头发特征值的第一权值，W42代表头发特征值的第二权值。在执行上述计算以后，后续可能会执行池化运算，其需要将该计算结果存储后，然后在提取，在进行池化运算，此种方式对数据的IO开销特别大，因此人脸识别计算的计算量大，增加了芯片的计算量，增加了功耗。
参阅图2，图2提供了一种人脸识别的特征提取计算方法，该方法应用于人脸识别神经网络模型，该神经网络模型包括n层运算(该n层运算如图2A所示)，所述n层运算包括：相邻两层运算包括：卷积层运算(第i层)和池化层运算(第i+1层)，该卷积层运算在池化层运算之前，该方法可以由如图1所示的终端执行，n大于等于4的整数，该方法如图2所示，包括如下步骤：
步骤S201、终端采集人脸图像，依据人脸图像的每个像素点的RGB值生成该人脸图像的输入数据。
上述输入数据的生成方法可以多种，例如，可以直接按每个像素点的顺序对每个像素点的RGB值进行排列得到一个矩阵输入数据，当然在实际应用中，还可以依据每个像素点的位置关系分别将RGB值排列的在一个三维数据中[3][X][Y]；其中3表示深度值，每个深度对应R、G、B中的一个，X表示长度值，Y表示高度值。
步骤S202、终端解析人脸识别神经网络模型的n层结构确定该第i层为卷积层运算以及第i+1层为池化层运算时，终端从第i层卷积层的输入数据中提取部分输入数据。
上述部分输入数据可以依据实际情况进行确定，例如，在一种可选的实施例中，可以通过元素的预设数量来确定，即每次从输入数据中提取预设数量个元素值，每次提取不同的元素值直至将第i层输入数据的所有元素值提取完毕。又如，在一种个可选的实施例中，可以每次提取预设区域的部分输入数据，例如，当输入数据为[3][X][Y]，上述部分输入数据可以分为3个，第一个为[X][Y]1；第二个为[X][Y]2，第三个为[X][Y]3。其中下标表示矩阵深度的取值。
步骤S203、终端将部分输入数据与第i层卷积核执行卷积运算得到部分卷积结果，终端识别该部分卷积结果的尺寸是否大于第i+1层的池化层基本尺寸。
步骤S204、终端确定该部分卷积结果的尺寸大于第i+1层的池化层基本尺寸时，对该部分卷积结果执行池化运算得到池化层的部分池化结果。
本申请的技术方案终端采集人脸图像，生成该人脸图像的输入数据；解析人脸识别模型的n层结构确定该第i层为卷积层运算以及第i+1层为池化层运算时，终端提取第i层卷积层运算的部分输入数据；将部分输入数据与第i层卷积核执行卷积运算得到部分卷积结果，终端识别该部分卷积结果的尺寸是否大于第i+1层的池化层基本尺寸；确定该部分卷积结果的尺寸大于第i+1层的池化层基本尺寸时，对该部分卷积结果执行池化运算得到池化层的结果。对于本申请的技术方案，其相当于将第i层卷积层与第i+1层作为连续的运算进行计算，进而避免了卷积层与池化层运算时需要大量的数据IO开销，因此其具有减少数据IO开销的优点。
参阅图3为一个部分卷积结果示意图，其尺寸为[C][H][W]，假设第i+1层的基本尺寸为[5][3][3]，如图3所示的灰色为例，如图3所示，每个透明方块表示执行第i层卷积层的一次卷积运算得到的一个结果。
下面介绍一个卷积运算以及池化运算的原理，对于卷积运算，其即在输入数据的基本尺寸的元素(即标量值)与卷积核进行卷积运算得到结果(即如图3所示的一个透明方块)，池化运算，即将池化基本的元素进行池化运算，例如图3所示的灰色为例，在这个区域的元素值执行池化运算，该池化可以为最大值、最小值等等。大部分为最大值运算。现有的卷积运算和池化运算，其只会在执行所有的卷积运算之后，在进行池化运算，此种有个缺点即，部分卷积运算结果需要存储在存储器，在进行池化运算时，在被提取出来，因此其具有一次IO(输入输出)的提取，本申请的技术方案直接进行池化运算能够减少此次的IO开销的，因此其具有节省IO开销，提高运算速度的优点。
在一种可选方案中，上述池化运算可以包括：最大值池化或最小值池化。
在一种可选方案中，如果所述终端为多核应用处理，提取多核应用处理器中每个核的使用率，依据该计算量以及使用率为多核应用处理的每个核分配部分输入数据。
对于多核应用处理器来说，其因为可以实现多核并行的运算，所以其能够提高计算的效率，对于上述人脸识别的运算来说，其通过对多核应用处理中多个核的部分输入数据的分配来实现对每个核的使用率的调整，核的使用率体现了每个核的使用状态，如果该核的使用率越高，说明其处理的任务量越繁重，反之，则越轻松，所以这里首先需要对该使用率进行获取，然后对该计算链接对应的输入神经元和权值的类型确定每个卷积运算对应的计算量，将减少的部分输入数据分配给使用率高的核执行运算，将计算量高的部分输入数据分配给使用率低的核执行运算。
可选的，上述计算量的获取方式具体采用下述方式中的任意一种。具体包括：
在本发明一种可选方案中，可以直接依据该卷积运算对应的输入神经元(即第i层输入数据)以及权值(第i层卷积核)来确定，如输入神经元为向量或矩阵，权值对应也是向量或矩阵，则直接依据输入神经元和权值的尺寸来确定计算量，例如计算量＝x1*y1*x2*y2，其中x1、y1表示输入神经元矩阵的行值、列值，x2、y2表示权值矩阵的行值、列值，按计算量的高或低来实现对该部分输入数据的分配。
上述方法还可以包括：将计算量标识与该部分输入数据。
此方案实现了对部分输入数据计算量的标识，此种标识能够将更大的计算量分配给使用率更低的核来处理，所以其具有提高人脸识别计算速度的优点。
可选的，上述方法还可以包括：执行所有部分输入数据的卷积运算和池化运算得到所有的部分池化结果，将所有的池化结果执行第i+1层的后续层运算得到运算结果，将运算结果与预设的人脸模板结果比对确定是否一致，如比对一致，确定该人脸图片与该人脸模块匹配。
可选的，上述将运算结果与预设的人脸模板结果比对确定是否一致具体可以包括：
如果预设的人脸模块具有角度相同的多个模板图像，提取多个模板图像中每个模板图像的图像亮度，计算每个模板图像的图像亮度与人脸图像的图像亮度之间差值，对该差值取绝对值得到亮度绝对值，将该多个模板图像对应的人脸模板结果按该亮度绝对值的倒序排列，依据该排列顺序确定运算结果与人脸模板结果的比对顺序。
下面有5个模板图像，分别定义为，模板1、模板2、模板3、模板4、模板5，模板1、模板2、模板3、模板4、模板5分别对应的终端角度为：β1、β2、β3、β4、β5；假设人脸图像的终端角度为α，则计算每个模板图像的终端角度与人脸图像的终端角度的差值的绝对值，模板1对应的绝对值为|β1－α|、模板2对应的绝对值为|β2－α|、模板3对应的绝对值为|β3－α|、模板4对应的绝对值为|β4－α|、模板5对应的绝对值为|β5－α|；假设|β5－α|＞|β1－α|＞|β2－α|＝|β3－α|＞|β4－α|；即排列顺序具体可以为：模板4、模板3、模板2、模板1、模板5。
可选的，上述将运算结果与预设的人脸模板结果比对确定是否一致具体包括：
将运算结果与所述预设的人脸模板结果执行减法运算得到减法结果，获取减法结果中所有元素的平均值，如该平均值大于设定阈值，确定所述运算结果与预设的人脸模板结果不一致，如该平均值小于等于设定阈值，确定所述运算结果与预设的人脸模板结果一致。
参阅图4，图4提供了一种人脸识别的特征提取计算装置，所述装置应用于人脸识别神经网络模型，所述神经网络模型包括n层运算，所述n层运算包括：第i层卷积层运算和第i+1层池化层运算；所述i为[1,n-1]内的整数，所述n为整数且大于等于4；所述装置包括：
采集单元401，用于采集人脸图像；
处理单元402，用于依据人脸图像的每个像素点的RGB值生成该人脸图像的输入数据；解析人脸识别神经网络模型的n层结构确定该第i层为卷积层运算以及第i+1层为池化层运算时，终从第i层卷积层的输入数据中提取部分输入数据；将部分输入数据与第i层卷积核执行卷积运算得到部分卷积结果，终端识别该部分卷积结果的尺寸是否大于第i+1层的池化层基本尺寸；确定该部分卷积结果的尺寸大于第i+1层的池化层基本尺寸时，对该部分卷积结果执行池化运算得到池化层的部分池化结果。
可选的，所述池化层运算包括：最大值池化运算或最小值池化运算。
可选的，处理单元，用于所述处理单元为多核应用处理器，提取多核应用处理器中每个核的使用率，依据该计算量以及使用率为多核应用处理的每个核分配部分输入数据。
可选的，所述计算量为第i层部分输入数据的尺寸与卷积核尺寸的乘积。
在一种可选的方案中，处理单元，还用于执行所有部分输入数据的卷积运算和池化运算得到所有的部分池化结果，将所有的池化结果执行第i+1层的后续层运算得到运算结果，将运算结果与预设的人脸模板结果比对确定是否一致，如比对一致，确定该人脸图片与该人脸模块匹配。
上述处理单元的细化方案还可以参见如图2所示方法实施例的描述，这里不在赘述。
本发明实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
参见图5，本发明实施例还提供一种计算机设备500，该计算机设备500包括但不限于：智能手机、智能手表、平板电脑、个人电脑或服务器，如图5所示，该计算机设备500包括：处理器501、存储器502、收发器503和总线504。收发器503用于与外部设备之间收发数据。计算机设备500中的处理器501的数量可以是一个或多个。本申请的一些实施例中，处理器501、存储器502和收发器503可通过总线系统或其他方式连接。关于本实施例涉及的术语的含义以及举例，可以参考图2对应的说明。此处不再赘述。
需要说明的是，这里的处理器501可以是一个处理元件，也可以是多个处理元件的统称。例如，该处理元件可以是中央处理器，也可以是特定集成电路，或者是被配置成实施本申请实施例的一个或多个集成电路，例如：一个或多个微处理器，或，一个或者多个现场可编程门阵列。
其中，存储器502中存储程序代码。存储器502可以是一个存储装置，也可以是多个存储元件的统称，且用于存储可执行程序代码或应用程序运行装置运行所需要参数、数据等。且存储器502可以包括随机存储器，也可以包括非易失性存储器，例如磁盘存储器，闪存等。
总线504可以是工业标准体系结构总线、外部设备互连总线或扩展工业标准体系结构总线等。该总线可以分为地址总线、数据总线、控制总线等。
该计算机设备还可以包括输入输出装置，连接于总线504，以通过总线与处理器501等其它部分连接。该输入输出装置可以为操作人员提供一输入界面，以便操作人员通过该输入界面选择布控项，还可以是其它接口，可通过该接口外接其它设备。
本申请实施例还提供一种用户终端，包括：
相互耦合的处理器和存储器；
其中，所述处理器用于调用所述存储器中存储的计算机程序，以执行如图2所示方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种人脸识别的特征提取计算方法，其特征在于，所述方法应用于人脸识别神经网络模型，所述神经网络模型包括n层运算，所述n层运算包括：第i层卷积层运算和第i+1层池化层运算；所述i为[1,n-1]内的整数，所述n为整数且大于等于4；所述方法包括：
采集人脸图像，依据人脸图像的每个像素点的RGB值生成该人脸图像的输入数据；
解析人脸识别神经网络模型的n层结构确定该第i层为卷积层运算以及第i+1层为池化层运算时，终端从第i层卷积层的输入数据中提取部分输入数据；
将部分输入数据与第i层卷积核执行卷积运算得到部分卷积结果，终端识别该部分卷积结果的尺寸是否大于第i+1层的池化层基本尺寸；
确定该部分卷积结果的尺寸大于第i+1层的池化层基本尺寸时，对该部分卷积结果执行池化运算得到池化层的部分池化结果。
2.根据权利要求1所述的方法，其特征在于，所述方法应用于多核应用处理器，所述方法还包括：
提取多核应用处理器中每个核的使用率，依据该计算量以及使用率为多核应用处理的每个核分配部分输入数据。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
执行所有部分输入数据的卷积运算和池化运算得到所有的部分池化结果，将所有的池化结果执行第i+1层的后续层运算得到运算结果，将运算结果与预设的人脸模板结果比对确定是否一致，如比对一致，确定该人脸图片与该人脸模块匹配。
4.根据权利要求3所述的方法，其特征在于，所述将运算结果与预设的人脸模板结果比对具体包括：
如果预设的人脸模块具有角度相同的多个模板图像，提取多个模板图像中每个模板图像的图像亮度，计算每个模板图像的图像亮度与人脸图像的图像亮度之间差值，对该差值取绝对值得到亮度绝对值，将该多个模板图像对应的人脸模板结果按该亮度绝对值的倒序排列，依据该排列顺序确定运算结果与人脸模板结果的比对顺序。
5.根据权利要求3所述的方法，其特征在于，所述将运算结果与预设的人脸模板结果比对确定是否一致具体包括：
将运算结果与所述预设的人脸模板结果执行减法运算得到减法结果，获取减法结果中所有元素的平均值，如该平均值大于设定阈值，确定所述运算结果与预设的人脸模板结果不一致，如该平均值小于等于设定阈值，确定所述运算结果与预设的人脸模板结果一致。
6.一种人脸识别的特征提取计算装置，其特征在于，所述装置应用于人脸识别神经网络模型，所述神经网络模型包括n层运算，所述n层运算包括：第i层卷积层运算和第i+1层池化层运算；所述i为[1,n-1]内的整数，所述n为整数且大于等于4；所述装置包括：
采集单元，用于采集人脸图像；
处理单元，用于依据人脸图像的每个像素点的RGB值生成该人脸图像的输入数据；解析人脸识别神经网络模型的n层结构确定该第i层为卷积层运算以及第i+1层为池化层运算时，从第i层卷积层的输入数据中提取部分输入数据；将部分输入数据与第i层卷积核执行卷积运算得到部分卷积结果，识别该部分卷积结果的尺寸是否大于第i+1层的池化层基本尺寸；确定该部分卷积结果的尺寸大于第i+1层的池化层基本尺寸时，对该部分卷积结果执行池化运算得到池化层的部分池化结果。
7.根据权利要求6所述的装置，其特征在于，
处理单元，用于所述处理单元为多核应用处理器，提取多核应用处理器中每个核的使用率，依据该计算量以及使用率为多核应用处理的每个核分配部分输入数据。
8.根据权利要求7所述的装置，其特征在于，
处理单元，还用于执行所有部分输入数据的卷积运算和池化运算得到所有的部分池化结果，将所有的池化结果执行第i+1层的后续层运算得到运算结果，将运算结果与预设的人脸模板结果比对确定是否一致，如比对一致，确定该人脸图片与该人脸模块匹配。
9.一种用户终端，其特征在于，包括：
相互耦合的处理器和存储器；
其中，所述处理器用于调用所述存储器中存储的计算机程序，以执行权利要求1至5任意一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-5任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911418678.0A CN113128289B (zh) | 2019-12-31 | 2019-12-31 | 人脸识别的特征提取计算方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911418678.0A CN113128289B (zh) | 2019-12-31 | 2019-12-31 | 人脸识别的特征提取计算方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113128289A CN113128289A (zh) | 2021-07-16 |
| CN113128289B true CN113128289B (zh) | 2024-01-09 |
Family
ID=76769368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911418678.0A Active CN113128289B (zh) | 2019-12-31 | 2019-12-31 | 人脸识别的特征提取计算方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113128289B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107832262A (zh) * | 2017-10-19 | 2018-03-23 | 珠海格力电器股份有限公司 | 卷积运算方法及装置 |
| CN108805212A (zh) * | 2018-06-14 | 2018-11-13 | 新联智慧信息技术（深圳）有限公司 | 大数据的处理方法及相关产品 |
| CN108830211A (zh) * | 2018-06-11 | 2018-11-16 | 厦门中控智慧信息技术有限公司 | 基于深度学习的人脸识别方法及相关产品 |
-
2019
- 2019-12-31 CN CN201911418678.0A patent/CN113128289B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107832262A (zh) * | 2017-10-19 | 2018-03-23 | 珠海格力电器股份有限公司 | 卷积运算方法及装置 |
| CN108830211A (zh) * | 2018-06-11 | 2018-11-16 | 厦门中控智慧信息技术有限公司 | 基于深度学习的人脸识别方法及相关产品 |
| CN108805212A (zh) * | 2018-06-14 | 2018-11-13 | 新联智慧信息技术（深圳）有限公司 | 大数据的处理方法及相关产品 |
Non-Patent Citations (1)
| Title |
|---|
| 基于改进的卷积神经网络的人脸识别算法;董洛丞;陈张平;;杭州电子科技大学学报(自然科学版)(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113128289A (zh) | 2021-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zulfiqar et al. | Deep face recognition for biometric authentication | |
| US11138413B2 (en) | Fast, embedded, hybrid video face recognition system | |
| CN107766786B (zh) | 活性测试方法和活性测试计算设备 | |
| CN111444881A (zh) | 伪造人脸视频检测方法和装置 | |
| Bedagkar-Gala et al. | Multiple person re-identification using part based spatio-temporal color appearance model | |
| Kalas | Real time face detection and tracking using OpenCV | |
| Anand et al. | An improved local binary patterns histograms techniques for face recognition for real time application | |
| US20200193117A1 (en) | Method and system for neural fingerprint enhancement for fingerprint recognition | |
| CN111291612A (zh) | 一种基于多人多摄像头跟踪的行人重识别方法及装置 | |
| Bharadi et al. | Multi-instance iris recognition | |
| Tofighi et al. | A robust face recognition system in image and video | |
| Bairagi et al. | A real-time face recognition smart attendance system with haar cascade classifiers | |
| CN111104911A (zh) | 一种基于大数据训练的行人重识别方法及装置 | |
| CN116343287A (zh) | 面部表情识别、模型训练方法、装置、设备及存储介质 | |
| CN113128289B (zh) | 人脸识别的特征提取计算方法及设备 | |
| Geetha et al. | 3D face recognition using Hadoop | |
| Cui | A scheme of human face recognition in complex environments | |
| Selvi et al. | FPGA implementation of a face recognition system | |
| Kartbayev et al. | Development of a computer system for identity authentication using artificial neural networks | |
| Alrikabi et al. | Deep Learning-Based Face Detection and Recognition System | |
| Pukdesree et al. | Reviewed: The face authentication processes for accessing cloud computing services using iPhone | |
| Patel et al. | Exploring Facial Landmark Detection Techniques for Attention Detection in Human-Computer Interactions | |
| Devi et al. | Attendance Management System using Face Recognition | |
| Jebarani et al. | PNN-SIFT: an enhanced face recognition and classification system in image processing | |
| Saxena et al. | A Review on LBPH (Local Binary Patterns Histograms) based Enhanced Technique For Multiple Face Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |