CN113343955B - 一种基于深度金字塔的人脸识别智能尾箱应用方法 - Google Patents

Abstract

本发明提出了一种基于深度金字塔的人脸识别智能尾箱应用方法，涉及人脸识别技术领域。包括以下步骤：采集持有人的人脸图像作为基准图像；采集使用者的人脸图像作为待检测图像；分别对基准图像和待检测图像进行处理并得到多层图层；分别检测上述图层，得到对应图层之间的相似度；通过不同图层的匹配结果判断使用者是否为持有人，还包括：图像获取模块、图像处理模块、指令输出模块、主控模块；其结合深度信息的图像金字塔将人脸图像分为多个层次，利用多层次保证人脸识别的精准度，确保使用的安全性；而利用多种特征算子提取人脸图像的特征信息，提升图像特征提取的质量，实现更高精度的人脸识别，从而为人脸识别的安全使用提供支持。

Description

一种基于深度金字塔的人脸识别智能尾箱应用方法

技术领域

本发明涉及人脸识别技术领域，具体而言，涉及一种基于深度金字塔的人脸识别智能尾箱应用方法。

背景技术

对于柜员等银行工作人员，智能尾箱能够帮助他们存放现金、凭证等重要物品，越来越发挥着重要的作用。同时，很多不法分子通过盗用的方式造成了巨大的财产损失，因此智能尾箱的使用安全性也非常值得关注。基于此， 很多科研机构、公司将人脸识别技术应用于智能尾箱，旨在最大限度地保证尾箱安全使用。

然而，传统的人脸识别的方法仍然存在较为明显的不足之处，无法较好地保障智能尾箱的安全使用。首先，传统方法仅从单层次考虑图像的特征信息，没有充分考虑图像的多层次特征信息；其次，利用较为单一的特征算子提取图像特征往往存在局限性，无法精准、全面地提取图像的特征信息。上述不足之处都显著地降低了人脸识别的精度。

因此，如何建立一种更为有效的基于人脸识别的智能尾箱应用方法，更加充分地保证人脸识别的精度，能够更好的保证智能尾箱的安全使用是一项亟待解决的工作。

发明内容

本发明的目的在于提供一种基于深度金字塔的人脸识别智能尾箱应用方法，其能够提升图像特征提取的质量，实现更高精度的人脸识别，从而为尾箱的安全使用提供支持。

本发明的实施例是这样实现的：

一方面，本申请实施例提供一种基于深度金字塔的人脸识别智能尾箱应用方法，其包括以下步骤：

采集持有人的人脸图像作为基准图像；

采集使用者的人脸图像作为待检测图像；

分别对基准图像和待检测图像进行残差卷积网络处理和拉普拉斯金字塔处理，并分别得到多层图层；

分别检测经过处理的基准图像和待检测图像所得到的图层，并得到对应图层之间的相似度；

通过不同图层的匹配结果判断使用者是否为持有人，并输出通过或拒绝的指令。

在本发明的一些实施例中，上述基准图像为持有人的正面人脸图像。

在本发明的一些实施例中，上述分别对基准图像和待检测图像进行残差卷积网络处理和拉普拉斯金字塔处理，并分别得到多层图层包括以下步骤；

残差卷积网络对基准图像和待检测图像进行处理，得到它们各自的深度图层，并将其分别作为图像金字塔的第一层；

拉普拉斯金字塔对基准图像和待检测图像进行处理，将图像分解为3不同的层次，并分别作为图像金字塔的第二、三、四层。

在本发明的一些实施例中，上述分别检测经过处理的基准图像和待检测图像所得到的图层，并得到对应图层之间的相似度包括以下步骤；

利用SIFT特征算子分别对图像金字塔的第一层进行提取特征，再利用欧式距离计算已提取特征之间的相似度；

利用HOG 特征算子分别对图像金字塔的第二层进行提取特征，再利用欧式距离计算已提取特征之间的相似度；

利用HOG 特征算子分别对图像金字塔的第三层进行提取特征，再利用欧式距离计算已提取特征之间的相似度；

利用HOG 特征算子分别对图像金字塔的第四层进行提取特征，再利用欧式距离计算已提取特征之间的相似度。

在本发明的一些实施例中，上述通过不同图层的匹配结果判断使用者是否为持有人，并输出通过或拒绝的指令包括以下步骤：

图像金字塔的四个层次中，基准图像和待检测图像有三个或三个以上层次的相似度在70%以上，则认定为基准图像和待检测图像匹配度高，并发出打开智能尾箱的指令；

图像金字塔的四个层次中，基准图像和待检测图像仅有两个或两个以下层次的相似度在70%以上，则认定基准图像和待检测图像匹配度低，并发出拒绝打开智能尾箱的指令。

另一方面，本申请实施例提供一种基于深度金字塔的人脸识别智能尾箱应用系统，其包括：图像获取模块，用于获取待识别原始彩色图像；

图像处理模块，用于图像获取模块获取的原始彩色图像的处理，并得出结果；

指令输出模块，用于根据图像处理模块得出的结果，发出通过或拒绝的指令；

存储模块，用于存储图像信息并维持系统的运行；

主控模块，用于控制整个过程的运行流程。

在本发明的一些实施例中，上述图像处理模块包括：残差卷积网络处理单元，用于对基准图像和待检测图像进行残差卷积网络处理；

拉普拉斯金字塔处理单元，用于对基准图像和待检测图像进行拉普拉斯金字塔处理。

在本发明的一些实施例中，上述图像处理模块还包括：特征抽取单元，用于对图像金字塔中的每层图层进行特征抽取。

在本发明的一些实施例中，上述图像处理模块还包括：相似度计算单元，用于计算基准图像的图像金字塔和待检测图像的图像金字塔对应图层中已提取特征之间的相似度。

在本发明的一些实施例中，上述图像处理模块还包括：判断识别单元，根据相似度计算单元所得到的结果，判断并发送指令到指令输出端元。

相对于现有技术，本发明的实施例至少具有如下优点或有益效果：

首先采集持有人的正脸图像作为系统的基准图像，并保存至所在系统中；而在使用时，通过采集当前使用者的人脸图像，再分别通过残差卷积网络处理和拉普拉斯金字塔处理，从而分别得到对应的多层图层，再对已处理的基准图像和待处理图像的图层中，相对应的图层之间进行检测，从而获得对应图层之间的相似度数据，而通过相似度数据的在进行判断，从而得出结果，并输出通过或拒绝的指令，其利用结合深度信息的图像金字塔将人脸图像分为多个层次，利用多层次保证人脸识别的精准度，确保使用的安全性；而利用多种特征算子提取人脸图像的特征信息，提升图像特征提取的质量，实现更高精度的人脸识别，从而为人脸识别的安全使用提供支持。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例中人脸识别应用方法的流程图；

图2为本发明实施例中的连接框图；

图3为本发明实施例图像处理模块的组成图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本申请的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。

实施例

请参阅图1-图3，图1为本发明实施例中人脸识别应用方法的流程图；图2为本发明实施例中的连接框图；图3为本发明实施例图像处理模块的组成图。

一方面，本申请实施例提供一种基于深度金字塔的人脸识别智能尾箱应用方法，其包括以下步骤：

S1、采集持有人的人脸图像作为基准图像；

S2、采集使用者的人脸图像作为待检测图像；

S3、分别对基准图像和待检测图像进行残差卷积网络处理和拉普拉斯金字塔处理，并分别得到多层图层；

S4、分别检测经过处理的基准图像和待检测图像所得到的图层，并得到对应图层之间的相似度；

S5、通过不同图层的匹配结果判断使用者是否为持有人，并输出通过或拒绝的指令。

在本实施例中，上述基准图像为持有人的正面人脸图像。

也就是说，首先采集持有人的正脸图像作为系统的基准图像，并保存至所在系统中；而在使用时，通过采集当前使用者的人脸图像，再分别通过残差卷积网络处理和拉普拉斯金字塔处理，从而分别得到对应的多层图层，再对已处理的基准图像和待处理图像的图层中，相对应的图层之间进行检测，从而获得对应图层之间的相似度数据，而通过相似度数据的在进行判断，从而得出结果，并输出通过或拒绝的指令。

而在实际使用时，此种人脸识别的处理方式不仅仅适用于智能尾箱的应用，在所有具有人脸识别的场所或设备中，均能够采用此种方式。

在本实施例中，上述分别对基准图像和待检测图像进行残差卷积网络处理和拉普拉斯金字塔处理，并分别得到多层图层包括以下步骤；

残差卷积网络对基准图像和待检测图像进行处理，得到它们各自的深度图层，并将其分别作为图像金字塔的第一层；

残差卷积网络即是一种新的深度注意力算法，并分别对基准图像和待检测图像进行处理，并且构建图像金字塔，将残差卷积网络处理的基准图像和待检测图像作为图像金字塔的第一层。

拉普拉斯金字塔对基准图像和待检测图像进行处理，将图像分解为3不同的层次，并分别作为图像金字塔的第二、三、四层。

在处理图像的过程中，由于图像中某个像素与相邻像素之间的有很强的相关性，即不管是从纹理还是从灰度级都很相似。

如果物体的尺寸很小或者说对比度不高，通常则需要采用较高的分辨率来观察。如果物体的尺寸很大或者说对比度很强，那么就仅仅需要较低的分辨率就能够来传观了。如果现在物体的尺寸有大有小，对比度有强有弱，这些关系同时存在，这个时候，只能上多分辨率处理。而图像金字塔是以一系列以金字塔形状排列的分辨率初步降低的图像的集合。

在本实施例中，上述分别检测经过处理的基准图像和待检测图像所得到的图层，并得到对应图层之间的相似度包括以下步骤；

利用SIFT特征算子分别对图像金字塔的第一层进行提取特征，再利用欧式距离计算已提取特征之间的相似度；

SIFT实质的内容和价值是特征描述思想，这是它的核心所在，特征点描述主要包括如下两点：方向分配和局部特征描述。

方向分配：根据图像的图像，可以为每个关键定指定一个基准方向，可以相对于这个指定方向表示关键点的描述符，从而实现了图像的旋转不变性。 关键点的尺度用于选择尺度最接近的高斯平滑图像，使得计算是以尺度不变的方式执行，对每个图像，分别计算它的梯度幅值和梯度方向，然后，使用方向直方图统计关键点邻域内的梯度幅值和梯度方向。将0~360度划分成36个区间，每个区间为10度，统计得出的直方图峰值代表关键点的主方向。

局部特征描述：通过前面的一系列操作，已经获得每个关键点的位置、尺度、方向，接下来要做的就是用已知特征向量把它描述出来，这是图像特征提取的核心部分。为了避免对光照、视角等因素的敏感性，需要特征描述子不仅仅包含关键点，还要包含它的邻域信息。

它以检测得到的关键点为中心，选择一个16*16的邻域，然后再把这个邻域再划分为4*4的子区域，然后对梯度方向进行划分成8个区间，这样在每个子区域内疚会得到一个4*4*8=128维的特征向量，向量元素大小为每个梯度方向区间权值。提出得到特征向量后要对邻域的特征向量进行归一化，归一化的方向是计算邻域关键点的主方向，并将邻域旋转至根据主方向旋转至特定方向，这样就使得特征具有旋转不变性。然后再根据邻域内各像素的大小把邻域缩放到指定尺度，进一步使得特征描述子具有尺度不变性。

利用HOG 特征算子分别对图像金字塔的第二层进行提取特征，再利用欧式距离计算已提取特征之间的相似度；

利用HOG 特征算子分别对图像金字塔的第三层进行提取特征，再利用欧式距离计算已提取特征之间的相似度；

利用HOG 特征算子分别对图像金字塔的第四层进行提取特征，再利用欧式距离计算已提取特征之间的相似度。

HOG特征是一种图像局部特征，其基本思路是对图像局部的梯度幅值和方向进行投票统计，形成基于梯度特性的直方图，然后将局部特征拼接起来作为总特征。局部特征在这里指的是将图像划分为多个子块（Block), 每个Block内的特征进行联合以形成最终的特征。

而通过SIFT和HOG的结合使用，从而提取人脸图像的特征信息，并提升图像特征提取的质量，实现更高精度的人脸识别。

在本实施例中，上述通过不同图层的匹配结果判断使用者是否为持有人，并输出通过或拒绝的指令包括以下步骤：

图像金字塔的四个层次中，基准图像和待检测图像有三个或三个以上层次的相似度在70%以上，则认定为基准图像和待检测图像匹配度高，并发出打开智能尾箱的指令；

图像金字塔的四个层次中，基准图像和待检测图像仅有两个或两个以下层次的相似度在70%以上，则认定基准图像和待检测图像匹配度低，并发出拒绝打开智能尾箱的指令。

另一方面，本申请实施例提供一种基于深度金字塔的人脸识别智能尾箱应用系统，如图2-图3所示，其包括：图像获取模块，用于获取待识别原始彩色图像；

图像处理模块，用于图像获取模块获取的原始彩色图像的处理，并得出结果；

指令输出模块，用于根据图像处理模块得出的结果，发出通过或拒绝的指令；

存储模块，用于存储图像信息并维持系统的运行；

主控模块，用于控制整个过程的运行流程。

在本实施例中，上述图像处理模块包括：残差卷积网络处理单元，用于对基准图像和待检测图像进行残差卷积网络处理；

拉普拉斯金字塔处理单元，用于对基准图像和待检测图像进行拉普拉斯金字塔处理。

在本实施例中，上述图像处理模块还包括：特征抽取单元，用于对图像金字塔中的每层图层进行特征抽取。

在本实施例中，上述图像处理模块还包括：相似度计算单元，用于计算基准图像的图像金字塔和待检测图像的图像金字塔对应图层中已提取特征之间的相似度。

在本实施例中，上述图像处理模块还包括：判断识别单元，根据相似度计算单元所得到的结果，判断并发送指令到指令输出端元。

其利用结合深度信息的图像金字塔将人脸图像分为多个层次，利用多层次保证人脸识别的精准度，确保使用的安全性；而利用多种特征算子提取人脸图像的特征信息，提升图像特征提取的质量，实现更高精度的人脸识别，从而为人脸识别的安全使用提供支持。

一种基于深度金字塔的人脸识别智能尾箱应用方法的工作原理是：首先采集持有人的正脸图像作为系统的基准图像，并保存至所在系统中；而在使用时，通过采集当前使用者的人脸图像，再分别通过残差卷积网络处理和拉普拉斯金字塔处理，从而分别得到对应的多层图层，再对已处理的基准图像和待处理图像的图层中，相对应的图层之间进行检测，从而获得对应图层之间的相似度数据，而通过相似度数据的在进行判断，从而得出结果，并输出通过或拒绝的指令。

其中，存储模块可以是但不限于，随机存取存储模块（Random Access Memory，RAM），只读存储模块（Read Only Memory，ROM），可编程只读存储模块（Programmable Read-Only Memory，PROM），可擦除只读存储模块（Erasable Programmable Read-Only Memory，EPROM），电可擦除只读存储模块（Electric Erasable Programmable Read-Only Memory，EEPROM）等。

主控模块可以是一种集成电路芯片，具有信号处理能力。该主控模块可以是通用主控模块，包括中央主控模块（Central Processing Unit，CPU）、网络主控模块（NetworkProcessor，NP）等；还可以是数字信号主控模块（Digital Signal Processing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以理解，图1-图3所示的结构仅为示意，还可包括比图1-图3中所示更多或者更少的组件，或者具有与图1-图3所示不同的配置。图1-图3中所示的各组件可以采用硬件、软件或其组合实现。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (4)

1.一种基于深度金字塔的人脸识别智能尾箱应用方法，其特征在于，包括以下步骤：

采集持有人的人脸图像作为基准图像；

采集使用者的人脸图像作为待检测图像；

分别对基准图像和待检测图像进行残差卷积网络处理和拉普拉斯金字塔处理，并分别得到多层图层；

残差卷积网络对基准图像和待检测图像进行处理，得到它们各自的深度图层，并将其分别作为图像金字塔的第一层；

拉普拉斯金字塔对基准图像和待检测图像进行处理，将图像分解为3层不同的层次，并分别作为图像金字塔的第二、三、四层；

分别检测经过处理的基准图像和待检测图像所得到的图层，并得到对应图层之间的相似度；

通过不同图层的匹配结果判断使用者是否为持有人，并输出通过或拒绝的指令。

2.根据权利要求1所述的一种基于深度金字塔的人脸识别智能尾箱应用方法，其特征在于，所述基准图像为持有人的正面人脸图像。

3.根据权利要求1所述的一种基于深度金字塔的人脸识别智能尾箱应用方法，其特征在于，分别检测经过处理的基准图像和待检测图像所得到的图层，并得到对应图层之间的相似度包括以下步骤；

利用SIFT特征算子分别对图像金字塔的第一层进行提取特征，再利用欧式距离计算已提取特征之间的相似度；

利用HOG特征算子分别对图像金字塔的第二层进行提取特征，再利用欧式距离计算已提取特征之间的相似度；

利用HOG特征算子分别对图像金字塔的第三层进行提取特征，再利用欧式距离计算已提取特征之间的相似度；

利用HOG特征算子分别对图像金字塔的第四层进行提取特征，再利用欧式距离计算已提取特征之间的相似度。

4.根据权利要求3所述的一种基于深度金字塔的人脸识别智能尾箱应用方法，其特征在于，通过不同图层的匹配结果判断使用者是否为持有人，并输出通过或拒绝的指令包括以下步骤：

图像金字塔的四个层次中，基准图像和待检测图像有三个或三个以上层次的相似度在70％以上，则认定为基准图像和待检测图像匹配度高，并发出打开智能尾箱的指令；

图像金字塔的四个层次中，基准图像和待检测图像仅有两个或两个以下层次的相似度在70％以上，则认定基准图像和待检测图像匹配度低，并发出拒绝打开智能尾箱的指令。

Images