CN108805140A - 一种基于lbp的特征快速提取方法及人脸识别系统 - Google Patents

Abstract

本发明提出了一种基于LBP的特征快速提取方法及人脸识别系统，其系统包括：人脸识别模块、人脸搜索模块、全身搜索模块、轨迹化模块、数据库管理模块以及系统管理模块，其特征的提取过程采用十字型LBP(局部二值特征)算子进行特征提取，通过二者的结合，实现了快速的人脸识别功能。本发明的优点是，人脸识别系统采用LBP指局部二值模式进行特征提取，其对图像的质量以及光照强度要求不高，抗噪能力较强，更加适合用于复杂场景中的人脸识别，其基于LBP的人脸识别算法，通过有取向性的进行特征采集，且只针对与五官区域，使得其特征提取的速度更快，在人脸识别的实时性上有了更大的提升。

Description

一种基于LBP的特征快速提取方法及人脸识别系统

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种基于LBP的特征快速提取方法及人脸识别系统，用于快速的人脸识别检索。

背景技术

众所周知，人脸识别技术是基于人的脸部特征信息进行的身份识别的一种生物技术，人脸识别技术研究起源于20世纪60年代，经过了几十年的发展已经由弱人工智能向强人工智能转化，随着互联网技术的不断发展，识别算法的不断优化，人脸识别技术已经成为生物识别技术领域的重要一环，且随着近些年来，“云计算”、“互联网”、“物联网”的快速发展，人们逐渐意识到大数据的重要价值，并且逐渐使用大数据技术改变社会的生产活动和日常生活。大数据作为一种新的新资源，正在不断被人们所关心。在数据的采集方面，大数据有这无与伦比的优势，因此，使得某些应用有了更广阔的房展空间，比如人脸识别技术，因此人脸识别技术与大数据的结合应运而生。

由于大数据具有信息来源广，信息量大等特点，因此对其的应用的快速处理能力将是必不可少的，并且由于数据来源广，其用于人脸识别数据的质量也不尽相同，因此找到一种适合数据快速处理、且抗噪能力强的人脸识别方法至关重要。人脸识别发放中，采用LBP指局部二值模式(Local Binary Patterns)，是一个不错的选择，LBP在数字图像处理和模式识别领域，主要用于提取图像的特征，并且图像的度量、局部的纹理信息的质量以及光照强度对其影响不大，因此其具有很强的抗造能力。

原始的LBP算子定义在3*3邻域内，随机选取图像的3*3局部区域，选取该区域的中心为算子阈值，将周围的8个像素点和该中心阈值进行比较，令大于该阈值的像素点表示为1，小于部分表示为0，这样就得到一个8位二进制数，从第一个值开始排列得到该像素点的十进制表示值即为该像素点的LBP编码特征值，其方法简单有效，但是一来其计算量比较大(每个像素点都进行计算)，二来其计算出来的特征中包含很多无用的信息。因此，我们希望在其基础上可以找到一种更加有效快速的特征提取方法。

发明内容

针对上述问题，根据本发明的一个方面公开了一种基于LBP的特征快速提取方法，包括：建立十字型LBP算子模型，其中所述十字型LBP算子模型由中心像素点以及与中心像素点相邻的四个像素点组成；确定中心像素点及其灰度，并判断与其相邻的四个像素点的灰度值与所述中心像素点的灰度值的大小，若所述相邻的四个像素点的灰度值大于等于所述中心像素点的灰度值，则将该像素点编码为1，反之编码为0，若一个像素点中被多次编码，则其结果为多次编码进行逻辑与的结果；将与所述编码为1的像素点作为中心像素点，并将其与其周围未被编码的像素点进行比较，直至编码完成；将所述编码完成的图像转变成LBP图像，完成快速特征提取。

进一步的，在所述建立十字型LBP算子模型步骤前，所述方法还包括：初始中心像素点的选择，通过Hear特征分离器，确定五官及范围，并在五官范围内均匀选取所述中心像素点。

进一步的，所述一种基于LBP的特征快速提取方法中会产生未编码区域，所述未编码区域包括除五官区域以外的其它人脸面部区域。

根据本发明的另一个方面，公开了一种使用上述一种基于LBP的特征快速提取方法的人脸识别系统，包括：人脸识别模块，用于对系统检测到的人脸提取特征值，并跟识别库中的其他人脸进行对比识别；人脸搜索模块，用于在人群中对人脸进行识别，捕捉人脸，并将捕捉到的人脸进行抓拍，导入人脸识别库中；全身搜索模块、用于对目标的全身特征进行捕捉，并将捕捉到的全身特征进行抓拍，导入全身识别库中；轨迹化模块，对特征匹配结果符合的人脸进行追踪，根据所捕捉到人脸数据的时间、地点，按照时间顺序在地图中标记出目标人物活动轨迹；数据库管理模块，用于将不同类型的捕捉数据存放在不同的数据库中，并可以按照一定规律进行排列；系统管理模块，用于对包括：系统日志、摄像机设备以及摄像头布置规则进行统一的配置管理。

进一步的，所述跟识别库中的其他人脸进行对比识别包括：对所述检测到的人脸图像与所述人脸识别库中的人脸图像分别进行特征提取，提取LPB图像，然后通过卡方统计法对两张LPB图像中的LPB特征进行匹配，从而进行识别。

进一步的，所述于在人群中对人脸进行识别包括：利用Hear特征分离器在人群中对人脸面部进行识别，对识别到的人脸进行抓拍处理。

进一步的，所述全身特征包括：服装、服装颜色、下意识动作以及行动姿势。

进一步的，所述不同的数据库包括：人脸识别库、全身特征识别库、人脸对比库以及全身特征对比库；所述一定规律包括：按特征匹配相似度由高到低进行排序或按符合特征匹配结果的图像的时间顺序排序。

更进一步的，所述人脸对比库以及全身对比库分别用于保存识别目标的人脸信息与全身信息。

本发明的优点是，人脸识别系统采用LBP指局部二值模式进行特征提取，其对图像的质量以及光照强度要求不高，抗噪能力较强，更加适合用于复杂场景中的人脸识别，其基于LBP的人脸识别算法，通过有取向性的进行特征采集，且只针对与五官区域，使得其特征提取的速度更快，在人脸识别的实时性上有了更大的提升。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

附图1示出了本发明的系统结构图。

附图2示出了本发明的工作流程图。

附图3示出了本发明的LBP算子结构图。

附图4示出了本发明的图像特征提取流程图。

附图5为本发明的一种实施例示出了原始灰度图像局部像素示意图。

附图6为本发明的一种实施例示出了所述原始灰度图像经过LBP算子处理后的编码示意图。

附图7为本发明的一种实施例示出了将编码后的图像还原成LBP图像示意图。

附图8为本发明的另一种实施例示出了应用本发明系统及方法的大数据人脸识别系统组成示意图。

具体实施方式

如图1所示，为本发明系统的结构组成图，本发明系统包括：全身搜索模块、人脸搜索模块、人脸识别模块、轨迹化模块以及数据库等主要处理模块，其中，所述全身搜索模块与人脸搜索模块用于在视频数据流中提取身体特征以及捕捉人脸；所述人脸识别模块用于对捕捉到的人脸在识别库中进行对比，确定捕获人脸身份信息；所述轨迹化模块用于将统计并绘出目标的活动轨迹；所述数据库模块用于存储包括：原始视频流数据、捕捉信息以及识别信息。本发明大致的处理过程如图所示，全身搜索模块与人脸搜索模块将捕获的信息传递给人脸识别模块，人脸识别模块通过特征匹配，确定匹配程度即相似度，最后由数据库模块对各种数据进行保存。

具体的，人脸识别模块，用于对系统检测到的人脸提取特征值，并跟识别库中的其他人脸进行对比识别，本发明中采用基于LBP特征快速提取方法，快速的得到识别库和对比库中的人脸特征，然后对二者进行特征匹配，确定二者的特征相似度。通过快速特征提取方法，大大降低了在特征提取过程中的运算量，从而使得本发明系统的人脸识别速度更快，在实时观测过程中，能够很好的保证实时性。此外，由于采用了基于LBP的识别算法，使得在本发明中图像的亮度对正确识别的可靠性影响很小，更适合与复杂多变的外部环境。

人脸搜索模块，用于在人群中对人脸进行识别，捕捉人脸，并将捕捉到的人脸进行抓拍，导入人脸识别库中，本发明影响中特征的快速提取的速度以及质量的很大一个因素就是中心像素点的选择，在本发明中的人脸识别过程中，由于人脸图像进行的是不完全特征提取，即不会对人面部的所有特征进行提取，而只是针对与人脸的五官进行特征提取。因为，相对于五官特征，面部其它部位特征的区别特征不高，识别度低，而又在图像特征提取过程中的浪费了大量资源，因此本发明中，首先通过Hear分离器在人群中对人脸进行识别捕捉，然后再将捕捉到的人脸通过Hear分离器进行五官识别，从而使得人脸识别过程中，中心像素点的选择在确定的五官范围内均匀选取，从而确保了区别特征(五官特征)的提取，进而侧面的确保了本发明的系统的正确识别以及人脸识别率的可靠程度。

全身搜索模块、用于对目标的全身特征进行捕捉，并将捕捉到的全身特征进行抓拍，导入全身识别库中。其中，全身特征包括：服装、服装颜色、下意识动作以及行动姿势，对服装的识别可通过方法如：缩小图片尺寸，将图片缩小为具有64个像素的尺寸；然后简化色彩，将图片转化为64级灰度；然后计算平均值，并将每个像素的灰度与平均值进行比较，大于等于平均值的记为1，小于所述平均值的记为0；最后，通过计算哈希值并与已知服装的哈希值进行比较的方法，对服装进行识别。对于下意识动作以及行动姿势可通过非参数法、立方体分析方法或参数化时间序列分析方法对全身的静态特征或动态特征进行识别。

轨迹化模块，特征匹配结果符合的人脸进行追踪，根据所捕捉到人脸数据的时间、地点，按照时间顺序在地图中标记出目标人物活动轨迹。通过本发明系统构建监控网络时，会将加入网络的摄像头的位置信息一同保存在本发明系统的数据库中，通过对多个摄像头捕捉到并且特征匹配符合的图像按时间顺序，从而在地图中绘出特征匹配符合图像运动轨迹。通过轨迹化模块，可实现对目标活动规律以及下一步动向的把握。

数据库管理模块，用于将不同类型的捕捉数据存放在不同的数据库中，并可以按照一定规律进行排列。本发明中数据库主要包括：人脸识别库、全身特征识别库、人脸对比库以及全身特征对比库，其中识别库用于存储包括待识别目标的人脸图像信息以及对应的其它目标信息，所述对比库中用于存储视频数据流中抓拍到的人脸图像信息或全身信息。此外，本发明系统将对对比库中的图像数据进行初步筛选以及简单的处理，如：可通过Brenner梯度函数等方法对图像的清晰程度进行判断，将同一抓拍目标的多个图像数据进行筛选，去除其中噪声较大的图像数据；或者，对图像以时间、清晰度或相似度进行排序。

本发明系统还包括系统管理模块，用于对包括：系统日志、摄像机设备以及摄像头布置规则进行统一的配置管理，如：系统运行情况、摄像机设备的使用状态或布置情况，当摄像机设备出现布局调整时，可通过手动添加的方式，对其布置地址进行修改。上述对本发明系统主要模块进行了介绍，下面将结合本发明的工作过程对本法明进行进一步的公开：

如图2所示，为本发明的工作流程图。首先，本发明系统接收到摄像机的视频数据流，通过图像预处理功能，对所述视频数据流的图像进行简单的清晰度处理并对其进行保存；然后通过所述全身搜索模块和人脸识别模块对处理后的图像数据进行有效信息进行抓拍提取，如：人的面部图像、服装、服装颜色、下意识动作以及行动姿势，其中人的面部图像保存在人脸对比库中，服装、服装颜色、下意识动作以及行动姿势等图像信息保存在全身对比库中；通过人脸识别模块，将人脸识别库中的一个、多个或全部图像与对比库中的图像数据进行特征匹配，从而用于找出指定的一个或多个识别目标或找出非指定的识别目标，通过特征匹配程度，确定对比库中的人脸信息与识别库中识别目标的相似程度；与此同时，通过对处理后图像数据中的全身特征进行提取，获得全身特征的匹配程度，根据全身特征的匹配程度，确定对人脸对比库中对应人物的身份信息相似度的权重。本发明系统以人脸识别的相似度为主要的身份信息判别依据，通过根据全身特征的相似度加入权重，使得本发明系统具有更高的身份识别度；接下来，判断对比库中是否对全部的人脸图像进行了识别，若是，则结束对比，并在对比库中按照一定顺序进行排列；若否，如具有新的人脸图像信息，则再次对其识别对比，并将其按照对比库中的排列顺序进行统一排列。

如图3所示，为本发明的LBP算子结构图，本发明采用LBP(Local BinaryPatterns)局部二值模式的方法对人脸图像中的特征进行提取，原因是，局部二值模式具有较高的抗噪声能力，对提取图像的亮度要求较低，对图像对比度较低的图像也具有较高的识别度。本发明中，为了提高图像特征的提取速度，即图像特征，采用了如图所示结构的算子，由中心像素点以及与中心像素点相邻的四个像素点组成，当用于特征提取时，分别通过中心像素点与其相邻的四个像素点的灰度值进行比较，若所述四个像素点的灰度值大于等于所述中心像素点的灰度值，则将该像素点编码为1，反之编码为0，若其中一个像素点被多次编码，则其结果为多次编码进行逻辑与的结果。

如图4所示，为本发明的图像特征提取流程图，由于当一张人脸图像转化为灰度图像时，人面部五官的颜色与其它部位的灰度值相比，颜色较深，因此本发明利用这一现象，采用了十字型算子，通过与十字型算子相邻的四个像素点判断像素点中灰度的走向，对与所述中心像素点灰度值相同或大于的像素点进行快速识别(编码)，对于比中心像素点灰度值小的像素点不进行识别(编码)，从而，大大减小了数据计算量，使得其可以实现快速特征提取的目的。其中，所述特征可以作为描述该图像的特征。上述过程的具体方法如下：

建立十字型LBP算子模型，其中所述十字型LBP算子模型由中心像素点以及与中心像素点相邻的四个像素点组成；

确定中心像素点及其灰度，并判断与其相邻的四个像素点的灰度值与所述中心像素点的灰度值的大小，若所述相邻的四个像素点的灰度值大于等于所述中心像素点的灰度值，则将该像素点编码为1，反之编码为0，若一个像素点中被多次编码，则其结果为多次编码进行逻辑与的结果；将与所述编码为1的像素点作为中心像素点，并将其与其周围未被编码的像素点进行比较，直至编码完成；将所述编码完成的图像转变成LBP图像，完成快速特征提取。上述中会存在未被编码的像素点，本发明中对未编码部分将不再做特征提取工作。

LPB算子实施例

如图5、图6以及图7所示的图像特征提取过程，其中，图5为原始灰度图像局部像素示意图，其原始图像中各像素灰度如图所示，通过用中心像素点与其相邻的四个像素点的灰度值进行比较，若所述四个像素点的灰度值大于等于所述中心像素点的灰度值，则将该像素点编码为1，反之编码为0，若其中一个像素点被多次编码，则其结果为多次编码进行逻辑与的结果。图6为所述原始灰度图像经过LBP算子处理后的编码示意图，各个像素点的编码分布如图所示，其中编码为0的像素点将两种对比度较高区域的灰度区分了出来。由于灰度值可以分为0-255，转化为二进制即需要八位二进制数进行表示，所以本实施例中只对部分像素点进行LBP像素还原，其结果如图7所示。其中，图7为将编码后的图像还原成LBP图像示意图，如图7所示。编码还原过程中以初始选取的中心像素点向四周扩展，以包括中心像素点的9个像素点为一组进行还原像素灰度。

人脸识别系统实施例

如图8所示，为一种基于大数据的人脸识别系统组成示意图，其中，包括：云服务平台子系统、综合处理子系统、客户端、管理终端与视频传感器，其中，可选的本发明方法以及系统位于所述综合处理子系统中，则所述综合处理子系统可通过云服务平台子系统或视频传感器获得所需处理的视频数据流，获得的人脸识别结果可以通过客户端进行查看，所述管理终端可以对整个系统进行管理。

Claims (9)

1.一种基于LBP的特征快速提取方法，其特征在于，包括：

建立十字型LBP算子模型，其中所述十字型LBP算子模型由中心像素点以及与中心像素点相邻的四个像素点组成；

确定中心像素点及其灰度，并判断与其相邻的四个像素点的灰度值与所述中心像素点的灰度值的大小，若所述相邻的四个像素点的灰度值大于等于所述中心像素点的灰度值，则将该像素点编码为1，反之编码为0，若一个像素点中被多次编码，则其结果为多次编码进行逻辑与的结果；

将与所述编码为1的像素点作为中心像素点，并将其与其周围未被编码的像素点进行比较，直至编码完成；

将所述编码完成的图像转变成LBP图像，完成快速特征提取。

2.根据权利要求1所述的方法，其特征在于，在所述建立十字型LBP算子模型步骤前，所述方法还包括：初始中心像素点的选择，通过Hear特征分离器，确定五官及范围，并在五官范围内均匀选取所述中心像素点。

3.根据权利要求1所述的方法，其特征在于，所述一种基于LBP的特征快速提取方法中会产生未编码区域，所述未编码区域包括除五官区域以外的其它人脸面部区域。

4.使用上述权利要求1-3任意一项的一种基于LBP的特征快速提取方法的人脸识别系统，其特征在于，包括：

人脸识别模块，用于对系统检测到的人脸提取特征值，并跟识别库中的其他人脸进行对比识别；

人脸搜索模块，用于在人群中对人脸进行识别，捕捉人脸，并将捕捉到的人脸进行抓拍，导入人脸识别库中；

全身搜索模块、用于对目标的全身特征进行捕捉，并将捕捉到的全身特征进行抓拍，导入全身识别库中；

轨迹化模块，对特征匹配结果符合的人脸进行追踪，根据所捕捉到人脸数据的时间、地点，按照时间顺序在地图中标记出目标人物活动轨迹；

数据库管理模块，用于将不同类型的捕捉数据存放在不同的数据库中，并可以按照一定规律进行排列；

系统管理模块，用于对包括：系统日志、摄像机设备以及摄像头布置规则进行统一的配置管理。

5.根据权利要求4所述的系统，其特征在于，所述跟识别库中的其他人脸进行对比识别包括：对所述检测到的人脸图像与所述人脸识别库中的人脸图像分别进行特征提取，提取LPB图像，然后通过卡方统计法对两张LPB图像中的LPB特征进行匹配，从而进行识别。

6.根据权利要求4所述的系统，其特征在于，所述于在人群中对人脸进行识别包括：利用Hear特征分离器在人群中对人脸面部进行识别，对识别到的人脸进行抓拍处理。

7.根据权利要求4所述的系统，其特征在于，所述全身特征包括：服装、服装颜色、下意识动作以及行动姿势。

8.根据权利要求4所述的系统，其特征在于，所述不同的数据库包括：人脸识别库、全身特征识别库、人脸对比库以及全身特征对比库；所述一定规律包括：按特征匹配相似度由高到低进行排序或按符合特征匹配结果的图像的时间顺序排序。

9.根据权利要求8所述的系统，其特征在于，所述人脸对比库以及全身对比库分别用于保存识别目标的人脸信息与全身信息。