CN107145870B - 一种视频中人脸的识别系统 - Google Patents

Abstract

本发明提供一种视频中人脸的识别系统，其特征在于：一种用于执行人脸识别方法的视频中人脸的识别系统，其中：视频中人脸的识别系统包括视频采集模块，视频处理传输模块，功率供应模块，视频接收模块，视频处理模块，收发模块，数据库模块，存储模块，校正模块。通过该系统，可以有效利用传输链路的网络资源来快速、少损地传输视频，克服由于摄像机或摄像头的拍摄角度、外部物理移动、自然因素的移动等原因而存在的视频采集模块的安装位置与期望拍摄角度之间的倾斜，为后续视频处理提供了便利，节约了后续信息处理时间，降低数据处理难度；另外提供识别速度快、准确率高的结果。

Description

一种视频中人脸的识别系统

技术领域

本发明通常涉及计算机图像信号处理领域，更具体而言，涉及一种视频中人脸的识别系统。

背景技术

人脸识别是计算机图像处理的重要应用，是指基于人脸特征信息进行身份识别的一种生物特征识别技术。用摄像机或摄像头采集含有人脸的图像或视频，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行人脸的一系列相关技术。人脸识别技术在国家安全、军事安全和公共安全等领域都有着广泛的应用，例如海关出入境管理，持卡人身份验证，机器人研究，真实感虚拟游戏，视频会议，人群监视等场景中。尽管对于人来说，人脸识别是较为简单的任务，但是因为采集的视频图像在方向、光照、形状以及遮蔽方面存在多种变化，因此，其对于机器而言是一项挑战。

由于应用领域的需求，对于从视频中提取、识别人脸提出了越来越多、越来越高的要求，例如，希望能够在由采集获取设备获取视频之后，能够有效利用传输链路的网络资源来快速、少损地传输视频。由于摄像机或摄像头的拍摄角度、外部物理移动、自然因素的移动等原因，存在摄像机或摄像头的安装位置存在与期望拍摄角度之间的倾斜的情况。为了后续视频处理的便利，节约信息处理时间，降低数据处理难度，有必要对该倾斜进行校正。另外，由于检测对象的故意或无意的模糊人脸或引起失真，导致人脸区域会出现障碍因素，给后续人脸的快速、正确识别带来负面影响，在人脸部位提取时会提高难度，增加错误率。此外，对后续人脸识别过程中，对于正确率提出更高要求。

发明内容

本发明的目的之一是提供一种视频中人脸的识别系统。通过该系统，可以有效利用传输链路的网络资源来快速、少损地传输视频；并且通过校正克服由于摄像机或摄像头的拍摄角度、外部物理移动、自然因素的移动等原因而存在的视频采集模块的安装位置与期望拍摄角度之间的倾斜，为后续视频处理提供了便利，节约了后续信息处理时间，降低数据处理难度；另外提供识别速度快、准确率高的结果。

本发明为解决上述技术问题而采取的技术方案为：一种视频中人脸的识别系统，其特征在于：一种用于执行人脸识别方法的视频中人脸的识别系统，其中：视频中人脸的识别系统包括视频采集模块，视频处理传输模块，功率供应模块，视频接收模块，视频处理模块，收发模块，数据库模块，存储模块，校正模块；其中功率供应电路与视频采集模块、视频处理传输模块、视频接收模块、视频处理模块、收发模块、数据库模块电或磁耦合，以向各个模块供应功率，用于驱动模块的操作；在功率供应电路与视频采集模块、视频处理传输模块、视频接收模块、视频处理模块、收发模块、数据库模块之间分别设置多个传输门，用于在功率供应模块发送的启用信号的控制下，选择性地控制对各个模块的功率供应；以及其中视频采集模块与视频处理传输模块耦合，视频处理传输模块通过第一链路与视频接收模块耦合，视频接收模块与视频处理模块耦合，视频处理模块与存储模块、收发模块、校正模块耦合、收发模块通过第二链路与数据库模块耦合，校正模块与视频采集模块直接耦合或经由第三链路耦合。所述的传输门也可以由集成的多路切换器件替换，以便于器件的集成。

根据本发明的另一个方面，一种视频中人脸的识别系统执行的人脸识别方法，其特征在于：在步骤S1中，视频采集系统采集视频信息，并将其发送给视频处理传输模块；在步骤S2中，视频处理传输模块对该视频信息进行编码、压缩、打包，并经由第一链路将流媒体数据传输给视频接收模块；在步骤S3中，视频接收模块对接收的流媒体数据进行解包和解码，获得数字图像序列，并将其发送给视频处理模块；在步骤S4中，视频处理模块将数字图像序列进行处理，确定视频采集模块拍摄图像的角度是否歪斜，如果有歪斜，则视频处理模块向校正模块发送歪斜信号，使得校正模块通过处理、计算，获得视频采集模块与图像中人物纵向对称线的角度，并通过控制视频采集模块进行校正；在步骤S5中，重复步骤S1至S4，直到视频采集模块与图像中人物纵向对称线的角度的差小于预定的第一临界值；在步骤S6中，视频处理模块根据预设的协议，将数字图像序列进行预处理、人脸的跟踪、检测、轮廓的获取、障碍因素的检测和去除、片段分割、特征提取、人脸识别；在步骤S7中，视频处理模块通过收发模块将识别的人脸通过第二链路发送，并与数据库模块中的数据进行比较，进而确定是否存在目标对象；以及在步骤S8中，数据库模块将结果返回给收发模块和视频处理模块，视频处理模块将该结果和/或识别的人脸存储到存储模块。

根据本发明的另一个方面，在步骤S2中，视频处理传输模块对该视频信息进行编码、压缩、打包，并经由第一链路将流媒体数据传输给视频接收模块进一步包括：在步骤S21中，视频处理传输模块将该视频信息分割成片段，读取片段的灰度图像，并进行设置，对压缩进行配置，之后再分割为子片段，对子片段进行编码，逐个子片段写入编码位流，直到最后的片段，将结果与移动向量合并成压缩的流媒体数据；在步骤S22中，检测和配置未使用的存储器空间，获取压缩的流媒体数据，更新时间和压缩的流媒体数据，并将获得的时间标记和流媒体数据一起执行打包处理操作；以及在步骤S23中，视频处理传输模块将该打包处理的数据输入到缓存中；之后视频处理传输模块根据时序指令，将缓存中的数据通过第一链路传输。

根据本发明的另一个方面，在步骤S4和步骤S5中，视频处理模块将数字图像序列处理后确定视频采集模块拍摄图像的角度是否歪斜，歪斜指的是视频采集模块所采集的图像的水平边缘与图像中一定比例的人物的纵向对称线的角度超过某个角度；由于人的头部和躯体往往都是对称的，所以人物的纵向对称线指的是相对于平面人体图像的左右两边对称的垂直方向的轴线；水平边缘指的是一帧数字图像的横向边缘；由于一帧数字图像中可能包括多个对象，当超过一定比例，则确定有歪斜而需要进行校正，视频处理模块向校正模块发送歪斜信号，使得校正模块通过处理、计算，获得视频采集模块与图像中人物纵向对称线的角度，并通过控制视频采集模块进行校正；否则择不需要进一步校正，可以直接进入下一步骤。

根据本发明的另一个方面，在步骤S6中，视频处理模块将数字图像序列进行预处理、人脸的跟踪、检测、轮廓的获取、障碍因素的检测和去除、片段分割、特征提取、人脸识别进一步包括：在步骤S61中，视频处理模块将数字图像序列预处理，包括对原始图像进行滤波以去除噪声、补光、将灰度进行归一化、旋转图像、归一化尺度、锐化；其进一步包括：对初始视频中的人脸图像卷积并初步估计亮度，至少部分地变换对比度并结合亮度和对比度以获得返回的图像，并且进行修正，以获得强化的人脸图像，其中所述修正能够变化地缩减返回的图像，进而得到优化的预处理图像；在步骤S62中，视频处理模块进行人脸的跟踪和检测：提取预处理的图像中的人脸移动参数，分别为对象坐标、时间值；并获得预处理的图像中的色彩，以及目前的序列图像与序列的第一个图像之间的色彩对比度；基于前述信息创建目标外部模型，记录和比较更新值，根据数值的相似性来确定对象的存在；确定图像中规则区域图像对比度不同于相邻区域的区域范围，进一步确定目标对象和障碍因素的存在；在步骤S63中，视频处理模块对轮廓进行获取：取人脸左右瞳孔中心的连线、上下唇部中间部分直线边界的连线作为横向的两条边缘，取人的左右眉毛各自的外侧的点分别向下作两条纵向射线，该两条纵向射线与横向的两条边缘构成目标分区，该目标分区为矩形，其所在分区、以横向的两条边缘为界并且位于所述所在分区左边的分区、以两条纵向射线为界并且位于所述所在分区下边的分区、以横向的两条边缘为界并且位于所述所在分区右边的分区分别为第一、第二、第三、第四分区；取各边缘信息并加强第二、第三、第四分区的亮度；以第二分区右上方的N*N单位(N为正整数，值为2的正整数幂)开始，以N*N为单位的单元依次向左和向下遍历分区，获得其灰度值为正的单元，在横向和纵向上获得灰度值为正的单元则停止在所述向左的那行遍历以及所述向下的那列遍历，连接灰度值为正的各单元，并且将以(N/2)*(N/2)为子单元遍历连接起来的灰度值为正的各单元，分别确定其中灰度值为正的子单元，并根据从左上至右下的方向连接确定的各个子单元；以第三分区左上方的N*N单位(N为正整数，值为2的正整数幂)开始，以N*N为单位的单元依次向右和向下遍历分区，获得其灰度值为正的单元，在横向和纵向上获得灰度值为正的单元则停止在所述向右的那行遍历以及所述向下的那列遍历，连接灰度值为正的各单元，并且将以(N/2)*(N/2)为子单元遍历连接起来的灰度值为正的各单元，分别确定其中灰度值为正的子单元，并根据从左至右的方向连接确定的各个子单元，其中第三分区的向右遍历中，到达右边缘时如果达不到一次N*N，则该行该次从右开始执行N*N的确定；以第四分区左上方的N*N单位(N为正整数，值为2的正整数幂)开始，以N*N为单位的单元依次向右和向下遍历分区，获得其灰度值为正的单元，在横向和纵向上获得灰度值为正的单元则停止在所述向右的那行遍历以及所述向下的那列遍历，连接灰度值为正的各单元，并且将以(N/2)*(N/2)为子单元遍历连接起来的灰度值为正的各单元，分别确定其中灰度值为正的子单元，并根据从右上至左下的方向连接确定的各个子单元；通过连接第二、第三和第四分区的各个确定的连接的子单元，获得轮廓；如果第二和第三分区、或者第三和第四分区交接的各个确定的连接的子单元之间的距离超过预定的第二临界值，则重复第二和第三分区、或者第三和第四分区中各自的N*N单位的确定操作，如果距离依旧超过预定的第二临界值，则以后一次确定操作的结果为准；在步骤S64中，视频处理模块检测和去除障碍因素：获得障碍因素分区，修正重构的图像，采用障碍因素确定模型来检测去除障碍因素；该障碍因素确定模型使用无障碍因素的人脸图像进行初始值的训练，先将输入的带障碍因素的人脸图像的分区进行转置变换和投影，基于转置变换和投影获取无障碍因素的人脸图像的分区，计算差分值并修正，并将修正叠加到分区，之后执行迭代操作，直至叠加的分区的图像质量与原始质量的差在预定的第三临界值内。视频处理模块在用障碍因素确定模型获得障碍因素分区后修正并去除障碍因素；在步骤S65中，视频处理模块片段分割：在视频处理模块获得轮廓上获取M个点，取左右眼的瞳孔中心的两个点，取嘴唇左右两侧的两个点，其中M是大于等于20的正整数；将上述点进行三角形的遍历构建，即将临近的三个点进行连接以构成三角形，该三角形中不包含更小的三角形；从左上开始向右，继而从上往下的方式，对该三角形进行色彩空间变换，以生成二值化的图像；取遍历的一行中分量相同的三角形为一个片段。在步骤S66中，视频处理模块进行特征提取：对视频处理模块分割的片段作离散变换，并提取参数矩阵；在步骤S67中，视频处理模块使用经训练的模型进行人脸识别，该模型为：从先前的多个有差别的人脸视频图像中产生人脸的平均模型，该平均模型含有人脸的多个器官和区域的参数矩阵；为先前的多个有差别的人脸中的每一个训练对照的人脸，该对照的人脸根据前述人脸的平均模型；提取将被识别的人脸的检测对象，据此得到经由人脸的平均模型的最短距离；将该最短距离运用于每个对照的人脸以评估每个对照的人脸与检测对象的近似程度，进而识别与检测对象近似程度最高的对照的人脸。

根据本发明的另一个方面，在步骤S7中，视频处理模块通过收发模块将识别的人脸通过第二链路发送，并与数据库模块中的数据进行比较，进而确定是否存在目标人员进一步包括：提取识别的人脸器官的特征属性，将其输入到数据库模块中；在数据库模块中匹配对应的特性参数，该匹配包括匹配整个人脸的纹理，并且匹配包括含向量、矩阵、可能性、动态的模型和流形的人脸视频描述参数；在数据库模块的分类模块中使用判定规则来将获得的相关备选结果进行排序，选择排序靠前的一个或多个候选对象作为比较结果，并且待后续返回。

根据本发明的另一个方面，一定比例为2/3或者4/5；某个角度为2.5°-5.0°。

根据本发明的另一个方面，规则区域是圆形、椭圆形、矩形、梯形的几何图形。

根据本发明的另一个方面，链路是有线链路或者无线链路中的任一个；无线链路包括以下的至少一个形成的链路：Wi-Fi，蓝牙(BT)，近场通信(NFC)，全球定位系统(GPS)，以及包括LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro、GSM的蜂窝通信；有线链路包括通用串行总线(USB)、高清晰度多媒体接口(HDMI)、RS-232和POTS中的至少一个形成的链路。

附图说明

在附图中通过实例的方式而不是通过限制的方式来示出本发明的实施例，其中相同的附图标记表示相同的元件，其中：

根据本发明的示范性实施例，图1图示视频中人脸的识别系统的示意性框图。

根据本发明的示范性实施例，图2图示视频中人脸的识别系统执行的流程图。

具体实施方式

在下面的描述中，参考附图并以图示的方式示出几个具体的实施例。将理解的是：可设想并且可做出其他实施例而不脱离本公开的范围或精神。因此，以下详细描述不应被认为具有限制意义。

根据本发明的示范性实施例，图1图示视频中人脸的识别系统的示意性框图。

其中视频中人脸的识别系统包括视频采集模块，视频处理传输模块，功率供应模块，视频接收模块，视频处理模块，收发模块，数据库模块，存储模块，校正模块。

其中功率供应电路与视频采集模块、视频处理传输模块、视频接收模块、视频处理模块、收发模块、数据库模块电或磁耦合，以向各个模块供应功率，用于驱动模块的操作。优选地，为了减少系统的电力供应，减少功率耗散，在功率供应电路与视频采集模块、视频处理传输模块、视频接收模块、视频处理模块、收发模块、数据库模块之间分别设置多个传输门，用于在功率供应模块发送的启用信号的控制下，选择性地控制对各个模块的功率供应。优选地，该传输门可以用集成的多路切换器件替换，以便于器件的集成。

其中视频采集模块与视频处理传输模块耦合，视频处理传输模块通过第一链路与视频接收模块耦合，视频接收模块与视频处理模块耦合，视频处理模块与存储模块、收发模块、校正模块耦合，收发模块通过第二链路与数据库模块耦合，校正模块与视频采集模块直接耦合或经由第三链路(未图示)耦合。

优选地，所述链路中的一个或多个可以是有线链路或者无线链路中的任一个，无线链路例如包括Wi-Fi、蓝牙(BT)、近场通信(NFC)、全球定位系统(GPS)和蜂窝通信(例如LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro、GSM等)中的至少一个形成的链路。有线链路例如包括通用串行总线(USB)、高清晰度多媒体接口(HDMI)、RS-232和POTS中的至少一个形成的链路。

根据本发明的示范性实施例，图2图示视频中人脸的识别系统执行的流程图。

在步骤S1中，视频采集系统采集视频信息，并将其发送给视频处理传输模块；

在步骤S2中，视频处理传输模块对该视频信息进行编码、压缩、打包，并经由第一链路将流媒体数据传输给视频接收模块；

在步骤S3中，视频接收模块对接收的流媒体数据进行解包和解码，获得数字图像序列，并将其发送给视频处理模块；

在步骤S4中，视频处理模块将数字图像序列进行处理，确定视频采集模块拍摄图像的角度是否歪斜，如果有歪斜，则视频处理模块向校正模块发送歪斜信号，使得校正模块通过处理、计算，获得视频采集模块与图像中人物纵向对称线的角度，并通过控制视频采集模块进行校正；

在步骤S5中，重复步骤S1至S4，直到视频采集模块与图像中人物纵向对称线的角度的差小于预定的第一临界值；

在步骤S6中，视频处理模块根据预设的协议，将数字图像序列进行预处理、人脸的跟踪、检测、轮廓的获取、障碍因素的检测和去除、片段分割、特征提取、人脸识别；

在步骤S7中，视频处理模块通过收发模块将识别的人脸通过第二链路发送，并与数据库模块中的数据进行比较，进而确定是否存在目标对象；以及

在步骤S8中，数据库模块将结果返回给收发模块和视频处理模块，视频处理模块将该结果和/或识别的人脸存储到存储模块。

具体地，在步骤S2中，视频处理传输模块对该视频信息进行编码、压缩、打包，并经由第一链路将流媒体数据传输给视频接收模块进一步包括：

在步骤S21中，视频处理传输模块将该视频信息分割成片段，读取片段的灰度图像，并进行设置，对压缩进行配置，之后再分割为子片段，对子片段进行编码，逐个子片段写入编码位流，直到最后的片段，将结果与移动向量合并成压缩的流媒体数据；

在步骤S22中，检测和配置未使用的存储器空间，获取压缩的流媒体数据，更新时间和压缩的流媒体数据，并将获得的时间标记和流媒体数据一起执行打包处理操作；以及

在步骤S23中，视频处理传输模块将该打包处理的数据输入到缓存中；之后视频处理传输模块根据时序指令，将缓存中的数据通过第一链路传输。

通过以上视频处理传输模块的操作，可以有效利用传输链路的网络资源来快速、少损地传输视频。

具体地，在步骤S4和步骤S5中，视频处理模块将数字图像序列处理后确定视频采集模块拍摄图像的角度是否歪斜，歪斜指的是视频采集模块所采集的图像的水平边缘与图像中一定比例的人物的纵向对称线的角度超过某个角度；由于人的头部和躯体往往都是对称的，所以人物的纵向对称线指的是相对于平面人体图像的左右两边对称的垂直方向的轴线；水平边缘指的是一帧数字图像的横向边缘；由于一帧数字图像中可能包括多个对象，当超过一定比例，则确定有歪斜而需要进行校正，视频处理模块向校正模块发送歪斜信号，使得校正模块通过处理、计算，获得视频采集模块与图像中人物纵向对称线的角度，并通过控制视频采集模块进行校正；否则择不需要进一步校正，可以直接进入下一步骤。其中，该比例优选地为2/3或者4/5；某个角度优选地为2.5°-5.0°。

通过以上视频处理模块的操作，可以克服由于摄像机或摄像头的拍摄角度、外部物理移动、自然因素的移动等原因而存在视频采集模块的安装位置与期望拍摄角度之间的倾斜，为后续视频处理提供了便利，节约了后续信息处理时间，降低数据处理难度的技术问题。

在步骤S6中，视频处理模块将数字图像序列进行预处理、人脸的跟踪、检测、轮廓的获取、障碍因素的检测和去除、片段分割、特征提取、人脸识别进一步包括：

在步骤S61中，视频处理模块将数字图像序列预处理，包括对原始图像进行滤波以去除噪声、补光、将灰度进行归一化、旋转图像、归一化尺度、锐化；其进一步包括：对初始视频中的人脸图像卷积并初步估计亮度，至少部分地变换对比度并结合二者以获得返回的图像，并且进行修正，以获得强化的人脸图像，其中所述修正能够变化地缩减返回的图像，进而得到优化的预处理图像。

在步骤S62中，视频处理模块进行人脸的跟踪和检测：提取预处理的图像中的人脸移动参数，分别为对象坐标、时间值；并获得预处理的图像中的色彩，以及目前的序列图像与序列的第一个图像之间的色彩对比度。基于前述信息创建目标外部模型，并记录和比较更新值，根据数值的相似性来确定对象的存在；确定图像中规则区域图像对比度离散地、阶跃式地、非逐渐地不同于相邻区域的区域范围，进一步确定目标对象和障碍因素的存在；该规则区域指的是圆形、椭圆形、矩形、梯形的几何图形。

在步骤S63中，视频处理模块对轮廓进行获取：取人脸左右瞳孔中心的连线、上下唇部中间部分直线边界的连线作为横向的两条边缘，取人的左右眉毛各自的外侧的点分别向下作两条纵向射线，该两条纵向射线与横向的两条边缘构成目标分区，该目标分区为矩形，其所在分区、以横向的两条边缘为界并且位于所述所在分区左边的分区、以两条纵向射线为界并且位于所述所在分区下边的分区、以横向的两条边缘为界并且位于所述所在分区右边的分区分别为第一、第二、第三、第四分区；取各边缘信息并加强第二、第三、第四分区的亮度；以第二分区右上方的N*N单位(N为正整数，值为2的正整数幂)开始，以N*N为单位的单元依次向左和向下遍历分区，获得其灰度值为正的单元，在横向和纵向上获得灰度值为正的单元则停止在所述向左的那行遍历以及所述向下的那列遍历，连接灰度值为正的各单元，并且将以(N/2)*(N/2)为子单元遍历连接起来的灰度值为正的各单元，分别确定其中灰度值为正的子单元，并根据从左上至右下的方向连接确定的各个子单元；以第三分区左上方的N*N单位(N为正整数，值为2的正整数幂)开始，以N*N为单位的单元依次向右和向下遍历分区，获得其灰度值为正的单元，在横向和纵向上获得灰度值为正的单元则停止在所述向右的那行遍历以及所述向下的那列遍历，连接灰度值为正的各单元，并且将以(N/2)*(N/2)为子单元遍历连接起来的灰度值为正的各单元，分别确定其中灰度值为正的子单元，并根据从左至右的方向连接确定的各个子单元，其中第三分区的向右遍历中，到达右边缘时如果达不到一次N*N，则该行该次从右开始执行N*N的确定；以第四分区左上方的N*N单位(N为正整数，值为2的正整数幂)开始，以N*N为单位的单元依次向右和向下遍历分区，获得其灰度值为正的单元，在横向和纵向上获得灰度值为正的单元则停止在所述向右的那行遍历以及所述向下的那列遍历，连接灰度值为正的各单元，并且将以(N/2)*(N/2)为子单元遍历连接起来的灰度值为正的各单元，分别确定其中灰度值为正的子单元，并根据从右上至左下的方向连接确定的各个子单元；通过连接第二、第三和第四分区的各个确定的连接的子单元，获得轮廓。如果第二和第三分区、或者第三和第四分区交接的各个确定的连接的子单元之间的距离超过预定的第二临界值，则重复这两个分区中各自的N*N单位的确定操作，如果距离依旧超过预定的第二临界值，则以后一次确定操作的结果为准。

在步骤S64中，视频处理模块检测和去除障碍因素：获得障碍因素分区，修正重构的图像，采用障碍因素确定模型来检测去除障碍因素。该障碍因素确定模型使用无障碍因素的人脸图像进行初始值的训练，先将输入的带障碍因素的人脸图像的分区进行转置变换和投影，基于转置变换和投影获取无障碍因素的人脸图像的分区，计算差分值并修正，并将修正叠加到分区，之后执行迭代操作，直至叠加的分区的图像质量与原始质量的差在预定的第三临界值内。视频处理模块在用障碍因素确定模型获得障碍因素分区后修正并去除障碍因素。

在步骤S65中，视频处理模块片段分割：在视频处理模块获得轮廓上获取M个点，取左右眼的瞳孔中心的两个点，取嘴唇左右两侧的两个点，其中M是大于等于20的正整数；将上述点进行三角形的遍历构建，即将临近的三个点进行连接以构成三角形，该三角形中不包含更小的三角形；从左上开始向右，继而从上往下的方式，对该三角形进行色彩空间变换，以生成二值化的图像；取遍历的一行中空间组成相同的三角形为一个片段。

在步骤S66中，视频处理模块进行特征提取：对视频处理模块分割的片段作离散变换，并提取参数矩阵；

在步骤S67中，视频处理模块使用经训练的模型进行人脸识别，该模型为：从先前的多个有差别的人脸视频图像中产生人脸的平均模型，该平均模型含有人脸的多个器官和区域的参数矩阵；为先前的多个有差别的人脸中的每一个训练对照的人脸，该对照的人脸根据前述人脸的平均模型；提取将被识别的人脸的检测对象，据此得到经由人脸的平均模型的最短距离；将该最短距离运用于每个对照的人脸以评估每个对照的人脸与检测对象的近似程度，进而识别与检测对象近似程度最高的对照的人脸。

通过以上操作，可以提供识别速度快、准确率高的结果。

在步骤S7中，视频处理模块通过收发模块将识别的人脸通过第二链路发送，并与数据库模块中的数据进行比较，进而确定是否存在目标人员进一步包括：提取识别的人脸器官的特征属性，将其输入到数据库模块中；在数据库模块中匹配对应的特性参数，该匹配包括匹配整个人脸的纹理，并且包括匹配含向量、矩阵、可能性、动态的模型和流形的人脸视频描述参数；在数据库模块的分类器中使用判定规则来将搜索的相关备选结果进行排序，选择排序靠前的一个或多个候选对象作为比较结果，并且待后续返回。

通过以上操作，可以提供识别速度快、准确率高的结果。

综上，在本发明的技术方案中，通过采用了一种视频中人脸的识别系统。通过该系统，可以有效利用传输链路的网络资源来快速、少损地传输视频；并且通过校正克服由于摄像机或摄像头的拍摄角度、外部物理移动、自然因素的移动等原因而存在的视频采集模块的安装位置与期望拍摄角度之间的倾斜，为后续视频处理提供了便利，节约了后续信息处理时间，降低数据处理难度；另外提供识别速度快、准确率高的结果。

将理解的是：可以硬件、软件或硬件和软件的组合的形式实现本发明的示例和实施例。如上所述，可存储任何执行这种操作的主体，以挥发性或非挥发性存储的形式，例如存储设备，像ROM，无论可抹除或可重写与否，或者以存储器的形式，诸如例如RAM、存储器芯片、设备或集成电路或在光或磁可读的介质上，诸如例如CD、DVD、磁盘或磁带。将理解的是：存储设备和存储介质是适合于存储一个或多个程序的机器可读存储的示例，当被执行时，所述一个或多个程序实现本发明的示例。经由任何介质，诸如通过有线或无线耦合载有的通信信号，可以电子地传递本发明的示例，并且示例适当地包含相同内容。

应当注意的是：因为本发明解决了技术问题，采用了计算机技术领域中技术人员在阅读本说明书之后根据其教导所能理解的技术手段，并获得了有效利用传输链路的网络资源来快速、少损地传输视频；并且通过校正克服由于摄像机或摄像头的拍摄角度、外部物理移动、自然因素的移动等原因而存在的视频采集模块的安装位置与期望拍摄角度之间的倾斜，为后续视频处理提供了便利，节约了后续信息处理时间，降低数据处理难度；另外提供识别速度快、准确率高的有益技术效果，所以在所附权利要求中要求保护的方案属于专利法意义上的技术方案。另外，因为所附权利要求要求保护的技术方案可以在工业中制造或使用，因此该方案具备实用性。

以上所述，仅为本发明的较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应包涵在本发明的保护范围之内。除非以其他方式明确陈述，否则公开的每个特征仅是一般系列的等效或类似特征的一个示例。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种视频中人脸的识别系统执行的人脸识别方法，其特征在于：

在步骤S1中，视频采集系统采集视频信息，并将其发送给视频处理传输模块；

在步骤S2中，视频处理传输模块对该视频信息进行编码、压缩、打包，并经由第一链路将流媒体数据传输给视频接收模块；

在步骤S3中，视频接收模块对接收的流媒体数据进行解包和解码，获得数字图像序列，并将其发送给视频处理模块；

在步骤S4中，视频处理模块将数字图像序列进行处理，确定视频采集模块拍摄图像的角度是否歪斜，如果有歪斜，则视频处理模块向校正模块发送歪斜信号，使得校正模块通过处理、计算，获得视频采集模块与图像中人物纵向对称线的角度，并通过控制视频采集模块进行校正；

在步骤S5中，重复步骤S1至S4，直到视频采集模块与图像中人物纵向对称线的角度的差小于预定的第一临界值；

在步骤S6中，视频处理模块根据预设的协议，将数字图像序列进行预处理、人脸的跟踪、检测、轮廓的获取、障碍因素的检测和去除、片段分割、特征提取、人脸识别；

在步骤S7中，视频处理模块通过收发模块将识别的人脸通过第二链路发送，并与数据库模块中的数据进行比较，进而确定是否存在目标对象；以及

在步骤S8中，数据库模块将结果返回给收发模块和视频处理模块，视频处理模块将该结果和/或识别的人脸存储到存储模块。

2.如权利要求1所述的人脸识别方法，其中：

在步骤S2中，视频处理传输模块对该视频信息进行编码、压缩、打包，并经由第一链路将流媒体数据传输给视频接收模块进一步包括：

在步骤S21中，视频处理传输模块将该视频信息分割成片段，读取片段的灰度图像，并进行设置，对压缩进行配置，之后再分割为子片段，对子片段进行编码，逐个子片段写入编码位流，直到最后的片段，将结果与移动向量合并成压缩的流媒体数据；

在步骤S22中，检测和配置未使用的存储器空间，获取压缩的流媒体数据，更新时间和压缩的流媒体数据，并将获得的时间标记和流媒体数据一起执行打包处理操作；以及

在步骤S23中，视频处理传输模块将该打包处理的数据输入到缓存中；之后视频处理传输模块根据时序指令，将缓存中的数据通过第一链路传输。

3.如权利要求2所述的人脸识别方法，其中：

在步骤S4和步骤S5中，视频处理模块将数字图像序列处理后确定视频采集模块拍摄图像的角度是否歪斜，歪斜指的是视频采集模块所采集的图像的水平边缘与图像中一定比例的人物的纵向对称线的角度超过某个角度；由于人的头部和躯体往往都是对称的，所以人物的纵向对称线指的是相对于平面人体图像的左右两边对称的垂直方向的轴线；水平边缘指的是一帧数字图像的横向边缘；由于一帧数字图像中包括多个对象，当超过一定比例，则确定有歪斜而需要进行校正，视频处理模块向校正模块发送歪斜信号，使得校正模块通过处理、计算，获得视频采集模块与图像中人物纵向对称线的角度，并通过控制视频采集模块进行校正；否则则不需要进一步校正，可以直接进入下一步骤。

4.如权利要求3所述的人脸识别方法，其中：

在步骤S6中，视频处理模块将数字图像序列进行预处理、人脸的跟踪、检测、轮廓的获取、障碍因素的检测和去除、片段分割、特征提取、人脸识别进一步包括：

在步骤S61中，视频处理模块将数字图像序列预处理，包括对原始图像进行滤波以去除噪声、补光、将灰度进行归一化、旋转图像、归一化尺度、锐化；其进一步包括：对初始视频中的人脸图像卷积并初步估计亮度，至少部分地变换对比度并结合亮度和对比度以获得返回的图像，并且进行修正，以获得强化的人脸图像，其中所述修正能够变化地缩减返回的图像，进而得到优化的预处理图像；

在步骤S62中，视频处理模块进行人脸的跟踪和检测：提取预处理的图像中的人脸移动参数，分别为对象坐标、时间值；并获得预处理的图像中的色彩，以及目前的序列图像与序列的第一个图像之间的色彩对比度；基于前述信息创建目标外部模型，记录和比较更新值，根据数值的相似性来确定对象的存在；确定图像中规则区域图像对比度不同于相邻区域的区域范围，进一步确定目标对象和障碍因素的存在；

在步骤S63中，视频处理模块对轮廓进行获取：取人脸左右瞳孔中心的连线、上下唇部中间部分直线边界的连线作为横向的两条边缘，取人的左右眉毛各自的外侧的点分别向下作两条纵向射线，该两条纵向射线与横向的两条边缘构成目标分区，该目标分区为矩形，其所在分区、以横向的两条边缘为界并且位于所述所在分区左边的分区、以两条纵向射线为界并且位于所述所在分区下边的分区、以横向的两条边缘为界并且位于所述所在分区右边的分区分别为第一、第二、第三、第四分区；取各边缘信息并加强第二、第三、第四分区的亮度；以第二分区右上方的N*N单位开始，以N*N为单位的单元依次向左和向下遍历分区，获得其灰度值为正的单元，在横向和纵向上获得灰度值为正的单元则停止在所述向左的那行遍历以及所述向下的那列遍历，连接灰度值为正的各单元，并且将以(N/2)*(N/2)为子单元遍历连接起来的灰度值为正的各单元，分别确定其中灰度值为正的子单元，并根据从左上至右下的方向连接确定的各个子单元；以第三分区左上方的N*N单位开始，以N*N为单位的单元依次向右和向下遍历分区，获得其灰度值为正的单元，在横向和纵向上获得灰度值为正的单元则停止在所述向右的那行遍历以及所述向下的那列遍历，连接灰度值为正的各单元，并且将以(N/2)*(N/2)为子单元遍历连接起来的灰度值为正的各单元，分别确定其中灰度值为正的子单元，并根据从左至右的方向连接确定的各个子单元，其中第三分区的向右遍历中，到达右边缘时如果达不到一次N*N，则该行该次从右开始执行N*N的确定；以第四分区左上方的N*N单位开始，以N*N为单位的单元依次向右和向下遍历分区，获得其灰度值为正的单元，在横向和纵向上获得灰度值为正的单元则停止在所述向右的那行遍历以及所述向下的那列遍历，连接灰度值为正的各单元，并且将以(N/2)*(N/2)为子单元遍历连接起来的灰度值为正的各单元，分别确定其中灰度值为正的子单元，并根据从右上至左下的方向连接确定的各个子单元；通过连接第二、第三和第四分区的各个确定的连接的子单元，获得轮廓；如果第二和第三分区、或者第三和第四分区交接的各个确定的连接的子单元之间的距离超过预定的第二临界值，则重复第二和第三分区、或者第三和第四分区中各自的N*N单位的确定操作，如果距离依旧超过预定的第二临界值，则以后一次确定操作的结果为准；

在步骤S64中，视频处理模块检测和去除障碍因素：获得障碍因素分区，修正重构的图像，采用障碍因素确定模型来检测去除障碍因素；该障碍因素确定模型使用无障碍因素的人脸图像进行初始值的训练，先将输入的带障碍因素的人脸图像的分区进行转置变换和投影，基于转置变换和投影获取无障碍因素的人脸图像的分区，计算差分值并修正，并将修正叠加到分区，之后执行迭代操作，直至叠加的分区的图像质量与原始质量的差在预定的第三临界值内；视频处理模块在用障碍因素确定模型获得障碍因素分区后修正并去除障碍因素；

在步骤S65中，视频处理模块片段分割：在视频处理模块获得轮廓上获取M个点，取左右眼的瞳孔中心的两个点，取嘴唇左右两侧的两个点，其中M是大于等于20的正整数；将上述点进行三角形的遍历构建，即将临近的三个点进行连接以构成三角形，该三角形中不包含更小的三角形；从左上开始向右，继而从上往下的方式，对该三角形进行色彩空间变换，以生成二值化的图像；取遍历的一行中分量相同的三角形为一个片段；

在步骤S66中，视频处理模块进行特征提取：对视频处理模块分割的片段作离散变换，并提取参数矩阵；

在步骤S67中，视频处理模块使用经训练的模型进行人脸识别，该模型为：从先前的多个有差别的人脸视频图像中产生人脸的平均模型，该平均模型含有人脸的多个器官和区域的参数矩阵；为先前的多个有差别的人脸中的每一个训练对照的人脸，该对照的人脸根据前述人脸的平均模型；提取将被识别的人脸的检测对象，据此得到经由人脸的平均模型的最短距离；将该最短距离运用于每个对照的人脸以评估每个对照的人脸与检测对象的近似程度，进而识别与检测对象近似程度最高的对照的人脸；

其中N为正整数，值为2的正整数幂。

5.如权利要求4所述的人脸识别方法，其中：

在步骤S7中，视频处理模块通过收发模块将识别的人脸通过第二链路发送，并与数据库模块中的数据进行比较，进而确定是否存在目标人员进一步包括：提取识别的人脸器官的特征属性，将其输入到数据库模块中；在数据库模块中匹配对应的特性参数，该匹配包括匹配整个人脸的纹理，并且匹配包括含向量、矩阵、可能性、动态的模型和流形的人脸视频描述参数；在数据库模块的分类模块中使用判定规则来将获得的相关备选结果进行排序，选择排序靠前的一个或多个候选对象作为比较结果，并且待后续返回。

6.如权利要求5所述的人脸识别方法，其中：

所述一定比例为2/3或者4/5；所述某个角度为2.5°-5.0°。

7.如权利要求5或6所述的人脸识别方法，其中：

所述规则区域是圆形、椭圆形、矩形、梯形的几何图形。

8.如权利要求5或6所述的人脸识别方法，其中：

所述链路是有线链路或者无线链路中的任一个；无线链路包括以下的至少一个形成的链路：Wi-Fi，蓝牙(BT)，近场通信(NFC)，全球定位系统(GPS)，以及包括LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro、GSM的蜂窝通信；有线链路包括通用串行总线(USB)、高清晰度多媒体接口(HDMI)、RS-232和POTS中的至少一个形成的链路。

9.一种用于执行权利要求1-7中任一项所述的人脸识别方法的视频中人脸的识别系统，其中：

视频中人脸的识别系统包括视频采集模块，视频处理传输模块，功率供应模块，视频接收模块，视频处理模块，收发模块，数据库模块，存储模块，校正模块；

其中功率供应模块与视频采集模块、视频处理传输模块、视频接收模块、视频处理模块、收发模块、数据库模块电或磁耦合，以向各个模块供应功率，用于驱动模块的操作；在功率供应模块与视频采集模块、视频处理传输模块、视频接收模块、视频处理模块、收发模块、数据库模块之间分别设置多个传输门，用于在功率供应模块发送的启用信号的控制下，选择性地控制对各个模块的功率供应；以及

其中视频采集模块与视频处理传输模块耦合，视频处理传输模块通过第一链路与视频接收模块耦合，视频接收模块与视频处理模块耦合，视频处理模块与存储模块、收发模块、校正模块耦合、收发模块通过第二链路与数据库模块耦合，校正模块与视频采集模块直接耦合或经由第三链路耦合。

10.如权利要求9所述的视频中人脸的识别系统，其中：

所述的传输门由集成的多路切换器件替换，以便于器件的集成。

Images