CN105518709B - 用于识别人脸的方法、系统和计算机程序产品 - Google Patents

用于识别人脸的方法、系统和计算机程序产品 Download PDF

Info

Publication number
CN105518709B
CN105518709B CN201580000324.8A CN201580000324A CN105518709B CN 105518709 B CN105518709 B CN 105518709B CN 201580000324 A CN201580000324 A CN 201580000324A CN 105518709 B CN105518709 B CN 105518709B
Authority
CN
China
Prior art keywords
feature point
point
fisrt feature
operator
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580000324.8A
Other languages
English (en)
Other versions
CN105518709A (zh
Inventor
何涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd, Beijing Maigewei Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Publication of CN105518709A publication Critical patent/CN105518709A/zh
Application granted granted Critical
Publication of CN105518709B publication Critical patent/CN105518709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/478—Contour-based spectral representations or scale-space representations, e.g. by Fourier analysis, wavelet analysis or curvature scale-space [CSS]

Abstract

本发明的实施例提供了一种用于识别人脸的方法、系统和计算机程序产品，所述方法包括：获取所述人脸的待识别图像；检测所述待识别图像中表示所述待识别图像的细节特征的第一特征点集；提取描述所述第一特征点集中每个第一特征点的特征信息的第一描述算子；获取描述第二特征点集中每个第二特征点的特征信息的第二描述算子，其中所述第二特征点集表示预先存储的注册图像的细节特征；基于所述第一描述算子与第二描述算子，检测所述第一特征点集与所述第二特征点集中匹配的特征点对；计算所述匹配的特征点对的数量；以及如果所述匹配的特征点对的数量大于第一预定阈值，则将所述待识别图像识别为与所述注册图像相一致。

Description

用于识别人脸的方法、系统和计算机程序产品
技术领域
本发明涉及人脸识别技术领域，更具体地，涉及一种用于识别人脸的方法、系统和计算机程序产品。
背景技术
人脸识别经过几十年的发展，引起了广泛的关注，并且取得了较大的进步。现在，人脸识别技术已经广泛应用在国家安全、军事安全、公共安全等领域，包括智能视频监控、智能门禁、海关身份认证等。近几年，人脸识别还广泛应用在互联网、金融等领域，包括信用卡和证券的网上开户、身份验证等。
目前，多数的人脸识别方法都是基于低分辨率的人脸图像，仅利用了人脸的结构信息。在传统的人脸识别中，一般低分辨率的图像(人脸两眼间距一般只要大于30个像素)即可满足识别要求。这样只能得到人脸的全局结构信息，而丢失了人脸的大部分细节特征，导致人脸识别的准确性相对较差。
发明内容
鉴于上述问题而提出了本发明。本发明实施例提供了一种用于识别人脸的方法、系统和计算机程序产品，其能够利用人脸的细节特征来进行人脸识别，从而能够区分包括同卵双胞胎等的非常相似的人脸，极大提高了人脸识别的准确性，相应地提高了应用人脸识别的场景的安全性。
根据本发明实施例的一个方面，提供了一种用于识别人脸的方法，包括：获取所述人脸的待识别图像；检测所述待识别图像中表示所述待识别图像的细节特征的第一特征点集；提取描述所述第一特征点集中每个第一特征点的特征信息的第一描述算子；获取描述第二特征点集中每个第二特征点的特征信息的第二描述算子，其中所述第二特征点集表示预先存储的注册图像的细节特征；基于所述第一描述算子与第二描述算子，检测所述第一特征点集与所述第二特征点集中匹配的特征点对；计算所述匹配的特征点对的数量；以及如果所述匹配的特征点对的数量大于第一预定阈值，则将所述待识别图像识别为与所述注册图像相一致。
作为示例，在根据本发明实施例的方法中，所述图像的分辨率大于预定分辨率阈值。
作为示例，根据本发明实施例的方法还包括：检测所述待识别图像中的人脸区域图像；并且，检测所述待识别图像中表示所述待识别图像的细节特征的第一特征点集的步骤包括：基于所述人脸区域图像，检测所述第一特征点集。
作为示例，在根据本发明实施例的方法中，检测所述第一特征点集的步骤包括：将所述人脸区域图像缩放成不同尺度；以及对于每一尺度的人脸区域图像，使用离线训练后的特征点分类器检测所述第一特征点的位置和尺寸。
作为示例，在根据本发明实施例的方法中，检测所述第一特征点集的步骤包括：将所述人脸区域图像与不同尺度的高斯核进行卷积处理，以得到相应的不同尺度的高斯图像；将相邻尺度的高斯图像进行差分处理，以得到高斯差分图像；确定每个高斯差分图像中的极值点，其中，所述极值点的值大于其在所述高斯差分图像中的相邻点的值，并且大于其在相邻尺度的高斯差分图像中的相邻点的值；以及如果所述极值点大于第二预定阈值，则将所述极值点确定为所述第一特征点。
作为示例，在根据本发明实施例的方法中，提取描述所述第一特征点集中每个第一特征点的特征信息的第一描述算子的步骤包括：对于每个第一特征点，以所述第一特征点为预定参照点而进行归一化处理，以获得特征点区域图像；以及对于所述特征点区域图像，使用离线训练后的描述算子提取器获取所述第一特征点的第一描述算子。
作为示例，在根据本发明实施例的方法中，提取描述所述第一特征点集中每个第一特征点的特征信息的第一描述算子的步骤包括：对于每个第一特征点，以所述第一特征点为预定参照点而确定特征点区域；将所述特征点区域划分为多个子区域，并计算每个子区域的梯度信息；基于所述梯度信息，计算每个子区域的多维梯度直方图；以及将落入所述多维梯度直方图的每一维的点数连接成特征向量，以得到所述第一特征点的第一描述算子。
作为示例，根据本发明实施例的方法还包括：检测用于表示所述待识别图像的结构信息的第一关键点集；其中，检测所述第一特征点集与所述第二特征点集中匹配的特征点对的步骤包括：基于所述第一关键点集与用于表示所述注册图像的结构信息的第二关键点集，计算所述待识别图像与所述注册图像之间的相似变换矩阵；对于每个第一特征点，基于所述相似变换矩阵，计算所述第一特征点在所述注册图像中的待匹配区域；以及检测所述待匹配区域中与所述第一特征点构成匹配的第二特征点。
作为示例，在根据本发明实施例的方法中，检测所述待匹配区域中与所述第一特征点构成匹配的第二特征点的步骤包括：计算所述第一特征点的第一描述算子与所述待匹配区域中每个第二特征点的第二描述算子之间的欧式距离；判断最小的欧式距离与次小的欧式距离之间的比值与第三预定阈值的关系；以及如果最小的欧式距离与次小的欧式距离之间的比值小于第三预定阈值，则将所述第一特征点与所述待匹配区域中与所述第一特征点的第一描述算子之间的欧式距离最小的第二特征点确定为匹配的特征点对。
作为示例，根据本发明实施例的方法还包括：检测用于表示所述待识别图像的结构信息的第一关键点集；其中，检测所述第一特征点集与所述第二特征点集中匹配的特征点对的步骤包括：基于所述第一关键点集与用于表示所述注册图像的结构信息的第二关键点集，计算所述待识别图像与所述注册图像之间的相似变换矩阵；对于每个第二特征点，基于所述相似变换矩阵，计算所述第二特征点在所述待识别图像中的待匹配区域；以及检测所述待匹配区域中与所述第二特征点构成匹配的第一特征点。
作为示例，在根据本发明实施例的方法中，检测所述待匹配区域中与所述第二特征点构成匹配的第一特征点的步骤包括：计算所述第二特征点的第二描述算子与所述待匹配区域中每个第一特征点的第一描述算子之间的欧式距离；判断最小的欧式距离与次小的欧式距离之间的比值与第三预定阈值的关系；以及如果最小的欧式距离与次小的欧式距离之间的比值小于第三预定阈值，则将所述第二特征点与所述待匹配区域中与所述第二特征点的第二描述算子之间的欧式距离最小的第一特征点确定为匹配的特征点对。
作为示例，在根据本发明实施例的方法中，所述第二描述算子通过以下步骤获得：获取所述注册图像；检测所述注册图像中表示所述注册图像的细节特征的第二特征点集；提取描述所述第二特征点集中每个第二特征点的特征信息的第二描述算子；以及存储所述第二描述算子。
作为示例，在根据本发明实施例的方法中，计算所述匹配的特征点对的数量的步骤包括：基于所述第一描述算子与第二描述算子，得到所述第一特征点集与所述第二特征点集中匹配的特征点对的初步匹配结果；以及基于随机取样一致的方法，对所述初步匹配结果进行筛选，以得到所述匹配的特征点对。
根据本发明实施例的另一方面，提供了一种用于识别人脸的系统，包括：处理器；存储器；在所述存储器中存储的计算机程序指令，在所述计算机程序指令被所述处理器运行时执行以下步骤：获取所述人脸的待识别图像；检测所述待识别图像中表示所述待识别图像的细节特征的第一特征点集；提取描述所述第一特征点集中每个第一特征点的特征信息的第一描述算子；获取描述第二特征点集中每个第二特征点的特征信息的第二描述算子，其中所述第二特征点集表示预先存储的注册图像的细节特征；基于所述第一描述算子与第二描述算子，检测所述第一特征点集与所述第二特征点集中匹配的特征点对；计算所述匹配的特征点对的数量；以及如果所述匹配的特征点对的数量大于第一预定阈值，则将所述待识别图像识别为与所述注册图像相一致。
作为示例，在根据本发明实施例的系统中，在所述计算机程序指令被所述处理器运行时还执行以下步骤：检测所述待识别图像中的人脸区域图像；并且，在所述计算机程序指令被所述处理器运行时所执行的检测所述待识别图像中的第一特征点集的步骤包括：基于所述人脸区域图像，检测所述第一特征点集。
作为示例，在根据本发明实施例的系统中，在所述计算机程序指令被所述处理器运行时所执行的检测所述第一特征点集的步骤包括：将所述人脸区域图像缩放成不同尺度；以及对于每一尺度的人脸区域图像，使用离线训练后的特征点分类器检测所述第一特征点的位置和尺寸。
作为示例，在根据本发明实施例的系统中，在所述计算机程序指令被所述处理器运行时所执行的检测所述第一特征点集的步骤包括：将所述人脸区域图像与不同尺度的高斯核进行卷积处理，以得到相应的不同尺度的高斯图像；将相邻尺度的高斯图像进行差分处理，以得到高斯差分图像；确定每个高斯差分图像中的极值点，其中，所述极值点的值大于其在所述高斯差分图像中的相邻点的值，并且大于其在相邻尺度的高斯差分图像中的相邻点的值；以及如果所述极值点大于第二预定阈值，则将所述极值点确定为所述第一特征点。
作为示例，在根据本发明实施例的系统中，在所述计算机程序指令被所述处理器运行时所执行的提取第一描述算子的步骤包括：对于每个第一特征点，以所述第一特征点为预定参照点而进行归一化处理，以获得特征点区域图像；以及对于所述特征点区域图像，使用离线训练后的描述算子提取器获取所述第一特征点的第一描述算子。
作为示例，在根据本发明实施例的系统中，在所述计算机程序指令被所述处理器运行时所执行的提取第一描述算子的步骤包括：对于每个第一特征点，以所述第一特征点为预定参照点而确定特征点区域；将所述特征点区域划分为多个子区域，并计算每个子区域的梯度信息；基于所述梯度信息，计算每个子区域的多维梯度直方图；以及将落入所述多维梯度直方图的每一维的点数连接成特征向量，以得到所述第一特征点的第一描述算子。
作为示例，在根据本发明实施例的系统中，在所述计算机程序指令被所述处理器运行时还执行以下步骤：检测用于表示所述待识别图像的结构信息的第一关键点集；其中，在所述计算机程序指令被所述处理器运行时所执行的检测所述第一特征点集与所述第二特征点集中匹配的特征点对的步骤包括：基于所述第一关键点集与用于表示所述注册图像的结构信息的第二关键点集，计算所述待识别图像与所述注册图像之间的相似变换矩阵；对于每个第一特征点，基于所述相似变换矩阵，计算所述第一特征点在所述注册图像中的待匹配区域；以及检测所述待匹配区域中与所述第一特征点构成匹配的第二特征点。
作为示例，在根据本发明实施例的系统中，在所述计算机程序指令被所述处理器运行时所执行的检测所述待匹配区域中与所述第一特征点构成匹配的第二特征点的步骤包括：计算所述第一特征点的第一描述算子与所述待匹配区域中每个第二特征点的第二描述算子之间的欧式距离；判断最小的欧式距离与次小的欧式距离之间的比值与第三预定阈值的关系；以及如果最小的欧式距离与次小的欧式距离之间的比值小于第三预定阈值，则将所述第一特征点与所述待匹配区域中与所述第一特征点的第一描述算子之间的欧式距离最小的第二特征点确定为匹配的特征点对。
作为示例，在根据本发明实施例的系统中，在所述计算机程序指令被所述处理器运行时还执行以下步骤：检测用于表示所述待识别图像的结构信息的第一关键点集；其中，在所述计算机程序指令被所述处理器运行时所执行的检测所述第一特征点集与所述第二特征点集中匹配的特征点对的步骤包括：基于所述第一关键点集与用于表示所述注册图像的结构信息的第二关键点集，计算所述待识别图像与所述注册图像之间的相似变换矩阵；对于每个第二特征点，基于所述相似变换矩阵，计算所述第二特征点在所述待识别图像中的待匹配区域；以及检测所述待匹配区域中与所述第二特征点构成匹配的第一特征点。
作为示例，在根据本发明实施例的系统中，在所述计算机程序指令被所述处理器运行时所执行的检测所述待匹配区域中与所述第二特征点构成匹配的第一特征点的步骤包括：计算所述第二特征点的第二描述算子与所述待匹配区域中每个第一特征点的第一描述算子之间的欧式距离；判断最小的欧式距离与次小的欧式距离之间的比值与第三预定阈值的关系；以及如果最小的欧式距离与次小的欧式距离之间的比值小于第三预定阈值，则将所述第二特征点与所述待匹配区域中与所述第二特征点的第二描述算子之间的欧式距离最小的第一特征点确定为匹配的特征点对。
作为示例，在根据本发明实施例的系统中，在所述计算机程序指令被所述处理器运行时还执行以下步骤：获取所述注册图像；检测所述注册图像中表示所述注册图像的细节特征的第二特征点集；提取描述所述第二特征点集中每个第二特征点的特征信息的第二描述算子；以及存储所述第二描述算子。
作为示例，在根据本发明实施例的系统中，在所述计算机程序指令被所述处理器运行时所执行的计算所述匹配的特征点对的数量的步骤包括：基于所述第一描述算子与第二描述算子，得到所述第一特征点集与所述第二特征点集中匹配的特征点对的初步匹配结果；以及基于随机取样一致的方法，对所述初步匹配结果进行筛选，以得到所述匹配的特征点对。
根据本发明实施例的又一方面，提供了一种计算机程序产品，包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令在被计算机运行时执行以下步骤：获取所述人脸的待识别图像；检测所述待识别图像中表示所述待识别图像的细节特征的第一特征点集；提取描述所述第一特征点集中每个第一特征点的特征信息的第一描述算子；获取描述第二特征点集中每个第二特征点的特征信息的第二描述算子，其中所述第二特征点集表示预先存储的注册图像的细节特征；基于所述第一描述算子与第二描述算子，检测所述第一特征点集与所述第二特征点集中匹配的特征点对；计算所述匹配的特征点对的数量；以及如果所述匹配的特征点对的数量大于第一预定阈值，则将所述待识别图像识别为与所述注册图像相一致。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是示意性图示根据本发明实施例的人脸识别方法的主要步骤的流程图；
图2是示意性图示根据本发明实施例的人脸识别装置的主要配置的框图；以及
图3是示意性图示根据本发明实施例的人脸识别系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本公开中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
图1是示意性图示根据本发明实施例的人脸识别方法的主要步骤的流程图。
如图1所示，首先，在步骤S110，本发明实施例的人脸识别方法获取所述人脸的待识别图像。在一示例中，所述人脸识别方法通过摄像头对人脸进行拍照，以获得所述待别图像。在另一示例中，所述人脸识别方法从存储器中获取之前所采集的待识别图像。
在本发明一实施例中，所述图像的分辨率大于预定分辨率阈值。所述预定分辨率阈值例如可以设置为500*500。由此，所述图像能够包含低分辨率图像所不具有的细节特征，能够体现皮肤上的微观结构和纹理，诸如毛孔、痣、斑、伤疤等。
当然，本领域技术人员能够理解，上述预定分辨率阈值仅为示例，本发明不限于此，而是可以由本领域技术人员根据需要适当地设置。
接下来，在步骤S120，所述人脸识别方法检测所述待识别图像中表示所述待识别图像的细节特征的第一特征点集。
具体地，所述第一特征点集包括一个或多个第一特征点。每个第一特征点表示所述待识别图像的一个细节特征。所述细节特征例如包括毛孔的大小及分布、皱纹、伤疤、痣、斑等。这些细节特征是每个人所独特的，其能够在大于所述预定分辨率阈值的待识别图像中被识别出来，但很难准确地或不能够从一般的低分辨率的图像中被识别出来。
在本发明实施例中，可以通过多种方式来检测所述第一特征点。
在第一示例中，所述人脸识别方法可以首先检测所述待识别图像中的人脸区域图像。具体地，例如，所述人脸识别方法可以使用离线训练好的级联的自适应增强(Adaboost-cascade)人脸检测器来检测所述待识别图像中人脸的位置和大小。当然，如上所述的人脸区域图像的检测方法仅为示例。本领域技术人员能够采用其他各种人脸检测方法来检测所述待识别图像中的人脸区域图像，其都包含在本发明的范围内。
接下来，所述人脸识别方法可以基于所述人脸区域图像来检测所述第一特征点集。具体地，所述人脸识别方法可以将所述人脸区域图像缩放成不同尺度，并对于每一尺度的人脸区域图像，使用离线训练后的特征点分类器检测所述第一特征点的位置和尺寸。
也就是说，在此示例中，所述人脸识别方法基于学习方式，利用离线训练好的特征点分类器来检测第一特征点。具体地，所述人脸识别方法基于上述的人脸区域图像的检测结果，将人脸图像缩放成不同大小的尺度，并且在每一个尺度上，采用诸如滑动窗等的方式，使用离线训练好的卷积神经网络(CNN)的分类器进行检测，从而检测所述第一特征点的位置和大小。更具体地，离线训练的卷积神经网络包括输入层、卷积层(conv)、子采样层(pooling)、全连接层、输出层(分类器)。所述卷积层和所述子采样层可以分别有若干个。所述全连接层相当于多层感知机(Multilayer Perception,MLP)中的隐含层(HiddenLayer)。所述输出层即分类器，可以采用例如逻辑斯特回归(Logistics Regression)来表示。本领域技术人员可以采用各种方式来进行所述卷积神经网络的离线训练，在此不再详述。
在第二示例中，所述人脸识别方法利用人脸图像梯度信息来直接检测第一特征点。具体地，在此示例中，考虑到这些人脸特征点(比如毛孔、痣、微小皱纹等)通常都比它附近的皮肤区域要暗，并且这些点对于识别非常有效。因此，在此示例中，所述人脸识别方法通过高斯差分图像检测这些点。
更具体地，首先，同样地，所述人脸识别方法可以通过例如上述的方式来检测所述待识别图像中的人脸区域图像。
然后，所述人脸识别方法可以将所述人脸区域图像与不同尺度(σ,kσ,k2σ,...)的高斯核进行卷积处理，以得到相应的不同尺度的高斯图像。
此后，如下等式(1)所示，所述人脸识别方法将相邻尺度的高斯图像进行差分处理，以得到高斯差分图像。
D(x,y,σ)＝L(x,y,kσ)-L(x,y,σ)
＝(G(x,y,kσ)-G(x,y,σ))*I(x,y) (1)
其中，D(x,y,σ)表示高斯尺度分别为σ和kσ的两个相邻尺度的高斯图像之间的高斯差分图像，L(x,y,kσ)表示尺度为σ的高斯图像，G(x,y,kσ)表示尺度为kσ的高斯图像，并且I(x,y)表示所述待识别图像的原图。L(x,y,σ)是尺度为σ的高斯图像，其由图像I(x,y)与高斯核进行卷积而得到，x和y分别为所述待识别图像中每一像素的横坐标和纵坐标。
接下来，所述人脸识别方法确定每个高斯差分图像中的极值点。具体地，所述极值点的值大于其在所述高斯差分图像中的相邻点的值，并且大于其在相邻尺度的高斯差分图像中的相邻点的值。
如果所有极值点都不大于第二预定阈值，则所述人脸识别方法认为此高斯差分图像中没有第一特征点。另一方面，如果有所述极值点大于第二预定阈值，则所述人脸识别方法将所述极值点确定为所述第一特征点。在一个示例中，第二预定阈值为自适应阈值，其使得一侧脸颊区域的第一特征点的个数在一个合适的范围内，例如400至600之间。
通过对每个高斯差分图像进行如上所述的判定，所述人脸识别方法可以检测出所述待识别图像中的全部第一特征点。作为经验性而非限制性的示例，所述待识别图像中的第一特征点的数目大约为几千，例如，5000左右。
需要指出的是，以上所述的两种第一特征点的检测方式仅为示例。本领域技术人员能够在上述示例的基础之上采取其他各种方式来检测能够表示所述待识别图像的细节特征的第一特征点。
此后，在步骤S130，所述人脸识别方法提取描述所述第一特征点集中每个第一特征点的特征信息的第一描述算子。所述第一描述算子与所述第一特征点为一一对应的关系，其描述所述第一特征点的特征信息，即，局部特征信息。
在本发明实施例中，可以通过多种方式来提取所述第一描述算子。在第一示例中，所述人脸识别方法可以采用基于学习的方式，通过使用离线训练的卷积神经网络来提取所述第一描述算子。
具体地，所述人脸识别方法可以对于每个第一特征点，以所述第一特征点为预定参照点而进行归一化处理，以获得特征点区域图像。此后，所述人脸识别方法对于所述特征点区域图像，使用离线训练后的描述算子提取器获取所述第一特征点的第一描述算子。
更具体地，对于每个第一特征点，所述人脸识别方法可以以所述第一特征点为诸如中心的预定参照点而归一化尺寸，从而得到所述特征点区域图像。此后，所述人脸识别方法对离线训练好的卷积神经网络(即上述描述算子提取器)输入所述特征点区域图像，以获得所述第一描述算子。所述离线训练好的卷积神经网络包括如上所述的输入层、卷积层、子采样层、全连接层和输出层。如上所述，卷积层和子采样层可以分别有若干个。全连接层相当于多层感知机中的隐含层。并且，所述输出层即所述描述算子提取器，可以采用多分类的逻辑斯特回归(softmax)来表示。
在第二示例中，所述人脸识别方法可以基于人脸区域图像的梯度，根据所述第一特征点和对应的尺度，直接提取人脸区域图像的梯度作为特征点局部描述算子。
具体地，首先，所述人脸识别方法可以对于每个第一特征点，以所述第一特征点为预定参照点而确定特征点区域。例如，所述人脸识别方法可以在每个第一特征点附近，以所述第一特征点为中心、特征点尺度的N倍(N为正整数，例如为5)为半径，确定预定形状(例如，正方形)的特征点区域。接下来，所述人脸识别方法将所述特征点区域划分为多个(例如，4x 4个)子区域，并计算每个子区域的梯度信息。此后，所述人脸识别方法基于所述梯度信息，计算每个子区域的多维(例如，32维)梯度直方图，并将落入所述多维梯度直方图的每一维的点数连接成特征向量以得到所述第一特征点的第一描述算子。当然，所连接的特征向量可进一步经过诸如归一化的处理等而得到所述第一描述算子。
由此，通过步骤S110至S130的处理，所述人脸识别方法获得了所述待识别图像的第一描述算子的集合。
另一方面，在步骤S140，所述人脸识别方法获取描述第二特征点集中每个第二特征点的特征信息的第二描述算子。所述第二特征点集表示预先存储的注册图像的细节特征。
具体地，所述第二描述算子可通过如下所述的预处理而预先获得。首先，所述人脸识别方法获取所述注册图像。与上述步骤S110类似，所述人脸识别方法也可以通过摄像头实时采集所述注册图像或通过存储器获得之前采集的注册图像。所述注册图像的分辨率也大于预定分辨率阈值。
接下来，所述人脸识别方法检测所述注册图像中表示所述注册图像的细节特征的第二特征点集，并提取描述所述第二特征点集中每个第二特征点的特征信息的第二描述算子。所述人脸识别方法检测注册图像中的第二特征点和提取第二特征点的第二描述算子的处理与步骤S120中所述的检测第一特征点和步骤S130中所述的提取第一描述算子的处理类似，在此不再重复。在提取了所述第二描述算子之后，所述人脸识别方法可以将其以例如数据库的方式存储在存储器中。
需要指出的是，虽然在图1所示的流程图中将步骤S140示出为在步骤S110至S130的处理之后，然而实际上，步骤S110至S130的处理与步骤S140的处理可以以与图中所示的顺序不同的顺序(诸如并行地或颠倒地)执行。
此外，除了上述步骤S110至S140之外，所述人脸识别方法还可包括与上述步骤相独立地检测用于表示所述待识别图像的结构信息的第一关键点集的步骤。具体地，如上所述，所述人脸识别方法可以检测所述待识别图像中的人脸区域图像。进一步地，所述人脸识别方法可以通过诸如主动外观模型(Active Appearance Model，AAM)等的各种方式来检测人脸中的第一关键点的位置等的信息。所述第一关键点表示所述待识别图像的结构信息，如眼睛、鼻子、嘴巴等。
接下来，在步骤S150，所述人脸识别方法基于所述第一描述算子与第二描述算子，检测所述第一特征点集与所述第二特征点集中匹配的特征点对。
所述人脸识别方法可以通过多种方式来检测所述第一特征点集与所述第二特征点集中匹配的特征点对。在第一示例中，首先，所述人脸识别方法基于所述第一关键点集与用于表示所述注册图像的结构信息的第二关键点集，计算所述待识别图像与所述注册图像之间的相似变换矩阵。具体地，所述第二关键点集可以通过与上述第一关键点集类似的方式预先检测并存储在数据库中，或者，所述第二关键点集也可以在所述人脸识别方法的合适步骤中通过与上述第一关键点集类似的方式进行实时检测。所述人脸识别方法由此计算所述待识别图像与所述注册图像之间的相似变换矩阵，使得所述待识别图像中的第一关键点集与所述注册图像中的第二关键点集之间的欧氏距离最小。
接下来，所述人脸识别方法对于每个第一特征点，基于所述相似变换矩阵，计算所述第一特征点在所述注册图像中的待匹配区域。即，所述人脸识别方法依次取所述待识别图像中的第一特征点P(x1,y1)，根据其在所述待识别图像中的坐标以及通过上述计算所获得的相似变换矩阵，得到其在所述注册图像中的对应位置Q(x2,y2)，其中，x1和y1分别为所述第一特征点P在所述待识别图像中的横坐标和纵坐标，x2和y2分别为所述对应位置Q在所述注册图像中的横坐标和纵坐标。之后，所述人脸识别方法例如以Q(x2,y2)为圆心，以人脸高度的n倍(n为0-1之间的小数，例如为0.1)为半径，得到一圆形区域作为所述待匹配区域。当然，需要指出的是，上述待匹配区域的确定仅为示例。本领域技术人员完全可以以所述Q(x2,y2)为诸如左上角等的其他预定参照点而得到诸如矩形等的其他形状的待匹配区域，其都在本发明的范围内。
然后，所述人脸识别方法检测所述待匹配区域中与所述第一特征点构成匹配的第二特征点。更具体地，所述人脸识别方法首先计算所述第一特征点的第一描述算子与所述待匹配区域中每个第二特征点的第二描述算子之间的欧式距离，然后计算所得到的各个欧氏距离当中的最小的欧式距离与次小的欧式距离之间的比值，并判断所述比值与第三预定阈值的关系。所述第三预定阈值可以由本领域技术人员结合识别准确度的需求而适当地设置。作为一示例，所述第三预定阈值可以设置为0.8。
如果最小的欧式距离与次小的欧式距离之间的比值不小于所述第三阈值，则所述人脸识别方法确定在所述待匹配区域中没有与所述第一特征点匹配的第二特征点。
另一方面，如果最小的欧式距离与次小的欧式距离之间的比值小于所述第三预定阈值，则所述人脸识别方法将所述第一特征点与所述待匹配区域中与所述第一特征点的第一描述算子之间的欧式距离最小的第二特征点确定为匹配的特征点对。
在上述的第一示例中，对于第一特征点集中的每个第一特征点，判断在所述注册图像中的待匹配区域中是否存在与其匹配的第二特征点。相应地，本发明实施例的人脸识别方法同样可以对于第二特征点集中的每个第二特征点，判断在所述待识别图像的待匹配区域中是否存在与其匹配的第一特征点。
具体地，在第二示例中，首先，同样，所述人脸识别方法基于所述第一关键点集与用于表示所述注册图像的结构信息的第二关键点集，计算所述待识别图像与所述注册图像之间的相似变换矩阵。
接下来，所述人脸识别方法对于每个第二特征点，基于所述相似变换矩阵，计算所述第二特征点在所述待识别图像中的待匹配区域。类似地，所述人脸识别方法依次取所述注册图像中的第二特征点Q(x2,y2)，根据其在所述注册图像中的坐标以及通过上述计算所获得的相似变换矩阵，得到其在所述待匹配图像中的对应位置P(x1,y1)，其中，x2和y2分别为所述第二特征点Q在所述注册图像中的横坐标和纵坐标，x1和y1分别为所述对应位置P在所述待识别图像中的横坐标和纵坐标。之后，所述人脸识别方法例如以P(x1,y1)为圆心，以人脸高度的n倍(n为0-1之间的小数，例如为0.1)为半径，得到一圆形区域作为所述待匹配区域。同样，上述待匹配区域的确定仅为示例。
然后，所述人脸识别方法检测所述待匹配区域中与所述第二特征点构成匹配的第一特征点。更具体地，所述人脸识别方法首先计算所述第二特征点的第二描述算子与所述待匹配区域中每个第一特征点的第一描述算子之间的欧式距离，然后计算所得到的各个欧氏距离当中的最小的欧式距离与次小的欧式距离之间的比值，并判断所述比值与第三预定阈值的关系。所述第三预定阈值可以由本领域技术人员结合识别准确度的需求而适当地设置。作为一示例，所述第三预定阈值可以设置为0.8。
如果最小的欧式距离与次小的欧式距离之间的比值不小于所述第三阈值，则所述人脸识别方法确定在所述待匹配区域中没有与所述第二特征点匹配的第一特征点。
另一方面，如果最小的欧式距离与次小的欧式距离之间的比值小于所述第三预定阈值，则所述人脸识别方法将所述第二特征点与所述待匹配区域中与所述第二特征点的第二描述算子之间的欧式距离最小的第一特征点确定为匹配的特征点对。
由此，所述人脸识别方法通过步骤S150的处理而检测出了所述第一特征点集与所述第二特征点集中匹配的所有特征点对。
接下来，所述人脸识别方法进行到步骤S160，计算所述匹配的特征点对的数量。在第一示例中，所述人脸识别方法对所有匹配的特征点进行简单计数。在第二示例中，为使识别结果更准确，所述人脸识别方法可以基于所述第一描述算子与第二描述算子，通过如上所述的步骤S150的处理得到所述第一特征点集与所述第二特征点集中匹配的特征点对的初步匹配结果。然后，所述人脸识别方法基于随机取样一致(Random Sample Consensus,RANSAC)的方式，对所述初步匹配结果进行筛选，以得到所述匹配的特征点对。当然，以上所述的两种方式仅为示例。本领域技术人员可以根据其他各种准则，对通过如上所述的步骤S150的处理所获得的结果进行一定的筛选，以使得最终的识别结果更为准确。
最后，在步骤S170，如果所述匹配的特征点对的数量大于第一预定阈值，则所述人脸识别方法将所述待识别图像识别为与所述注册图像相一致。另一方面，如果所述匹配的特征点对的数量并不大于所述第一预定阈值，则所述人脸识别方法将所述待识别图像识别为与所述注册图像不一致。所述第一预定阈值可以由本领域技术人员根据需要适当地设置。在一示例中，所述第一预定阈值可以设置为1000。
以上，参照图1描述了本发明实施例的人脸识别方法。在本发明实施例的人脸识别方法中，从人脸的高清待识别图像中检测出表示所述待识别图像的细节特征的特征点，并基于所述特征点而确定所述待识别图像与预先存储的注册图像是否相一致，进而识别出所述人脸。由于利用了人脸的诸如毛孔、痣、斑、伤疤等的每个人独特的细节特征来进行人脸识别，从而能够区分包括双胞胎等的非常相似的人脸，极大提高了人脸识别的准确性，相应地提高了应用人脸识别的场景的安全性，能够使用在安全性要求非常高的银行、公安等的场所。
此外，本发明实施例的人脸识别方法无需特殊硬件，因而可以部署在人脸图像采集端处，例如，在安防应用领域，可以部署在门禁系统的图像采集端；在金融应用领域，可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。当然，本发明实施例的人脸识别方法不限于此，其还可以分布地部署在服务器端(或云端)和个人终端处。
图2是示意性图示本发明实施例的人脸识别装置的主要配置的框图。如图2所示，本发明实施例的人脸识别装置200主要包括：待识别图像获取模块210、第一特征点检测模块220、第一描述算子提取模块230和特征点匹配模块240。所述特征点匹配模块240可以包括第二描述算子获取模块2410、匹配特征点对检测模块2420、匹配特征点对计算模块2430和识别模块2440。
此外，本发明实施例的人脸识别装置还可以包括未示出的人脸检测模块和关键点检测模块。所述人脸检测模块检测所述待识别图像中的人脸区域图像。所述关键点检测模块检测用于表示所述待识别图像的结构信息的第一关键点集。
具体地，所述待识别图像获取模块210获取所述人脸的待识别图像。作为一示例，所述待识别图像获取模块210可通过摄像头对人脸进行拍照，以获得所述待别图像。在本发明一实施例中，所述图像的分辨率大于预定分辨率阈值。所述预定分辨率阈值例如可以设置为500*500。即，所述摄像头为高清摄像头。具体地，所述摄像头可以为普通数码相机、手机摄像头、USB摄像头或网络摄像头等的各种类型的摄像头。由此，所述图像能够包含低分辨率图像所不具有的细节特征，能够体现皮肤上的微观结构和纹理，诸如毛孔、痣、斑、伤疤等。
所述第一特征点检测模块220检测所述待识别图像中表示所述待识别图像的细节特征的第一特征点集。
具体地，在第一示例中，所述第一特征点检测模块220将所述人脸区域图像缩放成不同尺度，并对于每一尺度的人脸区域图像，使用离线训练后的特征点分类器检测所述第一特征点的位置和尺寸。
更具体地，所述第一特征点检测模块220包含一离线训练好的基于卷积神经网络的特征点检测器。所述离线训练的卷积神经网络包括输入层、卷积层、子采样层、全连接层、输出层(分类器)。所述卷积层和所述子采样层可以分别有若干个。所述全连接层相当于多层感知机中的隐含层。所述输出层即分类器，可以采用例如逻辑斯特回归来表示。所述特征点检测器可以基于人脸检测模块的人脸区域图像的检测结果，将人脸图像缩放成不同大小的尺度，并且在每一个尺度上，采用诸如滑动窗等的方式，使用离线训练好的卷积神经网络的分类器进行检测，从而检测所述第一特征点的位置和大小。
在第二示例中，所述第一特征点检测模块220为基于人脸图像的梯度信息的特征点检测器。所述第一特征点检测模块220利用人脸图像的梯度信息直接检测所述第一特征点。更具体地，所述第一特征点检测模块220可以实现为硬件、软件、固件或它们的任意可行组合。示例性地，所述第一特征点检测模块220可以实现为在计算机中运行的软件。所述软件当由计算机运行时，执行以下处理。
首先，将所述人脸区域图像与不同尺度(σ,kσ,k2σ,...)的高斯核进行卷积处理，以得到相应的不同尺度的高斯图像。
接下来，基于如上所述的等式(1)，将相邻尺度的高斯图像进行差分处理，以得到高斯差分图像。
然后，确定每个高斯差分图像中的极值点。具体地，所述极值点的值大于其在所述高斯差分图像中的相邻点的值，并且大于其在相邻尺度的高斯差分图像中的相邻点的值。
如果所有极值点都不大于第二预定阈值，则认为此高斯差分图像中没有第一特征点。另一方面，如果有所述极值点大于第二预定阈值，则将所述极值点确定为所述第一特征点。
通过对每个高斯差分图像进行如上所述的判定，所述第一特征点检测模块220可以检测出所述待识别图像中的全部第一特征点。作为经验性而非限制性的示例，所述待识别图像中的第一特征点的数目大约为几千，例如，5000左右。
需要指出的是，以上所述的两种第一特征点的检测方式仅为示例。本领域技术人员能够在上述示例的基础之上采取其他各种方式来配置所述第一特征点检测模块220，使得其检测能够表示所述待识别图像的细节特征的第一特征点。
所述第一描述算子提取模块230提取描述所述第一特征点集中每个第一特征点的特征信息的第一描述算子。
具体地，在第一示例中，所述第一描述算子提取模块230可包括未示出的特征点区域图像获得模块和第一描述算子获取模块。
所述特征点区域图像获得模块对于每个第一特征点，以所述第一特征点为预定参照点而进行归一化处理，以获得特征点区域图像。所述第一描述算子获取模块对于所述特征点区域图像，使用离线训练后的描述算子提取器获取所述第一特征点的第一描述算子。
更具体地，对于每个第一特征点，所述特征点区域图像获得模块可以以所述第一特征点为诸如中心的预定参照点而归一化尺寸，从而得到所述特征点区域图像。此后，所述第一描述算子获取模块对离线训练好的卷积神经网络(即上述描述算子提取器)输入所述特征点区域图像，以获得所述第一描述算子。所述离线训练好的卷积神经网络包括如上所述的输入层、卷积层、子采样层、全连接层和输出层。如上所述，卷积层和子采样层可以分别有若干个。全连接层相当于多层感知机中的隐含层。并且，所述输出层可以采用多分类的逻辑斯特回归来表示。
在第二示例中，所述第一描述算子提取模块230可以基于人脸区域图像的梯度，根据所述第一特征点和对应的尺度，直接提取人脸区域图像的梯度作为特征点局部描述算子。更具体地，所述第一描述算子提取模块230可以实现为硬件、软件、固件或它们的任意可行组合。示例性地，所述第一描述算子提取模块230可以实现为在计算机中运行的软件。所述软件当由计算机运行时，执行以下处理。
首先，对于每个第一特征点，以所述第一特征点为预定参照点而确定特征点区域。例如，可以在每个第一特征点附近，以所述第一特征点为中心、特征点尺度的N倍(N为正整数，例如为5)为半径，确定预定形状(例如，正方形)的特征点区域。
然后，将所述特征点区域划分为多个(例如，4x 4个)子区域，并计算每个子区域的梯度信息。
接下来，基于所述梯度信息，计算每个子区域的多维(例如，32维)梯度直方图。
最后，将落入所述多维梯度直方图的每一维的点数连接成特征向量，以得到所述第一特征点的第一描述算子。此外，所述点数还可进一步经过诸如归一化的处理等而得到所述第一描述算子。
所述特征点匹配模块240基于如上所述获得的第一描述算子和第二描述算子，判断所述待识别图像与所述注册图像是否一致。
具体地，所述第二描述算子获取模块2410获取描述第二特征点集中每个第二特征点的特征信息的第二描述算子。所述第二特征点集表示预先存储的注册图像的细节特征。更具体地，所述第二描述算子获取模块2410获取所述注册图像，检测所述注册图像中表示所述注册图像的细节特征的第二特征点集，提取描述所述第二特征点集中每个第二特征点的特征信息的第二描述算子，并存储所述第二描述算子。
所述匹配特征点对检测模块2420基于所述第一描述算子与第二描述算子，检测所述第一特征点集与所述第二特征点集中匹配的特征点对。在第一示例中，首先，所述匹配特征点对检测模块2420基于所述第一关键点集与用于表示所述注册图像的结构信息的第二关键点集，计算所述待识别图像与所述注册图像之间的相似变换矩阵。具体地，所述第二关键点集可以通过与上述第一关键点集类似的方式预先检测并存储在数据库中。所述匹配特征点对检测模块2420由此计算所述待识别图像与所述注册图像之间的相似变换矩阵，使得所述待识别图像中的第一关键点集与所述注册图像中的第二关键点集之间的欧氏距离最小。
接下来，所述匹配特征点对检测模块2420对于每个第一特征点，基于所述相似变换矩阵，计算所述第一特征点在所述注册图像中的待匹配区域。即，所述匹配特征点对检测模块2420依次取所述待识别图像中的第一特征点P(x1,y1)，根据其在所述待识别图像中的坐标以及通过上述计算所获得的相似变换矩阵，得到其在所述注册图像中的对应位置Q(x2,y2)。之后，所述匹配特征点对检测模块2420例如以Q(x2,y2)为圆心，以人脸高度的n倍(n为0-1之间的小数，例如为0.1)为半径，得到一圆形区域作为所述待匹配区域。当然，需要指出的是，上述待匹配区域的确定仅为示例。本领域技术人员完全可以以所述Q(x2,y2)为其他预定参照点而得到其他形状的待匹配区域，其都在本发明的范围内。
然后，所述匹配特征点对检测模块2420检测所述待匹配区域中与所述第一特征点构成匹配的第二特征点。更具体地，所述匹配特征点对检测模块2420首先计算所述第一特征点的第一描述算子与所述待匹配区域中每个第二特征点的第二描述算子之间的欧式距离，然后计算所得到的各个欧氏距离当中的最小的欧式距离与次小的欧式距离之间的比值，并判断所述比值与第三预定阈值的关系。所述第三预定阈值可以由本领域技术人员结合识别准确度的需求而适当地设置。作为一示例，所述第三预定阈值可以设置为0.8。
如果最小的欧式距离与次小的欧式距离之间的比值不小于所述第三阈值，则所述匹配特征点对检测模块2420确定在所述待匹配区域中没有与所述第一特征点匹配的第二特征点。
另一方面，如果最小的欧式距离与次小的欧式距离之间的比值小于所述第三预定阈值，则所述匹配特征点对检测模块2420将所述第一特征点与所述待匹配区域中与所述第一特征点的第一描述算子之间的欧式距离最小的第二特征点确定为匹配的特征点对。
在上述的第一示例中，对于第一特征点集中的每个第一特征点，判断在所述注册图像中的待匹配区域中是否存在与其匹配的第二特征点。相应地，同样可以对于第二特征点集中的每个第二特征点，判断在所述待识别图像的待匹配区域中是否存在与其匹配的第一特征点。
具体地，在第二示例中，首先，同样，所述匹配特征点对检测模块2420基于所述第一关键点集与用于表示所述注册图像的结构信息的第二关键点集，计算所述待识别图像与所述注册图像之间的相似变换矩阵。
接下来，所述匹配特征点对检测模块2420对于每个第二特征点，基于所述相似变换矩阵，计算所述第二特征点在所述待识别图像中的待匹配区域。类似地，所述匹配特征点对检测模块2420依次取所述注册图像中的第二特征点Q(x2,y2)，根据其在所述注册图像中的坐标以及通过上述计算所获得的相似变换矩阵，得到其在所述待匹配图像中的对应位置P(x1,y1)。之后，所述匹配特征点对检测模块2420例如以P(x,y)为圆心，以人脸高度的n倍(n为0-1之间的小数，例如为0.1)为半径，得到一圆形区域作为所述待匹配区域。同样，上述待匹配区域的确定仅为示例。
然后，所述匹配特征点对检测模块2420检测所述待匹配区域中与所述第二特征点构成匹配的第一特征点。更具体地，所述匹配特征点对检测模块2420首先计算所述第二特征点的第二描述算子与所述待匹配区域中每个第一特征点的第一描述算子之间的欧式距离，然后计算所得到的各个欧氏距离当中的最小的欧式距离与次小的欧式距离之间的比值，并判断所述比值与第三预定阈值的关系。所述第三预定阈值可以由本领域技术人员结合识别准确度的需求而适当地设置。作为一示例，所述第三预定阈值可以设置为0.8。
如果最小的欧式距离与次小的欧式距离之间的比值不小于所述第三阈值，则所述匹配特征点对检测模块2420确定在所述待匹配区域中没有与所述第二特征点匹配的第一特征点。
另一方面，如果最小的欧式距离与次小的欧式距离之间的比值小于所述第三预定阈值，则所述匹配特征点对检测模块2420将所述第二特征点与所述待匹配区域中与所述第二特征点的第二描述算子之间的欧式距离最小的第一特征点确定为匹配的特征点对。
由此，所述匹配特征点对检测模块2420检测出了所述第一特征点集与所述第二特征点集中匹配的所有特征点对。
所述匹配特征点对计算模块2430计算所述匹配的特征点对的数量。在第一示例中，所述匹配特征点对计算模块2430对所有匹配的特征点进行简单计数。在第二示例中，为使识别结果更准确，所述匹配特征点对计算模块2430可以对匹配特征点对检测模块2420所得到的初步匹配结果，基于随机取样一致的方式而进行筛选，以得到所述匹配的特征点对。当然，以上所述的两种方式仅为示例。所述匹配特征点对计算模块2430可以根据其他各种准则，对通过匹配特征点对检测模块2420所获得的初步匹配结果进行一定的筛选，以使得最终的识别结果更为准确。
接下来，如果所述匹配的特征点对的数量大于第一预定阈值，则所述识别模块2440将所述待识别图像识别为与所述注册图像相一致。另一方面，如果所述匹配的特征点对的数量并不大于所述第一预定阈值，则所述识别模块2440将所述待识别图像识别为与所述注册图像不一致。所述第一预定阈值可以由本领域技术人员根据需要适当地设置。在一示例中，所述第一预定阈值可以设置为1000。
需要指出的是，以上所述的人脸识别装置200的各个模块均可以适当地实现为硬件、软件、固件或它们的任意可行的组合。示例性地，本发明实施例的人脸识别装置200的各个模块可以由运行在计算机中的软件实现，所述软件当被计算机运行时，执行如上所述的各个处理。
图3是示出了根据本发明实施例的人脸识别系统的示意性框图。
如图3所示，根据本发明实施例的人脸识别系统包括：处理器；存储器；以及在所述存储器中存储的计算机程序指令。
所述计算机程序指令在被所述处理器运行时可以实现根据本发明实施例的人脸识别装置的各个功能模块的功能，并且/或者可以执行根据本发明实施例的人脸识别系统。
具体地，在所述计算机程序指令被所述处理器运行时执行以下步骤：获取所述人脸的待识别图像；检测所述待识别图像中表示所述待识别图像的细节特征的第一特征点集；提取描述所述第一特征点集中每个第一特征点的特征信息的第一描述算子；获取描述第二特征点集中每个第二特征点的特征信息的第二描述算子，其中所述第二特征点集表示预先存储的注册图像的细节特征；基于所述第一描述算子与第二描述算子，检测所述第一特征点集与所述第二特征点集中匹配的特征点对；计算所述匹配的特征点对的数量；以及如果所述匹配的特征点对的数量大于第一预定阈值，则将所述待识别图像识别为与所述注册图像相一致。
作为一示例，在所述计算机程序指令被所述处理器运行时还执行以下步骤：检测所述待识别图像中的人脸区域图像；并且，在所述计算机程序指令被所述处理器运行时所执行的检测所述待识别图像中的第一特征点集的步骤包括：基于所述人脸区域图像，检测所述第一特征点集。
作为另一示例，在所述计算机程序指令被所述处理器运行时所执行的检测所述第一特征点集的步骤包括：将所述人脸区域图像缩放成不同尺度；以及对于每一尺度的人脸区域图像，使用离线训练后的特征点分类器检测所述第一特征点的位置和尺寸。
作为另一示例，在所述计算机程序指令被所述处理器运行时所执行的检测所述第一特征点集的步骤包括：将所述人脸区域图像与不同尺度的高斯核进行卷积处理，以得到相应的不同尺度的高斯图像；将相邻尺度的高斯图像进行差分处理，以得到高斯差分图像；确定每个高斯差分图像中的极值点，其中，所述极值点的值大于其在所述高斯差分图像中的相邻点的值，并且大于其在相邻尺度的高斯差分图像中的相邻点的值；以及如果所述极值点大于第二预定阈值，则将所述极值点确定为所述第一特征点。
作为另一示例，在所述计算机程序指令被所述处理器运行时所执行的提取第一描述算子的步骤包括：对于每个第一特征点，以所述第一特征点为预定参照点而进行归一化处理，以获得特征点区域图像；以及对于所述特征点区域图像，使用离线训练后的描述算子提取器获取所述第一特征点的第一描述算子。
作为另一示例，在所述计算机程序指令被所述处理器运行时所执行的提取第一描述算子的步骤包括：对于每个第一特征点，以所述第一特征点为预定参照点而确定特征点区域；将所述特征点区域划分为多个子区域，并计算每个子区域的梯度信息；基于所述梯度信息，计算每个子区域的多维梯度直方图；以及将落入所述多维梯度直方图的每一维的点数连接成特征向量，以得到所述第一特征点的第一描述算子。
作为另一示例，在所述计算机程序指令被所述处理器运行时还执行以下步骤：检测用于表示所述待识别图像的结构信息的第一关键点集；其中，在所述计算机程序指令被所述处理器运行时所执行的检测所述第一特征点集与所述第二特征点集中匹配的特征点对的步骤包括：基于所述第一关键点集与用于表示所述注册图像的结构信息的第二关键点集，计算所述待识别图像与所述注册图像之间的相似变换矩阵；对于每个第一特征点，基于所述相似变换矩阵，计算所述第一特征点在所述注册图像中的待匹配区域；以及检测所述待匹配区域中与所述第一特征点构成匹配的第二特征点。
作为另一示例，在所述计算机程序指令被所述处理器运行时所执行的检测所述待匹配区域中与所述第一特征点构成匹配的第二特征点的步骤包括：计算所述第一特征点的第一描述算子与所述待匹配区域中每个第二特征点的第二描述算子之间的欧式距离；判断最小的欧式距离与次小的欧式距离之间的比值与第三预定阈值的关系；以及如果最小的欧式距离与次小的欧式距离之间的比值小于第三预定阈值，则将所述第一特征点与所述待匹配区域中与所述第一特征点的第一描述算子之间的欧式距离最小的第二特征点确定为匹配的特征点对。
作为另一示例，在所述计算机程序指令被所述处理器运行时还执行以下步骤：检测用于表示所述待识别图像的结构信息的第一关键点集；其中，在所述计算机程序指令被所述处理器运行时所执行的检测所述第一特征点集与所述第二特征点集中匹配的特征点对的步骤包括：基于所述第一关键点集与用于表示所述注册图像的结构信息的第二关键点集，计算所述待识别图像与所述注册图像之间的相似变换矩阵；对于每个第二特征点，基于所述相似变换矩阵，计算所述第二特征点在所述待识别图像中的待匹配区域；以及检测所述待匹配区域中与所述第二特征点构成匹配的第一特征点。
作为另一示例，在所述计算机程序指令被所述处理器运行时所执行的检测所述待匹配区域中与所述第二特征点构成匹配的第一特征点的步骤包括：计算所述第二特征点的第二描述算子与所述待匹配区域中每个第一特征点的第一描述算子之间的欧式距离；判断最小的欧式距离与次小的欧式距离之间的比值与第三预定阈值的关系；以及如果最小的欧式距离与次小的欧式距离之间的比值小于第三预定阈值，则将所述第二特征点与所述待匹配区域中与所述第二特征点的第二描述算子之间的欧式距离最小的第一特征点确定为匹配的特征点对。
作为另一示例，在所述计算机程序指令被所述处理器运行时还执行以下步骤：获取所述注册图像；检测所述注册图像中表示所述注册图像的细节特征的第二特征点集；提取描述所述第二特征点集中每个第二特征点的特征信息的第二描述算子；以及存储所述第二描述算子。
作为另一示例，在所述计算机程序指令被所述处理器运行时所执行的计算所述匹配的特征点对的数量的步骤包括：基于所述第一描述算子与第二描述算子，得到所述第一特征点集与所述第二特征点集中匹配的特征点对的初步匹配结果；以及基于随机取样一致的方法，对所述初步匹配结果进行筛选，以得到所述匹配的特征点对。
此外，根据本发明实施例，还提供了一种计算机程序产品。根据本发明实施例的计算机程序产品包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令。
所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的人脸装置的各个功能模块的功能，并且/或者可以执行根据本发明实施例的人脸识别方法。
例如，所述计算机程序指令在被计算机运行时执行以下步骤：获取所述人脸的待识别图像；检测所述待识别图像中表示所述待识别图像的细节特征的第一特征点集；提取描述所述第一特征点集中每个第一特征点的特征信息的第一描述算子；获取描述第二特征点集中每个第二特征点的特征信息的第二描述算子，其中所述第二特征点集表示预先存储的注册图像的细节特征；基于所述第一描述算子与第二描述算子，检测所述第一特征点集与所述第二特征点集中匹配的特征点对；计算所述匹配的特征点对的数量；以及如果所述匹配的特征点对的数量大于第一预定阈值，则将所述待识别图像识别为与所述注册图像相一致。
根据本发明实施例的人脸识别装置中的各模块可以通过根据本发明实施例的人脸识别系统中的至少一个处理器运行在至少一个存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于随机地生成动作指令序列的计算机可读的程序代码，另一个计算机可读存储介质包含用于进行人脸活动识别的计算机可读的程序代码。
所述计算机可读存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
在上面详细描述的本发明的示例实施例仅仅是说明性的，而不是限制性的。本领域技术人员应该理解，在不脱离本发明的原理和精神的情况下，可对这些实施例进行各种修改，组合或子组合，并且这样的修改应落入本发明的范围内。

Claims (27)

1.一种用于识别人脸的方法，包括：
获取所述人脸的待识别图像；
检测所述待识别图像中表示所述待识别图像的细节特征的第一特征点集；
提取描述所述第一特征点集中每个第一特征点的特征信息的第一描述算子；
获取描述第二特征点集中每个第二特征点的特征信息的第二描述算子，其中所述第二特征点集表示预先存储的注册图像的细节特征；
基于所述第一描述算子与第二描述算子，检测所述第一特征点集与所述第二特征点集中匹配的特征点对；
计算所述匹配的特征点对的数量；以及
如果所述匹配的特征点对的数量大于第一预定阈值，则将所述待识别图像识别为与所述注册图像相一致，
所述方法还包括：
检测用于表示所述待识别图像的结构信息的第一关键点集，
其中，检测所述第一特征点集与所述第二特征点集中匹配的特征点对的步骤包括：
基于所述第一关键点集与用于表示所述注册图像的结构信息的第二关键点集，计算所述待识别图像与所述注册图像之间的相似变换矩阵；
对于每个第一特征点，基于所述相似变换矩阵，计算所述第一特征点在所述注册图像中的待匹配区域；
计算所述第一特征点的第一描述算子与所述待匹配区域中每个第二特征点的第二描述算子之间的欧式距离；
判断最小的欧式距离与次小的欧式距离之间的比值与第三预定阈值的关系；以及
如果最小的欧式距离与次小的欧式距离之间的比值小于第三预定阈值，则将所述第一特征点与所述待匹配区域中与所述第一特征点的第一描述算子之间的欧式距离最小的第二特征点确定为匹配的特征点对，
或者，检测所述第一特征点集与所述第二特征点集中匹配的特征点对的步骤包括：
基于所述第一关键点集与用于表示所述注册图像的结构信息的第二关键点集，计算所述待识别图像与所述注册图像之间的相似变换矩阵；
对于每个第二特征点，基于所述相似变换矩阵，计算所述第二特征点在所述待识别图像中的待匹配区域；
计算所述第二特征点的第二描述算子与所述待匹配区域中每个第一特征点的第一描述算子之间的欧式距离；
判断最小的欧式距离与次小的欧式距离之间的比值与第三预定阈值的关系；以及
如果最小的欧式距离与次小的欧式距离之间的比值小于第三预定阈值，则将所述第二特征点与所述待匹配区域中与所述第二特征点的第二描述算子之间的欧式距离最小的第一特征点确定为匹配的特征点对。
2.如权利要求1所述的方法，其中：
所述图像的分辨率大于预定分辨率阈值。
3.如权利要求1所述的方法，还包括：
检测所述待识别图像中的人脸区域图像；
并且，检测所述待识别图像中表示所述待识别图像的细节特征的第一特征点集的步骤包括：
基于所述人脸区域图像，检测所述第一特征点集。
4.如权利要求3所述的方法，其中，检测所述第一特征点集的步骤包括：
将所述人脸区域图像缩放成不同尺度；以及
对于每一尺度的人脸区域图像，使用离线训练后的特征点分类器检测所述第一特征点的位置和尺寸。
5.如权利要求3所述的方法，其中，检测所述第一特征点集的步骤包括：
将所述人脸区域图像与不同尺度的高斯核进行卷积处理，以得到相应的不同尺度的高斯图像；
将相邻尺度的高斯图像进行差分处理，以得到高斯差分图像；
确定每个高斯差分图像中的极值点，其中，所述极值点的值大于其在所述高斯差分图像中的相邻点的值，并且大于其在相邻尺度的高斯差分图像中的相邻点的值；以及
如果所述极值点大于第二预定阈值，则将所述极值点确定为所述第一特征点。
6.如权利要求1所述的方法，其中，提取描述所述第一特征点集中每个第一特征点的特征信息的第一描述算子的步骤包括：
对于每个第一特征点，以所述第一特征点为预定参照点而进行归一化处理，以获得特征点区域图像；以及
对于所述特征点区域图像，使用离线训练后的描述算子提取器获取所述第一特征点的第一描述算子。
7.如权利要求1所述的方法，其中，提取描述所述第一特征点集中每个第一特征点的特征信息的第一描述算子的步骤包括：
对于每个第一特征点，以所述第一特征点为预定参照点而确定特征点区域；
将所述特征点区域划分为多个子区域，并计算每个子区域的梯度信息；
基于所述梯度信息，计算每个子区域的多维梯度直方图；以及
将落入所述多维梯度直方图的每一维的点数连接成特征向量，以得到所述第一特征点的第一描述算子。
8.如权利要求1所述的方法，其中所述第二描述算子通过以下步骤获得：
获取所述注册图像；
检测所述注册图像中表示所述注册图像的细节特征的第二特征点集；
提取描述所述第二特征点集中每个第二特征点的特征信息的第二描述算子；以及
存储所述第二描述算子。
9.如权利要求1所述的方法，其中，计算所述匹配的特征点对的数量的步骤包括：
基于所述第一描述算子与第二描述算子，得到所述第一特征点集与所述第二特征点集中匹配的特征点对的初步匹配结果；以及
基于随机取样一致的方法，对所述初步匹配结果进行筛选，以得到所述匹配的特征点对。
10.一种用于识别人脸的系统，包括：
处理器；
存储器；
在所述存储器中存储的计算机程序指令，在所述计算机程序指令被所述处理器运行时执行以下步骤：
获取所述人脸的待识别图像；
检测所述待识别图像中表示所述待识别图像的细节特征的第一特征点集；
提取描述所述第一特征点集中每个第一特征点的特征信息的第一描述算子；
获取描述第二特征点集中每个第二特征点的特征信息的第二描述算子，其中所述第二特征点集表示预先存储的注册图像的细节特征；
基于所述第一描述算子与第二描述算子，检测所述第一特征点集与所述第二特征点集中匹配的特征点对；
计算所述匹配的特征点对的数量；以及
如果所述匹配的特征点对的数量大于第一预定阈值，则将所述待识别图像识别为与所述注册图像相一致，
在所述计算机程序指令被所述处理器运行时还执行以下步骤：
检测用于表示所述待识别图像的结构信息的第一关键点集，
其中，在所述计算机程序指令被所述处理器运行时所执行的检测所述第一特征点集与所述第二特征点集中匹配的特征点对的步骤包括：
基于所述第一关键点集与用于表示所述注册图像的结构信息的第二关键点集，计算所述待识别图像与所述注册图像之间的相似变换矩阵；
对于每个第一特征点，基于所述相似变换矩阵，计算所述第一特征点在所述注册图像中的待匹配区域；
计算所述第一特征点的第一描述算子与所述待匹配区域中每个第二特征点的第二描述算子之间的欧式距离；
判断最小的欧式距离与次小的欧式距离之间的比值与第三预定阈值的关系；以及
如果最小的欧式距离与次小的欧式距离之间的比值小于第三预定阈值，则将所述第一特征点与所述待匹配区域中与所述第一特征点的第一描述算子之间的欧式距离最小的第二特征点确定为匹配的特征点对，
或者，在所述计算机程序指令被所述处理器运行时所执行的检测所述第一特征点集与所述第二特征点集中匹配的特征点对的步骤包括：
基于所述第一关键点集与用于表示所述注册图像的结构信息的第二关键点集，计算所述待识别图像与所述注册图像之间的相似变换矩阵；
对于每个第二特征点，基于所述相似变换矩阵，计算所述第二特征点在所述待识别图像中的待匹配区域；
计算所述第二特征点的第二描述算子与所述待匹配区域中每个第一特征点的第一描述算子之间的欧式距离；
判断最小的欧式距离与次小的欧式距离之间的比值与第三预定阈值的关系；以及
如果最小的欧式距离与次小的欧式距离之间的比值小于第三预定阈值，则将所述第二特征点与所述待匹配区域中与所述第二特征点的第二描述算子之间的欧式距离最小的第一特征点确定为匹配的特征点对。
11.如权利要求10所述的系统，在所述计算机程序指令被所述处理器运行时还执行以下步骤：
检测所述待识别图像中的人脸区域图像；
并且，在所述计算机程序指令被所述处理器运行时所执行的检测所述待识别图像中的第一特征点集的步骤包括：
基于所述人脸区域图像，检测所述第一特征点集。
12.如权利要求11所述的系统，其中，在所述计算机程序指令被所述处理器运行时所执行的检测所述第一特征点集的步骤包括：
将所述人脸区域图像缩放成不同尺度；以及
对于每一尺度的人脸区域图像，使用离线训练后的特征点分类器检测所述第一特征点的位置和尺寸。
13.如权利要求11所述的系统，其中，在所述计算机程序指令被所述处理器运行时所执行的检测所述第一特征点集的步骤包括：
将所述人脸区域图像与不同尺度的高斯核进行卷积处理，以得到相应的不同尺度的高斯图像；
将相邻尺度的高斯图像进行差分处理，以得到高斯差分图像；
确定每个高斯差分图像中的极值点，其中，所述极值点的值大于其在所述高斯差分图像中的相邻点的值，并且大于其在相邻尺度的高斯差分图像中的相邻点的值；以及
如果所述极值点大于第二预定阈值，则将所述极值点确定为所述第一特征点。
14.如权利要求10所述的系统，其中，在所述计算机程序指令被所述处理器运行时所执行的提取第一描述算子的步骤包括：
对于每个第一特征点，以所述第一特征点为预定参照点而进行归一化处理，以获得特征点区域图像；以及
对于所述特征点区域图像，使用离线训练后的描述算子提取器获取所述第一特征点的第一描述算子。
15.如权利要求10所述的系统，其中，在所述计算机程序指令被所述处理器运行时所执行的提取第一描述算子的步骤包括：
对于每个第一特征点，以所述第一特征点为预定参照点而确定特征点区域；
将所述特征点区域划分为多个子区域，并计算每个子区域的梯度信息；
基于所述梯度信息，计算每个子区域的多维梯度直方图；以及
将落入所述多维梯度直方图的每一维的点数连接成特征向量，以得到所述第一特征点的第一描述算子。
16.如权利要求10所述的系统，在所述计算机程序指令被所述处理器运行时还执行以下步骤：
获取所述注册图像；
检测所述注册图像中表示所述注册图像的细节特征的第二特征点集；
提取描述所述第二特征点集中每个第二特征点的特征信息的第二描述算子；以及
存储所述第二描述算子。
17.如权利要求10所述的系统，其中，在所述计算机程序指令被所述处理器运行时所执行的计算所述匹配的特征点对的数量的步骤包括：
基于所述第一描述算子与第二描述算子，得到所述第一特征点集与所述第二特征点集中匹配的特征点对的初步匹配结果；以及
基于随机取样一致的方法，对所述初步匹配结果进行筛选，以得到所述匹配的特征点对。
18.一种计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令在被计算机运行时执行以下步骤：
获取人脸的待识别图像；
检测所述待识别图像中表示所述待识别图像的细节特征的第一特征点集；
提取描述所述第一特征点集中每个第一特征点的特征信息的第一描述算子；
获取描述第二特征点集中每个第二特征点的特征信息的第二描述算子，其中所述第二特征点集表示预先存储的注册图像的细节特征；
基于所述第一描述算子与第二描述算子，检测所述第一特征点集与所述第二特征点集中匹配的特征点对；
计算所述匹配的特征点对的数量；以及
如果所述匹配的特征点对的数量大于第一预定阈值，则将所述待识别图像识别为与所述注册图像相一致，
所述计算机程序指令在被计算机运行时还执行以下步骤：
检测用于表示所述待识别图像的结构信息的第一关键点集，
其中，检测所述第一特征点集与所述第二特征点集中匹配的特征点对的步骤包括：
基于所述第一关键点集与用于表示所述注册图像的结构信息的第二关键点集，计算所述待识别图像与所述注册图像之间的相似变换矩阵；
对于每个第一特征点，基于所述相似变换矩阵，计算所述第一特征点在所述注册图像中的待匹配区域；
计算所述第一特征点的第一描述算子与所述待匹配区域中每个第二特征点的第二描述算子之间的欧式距离；
判断最小的欧式距离与次小的欧式距离之间的比值与第三预定阈值的关系；以及
如果最小的欧式距离与次小的欧式距离之间的比值小于第三预定阈值，则将所述第一特征点与所述待匹配区域中与所述第一特征点的第一描述算子之间的欧式距离最小的第二特征点确定为匹配的特征点对，
或者，检测所述第一特征点集与所述第二特征点集中匹配的特征点对的步骤包括：
基于所述第一关键点集与用于表示所述注册图像的结构信息的第二关键点集，计算所述待识别图像与所述注册图像之间的相似变换矩阵；
对于每个第二特征点，基于所述相似变换矩阵，计算所述第二特征点在所述待识别图像中的待匹配区域；
计算所述第二特征点的第二描述算子与所述待匹配区域中每个第一特征点的第一描述算子之间的欧式距离；
判断最小的欧式距离与次小的欧式距离之间的比值与第三预定阈值的关系；以及
如果最小的欧式距离与次小的欧式距离之间的比值小于第三预定阈值，则将所述第二特征点与所述待匹配区域中与所述第二特征点的第二描述算子之间的欧式距离最小的第一特征点确定为匹配的特征点对。
19.一种用于识别人脸的设备，包括：
待识别图像获取模块，获取所述人脸的待识别图像；
第一特征点检测模块，检测所述待识别图像中表示所述待识别图像的细节特征的第一特征点集；
第一描述算子提取模块，提取描述所述第一特征点集中每个第一特征点的特征信息的第一描述算子；
第二描述算子提取模块，获取描述第二特征点集中每个第二特征点的特征信息的第二描述算子，其中所述第二特征点集表示预先存储的注册图像的细节特征；
匹配特征点对检测模块，基于所述第一描述算子与第二描述算子，检测所述第一特征点集与所述第二特征点集中匹配的特征点对；
匹配特征点对计算模块，计算所述匹配的特征点对的数量；以及
识别模块，如果所述匹配的特征点对的数量大于第一预定阈值，则将所述待识别图像识别为与所述注册图像相一致,
所述设备还包括：
关键点检测模块，检测用于表示所述待识别图像的结构信息的第一关键点集，
其中，所述匹配特征点对检测模块配置为：
基于所述第一关键点集与用于表示所述注册图像的结构信息的第二关键点集，计算所述待识别图像与所述注册图像之间的相似变换矩阵；
对于每个第一特征点，基于所述相似变换矩阵，计算所述第一特征点在所述注册图像中的待匹配区域；
计算所述第一特征点的第一描述算子与所述待匹配区域中每个第二特征点的第二描述算子之间的欧式距离；
判断最小的欧式距离与次小的欧式距离之间的比值与第三预定阈值的关系；以及
如果最小的欧式距离与次小的欧式距离之间的比值小于第三预定阈值，则将所述第一特征点与所述待匹配区域中与所述第一特征点的第一描述算子之间的欧式距离最小的第二特征点确定为匹配的特征点对，
或者，所述匹配特征点对检测模块配置为：
基于所述第一关键点集与用于表示所述注册图像的结构信息的第二关键点集，计算所述待识别图像与所述注册图像之间的相似变换矩阵；
对于每个第二特征点，基于所述相似变换矩阵，计算所述第二特征点在所述待识别图像中的待匹配区域；
计算所述第二特征点的第二描述算子与所述待匹配区域中每个第一特征点的第一描述算子之间的欧式距离；
判断最小的欧式距离与次小的欧式距离之间的比值与第三预定阈值的关系；以及
如果最小的欧式距离与次小的欧式距离之间的比值小于第三预定阈值，则将所述第二特征点与所述待匹配区域中与所述第二特征点的第二描述算子之间的欧式距离最小的第一特征点确定为匹配的特征点对。
20.如权利要求19所述的设备，其中：
所述图像的分辨率大于预定分辨率阈值。
21.如权利要求19所述的设备，还包括：
人脸检测模块，检测所述待识别图像中的人脸区域图像；
并且，所述第一特征点检测模块配置为基于所述人脸区域图像，检测所述第一特征点集。
22.如权利要求21所述的设备，其中，所述第一特征点检测模块配置为将所述人脸区域图像缩放成不同尺度；以及对于每一尺度的人脸区域图像，使用离线训练后的特征点分类器检测所述第一特征点的位置和尺寸。
23.如权利要求21所述的设备，其中，所述第一特征点检测模块配置为：
将所述人脸区域图像与不同尺度的高斯核进行卷积处理，以得到相应的不同尺度的高斯图像；
将相邻尺度的高斯图像进行差分处理，以得到高斯差分图像；
确定每个高斯差分图像中的极值点，其中，所述极值点的值大于其在所述高斯差分图像中的相邻点的值，并且大于其在相邻尺度的高斯差分图像中的相邻点的值；以及
如果所述极值点大于第二预定阈值，则将所述极值点确定为所述第一特征点。
24.如权利要求19所述的设备，其中，所述第一描述算子提取模块包括：
特征点区域图像获得模块，对于每个第一特征点，以所述第一特征点为预定参照点而进行归一化处理，以获得特征点区域图像；以及
第一描述算子获取模块，对于所述特征点区域图像，使用离线训练后的描述算子提取器获取所述第一特征点的第一描述算子。
25.如权利要求19所述的设备，其中，所述第一描述算子提取模块配置为：
对于每个第一特征点，以所述第一特征点为预定参照点而确定特征点区域；
将所述特征点区域划分为多个子区域，并计算每个子区域的梯度信息；
基于所述梯度信息，计算每个子区域的多维梯度直方图；以及
将落入所述多维梯度直方图的每一维的点数连接成特征向量，以得到所述第一特征点的第一描述算子。
26.如权利要求19所述的设备，所述第二描述算子获取模块配置为：
获取所述注册图像；
检测所述注册图像中表示所述注册图像的细节特征的第二特征点集；
提取描述所述第二特征点集中每个第二特征点的特征信息的第二描述算子；以及
存储所述第二描述算子。
27.如权利要求19所述的设备，其中，所述匹配特征点对计算模块配置为：
基于所述第一描述算子与第二描述算子，得到所述第一特征点集与所述第二特征点集中匹配的特征点对的初步匹配结果；及
基于随机取样一致的方法，对所述初步匹配结果进行筛选，以得到所述匹配的特征点对。
CN201580000324.8A 2015-03-26 2015-03-26 用于识别人脸的方法、系统和计算机程序产品 Active CN105518709B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/075140 WO2016149944A1 (zh) 2015-03-26 2015-03-26 用于识别人脸的方法、系统和计算机程序产品

Publications (2)

Publication Number Publication Date
CN105518709A CN105518709A (zh) 2016-04-20
CN105518709B true CN105518709B (zh) 2019-08-09

Family

ID=55725023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580000324.8A Active CN105518709B (zh) 2015-03-26 2015-03-26 用于识别人脸的方法、系统和计算机程序产品

Country Status (3)

Country Link
US (1) US10262190B2 (zh)
CN (1) CN105518709B (zh)
WO (1) WO2016149944A1 (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11657288B2 (en) * 2010-06-07 2023-05-23 Affectiva, Inc. Convolutional computing using multilayered analysis engine
US10614289B2 (en) * 2010-06-07 2020-04-07 Affectiva, Inc. Facial tracking with classifiers
US10262190B2 (en) * 2015-03-26 2019-04-16 Beijing Kuangshi Technology Co., Ltd. Method, system, and computer program product for recognizing face
CN106067013B (zh) * 2016-06-30 2022-04-12 美的集团股份有限公司 嵌入式系统人脸识别方法及装置
CN106250860A (zh) * 2016-08-09 2016-12-21 成都联众智科技有限公司 智能交通人脸识别方法
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN106650573B (zh) * 2016-09-13 2019-07-16 华南理工大学 一种跨年龄的人脸验证方法及系统
CN106780658B (zh) 2016-11-16 2021-03-09 北京旷视科技有限公司 人脸特征添加方法、装置及设备
CN106780662B (zh) * 2016-11-16 2020-09-18 北京旷视科技有限公司 人脸图像生成方法、装置及设备
US10453204B2 (en) * 2016-12-06 2019-10-22 Adobe Inc. Image alignment for burst mode images
CN107066965A (zh) * 2017-04-11 2017-08-18 北京汽车集团有限公司 检测交通标识的方法及装置
US10795836B2 (en) * 2017-04-17 2020-10-06 Microsoft Technology Licensing, Llc Data processing performance enhancement for neural networks using a virtualized data iterator
CN107066982A (zh) * 2017-04-20 2017-08-18 天津呼噜互娱科技有限公司 人脸特征点的识别方法和装置
CN107122751B (zh) * 2017-05-03 2020-12-29 电子科技大学 一种基于人脸对齐的人脸跟踪和人脸图像捕获方法
CN107463960A (zh) * 2017-08-07 2017-12-12 石林星 一种图像识别方法及装置
CN107633564A (zh) * 2017-08-31 2018-01-26 深圳市盛路物联通讯技术有限公司 基于图像的监控方法及物联网服务器
CN108038514A (zh) * 2017-12-27 2018-05-15 北京奇虎科技有限公司 一种用于识别图像的方法、设备和计算机程序产品
US20190205736A1 (en) * 2017-12-29 2019-07-04 Intel Corporation Compute optimization mechanism for deep neural networks
CN109993041A (zh) * 2017-12-29 2019-07-09 国民技术股份有限公司 一种识别方法、装置及计算机可读存储介质
CN108280422B (zh) * 2018-01-22 2022-06-14 百度在线网络技术（北京）有限公司 用于识别人脸的方法和装置
CN109117755B (zh) * 2018-07-25 2021-04-30 北京飞搜科技有限公司 一种人脸活体检测方法、系统和设备
CN109146852A (zh) * 2018-07-30 2019-01-04 国网江苏省电力有限公司电力科学院研究院 一种基于红外图像的瓷绝缘子串铁帽盘面边缘检测方法
CN110889867B (zh) * 2018-09-10 2022-11-04 浙江宇视科技有限公司 一种车脸受损程度检测方法及装置
CN109344732B (zh) 2018-09-10 2020-01-21 阿里巴巴集团控股有限公司 一种鉴权以及确定鉴权方式的方法、装置及电子设备
CN109325907B (zh) * 2018-09-18 2023-07-04 北京旷视科技有限公司 图像美化处理方法、装置及系统
CN109614844B (zh) * 2018-10-16 2023-01-24 创新先进技术有限公司 一种链路验证方法、装置及设备
CN109398074B (zh) * 2018-10-23 2021-02-19 湖北工业大学 一种基于人脸识别和指纹识别的油箱防盗系统及方法
CN109447023B (zh) * 2018-11-08 2020-07-03 北京奇艺世纪科技有限公司 确定图像相似度的方法、视频场景切换识别方法及装置
CN111199171B (zh) * 2018-11-19 2022-09-23 荣耀终端有限公司 一种皱纹检测方法和终端设备
CN109579847B (zh) * 2018-12-13 2022-08-16 歌尔股份有限公司 同步定位与地图构建中关键帧提取方法、装置和智能设备
CN109784220B (zh) * 2018-12-28 2022-06-17 上海依图网络科技有限公司 一种确定路人轨迹的方法及装置
CN109800664B (zh) * 2018-12-28 2024-01-12 上海依图网络科技有限公司 一种确定路人轨迹的方法及装置
CN109858464B (zh) * 2019-02-26 2021-03-23 北京旷视科技有限公司 底库数据处理方法、人脸识别方法、装置和电子设备
CN109934858B (zh) * 2019-03-13 2021-06-22 北京旷视科技有限公司 图像配准方法及装置
EP3965003A4 (en) * 2019-05-21 2022-07-06 Huawei Technologies Co., Ltd. IMAGE PROCESSING METHOD AND DEVICE
CN110414457A (zh) * 2019-08-01 2019-11-05 深圳云朵数据技术有限公司 一种用于视频监控的算力系统
CN110619598B (zh) * 2019-09-03 2023-04-18 云南白药集团健康产品有限公司 一种图像处理方法、装置及系统
CN110879972B (zh) * 2019-10-24 2022-07-26 深圳云天励飞技术有限公司 一种人脸检测方法及装置
CN111368674B (zh) * 2020-02-26 2023-09-26 中国工商银行股份有限公司 图像识别方法及装置
CN111401197B (zh) * 2020-03-10 2023-08-15 支付宝(杭州)信息技术有限公司 一种图片风险识别方法、装置及设备
WO2021214857A1 (ja) * 2020-04-21 2021-10-28 日本電気株式会社 照合装置、照合システム、照合方法、及び、照合プログラムが格納された非一時的なコンピュータ可読媒体
CN111639655B (zh) * 2020-05-20 2023-10-13 北京百度网讯科技有限公司 图像局部信息生成方法、装置、电子设备和存储介质
CN111709878B (zh) 2020-06-17 2023-06-23 北京百度网讯科技有限公司 人脸超分辨率实现方法、装置、电子设备及存储介质
CN112270372B (zh) * 2020-11-06 2023-09-29 首都师范大学 一种确定目标对象的方法、装置、计算机设备和介质
CN112507951B (zh) * 2020-12-21 2023-12-12 阿波罗智联(北京)科技有限公司 指示灯识别方法、装置、设备、路侧设备和云控平台
CN112734696B (zh) * 2020-12-24 2023-01-13 华南理工大学 基于多域特征融合的换脸视频篡改检测方法及系统
RU2765439C1 (ru) * 2021-01-14 2022-01-31 Общество с ограниченной ответственностью "Спутник" Способ распознавания лица на системах контроля и управления доступом
CN112883925B (zh) * 2021-03-23 2023-08-29 杭州海康威视数字技术股份有限公司 一种人脸图像处理方法、装置及设备
CN113191202B (zh) * 2021-04-07 2022-07-12 烟台艾睿光电科技有限公司 一种图像处理方法、装置及电子设备
CN113469040B (zh) * 2021-06-30 2023-10-24 北京市商汤科技开发有限公司 一种图像处理方法、装置、计算机设备和存储介质
CN113591921A (zh) * 2021-06-30 2021-11-02 北京旷视科技有限公司 图像识别方法及装置、电子设备、存储介质
CN113554639A (zh) * 2021-07-30 2021-10-26 徐庆 一种图像特征提取及描述符获取方法、装置及存储介质
CN115273185B (zh) * 2022-07-18 2023-04-14 广州智算信息技术有限公司 一种基于5g网络的智慧园区管理系统
CN115272302B (zh) * 2022-09-23 2023-03-14 杭州申昊科技股份有限公司 图像中零部件检测方法，零部件检测设备及系统
CN116824183B (zh) * 2023-07-10 2024-03-12 北京大学 基于多重特征描述符的图像特征匹配方法和装置
CN116612441B (zh) * 2023-07-21 2023-09-22 山东科技大学 一种基于矿井排粉图像识别的钻孔防卡方法、设备及介质
CN117011923B (zh) * 2023-10-07 2024-01-26 达文恒业科技（深圳）有限公司 一种嵌入式平板电脑数据安全保护方法及系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000088554A (ja) * 1998-09-08 2000-03-31 Nippon Telegr & Teleph Corp <Ntt> 物体の特徴点探索方法及びその処理プログラムを記録した記録媒体ならびに特徴点探索装置
US7844076B2 (en) * 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7912458B2 (en) * 2005-09-14 2011-03-22 Jumptap, Inc. Interaction analysis and prioritization of mobile content
US8279642B2 (en) * 2009-07-31 2012-10-02 Solarbridge Technologies, Inc. Apparatus for converting direct current to alternating current using an active filter to reduce double-frequency ripple power of bus waveform
US8901736B2 (en) * 2010-05-28 2014-12-02 Taiwan Semiconductor Manufacturing Company, Ltd. Strength of micro-bump joints
KR101165359B1 (ko) * 2011-02-21 2012-07-12 (주)엔써즈 이미지와 이미지 또는 이미지와 동영상 사이의 상호 관계 분석 장치 및 방법
JP5997876B2 (ja) * 2011-04-07 2016-09-28 株式会社京都製作所 電池用電極部材搬送装置およびその方法
US9561150B2 (en) * 2011-06-16 2017-02-07 Careborne, Llc Tubular crutch with a cantilever handle and key
KR101130817B1 (ko) * 2011-09-27 2012-04-16 (주)올라웍스 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US9242231B2 (en) * 2012-04-02 2016-01-26 Yeda Research And Development Co., Ltd. Metal nanoparticle deposited inorganic nanostructure hybrids, uses thereof and processes for their preparation
TWI563471B (en) * 2012-04-24 2016-12-21 Altek Corp Image processing device and processing method thereof
US20140050404A1 (en) * 2012-08-17 2014-02-20 Apple Inc. Combining Multiple Image Detectors
CN103093205B (zh) * 2013-01-21 2015-12-09 信帧电子技术（北京）有限公司 识别车标的方法
WO2014136559A1 (ja) * 2013-03-04 2014-09-12 日本電気株式会社 物品管理システム、情報処理装置およびその制御方法と制御プログラム
JP6280382B2 (ja) * 2013-03-08 2018-02-14 キヤノン株式会社 画像処理装置および画像処理方法
US9053365B2 (en) * 2013-09-16 2015-06-09 EyeVerify, Inc. Template update for biometric authentication
JP6248647B2 (ja) * 2014-01-22 2017-12-20 富士通株式会社 画像照合方法、画像処理システム、及びプログラム
CN103984920B (zh) * 2014-04-25 2017-04-12 同济大学 一种基于稀疏表示与多特征点的三维人脸识别方法
CN104240231A (zh) * 2014-07-08 2014-12-24 大连民族学院 基于局部结构二进制模式的多源图像配准
CN104200461B (zh) * 2014-08-04 2017-08-25 西安电子科技大学 基于互信息图像选块和sift特征的遥感图像配准方法
CN104182974B (zh) * 2014-08-12 2017-02-15 大连理工大学 一种基于特征点进行图像匹配的加速方法
CN104318259B (zh) * 2014-10-20 2017-08-25 北京齐尔布莱特科技有限公司 一种识别目标图片的设备、方法以及计算设备
KR102281184B1 (ko) * 2014-11-20 2021-07-23 삼성전자주식회사 영상 보정 방법 및 장치
US10262190B2 (en) * 2015-03-26 2019-04-16 Beijing Kuangshi Technology Co., Ltd. Method, system, and computer program product for recognizing face

Also Published As

Publication number Publication date
US20160371537A1 (en) 2016-12-22
US10262190B2 (en) 2019-04-16
WO2016149944A1 (zh) 2016-09-29
CN105518709A (zh) 2016-04-20

Similar Documents

Publication Publication Date Title
CN105518709B (zh) 用于识别人脸的方法、系统和计算机程序产品
CN104166841B (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN106874894B (zh) 一种基于区域全卷积神经网络的人体目标检测方法
CN108256459B (zh) 基于多摄像机融合的安检门人脸识别和人脸自动建库算法
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN108038476B (zh) 一种基于边缘检测与sift的人脸表情识别特征提取方法
CN103942577B (zh) 视频监控中基于自建立样本库及混合特征的身份识别方法
CN108334848B (zh) 一种基于生成对抗网络的微小人脸识别方法
CN101142584B (zh) 面部特征检测的方法
WO2020151489A1 (zh) 基于面部识别的活体检测的方法、电子设备和存储介质
CN105069472B (zh) 一种基于卷积神经网络自适应的车辆检测方法
CN109086718A (zh) 活体检测方法、装置、计算机设备及存储介质
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN108416336A (zh) 一种智慧社区人脸识别的方法和系统
CN103605971B (zh) 一种捕获人脸图像的方法及装置
US9330312B2 (en) Multispectral detection of personal attributes for video surveillance
CN109598234A (zh) 关键点检测方法和装置
CN109635634A (zh) 一种基于随机线性插值的行人再识别数据增强方法
CN112215043A (zh) 一种人脸活体检测方法
Hebbale et al. Real time COVID-19 facemask detection using deep learning
CN112464690A (zh) 活体识别方法、装置、电子设备及可读存储介质
CN108875509A (zh) 活体检测方法、装置和系统及存储介质
Sakthimohan et al. Detection and Recognition of Face Using Deep Learning
Das et al. Human face detection in color images using HSV color histogram and WLD
CN106943116B (zh) 一种婴幼儿视力自动检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100190 Beijing, Haidian District Academy of Sciences, South Road, No. 2, block A, No. 313

Applicant after: MEGVII INC.

Applicant after: Beijing maigewei Technology Co., Ltd.

Address before: 100190 Beijing, Haidian District Academy of Sciences, South Road, No. 2, block A, No. 313

Applicant before: MEGVII INC.

Applicant before: Beijing aperture Science and Technology Ltd.

GR01 Patent grant
GR01 Patent grant