CN109460690B - 一种用于模式识别的方法和装置 - Google Patents

一种用于模式识别的方法和装置 Download PDF

Info

Publication number
CN109460690B
CN109460690B CN201710778500.1A CN201710778500A CN109460690B CN 109460690 B CN109460690 B CN 109460690B CN 201710778500 A CN201710778500 A CN 201710778500A CN 109460690 B CN109460690 B CN 109460690B
Authority
CN
China
Prior art keywords
dimensional
face
target object
target
curved surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710778500.1A
Other languages
English (en)
Other versions
CN109460690A (zh
Inventor
石磊
潘仁林
张玮
吕士文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rainbow Software Co ltd
Original Assignee
Rainbow Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rainbow Software Co ltd filed Critical Rainbow Software Co ltd
Priority to CN201710778500.1A priority Critical patent/CN109460690B/zh
Priority to US16/115,046 priority patent/US11036968B2/en
Publication of CN109460690A publication Critical patent/CN109460690A/zh
Application granted granted Critical
Publication of CN109460690B publication Critical patent/CN109460690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明提供了一种用于模式识别的方法和装置，应用于人工智能领域，该方法包括：获取目标物体二维图像并根据所述目标物体二维图像获取所述目标物体的二维特征，并，获取目标物体三维图像并根据所述目标物体三维图像获取所述目标物体的三维特征，根据所述目标物体的二维特征和三维特征识别所述目标物体。上述方法能够使得能够减少采集目标物体的图像的限制，如，可以减少目标物体的图像在姿态、光照、表情、化妆和遮挡等方面的限制，从而提高识别目标物体的准确性，同时能够提高识别速率，减少识别时间。

Description

一种用于模式识别的方法和装置
技术领域
本发明涉及一种人工智能方法，具体地，涉及一种用于模式识别的方法和装置。
背景技术
模式识别，就是通过计算机用数学技术方法来研究模式的自动处理和判读。我们把环境与客体统称为“模式”。随着计算机技术的发展，人类有可能研究复杂的信息处理过程。信息处理过程的一个重要形式是生命体对环境及客体的识别。对人类来说，特别重要的是对光学信息(通过视觉器官来获得)和声学信息(通过听觉器官来获得)的识别。其中，通过光学信息进行识别可以包括指纹识别、人脸识别等。
其中，人脸识别是指利用人脸的视觉特征信息进行身份识别的生物特征识别技术。与其他生物特征识别技术相比，人脸识别技术具有信息丰富、非接触性、采集方式简单迅速、人机友好等优点，因而人脸识别技术，在身份认证、门禁系统、公共安全等领域具有广泛的应用前景。
通过光学信息进行识别目前主要分为二维图像识别和三维图像识别两个方向。基于二维图像的识别对于二维图像要求较高，如对二维图像中目标物体的姿态、光照情况、化妆情况、和表情等情况有比较高的要求，从而对识别准确率有影响。基于三维图像的识别相比于基于二维图像的识别，则面临计算量大，计算过程复杂导致的识别速率低等问题。
发明内容
本发明提供的一种用于模式识别的方法和装置，能够解决对获得的目标物体的图像要求较高而导致的识别准确率不高的问题。
本发明的第一方面提供一种用于模式识别的方法，所述方法包括：
获取目标物体二维图像并根据所述目标物体二维图像获取所述目标物体的二维特征，并，获取目标物体三维图像并根据所述目标物体三维图像获取所述目标物体的三维特征；
根据所述目标物体的二维特征和三维特征识别所述目标物体。
根据本发明的第一方面，在本发明的第一方面的第一可执行方式中，所述目标物体三维图像包括所述目标物体的三维曲面，所述目标物体的三维特征包括所述目标物体三维曲面的至少一条三维特征曲线；
所述至少一条三维特征曲线包括至少一个平面与所述目标物体三维曲面相交的曲线或所述平面的一部分与所述目标物体三维曲面相交的曲线，或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合，或，
所述至少一条三维特征曲线包括至少一个曲面与所述目标物体三维曲面相交的曲线或所述曲面的一部分与所述目标物体三维曲面相交的曲线，或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合。
根据本发明的第一方面的第一可执行方式，在本发明的第一方面的第二可执行方式中，所述目标物体的三维特征集中于第一区域，所述第一区域包括所述目标物体三维曲面的部分区域，且所述至少一条三维特征曲线位于所述第一区域。
根据本发明的第一方面的第一可执行方式或第一方面的第二可执行方式，在本发明的第一方面的第三可执行方式中，所述至少一个平面与所述目标物体的三维曲面的特征平面垂直，所述目标物体的三维曲面的特征平面包括目标物体的三维曲面上三个特征点所在的平面。
根据本发明的第一方面的第三可执行方式，在本发明的第一方面的第四可执行方式中，所述至少一个平面相交于第一直线，所述第一直线垂直于所述目标物体的三维曲面的特征平面。
根据本发明的第一方面的第一可执行方式到第四可执行方式中任一可执行方式，在本发明的第一方面的第五可执行方式中，在根据所述目标物体三维图像获取所述目标物体的三维特征之前，所述方法还包括：
在以所述目标物体的三维曲面上一个特征点为原点的三维坐标系下，对所述目标物体的三维曲面进行姿态调整，所述姿态调整包括下述的至少一个：
根据所述目标物体的三维曲面的特征平面的法向量进行姿态调整；以及，
选取所述目标物体的三维曲面上的两个特征点，根据所述两个特征点所在的向量进行姿态调整。
根据本发明的第一方面的第五可执行方式，在本发明的第一方面的第六可执行方式中，所述根据所述目标物体的三维曲面的特征平面的法向量进行姿态调整，包括：
确定由所述目标物体的三维曲面的特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz，所述法向量与所述Z轴正方向的夹角为锐角，将所述目标物体的三维曲面按照旋转矩阵Rz旋转；
所述根据所述两个特征点所在的向量进行姿态调整，包括:
确定所述两个特征点所在的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx，所述两个特征点所在的向量与所述X轴正方向的夹角为锐角，将所述目标物体的三维曲面按照旋转矩阵Rx旋转。
根据本发明的第一方面的第一可执行方式到第六可执行方式中任一可执行方式，在本发明的第一方面的第七可执行方式中，所述方法还包括：确定所述目标物体的至少一条三维特征曲线与物体三维图像集合中至少一个三维图像的对应的至少一条三维特征曲线之间的距离，并确定得到的所述至少一个距离的第一加权和，所述第一加权和作为所述目标物体三维图像与物体三维图像集合中至少一个三维图像的三维图像相似度。
根据本发明的第一方面的第七可执行方式，在本发明的第一方面的第八可执行方式中，所述根据所述目标物体二维图像获取所述目标物体的二维特征，包括：获取所述目标物体二维图像的二维特征以及物体二维图像集合中至少一个二维图像的二维特征；
所述方法还包括：
确定物体二维图像集合中所述至少一个二维图像的二维特征与所述目标物体二维图像的二维特征之间的距离，并确定所述至少一个距离的第二加权和，所述第二加权和作为所述目标物体二维图像与物体二维图像集合中至少一个二维图像的二维相似度。
根据本发明的第一方面的第八可执行方式，在本发明的第一方面的第九可执行方式中，所述方法还包括：
确定所述二维相似度与所述三维人脸相似度的第三加权和，所述第三加权和作为所述目标物体与物体集合中至少一个物体的相似度；
根据所述相似度识别所述物体集合中的目标物体。
根据本发明的第一方面或本发明的第一方面的第一可执行方式到第九可执行方式中任一可执行方式，在本发明的第一方面的第十可执行方式中，所述目标物体包括目标人脸，所述目标物体三维图像包括目标人脸的三维人脸曲面；
所述目标物体的三维特征包括目标人脸的至少一条三维人脸特征曲线；
所述目标人脸的至少一条三维人脸特征曲线包括至少一个平面与所述目标人脸的三维人脸曲面相交的曲线或所述平面的一部分与所述目标人脸的三维人脸曲面相交的曲线，或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合，或，所述目标人脸的至少一条三维人脸特征曲线包括至少一个曲面与所述目标人脸的三维人脸曲面相交的曲线或所述曲面的一部分与所述目标人脸的三维人脸曲面相交的曲线，或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合。
根据本发明的第一方面的第十可执行方式，在本发明的第一方面的第十一可执行方式中，所述三维人脸特征曲线位于包括鼻尖点的人脸的上半部分。
根据本发明的第一方面的第十可执行方式或本发明的第一方面的第十一可执行方式，在本发明的第一方面的第十二可执行方式中，所述至少一个平面与所述目标人脸的人脸特征平面垂直，所述目标人脸的人脸特征平面包括下述特征点中的三个点所在的平面，所述三点包括：左眼的内眼角点、左眼的外眼角点、右眼的内眼角点、以及右眼的外眼角点中的一个点或两个点；左嘴角点，以及右嘴角点中的至少一个；以及，鼻尖点。
根据本发明的第一方面的第十二可执行方式，在本发明的第一方面的第十三可执行方式中，所述至少一个平面相交于第一直线，所述第一直线垂直于所述目标人脸的人脸特征平面且所述第一直线经过所述目标人脸的鼻尖点。
根据本发明的第一方面的第十可执行方式到本发明的第一方面的第十三可执行方式中任一可执行方式，在本发明的第一方面的第十四可执行方式中，在根据所述目标物体三维图像获取所述目标物体的三维特征之前，所述方法还包括：
在以目标人脸的鼻尖点为原点的三维坐标系下，对所述目标人脸的三维人脸曲面进行姿态调整，所述姿态调整包括下述的至少一个：
根据所述目标人脸的人脸特征平面的法向量进行姿态调整；以及，
根据所述目标人脸的三维人脸曲面上的左嘴角点以及右嘴角点所确定的向量进行姿态调整。
根据本发明的第一方面的第十四可执行方式，在本发明的第一方面的第十五可执行方式中，所述根据所述目标人脸的人脸特征平面的法向量进行姿态调整，包括：
确定由所述目标人脸的人脸特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz，所述法向量与所述Z轴正方向的夹角为锐角，将所述目标人脸的三维人脸曲面按照旋转矩阵Rz旋转；
所述根据所述目标人脸的左嘴角点以及右嘴角点所确定的向量进行姿态调整，包括：
确定由所述目标人脸的左嘴角点以及右嘴角点所确定的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx，所述确定的向量与所述X轴正方向的夹角为锐角，将所述目标人脸的三维人脸曲面按照旋转矩阵Rx旋转。
根据本发明的第一方面的第十可执行方式到本发明的第一方面的第十五可执行方式任一可执行方式，在本发明的第一方面的第十六可执行方式中，所述方法还包括：确定所述目标人脸的至少一条三维人脸特征曲线与人脸集合中至少一个人脸的对应的至少一条三维人脸特征曲线之间的距离，并确定得到的所述至少一个距离的第一加权和，所述第一加权和作为所述目标人脸与人脸集合中至少一个人脸的三维人脸相似度。
根据本发明的第一方面的第十六可执行方式，在本发明的第一方面的第十七可执行方式中，所述根据所述目标物体二维图像获取所述目标物体的二维特征，包括：采用卷积神经网络模型获取所述目标人脸的二维特征以及人脸集合中至少一个人脸的二维特征；
所述方法还包括：
确定人脸集合中所述至少一个人脸的二维特征与所述目标人脸的二维特征之间的距离，并确定所述至少一个距离的第二加权和，所述第二加权和作为所述目标人脸与人脸集合中至少一个人脸的二维人脸相似度。
根据本发明的第一方面的第十七可执行方式，在本发明的第一方面的第十八可执行方式中，确定所述目标人脸的二维人脸相似度与述目标人脸的三维人脸相似度的第三加权和，所述第三加权和作为所述目标人脸与人脸集合中至少一个人脸的相似度，根据所述至少一个人脸的相似度识别所述人脸集合中的目标人脸。
根据本发明的第一方面的第一可执行方式到本发明的第一方面的第十八可执行方式中任一可执行方式，在本发明的第一方面的第十九可执行方式中，所述至少一个平面中相邻两个平面的夹角为第一角度。
根据本发明的第一方面的第十九可执行方式，在本发明的第一方面的第二十可执行方式中，所述第一角度为10度。
本发明的第二方面提供一种用于模式识别的装置，所述装置包括获取模块以及识别模块，
所述获取模块，用于获取目标物体二维图像并根据所述目标物体二维图像获取所述目标物体的二维特征，并，获取目标物体三维图像并根据所述目标物体三维图像获取所述目标物体的三维特征；
所述识别模块，用于根据所述获取模块获取的目标物体的二维特征和三维特征识别所述目标物体。
根据本发明的第二方面，在本发明的第二方面的第一可执行方式中，所述目标物体三维图像包括所述目标物体的三维曲面，所述目标物体的三维特征包括所述目标物体三维曲面的至少一条三维特征曲线；
所述至少一条三维特征曲线包括至少一个平面与所述目标物体三维曲面相交的曲线或所述平面的一部分与所述目标物体三维曲面相交的曲线，或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合，或，
所述至少一条三维特征曲线包括至少一个曲面与所述目标物体三维曲面相交的曲线或所述曲面的一部分与所述目标物体三维曲面相交的曲线，或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合。
根据本发明的第二方面的第一可执行方式，在本发明的第二方面的第二可执行方式中，所述目标物体的三维特征集中于第一区域，所述第一区域包括所述目标物体三维曲面的部分区域，且所述至少一条三维特征曲线位于所述第一区域。
根据本发明的第二方面的第一可执行方式或本发明的第二方面的第二可执行方式，在本发明的第二方面的第三可执行方式中，所述至少一个平面与所述目标物体的三维曲面的特征平面垂直，所述目标物体的三维曲面的特征平面包括目标物体的三维曲面上三个特征点所在的平面。
根据本发明的第二方面的第三可执行方式，在本发明的第二方面的第四可执行方式中，所述至少一个平面相交于第一直线，所述第一直线垂直于所述目标物体的三维曲面的特征平面。
根据本发明的第二方面的第一可执行方式到本发明的第二方面的第四可执行方式中任一可执行方式，在本发明的第二方面的第五可执行方式中，所述装置还包括姿态调整模块，
所述姿态调整模块，用于在所述获取模块根据所述目标物体三维图像获取所述目标物体的三维特征之前，在以所述目标物体的三维曲面上一个特征点为原点的三维坐标系下，对所述目标物体的三维曲面进行姿态调整，所述姿态调整模块包括下述子模块的至少一个：第一姿态调整子模块和第二姿态调整子模块；
所述第一姿态调整子模块，用于根据所述目标物体的三维曲面的特征平面的法向量进行姿态调整；以及，
所述第二姿态调整子模块，用于选取所述目标物体的三维曲面上的两个特征点，根据所述两个特征点所在的向量进行姿态调整。
根据本发明的第二方面的第五可执行方式，在本发明的第二方面的第六可执行方式中，所述第一姿态调整子模块，具体用于确定由所述目标物体的三维曲面的特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz，所述法向量与所述Z轴正方向的夹角为锐角，将所述目标物体的三维曲面按照旋转矩阵Rz旋转；
所述第二姿态调整子模块，具体用于确定所述两个特征点所在的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx，所述两个特征点所在的向量与所述X轴正方向的夹角为锐角，将所述目标物体的三维曲面按照旋转矩阵Rx旋转。
根据本发明的第二方面的第一可执行方式到本发明的第二方面的第六可执行方式中任一可执行方式，在本发明的第二方面的第七可执行方式中，所述识别模块，具体用于确定所述目标物体的至少一条三维特征曲线与物体三维图像集合中至少一个三维图像的对应的至少一条三维特征曲线之间的距离，并确定得到的所述至少一个距离的第一加权和，所述第一加权和作为所述目标物体三维图像与物体三维图像集合中至少一个三维图像的三维图像相似度。
根据本发明的第二方面的第七可执行方式，在本发明的第二方面的第八可执行方式中，所述获取模块，具体用于获取所述目标物体二维图像的二维特征以及物体二维图像集合中至少一个二维图像的二维特征；
所述识别模块，具体用于确定物体二维图像集合中所述至少一个二维图像的二维特征与所述目标物体二维图像的二维特征之间的距离，并确定所述至少一个距离的第二加权和，所述第二加权和作为所述目标物体二维图像与物体二维图像集合中至少一个二维图像的二维相似度。
根据本发明的第二方面的第八可执行方式，在本发明的第二方面的第九可执行方式中，所述识别模块，具体用于确定所述二维相似度与所述三维人脸相似度的第三加权和，所述第三加权和作为所述目标物体与物体集合中至少一个物体的相似度，根据所述相似度确定模块确定的相似度识别所述物体集合中的目标物体。
根据本发明的第二方面或本发明的第二方面的第一可执行方式到第九可执行方式中任一可执行方式，在本发明的第二方面的第十可执行方式中，所述目标物体包括目标人脸，所述目标物体三维图像包括目标人脸的三维人脸曲面；
所述目标物体的三维特征包括目标人脸的至少一条三维人脸特征曲线；
所述目标人脸的至少一条三维人脸特征曲线包括至少一个平面与所述目标人脸的三维人脸曲面相交的曲线或所述平面的一部分与所述目标人脸的三维人脸曲面相交的曲线，或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合，或，所述目标人脸的至少一条三维人脸特征曲线包括至少一个曲面与所述目标人脸的三维人脸曲面相交的曲线或所述曲面的一部分与所述目标人脸的三维人脸曲面相交的曲线，或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合。
根据本发明的第二方面的第十可执行方式，在本发明的第二方面的第十一可执行方式中，所述三维人脸特征曲线位于包括鼻尖点的人脸的上半部分。
根据本发明的第二方面的第十可执行方式或本发明的第二方面的第十一可执行方式，在本发明的第二方面的第十二可执行方式中，所述至少一个平面与所述目标人脸的人脸特征平面垂直，所述目标人脸的人脸特征平面包括下述特征点中的三个点所在的平面，所述三点包括：左眼的内眼角点、左眼的外眼角点、右眼的内眼角点、以及右眼的外眼角点中的一个点或两个点；左嘴角点，以及右嘴角点中的至少一个；以及，鼻尖点。
根据本发明的第二方面的第十二可执行方式，在本发明的第二方面的第十三可执行方式中，所述至少一个平面相交于第一直线，所述第一直线垂直于所述目标人脸的人脸特征平面且所述第一直线经过所述目标人脸的鼻尖点。
根据本发明的第二方面的第十可执行方式到本发明的第二方面的第十三可执行方式中任一可执行方式，在本发明的第二方面的第十四可执行方式中，所述装置还包括人脸姿态调整模块，
所述人脸姿态调整模块，用于在以目标人脸的鼻尖点为原点的三维坐标系下，对所述目标人脸的三维人脸曲面进行姿态调整；
所述人脸姿态调整模块包括第一人脸姿态调整模块以及第二人脸姿态调整模块，
所述第一人脸姿态调整模块，用于根据所述目标人脸的人脸特征平面的法向量进行姿态调整；
所述第二人脸姿态调整模块，用于根据所述目标人脸的三维人脸曲面上的左嘴角点以及右嘴角点所确定的向量进行姿态调整。
根据本发明的第二方面的第十四可执行方式，在本发明的第二方面的第十五可执行方式中，所述第一人脸姿态调整模块，具体用于确定由所述目标人脸的人脸特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz，所述法向量与所述Z轴正方向的夹角为锐角，将所述目标人脸的三维人脸曲面按照旋转矩阵Rz旋转；
所述第二人脸姿态调整模块，具体用于确定由所述目标人脸的左嘴角点以及右嘴角点所确定的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx，所述确定的向量与所述X轴正方向的夹角为锐角，将所述目标人脸的三维人脸曲面按照旋转矩阵Rx旋转。
根据本发明的第二方面的第十可执行方式到本发明的第二方面的第十五可执行方式中任一可执行方式，在本发明的第二方面的第十六可执行方式中，所述识别模块，具体用于确定所述目标人脸的至少一条三维人脸特征曲线与人脸集合中至少一个人脸的对应的至少一条三维人脸特征曲线之间的距离，并确定得到的所述至少一个距离的第一加权和，所述第一加权和作为所述目标人脸与人脸集合中至少一个人脸的三维人脸相似度。
根据本发明的第二方面的第十六可执行方式，在本发明的第二方面的第十七可执行方式中，所述获取模块，具体用于采用卷积神经网络模型获取所述目标人脸的二维特征以及人脸集合中至少一个人脸的二维特征；
所述识别模块，具体用于确定人脸集合中所述至少一个人脸的二维特征与所述目标人脸的二维特征之间的距离，并确定所述至少一个距离的第二加权和，所述第二加权和作为所述目标人脸与人脸集合中至少一个人脸的二维人脸相似度。
根据本发明的第二方面的第十七可执行方式，在本发明的第二方面的第十八可执行方式中，所述识别模块，具体用于确定所述目标人脸的二维人脸相似度与述目标人脸的三维人脸相似度的第三加权和，所述第三加权和作为所述目标人脸与人脸集合中至少一个人脸的相似度，具体用于根据所述至少一个人脸的相似度识别所述人脸集合中的目标人脸。
根据本发明的第二方面的第一可执行方式到本发明的第二方面的第十八可执行方式中任一可执行方式，在本发明的第二方面的第十九可执行方式中，所述至少一个平面中相邻两个平面的夹角为第一角度。
根据本发明的第二方面的第十九可执行方式，在本发明的第二方面的第二十可执行方式中，所述第一角度为10度。
本发明的第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被第一处理器执行时实现如本发明的第一方面、本发明的第一方面的第一可执行方式到本发明的第一方面的第二十可执行方式中任一可执行方式所述方法的步骤。
本发明的第四方面提供一种用于模式识别的装置，包括存储器、第二处理器以及存储在所述存储器中并可在所述第二处理器上运行的计算机程序，所述计算机程序被第二处理器执行时实现如本发明的第一方面、本发明的第一方面的第一可执行方式到本发明的第一方面的第二十可执行方式中任一可执行方式所述方法的步骤。
本发明提供的一种用于模式识别的方法和装置，能够减少采集目标物体的图像的限制，如，可以减少目标物体的图像在姿态、光照、表情、化妆和遮挡等方面的限制，从而提高识别目标物体的准确性，同时能够提高识别速率，减少识别时间。
附图说明
图1为本发明实施例一提供的一种用于模式识别的方法的流程图；
图2为本发明实施例二提供的又一种用于模式识别的方法的流程图；
图3为获取三维人脸特征曲线的方法示意图；
图4为获取的多条三维人脸特征曲线的投影图；
图5为对三维人脸曲面进行姿态调整的示意图；
图6为本发明实施例三提供的一种用于模式识别的装置结构示意图；
图7为本发明实施例四提供的又一种用于模式识别的装置结构示意图；
图8为本发明实施例五提供的再一种用于模式识别的装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细地描述。
本发明的说明书和权利要求书中上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。
其中，本发明实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或“例如”的任何实施例或设计方案不应该被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
应当说明的是，为了图示的简洁和清楚起见，附图中所示的元件没有必要按照比例进行绘制。例如，为了清楚，可以相对于其他元件，增大一些元件的尺寸。另外，在认为合适的地方，可以在附图间重复附图标记，以指示相对应或类似的元件针对这一问题。
下面结合附图1对本发明实施例一提供的一种用于模式识别的方法进行详细阐述。如图1所示，该方法包括：
步骤101，获取目标物体二维图像并根据所述目标物体二维图像获取所述目标物体的二维特征，并且，获取目标物体三维图像并根据所述目标物体三维图像获取所述目标物体的三维特征；
步骤102，根据所述目标物体的二维特征和三维特征识别所述目标物体。
可选的，所述根据所述目标物体二维图像获取所述目标物体的二维特征，包括：
可以通过深度学习的方法获取所述目标物体的二维特征，如可以采用采用卷积神经网络(Convolutional Neural Network，CNN)模型提取目标物体的二维特征。该卷积神经网络模型可以经由千万数量级的训练样本学习而来，对目标物体的不同姿态，不同光照条件、不同尺度的变化都有较好的适应能力。
可选的，目标物体三维图像可以由深度摄像装置获得，如深度摄像头，并存储在存储器中。该深度摄像装置可以配备在各种终端上，如笔记本电脑，手机，或监控摄像装置上。可选的，目标物体的二维图像和三维图像可以由同一个深度摄像装置获取，也可以由深度摄像装置获取该三维图像，由普通摄像装置(非深度摄像装置)获取该二维图像。处理器可以从存储器中获取上述二维图像和三维图像。
可选的，所述目标物体三维图像包括所述目标物体的三维曲面，所述目标物体的三维特征包括所述目标物体三维曲面的至少一条三维特征曲线。所述至少一条三维特征曲线包括至少一个平面与所述目标物体三维曲面相交的曲线或所述平面的一部分与所述目标物体三维曲面相交的曲线，或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合，或，所述至少一条三维特征曲线包括至少一个曲面与所述目标物体三维曲面相交的曲线或所述曲面的一部分与所述目标物体三维曲面相交的曲线，或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合。可选的，上述目标物体的三维曲面可能包括一些冗余图像，可以以目标物体的三维图像的近似中心点为圆心做球切割，切割后的三维图像保留目标物体的大部分特征信息。可选的，如果该目标物体的三维曲面中的一部分区域包含了该目标物体三维图像的大部分特征信息，则上述平面的一部分就是指与该部分区域相交的该部分平面，同样的，上述曲面的一部分就是指与该部分区域相交的该部分曲面。可选的，上述的至少一个曲面或所述曲面的一部分可以包括以三维图像中某特征点或近似中心点为同一个圆心的圆柱面，或同一个圆心的圆柱面的一部分，如上半部分。
可选的，上述的至少一个平面可以是均匀分布的，如所述至少一个平面中相邻两个平面的夹角为第一角度。可选的，所述第一角度为10度。该第一角度也可以其他数值，如18度。根据目标物体的三维图像的特征点的分布，上述至少一个平面也可以是不均匀分布的，即上述至少一个平面相邻两个平面的角度可以根据目标物体的三维图像的特征点的分布确定。
可选的，上述三维特征曲线包括三维特征带，该特征带可以看作由多个特征曲线组成。该三维特征带可以通过如下方法获得：确定上述的一个平面或曲面与所述目标物体三维曲面相交的曲线后，确定所述目标物体三维曲面中与该相交的曲线距离小于或等于第一阈值的点的集合，该点的集合即为该三维特征带，上述的距离可以为欧式距离或豪斯多夫距离(hausdorff距离)或测地距离(Geodesic distance)，上述的阈值可以根据目标物体的特征点的分布或特征的形状来设定，如可以为0.3。
所述目标物体的三维特征集中于第一区域，所述第一区域包括所述目标物体三维曲面的部分区域，且所述至少一条三维特征曲线位于所述第一区域。可选的，以人脸为例，可以近似认为以鼻尖点为界的人脸的上半部分包括了人脸的大部分特征，则该第一区域为以鼻尖点为界的人脸的上半部分，那么人脸的特征曲线则是在人脸的上半部分的曲线段。以树木为例，可以近似认为树冠部分包括了树木的大部分特征，则该第一区域为树冠部分或树冠加一小部分树干，那么树木的特征曲线则是在树冠或树冠加一小部分树干的三维曲面的曲线段。
可选的，所述至少一个平面与所述目标物体的三维曲面的特征平面垂直，所述目标物体的三维曲面的特征平面包括目标物体的三维曲面上三个特征点所在的平面。例如，以人脸为例，上述三个特征点可以是：左眼的内眼角点、左眼的外眼角点、右眼的内眼角点、以及右眼的外眼角点中的一个点或两个点；左嘴角点，以及右嘴角点中的至少一个；以及，鼻尖点。
那么，三个特征点所在的平面可以是左眼的内眼角点、左嘴角点，以及右嘴角点所在的平面。
可选的，所述至少一个平面相交于第一直线，所述第一直线垂直于所述目标物体的三维曲面的特征平面。可选的，根据上述目标物体的三维曲面的三维特征的分布情况，该至少一个平面也可以不相交于一个直线。如果上述目标物体的三维曲面的三维特征分布于上述第一区域，则上述至少一个平面可以相交于一个直线段。
可选的，在根据所述目标物体三维图像获取所述目标物体的三维特征之前，所述方法还包括：
在以所述目标物体的三维曲面上一个特征点为原点的三维坐标系下，对所述目标物体的三维曲面进行姿态调整，所述姿态调整包括下述的至少一个：根据所述目标物体的三维曲面的特征平面的法向量进行姿态调整；以及，选取所述目标物体的三维曲面上的两个特征点，根据所述两个特征点所在的向量进行姿态调整。
在上述三维坐标系中，Z轴的正轴方向是根据右手定则确定的。右手定则也决定三维空间中任一坐标轴的正旋转方向。要标注X、Y和Z轴的正轴方向，就将右手背对着屏幕放置，拇指即指向X轴的正方向。伸出食指和中指，食指指向Y轴的正方向，中指所指示的方向即是Z轴的正方向。
可选的，上述选取目标物体的三维曲面上的两个特征点的一个方法可以是选取该两个特征点所在的向量与所述三维坐标系的X轴的方向近似。例如，如果目标物体是人脸，则该两个特征点可以为左嘴角点和右嘴角点。该左嘴角点和右嘴角点所在的向量与三维坐标系的X轴的夹角为锐角。
可以将目标物体的三维曲面的近似中心点看作是其一个特征点，因此，该原点还可以为该目标物体的三维曲面的近似中心点。以人脸为例，该原点可以是鼻尖点，也可以是人中。
可选的，所述根据所述目标物体的三维曲面的特征平面的法向量进行姿态调整，包括：
确定由所述目标物体的三维曲面的特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz，所述法向量与所述Z轴正方向的夹角为锐角，将所述目标物体的三维曲面按照旋转矩阵Rz旋转；
所述根据所述两个特征点所在的向量进行姿态调整，包括:
确定所述两个特征点所在的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx，所述两个特征点所在的向量与所述X轴正方向的夹角为锐角，将所述目标物体的三维曲面按照旋转矩阵Rx旋转。
所述目标物体的三维曲面的特征平面的法向量可以与Z轴的正向的夹角为锐角。同样的，所述两个特征点所在的向量与X轴的正向的夹角为锐角。
可选的，本发明是根据Z轴和X轴进行旋转以进行姿态调整，本领域普通技术人员可知，也可以根据X轴和Y轴进行旋转以进行姿态调整或是根据Z轴和Y轴进行旋转以进行姿态调整，本发明不做限制。
可选的，所述方法还包括：确定所述目标物体的至少一条三维特征曲线与物体三维图像集合中至少一个三维图像的对应的至少一条三维特征曲线之间的距离，并确定得到的所述至少一个距离的第一加权和，所述第一加权和作为所述目标物体三维图像与物体三维图像集合中至少一个三维图像的三维图像相似度。
可选的，上述的对应的含义是：上述一个平面与目标物体的三维曲面的相交的特征曲线A与同一平面与物体三维图像集合中一个三维图像相交的特征曲线B是对应的，上述的三维曲线之间的距离为特征曲线A与特征曲线B的距离。该距离可以是欧式距离，也可以是豪斯多夫距离(hausdorff距离)或测地距离(Geodesic distance)。用同样的方法得到对应于不同平面的距离
Figure GDA0001410829750000132
再计算得到的至少一个距离的第一加权和
Figure GDA0001410829750000131
其中，n为上述平面的个数，wi为权重。该S3可以作为所述目标物体三维图像与物体三维图像集合中至少一个三维图像的三维图像相似度。
可选的，所述根据所述目标物体二维图像获取所述目标物体的二维特征，包括：获取所述目标物体二维图像的二维特征以及物体二维图像集合中至少一个二维图像的二维特征；所述方法还包括：确定物体二维图像集合中所述至少一个二维图像的二维特征与所述目标物体二维图像的二维特征之间的距离，并确定所述至少一个距离的第二加权和，所述第二加权和作为所述目标物体二维图像与物体二维图像集合中至少一个二维图像的二维相似度。
可选的，可以通过深度学习的方法，如使用卷积神经网络(Convolutional NeuralNetwork，CNN)来获取所述目标物体二维图像的二维特征以及物体二维图像集合中至少一个二维图像的二维特征。其中，卷积神经网络模型可以由训练样本学习而来，对一定范围内目标物体的姿态、光照、尺度等变化都有较好的适应能力。可以记得到的二维相似度为S2。上述的二维相似度S2和三维相似度S3的计算和获取的步骤没有先后顺序。
可选的，所述方法还包括：确定所述二维相似度与所述三维相似度的第三加权和，所述第三加权和作为所述目标物体与物体集合中至少一个物体的相似度，根据所述相似度识别所述物体集合中的目标物体。上述的第三加权和S＝w2S2+w3S3，其中，S2为二维相似度，S3为三维相似度，w2和w3为权值，S为所述目标物体与物体集合中至少一个物体的相似度。在一种应用中，如门禁人脸识别应用中，可以设定一个阈值，当S的值大于该阈值时，则认定目标人脸属于人脸集合，如果人脸集合为可通行的人脸集合，则门开启。在另一种应用中，可以计算目标物体与物体集合中每一个物体的相似度，选取物体集合中相似度最大的一个物体作为最终的识别结果，即该相似度最大的物体为目标物体。可选的，w2∈(0.5,1]，w3∈[0.0,0.5)，如w2＝0.6，w3＝0.4。
本发明提供的一种用于模式识别的方法，能够减少采集目标物体的图像的限制，如，可以减少目标物体的图像在姿态、光照、表情、化妆和遮挡等方面的限制，从而提高识别目标物体的准确性，同时能够提高识别速率，减少识别时间。
下面结合图2具体阐述本发明实施例二提供的一种用于模式识别的方法。在本实施例中以人脸为例详细阐述通过二维人脸图像和三维人脸图像进行人脸识别的方法。该方法包括：
步骤201，获取目标物体二维图像并根据所述目标物体二维图像获取所述目标物体的二维特征，并，获取目标物体三维图像并根据所述目标物体三维图像获取所述目标物体的三维特征，上述目标物体为目标人脸；
步骤202，根据所述目标物体的二维特征和三维特征识别所述目标物体。
所述目标物体二维图像包括目标人脸的二维人脸图像，所述目标物体三维图像包括目标人脸的三维人脸曲面。
所述目标物体的三维特征包括目标人脸的至少一条三维人脸特征曲线，所述目标人脸的至少一条三维人脸特征曲线包括至少一个平面与所述目标人脸的三维人脸曲面相交的曲线或所述平面的一部分与所述目标人脸的三维人脸曲面相交的曲线，或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合，或，所述目标人脸的至少一条三维人脸特征曲线包括至少一个曲面与所述目标人脸的三维人脸曲面相交的曲线或所述曲面的一部分与所述目标人脸的三维人脸曲面相交的曲线，或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合。如图3所示，黑色的平面即为上述的至少一个平面中的一个，该平面与图3中的人脸曲面的交线即为上述的三维人脸特征曲线。可选的，如果该目标人脸的三维人脸曲面中的一部分区域包含了该目标人脸三维图像的大部分特征信息，则上述平面的一部分就是指与该部分区域相交的该部分平面，即图3中黑色平面与三维人脸曲面相交的那部分。同样的，如果用曲面切割目标人脸的三维人脸图像的话，上述曲面的一部分就是指与该部分区域相交的该部分曲面。可选的，上述的至少一个曲面或所述曲面的一部分可以包括以三维图像中某特征点或近似中心点为同一个圆心的圆柱面，或同一个圆心的圆柱面的一部分，如上半部分。
可选的，上述的至少一个平面可以是均匀分布的，如所述至少一个平面中相邻两个平面的夹角为第一角度。可选的，所述第一角度为10度。该第一角度也可以其他数值，如18度。根据目标人脸的三维图像的特征点的分布，上述至少一个平面也可以是不均匀分布的，即上述至少一个平面相邻两个平面的角度可以根据目标人脸的三维图像的特征点的分布确定。
可选的，由于通过三维摄像装置得到的原始的三维人脸曲面包含颈部、肩膀等冗余区域，因此，所述方法还可以包括：以摄像装置得到的三维人脸曲面上的鼻尖点为中心，以第一半径为半径作球切割原始的三维人脸曲面得到上述如图3所示的三维人脸曲面，该第一半径可以根据图像大小实际情况选择，如可以是90mm。
可选的，可以通过深度学习的方法获取所述目标人脸的二维特征，如可以采用采用卷积神经网络(Convolutional Neural Network，CNN)模型提取目标人脸的二维特征。该卷积神经网络模型可以经由千万数量级的训练样本学习而来，对不同人种、不同年龄，在一定范围内对人脸的姿态、表情、光照、尺度等变化都有较好的适应能力。
可选的，目标人脸三维图像可以由深度摄像装置获得，如深度摄像头。该深度摄像装置可以配备在各种终端上，如笔记本电脑，手机，或监控摄像装置上。可选的，目标人脸二维图像和目标人脸三维图像可以由同一个深度摄像装置获取，也可以由深度摄像装置获取该三维图像，由普通摄像装置(非深度摄像装置)获取该目标人脸二维图像。
可选的，上述三维特征曲线包括三维特征带，该特征带可以看作由多个特征曲线组成。该三维特征带可以通过如下方法获得：确定上述的一个平面或曲面与所述目标物体三维曲面相交的曲线后，确定所述目标人脸三维曲面中与该相交的曲线距离小于或等于第一阈值的点的集合，该点的集合即为该三维特征带，上述的距离可以为欧式距离或豪斯多夫距离(hausdorff距离)或测地距离(Geodesic distance)，上述的阈值可以根据目标物体的特征点的分布或特征的形状来设定，如可以为0.3。
可选的，就人脸来说，可以近似认为以鼻尖点为界的人脸的上半部分包括了人脸的大部分特征，所述三维人脸特征曲线位于包括鼻尖点的人脸的上半部分。那么，人脸的特征曲线则是在人脸的上半部分的曲线段，如图4所示，图4中的直线段则为上述曲线段的投影。同时，图4也示出了上文提到的所述至少一个平面的投影，由图可知，与上述目标人脸的三维人脸曲面相交的平面共有19个，而且相邻平面间的角度为18度，则图4中的目标人脸的特征曲线有19条。
可选的，所述至少一个平面与所述目标人脸的人脸特征平面垂直，所述目标人脸的人脸特征平面包括下述特征点中的三个点所在的平面，所述三点包括：左眼的内眼角点、左眼的外眼角点、右眼的内眼角点、以及右眼的外眼角点中的一个点或两个点；左嘴角点，以及右嘴角点中的至少一个；以及，鼻尖点。举例来说，所述目标人脸的人脸特征平面可以为左眼的内眼角点、左嘴角点，以及右嘴角点所在的平面。
可选的，所述至少一个平面相交于第一直线，所述第一直线垂直于所述目标人脸的人脸特征平面且所述第一直线经过所述目标人脸的鼻尖点。如图4所示，该第一直线的投影为所述至少一个平面的投影所相交的点。
上述的得到目标人脸的三维人脸特征曲线的方法不仅很好地保留了人脸大部分几何信息，而且大大简化了记录目标人脸的三维人脸曲面的数据量。
可选的，在根据所述目标物体三维图像获取所述目标物体的三维特征之前，所述方法还包括：
在以目标人脸的鼻尖点为原点的三维坐标系下，对所述目标人脸的三维人脸曲面进行姿态调整，所述姿态调整包括下述的至少一个：根据所述目标人脸的人脸特征平面的法向量进行姿态调整；以及，根据所述目标人脸的三维人脸曲面上的左嘴角点以及右嘴角点所确定的向量进行姿态调整。
所述根据所述目标人脸的人脸特征平面的法向量进行姿态调整，包括：确定由所述目标人脸的人脸特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz，所述法向量与所述Z轴正方向的夹角为锐角，将所述目标人脸的三维人脸曲面按照旋转矩阵Rz旋转。
所述根据所述目标人脸的左嘴角点以及右嘴角点所确定的向量进行姿态调整，包括：确定由所述目标人脸的左嘴角点以及右嘴角点所确定的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx，所述确定的向量与所述X轴正方向的夹角为锐角，将所述目标人脸的三维人脸曲面按照旋转矩阵Rx旋转。
具体的，将获得的原始的三维人脸曲面以鼻尖点为中心、第一半径为半径做球切割后切割掉包含颈部、肩膀等冗余区域后得到待姿态调整的三维人脸曲面，之后对该待姿态调整的三维人脸曲面做姿态调整。
首先，如图5所示，将该待姿态调整的三维人脸曲面平移到以鼻尖点为原点的坐标系下。在上述三维坐标系中，Z轴的正轴方向是根据右手定则确定的。右手定则也决定三维空间中任一坐标轴的正旋转方向。要标注X、Y和Z轴的正轴方向，就将右手背对着屏幕放置，拇指即指向X轴的正方向。伸出食指和中指，食指指向Y轴的正方向，中指所指示的方向即是Z轴的正方向。可选的，该原点的选取可以是鼻尖点，也可以是人中，即也可以将该待姿态调整的三维人脸曲面平移到以人中为原点的坐标系下。
然后，确定目标人脸的人脸特征平面的法向量。该人脸特征平面可以为右眼的内眼角点、左嘴角点以及右嘴角点所在的平面，该法向量与上述三维坐标系的Z轴正方向的夹角为锐角，计算将该法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz，将所述目标人脸的三维人脸曲面按照旋转矩阵Rz旋转。同样的，确定左嘴角点以及右嘴角点所在的向量，所述左嘴角点以及右嘴角点所在的向量与上述三维坐标系的X轴正方向的夹角为锐角，计算将该左嘴角点以及右嘴角点所在的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx，将所述目标人脸的三维人脸曲面按照旋转矩阵Rx旋转。可选的，也可以先按照Rx将目标人脸的三维人脸曲面进行旋转，再按照Rz将目标人脸的三维人脸曲面进行旋转。
可选的，本发明实施例是根据Z轴和X轴进行旋转以进行姿态调整，本领域普通技术人员可知，也可以根据X轴和Y轴进行旋转以进行姿态调整或是根据Z轴和Y轴进行旋转以进行姿态调整，本发明不做限制，并且先后两次旋转的先后顺序本发明也不做限制。
可选的，所述方法还包括：确定所述目标人脸的至少一条三维人脸特征曲线与人脸集合中至少一个人脸的对应的至少一条三维人脸特征曲线之间的距离，并确定得到的所述至少一个距离的第一加权和，所述第一加权和作为所述目标人脸与人脸集合中至少一个人脸的三维人脸相似度。
具体的，在得到19条目标人脸的三维特征曲线之后，使用上述的同样的方法得到人脸集合中人脸A的19条三维特征曲线。分别计算所述目标人脸的三维特征曲线与人脸集合中的人脸A对应的三维特征曲线之间的距离，可以得到的该距离值有19个，计算这19个距离值的第一加权和，将该第一加权和作为该目标人脸与该人脸A的三维人脸相似度。详细地，上述的对应的含义是：上述一个平面A与目标人脸的三维人脸曲面的相交得到的特征曲线A与同一平面A与人脸集合中的人脸A相交得到的特征曲线B是对应的，上述的三维人脸曲线之间的距离为特征曲线A与特征曲线B的距离。该距离可以是欧式距离，也可以是豪斯多夫距离(hausdorff距离)或测地距离(Geodesic distance)。用同样的方法得到对应于不同平面的19个距离
Figure GDA0001410829750000171
再计算得到的19个距离的第一加权和
Figure GDA0001410829750000172
其中，n为上述平面的个数，wi(i＝1,2,3,…,19)为权重。该S3可以作为所述目标人脸的三维人脸曲面与人脸集合中该人脸A的三维人脸相似度。
可选的，所述根据所述目标物体二维图像获取所述目标物体的二维特征，包括：采用卷积神经网络模型获取所述目标人脸的二维特征以及人脸集合中至少一个人脸的二维特征；所述方法还包括：确定人脸集合中所述至少一个人脸的二维特征与所述目标人脸的二维特征之间的距离，并确定所述至少一个距离的第二加权和，所述第二加权和作为所述目标人脸与人脸集合中至少一个人脸的二维人脸相似度。
具体的，可以通过深度学习的方法，如使用卷积神经网络(Convolutional NeuralNetwork，CNN)来获取所述目标人脸二维图像的二维特征以及人脸集合中的人脸A二维图像的二维特征。其中，卷积神经网络模型可以由训练样本学习而来，对一定范围内目标物体的姿态、光照、尺度等变化都有较好的适应能力。可以记得到的二维相似度为S2。上述的二维人脸相似度S2和三维人脸相似度S3的计算和获取的步骤没有先后顺序。
可选的，所述方法还包括：确定所述目标人脸的二维人脸相似度与述目标人脸的三维人脸相似度的第三加权和，所述第三加权和作为所述目标人脸与人脸集合中至少一个人脸的相似度，根据所述至少一个人脸的相似度识别所述人脸集合中的目标人脸。
具体的，上述的第三加权和S＝w2S2+w3S3，其中，S2为目标人脸与人脸A的二维相似度，S3为目标人脸与人脸A的三维相似度，w2和w3为权值，S为所述目标人脸与人脸A的相似度。在一种应用中，如门禁人脸识别应用中，可以设定一个阈值，当S的值大于该阈值时，则认定目标人脸即为人脸A，如果人脸A属于可通行的人脸集合，则门开启。在另一种应用中，可以计算目标人脸与人集合中每一个人脸的相似度，选取人脸集合中相似度最大的人脸作为最终的识别结果，即目标人脸为该相似度最大的人脸。可选的，w2∈(0.5,1]，w3∈[0.0,0.5)，如w2＝0.6，w3＝0.4。
本发明提供的一种用于模式识别的方法，能够减少采集目标物体的图像的限制，如，可以减少目标物体的图像在姿态、光照、表情、化妆和遮挡等方面的限制，从而提高识别目标物体的准确性，同时能够提高识别速率，减少识别时间。
下面结合图6具体描述本发明实施例三提供的一种用于模式识别的装置，可以参考方法实施例一中的描述，该装置可以配备在各种终端上，如笔记本电脑，手机，或监控摄像装置上。该装置600包括获取模块601以及识别模块602，
所述获取模块601，用于获取目标物体二维图像并根据所述目标物体二维图像获取所述目标物体的二维特征，并，获取目标物体三维图像并根据所述目标物体三维图像获取所述目标物体的三维特征；
所述识别模块602，用于根据所述获取模块获取的目标物体的二维特征和三维特征识别所述目标物体。
可选的，该获取模块601可以通过深度学习的方法获取所述目标物体的二维特征，如可以采用采用卷积神经网络(Convolutional Neural Network，CNN)模型提取目标物体的二维特征。该卷积神经网络模型可以经由千万数量级的训练样本学习而来，对目标物体的不同姿态，不同光照条件、不同尺度的变化都有较好的适应能力。
具体的，该获取模块601可以包括一个深度摄像装置，该深度摄像装置可以获取目标物体的二维图像和三维图像。该获取模块601还可以包括深度摄像装置以及普通摄像装置，由深度摄像装置获取该三维图像，由普通摄像装置(非深度摄像装置)获取该二维图像。该获取模块601也可以为处理器，该处理器可以从存储器中获取上述二维图像和三维图像。
可选的，所述目标物体三维图像包括所述目标物体的三维曲面，所述目标物体的三维特征包括所述目标物体三维曲面的至少一条三维特征曲线。所述至少一条三维特征曲线包括至少一个平面与所述目标物体三维曲面相交的曲线或所述平面的一部分与所述目标物体三维曲面相交的曲线，或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合，或，所述至少一条三维特征曲线包括至少一个曲面与所述目标物体三维曲面相交的曲线或所述曲面的一部分与所述目标物体三维曲面相交的曲线，或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合。可选的，上述目标物体的三维曲面可能包括一些冗余图像，可以以目标物体的三维图像的近似中心点为圆心做球切割，切割后的三维图像保留目标物体的大部分特征信息。可选的，如果该目标物体的三维曲面中的一部分区域包含了该目标物体三维图像的大部分特征信息，则上述平面的一部分就是指与该部分区域相交的该部分平面，同样的，上述曲面的一部分就是指与该部分区域相交的该部分曲面。可选的，上述的至少一个曲面或所述曲面的一部分可以包括以三维图像中某特征点或近似中心点为同一个圆心的圆柱面，或同一个圆心的圆柱面的一部分，如上半部分。
可选的，上述的至少一个平面可以是均匀分布的，如所述至少一个平面中相邻两个平面的夹角为第一角度。可选的，所述第一角度为10度。该第一角度也可以其他数值，如18度。根据目标物体的三维图像的特征点的分布，上述至少一个平面也可以是不均匀分布的，即上述至少一个平面相邻两个平面的角度可以根据目标物体的三维图像的特征点的分布确定。
可选的，上述三维特征曲线包括三维特征带，该特征带可以看作由多个特征曲线组成。该三维特征带可以通过如下方法获得：确定上述的一个平面或曲面与所述目标物体三维曲面相交的曲线后，确定所述目标物体三维曲面中与该相交的曲线距离小于或等于第一阈值的点的集合，该点的集合即为该三维特征带，上述的距离可以为欧式距离或豪斯多夫距离(hausdorff距离)或测地距离(Geodesic distance)，上述的阈值可以根据目标物体的特征点的分布或特征的形状来设定，如可以为0.3。
所述目标物体的三维特征集中于第一区域，所述第一区域包括所述目标物体三维曲面的部分区域，且所述至少一条三维特征曲线位于所述第一区域。可选的，以人脸为例，可以近似认为以鼻尖点为界的人脸的上半部分包括了人脸的大部分特征，则该第一区域为以鼻尖点为界的人脸的上半部分，那么人脸的特征曲线则是在人脸的上半部分的曲线段。以树木为例，可以近似认为树冠部分包括了树木的大部分特征，则该第一区域为树冠部分或树冠加一小部分树干，那么树木的特征曲线则是在树冠或树冠加一小部分树干的三维曲面的曲线段。
可选的，所述至少一个平面与所述目标物体的三维曲面的特征平面垂直，所述目标物体的三维曲面的特征平面包括目标物体的三维曲面上三个特征点所在的平面。例如，以人脸为例，上述三个特征点可以是：左眼的内眼角点、左眼的外眼角点、右眼的内眼角点、以及右眼的外眼角点中的一个点或两个点；左嘴角点，以及右嘴角点中的至少一个；以及，鼻尖点。
那么，三个特征点所在的平面可以是左眼的内眼角点、左嘴角点，以及右嘴角点所在的平面。
可选的，所述至少一个平面相交于第一直线，所述第一直线垂直于所述目标物体的三维曲面的特征平面。可选的，根据上述目标物体的三维曲面的三维特征的分布情况，该至少一个平面也可以不相交于一个直线。如果上述目标物体的三维曲面的三维特征分布于上述第一区域，则上述至少一个平面可以相交于一个直线段。
所述装置还包括姿态调整模块，所述姿态调整模块，用于在所述获取模块根据所述目标物体三维图像获取所述目标物体的三维特征之前，在以所述目标物体的三维曲面上一个特征点为原点的三维坐标系下，对所述目标物体的三维曲面进行姿态调整，所述姿态调整模块包括下述子模块的至少一个：第一姿态调整子模块和第二姿态调整子模块；
所述第一姿态调整子模块，用于根据所述目标物体的三维曲面的特征平面的法向量进行姿态调整；以及，
所述第二姿态调整子模块，用于选取所述目标物体的三维曲面上的两个特征点，根据所述两个特征点所在的向量进行姿态调整。
在上述三维坐标系中，Z轴的正轴方向是根据右手定则确定的。右手定则也决定三维空间中任一坐标轴的正旋转方向。要标注X、Y和Z轴的正轴方向，就将右手背对着屏幕放置，拇指即指向X轴的正方向。伸出食指和中指，食指指向Y轴的正方向，中指所指示的方向即是Z轴的正方向。
可选的，上述选取目标物体的三维曲面上的两个特征点的一个方法可以是选取该两个特征点所在的向量与所述三维坐标系的X轴的方向近似。例如，如果目标物体是人脸，则该两个特征点可以为左嘴角点和右嘴角点。该左嘴角点和右嘴角点所在的向量与三维坐标系的X轴的夹角为锐角。
可以将目标物体的三维曲面的近似中心点看作是其一个特征点，因此，该原点还可以为该目标物体的三维曲面的近似中心点。以人脸为例，该原点可以是鼻尖点，也可以是人中。
所述第一姿态调整子模块，具体用于确定由所述目标物体的三维曲面的特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz，所述法向量与所述Z轴正方向的夹角为锐角，将所述目标物体的三维曲面按照旋转矩阵Rz旋转；
所述第二姿态调整子模块，具体用于确定所述两个特征点所在的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx，所述两个特征点所在的向量与所述X轴正方向的夹角为锐角，将所述目标物体的三维曲面按照旋转矩阵Rx旋转。
可选的，本发明是根据Z轴和X轴进行旋转以进行姿态调整，本领域普通技术人员可知，也可以根据X轴和Y轴进行旋转以进行姿态调整或是根据Z轴和Y轴进行旋转以进行姿态调整，本发明不做限制。
所述识别模块602，具体用于确定所述目标物体的至少一条三维特征曲线与物体三维图像集合中至少一个三维图像的对应的至少一条三维特征曲线之间的距离，并确定得到的所述至少一个距离的第一加权和，所述第一加权和作为所述目标物体三维图像与物体三维图像集合中至少一个三维图像的三维图像相似度。
可选的，上述的对应的含义是：上述一个平面与目标物体的三维曲面的相交的特征曲线A与同一平面与物体三维图像集合中一个三维图像相交的特征曲线B是对应的，上述的三维曲线之间的距离为特征曲线A与特征曲线B的距离。该距离可以是欧式距离，也可以是豪斯多夫距离(hausdorff距离)或测地距离(Geodesic distance)。用同样的方法得到对应于不同平面的距离
Figure GDA0001410829750000211
再计算得到的至少一个距离的第一加权和
Figure GDA0001410829750000212
其中，n为上述平面的个数，wi为权重。该S3可以作为所述目标物体三维图像与物体三维图像集合中至少一个三维图像的三维图像相似度。
所述获取模块601，具体用于获取所述目标物体二维图像的二维特征以及物体二维图像集合中至少一个二维图像的二维特征；
所述识别模块602，具体用于确定物体二维图像集合中所述至少一个二维图像的二维特征与所述目标物体二维图像的二维特征之间的距离，并确定所述至少一个距离的第二加权和，所述第二加权和作为所述目标物体二维图像与物体二维图像集合中至少一个二维图像的二维相似度。
可选的，可以通过深度学习的方法，如使用卷积神经网络(Convolutional NeuralNetwork，CNN)来获取所述目标物体二维图像的二维特征以及物体二维图像集合中至少一个二维图像的二维特征。其中，卷积神经网络模型可以由训练样本学习而来，对一定范围内目标物体的姿态、光照、尺度等变化都有较好的适应能力。可以记得到的二维相似度为S2。上述的二维相似度S2和三维相似度S3的计算和获取的步骤没有先后顺序。
所述识别模块，具体用于确定所述二维相似度与所述三维人脸相似度的第三加权和，所述第三加权和作为所述目标物体与物体集合中至少一个物体的相似度，根据所述相似度确定模块确定的相似度识别所述物体集合中的目标物体。上述的第三加权和S＝w2S2+w3S3，其中，S2为二维相似度，S3为三维相似度，w2和w3为权值，S为所述目标物体与物体集合中至少一个物体的相似度。在一种应用中，如门禁人脸识别应用中，可以设定一个阈值，当S的值大于该阈值时，则认定目标人脸属于人脸集合，如果人脸集合为可通行的人脸集合，则门开启。在另一种应用中，可以计算目标物体与物体集合中每一个物体的相似度，选取物体集合中相似度最大的一个物体作为最终的识别结果，即该相似度最大的物体为目标物体。可选的，w2∈(0.5,1]，w3∈[0.0,0.5)，如w2＝0.6，w3＝0.4。
下面具体阐述上述装置600用于人脸识别的功能与结构，可以参考方法实施例2中的描述。
所述目标物体包括目标人脸，所述目标物体三维图像包括目标人脸的三维人脸曲面。
所述目标物体的三维特征包括目标人脸的至少一条三维人脸特征曲线。
所述目标人脸的至少一条三维人脸特征曲线包括至少一个平面与所述目标人脸的三维人脸曲面相交的曲线或所述平面的一部分与所述目标人脸的三维人脸曲面相交的曲线，或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合，或，所述目标人脸的至少一条三维人脸特征曲线包括至少一个曲面与所述目标人脸的三维人脸曲面相交的曲线或所述曲面的一部分与所述目标人脸的三维人脸曲面相交的曲线，或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合。如图3所示，黑色的平面即为上述的至少一个平面中的一个，该平面与图3中的人脸曲面的交线即为上述的三维人脸特征曲线。可选的，如果该目标人脸的三维人脸曲面中的一部分区域包含了该目标人脸三维图像的大部分特征信息，则上述平面的一部分就是指与该部分区域相交的该部分平面，即图3中黑色平面与三维人脸曲面相交的那部分。同样的，如果用曲面切割目标人脸的三维人脸图像的话，上述曲面的一部分就是指与该部分区域相交的该部分曲面。可选的，上述的至少一个曲面或所述曲面的一部分可以包括以三维图像中某特征点或近似中心点为同一个圆心的圆柱面，或同一个圆心的圆柱面的一部分，如上半部分。
可选的，上述的至少一个平面可以是均匀分布的，如所述至少一个平面中相邻两个平面的夹角为第一角度。可选的，所述第一角度为10度。该第一角度也可以其他数值，如18度。根据目标人脸的三维图像的特征点的分布，上述至少一个平面也可以是不均匀分布的，即上述至少一个平面相邻两个平面的角度可以根据目标人脸的三维图像的特征点的分布确定。
可选的，由于通过获取模块601中的三维摄像装置得到的原始的三维人脸曲面包含颈部、肩膀等冗余区域，因此，所述装置还可以包括原始三维人脸曲面处理模块，所述原始三维人脸曲面处理模块用于：以摄像装置得到的三维人脸曲面上的鼻尖点为中心，以第一半径为半径作球切割原始的三维人脸曲面得到上述如图3所示的三维人脸曲面，该第一半径可以根据图像大小实际情况选择，如可以是90mm。
可选的，可以通过深度学习的方法获取所述目标人脸的二维特征，如可以采用采用卷积神经网络(Convolutional Neural Network，CNN)模型提取目标人脸的二维特征。该卷积神经网络模型可以经由千万数量级的训练样本学习而来，对不同人种、不同年龄，在一定范围内对人脸的姿态、表情、光照、尺度等变化都有较好的适应能力。
可选的，目标人脸三维图像可以由获取模块601中的深度摄像装置获得，如深度摄像头。该深度摄像装置可以配备在各种终端上，如笔记本电脑，手机，或监控摄像装置上。具体的，该获取模块601可以包括一个深度摄像装置，该深度摄像装置可以获取目标物体的二维图像和三维图像。该获取模块601还可以包括深度摄像装置以及普通摄像装置，由深度摄像装置获取该三维图像，由普通摄像装置(非深度摄像装置)获取该二维图像。
可选的，上述三维特征曲线包括三维特征带，该特征带可以看作由多个特征曲线组成。该三维特征带可以通过如下方法获得：确定上述的一个平面或曲面与所述目标物体三维曲面相交的曲线后，确定所述目标人脸三维曲面中与该相交的曲线距离小于或等于第一阈值的点的集合，该点的集合即为该三维特征带，上述的距离可以为欧式距离或豪斯多夫距离(hausdorff距离)或测地距离(Geodesic distance)，上述的阈值可以根据目标物体的特征点的分布或特征的形状来设定，如可以为0.3。
可选的，就人脸来说，可以近似认为以鼻尖点为界的人脸的上半部分包括了人脸的大部分特征，所述三维人脸特征曲线位于包括鼻尖点的人脸的上半部分。那么，人脸的特征曲线则是在人脸的上半部分的曲线段，如图4所示，图4中的直线段则为上述曲线段的投影。同时，图4也示出了上文提到的所述至少一个平面的投影，由图可知，与上述目标人脸的三维人脸曲面相交的平面共有19个，而且相邻平面间的角度为18度，则图4中的目标人脸的特征曲线有19条。
可选的，所述至少一个平面与所述目标人脸的人脸特征平面垂直，所述目标人脸的人脸特征平面包括下述特征点中的三个点所在的平面，所述三点包括：左眼的内眼角点、左眼的外眼角点、右眼的内眼角点、以及右眼的外眼角点中的一个点或两个点；左嘴角点，以及右嘴角点中的至少一个；以及，鼻尖点。举例来说，所述目标人脸的人脸特征平面可以为左眼的内眼角点、左嘴角点，以及右嘴角点所在的平面。
可选的，所述至少一个平面相交于第一直线，所述第一直线垂直于所述目标人脸的人脸特征平面且所述第一直线经过所述目标人脸的鼻尖点。如图4所示，该第一直线的投影为所述至少一个平面的投影所相交的点。
上述的得到目标人脸的三维人脸特征曲线的方法不仅很好地保留了人脸大部分几何信息，而且大大简化了记录目标人脸的三维人脸曲面的数据量。
可选的，所述装置还包括人脸姿态调整模块，所述人脸姿态调整模块，用于在以目标人脸的鼻尖点为原点的三维坐标系下，对所述目标人脸的三维人脸曲面进行姿态调整。
所述人脸姿态调整模块包括第一人脸姿态调整模块以及第二人脸姿态调整模块，所述第一人脸姿态调整模块，用于根据所述目标人脸的人脸特征平面的法向量进行姿态调整。
所述第二人脸姿态调整模块，用于根据所述目标人脸的三维人脸曲面上的左嘴角点以及右嘴角点所确定的向量进行姿态调整。
所述第一人脸姿态调整模块，具体用于确定由所述目标人脸的人脸特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz，所述法向量与所述Z轴正方向的夹角为锐角，将所述目标人脸的三维人脸曲面按照旋转矩阵Rz旋转；
所述第二人脸姿态调整模块，具体用于确定由所述目标人脸的左嘴角点以及右嘴角点所确定的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx，所述确定的向量与所述X轴正方向的夹角为锐角，将所述目标人脸的三维人脸曲面按照旋转矩阵Rx旋转。
具体的，所述获取模块601用于将获得的原始的三维人脸曲面以鼻尖点为中心、第一半径为半径做球切割后切割掉包含颈部、肩膀等冗余区域后得到待姿态调整的三维人脸曲面，之后由所述人脸姿态调整模块对该待姿态调整的三维人脸曲面做姿态调整。
所述人脸姿态调整模块包括平移子模块，所述平移子模块用于将该待姿态调整的三维人脸曲面平移到以鼻尖点为原点的坐标系下。在上述三维坐标系中，Z轴的正轴方向是根据右手定则确定的。右手定则也决定三维空间中任一坐标轴的正旋转方向。要标注X、Y和Z轴的正轴方向，就将右手背对着屏幕放置，拇指即指向X轴的正方向。伸出食指和中指，食指指向Y轴的正方向，中指所指示的方向即是Z轴的正方向。可选的，该原点的选取可以是鼻尖点，也可以是人中，即也可以将该待姿态调整的三维人脸曲面平移到以人中为原点的坐标系下。
上述所述第一人脸姿态调整模块确定的人脸特征平面可以为右眼的内眼角点、左嘴角点以及右嘴角点所在的平面，该法向量与上述三维坐标系的Z轴正方向的夹角为锐角。所述第一人脸姿态调整模块计算将该法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz，将所述目标人脸的三维人脸曲面按照旋转矩阵Rz旋转。上述第二人脸姿态调整模块确定左嘴角点以及右嘴角点所在的向量，所述左嘴角点以及右嘴角点所在的向量与上述三维坐标系的X轴正方向的夹角为锐角，计算将该左嘴角点以及右嘴角点所在的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx，将所述目标人脸的三维人脸曲面按照旋转矩阵Rx旋转。可选的，也可以先按照Rx将目标人脸的三维人脸曲面进行旋转，再按照Rz将目标人脸的三维人脸曲面进行旋转。
可选的，本发明实施例是根据Z轴和X轴进行旋转以进行姿态调整，本领域普通技术人员可知，也可以根据X轴和Y轴进行旋转以进行姿态调整或是根据Z轴和Y轴进行旋转以进行姿态调整，本发明不做限制，并且先后两次旋转的先后顺序本发明也不做限制。
所述识别模块，具体用于确定所述目标人脸的至少一条三维人脸特征曲线与人脸集合中至少一个人脸的对应的至少一条三维人脸特征曲线之间的距离，并确定得到的所述至少一个距离的第一加权和，所述第一加权和作为所述目标人脸与人脸集合中至少一个人脸的三维人脸相似度。具体的，在获取模块601得到19条目标人脸的三维特征曲线之后，使用上述的同样的方法得到人脸集合中人脸A的19条三维特征曲线。所述识别模块602分别计算所述目标人脸的三维特征曲线与人脸集合中的人脸A对应的三维特征曲线之间的距离，可以得到的该距离值有19个，计算这19个距离值的第一加权和，将该第一加权和作为该目标人脸与该人脸A的三维人脸相似度。详细地，上述的对应的含义是：上述一个平面A与目标人脸的三维人脸曲面的相交得到的特征曲线A与同一平面A与人脸集合中的人脸A相交得到的特征曲线B是对应的，上述的三维人脸曲线之间的距离为特征曲线A与特征曲线B的距离。该距离可以是欧式距离，也可以是豪斯多夫距离(hausdorff距离)或测地距离(Geodesicdistance)。用同样的方法得到对应于不同平面的19个距离
Figure GDA0001410829750000251
再计算得到的19个距离的第一加权和
Figure GDA0001410829750000252
其中，n为上述平面的个数，wi(i＝1,2,3,…,19)为权重。该S3可以作为所述目标人脸的三维人脸曲面与人脸集合中该人脸A的三维人脸相似度。
所述获取模块601，具体用于采用卷积神经网络模型获取所述目标人脸的二维特征以及人脸集合中至少一个人脸的二维特征，所述识别模块602，具体用于确定人脸集合中所述至少一个人脸的二维特征与所述目标人脸的二维特征之间的距离，并确定所述至少一个距离的第二加权和，所述第二加权和作为所述目标人脸与人脸集合中至少一个人脸的二维人脸相似度。
具体的，所述识别模块可以通过深度学习的方法，如使用卷积神经网络(Convolutional Neural Network，CNN)来获取所述目标人脸二维图像的二维特征以及人脸集合中的人脸A二维图像的二维特征。其中，卷积神经网络模型可以由训练样本学习而来，对一定范围内目标物体的姿态、光照、尺度等变化都有较好的适应能力。可以记得到的二维相似度为S2。上述的二维人脸相似度S2和三维人脸相似度S3的计算和获取的步骤没有先后顺序。
所述识别模块，具体用于确定所述目标人脸的二维人脸相似度与述目标人脸的三维人脸相似度的第三加权和，所述第三加权和作为所述目标人脸与人脸集合中至少一个人脸的相似度，具体用于根据所述至少一个人脸的相似度识别所述人脸集合中的目标人脸。具体的，上述的第三加权和S＝w2S2+w3S3，其中，S2为目标人脸与人脸A的二维相似度，S3为目标人脸与人脸A的三维相似度，w2和w3为权值，S为所述目标人脸与人脸A的相似度。在一种应用中，如门禁人脸识别应用中，可以设定一个阈值，当S的值大于该阈值时，则认定目标人脸即为人脸A，如果人脸A属于可通行的人脸集合，则门开启。在另一种应用中，可以计算目标人脸与人集合中每一个人脸的相似度，选取人脸集合中相似度最大的人脸作为最终的识别结果，即目标人脸为该相似度最大的人脸。可选的，w2∈(0.5,1]，w3∈[0.0,0.5)，如w2＝0.6，w3＝0.4。
本发明提供的一种用于模式识别装置，能够减少采集目标物体的图像的限制，如，可以减少目标物体的图像在姿态、光照、表情、化妆和遮挡等方面的限制，从而提高识别目标物体的准确性，同时能够提高识别速率，减少识别时间。
下面结合图7具体描述本发明实施例四提供的一种用于模式识别的装置700，该装置包括一种计算机可读存储介质701，所述计算机可读存储介质701存储有计算机程序，所述计算机程序被第一处理器702执行时实现如实施例一或二所述方法的步骤。如图7所示，可选的，该装置700可以包括总线。
本发明提供的一种用于模式识别装置，能够减少采集目标物体的图像的限制，如，可以减少目标物体的图像在姿态、光照、表情、化妆和遮挡等方面的限制，从而提高识别目标物体的准确性，同时能够提高识别速率，减少识别时间。
下面结合图8具体描述本发明实施例五提供的一种用于模式识别的装置800，该装置包括存储器801、第二处理器802以及存储在所述存储器801中并可在所述第二处理器802上运行的计算机程序，所述计算机程序被第二处理器802执行时实现如实施例一或二所述方法的步骤。可选的，如图所示，该装置800还包括总线。
本发明提供的一种用于模式识别装置，能够减少采集目标物体的图像的限制，如，可以减少目标物体的图像在姿态、光照、表情、化妆和遮挡等方面的限制，从而提高识别目标物体的准确性，同时能够提高识别速率，减少识别时间。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述装置/终端设备中的执行过程。
所述装置/终端设备可以是手机、平板电脑、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述装置/终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，本发明的示意图仅仅是装置/终端设备的示例，并不构成对装置/终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述装置/终端设备还可以包括输入输出设备、网络接入设备、总线等。
上述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述装置/终端设备的控制中心，利用各种接口和线路连接整个装置/终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述装置/终端设备的各种功能。所述存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
上述各个实施例中的目标物体的成像可以目标物体的局部成像，也可以整体成像。无论是局部成像，或整体成像都适用或对局部成像，或整体成像相应做出调整后适用本发明提供的方法或装置，上述调整本领域普通技术人员不需要付出创造性劳动，应属于本发明的保护范围。

Claims (38)

1.一种用于模式识别的方法，其特征在于，所述方法包括：
获取目标物体二维图像并根据所述目标物体二维图像获取所述目标物体的二维特征，并，
获取目标物体三维图像并根据所述目标物体三维图像获取所述目标物体的三维特征；
根据所述目标物体的二维特征和三维特征识别所述目标物体；
其中，所述目标物体三维图像包括所述目标物体的三维曲面，所述目标物体的三维特征包括所述目标物体三维曲面的至少一条三维特征曲线；
所述至少一条三维特征曲线包括至少一个平面的一部分与所述目标物体三维曲面相交的曲线，或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合，其中，上述所述至少一个平面中相邻两个平面的夹角为第一角度，所述第一角度根据所述目标物体三维图像的特征点的分布确定，或，
所述至少一条三维特征曲线包括至少一个曲面与所述目标物体三维曲面相交的曲线或所述曲面的一部分与所述目标物体三维曲面相交的曲线，或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合；
所述方法还包括：
确定所述目标物体的至少一条三维特征曲线与物体三维图像集合中至少一个三维图像的对应的至少一条三维特征曲线之间的距离，并确定得到的所述至少一个距离的第一加权和，所述第一加权和作为所述目标物体三维图像与物体三维图像集合中至少一个三维图像的三维图像相似度。
2.根据权利要求1所述的方法，其特征在于，
所述目标物体的三维特征集中于第一区域，所述第一区域包括所述目标物体三维曲面的部分区域，且所述至少一条三维特征曲线位于所述第一区域。
3.根据权利要求1所述的方法，其特征在于，
所述至少一个平面与所述目标物体的三维曲面的特征平面垂直，所述目标物体的三维曲面的特征平面包括目标物体的三维曲面上三个特征点所在的平面。
4.根据权利要求3所述的方法，其特征在于，
所述至少一个平面相交于第一直线，所述第一直线垂直于所述目标物体的三维曲面的特征平面。
5.根据权利要求3所述的方法，其特征在于，在根据所述目标物体三维图像获取所述目标物体的三维特征之前，所述方法还包括：
在以所述目标物体的三维曲面上一个特征点为原点的三维坐标系下，对所述目标物体的三维曲面进行姿态调整，所述姿态调整包括下述的至少一个：
根据所述目标物体的三维曲面的特征平面的法向量进行姿态调整；以及，
选取所述目标物体的三维曲面上的两个特征点，根据所述两个特征点所在的向量进行姿态调整。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标物体的三维曲面的特征平面的法向量进行姿态调整，包括：
确定由所述目标物体的三维曲面的特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz，所述法向量与所述Z轴正方向的夹角为锐角，将所述目标物体的三维曲面按照旋转矩阵Rz旋转；
所述根据所述两个特征点所在的向量进行姿态调整，包括:
确定所述两个特征点所在的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx，所述两个特征点所在的向量与所述X轴正方向的夹角为锐角，将所述目标物体的三维曲面按照旋转矩阵Rx旋转。
7.根据权利要求1所述的方法，其特征在于，所述根据所述目标物体二维图像获取所述目标物体的二维特征，包括：
获取所述目标物体二维图像的二维特征以及物体二维图像集合中至少一个二维图像的二维特征；
所述方法还包括：
确定物体二维图像集合中所述至少一个二维图像的二维特征与所述目标物体二维图像的二维特征之间的距离，并确定所述至少一个距离的第二加权和，所述第二加权和作为所述目标物体二维图像与物体二维图像集合中至少一个二维图像的二维相似度。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
确定所述二维相似度与所述三维人脸相似度的第三加权和，所述第三加权和作为所述目标物体与物体集合中至少一个物体的相似度；
根据所述相似度识别所述物体集合中的目标物体。
9.根据权利要求1所述的方法，其特征在于，
所述目标物体包括目标人脸，所述目标物体三维图像包括目标人脸的三维人脸曲面；
所述目标物体的三维特征包括目标人脸的至少一条三维人脸特征曲线；
所述目标人脸的至少一条三维人脸特征曲线包括至少一个平面与所述目标人脸的三维人脸曲面相交的曲线或所述平面的一部分与所述目标人脸的三维人脸曲面相交的曲线，或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合，或，
所述目标人脸的至少一条三维人脸特征曲线包括至少一个曲面与所述目标人脸的三维人脸曲面相交的曲线或所述曲面的一部分与所述目标人脸的三维人脸曲面相交的曲线，或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合。
10.根据权利要求9所述的方法，其特征在于，
所述三维人脸特征曲线位于包括鼻尖点的人脸的上半部分。
11.根据权利要求9所述的方法，其特征在于，
所述至少一个平面与所述目标人脸的人脸特征平面垂直，所述目标人脸的人脸特征平面包括下述特征点中的三个点所在的平面，所述三点包括：
左眼的内眼角点、左眼的外眼角点、右眼的内眼角点、以及右眼的外眼角点中的一个点或两个点；
左嘴角点，以及右嘴角点中的至少一个；以及，
鼻尖点。
12.根据权利要求11所述的方法，其特征在于，
所述至少一个平面相交于第一直线，所述第一直线垂直于所述目标人脸的人脸特征平面且所述第一直线经过所述目标人脸的鼻尖点。
13.根据权利要求12所述的方法，其特征在于，在根据所述目标物体三维图像获取所述目标物体的三维特征之前，所述方法还包括：
在以目标人脸的鼻尖点为原点的三维坐标系下，对所述目标人脸的三维人脸曲面进行姿态调整，所述姿态调整包括下述的至少一个：
根据所述目标人脸的人脸特征平面的法向量进行姿态调整；以及，
根据所述目标人脸的三维人脸曲面上的左嘴角点以及右嘴角点所确定的向量进行姿态调整。
14.根据权利要求13所述的方法，其特征在于，所述根据所述目标人脸的人脸特征平面的法向量进行姿态调整，包括：
确定由所述目标人脸的人脸特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz，所述法向量与所述Z轴正方向的夹角为锐角，将所述目标人脸的三维人脸曲面按照旋转矩阵Rz旋转；
根据所述目标人脸的左嘴角点以及右嘴角点所确定的向量进行姿态调整，包括：
确定由所述目标人脸的左嘴角点以及右嘴角点所确定的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx，所述确定的向量与所述X轴正方向的夹角为锐角，将所述目标人脸的三维人脸曲面按照旋转矩阵Rx旋转。
15.根据权利要求9所述的方法，其特征在于，所述方法还包括：
确定所述目标人脸的至少一条三维人脸特征曲线与人脸集合中至少一个人脸的对应的至少一条三维人脸特征曲线之间的距离，并确定得到的所述至少一个距离的第一加权和，所述第一加权和作为所述目标人脸与人脸集合中至少一个人脸的三维人脸相似度。
16.根据权利要求15所述的方法，其特征在于，所述根据所述目标物体二维图像获取所述目标物体的二维特征，包括：
采用卷积神经网络模型获取所述目标人脸的二维特征以及人脸集合中至少一个人脸的二维特征；
所述方法还包括：
确定人脸集合中所述至少一个人脸的二维特征与所述目标人脸的二维特征之间的距离，并确定所述至少一个距离的第二加权和，所述第二加权和作为所述目标人脸与人脸集合中至少一个人脸的二维人脸相似度。
17.根据权利要求16所述的方法，其特征在于，所述方法还包括：
确定所述目标人脸的二维人脸相似度与述目标人脸的三维人脸相似度的第三加权和，所述第三加权和作为所述目标人脸与人脸集合中至少一个人脸的相似度；
根据所述至少一个人脸的相似度识别所述人脸集合中的目标人脸。
18.根据权利要求1所述的方法，其特征在于，
所述第一角度为10度。
19.一种用于模式识别的装置，其特征在于，所述装置包括获取模块以及识别模块，
所述获取模块，用于获取目标物体二维图像并根据所述目标物体二维图像采用卷积神经网络获取所述目标物体的二维特征，并，获取目标物体三维图像并根据所述目标物体三维图像获取所述目标物体的三维特征；
所述识别模块，用于根据所述获取模块获取的目标物体的二维特征和三维特征识别所述目标物体；
其中，所述获取模块还包括：
所述目标物体三维图像包括所述目标物体的三维曲面，所述目标物体的三维特征包括所述目标物体三维曲面的至少一条三维特征曲线；
所述至少一条三维特征曲线包括至少一个平面的一部分与所述目标物体三维曲面相交的曲线，或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合，其中，所述至少一个平面中相邻两个平面的夹角为第一角度，所述第一角度根据所述目标物体三维图像的特征点的分布确定，或，
所述至少一条三维特征曲线包括至少一个曲面与所述目标物体三维曲面相交的曲线或所述曲面的一部分与所述目标物体三维曲面相交的曲线，或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合；
所述识别模块，具体用于确定所述目标物体的至少一条三维特征曲线与物体三维图像集合中至少一个三维图像的对应的至少一条三维特征曲线之间的距离，并确定得到的所述至少一个距离的第一加权和，所述第一加权和作为所述目标物体三维图像与物体三维图像集合中至少一个三维图像的三维图像相似度。
20.根据权利要求19所述的装置，其特征在于，
所述目标物体的三维特征集中于第一区域，所述第一区域包括所述目标物体三维曲面的部分区域，且所述至少一条三维特征曲线位于所述第一区域。
21.根据权利要求19所述的装置，其特征在于，
所述至少一个平面与所述目标物体的三维曲面的特征平面垂直，所述目标物体的三维曲面的特征平面包括目标物体的三维曲面上三个特征点所在的平面。
22.根据权利要求21所述的装置，其特征在于，
所述至少一个平面相交于第一直线，所述第一直线垂直于所述目标物体的三维曲面的特征平面。
23.根据权利要求21所述的装置，其特征在于，所述装置还包括姿态调整模块，
所述姿态调整模块，用于在所述获取模块根据所述目标物体三维图像获取所述目标物体的三维特征之前，在以所述目标物体的三维曲面上一个特征点为原点的三维坐标系下，对所述目标物体的三维曲面进行姿态调整，所述姿态调整模块包括下述子模块的至少一个：第一姿态调整子模块和第二姿态调整子模块；
所述第一姿态调整子模块，用于根据所述目标物体的三维曲面的特征平面的法向量进行姿态调整；以及，
所述第二姿态调整子模块，用于选取所述目标物体的三维曲面上的两个特征点，根据所述两个特征点所在的向量进行姿态调整。
24.根据权利要求22所述的装置，其特征在于，
所述第一姿态调整子模块，具体用于确定由所述目标物体的三维曲面的特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz，所述法向量与所述Z轴正方向的夹角为锐角，将所述目标物体的三维曲面按照旋转矩阵Rz旋转；
所述第二姿态调整子模块，具体用于确定所述两个特征点所在的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx，所述两个特征点所在的向量与所述X轴正方向的夹角为锐角，将所述目标物体的三维曲面按照旋转矩阵Rx旋转。
25.根据权利要求19所述的装置，其特征在于，
所述获取模块，具体用于获取所述目标物体二维图像的二维特征以及物体二维图像集合中至少一个二维图像的二维特征；
所述识别模块，具体用于确定物体二维图像集合中所述至少一个二维图像的二维特征与所述目标物体二维图像的二维特征之间的距离，并确定所述至少一个距离的第二加权和，所述第二加权和作为所述目标物体二维图像与物体二维图像集合中至少一个二维图像的二维相似度。
26.根据权利要求25所述的装置，其特征在于，
所述识别模块，具体用于确定所述二维相似度与所述三维人脸相似度的第三加权和，所述第三加权和作为所述目标物体与物体集合中至少一个物体的相似度，根据所述相似度确定模块确定的相似度识别所述物体集合中的目标物体。
27.根据权利要求19所述的装置，其特征在于，
所述目标物体包括目标人脸，所述目标物体三维图像包括目标人脸的三维人脸曲面；
所述目标物体的三维特征包括目标人脸的至少一条三维人脸特征曲线；
所述目标人脸的至少一条三维人脸特征曲线包括至少一个平面与所述目标人脸的三维人脸曲面相交的曲线或所述平面的一部分与所述目标人脸的三维人脸曲面相交的曲线，或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合，或，
所述目标人脸的至少一条三维人脸特征曲线包括至少一个曲面与所述目标人脸的三维人脸曲面相交的曲线或所述曲面的一部分与所述目标人脸的三维人脸曲面相交的曲线，或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合。
28.根据权利要求27所述的装置，其特征在于，
所述三维人脸特征曲线位于包括鼻尖点的人脸的上半部分。
29.根据权利要求27所述的装置，其特征在于，
所述至少一个平面与所述目标人脸的人脸特征平面垂直，所述目标人脸的人脸特征平面包括下述特征点中的三个点所在的平面，所述三点包括：
左眼的内眼角点、左眼的外眼角点、右眼的内眼角点、以及右眼的外眼角点中的一个点或两个点；
左嘴角点，以及右嘴角点中的至少一个；以及，
鼻尖点。
30.根据权利要求29所述的装置，其特征在于，
所述至少一个平面相交于第一直线，所述第一直线垂直于所述目标人脸的人脸特征平面且所述第一直线经过所述目标人脸的鼻尖点。
31.根据权利要求30所述的装置，其特征在于，所述装置还包括人脸姿态调整模块，
所述人脸姿态调整模块，用于在以目标人脸的鼻尖点为原点的三维坐标系下，对所述目标人脸的三维人脸曲面进行姿态调整；
所述人脸姿态调整模块包括第一人脸姿态调整模块以及第二人脸姿态调整模块，
所述第一人脸姿态调整模块，用于根据所述目标人脸的人脸特征平面的法向量进行姿态调整；
所述第二人脸姿态调整模块，用于根据所述目标人脸的三维人脸曲面上的左嘴角点以及右嘴角点所确定的向量进行姿态调整。
32.根据权利要求31所述的装置，其特征在于，
所述第一人脸姿态调整模块，具体用于确定由所述目标人脸的人脸特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz，所述法向量与所述Z轴正方向的夹角为锐角，将所述目标人脸的三维人脸曲面按照旋转矩阵Rz旋转；
所述第二人脸姿态调整模块，具体用于确定由所述目标人脸的左嘴角点以及右嘴角点所确定的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx，所述确定的向量与所述X轴正方向的夹角为锐角，将所述目标人脸的三维人脸曲面按照旋转矩阵Rx旋转。
33.根据权利要求27所述的装置，其特征在于，
所述识别模块，具体用于确定所述目标人脸的至少一条三维人脸特征曲线与人脸集合中至少一个人脸的对应的至少一条三维人脸特征曲线之间的距离，并确定得到的所述至少一个距离的第一加权和，所述第一加权和作为所述目标人脸与人脸集合中至少一个人脸的三维人脸相似度。
34.根据权利要求33所述的装置，其特征在于，
所述获取模块，具体用于采用卷积神经网络模型获取所述目标人脸的二维特征以及人脸集合中至少一个人脸的二维特征；
所述识别模块，具体用于确定人脸集合中所述至少一个人脸的二维特征与所述目标人脸的二维特征之间的距离，并确定所述至少一个距离的第二加权和，所述第二加权和作为所述目标人脸与人脸集合中至少一个人脸的二维人脸相似度。
35.根据权利要求34所述的装置，其特征在于，
所述识别模块，具体用于确定所述目标人脸的二维人脸相似度与述目标人脸的三维人脸相似度的第三加权和，所述第三加权和作为所述目标人脸与人脸集合中至少一个人脸的相似度，具体用于根据所述至少一个人脸的相似度识别所述人脸集合中的目标人脸。
36.根据权利要求19所述的装置，其特征在于，
所述第一角度为10度。
37.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被第一处理器执行时实现如权利要求1-19任一权利要求所述方法的步骤。
38.一种用于模式识别的装置，包括存储器、第二处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被第二处理器执行时实现如权利要求1-18任一权利要求所述方法的步骤。
CN201710778500.1A 2017-09-01 2017-09-01 一种用于模式识别的方法和装置 Active CN109460690B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710778500.1A CN109460690B (zh) 2017-09-01 2017-09-01 一种用于模式识别的方法和装置
US16/115,046 US11036968B2 (en) 2017-09-01 2018-08-28 Method and apparatus for pattern recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710778500.1A CN109460690B (zh) 2017-09-01 2017-09-01 一种用于模式识别的方法和装置

Publications (2)

Publication Number Publication Date
CN109460690A CN109460690A (zh) 2019-03-12
CN109460690B true CN109460690B (zh) 2022-10-14

Family

ID=65605731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710778500.1A Active CN109460690B (zh) 2017-09-01 2017-09-01 一种用于模式识别的方法和装置

Country Status (2)

Country Link
US (1) US11036968B2 (zh)
CN (1) CN109460690B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065460B (zh) * 2021-03-31 2022-04-29 吉林农业大学 基于多任务级联的猪脸面部表情识别框架的建立方法
CN113673374B (zh) * 2021-08-03 2024-01-30 支付宝(杭州)信息技术有限公司 一种面部识别方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246875A (zh) * 2013-05-09 2013-08-14 东南大学 一种基于面部曲线弹性匹配的三维人脸识别方法
CN104134188A (zh) * 2014-07-29 2014-11-05 湖南大学 一种基于二维和三维摄像机融合的三维视觉信息获取方法
CN106909873A (zh) * 2016-06-21 2017-06-30 湖南拓视觉信息技术有限公司 人脸识别的方法和装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100554991B1 (ko) * 2002-09-17 2006-02-24 샤프 가부시키가이샤 2ｄ(2차원) 및 3ｄ(3차원)표시 기능을 구비하는 전자 기기
JP4093833B2 (ja) * 2002-09-25 2008-06-04 シャープ株式会社 電子機器
US20050276452A1 (en) * 2002-11-12 2005-12-15 Boland James M 2-D to 3-D facial recognition system
JP4645411B2 (ja) * 2005-10-28 2011-03-09 コニカミノルタホールディングス株式会社 認証システム、登録システム及びプログラム
US8130225B2 (en) * 2007-01-16 2012-03-06 Lucasfilm Entertainment Company Ltd. Using animation libraries for object identification
KR100991804B1 (ko) * 2008-06-10 2010-11-04 유한회사 마스터이미지쓰리디아시아 이동 기기용 입체영상생성칩 및 이를 이용한입체영상표시방법
JP4856293B2 (ja) * 2010-04-23 2012-01-18 パナソニック株式会社 撮像装置及び画像復元方法
US10109065B2 (en) * 2011-01-25 2018-10-23 Qualcomm Incorporated Using occlusions to detect and track three-dimensional objects
US9292963B2 (en) * 2011-09-28 2016-03-22 Qualcomm Incorporated Three-dimensional object model determination using a beacon
US20140101611A1 (en) * 2012-10-08 2014-04-10 Vringo Lab, Inc. Mobile Device And Method For Using The Mobile Device
CN105091847B (zh) * 2014-04-16 2017-12-29 联想(北京)有限公司 一种测量距离的方法及电子设备
CN105096377B (zh) * 2014-05-14 2019-03-19 华为技术有限公司 一种图像处理方法和装置
US9880447B2 (en) * 2016-06-27 2018-01-30 Google Llc Camera module assembly with movable reflective elements
TWI636395B (zh) * 2016-11-10 2018-09-21 財團法人金屬工業研究發展中心 基於深度值之手勢操作方法及其系統
US10489878B2 (en) * 2017-05-15 2019-11-26 Google Llc Configurable and programmable image processor unit
US11146775B2 (en) * 2017-11-07 2021-10-12 Symbol Technologies, Llc Methods and apparatus for dimensioning an object using proximate devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246875A (zh) * 2013-05-09 2013-08-14 东南大学 一种基于面部曲线弹性匹配的三维人脸识别方法
CN104134188A (zh) * 2014-07-29 2014-11-05 湖南大学 一种基于二维和三维摄像机融合的三维视觉信息获取方法
CN106909873A (zh) * 2016-06-21 2017-06-30 湖南拓视觉信息技术有限公司 人脸识别的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"三维人脸姿态校正算法研究";顾亦然 等;《仪器仪表学报》;20101031;第2291-2295页 *

Also Published As

Publication number Publication date
US11036968B2 (en) 2021-06-15
CN109460690A (zh) 2019-03-12
US20200160037A1 (en) 2020-05-21

Similar Documents

Publication Publication Date Title
CN110675487B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN110321795B (zh) 用户姿态识别方法、装置、计算机装置及计算机存储介质
CN110728196B (zh) 一种人脸识别的方法、装置及终端设备
CN111091075B (zh) 人脸识别方法、装置、电子设备及存储介质
CN109948397A (zh) 一种人脸图像校正方法、系统及终端设备
US20120147167A1 (en) Facial recognition using a sphericity metric
CN109063678B (zh) 脸部图像识别的方法、装置及存储介质
CN111062328B (zh) 一种图像处理方法、装置及智能机器人
CN107944435A (zh) 一种三维人脸识别方法、装置及处理终端
CN112651380A (zh) 人脸识别方法、人脸识别装置、终端设备及存储介质
CN110852310A (zh) 三维人脸识别方法、装置、终端设备及计算机可读介质
CN109937434A (zh) 图像处理方法、装置、终端和存储介质
CN111754391A (zh) 人脸转正方法、设备及计算机可读存储介质
WO2021127916A1 (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN109460690B (zh) 一种用于模式识别的方法和装置
CN113298158A (zh) 数据检测方法、装置、设备及存储介质
CN112912889B (zh) 图像模板的更新方法、设备及存储介质
WO2020199498A1 (zh) 指静脉比对方法、装置、计算机设备及存储介质
CN111353325A (zh) 关键点检测模型训练方法及装置
CN116309643A (zh) 人脸遮挡分确定方法、电子设备及介质
CN116129504A (zh) 一种活体检测模型训练方法和活体检测方法
CN112949518B (zh) 虹膜图像处理方法、装置、设备及存储介质
CN112183155B (zh) 动作姿态库建立、动作姿态生成、识别方法及装置
CN114049674A (zh) 一种三维人脸重建方法、装置及存储介质
CN111222448A (zh) 图像转换方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: 310000 Building 22 and 23 of Paradise Software Park A, No. 3 Xidoumen Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant after: Rainbow Software Co.,Ltd.

Address before: 310000 Room B, 20th Building, Building A, Paradise Software Park, No. 3 Xidoumen Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant before: ArcSoft (Hangzhou) Multimedia Technology Co.,Ltd.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 19th Floor, No. 392, Binxing Road, Binjiang District, Hangzhou City, Zhejiang Province, 310052 (Hongsoft Building)

Applicant after: Rainbow Software Co.,Ltd.

Address before: 310000 Building 22 and 23 of Paradise Software Park A, No. 3 Xidoumen Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant before: Rainbow Software Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310052 19th Floor, No. 392, Binxing Road, Changhe Street, Binjiang District, Hangzhou City, Zhejiang Province (Hongsoft Building)

Applicant after: Rainbow Software Co.,Ltd.

Address before: 19th Floor, No. 392, Binxing Road, Binjiang District, Hangzhou City, Zhejiang Province, 310052 (Hongsoft Building)

Applicant before: Rainbow Software Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant