CN112163456A - 身份识别模型训练方法、测试方法、识别方法及装置 - Google Patents

身份识别模型训练方法、测试方法、识别方法及装置 Download PDF

Info

Publication number
CN112163456A
CN112163456A CN202010883587.0A CN202010883587A CN112163456A CN 112163456 A CN112163456 A CN 112163456A CN 202010883587 A CN202010883587 A CN 202010883587A CN 112163456 A CN112163456 A CN 112163456A
Authority
CN
China
Prior art keywords
feature vector
set dimension
face
iris
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010883587.0A
Other languages
English (en)
Other versions
CN112163456B (zh
Inventor
张慧
刘京
梁桓伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Irisking Science & Technology Co ltd
Original Assignee
Beijing Irisking Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Irisking Science & Technology Co ltd filed Critical Beijing Irisking Science & Technology Co ltd
Priority to CN202010883587.0A priority Critical patent/CN112163456B/zh
Publication of CN112163456A publication Critical patent/CN112163456A/zh
Application granted granted Critical
Publication of CN112163456B publication Critical patent/CN112163456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供了一种身份识别模型训练方法、测试方法、识别方法及装置，其中，该训练方法包括：将覆盖眼周区域的脸部图像、相对于虹膜位置的眼周区域位置信息及相对于虹膜位置的覆盖眼周区域的脸部区域位置信息输入至深度卷积网络得到共享特征图；根据眼周、脸部区域位置信息从共享特征图扣取得到眼周、脸部特征图；将眼周特征向量输入至卷积网络得到一定维数的眼周特征向量；将脸部特征向量输入至卷积网络得到一定维数的脸部特征向量；将眼周特征向量和脸部特征向量融合后输入至全连接层，得到一定维数的融合特征向量；计算各特征向量对应的相似度，并根据相似度计算损失进行模型训练，得到身份识别模型。通过上述方案能够提高身份识别的性能。

Description

身份识别模型训练方法、测试方法、识别方法及装置
技术领域
本发明涉及图像处理领域，尤其涉及一种身份识别模型训练方法、测试方法、识别方法及装置。
背景技术
虹膜是人眼中瞳孔与巩膜中间的环形区域，对于每个个体来说都是独一无二的，而且虹膜具有可靠性、鲁棒性与高区分性。虹膜识别的优势促使它成为身份识别领域中重要识别手段。
但是，虹膜图像需要特定的设备采集，而且虹膜识别的性能受许多方面的影响，比如，由于成像设备的不同，虹膜图像的质量会有好坏之分，由于采集时候人眼的运动，采集的虹膜图像会有不同程度的运动模糊，在受到不同强度的光照刺激时，人眼的瞳孔会放大或者缩小，造成虹膜大小不一，而且利用主动光源进行虹膜成像，在虹膜或者眼镜的镜片上会呈现较大的光板，造成虹膜遮挡。在非约束环境下，虹膜图像的采集合格率也会大幅降低，严重影响了虹膜识别系统的性能。
另外，由于人脸信息丰富，所以通过人脸识别也能够进行身份识别。但是，戴口罩等情况下进行人脸识别是比较困难的，因为部分人脸识别性能没有全人脸识别性能高。而且，眼周信息没有人脸信息那样丰富，也没有虹膜信息那样稳定。眼周信息容易受到不同设备光源的照射、化妆、戴眼镜与老化等因素的影响。而且，眼周识别性能不高，单一的眼周识别容易出现误识误拒。
发明内容
有鉴于此，本发明提供了一种身份识别模型训练方法、测试方法、识别方法及装置，以适应图像采集困难与图像质量保证困难的情况，提高身份识别的性能。
为了达到上述目的，本发明采用以下方案实现：
根据本发明实施例的一个方面，提供了一种身份识别模型训练方法，包括：
将训练样本输入至深度卷积网络得到共享特征图，其中，所述训练样本包括覆盖眼周区域的脸部图像、相对于虹膜位置的眼周区域位置信息、及相对于虹膜位置的覆盖眼周区域的脸部区域位置信息；
根据相对于虹膜位置的眼周区域位置信息从所述共享特征图扣取得到眼周特征图；根据相对于虹膜位置的覆盖眼周区域的脸部区域位置信息从所述共享特征图获取得到脸部特征图；
根据所述眼周特征图得到眼周特征向量，将所述眼周特征向量输入至第一卷积网络得到设定维数的眼周特征向量；根据所述脸部特征图得到脸部特征向量，将脸部特征向量输入至第二卷积网络得到所述设定维数的脸部特征向量；所述眼周特征图包括虹膜图像和虹膜外围眼周区域图像；
将设定维数的眼周特征向量和所述设定维数的脸部特征向量融合在一起后输入至全连接层，得到所述设定维数的融合特征向量；
计算所述设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的至少一个特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度；
根据计算得到的相似度计算相应类型特征向量的损失，并利用计算得到的损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练，得到身份识别模型。
在一些实施例中，所述深度卷积网络为Resnet网络。
在一些实施例中，所述覆盖人眼区域的人脸图像为近红外图像。
在一些实施例中，根据所述眼周特征图得到眼周特征向量，包括：
根据相对于虹膜位置的眼周区域位置信息对所述眼周特征图进行归一化；
根据归一化后的所述眼周特征图得到眼周特征向量。
在一些实施例中，根据所述脸部特征图得到脸部特征向量，包括：
根据相对于虹膜位置的覆盖眼周区域的脸部区域位置信息对所述脸部特征图进行归一化；
根据归一化后的所述脸部特征图得到脸部特征向量。
在一些实施例中，计算所述设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的至少一个特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度，包括：
分别计算所述设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中至少两个特征向量中每个特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度；
根据计算得到的相似度计算相应类型特征向量的损失，并利用计算得到的损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练，得到身份识别模型，包括：
根据所述至少两个特征向量对应的相似度得到相应的损失，将所述至少两个特征向量中的各特征向量对应的损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练；
对训练后的初始模型对应的各损失加权求和得到总损失，在总损失小于或等于设定误差阈值的情况下，根据训练后的初始模型得到身份识别模型。
在一些实施例中，根据所述至少两个特征向量对应的相似度得到相应的损失，将所述至少两个特征向量中的各特征向量对应的损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练，包括：
根据所述至少两个特征向量对应的相似度得到相应的损失，将所述至少两个特征向量中的各特征向量对应的损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练，并在训练过程中对各损失对应的权重进行自学习。
在一些实施例中，相对于虹膜位置的眼周区域位置信息包括相对于虹膜位置的左眼周区域位置信息和相对于虹膜位置的右眼周区域位置信息；
根据相对于虹膜位置的眼周区域位置信息从所述共享特征图扣取得到眼周特征图，包括：
根据相对于虹膜位置的左眼周区域位置信息从所述共享特征图扣取得到左眼周特征图，根据相对于虹膜位置的右眼周区域位置信息从所述共享特征图扣取得到右眼周特征图；其中，左眼周特征图包括左眼虹膜图像和左眼虹膜外围左眼周区域图像，右眼周特征图包括右眼虹膜图像和右眼虹膜外围右眼周区域图像；
所述第一卷积网络包括第三卷积网络和第四卷积网络；
根据所述眼周特征图得到眼周特征向量，将所述眼周特征向量输入至第一卷积网络得到设定维数的眼周特征向量，包括：
根据所述左眼周特征图得到左眼周特征向量，将所述左眼周特征向量输入至所述第三卷积网络得到设定维数的左眼周特征向量；根据所述右眼周特征图得到右眼周特征向量，将所述右眼周特征向量输入至所述第四卷积网络得到设定维数的右眼周特征向量；
将设定维数的眼周特征向量和所述设定维数的脸部特征向量融合在一起后输入至全连接层，得到所述设定维数的融合特征向量，包括：
将设定维数的左眼周特征向量、设定维数的右眼周特征向量、及所述设定维数的脸部特征向量融合在一起后输入至全连接层，得到所述设定维数的融合特征向量；
计算所述设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的至少一个特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度，包括：
计算所述设定维数的左眼周特征向量、所述设定维数的右眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的至少一个特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度。
在一些实施例中，计算所述设定维数的左眼周特征向量、所述设定维数的右眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的至少一个特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度，包括：
计算所述设定维数的左眼周特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的左眼周特征向量的第一相似度；
计算所述设定维数的右眼周特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的右眼周特征向量的第二相似度；
计算所述设定维数的脸部特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的脸部特征向量的第三相似度；
计算所述设定维数的融合特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的融合特征向量的第四相似度；
根据计算得到的相似度计算相应类型特征向量的损失，并利用计算得到的损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练，得到身份识别模型，包括：
将所述第一相似度对应的左眼周特征损失、所述第二相似度对应的右眼周特征损失、所述第三相似度对应的脸部特征损失、及所述第四相似度对应的融合特征损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练，并在训练过程中对各损失对应的权重进行自学习；
对训练后的初始模型对应的左眼周特征损失、右眼周特征损失、脸部特征损失、及融合特征损失进行权重加权求和得到总损失，在总损失小于或等于设定误差阈值的情况下，根据训练后的初始模型得到身份识别模型。
在一些实施例中，所述左眼周特征损失、所述右眼周特征损失、所述脸部特征损失、及所述融合特征损失均为insightface损失。
在一些实施例中，所述第二卷积网络、所述第三卷积网络、及所述第四卷积网络均为残差网络。
根据本发明实施例的另一个方面，还提供了一种身份识别模型测试方法，包括：
将测试样本输入至利用如上述任一实施例所述身份识别模型训练方法得到的身份识别模型，得到所述测试样本对应的身份识别结果；
根据所述测试样本对应的身份识别结果和所述测试样本对应的真实身份对象的信息的一致性得到身份识别模型的测试结果；
其中，所述测试样本包括覆盖眼周区域的脸部图像、相对于虹膜位置的眼周区域位置信息、及相对于虹膜位置的覆盖眼周区域的脸部区域位置信息；所述测试样本对应的身份识别结果是通过计算所述测试样本对应的设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的至少一个特征向量中每一个与包括所述测试样本对应的真实身份对象的多个身份对象中的每一者的覆盖眼周区域的各脸部图像对应的相应类型特征向量的相似度，并根据计算得到的相似度和所述多个身份对象的信息得到。
在一些实施例中，所述测试样本对应的身份识别结果是通过计算测试样本对应的设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的任一个特征向量与包括所述测试样本对应的真实身份对象的多个身份对象的每一者的覆盖眼周区域的各脸部图像对应的相应类型特征向量的相似度，并根据计算得到的最大相似度对应的身份对象的信息得到；或者，所述测试样本对应的身份识别结果是通过计算测试样本对应的设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的多个特征向量中每一个与包括所述测试样本对应的真实身份对象的多个身份对象的每一者的覆盖眼周区域的各脸部图像对应的相应类型特征向量的相似度，并计算所述多个特征向量各自对应同一身份对象的同一脸部图像的相似度加权求和，根据各加权求和结果和所述多个身份对象的信息得到。
根据本发明实施例的另一个方面，还提供了一种身份识别方法，包括：
将待识别对象的信息输入至利用如上述任一实施例所述身份识别模型训练方法得到的身份识别模型，得到所述待识别对象的身份识别结果；其中，所述待识别对象的信息包括覆盖眼周区域的脸部图像、相对于虹膜位置的眼周区域位置信息、及相对于虹膜位置的覆盖眼周区域的脸部区域位置信息。
在一些实施例中，将待识别对象的信息输入至利用如上述任一实施例所述身份识别模型训练方法得到的身份识别模型，得到所述待识别对象的身份识别结果之前，还包括：
获取待识别对象的覆盖眼周区域的脸部图像，并对待识别对象的脸部图像进行虹膜定位，得到待识别对象的脸部图像中的虹膜位置信息；
根据虹膜位置信息和设定眼周区域大小，得到待识别对象的相对于虹膜位置的眼周区域位置信息；根据虹膜位置信息和设定人脸区域大小，得到待识别对象的相对于虹膜位置的覆盖眼周区域的脸部区域位置信息。
在一些实施例中，将待识别对象的信息输入至利用如上述任一实施例所述身份识别模型训练方法得到的身份识别模型，得到所述待识别对象的身份识别结果之前，还包括：
对待识别对象的覆盖眼周区域的脸部图像中的虹膜图像进行质量评价，并在质量评价结果不满足设定质量要求的情况下，执行将待识别对象的信息输入至利用如上述任一实施例所述身份识别模型训练方法得到的身份识别模型，得到所述待识别对象的身份识别结果的步骤。
在一些实施例中，所述的身份识别方法，还包括：
在质量评价结果满足设定质量要求的情况下，通过对待识别对象的覆盖眼周区域的脸部图像中的虹膜图像进行虹膜识别，得到待识别对象的身份。
根据本发明实施例的另一个方面，还提供了一种身份识别装置，包括：
深度卷积网络模块，用于将待识别对象的信息输入至深度卷积网络得到共享特征图，其中，所述待识别对象的信息包括覆盖眼周区域的脸部图像、相对于虹膜位置的眼周区域位置信息、及相对于虹膜位置的覆盖眼周区域的脸部区域位置信息；
眼周特征图扣取模块，用于根据相对于虹膜位置的眼周区域位置信息从所述共享特征图扣取得到眼周特征图；所述眼周特征图包括虹膜图像和虹膜外围眼周区域图像；
脸部特征图扣取模块，用于根据相对于虹膜位置的覆盖眼周区域的脸部区域位置信息从所述共享特征图获取得到脸部特征图；
第一卷积网络模块，用于根据所述眼周特征图得到眼周特征向量，将所述眼周特征向量输入至第一卷积网络得到设定维数的眼周特征向量；
第二卷积网络模块，用于根据所述脸部特征图得到脸部特征向量，将脸部特征向量输入至第二卷积网络得到所述设定维数的脸部特征向量；
特征融合模块，用于将设定维数的眼周特征向量和所述设定维数的脸部特征向量融合在一起后输入至全连接层，得到所述设定维数的融合特征向量；
身份确定模块，用于计算所述设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的一个或多个特征向量中的每一个与多个已知身份对象中的每一者的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度，并根据计算得到的相似度和所述多个已知身份对象的信息得到待识别对象的身份识别结果。
在一些实施例中，相对于虹膜位置的眼周区域位置信息包括相对于虹膜位置的左眼周区域位置信息和相对于虹膜位置的右眼周区域位置信息；
眼周特征图扣取模块，包括：
左眼周特征图扣取模块，用于根据相对于虹膜位置的左眼周区域位置信息从所述共享特征图扣取得到左眼周特征图；左眼周特征图包括左眼虹膜图像和左眼虹膜外围左眼周区域图像；
右眼周特征图扣取模块，用于根据相对于虹膜位置的右眼周区域位置信息从所述共享特征图扣取得到右眼周特征图；右眼周特征图包括右眼虹膜图像和右眼虹膜外围右眼周区域图像；
第一卷积网络模块，包括：
第三卷积网络模块，用于根据所述左眼周特征图得到左眼周特征向量，将所述左眼周特征向量输入至所述第三卷积网络得到设定维数的左眼周特征向量；
第四卷积网络模块，用于根据所述右眼周特征图得到右眼周特征向量，将所述右眼周特征向量输入至所述第四卷积网络得到设定维数的右眼周特征向量；
特征融合模块，还用于将设定维数的左眼周特征向量、设定维数的右眼周特征向量、及所述设定维数的脸部特征向量融合在一起后输入至全连接层，得到所述设定维数的融合特征向量。
在一些实施例中，所述深度卷积网络为Resnet网络；和/或，
所述覆盖人眼区域的人脸图像为近红外图像；和/或，
所述装置，还包括：第一归一化模块，用于根据相对于虹膜位置的眼周区域位置信息对所述眼周特征图进行归一化，根据归一化后的所述眼周特征图得到眼周特征向量；和/或，
所述装置，还包括：第二归一化模块，用于根据相对于虹膜位置的覆盖眼周区域的脸部区域位置信息对所述脸部特征图进行归一化；根据归一化后的所述脸部特征图得到脸部特征向量；和/或，
所述第二卷积网络、所述第三卷积网络、及所述第四卷积网络均为残差网络；和/或，
身份确定模块，还用于计算所述设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中各特征向量与多个已知身份对象中的每一者的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度，对同一已知身份对象对应的各相似度加权求和得到总相似度，并根据最大总相似度所对应的已知身份对象的信息得到待识别对象的身份识别结果；或者，用于计算所述设定维数的融合特征向量与多个已知身份对象中的每一者的覆盖眼周区域的脸部图像对应的所述设定维数的融合特征向量的相似度，并根据最大相似度所对应的已知身份对象的信息得到待识别对象的身份识别结果。
根据本发明实施例的另一个方面，还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一实施例所述方法的步骤。
根据本发明实施例的另一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一实施例所述方法的步骤。
本发明实施例的身份识别模型训练方法、身份识别模型测试方法、身份识别方法、身份识别装置、电子设备及计算机可读存储介质，通过眼周特征和脸部特征融合进行身份识别，实现了优势互补，降低了干扰，能够适应图像采集困难与图像质量保证困难的情况，提高身份识别性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明一实施例的身份识别模型训练方法的流程示意图；
图2是本发明一实施例的身份识别模型测试方法的流程示意图；
图3是本发明一实施例的身份识别方法的流程示意图；
图4是本发明一实施例的身份识别装置的结构示意图；
图5是本发明一实施例中的部分人脸图像示例；
图6是本发明一实施例的身份识别方法的架构示意图；
图7是本发明一实施例中残差网络的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
需要预先说明的是，下述实施例或示例的描述或其中所提及的特征可以以相同或类似的方式，与其他实施例或示例中的特征组合，或替换其他实施例或示例中的特征，以形成可能的实施方式。另外，本文所使用的术语“包括/包含”是指特征、要素、步骤或组件的存在，但并不排除还存在一个或多个其他特征、要素、步骤或组件。
眼周区域一般包括虹膜与其周边区域，由于虹膜区域不容易被接触，不容易受到外在因素的影响，而虹膜以外的区域是容易被外界接触的，容易受到多种因素的影响，而部分人脸识别性能没有全人脸识别性能高。经过分析，发现使用人脸(如部分人脸)与眼周区域的信息相融合进行识别能够提升识别性能。
为了提高低质量虹膜图像的识别性能，充分利用图像信息，本发明提出通过虹膜周围的眼周信息、虹膜识别、脸部信息融合使用来实现身份识别，实现在虹膜图像不清楚的情况下，使用人脸(如部分人脸)识别提高识别性能，当眼周图像质量较好时，采用至少部分脸与眼周相融合的方法，提升总体的识别正确率。
图1是本发明一实施例的身份识别模型训练方法的流程示意图。如图1所示，一些实施例的身份识别模型训练方法，可包括以下步骤S110～步骤S180。
下面将对步骤S110至步骤S180的具体实施方式进行详细说明。
步骤S110：将训练样本输入至深度卷积网络得到共享特征图，其中，所述训练样本包括覆盖眼周区域的脸部图像、相对于虹膜位置的眼周区域位置信息、及相对于虹膜位置的覆盖眼周区域的脸部区域位置信息。
该步骤S110中，该深度卷积网络作为本发明所要训练的身份识别模型中的主干网络层，可以是各种卷积网络。例如，该深度卷积网络可以是Resnet网络，以此可以通过将输入直接传递至输出，保证了信息的完整性，而且使整个网络可以仅学习输入与输出的差别部分，简化了学习的目标与难度。具体地，该为Resnet网络的深度卷积网络可以包含残差块，例如，包含多个3*3卷积的残差块，再例如，可以包含使用1*1卷积和3*3卷积的残差块。
另外，可以利用各种光源采集人脸图像，该光源可以覆盖虹膜图像的采集范围。例如，所述覆盖人眼区域的人脸图像可以为近红外图像，以此利用近红外光源采集人脸图像，同时该人脸图像中的虹膜图像可以比较清楚。
覆盖眼周区域的脸部图像可以是包含眼周区域的部分人脸图像，可以占整个人脸的较大或较少部分，例如，可以是眉毛以下和鼻翼以上部分的人脸图像，实际应用中，可以是人脸戴口罩情况下拍摄的部分人脸图像。
相对于虹膜位置的眼周区域位置信息能够反映眼周区域大小相对于虹膜位置(如虹膜内侧的瞳孔中心的位置以及虹膜的外圆半径)的情况，具体可以包括根据虹膜半径确定的眼周图像的长宽比例信息，如此一来，可以便于考虑不同对象或同一对象不同情况下的虹膜的大小(眼周区域图像中)差异，例如，可以便于对眼周区域图像中虹膜进行归一化。另外，根据相对于虹膜位置的眼周区域位置信息可以确定覆盖眼周区域的脸部图像中的眼周图像。
相对于虹膜位置的覆盖眼周区域的脸部区域位置信息能够反映脸部区域大小相对于虹膜位置(如虹膜内侧的瞳孔中心的位置以及虹膜的外圆半径)的情况，具体可以包括根据虹膜半径确定的人脸部分区域的长宽比例信息，如此一来，可以便于考虑不同对象或同一对象不同情况下的虹膜的大小(人脸部分区域图像中)差异，例如，可以便于对人脸部分区域图像中虹膜归一化。另外，根据相对于虹膜位置的覆盖眼周区域的脸部区域位置信息可以确定覆盖眼周区域的脸部图像中的人脸部分图像。具体实施时，覆盖眼周区域的脸部图像可以就是相对于虹膜位置的覆盖眼周区域的脸部区域位置信息对应的人脸部分图像。
步骤S120：根据相对于虹膜位置的眼周区域位置信息从所述共享特征图扣取得到眼周特征图。
步骤S130：根据相对于虹膜位置的覆盖眼周区域的脸部区域位置信息从所述共享特征图获取得到脸部特征图。
步骤S140：根据所述眼周特征图得到眼周特征向量，将所述眼周特征向量输入至第一卷积网络得到设定维数的眼周特征向量。
步骤S150：根据所述脸部特征图得到脸部特征向量，将脸部特征向量输入至第二卷积网络得到所述设定维数的脸部特征向量。
上述步骤S120和步骤S130可以先后或并行进行。上述步骤S140和步骤S150可以先后或并行进行。其中，所述眼周特征图包括虹膜图像和虹膜外围眼周区域图像，在图像采集条件不佳的情况下，虹膜图像可能模糊，在采集条件好的情况下，虹膜图像可以较为清晰，所以不论虹膜质量好坏，所用的眼周特征图包含了虹膜的图像，都考虑了虹膜信息，所以本发明生成的身份识别模型考虑了虹膜识别的信息，可以认为是基于虹膜识别的身份识别模型。
通过上述步骤S140可以将根据所述眼周特征图得到某一维数的眼周特征向量转换至设定维数的眼周特征向量，通过上述步骤S150可以将根据所述脸部特征图得到的某一维数的脸部特征向量转换至设定维数的脸部特征向量，如此一来，可以将眼周特征向量和脸部特征向量的维数统一一致，便于后续特征融合。
在一些实施例中，上述相对于虹膜位置的眼周区域位置信息可包括相对于虹膜位置的左眼周区域位置信息或相对于虹膜位置的右眼周区域位置信息。当然在此情况下，用于计算相似度的与该眼周特征向量属于同一身份对象的脸部特征图对应的特征向量也可为相应部位眼睛的眼周特征向量。
在另一些实施例中，上述相对于虹膜位置的眼周区域位置信息可包括相对于虹膜位置的左眼周区域位置信息和相对于虹膜位置的右眼周区域位置信息。
在此情况下，可分别扣取左、右眼周特征图。示例性地，上述步骤S120，根据相对于虹膜位置的眼周区域位置信息从所述共享特征图扣取得到眼周特征图，具体可包括步骤：S121，根据相对于虹膜位置的左眼周区域位置信息从所述共享特征图扣取得到左眼周特征图，根据相对于虹膜位置的右眼周区域位置信息从所述共享特征图扣取得到右眼周特征图。其中，左眼周特征图包括左眼虹膜图像和左眼虹膜外围左眼周区域图像，右眼周特征图包括右眼虹膜图像和右眼虹膜外围右眼周区域图像。
另外，可以从左眼周特征图和右眼周特征图分别提取得到左眼周特征向量和右眼周特征向量。例如，上述第一卷积网络可包括第三卷积网络和第四卷积网络。此时，步骤S140，即，根据所述眼周特征图得到眼周特征向量，将所述眼周特征向量输入至第一卷积网络得到设定维数的眼周特征向量，具体可包括步骤：S141，根据所述左眼周特征图得到左眼周特征向量，将所述左眼周特征向量输入至所述第三卷积网络得到设定维数的左眼周特征向量；根据所述右眼周特征图得到右眼周特征向量，将所述右眼周特征向量输入至所述第四卷积网络得到设定维数的右眼周特征向量。当然，在其他实施例中，不排除可以利用一个卷积网络来先后、分别将左眼周特征向量和右眼周特征向量转换至设定维数的特征向量。
在一些实施例中，可以对特征图进行归一化，以此，可以减少或消除不同对象、不同采集条件等因素带来的虹膜大小差异对识别性能的影响。
例如，上述步骤S140中，根据所述眼周特征图得到眼周特征向量，具体可包括步骤：S141，根据相对于虹膜位置的眼周区域位置信息对所述眼周特征图进行归一化；S142，根据归一化后的所述眼周特征图得到眼周特征向量。根据相对于虹膜位置的眼周区域位置信息可以知道眼周区域与虹膜的位置、大小关系，以此，可以将眼周特征图转换至虹膜大小统一的特征图，归一化的具体实施方式可以参照如注册库中比对用的人脸图像对应的眼周区域来确定。
再例如，上述步骤S150中，根据所述脸部特征图得到脸部特征向量，具体可包括步骤：S151，根据相对于虹膜位置的覆盖眼周区域的脸部区域位置信息对所述脸部特征图进行归一化；S152，根据归一化后的所述脸部特征图得到脸部特征向量。根据相对于虹膜位置的覆盖眼周区域的脸部区域位置信息可以知道脸部区域与虹膜的位置、大小关系，以此，可以将脸部特征图转换至虹膜大小统一的特征图，归一化的具体实施方式可以参照如注册库中比对用的人脸图像对应的人脸区域来确定。
步骤S160：将设定维数的眼周特征向量和所述设定维数的脸部特征向量融合在一起后输入至全连接层，得到所述设定维数的融合特征向量。
该步骤S160，可以将设定维数的眼周特征向量和所述设定维数的脸部特征向量拼接在一起，及融合在一起，例如，一个512维的眼周特征向量和一个512维的脸部特征向量融合在一起可以得到1024维的特征向量。经过全连接层可以将融合后的特征向量得到设定位数的特征向量，例如，融合得到的1024维的特征向量经过全连接层可以得到512维的特征向量。再例如，若一个512维的左眼周特征向量、一个512维的右眼周特征向量及一个512维的脸部特征向量融合在一起可以得到1536维的特征向量，再经过全连接层可以得到512维的特征向量。
在上述相对于虹膜位置的眼周区域位置信息包括相对于虹膜位置的左眼周区域位置信息和相对于虹膜位置的右眼周区域位置信息的情况下，可以获取融合特征向量时，可以将左眼周特征向量和右眼周特征向量分别进行考虑。示例性地，上述步骤S160，即，将设定维数的眼周特征向量和所述设定维数的脸部特征向量融合在一起后输入至全连接层，得到所述设定维数的融合特征向量，具体可包括步骤：S161，将设定维数的左眼周特征向量、设定维数的右眼周特征向量、及所述设定维数的脸部特征向量融合在一起后输入至全连接层，得到所述设定维数的融合特征向量。
步骤S170：计算所述设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的至少一个特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度。
该步骤S170中，计算相似度是所使用的计算得到的特征向量可以是任一个，例如，可以是上述设定维数的融合特征向量，或者可以是多个，例如，可以是计算得到的所有特征向量分别对应得到的相似度，再例如，设定维数的眼周特征向量可包括设定维数的左眼周特征向量和设定维数的右眼周特征向量，可以分别计算设定维数的左眼周特征向量对应的相似度和设定维数的右眼周特征向量对应的相似度的。与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像和训练样本中的脸部图像的身份对象一样，例如是同一个人的包括眼部区域的部分脸图像，主要区别在于可以是不同时刻采集的图像，还可以不同条件采集的图像，可以从预先得到的注册库中得到。相应类型特征向量是指，例如，若计算左眼周特征向量与相应类型特征向量，则该相应类型特征向量是左眼周特征向量，若计算右眼周特征向量与相应类型特征向量，则该相应类型特征向量是右眼周特征向量，若计算脸部特征向量与相应类型特征向量，则该相应类型特征向量是脸部特征向量，若计算融合特征向量与相应类型特征向量，则该相应类型特征向量是融合特征向量。
在上述相对于虹膜位置的眼周区域位置信息包括相对于虹膜位置的左眼周区域位置信息和相对于虹膜位置的右眼周区域位置信息的情况下，上述步骤S170，具体可包括步骤：S172，计算所述设定维数的左眼周特征向量、所述设定维数的右眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的至少一个特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度。
步骤S180：根据计算得到的相似度计算相应类型特征向量的损失，并利用计算得到的损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练，得到身份识别模型。
该步骤S180中，不同特征向量对应的损失，例如，左眼周特征向量对应的损失、右眼周特征向量对应的损失、脸部特征向量对应的损失、融合特征向量对应的损失，可以从模型中相应位置开始反向传播，在此过程中可以调整模型中的参数，即对模型进行了一次训练。依次重复进行，可以对模型进行多次训练。每次计算后可以得到相应的识别结果情况，如一个特征向量对应的相似度，或多个特征向量对应的相似度的加权和。可以根据识别结果情况确定是否需要继续进行训练。另外，初始模型主要包括所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层，还可以包括眼周特征图扣取的功能模块(可包括左眼周特征图扣取的功能模块和/或右眼周特征图扣取的功能模块)、脸部特征图扣取的功能模块、眼周特征向量提取的功能模块(可包括左眼周特征向量提取的功能模块和/或右眼周特征向量提取的功能模块)、特征融合的功能模块等。
在一些实施例中，可以至少利用两个特征向量计算相似度。示例性地，上述步骤S170，具体可包括步骤：S171，分别计算所述设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中至少两个特征向量中每个特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度。
在此情况下，可以根据多个损失的加权和判断模型训练的情况。示例性地，上述步骤S180，具体可包括步骤：S181，根据所述至少两个特征向量对应的相似度得到相应的损失，将所述至少两个特征向量中的各特征向量对应的损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练；S182，对训练后的初始模型对应的各损失加权求和得到总损失，在总损失小于或等于设定误差阈值的情况下，根据训练后的初始模型得到身份识别模型。其中，该设定误差阈值可以根据经验确定。
进一步的实施例中，在模型训练过程中可以对损失的权重进行自学习，以此可使训练后模型的情况判断更准确。示例性地，上述步骤S181，即，根据所述至少两个特征向量对应的相似度得到相应的损失，将所述至少两个特征向量中的各特征向量对应的损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练，更具体地，可包括步骤：S1811，根据所述至少两个特征向量对应的相似度得到相应的损失，将所述至少两个特征向量中的各特征向量对应的损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练，并在训练过程中对各损失对应的权重进行自学习。其中，自学习过程中可以不断调整权重大小。
具体实施时，可以利用各种特征向量计算分别相似度。例如，上述步骤S172，即，计算所述设定维数的左眼周特征向量、所述设定维数的右眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的至少一个特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度，具体可包括步骤：S1721，计算所述设定维数的左眼周特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的左眼周特征向量的第一相似度；S1722，计算所述设定维数的右眼周特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的右眼周特征向量的第二相似度；S1723，计算所述设定维数的脸部特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的脸部特征向量的第三相似度；S1724，计算所述设定维数的融合特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的融合特征向量的第四相似度。
进一步地，上述步骤S180，即，根据计算得到的相似度计算相应类型特征向量的损失，并利用计算得到的损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练，得到身份识别模型，具体可包括步骤：S1831，将所述第一相似度对应的左眼周特征损失、所述第二相似度对应的右眼周特征损失、所述第三相似度对应的脸部特征损失、及所述第四相似度对应的融合特征损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练，并在训练过程中对各损失对应的权重进行自学习；S1832，对训练后的初始模型对应的左眼周特征损失、右眼周特征损失、脸部特征损失、及融合特征损失进行权重加权求和得到总损失，在总损失小于或等于设定误差阈值的情况下，根据训练后的初始模型得到身份识别模型。
上述步骤S1831中，所述左眼周特征损失、所述右眼周特征损失、所述脸部特征损失、及所述融合特征损失均可为insightface损失。
另外，各实施例中的第二卷积网络、第三卷积网络、及第四卷积网络均可为残差网络。
上述各实施例的身份识别模型训练方法中，通过将眼周特征和脸部特征融合在一起，在虹膜图像采集条件不佳的情况下，可以利用脸部特征来提高识别准确度。在人脸被遮挡的情况下，可以利用眼周区域中虹膜特征来提高识别准确度。所以，本发明实施例能够适应图像采集困难与图像质量保证困难的情况，提高身份识别的性能，解决虹膜识别对图像要求太高，而眼周识别或部分人脸识别性能太低的问题。
本发明实施例还提供了一种身份识别模型测试方法，可以用于对利用上述实施例所述方法得到的身份识别模型进行测试。
图2是本发明一实施例的身份识别模型测试方法的流程示意图，参见图2，该些实施例的身份识别模型测试方法，可包括：
步骤S210：将测试样本输入至利用本发明任一实施例所述身份识别模型训练方法得到的身份识别模型，得到所述测试样本对应的身份识别结果；
步骤S220：根据所述测试样本对应的身份识别结果和所述测试样本对应的真实身份对象的信息的一致性得到身份识别模型的测试结果。
上述步骤S210中，所述测试样本包括覆盖眼周区域的脸部图像、相对于虹膜位置的眼周区域位置信息、及相对于虹膜位置的覆盖眼周区域的脸部区域位置信息。测试样本中的各信息的获取方式与训练样本中相应信息的获取方式可以相同或类似。
利用本发明得到的身份识别模型对测试样本进行处理，可以得到设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量；之后，可以计算所述测试样本对应的设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的至少一个特征向量中每一个与包括所述测试样本对应的真实身份对象的多个身份对象中的每一者的覆盖眼周区域的各脸部图像对应的相应类型特征向量的相似度，并根据计算得到的相似度和所述多个身份对象的信息得到所述测试样本对应的身份识别结果，以此可以用来评价模型性能。
上述步骤S220中，所述测试样本对应的身份识别结果是通过计算所述测试样本对应的设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的至少一个特征向量中每一个与包括所述测试样本对应的真实身份对象的多个身份对象中的每一者的覆盖眼周区域的各脸部图像对应的相应类型特征向量的相似度，并根据计算得到的相似度和所述多个身份对象的信息得到。其中，上述多个身份对象可以是一组样本所对应的身份对象，这些身份对象中包含输入的测试样本对应的身份对象，以测试是否可以从这组样本所对应的众多身份对象中识别出输入的测试样本对应的身份对象。另外，测试结果可以包括该组样本中每个身份对象对应的相似度(或概率)的大小，根据输入的测试样本对应的身份对象所对应的相似度(或概率)大小可知模型识别结果的好坏，若相似度越高，即测试样本的识别结果与实际结果越一致，则可认为身份识别模型的性能越好。
具体实施时，在一些实施例中，所述测试样本对应的身份识别结果可以是通过计算测试样本对应的设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的任一个特征向量与包括所述测试样本对应的真实身份对象的多个身份对象的每一者的覆盖眼周区域的各脸部图像对应的相应类型特征向量的相似度，并根据计算得到的最大相似度对应的身份对象的信息得到。或者，在另一些实施例中，所述测试样本对应的身份识别结果可以是通过计算测试样本对应的设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的多个特征向量中每一个与包括所述测试样本对应的真实身份对象的多个身份对象的每一者的覆盖眼周区域的各脸部图像对应的相应类型特征向量的相似度，并计算所述多个特征向量各自对应同一身份对象的同一脸部图像的相似度加权求和，根据各加权求和结果和所述多个身份对象的信息得到。
另外，基于与上述实施例所述的身份识别模型训练方法相同的发明构思，本发明实施例还提供了一种身份识别方法。该身份识别方法中与上述实施例身份识别模型训练方法相同或类似的步骤或内容，可以参见前述实施例的身份识别模型训练方法的实施例实施，故重复之处不再赘述。
图3是本发明一实施例的身份识别方法的流程示意图。参见图3，该些实施例的身份识别方法，可包括步骤：S310，将待识别对象的信息输入至利用上述任一实施例所述的身份识别模型训练方法得到的身份识别模型，得到所述待识别对象的身份识别结果；其中，所述待识别对象的信息可包括覆盖眼周区域的脸部图像、相对于虹膜位置的眼周区域位置信息、及相对于虹膜位置的覆盖眼周区域的脸部区域位置信息。该待识别对象的信息中各具体信息与训练样本中的相应信息的获取方式可以类似。
具体实施时，可以将待识别对象的信息输入至深度卷积网络得到共享特征图，其中，所述待识别对象的信息包括覆盖眼周区域的脸部图像、相对于虹膜位置的眼周区域位置信息、及相对于虹膜位置的覆盖眼周区域的脸部区域位置信息；根据相对于虹膜位置的眼周区域位置信息从所述共享特征图扣取得到眼周特征图；根据相对于虹膜位置的覆盖眼周区域的脸部区域位置信息从所述共享特征图获取得到脸部特征图；所述眼周特征图包括虹膜图像和虹膜外围眼周区域图像；根据所述眼周特征图得到眼周特征向量，将所述眼周特征向量输入至第一卷积网络得到设定维数的眼周特征向量；根据所述脸部特征图得到脸部特征向量，将脸部特征向量输入至第二卷积网络得到所述设定维数的脸部特征向量；将设定维数的眼周特征向量和所述设定维数的脸部特征向量融合在一起后输入至全连接层，得到所述设定维数的融合特征向量；计算所述设定维数的融合特征向量与多个身份已知的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度，得到最大相似度，并将最大相似度所对应的已知身份作为待识别对象的身份识别结果。
另一些实施例中，再参见图3，上述步骤S310之前，本发明实施例的身份识别方法还可包括步骤：S320，获取待识别对象的覆盖眼周区域的脸部图像，并对待识别对象的脸部图像进行虹膜定位，得到待识别对象的脸部图像中的虹膜位置信息；S330，根据虹膜位置信息和设定眼周区域大小，得到待识别对象的相对于虹膜位置的眼周区域位置信息；S340，根据虹膜位置信息和设定人脸区域大小，得到待识别对象的相对于虹膜位置的覆盖眼周区域的脸部区域位置信息。
上述步骤S320中，可以利用现有的方法进行虹膜定位，得到的虹膜位置信息可包括虹膜的中心位置(即，瞳孔中心位置)和虹膜半径(如虹膜外圆半径)。上述步骤S330中，例如，设定眼周区域大小可以是眼周区域相对于虹膜外圆半径的一定比例，得到的待识别对象的相对于虹膜位置的眼周区域位置信息可以是坐标和长宽信息。上述步骤S340中，例如，设定人脸区域大小可以是人脸区域相对于虹膜外圆半径的一定比例，得到的待识别对象的相对于虹膜位置的覆盖眼周区域的脸部区域位置信息可以是坐标和长宽信息。上述步骤S320～S340可以在身份识别模块之外执行，或者可以在身份识别模型内执行，即，身份识别模型可以包括步骤S320～S340中一个或多个步骤对应的功能模块。
另一些实施例中，评估虹膜图像质量，并在质量较差的情况下采用眼周和人脸结合的方法进行身份识别。示例性地。上述步骤S310之前，上述实施例所述的身份识别方法，还可包括步骤：S350，对待识别对象的覆盖眼周区域的脸部图像中的虹膜图像进行质量评价，并在质量评价结果不满足设定质量要求的情况下，执行上述步骤S310，即，将待识别对象的信息输入至利用本发明任一实施例所述身份识别模型训练方法得到的身份识别模型，得到所述待识别对象的身份识别结果。上述步骤S350可以利用现有的方法和标准对脸部图像中的虹膜图像进行质量评价。
又一些实施例中，上述各实施例的身份识别方法，还可包括步骤：S360，在质量评价结果满足设定质量要求的情况下，通过对待识别对象的覆盖眼周区域的脸部图像中的虹膜图像进行虹膜识别，得到待识别对象的身份。以此可以在虹膜图像质量较好的情况下，较快地完成身份识别。
此外，基于与图1所示的身份识别模型训练方法相同的发明构思，本发明实施例还提供了一种身份识别装置，如下面实施例所述。该身份识别装置可包括利用上述任一实施例所述身份识别模型训练方法生成的身份识别模型，因此该身份识别装置中类似内容的实施可以参见身份识别模型训练方法实施，重复之处不再赘述。
图4是本发明一实施例的身份识别装置的结构示意图。参见图4，该些实施例的身份识别装置，可包括：
深度卷积网络模块410，用于将待识别对象的信息输入至深度卷积网络得到共享特征图，其中，所述待识别对象的信息包括覆盖眼周区域的脸部图像、相对于虹膜位置的眼周区域位置信息、及相对于虹膜位置的覆盖眼周区域的脸部区域位置信息；
眼周特征图扣取模块420，用于根据相对于虹膜位置的眼周区域位置信息从所述共享特征图扣取得到眼周特征图；所述眼周特征图包括虹膜图像和虹膜外围眼周区域图像；
脸部特征图扣取模块430，用于根据相对于虹膜位置的覆盖眼周区域的脸部区域位置信息从所述共享特征图获取得到脸部特征图；
第一卷积网络模块440，用于根据所述眼周特征图得到眼周特征向量，将所述眼周特征向量输入至第一卷积网络得到设定维数的眼周特征向量；
第二卷积网络模块450，用于根据所述脸部特征图得到脸部特征向量，将脸部特征向量输入至第二卷积网络得到所述设定维数的脸部特征向量；
特征融合模块460，用于将设定维数的眼周特征向量和所述设定维数的脸部特征向量融合在一起后输入至全连接层，得到所述设定维数的融合特征向量；
身份确定模块470，用于计算所述设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的一个或多个特征向量中的每一个与多个已知身份对象中的每一者的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度，并根据计算得到的相似度和所述多个已知身份对象的信息得到待识别对象的身份识别结果。
在一些实施例中，利用前述实施例所述的身份识别模型训练方法得到的身份识别模型可以是包含上述深度卷积网络模块410、眼周特征图扣取模块420、脸部特征图扣取模块430、第一卷积网络模块440、第二卷积网络模块450、特征融合模块460、及身份确定模块470。
在一些实施例中，上述第一卷积网络模块440还可用于根据待识别对象的相对于虹膜位置的眼周区域位置信息对待识别对象的眼周特征图进行归一化；根据归一化后的眼周特征图得到待识别对象的眼周特征向量。
在一些实施例中，上述第二卷积网络模块450还可用于根据待识别对象的相对于虹膜位置的覆盖眼周区域的脸部区域位置信息对待识别对象的脸部特征图进行归一化；根据归一化后的脸部特征图得到待识别对象的脸部特征向量。
在一些实施例中，图4所示的身份识别装置，相对于虹膜位置的眼周区域位置信息可包括相对于虹膜位置的左眼周区域位置信息和相对于虹膜位置的右眼周区域位置信息。
在此情况下，眼周特征图扣取模块420，可包括：
左眼周特征图扣取模块，用于根据相对于虹膜位置的左眼周区域位置信息从所述共享特征图扣取得到左眼周特征图；左眼周特征图包括左眼虹膜图像和左眼虹膜外围左眼周区域图像；
右眼周特征图扣取模块，用于根据相对于虹膜位置的右眼周区域位置信息从所述共享特征图扣取得到右眼周特征图；右眼周特征图包括右眼虹膜图像和右眼虹膜外围右眼周区域图像。
第一卷积网络模块450，可包括：
第三卷积网络模块，用于根据所述左眼周特征图得到左眼周特征向量，将所述左眼周特征向量输入至所述第三卷积网络得到设定维数的左眼周特征向量；
第四卷积网络模块，用于根据所述右眼周特征图得到右眼周特征向量，将所述右眼周特征向量输入至所述第四卷积网络得到设定维数的右眼周特征向量。
特征融合模块460，还可用于将设定维数的左眼周特征向量、设定维数的右眼周特征向量、及所述设定维数的脸部特征向量融合在一起后输入至全连接层，得到所述设定维数的融合特征向量。
在一些实施例中，所述深度卷积网络可为Resnet网络。
在一些实施例中，所述覆盖人眼区域的人脸图像可为近红外图像。
在一些实施例中，图4所示装置，还可包括：第一归一化模块，用于根据相对于虹膜位置的眼周区域位置信息对所述眼周特征图进行归一化，根据归一化后的所述眼周特征图得到眼周特征向量。
在一些实施例中，图4所示装置，还可包括：第二归一化模块，用于根据相对于虹膜位置的覆盖眼周区域的脸部区域位置信息对所述脸部特征图进行归一化；根据归一化后的所述脸部特征图得到脸部特征向量。
在一些实施例中，所述第二卷积网络、所述第三卷积网络、及所述第四卷积网络均可为残差网络。
在一些实施例中，身份确定模块，还可用于计算所述设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中各特征向量与多个已知身份对象中的每一者的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度，对同一已知身份对象对应的各相似度加权求和得到总相似度，并根据最大总相似度所对应的已知身份对象的信息得到待识别对象的身份识别结果；或者，用于计算所述设定维数的融合特征向量与多个已知身份对象中的每一者的覆盖眼周区域的脸部图像对应的所述设定维数的融合特征向量的相似度，并根据最大相似度所对应的已知身份对象的信息得到待识别对象的身份识别结果。
该身份确定模块可以参见上述身份识别模型测试方法中身份识别结果的获取方式实施，主要区别在于，在身份识别时所用的多个已知身份对象(可从注册库中获取)的数量一般可能比测试时的多。
在另一些实施例中，图4所示的身份识别装置，相对于虹膜位置的眼周区域位置信息可包括相对于虹膜位置的左眼周区域位置信息或相对于虹膜位置的右眼周区域位置信息。
另外，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述方法的步骤。
为使本领域技术人员更好地了解本发明，下面将以具体实施例说明本发明的实施方式。
在一具体实施例中，提出了一种身份识别方法，通过在近红外图像上使用部分人脸与眼周融合进行身份识别。
在进行身份识别之前，数据所需数据获取，识别、训练、测试过程获取输入数据的方式可以类似。
为了让最终的身份识别模型对不同的设备都有很好的识别性能，可以使用各种质量、各种采集条件下得到的图像训练模型。例如，可以使用多种不同的近红外成像设备(可包括质量较差的移动端设备和质量较好的PC端设备)、使用不同的光强、采用不同的近红外光源位置进行近红外图像采集。
所需获取的输入数据主要包括采集的脸部图像。图像的获取方式可包括：通过虹膜检测技术检测到左右眼的虹膜位置；使用左右眼虹膜的最大半径，以瞳距中心为中心，按照固定长宽比例确定部分人脸区域，并扣取部分脸图像(人脸区域图像、人脸图像)，例如该固定长宽比例可以为1:1、3:2、5:3、8:4等；扣取出的部分脸图像可以缩放到一定大小，如640*480像素大小，其中，每幅部分脸图像都可包含两只眼睛的数据；根据虹膜半径确定在部分脸图像中划定的眼周的位置，可以类似于脸部图像按固定比划定眼周区域位置，例如，眼周长宽可以是虹膜半径的1:1、3:2、5:3等比例。图5是本发明一实施例中的部分人脸图像示例，如图5所示，整幅图像可以是上述部分脸图像，即，部分人脸图像，其中，黑色边框圈出的两个区域位置为确定的左右眼周区域位置。
图6是本发明一实施例的身份识别方法的架构示意图，其示出了部分脸与眼周融合识别的方案架构，参见图6，身份识别方法所用架构主要可包括：(1)基于深度卷积神经网络的主干网络层、(2)左眼周特征提取的分支网络、(3)右眼周特征提取的分支网络、(4)部分脸特征提取的分支网络、(5)部分脸与左右眼周特征融合网络等。接下来对每个分支进行详细描述：
(1)主干网络层：
基于深度卷积神经网络的主干网络层可以使用Resnet网络实现。Resnet网络对于特征的提取在众多研究中表现很好。Resnet网络采用了残差学习的思想，传统的卷积网络在信息传递时总会存在信息丢失与损耗，而且还有梯度消失与梯度爆炸的情况。Resnet网络通过将输入信号直接传入到输出，能够保证信息的完整性，而且使整个网络只需要学习输入与输出差别部分，简化了学习目标与难度。如图7所示，其示出了残差网络的主要结构，其中，(a)图为使用3*3卷积的残差块，(b)图为使用1*1卷积块与3*3卷积的残差块。
(2)左眼周特征提取分支网络和(3)右眼周特征提取分支网络：
左、右眼周特征提取分支网络可具有相同的网络结构，都可以从主干网络的特征图上扣取对应的左、右眼周特征，并可将扣取的特征大小归一化到150*150大小，进一步，可以经过多个残差块(例如，残差块的个数为3，4，5，3)进行特征提取，将最终的特征图与设定维数(如512维)的特征图连接。
左眼周特征提取分支网络与右眼周特征提取分支网络都可以输出一个512维的特征向量，对左、右眼的特征向量分别做损失(loss)，使用的loss可以为insightface loss。同时，左、右眼的特征向量要可与部分脸的特征向量进行融合使用。
(4)部分脸特征提取网络和(5)部分脸与左右眼周特征融合网络：
部分脸特征提取主要可使用主干网路的特征图，经过一系列残差块进行特征提取之后，与设定维数(如512维)的全连接层相连。512维的部分脸特征与左、右眼的两个512维特征进行连接融合，同时，可对左、右眼周的特征向量进行权重自学习，优化左、右眼周在识别性中的权重。最终再连接一个512维向量作为最终的融合特征，使用insightface loss进行训练。
利用上述架构对部分脸与眼周进行识别训练可包括以下过程：
(1)准备部分脸图像与左右眼周位置信息；
(2)由于使用了多个loss进行训练，最终的损失函数包含多个Loss损失，最终的损失函数可表示为：
Loss＝λ右Loss_cls+λ左Loss_cls+λ脸Loss_cls+λ融合Loss_cls，
其中，λ右、λ左、λ脸、λ融合分别为左眼损失、右眼损失、部分脸损失、及特征融合损失的权重，Loss_cls表示各损失所使用的损失。
各损失Loss_cls可以采用insightface loss，具体可表示为：
Figure BDA0002654875380000251
其中，i表示样本序号，j表示类别序号，s为缩放系数，yi表示样本i的类别序号，M表示一次训练的样本数量，θ为权重与特征向量的角度，m为类间的边界余量，目的是优化角度以达到特征之间类内聚合、类间分离。
利用上述架构进行部分脸与眼周融合识别可包括以下过程：
(1)将采集到的部分脸图像与左右眼周的位置坐标传入深度卷积的主干网络中，输出得到共享特征图，可以作为后续左右眼周特征图扣取与部分脸特征图提取使用；
(2)利用左右眼分支网络分别在主干网络的特征图上，根据眼周位置信息，进行左右眼周分支的特征图扣取；扣取的特征图经过一系列深度卷积，可输出左右眼周的特征向量，例如，均为512维特征向量；
(3)利用部分脸特征提取分支网络从主干网络提取部分脸特征图，对部分脸特征图进一步进行深度卷积，生成例如512维特征向量；将本次生成的特征向量与左右眼周特征向量融合，最终可以生成一个512维的融合特征向量。
(4)对输出的左右眼周特征、部分脸融合特征分别、及融合特征向量分别与注册库中的相应特征向量进行相似度计算，例如采用cos距离的度量方式，最终可输出左眼相似度分数、右眼相似度分数、部分脸相似度分数、融合特征得分；可使用分数层融合策略，最终输出相应的相似度得分，即识别分数。
本实施例的识别方法的实际使用过程可包括以下过程：
(1)图像采集：使用近红外摄像头进行人脸图像采集；
(2)眼睛检测：在采集到的人图像上进行眼睛检测，获取相关信息参数，按照规则扣取部分人脸区域图像与虹膜图像；
(3)图像质量评价：分别对部分人脸区域图像与虹膜图像进行质量评价；
(4)图像识别：
a、当虹膜质量很好时，可只使用虹膜识别作为最终识别结果；
b、当虹膜质量一般时，可使用部分脸与眼周融合识别作为最终识别结果。
本实施例中，基于近红外图像的部分脸与眼周融合提升识别性能，利用深度卷积神经网络获取比传统方法更加准确的识别特征，利用部分人脸比虹膜与眼周的较强的结构信息，以通过部分人脸与眼周的融合识别，降低了图像的采集难度与图像的质量要求，同时满足了当前戴口罩进行人脸识别精度低的弊端，补充识别领域的空白。因此，通过部分脸与眼周特征融合识别，能够实现多特征融合识别算法与模型统一。且识别中，利用部分脸与眼周各自的特点及优势实现互补，降低了干扰，提高了识别性能。
综上所述，本发明实施例的身份识别模型训练方法、身份识别模型测试方法、身份识别方法、身份识别装置、电子设备及计算机可读存储介质，通过眼周特征和脸部特征融合进行身份识别，实现了优势互补，降低了干扰，能够适应图像采集困难与图像质量保证困难的情况，提高身份识别性能。
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (22)

1.一种身份识别模型训练方法，其特征在于，包括：
将训练样本输入至深度卷积网络得到共享特征图，其中，所述训练样本包括覆盖眼周区域的脸部图像、相对于虹膜位置的眼周区域位置信息、及相对于虹膜位置的覆盖眼周区域的脸部区域位置信息；
根据相对于虹膜位置的眼周区域位置信息从所述共享特征图扣取得到眼周特征图；根据相对于虹膜位置的覆盖眼周区域的脸部区域位置信息从所述共享特征图获取得到脸部特征图；
根据所述眼周特征图得到眼周特征向量，将所述眼周特征向量输入至第一卷积网络得到设定维数的眼周特征向量；根据所述脸部特征图得到脸部特征向量，将脸部特征向量输入至第二卷积网络得到所述设定维数的脸部特征向量；所述眼周特征图包括虹膜图像和虹膜外围眼周区域图像；
将设定维数的眼周特征向量和所述设定维数的脸部特征向量融合在一起后输入至全连接层，得到所述设定维数的融合特征向量；
计算所述设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的至少一个特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度；
根据计算得到的相似度计算相应类型特征向量的损失，并利用计算得到的损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练，得到身份识别模型。
2.如权利要求1所述的身份识别模型训练方法，其特征在于，所述深度卷积网络为Resnet网络。
3.如权利要求1所述的身份识别模型训练方法，其特征在于，所述覆盖人眼区域的人脸图像为近红外图像。
4.如权利要求1所述的身份识别模型训练方法，其特征在于，根据所述眼周特征图得到眼周特征向量，包括：
根据相对于虹膜位置的眼周区域位置信息对所述眼周特征图进行归一化；
根据归一化后的所述眼周特征图得到眼周特征向量。
5.如权利要求1所述的身份识别模型训练方法，其特征在于，根据所述脸部特征图得到脸部特征向量，包括：
根据相对于虹膜位置的覆盖眼周区域的脸部区域位置信息对所述脸部特征图进行归一化；
根据归一化后的所述脸部特征图得到脸部特征向量。
6.如权利要求1所述的身份识别模型训练方法，其特征在于，
计算所述设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的至少一个特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度，包括：
分别计算所述设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中至少两个特征向量中每个特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度；
根据计算得到的相似度计算相应类型特征向量的损失，并利用计算得到的损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练，得到身份识别模型，包括：
根据所述至少两个特征向量对应的相似度得到相应的损失，将所述至少两个特征向量中的各特征向量对应的损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练；
对训练后的初始模型对应的各损失加权求和得到总损失，在总损失小于或等于设定误差阈值的情况下，根据训练后的初始模型得到身份识别模型。
7.如权利要求6所述的身份识别模型训练方法，其特征在于，根据所述至少两个特征向量对应的相似度得到相应的损失，将所述至少两个特征向量中的各特征向量对应的损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练，包括：
根据所述至少两个特征向量对应的相似度得到相应的损失，将所述至少两个特征向量中的各特征向量对应的损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练，并在训练过程中对各损失对应的权重进行自学习。
8.如权利要求1所述的身份识别模型训练方法，其特征在于，
相对于虹膜位置的眼周区域位置信息包括相对于虹膜位置的左眼周区域位置信息和相对于虹膜位置的右眼周区域位置信息；
根据相对于虹膜位置的眼周区域位置信息从所述共享特征图扣取得到眼周特征图，包括：
根据相对于虹膜位置的左眼周区域位置信息从所述共享特征图扣取得到左眼周特征图，根据相对于虹膜位置的右眼周区域位置信息从所述共享特征图扣取得到右眼周特征图；其中，左眼周特征图包括左眼虹膜图像和左眼虹膜外围左眼周区域图像，右眼周特征图包括右眼虹膜图像和右眼虹膜外围右眼周区域图像；
所述第一卷积网络包括第三卷积网络和第四卷积网络；
根据所述眼周特征图得到眼周特征向量，将所述眼周特征向量输入至第一卷积网络得到设定维数的眼周特征向量，包括：
根据所述左眼周特征图得到左眼周特征向量，将所述左眼周特征向量输入至所述第三卷积网络得到设定维数的左眼周特征向量；根据所述右眼周特征图得到右眼周特征向量，将所述右眼周特征向量输入至所述第四卷积网络得到设定维数的右眼周特征向量；
将设定维数的眼周特征向量和所述设定维数的脸部特征向量融合在一起后输入至全连接层，得到所述设定维数的融合特征向量，包括：
将设定维数的左眼周特征向量、设定维数的右眼周特征向量、及所述设定维数的脸部特征向量融合在一起后输入至全连接层，得到所述设定维数的融合特征向量；
计算所述设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的至少一个特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度，包括：
计算所述设定维数的左眼周特征向量、所述设定维数的右眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的至少一个特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度。
9.如权利要求8所述的身份识别模型训练方法，其特征在于，
计算所述设定维数的左眼周特征向量、所述设定维数的右眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的至少一个特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度，包括：
计算所述设定维数的左眼周特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的左眼周特征向量的第一相似度；
计算所述设定维数的右眼周特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的右眼周特征向量的第二相似度；
计算所述设定维数的脸部特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的脸部特征向量的第三相似度；
计算所述设定维数的融合特征向量和与所述训练样本中脸部图像属于同一身份对象的覆盖眼周区域的脸部图像对应的所述设定维数的融合特征向量的第四相似度；
根据计算得到的相似度计算相应类型特征向量的损失，并利用计算得到的损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练，得到身份识别模型，包括：
将所述第一相似度对应的左眼周特征损失、所述第二相似度对应的右眼周特征损失、所述第三相似度对应的脸部特征损失、及所述第四相似度对应的融合特征损失进行反向传播，以对包含所述深度卷积网络、所述第一卷积网络、所述第二卷积网络及所述全连接层的初始模型进行训练，并在训练过程中对各损失对应的权重进行自学习；
对训练后的初始模型对应的左眼周特征损失、右眼周特征损失、脸部特征损失、及融合特征损失进行权重加权求和得到总损失，在总损失小于或等于设定误差阈值的情况下，根据训练后的初始模型得到身份识别模型。
10.如权利要求9所述的身份识别模型训练方法，其特征在于，所述左眼周特征损失、所述右眼周特征损失、所述脸部特征损失、及所述融合特征损失均为insightface损失。
11.如权利要求9所述的身份识别模型训练方法，其特征在于，所述第二卷积网络、所述第三卷积网络、及所述第四卷积网络均为残差网络。
12.一种身份识别模型测试方法，其特征在于，包括：
将测试样本输入至利用如权利要求1至11任一项所述身份识别模型训练方法得到的身份识别模型，得到所述测试样本对应的身份识别结果；
根据所述测试样本对应的身份识别结果和所述测试样本对应的真实身份对象的信息的一致性得到身份识别模型的测试结果；
其中，所述测试样本包括覆盖眼周区域的脸部图像、相对于虹膜位置的眼周区域位置信息、及相对于虹膜位置的覆盖眼周区域的脸部区域位置信息；所述测试样本对应的身份识别结果是通过计算所述测试样本对应的设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的至少一个特征向量中每一个与包括所述测试样本对应的真实身份对象的多个身份对象中的每一者的覆盖眼周区域的各脸部图像对应的相应类型特征向量的相似度，并根据计算得到的相似度和所述多个身份对象的信息得到。
13.如权利要求12所述的身份识别模型测试方法，其特征在于，
所述测试样本对应的身份识别结果是通过计算测试样本对应的设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的任一个特征向量与包括所述测试样本对应的真实身份对象的多个身份对象的每一者的覆盖眼周区域的各脸部图像对应的相应类型特征向量的相似度，并根据计算得到的最大相似度对应的身份对象的信息得到；或者，
所述测试样本对应的身份识别结果是通过计算测试样本对应的设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的多个特征向量中每一个与包括所述测试样本对应的真实身份对象的多个身份对象的每一者的覆盖眼周区域的各脸部图像对应的相应类型特征向量的相似度，并计算所述多个特征向量各自对应同一身份对象的同一脸部图像的相似度加权求和，根据各加权求和结果和所述多个身份对象的信息得到。
14.一种身份识别方法，其特征在于，包括：
将待识别对象的信息输入至利用如权利要求1至11任一项所述身份识别模型训练方法得到的身份识别模型，得到所述待识别对象的身份识别结果；其中，所述待识别对象的信息包括覆盖眼周区域的脸部图像、相对于虹膜位置的眼周区域位置信息、及相对于虹膜位置的覆盖眼周区域的脸部区域位置信息。
15.如权利要求14所述的身份识别方法，其特征在于，将待识别对象的信息输入至利用如权利要求1至11任一项所述身份识别模型训练方法得到的身份识别模型，得到所述待识别对象的身份识别结果之前，还包括：
获取待识别对象的覆盖眼周区域的脸部图像，并对待识别对象的脸部图像进行虹膜定位，得到待识别对象的脸部图像中的虹膜位置信息；
根据虹膜位置信息和设定眼周区域大小，得到待识别对象的相对于虹膜位置的眼周区域位置信息；根据虹膜位置信息和设定人脸区域大小，得到待识别对象的相对于虹膜位置的覆盖眼周区域的脸部区域位置信息。
16.如权利要求15所述的身份识别方法，其特征在于，将待识别对象的信息输入至利用如权利要求1至11任一项所述身份识别模型训练方法得到的身份识别模型，得到所述待识别对象的身份识别结果之前，还包括：
对待识别对象的覆盖眼周区域的脸部图像中的虹膜图像进行质量评价，并在质量评价结果不满足设定质量要求的情况下，执行将待识别对象的信息输入至利用如权利要求1至11任一项所述身份识别模型训练方法得到的身份识别模型，得到所述待识别对象的身份识别结果的步骤。
17.如权利要求16所述的身份识别方法，其特征在于，还包括：
在质量评价结果满足设定质量要求的情况下，通过对待识别对象的覆盖眼周区域的脸部图像中的虹膜图像进行虹膜识别，得到待识别对象的身份。
18.一种身份识别装置，其特征在于，包括：
深度卷积网络模块，用于将待识别对象的信息输入至深度卷积网络得到共享特征图，其中，所述待识别对象的信息包括覆盖眼周区域的脸部图像、相对于虹膜位置的眼周区域位置信息、及相对于虹膜位置的覆盖眼周区域的脸部区域位置信息；
眼周特征图扣取模块，用于根据相对于虹膜位置的眼周区域位置信息从所述共享特征图扣取得到眼周特征图；所述眼周特征图包括虹膜图像和虹膜外围眼周区域图像；
脸部特征图扣取模块，用于根据相对于虹膜位置的覆盖眼周区域的脸部区域位置信息从所述共享特征图获取得到脸部特征图；
第一卷积网络模块，用于根据所述眼周特征图得到眼周特征向量，将所述眼周特征向量输入至第一卷积网络得到设定维数的眼周特征向量；
第二卷积网络模块，用于根据所述脸部特征图得到脸部特征向量，将脸部特征向量输入至第二卷积网络得到所述设定维数的脸部特征向量；
特征融合模块，用于将设定维数的眼周特征向量和所述设定维数的脸部特征向量融合在一起后输入至全连接层，得到所述设定维数的融合特征向量；
身份确定模块，用于计算所述设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中的一个或多个特征向量中的每一个与多个已知身份对象中的每一者的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度，并根据计算得到的相似度和所述多个已知身份对象的信息得到待识别对象的身份识别结果。
19.如权利要求18所述的身份识别装置，其特征在于，
相对于虹膜位置的眼周区域位置信息包括相对于虹膜位置的左眼周区域位置信息和相对于虹膜位置的右眼周区域位置信息；
眼周特征图扣取模块，包括：
左眼周特征图扣取模块，用于根据相对于虹膜位置的左眼周区域位置信息从所述共享特征图扣取得到左眼周特征图；左眼周特征图包括左眼虹膜图像和左眼虹膜外围左眼周区域图像；
右眼周特征图扣取模块，用于根据相对于虹膜位置的右眼周区域位置信息从所述共享特征图扣取得到右眼周特征图；右眼周特征图包括右眼虹膜图像和右眼虹膜外围右眼周区域图像；
第一卷积网络模块，包括：
第三卷积网络模块，用于根据所述左眼周特征图得到左眼周特征向量，将所述左眼周特征向量输入至所述第三卷积网络得到设定维数的左眼周特征向量；
第四卷积网络模块，用于根据所述右眼周特征图得到右眼周特征向量，将所述右眼周特征向量输入至所述第四卷积网络得到设定维数的右眼周特征向量；
特征融合模块，还用于将设定维数的左眼周特征向量、设定维数的右眼周特征向量、及所述设定维数的脸部特征向量融合在一起后输入至全连接层，得到所述设定维数的融合特征向量。
20.如权利要求19所述的身份识别装置，其特征在于，
所述深度卷积网络为Resnet网络；和/或，
所述覆盖人眼区域的人脸图像为近红外图像；和/或，
所述装置，还包括：第一归一化模块，用于根据相对于虹膜位置的眼周区域位置信息对所述眼周特征图进行归一化，根据归一化后的所述眼周特征图得到眼周特征向量；和/或，
所述装置，还包括：第二归一化模块，用于根据相对于虹膜位置的覆盖眼周区域的脸部区域位置信息对所述脸部特征图进行归一化；根据归一化后的所述脸部特征图得到脸部特征向量；和/或，
所述第二卷积网络、所述第三卷积网络、及所述第四卷积网络均为残差网络；和/或，
身份确定模块，还用于计算所述设定维数的眼周特征向量、所述设定维数的脸部特征向量、及所述设定维数的融合特征向量中各特征向量与多个已知身份对象中的每一者的覆盖眼周区域的脸部图像对应的所述设定维数的相应类型特征向量的相似度，对同一已知身份对象对应的各相似度加权求和得到总相似度，并根据最大总相似度所对应的已知身份对象的信息得到待识别对象的身份识别结果；或者，用于计算所述设定维数的融合特征向量与多个已知身份对象中的每一者的覆盖眼周区域的脸部图像对应的所述设定维数的融合特征向量的相似度，并根据最大相似度所对应的已知身份对象的信息得到待识别对象的身份识别结果。
21.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至17任一项所述方法的步骤。
22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至17任一项所述方法的步骤。
CN202010883587.0A 2020-08-28 2020-08-28 身份识别模型训练方法、测试方法、识别方法及装置 Active CN112163456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010883587.0A CN112163456B (zh) 2020-08-28 2020-08-28 身份识别模型训练方法、测试方法、识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010883587.0A CN112163456B (zh) 2020-08-28 2020-08-28 身份识别模型训练方法、测试方法、识别方法及装置

Publications (2)

Publication Number Publication Date
CN112163456A true CN112163456A (zh) 2021-01-01
CN112163456B CN112163456B (zh) 2024-04-09

Family

ID=73860347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010883587.0A Active CN112163456B (zh) 2020-08-28 2020-08-28 身份识别模型训练方法、测试方法、识别方法及装置

Country Status (1)

Country Link
CN (1) CN112163456B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283340A (zh) * 2021-05-25 2021-08-20 复旦大学 一种基于眼表特征的疫苗接种情况检测方法、装置及系统
CN115083006A (zh) * 2022-08-11 2022-09-20 北京万里红科技有限公司 虹膜识别模型训练方法、虹膜识别方法及装置
CN115620083A (zh) * 2022-09-29 2023-01-17 北京的卢深视科技有限公司 模型训练方法、人脸图像质量评价方法、设备及介质
CN117423147A (zh) * 2023-10-31 2024-01-19 深圳市华弘智谷科技有限公司 一种vr中多摄像头半脸识别方法、装置、智能眼镜及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017107957A1 (zh) * 2015-12-22 2017-06-29 中兴通讯股份有限公司 人脸图像的检索方法及装置
CN110110662A (zh) * 2019-05-07 2019-08-09 济南大学 驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备
CN110188670A (zh) * 2019-05-29 2019-08-30 广西释码智能信息技术有限公司 一种虹膜识别中的人脸图像处理方法、装置和计算设备
CN110705337A (zh) * 2018-07-10 2020-01-17 普天信息技术有限公司 一种针对眼镜遮挡的人脸识别方法及装置
CN110728179A (zh) * 2019-09-04 2020-01-24 天津大学 一种采用多路卷积神经网络的猪脸识别方法
CN111401283A (zh) * 2020-03-23 2020-07-10 北京达佳互联信息技术有限公司 面部识别方法及装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017107957A1 (zh) * 2015-12-22 2017-06-29 中兴通讯股份有限公司 人脸图像的检索方法及装置
CN110705337A (zh) * 2018-07-10 2020-01-17 普天信息技术有限公司 一种针对眼镜遮挡的人脸识别方法及装置
CN110110662A (zh) * 2019-05-07 2019-08-09 济南大学 驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备
CN110188670A (zh) * 2019-05-29 2019-08-30 广西释码智能信息技术有限公司 一种虹膜识别中的人脸图像处理方法、装置和计算设备
CN110728179A (zh) * 2019-09-04 2020-01-24 天津大学 一种采用多路卷积神经网络的猪脸识别方法
CN111401283A (zh) * 2020-03-23 2020-07-10 北京达佳互联信息技术有限公司 面部识别方法及装置、电子设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
LESLIE CHING OW TIONG 等: "Implementation of multimodal biometric recognition via multi-feature deep learning networks and feature fusion", 《MULTIMEDIA TOOLS AND APPLICATIONS》, 24 April 2019 (2019-04-24), pages 22743 - 22772, XP036854064, DOI: 10.1007/s11042-019-7618-0 *
N.S.LAKSHMIPRABHA: "Fusing Face and Periocular biometrics using Canonical correlation analysis", 《ARXIV》, 29 March 2016 (2016-03-29), pages 1 - 5 *
YOON GYO JUNG: "Periocular Recognition in the Wild Generalized Label Smoothing Regularization", 《IEEE SIGNAL PROCESSING LETTERS》, vol. 27, 5 August 2020 (2020-08-05), pages 1455 - 1459, XP011807633, DOI: 10.1109/LSP.2020.3014472 *
张琪: "基于虹膜和人脸融合的移动端身份识别", 《中国博士学位论文全文数据库信息科技辑》, 15 May 2019 (2019-05-15), pages 138 - 7 *
苗迪: "基于特征层与分数层的多模态生物特征融合", 《中国博士学位论文全文数据库信息科技辑》, 15 September 2017 (2017-09-15), pages 138 - 58 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283340A (zh) * 2021-05-25 2021-08-20 复旦大学 一种基于眼表特征的疫苗接种情况检测方法、装置及系统
CN113283340B (zh) * 2021-05-25 2022-06-14 复旦大学 一种基于眼表特征的疫苗接种情况检测方法、装置及系统
CN115083006A (zh) * 2022-08-11 2022-09-20 北京万里红科技有限公司 虹膜识别模型训练方法、虹膜识别方法及装置
CN115620083A (zh) * 2022-09-29 2023-01-17 北京的卢深视科技有限公司 模型训练方法、人脸图像质量评价方法、设备及介质
CN115620083B (zh) * 2022-09-29 2023-08-29 合肥的卢深视科技有限公司 模型训练方法、人脸图像质量评价方法、设备及介质
CN117423147A (zh) * 2023-10-31 2024-01-19 深圳市华弘智谷科技有限公司 一种vr中多摄像头半脸识别方法、装置、智能眼镜及存储介质

Also Published As

Publication number Publication date
CN112163456B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN112163456B (zh) 身份识别模型训练方法、测试方法、识别方法及装置
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
CN108615010B (zh) 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN104504366A (zh) 基于光流特征的笑脸识别系统及方法
CN111611851B (zh) 模型生成方法、虹膜检测方法及装置
CN106599854A (zh) 基于多特征融合的人脸表情自动识别方法
CN109583364A (zh) 图像识别方法及设备
CN110968734A (zh) 一种基于深度度量学习的行人重识别方法及装置
CN110263920A (zh) 卷积神经网络模型及其训练方法和装置、巡检方法和装置
CN111582092A (zh) 一种基于人体骨架的行人异常行为检测方法
CN114140844A (zh) 人脸静默活体检测方法、装置、电子设备及存储介质
CN115131503A (zh) 一种虹膜三维识别的健康监测方法及其系统
CN110909601B (zh) 一种基于深度学习的美瞳识别方法及系统
Lai et al. Four models for automatic recognition of left and right eye in fundus images
Kim et al. Facial landmark extraction scheme based on semantic segmentation
CN112861743A (zh) 一种掌静脉图像防伪方法、装置和设备
CN116030517A (zh) 模型训练方法、人脸识别方法、装置以及计算机存储介质
CN110991223B (zh) 一种基于迁移学习的美瞳识别方法及系统
Al-Shakarchy et al. Open and closed eyes classification in different lighting conditions using new convolution neural networks architecture
Zhao et al. Fast localization algorithm of eye centers based on improved hough transform
Yatbaz et al. Run-time introspection of 2d object detection in automated driving systems using learning representations
Afonso et al. Underwater object recognition: A domain-adaption methodology of machine learning classifiers
CN112200005A (zh) 一种社区监控场景下基于穿着特征和人体特征的行人性别识别方法
CN118135496B (zh) 一种基于双流卷积神经网络的课堂行为识别方法
Suguna Transfer Learning based Diabetic Retinopathy Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant