CN113221820B - 一种对象识别方法、装置、设备及介质 - Google Patents

一种对象识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN113221820B
CN113221820B CN202110590975.4A CN202110590975A CN113221820B CN 113221820 B CN113221820 B CN 113221820B CN 202110590975 A CN202110590975 A CN 202110590975A CN 113221820 B CN113221820 B CN 113221820B
Authority
CN
China
Prior art keywords
preset
subspace
face
subspaces
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110590975.4A
Other languages
English (en)
Other versions
CN113221820A (zh
Inventor
徐国智
朱浩齐
李雨珂
孙景润
杨卫强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Netease Zhiqi Technology Co Ltd
Original Assignee
Hangzhou Netease Zhiqi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Netease Zhiqi Technology Co Ltd filed Critical Hangzhou Netease Zhiqi Technology Co Ltd
Priority to CN202110590975.4A priority Critical patent/CN113221820B/zh
Publication of CN113221820A publication Critical patent/CN113221820A/zh
Application granted granted Critical
Publication of CN113221820B publication Critical patent/CN113221820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及了一种对象识别方法、装置、设备及介质,用于解决现有对包含特征人物的图像进行管控的准确率低且成本高的问题。由于本公开预先训练有子空间选择模型,通过该预先训练的子空间选择模型,可以基于获取到的目标人脸图像的第一人脸特征,快速且准确地确定该第一人脸特征所归属的第一子空间,无需将该第一人脸特征与预设的所有第一子空间中的第二人脸特征进行匹配,减少了所需耗费的计算量,方便后续快速基于该第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对第一人脸特征进行二次识别,提高了对第一人脸特征识别的效率以及准确性,减少了人工成本。

Description

一种对象识别方法、装置、设备及介质
技术领域
本公开涉及图像处理技术领域,尤其涉及一种对象识别方法、装置、设备及介质。
背景技术
随着科技的进步,越来越多的用户可以将视频或者图像分享到互联网上,以供大家分享。而在共享资源的同时,对于各用户共享到互联网上的视频或图像也需要受法律、法规的约束。如果某些特定人物以不合适的时间、或不合适的方式出现在用户所上传的视频或图像中,则很可能会给社会带来不好的影响。
相关技术中,为了可以将用户所上传的包含有特定人物的图像、或上传的视频中包含有特定人物的图像进行拦截或控制,一般是通过人工的方式对大量的视频或图像进行审核并管控。由于视频或图像具有数据量大、实时性要求高的特点,采用上述方式存在成本投入高、且无法消除人为理解偏差以及人工疲倦等造成误差检测等缺点。因此,如何有效对包含有特定人物的图像进行管控是近几年来人们日益关注的问题。
发明内容
本公开提供了一种对象识别方法、装置、设备及介质,用于解决现有对包含特征人物的图像进行管控的准确率低且成本高的问题。
本公开提供了一种对象识别方法,所述方法包括:
获取目标人脸图像的第一人脸特征;
若通过预先训练的子空间选择模型,识别所述第一人脸特征归属于第一子空间,则基于所述第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对所述第一人脸特征进行二次识别。
在一种可能的实施方式中,所述获取目标人脸图像的第一人脸特征包括:
通过预先训练的人脸特征模型,获取所述目标人脸图像的第一人脸特征。
在一种可能的实施方式中,所述预先训练的人脸特征模型是基于预先训练的身份识别模型中特征提取层所对应的网络确定的。
在一种可能的实施方式中,所述预先训练的身份识别模型是对待训练的身份识别模型采用循环迭代的方式执行以下操作,直至满足迭代停止条件为止得到的:
对于第一样本集中的每个第一样本图像,均执行以下操作:
获取任一所述第一样本图像;所述第一样本图像包含有人脸且对应有第一标识信息,所述第一标识信息用于表征所述第一样本图像所实际归属的对象;
通过所述待训练的身份识别模型,基于所述第一样本图像,获取所述第一样本图像的第二标识信息;所述第二标识信息用于表征由所述待训练的身份识别模型预测得到的所述第一样本图像所潜在归属的对象;
根据所述第一标识信息与对应的第二标识信息,确定第一损失值,以根据所述每个第一样本图像在当前迭代的第一损失值,调整所述待训练的身份识别模型的参数。
在一种可能的实施方式中,所述预先训练的子空间选择模型是对待训练的子空间选择模型采用循环迭代的方式执行以下操作,直至满足迭代停止条件为止得到的:
对于第二样本集中的每个样本人脸特征,均执行以下操作:
获取任一所述样本人脸特征;所述样本人脸特征为归属于任一预设子空间的人脸特征,所述预设子空间包括所述第一子空间;所述样本人脸特征对应有所述样本人脸特征所实际归属的预设子空间的第一概率值;
通过待训练的子空间选择模型,基于所述样本人脸特征,确定所述样本人脸特征对应的第二概率值;所述第二概率值用于标识由所述待训练的子空间选择模型预测得到的,所述样本人脸特征分别归属于每个所述预设子空间的概率值;
根据所述第二概率值以及对应的第一概率值,确定第二损失值,以根据所述每个样本人脸特征在当前迭代的第二损失值,调整所述待训练的子空间选择模型的参数。
在一种可能的实施方式中,所述基于所述第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对所述第一人脸特征进行二次识别,包括:
确定所述第一人脸特征与所述归属的第一子空间的聚类中心的相似度;
若所述相似度大于预设的相似度阈值,则确定所述第一人脸特征归属于所述归属的第一子空间;
若所述相似度不大于预设的相似度阈值,则确定第一人脸特征不归属于所述归属的第一子空间。
在一种可能的实施方式中,所述基于所述第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对所述第一人脸特征进行二次识别,包括:
确定所述第一人脸特征分别与所述归属的第一子空间中非聚类中心的第二人脸特征的相似度;
确定对应相似度大于预设的相似度阈值的第二人脸特征的目标数量;
若所述目标数量大于预设的数量阈值,则确定所述第一人脸特征归属于所述归属的第一子空间;
若所述目标数量不大于预设的数量阈值,则确定所述第一人脸特征不归属于所述归属的第一子空间。
在一种可能的实施方式中,若确定所述第一人脸特征归属于所述归属的第一子空间,所述方法还包括:
根据所述归属的第一子空间对应的预置处理,对包含所述目标人脸图像的图像进行处理。
在一种可能的实施方式中,所述根据所述归属的第一子空间对应的预置处理,对包含所述目标人脸图像的图像进行处理,包括:
若所述归属的第一子空间对应的预置处理为拦截处理,则在预设的管理环境中对包含有所述目标人脸图像的图像进行拦截。
在一种可能的实施方式中,所述归属的第一子空间中的第二人脸特征是通过软子空间聚类算法,对第三样本集中的每个第三人脸特征进行聚类得到的。
在一种可能的实施方式中,所述通过软子空间聚类算法,对第三样本集中的每个第三人脸特征进行聚类,包括:
从所述每个第三人脸特征中,选取n个第三人脸特征分别作为第一轮n个预设子空间的聚类中心,并将预设的n个预设子空间分别对应的向量作为第一轮n个预设子空间的权重向量,然后采用循环多轮聚类的方式执行以下操作,直至满足聚类停止条件为止,得到分别归属于n个预设子空间的第三人脸特征、以及所述n个预设子空间的聚类中心,其中,所述n为大于1的整数;
根据所述每个第三人脸特征、当前一轮的n个预设子空间的聚类中心以及权重向量,分别确定所述每个第三人脸特征与当前一轮的各个聚类中心之间的加权距离;
对于所述每个第三人脸特征,根据该第三人脸特征对应的每个所述加权距离,将该第三人脸特征划分到最小加权距离所对应的预设子空间;
根据当前一轮分别归属于n个预设子空间的第三人脸特征、以及当前一轮的n个预设子空间的权重向量,分别确定当前一轮分别归属于n个预设子空间的加权平均特征向量,并将n个预设子空间分别对应的加权平均特征向量确定为下一轮n个预设子空间的聚类中心;
根据下一轮n个预设子空间的聚类中心以及当前一轮分别归属于n个预设子空间的第三人脸特征,对当前一轮的n个预设子空间的权重向量进行循环迭代更新,将直至满足更新停止条件为止得到的n个预设子空间的权重向量确定为下一轮n个预设子空间的权重向量。
在一种可能的实施方式中,通过如下公式根据所述每个第三人脸特征、当前一轮的n个预设子空间的聚类中心以及权重向量,分别确定所述每个第三人脸特征与当前一轮的各个聚类中心之间的加权距离,包括:
Figure BDA0003089537900000051
其中,Lw为第j个第三人脸特征与第i个子空间的聚类中心之间的加权距离,wik为第i个预设子空间的权重向量中的第k个分量,xjk表示第j个第三人脸特征中包含的第k个分量,vik表示第i个子空间的聚类中心中的第k个分量,k和D均为大于等于1的整数,D为第i个子空间的聚类中心中包含的分量的总数量,j为大于等于1,且小于等于J的整数,J为第三人脸特征的总数量,i为大于等于1,且小于等于n的整数。
在一种可能的实施方式中,通过如下公式根据当前一轮分别归属于n个预设子空间的第三人脸特征、以及当前一轮的n个预设子空间的权重向量,分别确定当前一轮分别归属于n个预设子空间的加权平均特征向量,包括:
Figure BDA0003089537900000052
其中,vi表示第i个子空间对应的加权平均特征向量,m和M均为大于等于1的整数,M表示当前一轮分别归属于n个预设子空间的第三人脸特征的总数量,xm表示当前一轮分别归属于第i个预设子空间的第m个第三人脸特征,Ui表示前一轮的第i个预设子空间的权重向量,i为大于等于1,且小于等于n的整数。
在一种可能的实施方式中,所述根据下一轮n个预设子空间的聚类中心以及当前一轮分别归属于n个预设子空间的第三人脸特征,对当前一轮的n个预设子空间的权重向量进行循环迭代更新,包括:
根据所述每个第三人脸特征、下一轮n个预设子空间的聚类中心、以及当前迭代n个预设子空间的权重向量,分别确定所述每个第三人脸特征与下一轮的各个聚类中心之间的加权距离;
根据每个所述加权距离、预设的所述每个第三人脸特征分别归属于n个预设子空间的概率值、以及当前迭代n个预设子空间的权重向量,确定目标参数值;
根据所述目标参数值,对当前迭代n个预设子空间的权重向量进行更新。
在一种可能的实施方式中,通过如下公式根据每个所述加权距离、预设的所述每个第三人脸特征分别归属于n个预设子空间的概率值、以及当前迭代n个预设子空间的权重向量,确定目标参数值,包括:
Figure BDA0003089537900000061
其中,所述JFSC表示目标参数值,所述Lw′表示第j个第三人脸特征与下一轮第i个预设子空间的聚类中心之间的加权距离,Uj表示预设的第j个第三人脸特征分别归属于n个预设子空间的概率值,wik表示当前迭代第i个预设子空间的权重向量中第k个分量,τ为wik的预设第一调整系数,ε0为wik的预设第二调整系数,Uj中包含的每个概率值均大于等于0,小于等于1,且Uj中包含的每个概率值之和为1,每个第三人脸特征归属于第i个预设子空间的概率值之和大于0,小于J,0≤wik≤1,
Figure BDA0003089537900000062
J为第三人脸特征的总数量,j和J大于等于1的整数,i为大于等于1,且小于等于n的整数,k和D均为大于等于1的整数,D为第i个子空间的聚类中心中包含的分量的总数量。
本公开提供了一种对象识别装置,在一种可能的实施方式中,所述装置包括:
获取单元,用于获取目标人脸图像的第一人脸特征;
处理单元,用于若通过预先训练的子空间选择模型,识别所述第一人脸特征归属于第一子空间,则基于所述第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对所述第一人脸特征进行二次识别。
在一种可能的实施方式中,所述获取单元,具体用于通过预先训练的人脸特征模型,获取所述目标人脸图像的第一人脸特征。
在一种可能的实施方式中,所述装置还包括:第一训练单元;
所述第一训练单元,用于基于预先训练的身份识别模型中特征提取层所对应的网络,确定预先训练的人脸特征模型。
在一种可能的实施方式中,所述第一训练单元,还用于对待训练的身份识别模型采用循环迭代的方式执行以下操作,直至满足迭代停止条件为止得到的:
对于第一样本集中的每个第一样本图像,均执行以下操作:
获取任一所述第一样本图像;所述第一样本图像包含有人脸且对应有第一标识信息,所述第一标识信息用于表征所述第一样本图像所实际归属的对象;
通过所述待训练的身份识别模型,基于所述第一样本图像,获取所述第一样本图像的第二标识信息;所述第二标识信息用于表征由所述待训练的身份识别模型预测得到的所述第一样本图像所潜在归属的对象;
根据所述第一标识信息与对应的第二标识信息,确定第一损失值,以根据所述每个第一样本图像在当前迭代的第一损失值,调整所述待训练的身份识别模型的参数。
在一种可能的实施方式中,所述装置还包括:第二训练单元;
所述第二训练单元,用于对待训练的子空间选择模型采用循环迭代的方式执行以下操作,直至满足迭代停止条件为止得到的:
对于第二样本集中的每个样本人脸特征,均执行以下操作:
获取任一所述样本人脸特征;所述样本人脸特征为归属于任一预设子空间的人脸特征,所述预设子空间包括所述第一子空间;所述样本人脸特征对应有所述样本人脸特征所实际归属的预设子空间的第一概率值;
通过待训练的子空间选择模型,基于所述样本人脸特征,确定所述样本人脸特征对应的第二概率值;所述第二概率值用于标识由所述待训练的子空间选择模型预测得到的,所述样本人脸特征分别归属于每个所述预设子空间的概率值;
根据所述第二概率值以及对应的第一概率值,确定第二损失值,以根据所述每个样本人脸特征在当前迭代的第二损失值,调整所述待训练的子空间选择模型的参数。
在一种可能的实施方式中,所述处理单元,具体用于确定所述第一人脸特征与所述归属的第一子空间的聚类中心的相似度;若所述相似度大于预设的相似度阈值,则确定所述第一人脸特征归属于所述归属的第一子空间;若所述相似度不大于预设的相似度阈值,则确定第一人脸特征不归属于所述归属的第一子空间。
在一种可能的实施方式中,所述处理单元,具体用于确定所述第一人脸特征分别与所述归属的第一子空间中非聚类中心的第二人脸特征的相似度;确定对应相似度大于预设的相似度阈值的第二人脸特征的目标数量;若所述目标数量大于预设的数量阈值,则确定所述第一人脸特征归属于所述归属的第一子空间;若所述目标数量不大于预设的数量阈值,则确定所述第一人脸特征不归属于所述归属的第一子空间。
在一种可能的实施方式中,所述处理单元,还用于若确定所述第一人脸特征归属于所述归属的第一子空间,根据所述归属的第一子空间对应的预置处理,对包含所述目标人脸图像的图像进行处理。
在一种可能的实施方式中,所述处理单元,具体用于若所述归属的第一子空间对应的预置处理为拦截处理,则在预设的管理环境中对包含有所述目标人脸图像的图像进行拦截。
在一种可能的实施方式中,所述装置还包括:预处理单元;
所述预处理单元,用于通过软子空间聚类算法,对第三样本集中的每个第三人脸特征进行聚,以得到所述归属的第一子空间中的第二人脸特征。
在一种可能的实施方式中,所述预处理单元,具体用于从所述每个第三人脸特征中,选取n个第三人脸特征分别作为第一轮n个预设子空间的聚类中心,并将预设的n个预设子空间分别对应的向量作为第一轮n个预设子空间的权重向量,然后采用循环多轮聚类的方式执行以下操作,直至满足聚类停止条件为止,得到分别归属于n个预设子空间的第三人脸特征、以及所述n个预设子空间的聚类中心,其中,所述n为大于1的整数:
根据所述每个第三人脸特征、当前一轮的n个预设子空间的聚类中心以及权重向量,分别确定所述每个第三人脸特征与当前一轮的各个聚类中心之间的加权距离;
对于所述每个第三人脸特征,根据该第三人脸特征对应的每个所述加权距离,将该第三人脸特征划分到最小加权距离所对应的预设子空间;
根据当前一轮分别归属于n个预设子空间的第三人脸特征、以及当前一轮的n个预设子空间的权重向量,分别确定当前一轮分别归属于n个预设子空间的加权平均特征向量,并将n个预设子空间分别对应的加权平均特征向量确定为下一轮n个预设子空间的聚类中心;
根据下一轮n个预设子空间的聚类中心以及当前一轮分别归属于n个预设子空间的第三人脸特征,对当前一轮的n个预设子空间的权重向量进行循环迭代更新,将直至满足更新停止条件为止得到的n个预设子空间的权重向量确定为下一轮n个预设子空间的权重向量。
在一种可能的实施方式中,所述预处理单元,具体用于通过如下公式根据所述每个第三人脸特征、当前一轮的n个预设子空间的聚类中心以及权重向量,分别确定所述每个第三人脸特征与当前一轮的各个聚类中心之间的加权距离,包括:
Figure BDA0003089537900000091
其中,Lw为第j个第三人脸特征与第i个子空间的聚类中心之间的加权距离,wik为第i个预设子空间的权重向量中的第k个分量,xjk表示第j个第三人脸特征中包含的第k个分量,vik表示第i个子空间的聚类中心中的第k个分量,k和D均为大于等于1的整数,D为第i个子空间的聚类中心中包含的分量的总数量,j为大于等于1,且小于等于J的整数,J为第三人脸特征的总数量,i为大于等于1,且小于等于n的整数。
在一种可能的实施方式中,所述预处理单元,具体用于通过如下公式根据当前一轮分别归属于n个预设子空间的第三人脸特征、以及当前一轮的n个预设子空间的权重向量,分别确定当前一轮分别归属于n个预设子空间的加权平均特征向量,包括:
Figure BDA0003089537900000101
其中,vi表示第i个子空间对应的加权平均特征向量,m和M均为大于等于1的整数,M表示当前一轮分别归属于n个预设子空间的第三人脸特征的总数量,xm表示当前一轮分别归属于第i个预设子空间的第m个第三人脸特征,Ui表示前一轮的第i个预设子空间的权重向量,i为大于等于1,且小于等于n的整数。
在一种可能的实施方式中,所述预处理单元,具体用于根据所述每个第三人脸特征、下一轮n个预设子空间的聚类中心、以及当前迭代n个预设子空间的权重向量,分别确定所述每个第三人脸特征与下一轮的各个聚类中心之间的加权距离;根据每个所述加权距离、预设的所述每个第三人脸特征分别归属于n个预设子空间的概率值、以及当前迭代n个预设子空间的权重向量,确定目标参数值;
根据所述目标参数值,对当前迭代n个预设子空间的权重向量进行更新。
在一种可能的实施方式中,所述预处理单元,具体用于通过如下公式根据每个所述加权距离、预设的所述每个第三人脸特征分别归属于n个预设子空间的概率值、以及当前迭代n个预设子空间的权重向量,确定目标参数值,包括:
Figure BDA0003089537900000102
其中,所述JFSC表示目标参数值,所述Lw′表示第j个第三人脸特征与下一轮第i个预设子空间的聚类中心之间的加权距离,Uj表示预设的第j个第三人脸特征分别归属于n个预设子空间的概率值,wik表示当前迭代第i个预设子空间的权重向量中第k个分量,τ为wik的预设第一调整系数,ε0为wik的预设第二调整系数,Uj中包含的每个概率值均大于等于0,小于等于1,且Uj中包含的每个概率值之和为1,每个第三人脸特征归属于第i个预设子空间的概率值之和大于0,小于J,0≤wik≤1,
Figure BDA0003089537900000111
J为第三人脸特征的总数量,j和J大于等于1的整数,i为大于等于1,且小于等于n的整数,k和D均为大于等于1的整数,D为第i个子空间的聚类中心中包含的分量的总数量。
本公开提供了一种电子设备,所述电子设备包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述方法的步骤。
本公开提供了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一所述方法的步骤。
由于本公开预先训练有子空间选择模型,通过该预先训练的子空间选择模型,可以基于获取到的目标人脸图像的第一人脸特征,快速且准确地确定该第一人脸特征所归属的第一子空间,无需将该第一人脸特征与预设的所有第一子空间中的第二人脸特征进行匹配,减少了所需耗费的计算量,方便后续快速基于该第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对第一人脸特征进行二次识别,提高了对第一人脸特征识别的效率以及准确性,减少了人工成本。
附图说明
此处所说明的附图用来提供对本公开的进一步理解,构成本公开的一部分,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。在附图中:
图1为本公开实施例提供的一种对象识别过程示意图;
图2为本公开实施例提供的一种身份识别模型的训练过程示意图;
图3为本公开实施例提供的一种子空间选择模型的架构示意图;
图4为本公开实施例提供的一种子空间选择模型的训练过程示意图;
图5为本公开实施例提供的具体的对象识别方法的一种流程示意图;
图6为本公开实施例提供的一种确定第一子空间的第二人脸特征的过程示意图;
图7为本公开实施例提供的一种对象识别装置的结构示意图;
图8为本公开实施例提供的一种电子设备结构示意图。
具体实施方式
下面将结合附图对本公开作进一步地详细描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本公开保护的范围。
本领域技术人员知道,本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
在本文中,需要理解的是,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
为了方便理解,下面对本公开实施例中涉及的部分概念进行解释:
人脸特征提取:利用特征提取算法,从人脸图像中提取一些数字来表征人脸的特征信息。
人脸匹配:提取到待检测人脸的人脸特征后,将该人脸特征与保存在人脸库中的人脸特征进行匹配,以根据匹配结果,确定该待检测人脸的身份信息。
子空间:子空间指的是维度小于全空间的部分空间,由多个带有相同特定性质的特征向量的集合确定。
软子空间聚类算法:聚类分析是数据挖掘领域中的关键技术之一,在电子商务、信息过滤、生物信息学、模式识别等领域得到广泛应用。软子空间聚类算法不需要为每个特征向量分配到一个精确的子空间,而是在聚类过程中确定每个特征向量中的每个分量归属于每个子空间的权值,以通过这些权值来衡量特征向量中的每个分量在不同子空间中的贡献。可以理解的是,软子空间聚类算法为每个特征向量找到一个模糊子空间。
随着互联网技术的快速发展,图像在社交平台、商业广告等各类信息承载媒体上的占比越来越大。对于各用户共享到互联网上的视频或图像也需要受法律、法规的约束。如果某些特定人物以不合适的时间、或不合适的方式出现在用户所上传的视频或图像中,则很可能会给社会带来不好的影响。因此,如何对用户所上传的包含有特定人物的图像、或上传的视频中包含有特定人物的图像进行拦截或控制,是近几年来人们比较关注的问题。
为了解决上述的问题,一般会采用如下两种方式:
方式一、通过人工的方式对大量的视频或图像进行审核并管控。由于视频或图像具有数据量大、实时性要求高的特点,采用该种方式会存在成本投入高、且无法消除人为理解偏差以及人工疲倦等造成误差检测等缺点。
方式二、获取目标人脸图像的第一人脸特征,基于预先训练的投影方向对第一人脸特征进行降维。确定降维后的第一人脸特征与保存的人脸库中的每个第二人脸特征的相似度,即进行人脸匹配过程。根据每个相似度,确定该目标人脸图像的识别结果。对于该种方式,虽然对第一人脸特征进行降维可以减少人脸匹配过程的计算量,但将第一人脸特征与人脸库中的所有第二人脸特征进行匹配的过程,会耗费很多的计算量的。并且,由于可能会受到环境中的光线、人脸角度等问题的影响,会极大地影响人脸匹配过程的准确性,造成目标人脸图像的识别结果结果准确率低。
因此,为了解决现有对包含特征人物的图像进行管控的准确率低且成本高的问题的问题,本公开提供了一种对象识别方法、装置、设备及介质。由于本公开预先训练有子空间选择模型,通过该预先训练的子空间选择模型,可以基于获取到的目标人脸图像的第一人脸特征,快速且准确地确定该第一人脸特征所归属的第一子空间,无需将该第一人脸特征与预设的所有第一子空间中的第二人脸特征进行匹配,减少了所需耗费的计算量,方便后续快速基于该第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对第一人脸特征进行二次识别,提高了对第一人脸特征识别的效率以及准确性,减少了人工成本。
图1为本公开实施例提供的一种对象识别过程示意图,该过程包括:
S101:获取目标人脸图像的第一人脸特征。
本公开提供的对象识别方法可应用于电子设备,该电子设备可以是服务器,也可以是智能设备,比如,手机、电脑、监控设备等。具体实施过程中,可以根据实际需求进行灵活设置,在此不做具体限定。
其中,目标人脸图像为包含有人脸的图像。电子设备可以通过如下方式获取目标人脸图像:
方式一、目标人脸图像可以根据电子设备从工作环境中采集到的包含有人脸的图像确定。例如,电子设备拍摄到的图像,电子设备从待发布的视频中截取到的图像,从待发布的图像中获取到的图像等。
可选的,电子设备可以将采集到的图像直接确定为目标人脸图像,也可以对采集到的图像进行人脸检测,将该图像中每个包含有人脸的区域确定为目标人脸图像。
方式二、目标人脸图像也可以根据电子设备接收到的其它设备发送的图像确定。
可选的,电子设备可以将接收到的图像直接确定为目标人脸图像,也可以对接收到的图像进行人脸检测,将该图像中每个包含有人脸的区域确定为目标人脸图像。
其中,具体的对图像进行人脸检测的方法可以是通过人脸检测算法,比如,LBP算法等,也可以是通过人脸检测模型获取,该人脸检测模型的结构可以是ResNet、VGGNet等。具体实施过程中,可以根据实际需求进行灵活设置,在此不做具体限定。
当获取到目标人脸图像后,可以获取该目标人脸图像中人脸的第一人脸特征。
在一种可能的实施方式,可以通过特征提取算法,比如,LBP算法等,提取目标人脸图像中人脸的第一人脸特征。
在另一种可能的实施方式中,还可以通过预先训练的人脸特征模型,获取所述目标人脸图像的第一人脸特征。其中,该人脸特征模型的结构可以是ResNet、VGGNet等。
在一种示例中,为了获取到预先训练的人脸特征模型,所述预先训练的人脸特征模型是基于预先训练的身份识别模型中特征提取层所对应的网络确定的。可以理解的是,预先对身份识别模型进行训练,当获取到训练完成的身份识别模型后,可以根据身份识别模型中特征提取层所对应的网络,确定该人脸特征模型。其中,该身份识别模型至少包括特征提取层以及身份分类层。特征提取层与身份分类层连接。通过特征提取层,可以提取输入的人脸图像中的人脸特征。通过身份分类层,可以基于人脸特征,确定该输入的人脸图像的身份标识。
示例性的,在本公开实施例中,是使用第一样本集中的各个第一样本图像对待训练的身份识别模型进行训练的。为了方便说明如何获取到预先训练的身份识别模型,现结合图2进行说明,图2为本公开实施例提供的一种身份识别模型的训练过程示意图,该过程包括:
S201:获取第一样本集中的任一第一样本图像;所述第一样本图像包含有人脸且对应有第一标识信息,所述第一标识信息用于表征所述第一样本图像所实际归属的对象。
S202:通过所述待训练的身份识别模型,基于所述第一样本图像,获取所述第一样本图像的第二标识信息;所述第二标识信息用于表征由所述待训练的身份识别模型预测得到的所述第一样本图像所潜在归属的对象。
S203:根据所述第一标识信息与对应的第二标识信息,确定第一损失值,以根据每个第一样本图像在当前迭代的第一损失值,调整所述待训练的身份识别模型的参数。
为了准确地获取第一人脸特征,可以预先收集大量的包含有人脸的人脸图像,将这些人脸图像作为第一样本集中的第一样本图像,并标注每个第一样本图像对应的第一标识信息,以方便后续根据预先获取的第一样本集中的每个第一样本图像及其对应的第一标识信息,对待训练的身份识别模型进行训练。其中,第一标识信息是用于标识对应第一样本图像对应的对象的身份特征,其可以用数字、字母、字符串等进行表示,也可以用其它形式进行表示,只需保证不同的对象的第一样本图像的第一标识信息不同即可。
此外,为了增加第一样本图像的多样性,同一第一标识信息的第一样本图像包括不同角度的第一样本图像,比如包含正脸的第一样本图像、包含向右转45度的侧脸的第一样本图像,包含向左转45度的侧脸的第一样本图像等。
需要说明的是,该训练身份识别模型的设备可以与后续进行对象识别的电子设备相同,也可以不同。
可选的,为了进一步增强身份识别模型的鲁棒性,进而提高人脸特征模型的鲁棒性,可以对预先收集的大量的包含有人脸的人脸图像(记为原始人脸图像),对一个或多个原始人脸图像进行增强处理。比如,对原始人脸图像进行裁剪,采用一个或多个不同的卷积核对原始人脸图像进行高斯模糊处理,对原始人脸图像进行下采样处理等,然后将增强处理后的人脸图像以及原始人脸图像均确定为第一样本集中的第一样本图像,以根据增强处理后的人脸图像以及原始人脸图像,共同对待训练的身份识别模型进行训练。
通过待训练的身份识别模型,可以识别第一样本图像对应的标识信息(为了方便说明,记为第二标识信息)。其中,第二标识信息用于表征由所述待训练的身份识别模型预测得到的所述第一样本图像所潜在归属的对象。根据该第二标识信息以及该第一样本图像对应的第一标识信息,可以确定第一损失值,以根据每个第一样本图像在当前迭代的第一损失值,调整待训练的身份识别模型的参数。
在一种可能的实施方式中,可以通过如下公式确定每个第一样本图像在当前迭代的第一损失值:
Figure BDA0003089537900000171
其中,N为第一样本集中的第一样本图像的总数量,s为预设的特征分布的超球体半径,m为预设的角度间隔常数,yi表征第i个第一样本图像为第一标识信息与第二标识信息一致时,j表征第一标识信息与第二标识信息不一致的第j个第一样本图像,θ为通过待训练的身份识别模型中的特征提取层获取到的人脸特征,与待训练的身份识别模型中的权重向量的夹角。
由于第一样本集中包含大量的第一样本图像,对每个第一样本图像都进行上述操作,以实现对待训练的身份识别模型进行循环迭代的训练。当满足预设的收敛条件时,模型训练完成。
其中,满足预设的收敛条件可以为第一样本集中的第一样本图像通过身份识别模型,被正确识别的第一样本图像个数大于设定数量,或对身份识别模型进行训练的迭代次数达到设置的最大迭代次数等。具体实施中可以灵活进行设置,在此不做具体限定。
在一种可能的实施方式中,在进行身份识别模型训练时,可以把第一样本集中的第一样本图像分为训练样本和测试样本,先基于训练样本对身份识别模型进行训练,再基于测试样本对上述已训练的身份识别模型的可靠程度进行验证。
当获取到训练完成的身份识别模型以后,后续可以通过身份识别模型中的特征提取层所对应的网络,获取第一人脸特征。例如,该第一人脸特征可以为512维的列向量。
S102:若通过预先训练的子空间选择模型,识别所述第一人脸特征归属于第一子空间,则基于所述第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对所述第一人脸特征进行二次识别。
为了方便确定第一人脸特征所归属的子空间,预设有子空间以及预先训练有子空间选择模型。当基于上述实施例获取到第一人脸特征后,可以将该第一人脸特征输入到预先训练的子空间选择模型。通过该预先训练的子空间选择模型,对输入的第一人脸特征进行相应的处理,确定该第一人脸特征归属于预设的哪一个子空间。
在一种示例中,该子空间选择模型可以是由全连接网络组成的神经网络分类器。
例如,该子空间选择模型的架构示意图如图3所示,包括输入层、隐藏层以及输出层。其中,输入层与隐藏层连接,隐藏层与输出层连接。其中,隐藏层主要由卷积层、全连接层等构成,隐藏层可以从提取第一人脸特征中更高维度、更抽象的特征。因此,子空间选择模型使用输入层读取第一人脸特征,使用隐藏层从第一人脸特征中提取高维特征,然后通过输出层对该高维特征进行处理,确定该第一人脸特征所归属的子空间。
在本公开实施例中,是使用第二样本集中的各个样本人脸特征对待训练的子空间选择模型进行训练的。图4为本公开实施例提供的一种子空间选择模型的训练过程示意图,该过程包括:
S401:获取第二样本集中任一所述样本人脸特征;所述样本人脸特征为归属于任一预设子空间的人脸特征,所述预设子空间包括所述第一子空间;所述样本人脸特征对应有所述样本人脸特征所实际归属的预设子空间的第一概率值。
S402:通过待训练的子空间选择模型,基于所述样本人脸特征,确定所述样本人脸特征对应的第二概率值;所述第二概率值用于标识由所述待训练的子空间选择模型预测得到的,所述样本人脸特征分别归属于每个所述预设子空间的概率值。
S403:根据所述第二概率值以及对应的第一概率值,确定第二损失值,以根据所述每个样本人脸特征在当前迭代的第二损失值,调整所述待训练的子空间选择模型的参数。
为了准确地确定第一人脸特征所归属的子空间,可以预先确定大量的包含有人脸的人脸图像的人脸特征,将这些人脸特征作为第二样本集中的样本人脸特征,并标注每个样本人脸特征所实际归属的预设子空间的第一概率值,以方便后续根据预先获取的第二样本集中的每个样本人脸特征及其对应的第一概率值,对待训练的子空间选择模型进行训练。
需要说明的是,该大量的包含有人脸的人脸图像的人脸特征均归属于任一预设子空间。
此外,为了增加样本人脸特征的多样性,同一人脸的多张人脸图像中该人脸的角度尽可能的多,比如包含正脸的人脸、包含向右转45度的侧脸的人脸,包含向左转45度的侧脸的人脸等。
需要说明的是,该训练子空间选择模型的设备可以与后续进行对象识别的电子设备相同,也可以不同。
可选的,为了进一步增强子空间选择模型的鲁棒性,进而对象识别的准确性,可以采用上述实施例中的方法对包含有人脸的人脸图像进行增强处理。具体处理过程可参见上述实施例,重复之处不做赘述。
通过待训练的子空间选择模型,可以识别样本人脸特征对应的概率值(为了方便说明,记为第二概率值)。其中,第二概率值标识由待训练的子空间选择模型预测得到的,该样本人脸特征分别归属于每个预设子空间的概率值。根据该第二概率值以及该样本人脸特征对应的第一概率值,可以确定第二损失值,以根据每个样本人脸特征在当前迭代的第二损失值,调整待训练的子空间选择模型的参数。
由于第二样本集中包含大量的样本人脸特征,对每个样本人脸特征都进行上述操作,以实现对待训练的子空间选择模型进行循环迭代的训练。当满足预设的收敛条件时,模型训练完成。
其中,满足预设的收敛条件可以为每个样本人脸特征在当前迭代的第二损失值小于预设的损失值阈值,或对子空间选择模型进行训练的迭代次数达到设置的最大迭代次数等。具体实施中可以灵活进行设置,在此不做具体限定。
在一种可能的实施方式中,在进行子空间选择模型训练时,可以把第二样本集中的样本人脸特征分为训练样本和测试样本,先基于训练样本对子空间选择模型进行训练,再基于测试样本对上述已训练的子空间选择模型的可靠程度进行验证。
在一种示例中,预设的子空间可以包括第一子空间和第二子空间。其中,归属于第一子空间的第一人脸特征是需要进行管控的,归属于第二子空间的第二人脸特征是不需要进行管控的。基于此,若通过预先训练的子空间选择模型,确定该第一人脸特征归属的子空间为第二子空间,说明该第一人脸特征可能是不需要进行管控的对象的人脸特征,则可以采用上述实施例中的方式,对下一张目标人脸图像进行对象识别。
可选的,为了进一步保证对目标人脸图像进行识别的准确性,避免将需要管控的对象的人脸图像误识别为不需要管控的对象的人脸图像,若通过预先训练的子空间选择模型,确定该第一人脸特征归属的子空间为第二子空间,可以通过预设的提醒方式通知工作人员对该目标人脸图像进行人工识别。比如,通过短信、邮件等提醒方式通知工作人员。
若通过预先训练的子空间选择模型,确定该第一人脸特征归属的子空间为第一子空间,说明该第一人脸特征可能是需要进行管控的对象的人脸特征,则可以直接确定该第一人脸特征归属于该归属的第一子空间,并将该归属的第一子空间所对应的身份确定为目标人脸图像中人脸的身份。
比如,若通过预先训练的子空间选择模型,确定该第一人脸特征归属的子空间为第一子空间1,说明该第一人脸特征可能是需要进行管控的对象的人脸特征,则可以直接确定该第一人脸特征归属于该归属的第一子空间1,并将该归属的第一子空间1所对应的身份A确定为目标人脸图像中人脸的身份。
在一种示例中,为了提高第一人脸特征的识别结果的准确性,若通过预先训练的子空间选择模型,确定该第一人脸特征归属的子空间为第一子空间,则可以基于该第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对该第一人脸特征进行二次识别。
采用上述的方法,可以快速且准确地确定该第一人脸特征所归属的第一子空间,无需将该第一人脸特征与预设的所有第一子空间中的第二人脸特征进行匹配,减少了所需耗费的计算量,方便后续快速基于该第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对第一人脸特征进行二次识别,提高了对第一人脸特征识别的效率以及准确性,减少了人工成本。
作为一种可能的实施方式,基于该第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对该第一人脸特征进行二次识别包括如下三种方式:
方式1、为了准确地对包含有特定对象的人脸的图像进行管控,预先基于需要管控的对象的多个人脸图像的人脸特征,聚类生成每个第一子空间。可以理解的是,任一第一子空间相当于一个簇,该第一子空间中包含的第二人脸特征包括聚类中心以及非聚类中心的人脸特征。其中,在不同的应用场景下,需要管控的对象是不同的。比如,在目标路人跟踪的应用场景下,需要管控的对象是需要跟踪的目标路人;在内容审核的应用场景下,需要管控的对象是需要拦截的违规人物等。
其中,第一子空间中包含的第二人脸特征的确定过程在后续过程会进行介绍。
通常,一个簇中的聚类中心具有该簇中非聚类中心的数据所具有的普遍特性,即第一子空间中的聚类中心可以反映出非聚类中心的人脸特征所具有的普遍特性。如果第一人脸特征也具有该普遍特性,说明该第一人脸特征很可能是归属于该第一子空间的人脸特征。因此,所述基于所述第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对所述第一人脸特征进行二次识别,包括:
确定所述第一人脸特征与所述归属的第一子空间的聚类中心的相似度;
若所述相似度大于预设的相似度阈值,则确定所述第一人脸特征归属于所述归属的第一子空间;
若所述相似度不大于预设的相似度阈值,则确定第一人脸特征不归属于所述归属的第一子空间。
基于上述的实施例确定第一人脸特征归属于某一第一子空间后,可以获取该归属的第一子空间中聚类中心。然后确定该第一人脸特征与该聚类中心的相似度(记为第一相似度)。其中,该第一相似度可以是该第一人脸特征与该聚类中心之间的欧式距离、余弦相似度、汉明距离等。具体实施过程中,可以根据实际需求进行灵活设置,在此不做具体限定。
由于一般具有归属的第一子空间中第二人脸特征的普遍特性的第一人脸特征,会与该归属的第一子空间中的聚类中心的相似度较高。基于此,预设有相似度阈值(记为第一相似度阈值)。当基于上述实施例获取到第一相似度后,可以判断该第一相似度是否大于第一相似度阈值。若第一相似度大于预设的相似度阈值,说明该第一人脸特征具有该归属的第一子空间中第二人脸特征的普遍特性,则确定该第一人脸特征归属于该归属的第一子空间。若第一相似度不大于预设的相似度阈值,说明该第一人脸特征不具有该归属的第一子空间中第二人脸特征的普遍特性,则确定该第一人脸特征不归属于该归属的第一子空间。
需要说明的是,在设置第一相似度阈值时,可以根据场景的不同,设置不同的值。如果希望对第一人脸特征识别结果的准确性有严格的要求,可以将该第一相似度阈值设置的大一些;如果希望错误确定第一人脸特征不归属于归属的第一子空间,可以将该第一相似度阈值设置的小一些。具体实施过程中,可以根据场景的不同,进行灵活设置。
采用上述的方法,可以只通过第一人脸特征与归属的第一子空间中的聚类中心进行匹配,便可确定第一人脸特征的识别结果,不仅提高了第一人脸特征的识别结果的准确性,也大大减少了第一人脸特征二次识别所需的计算量,提高了对象识别的效率。
方式2、由于归属于同一第一子空间中的多个人脸特征之间的相似度较高,且差异性不大。如果第一人脸特征归属于某一第一子空间,则该第一人脸特征与该第一子空间中非聚类中心的第二人脸特征的相似度比较高,且差异性不大。因此,所述基于所述第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对所述第一人脸特征进行二次识别,包括:
确定所述第一人脸特征分别与所述归属的第一子空间中非聚类中心的第二人脸特征的相似度;
确定对应相似度大于预设的相似度阈值的第二人脸特征的目标数量;
若所述目标数量大于预设的数量阈值,则确定所述第一人脸特征归属于所述归属的第一子空间;
若所述目标数量不大于预设的数量阈值,则确定所述第一人脸特征不归属于所述归属的第一子空间。
基于上述的实施例确定第一人脸特征归属于某一第一子空间后,可以获取该归属的第一子空间中非聚类中心的第二人脸特征。然后确定该第一人脸特征与非聚类中心的第二人脸特征的相似度(记为第二相似度)。其中,该第二相似度可以是该第一人脸特征与非聚类中心的第二人脸特征之间的欧式距离、余弦相似度、汉明距离等。具体实施过程中,可以根据实际需求进行灵活设置,在此不做具体限定。
为了准确地对第一人脸特征进行识别,预设有相似度阈值(记为第二相似度阈值)。其中,第一相似度阈值与第二相似度阈值可以相同也可以不同。当基于上述实施例获取到第二相似度后,确定对应的第二相似度大于第二相似度阈值的第二人脸特征的目标数量。然后判断该目标数量是否大于预设的数量阈值。若目标数量大于预设的数量阈值,则确定该第一人脸特征归属于该归属的第一子空间。若目标数量不大于预设的数量阈值,则确定该第一人脸特征不归属于该归属的第一子空间。
需要说明的是,在设置第二相似度阈值时,可以根据场景的不同,设置不同的值。如果希望对第一人脸特征识别结果的准确性有严格的要求,可以将该第二相似度阈值设置的大一些;如果希望错误确定第一人脸特征不归属于归属的第一子空间,可以将该第二相似度阈值设置的小一些。具体实施过程中,可以根据场景的不同,进行灵活设置。
采用上述的方法,可以通过第一人脸特征与归属的第一子空间中的非聚类中心的第二人脸特征进行匹配,便可确定第一人脸特征的识别结果,提高了第一人脸特征的识别结果的准确性。
方式3、为了尽可能提高第一人脸特征的识别结果的准确性,可以将上述方式1作为对第一人脸特征的二次识别,将上述方式2作为对第一人脸特征的三次识别。该将上述方式1作为对第一人脸特征的二次识别,将上述方式2作为对第一人脸特征的三次识别的过程包括:
基于上述的实施例确定第一人脸特征归属于某一第一子空间后,可以获取该归属的第一子空间中聚类中心。然后确定该第一人脸特征与该聚类中心的第一相似度。获取到第一相似度后,判断该第一相似度是否大于第一相似度阈值。
若第一相似度不大于预设的相似度阈值,说明该第一人脸特征不具有该归属的第一子空间中第二人脸特征的普遍特性,则确定该第一人脸特征不归属于该归属的第一子空间。
若第一相似度大于预设的相似度阈值,说明该第一人脸特征具有该归属的第一子空间中第二人脸特征的普遍特性,则获取该归属的第一子空间中非聚类中心的第二人脸特征。然后确定该第一人脸特征与非聚类中心的第二人脸特征的第二相似度。获取到第二相似度后,确定对应的第二相似度大于第二相似度阈值的第二人脸特征的目标数量。然后判断该目标数量是否大于预设的数量阈值。
若目标数量大于预设的数量阈值,则确定该第一人脸特征归属于该归属的第一子空间。
若目标数量不大于预设的数量阈值,则确定该第一人脸特征不归属于该归属的第一子空间。
采用上述的方法,可以对第一人脸特征的二次识别和三次识别,便可精准的确定第一人脸特征的识别结果,进一步提高了第一人脸特征的识别结果的准确性。
在一种示例中,若确定该第一人脸特征不归属于该归属的第一子空间时,可以采用上述实施例中的方式,对下一张目标人脸图像进行对象识别。
可选的,为了进一步保证对目标人脸图像进行识别的准确性,避免将需要管控的对象的人脸图像误识别为不需要管控的对象的人脸图像,若确定该第一人脸特征不归属于该归属的第一子空间时,可以通过预设的提醒方式通知工作人员对该目标人脸图像进行人工识别。比如,通过短信、邮件等提醒方式通知工作人员。
在一种示例中,若确定所述第一人脸特征归属于所述归属的第一子空间,所述方法还包括:
根据所述归属的第一子空间对应的预置处理,对包含所述目标人脸图像的图像进行处理。
由于归属于第一子空间中的人脸特征是需要进行管控的。因此,可以针对预设的每个第一子空间,设置有预置处理,并保存第一子空间与预置处理的对应关系。当基于上述的实施例确定第一人脸特征归属于该归属的第一子空间后,可以根据预先保存的第一子空间与预置处理的对应关系,确定归属的第一子空间所对应的预置处理。根据该归属的第一子空间对应的预置处理,对包含该目标人脸图像的图像进行处理。
其中,由于不同场景下,需要管控的方法是不同的,比如,在目标跟踪领域,第一子空间中的人脸特征是需要跟踪的对象的人脸,则设置第一子空间对应的预置处理是跟踪处理;在数据推荐领域,有的第一子空间中的人脸特征是需要推荐的对象,可以设置这些第一子空间对应的预置处理是推荐处理,有的第一子空间中的人脸特征是需要限制访问流量的对象,可以设置这些第一子空间对应的预置处理是限流处理。
在一种可能的实施方式中,所述根据所述归属的第一子空间对应的预置处理,对包含所述目标人脸图像的图像进行处理,包括:
若所述归属的第一子空间对应的预置处理为拦截处理,则在预设的管理环境中对包含有所述目标人脸图像的图像进行拦截。
为了保证网络文明,对于一些可能会对社会带来不好的影响的对象,不仅预设有这些对象的第一子空间,还会设置该第一子空间的预置处理为拦截处理,则对包含目标人脸图像的图像进行拦截。其中,拦截处理可以是删除、下架、禁止传播等操作中的至少一种。
其中,对包含目标人脸图像的图像进行拦截时,可以是在预设的管理环境中对包含目标人脸图像的图像进行拦截。该预设的管理环境中可以是至少一个特定的应用程序、整个网络环境等中的至少一个。具体实施过程中,可以并不局限于上述所提供的管理环境,可以根据实际需求进行灵活设置,在此不做具体限定。例如,预设的拦截处理为删除、预设的管理环境为网易的所有应用程序,则在网易的所有应用程序中删除包含目标人脸图像的图像。
下面通过具体的实施例对本公开提供的具体的对象识别方法进行介绍,图5为本公开实施例提供的具体的对象识别方法的一种流程示意图,该流程包括:
S501:获取目标人脸图像。
S502:通过预先训练的人脸特征模型,获取所述目标人脸图像的第一人脸特征。
S503:通过预先训练的子空间选择模型,识别所述第一人脸特征归属的子空间,判断归属的子空间是否为第一子空间,若是,执行S504,否则,执行S507。
S504:将第一人脸特征与归属的第一子空间中的聚类中心进行匹配,判断是否匹配成功,若匹配成功,执行S505,若匹配不成功,执行S507。
其中,具体的将第一人脸特征与归属的第一子空间中的聚类中心进行匹配的过程,包括:
获取该归属的第一子空间中聚类中心。然后确定该第一人脸特征与该聚类中心的第一相似度。获取到第一相似度后,判断该第一相似度是否大于第一相似度阈值。若第一相似度不大于预设的相似度阈值,说明该第一人脸特征不具有该归属的第一子空间中第二人脸特征的普遍特性,则执行S507。若第一相似度大于预设的相似度阈值,说明该第一人脸特征具有该归属的第一子空间中第二人脸特征的普遍特性,则执行S505。
S505:将第一人脸特征与归属的第一子空间中的非聚类中心的第二人脸特征进行匹配,确定匹配成功的第二人脸特征的目标数量,判断目标数量是否满足预设的数量阈值,若满足,执行S506,否则,执行S507。
其中,具体的将第一人脸特征与归属的第一子空间中的非聚类中心的第二人脸特征进行匹配的过程,包括:
获取该归属的第一子空间中非聚类中心的第二人脸特征。然后确定该第一人脸特征与非聚类中心的第二人脸特征的第二相似度。获取到第二相似度后,将对应的第二相似度大于第二相似度阈值的第二人脸特征,确定为匹配成功的第二人脸特征。
S506:确定该第一人脸特征归属于该归属的第一子空间,并在预设的管理环境中对包含有该目标人脸图像的图像进行拦截。
S507:确定该第一人脸特征不归属于该归属的第一子空间,执行S501。
下面对本公开中第一子空间中的第二人脸特征进行介绍。
硬子空间聚类算法为从所有人脸特征中选取某些人脸特征组成子空间,等价于每个特征只被一个子空间选择;而软子空间聚类算法是考虑子空间中人脸特征中的每个分量的重要性,从而实现将每个特征进行聚类的,一个特征可以被一个或多个子空间选择。与硬子空间聚类算法相对比,软子空间聚类算法对样本的处理具有更好的适应性与灵活性。因此,在本公开中,所述归属的第一子空间中的第二人脸特征是通过软子空间聚类算法,对第三样本集中的每个第三人脸特征进行聚类得到的。该软子空间聚类算法可以是模糊K均值算法、熵加权软子空间聚类(entropy weighting subspace clustering,EWSC)、模糊加权软子空间聚类(fuzzy weighting subspace clustering,FWSC)等中的任一种。应当理解的是,上述软子空间聚类算法并不是对本公开中的软子空间聚类算法的限定,任一种软子空间聚类算法均可应用于本公开实施例中。
其中,第三样本集中的每个第三人脸特征均是根据需要管控的对象的人脸图像中提取到的。具体的提取方法可以是通过特征提取算法获取,也可以通过上述实施例中预先训练的人脸特征模型提取。具体实施过程中可以根据实际需求进行灵活设置,在此不做具体限定。
示例性的,图6为本公开实施例提供的一种确定第一子空间的第二人脸特征的过程示意图,该过程包括:
S601:从所述每个第三人脸特征中,选取n个第三人脸特征分别作为第一轮n个预设子空间的聚类中心,并将预设的n个预设子空间分别对应的向量作为第一轮n个预设子空间的权重向量。
S602:根据所述每个第三人脸特征、当前一轮的n个预设子空间的聚类中心以及权重向量,分别确定所述每个第三人脸特征与当前一轮的各个聚类中心之间的加权距离。
在一种示例中,通过如下公式根据所述每个第三人脸特征、当前一轮的n个预设子空间的聚类中心以及权重向量,分别确定所述每个第三人脸特征与当前一轮的各个聚类中心之间的加权距离,包括:
Figure BDA0003089537900000291
其中,Lw为第j个第三人脸特征与第i个子空间的聚类中心之间的加权距离,wik为第i个预设子空间的权重向量中的第k个分量,xjk表示第j个第三人脸特征中包含的第k个分量,vik表示第i个子空间的聚类中心中的第k个分量,k和D均为大于等于1的整数,D为第i个子空间的聚类中心中包含的分量的总数量,j为大于等于1,且小于等于J的整数,J为第三人脸特征的总数量,i为大于等于1,且小于等于n的整数。
S603:对于所述每个第三人脸特征,根据该第三人脸特征对应的每个所述加权距离,将该第三人脸特征划分到最小加权距离所对应的预设子空间。
可以理解的是,S603可以分到每个子空间中的第三人脸特征所对应的加权距离最小。即通过如下公式表示:
Figure BDA0003089537900000292
其中,Lw为第j个第三人脸特征与第i个子空间的聚类中心之间的加权距离,j为大于等于1,且小于等于J的整数,J为第三人脸特征的总数量,i为大于等于1,且小于等于n的整数,n为子空间的总数量。
S604:根据当前一轮分别归属于n个预设子空间的第三人脸特征、以及当前一轮的n个预设子空间的权重向量,分别确定当前一轮分别归属于n个预设子空间的加权平均特征向量,并将n个预设子空间分别对应的加权平均特征向量确定为下一轮n个预设子空间的聚类中心。
在一种示例中,通过如下公式根据当前一轮分别归属于n个预设子空间的第三人脸特征、以及当前一轮的n个预设子空间的权重向量,分别确定当前一轮分别归属于n个预设子空间的加权平均特征向量,包括:
Figure BDA0003089537900000301
其中,vi表示第i个子空间对应的加权平均特征向量,m和M均为大于等于1的整数,M表示当前一轮分别归属于n个预设子空间的第三人脸特征的总数量,xm表示当前一轮分别归属于第i个预设子空间的第m个第三人脸特征,Ui表示前一轮的第i个预设子空间的权重向量,i为大于等于1,且小于等于n的整数。
S605:确定下一轮n个预设子空间的权重向量。
其中,具体的确定下一轮n个预设子空间的权重向量的过程包括:根据下一轮n个预设子空间的聚类中心以及当前一轮分别归属于n个预设子空间的第三人脸特征,对当前一轮的n个预设子空间的权重向量进行循环迭代更新,将直至满足更新停止条件为止得到的n个预设子空间的权重向量确定为下一轮n个预设子空间的权重向量。
在一种示例中,S605包括如下步骤:
S605a:根据所述每个第三人脸特征、下一轮n个预设子空间的聚类中心、以及当前迭代n个预设子空间的权重向量,分别确定所述每个第三人脸特征与下一轮的各个聚类中心之间的加权距离。
S605b:根据每个所述加权距离、预设的所述每个第三人脸特征分别归属于n个预设子空间的概率值、以及当前迭代n个预设子空间的权重向量,确定目标参数值。
通过如下公式根据每个所述加权距离、预设的所述每个第三人脸特征分别归属于n个预设子空间的概率值、以及当前迭代n个预设子空间的权重向量,确定目标参数值,包括:
Figure BDA0003089537900000302
其中,所述JFSC表示目标参数值,所述Lw′表示第j个第三人脸特征与下一轮第i个预设子空间的聚类中心之间的加权距离,Uj表示预设的第j个第三人脸特征分别归属于n个预设子空间的概率值,wik表示当前迭代第i个预设子空间的权重向量中第k个分量,τ为wik的预设第一调整系数,ε0为wik的预设第二调整系数,Uj中包含的每个概率值均大于等于0,小于等于1,且Uj中包含的每个概率值之和为1,每个第三人脸特征归属于第i个预设子空间的概率值之和大于0,小于J,0≤wik≤1,
Figure BDA0003089537900000311
J为第三人脸特征的总数量,j和J大于等于1的整数,i为大于等于1,且小于等于n的整数,k和D均为大于等于1的整数,D为第i个子空间的聚类中心中包含的分量的总数量。
S605c:根据所述目标参数值,对当前迭代n个预设子空间的权重向量进行更新。
S605d:判断目标参数值是否满足更新停止条件,若满足,则执行S605e,否则,执行S605a。
在一种示例中,更新停止条件可以是目标参数值小于预设的参数阈值,也可以是目标参数值为每次迭代获取到的目标参数值中的最小值等。具体实施过程中,可以根据实际需求进行灵活设置,在此不做具体限定。
S605e:确定当前一轮得到的n个预设子空间的权重向量为下一轮n个预设子空间的权重向量。
S606:判断是否满足聚类停止条件,若满足,执行S607,否则,执行S602。
S607:将当前一轮确定的分别归属于n个预设子空间的第三人脸特征、以及所述n个预设子空间的聚类中心,其中,所述n为大于1的整数。
在一种示例中,聚类停止条件可以是目标参数值小于预设的目标参数阈值,也可以是目标参数值为每一轮获取到的满足更新停止条件的目标参数值中的最小值等。具体实施过程中,可以根据实际需求进行灵活设置,在此不做具体限定。
前文介绍了本公开实施例的方法,下文中将介绍本公开实施例中的装置。方法、装置是基于同一技术构思的,由于方法、装置解决问题的原理相似,因此装置与方法的实施可以相互参见,重复之处不再赘述。
本公开实施例提供了一种对象识别装置,图7为本公开实施例提供的一种对象识别装置的结构示意图,该装置包括:
获取单元71,用于获取目标人脸图像的第一人脸特征;
处理单元72,用于若通过预先训练的子空间选择模型,识别所述第一人脸特征归属于第一子空间,则基于所述第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对所述第一人脸特征进行二次识别。
在一种可能的实施方式中,所述获取单元71,具体用于通过预先训练的人脸特征模型,获取所述目标人脸图像的第一人脸特征。
在一种可能的实施方式中,所述装置还包括:第一训练单元;
所述第一训练单元,用于基于预先训练的身份识别模型中特征提取层所对应的网络,确定预先训练的人脸特征模型。
在一种可能的实施方式中,所述第一训练单元,还用于对待训练的身份识别模型采用循环迭代的方式执行以下操作,直至满足迭代停止条件为止得到的:
对于第一样本集中的每个第一样本图像,均执行以下操作:
获取任一所述第一样本图像;所述第一样本图像包含有人脸且对应有第一标识信息,所述第一标识信息用于表征所述第一样本图像所实际归属的对象;
通过所述待训练的身份识别模型,基于所述第一样本图像,获取所述第一样本图像的第二标识信息;所述第二标识信息用于表征由所述待训练的身份识别模型预测得到的所述第一样本图像所潜在归属的对象;
根据所述第一标识信息与对应的第二标识信息,确定第一损失值,以根据所述每个第一样本图像在当前迭代的第一损失值,调整所述待训练的身份识别模型的参数。
在一种可能的实施方式中,所述装置还包括:第二训练单元;
所述第二训练单元,用于对待训练的子空间选择模型采用循环迭代的方式执行以下操作,直至满足迭代停止条件为止得到的:
对于第二样本集中的每个样本人脸特征,均执行以下操作:
获取任一所述样本人脸特征;所述样本人脸特征为归属于任一预设子空间的人脸特征,所述预设子空间包括所述第一子空间;所述样本人脸特征对应有所述样本人脸特征所实际归属的预设子空间的第一概率值;
通过待训练的子空间选择模型,基于所述样本人脸特征,确定所述样本人脸特征对应的第二概率值;所述第二概率值用于标识由所述待训练的子空间选择模型预测得到的,所述样本人脸特征分别归属于每个所述预设子空间的概率值;
根据所述第二概率值以及对应的第一概率值,确定第二损失值,以根据所述每个样本人脸特征在当前迭代的第二损失值,调整所述待训练的子空间选择模型的参数。
在一种可能的实施方式中,所述处理单元72,具体用于确定所述第一人脸特征与所述归属的第一子空间的聚类中心的相似度;若所述相似度大于预设的相似度阈值,则确定所述第一人脸特征归属于所述归属的第一子空间;若所述相似度不大于预设的相似度阈值,则确定第一人脸特征不归属于所述归属的第一子空间。
在一种可能的实施方式中,所述处理单元72,具体用于确定所述第一人脸特征分别与所述归属的第一子空间中非聚类中心的第二人脸特征的相似度;确定对应相似度大于预设的相似度阈值的第二人脸特征的目标数量;若所述目标数量大于预设的数量阈值,则确定所述第一人脸特征归属于所述归属的第一子空间;若所述目标数量不大于预设的数量阈值,则确定所述第一人脸特征不归属于所述归属的第一子空间。
在一种可能的实施方式中,所述处理单元72,还用于若确定所述第一人脸特征归属于所述归属的第一子空间,根据所述归属的第一子空间对应的预置处理,对包含所述目标人脸图像的图像进行处理。
在一种可能的实施方式中,所述处理单元72,具体用于若所述归属的第一子空间对应的预置处理为拦截处理,则在预设的管理环境中对包含有所述目标人脸图像的图像进行拦截。
在一种可能的实施方式中,所述装置还包括:预处理单元72;
所述预处理单元72,用于通过软子空间聚类算法,对第三样本集中的每个第三人脸特征进行聚,以得到所述归属的第一子空间中的第二人脸特征。
在一种可能的实施方式中,所述预处理单元72,具体用于从所述每个第三人脸特征中,选取n个第三人脸特征分别作为第一轮n个预设子空间的聚类中心,并将预设的n个预设子空间分别对应的向量作为第一轮n个预设子空间的权重向量,然后采用循环多轮聚类的方式执行以下操作,直至满足聚类停止条件为止,得到分别归属于n个预设子空间的第三人脸特征、以及所述n个预设子空间的聚类中心,其中,所述n为大于1的整数:
根据所述每个第三人脸特征、当前一轮的n个预设子空间的聚类中心以及权重向量,分别确定所述每个第三人脸特征与当前一轮的各个聚类中心之间的加权距离;
对于所述每个第三人脸特征,根据该第三人脸特征对应的每个所述加权距离,将该第三人脸特征划分到最小加权距离所对应的预设子空间;
根据当前一轮分别归属于n个预设子空间的第三人脸特征、以及当前一轮的n个预设子空间的权重向量,分别确定当前一轮分别归属于n个预设子空间的加权平均特征向量,并将n个预设子空间分别对应的加权平均特征向量确定为下一轮n个预设子空间的聚类中心;
根据下一轮n个预设子空间的聚类中心以及当前一轮分别归属于n个预设子空间的第三人脸特征,对当前一轮的n个预设子空间的权重向量进行循环迭代更新,将直至满足更新停止条件为止得到的n个预设子空间的权重向量确定为下一轮n个预设子空间的权重向量。
在一种可能的实施方式中,所述预处理单元72,具体用于通过如下公式根据所述每个第三人脸特征、当前一轮的n个预设子空间的聚类中心以及权重向量,分别确定所述每个第三人脸特征与当前一轮的各个聚类中心之间的加权距离,包括:
Figure BDA0003089537900000351
其中,Lw为第j个第三人脸特征与第i个子空间的聚类中心之间的加权距离,wik为第i个预设子空间的权重向量中的第k个分量,xjk表示第j个第三人脸特征中包含的第k个分量,vik表示第i个子空间的聚类中心中的第k个分量,k和D均为大于等于1的整数,D为第i个子空间的聚类中心中包含的分量的总数量,j为大于等于1,且小于等于J的整数,J为第三人脸特征的总数量,i为大于等于1,且小于等于n的整数。
在一种可能的实施方式中,所述预处理单元72,具体用于通过如下公式根据当前一轮分别归属于n个预设子空间的第三人脸特征、以及当前一轮的n个预设子空间的权重向量,分别确定当前一轮分别归属于n个预设子空间的加权平均特征向量,包括:
Figure BDA0003089537900000352
其中,vi表示第i个子空间对应的加权平均特征向量,m和M均为大于等于1的整数,M表示当前一轮分别归属于n个预设子空间的第三人脸特征的总数量,xm表示当前一轮分别归属于第i个预设子空间的第m个第三人脸特征,Ui表示前一轮的第i个预设子空间的权重向量,i为大于等于1,且小于等于n的整数。
在一种可能的实施方式中,所述预处理单元72,具体用于根据所述每个第三人脸特征、下一轮n个预设子空间的聚类中心、以及当前迭代n个预设子空间的权重向量,分别确定所述每个第三人脸特征与下一轮的各个聚类中心之间的加权距离;根据每个所述加权距离、预设的所述每个第三人脸特征分别归属于n个预设子空间的概率值、以及当前迭代n个预设子空间的权重向量,确定目标参数值;
根据所述目标参数值,对当前迭代n个预设子空间的权重向量进行更新。
在一种可能的实施方式中,所述预处理单元72,具体用于通过如下公式根据每个所述加权距离、预设的所述每个第三人脸特征分别归属于n个预设子空间的概率值、以及当前迭代n个预设子空间的权重向量,确定目标参数值,包括:
Figure BDA0003089537900000361
其中,所述JFSC表示目标参数值,所述Lw′表示第j个第三人脸特征与下一轮第i个预设子空间的聚类中心之间的加权距离,Uj表示预设的第j个第三人脸特征分别归属于n个预设子空间的概率值,wik表示当前迭代第i个预设子空间的权重向量中第k个分量,τ为wik的预设第一调整系数,ε0为wik的预设第二调整系数,Uj中包含的每个概率值均大于等于0,小于等于1,且Uj中包含的每个概率值之和为1,每个第三人脸特征归属于第i个预设子空间的概率值之和大于0,小于J,0≤wik≤1,
Figure BDA0003089537900000362
J为第三人脸特征的总数量,j和J大于等于1的整数,i为大于等于1,且小于等于n的整数,k和D均为大于等于1的整数,D为第i个子空间的聚类中心中包含的分量的总数量。
由于本公开预先训练有子空间选择模型,通过该预先训练的子空间选择模型,可以基于获取到的目标人脸图像的第一人脸特征,快速且准确地确定该第一人脸特征所归属的第一子空间,无需将该第一人脸特征与预设的所有第一子空间中的第二人脸特征进行匹配,减少了所需耗费的计算量,方便后续快速基于该第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对第一人脸特征进行二次识别,提高了对第一人脸特征识别的效率以及准确性,减少了人工成本。
如图8为本公开实施例提供的一种电子设备结构示意图,在上述各实施例的基础上,本公开实施例还提供了一种电子设备,如图8所示,包括:处理器801、通信接口802、存储器803和通信总线804,其中,处理器801,通信接口802,存储器803通过通信总线804完成相互间的通信;
所述存储器803中存储有计算机程序,当所述程序被所述处理器801执行时,使得所述处理器801执行如下步骤:
获取目标人脸图像的第一人脸特征;
若通过预先训练的子空间选择模型,识别所述第一人脸特征归属于第一子空间,则基于所述第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对所述第一人脸特征进行二次识别。
由于上述电子设备解决问题的原理与对象识别方法相似,因此上述电子设备的实施可以参见方法的实施,重复之处不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口802用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器,包括中央处理器、网络处理器(NetworkProcessor,NP)等;还可以是数字指令处理器(Digital Signal Processing,DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在上述各实施例的基础上,本公开实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有可由处理器执行的计算机程序,当所述程序在所述处理器上运行时,使得所述处理器执行时实现如下步骤:
获取目标人脸图像的第一人脸特征;
若通过预先训练的子空间选择模型,识别所述第一人脸特征归属于第一子空间,则基于所述第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对所述第一人脸特征进行二次识别。
由于计算机可读存储介质解决问题的原理与上述对象识别方法相似,因此具体实施可以参见数据处理方法的实施,重复之处不再赘述。
本领域内的技术人员应明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样,倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内,则本公开也意图包含这些改动和变型在内。

Claims (30)

1.一种对象识别方法,其特征在于,所述方法包括:
获取目标人脸图像的第一人脸特征;
若通过预先训练的子空间选择模型,识别所述第一人脸特征归属于第一子空间,则基于所述第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对所述第一人脸特征进行二次识别;
所述基于所述第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对所述第一人脸特征进行二次识别,包括:
确定所述第一人脸特征分别与所述归属的第一子空间中非聚类中心的第二人脸特征的相似度;
确定对应相似度大于预设的相似度阈值的第二人脸特征的目标数量;
若所述目标数量大于预设的数量阈值,则确定所述第一人脸特征归属于所述归属的第一子空间;
若所述目标数量不大于预设的数量阈值,则确定所述第一人脸特征不归属于所述归属的第一子空间。
2.根据权利要求1所述的方法,其特征在于,所述获取目标人脸图像的第一人脸特征包括:
通过预先训练的人脸特征模型,获取所述目标人脸图像的第一人脸特征。
3.根据权利要求2所述的方法,其特征在于,所述预先训练的人脸特征模型是基于预先训练的身份识别模型中特征提取层所对应的网络确定的。
4.根据权利要求3所述的方法,其特征在于,所述预先训练的身份识别模型是对待训练的身份识别模型采用循环迭代的方式执行以下操作,直至满足迭代停止条件为止得到的:
对于第一样本集中的每个第一样本图像,均执行以下操作:
获取任一所述第一样本图像;所述第一样本图像包含有人脸且对应有第一标识信息,所述第一标识信息用于表征所述第一样本图像所实际归属的对象;
通过所述待训练的身份识别模型,基于所述第一样本图像,获取所述第一样本图像的第二标识信息;所述第二标识信息用于表征由所述待训练的身份识别模型预测得到的所述第一样本图像所潜在归属的对象;
根据所述第一标识信息与对应的第二标识信息,确定第一损失值,以根据所述每个第一样本图像在当前迭代的第一损失值,调整所述待训练的身份识别模型的参数。
5.根据权利要求1所述的方法,其特征在于,所述预先训练的子空间选择模型是对待训练的子空间选择模型采用循环迭代的方式执行以下操作,直至满足迭代停止条件为止得到的:
对于第二样本集中的每个样本人脸特征,均执行以下操作:
获取任一所述样本人脸特征;所述样本人脸特征为归属于任一预设子空间的人脸特征,所述预设子空间包括所述第一子空间;所述样本人脸特征对应有所述样本人脸特征所实际归属的预设子空间的第一概率值;
通过待训练的子空间选择模型,基于所述样本人脸特征,确定所述样本人脸特征对应的第二概率值;所述第二概率值用于标识由所述待训练的子空间选择模型预测得到的,所述样本人脸特征分别归属于每个所述预设子空间的概率值;
根据所述第二概率值以及对应的第一概率值,确定第二损失值,以根据所述每个样本人脸特征在当前迭代的第二损失值,调整所述待训练的子空间选择模型的参数。
6.根据权利要求1所述的方法,其特征在于,所述基于所述第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对所述第一人脸特征进行二次识别,包括:
确定所述第一人脸特征与所述归属的第一子空间的聚类中心的相似度;
若所述相似度大于预设的相似度阈值,则确定所述第一人脸特征归属于所述归属的第一子空间;
若所述相似度不大于预设的相似度阈值,则确定第一人脸特征不归属于所述归属的第一子空间。
7.根据权利要求6所述的方法,其特征在于,若确定所述第一人脸特征归属于所述归属的第一子空间,所述方法还包括:
根据所述归属的第一子空间对应的预置处理,对包含所述目标人脸图像的图像进行处理。
8.根据权利要求7所述的方法,其特征在于,所述根据所述归属的第一子空间对应的预置处理,对包含所述目标人脸图像的图像进行处理,包括:
若所述归属的第一子空间对应的预置处理为拦截处理,则在预设的管理环境中对包含有所述目标人脸图像的图像进行拦截。
9.根据权利要求 1所述的方法,其特征在于,所述归属的第一子空间中的第二人脸特征是通过软子空间聚类算法,对第三样本集中的每个第三人脸特征进行聚类得到的。
10.根据权利要求 9所述的方法,其特征在于,所述通过软子空间聚类算法,对第三样本集中的每个第三人脸特征进行聚类,包括:
从所述每个第三人脸特征中,选取n个第三人脸特征分别作为第一轮n个预设子空间的聚类中心,并将预设的n个预设子空间分别对应的向量作为第一轮n个预设子空间的权重向量,然后采用循环多轮聚类的方式执行以下操作,直至满足聚类停止条件为止,得到分别归属于n个预设子空间的第三人脸特征、以及所述n个预设子空间的聚类中心,其中,所述n为大于1的整数;
根据所述每个第三人脸特征、当前一轮的n个预设子空间的聚类中心以及权重向量,分别确定所述每个第三人脸特征与当前一轮的各个聚类中心之间的加权距离;
对于所述每个第三人脸特征,根据该第三人脸特征对应的每个所述加权距离,将该第三人脸特征划分到最小加权距离所对应的预设子空间;
根据当前一轮分别归属于n个预设子空间的第三人脸特征、以及当前一轮的n个预设子空间的权重向量,分别确定当前一轮分别归属于n个预设子空间的加权平均特征向量,并将n个预设子空间分别对应的加权平均特征向量确定为下一轮n个预设子空间的聚类中心;
根据下一轮n个预设子空间的聚类中心以及当前一轮分别归属于n个预设子空间的第三人脸特征,对当前一轮的n个预设子空间的权重向量进行循环迭代更新,将直至满足更新停止条件为止得到的n个预设子空间的权重向量确定为下一轮n个预设子空间的权重向量。
11.根据权利要求 10所述的方法,其特征在于,通过如下公式根据所述每个第三人脸特征、当前一轮的n个预设子空间的聚类中心以及权重向量,分别确定所述每个第三人脸特征与当前一轮的各个聚类中心之间的加权距离,包括:
Figure FDA0003682528720000041
其中,Lw为第j个第三人脸特征与第i个子空间的聚类中心之间的加权距离,wik为第i个预设子空间的权重向量中的第k个分量,xjk表示第j个第三人脸特征中包含的第k个分量,vik表示第i个子空间的聚类中心中的第k个分量,k和D均为大于等于1的整数,D为第i个子空间的聚类中心中包含的分量的总数量,j为大于等于1,且小于等于J的整数,J为第三人脸特征的总数量,i为大于等于1,且小于等于n的整数。
12.根据权利要求 10所述的方法,其特征在于,通过如下公式根据当前一轮分别归属于n个预设子空间的第三人脸特征、以及当前一轮的n个预设子空间的权重向量,分别确定当前一轮分别归属于n个预设子空间的加权平均特征向量,包括:
Figure FDA0003682528720000042
其中,vi表示第i个子空间对应的加权平均特征向量,m和M均为大于等于1的整数,M表示当前一轮分别归属于n个预设子空间的第三人脸特征的总数量,xm表示当前一轮分别归属于第i个预设子空间的第m个第三人脸特征,Ui表示前一轮的第i个预设子空间的权重向量,i为大于等于1,且小于等于n的整数。
13.根据权利要求 10所述的方法,其特征在于,所述根据下一轮n个预设子空间的聚类中心以及当前一轮分别归属于n个预设子空间的第三人脸特征,对当前一轮的n个预设子空间的权重向量进行循环迭代更新,包括:
根据所述每个第三人脸特征、下一轮n个预设子空间的聚类中心、以及当前迭代n个预设子空间的权重向量,分别确定所述每个第三人脸特征与下一轮的各个聚类中心之间的加权距离;
根据每个所述加权距离、预设的所述每个第三人脸特征分别归属于n个预设子空间的概率值、以及当前迭代n个预设子空间的权重向量,确定目标参数值;
根据所述目标参数值,对当前迭代n个预设子空间的权重向量进行更新。
14.根据权利要求 10所述的方法,其特征在于,通过如下公式根据每个所述加权距离、预设的所述每个第三人脸特征分别归属于n个预设子空间的概率值、以及当前迭代n个预设子空间的权重向量,确定目标参数值,包括:
Figure FDA0003682528720000051
其中,所述JFSC表示目标参数值,所述Lw′表示第j个第三人脸特征与下一轮第i个预设子空间的聚类中心之间的加权距离,Uj表示预设的第j个第三人脸特征分别归属于n个预设子空间的概率值,wik表示当前迭代第i个预设子空间的权重向量中第k个分量,τ为wik的预设第一调整系数,ε0为wik的预设第二调整系数,Uj中包含的每个概率值均大于等于0,小于等于1,且Uj中包含的每个概率值之和为1,每个第三人脸特征归属于第i个预设子空间的概率值之和大于0,小于J,0≤wik≤1,
Figure FDA0003682528720000052
J为第三人脸特征的总数量,j和J大于等于1的整数,i为大于等于1,且小于等于n的整数,k和D均为大于等于1的整数,D为第i个子空间的聚类中心中包含的分量的总数量。
15.一种对象识别装置,其特征在于,所述装置包括:
获取单元,用于获取目标人脸图像的第一人脸特征;
处理单元,用于若通过预先训练的子空间选择模型,识别所述第一人脸特征归属于第一子空间,则基于所述第一人脸特征以及归属的第一子空间中包含的第二人脸特征,对所述第一人脸特征进行二次识别;
所述处理单元,具体用于确定所述第一人脸特征分别与所述归属的第一子空间中非聚类中心的第二人脸特征的相似度;确定对应相似度大于预设的相似度阈值的第二人脸特征的目标数量;若所述目标数量大于预设的数量阈值,则确定所述第一人脸特征归属于所述归属的第一子空间;若所述目标数量不大于预设的数量阈值,则确定所述第一人脸特征不归属于所述归属的第一子空间。
16.根据权利要求15所述的装置,其特征在于,所述获取单元,具体用于通过预先训练的人脸特征模型,获取所述目标人脸图像的第一人脸特征。
17.根据权利要求15所述的装置,其特征在于,所述装置还包括:第一训练单元;
所述第一训练单元,用于基于预先训练的身份识别模型中特征提取层所对应的网络,确定预先训练的人脸特征模型。
18.根据权利要求17所述的装置,其特征在于,所述第一训练单元,还用于对待训练的身份识别模型采用循环迭代的方式执行以下操作,直至满足迭代停止条件为止得到的:
对于第一样本集中的每个第一样本图像,均执行以下操作:
获取任一所述第一样本图像;所述第一样本图像包含有人脸且对应有第一标识信息,所述第一标识信息用于表征所述第一样本图像所实际归属的对象;
通过所述待训练的身份识别模型,基于所述第一样本图像,获取所述第一样本图像的第二标识信息;所述第二标识信息用于表征由所述待训练的身份识别模型预测得到的所述第一样本图像所潜在归属的对象;
根据所述第一标识信息与对应的第二标识信息,确定第一损失值,以根据所述每个第一样本图像在当前迭代的第一损失值,调整所述待训练的身份识别模型的参数。
19.根据权利要求15所述的装置,其特征在于,所述装置还包括:第二训练单元;
所述第二训练单元,用于对待训练的子空间选择模型采用循环迭代的方式执行以下操作,直至满足迭代停止条件为止得到的:
对于第二样本集中的每个样本人脸特征,均执行以下操作:
获取任一所述样本人脸特征;所述样本人脸特征为归属于任一预设子空间的人脸特征,所述预设子空间包括所述第一子空间;所述样本人脸特征对应有所述样本人脸特征所实际归属的预设子空间的第一概率值;
通过待训练的子空间选择模型,基于所述样本人脸特征,确定所述样本人脸特征对应的第二概率值;所述第二概率值用于标识由所述待训练的子空间选择模型预测得到的,所述样本人脸特征分别归属于每个所述预设子空间的概率值;
根据所述第二概率值以及对应的第一概率值,确定第二损失值,以根据所述每个样本人脸特征在当前迭代的第二损失值,调整所述待训练的子空间选择模型的参数。
20.根据权利要求15所述的装置,其特征在于,所述处理单元,具体用于确定所述第一人脸特征与所述归属的第一子空间的聚类中心的相似度;若所述相似度大于预设的相似度阈值,则确定所述第一人脸特征归属于所述归属的第一子空间;若所述相似度不大于预设的相似度阈值,则确定第一人脸特征不归属于所述归属的第一子空间。
21.根据权利要求20所述的装置,其特征在于,所述处理单元,还用于若确定所述第一人脸特征归属于所述归属的第一子空间,根据所述归属的第一子空间对应的预置处理,对包含所述目标人脸图像的图像进行处理。
22.根据权利要求21所述的装置,其特征在于,所述处理单元,具体用于若所述归属的第一子空间对应的预置处理为拦截处理,则在预设的管理环境中对包含有所述目标人脸图像的图像进行拦截。
23.根据权利要求 15所述的装置,其特征在于,所述装置还包括:预处理单元;
所述预处理单元,用于通过软子空间聚类算法,对第三样本集中的每个第三人脸特征进行聚,以得到所述归属的第一子空间中的第二人脸特征。
24.根据权利要求 23所述的装置,其特征在于,所述预处理单元,具体用于从所述每个第三人脸特征中,选取n个第三人脸特征分别作为第一轮n个预设子空间的聚类中心,并将预设的n个预设子空间分别对应的向量作为第一轮n个预设子空间的权重向量,然后采用循环多轮聚类的方式执行以下操作,直至满足聚类停止条件为止,得到分别归属于n个预设子空间的第三人脸特征、以及所述n个预设子空间的聚类中心,其中,所述n为大于1的整数:
根据所述每个第三人脸特征、当前一轮的n个预设子空间的聚类中心以及权重向量,分别确定所述每个第三人脸特征与当前一轮的各个聚类中心之间的加权距离;
对于所述每个第三人脸特征,根据该第三人脸特征对应的每个所述加权距离,将该第三人脸特征划分到最小加权距离所对应的预设子空间;
根据当前一轮分别归属于n个预设子空间的第三人脸特征、以及当前一轮的n个预设子空间的权重向量,分别确定当前一轮分别归属于n个预设子空间的加权平均特征向量,并将n个预设子空间分别对应的加权平均特征向量确定为下一轮n个预设子空间的聚类中心;
根据下一轮n个预设子空间的聚类中心以及当前一轮分别归属于n个预设子空间的第三人脸特征,对当前一轮的n个预设子空间的权重向量进行循环迭代更新,将直至满足更新停止条件为止得到的n个预设子空间的权重向量确定为下一轮n个预设子空间的权重向量。
25.根据权利要求 24所述的装置,其特征在于,所述预处理单元,具体用于通过如下公式根据所述每个第三人脸特征、当前一轮的n个预设子空间的聚类中心以及权重向量,分别确定所述每个第三人脸特征与当前一轮的各个聚类中心之间的加权距离,包括:
Figure FDA0003682528720000091
其中,Lw为第j个第三人脸特征与第i个子空间的聚类中心之间的加权距离,wik为第i个预设子空间的权重向量中的第k个分量,xjk表示第j个第三人脸特征中包含的第k个分量,vik表示第i个子空间的聚类中心中的第k个分量,k和D均为大于等于1的整数,D为第i个子空间的聚类中心中包含的分量的总数量,j为大于等于1,且小于等于J的整数,J为第三人脸特征的总数量,i为大于等于1,且小于等于n的整数。
26.根据权利要求 24所述的装置,其特征在于,所述预处理单元,具体用于通过如下公式根据当前一轮分别归属于n个预设子空间的第三人脸特征、以及当前一轮的n个预设子空间的权重向量,分别确定当前一轮分别归属于n个预设子空间的加权平均特征向量,包括:
Figure FDA0003682528720000092
其中,vi表示第i个子空间对应的加权平均特征向量,m和M均为大于等于1的整数,M表示当前一轮分别归属于n个预设子空间的第三人脸特征的总数量,xm表示当前一轮分别归属于第i个预设子空间的第m个第三人脸特征,Ui表示前一轮的第i个预设子空间的权重向量,i为大于等于1,且小于等于n的整数。
27.根据权利要求 24所述的装置,其特征在于,所述预处理单元,具体用于根据所述每个第三人脸特征、下一轮n个预设子空间的聚类中心、以及当前迭代n个预设子空间的权重向量,分别确定所述每个第三人脸特征与下一轮的各个聚类中心之间的加权距离;根据每个所述加权距离、预设的所述每个第三人脸特征分别归属于n个预设子空间的概率值、以及当前迭代n个预设子空间的权重向量,确定目标参数值;
根据所述目标参数值,对当前迭代n个预设子空间的权重向量进行更新。
28.根据权利要求 27所述的装置,其特征在于,所述预处理单元,具体用于通过如下公式根据每个所述加权距离、预设的所述每个第三人脸特征分别归属于n个预设子空间的概率值、以及当前迭代n个预设子空间的权重向量,确定目标参数值,包括:
Figure FDA0003682528720000101
其中,所述JFSC表示目标参数值,所述Lw′表示第j个第三人脸特征与下一轮第i个预设子空间的聚类中心之间的加权距离,Uj表示预设的第j个第三人脸特征分别归属于n个预设子空间的概率值,wik表示当前迭代第i个预设子空间的权重向量中第k个分量,τ为wik的预设第一调整系数,ε0为wik的预设第二调整系数,Uj中包含的每个概率值均大于等于0,小于等于1,且Uj中包含的每个概率值之和为1,每个第三人脸特征归属于第i个预设子空间的概率值之和大于0,小于J,0≤wik≤1,
Figure FDA0003682528720000102
J为第三人脸特征的总数量,j和J大于等于1的整数,i为大于等于1,且小于等于n的整数,k和D均为大于等于1的整数,D为第i个子空间的聚类中心中包含的分量的总数量。
29.一种电子设备,其特征在于,所述电子设备至少包括处理器和存储器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-14中任一所述对象识别方法的步骤。
30.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-14中任一所述对象识别方法的步骤。
CN202110590975.4A 2021-05-28 2021-05-28 一种对象识别方法、装置、设备及介质 Active CN113221820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110590975.4A CN113221820B (zh) 2021-05-28 2021-05-28 一种对象识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110590975.4A CN113221820B (zh) 2021-05-28 2021-05-28 一种对象识别方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113221820A CN113221820A (zh) 2021-08-06
CN113221820B true CN113221820B (zh) 2022-07-19

Family

ID=77099595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110590975.4A Active CN113221820B (zh) 2021-05-28 2021-05-28 一种对象识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113221820B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633734A (zh) * 2019-08-22 2019-12-31 成都信息工程大学 一种基于图论相关理论进行异常检测的方法
CN111612100A (zh) * 2020-06-04 2020-09-01 商汤集团有限公司 对象再识别方法、装置、存储介质及计算机设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9720934B1 (en) * 2014-03-13 2017-08-01 A9.Com, Inc. Object recognition of feature-sparse or texture-limited subject matter
CN105488456B (zh) * 2015-11-23 2019-04-23 中国科学院自动化研究所 基于自适应阈值调整拒识子空间学习的人脸检测方法
CN109426781A (zh) * 2017-08-29 2019-03-05 阿里巴巴集团控股有限公司 人脸识别数据库的构建方法、人脸识别方法、装置及设备
US11422984B2 (en) * 2019-04-30 2022-08-23 Sap Se Clustering within database data models
CN110298249A (zh) * 2019-05-29 2019-10-01 平安科技(深圳)有限公司 人脸识别方法、装置、终端及存储介质
CN111611909A (zh) * 2020-05-18 2020-09-01 桂林电子科技大学 多子空间域自适应人脸识别方法
CN111401344B (zh) * 2020-06-04 2020-09-29 腾讯科技(深圳)有限公司 人脸识别方法和装置及人脸识别系统的训练方法和装置
CN112329619B (zh) * 2020-11-04 2022-06-14 济南博观智能科技有限公司 一种人脸识别方法、装置、电子设备及可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633734A (zh) * 2019-08-22 2019-12-31 成都信息工程大学 一种基于图论相关理论进行异常检测的方法
CN111612100A (zh) * 2020-06-04 2020-09-01 商汤集团有限公司 对象再识别方法、装置、存储介质及计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Adaptively Clustering-Driven Learning for Visual Relationship Detection;AN-AN Liu et al.;《IEEE Transactions on Multimedia》;20201210;4515-4525 *
基于聚类中心选取的聚类算法的研究;孙璐璐;《中国优秀硕士学位论文全文数据库信息科技辑》;20210215;I138-778 *

Also Published As

Publication number Publication date
CN113221820A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN112329619B (zh) 一种人脸识别方法、装置、电子设备及可读存储介质
CN111523621B (zh) 图像识别方法、装置、计算机设备和存储介质
CN109697416B (zh) 一种视频数据处理方法和相关装置
CN110188641B (zh) 图像识别和神经网络模型的训练方法、装置和系统
CN109815845B (zh) 人脸识别的方法和装置、存储介质
CN108038176B (zh) 一种路人库的建立方法、装置、电子设备及介质
US10169683B2 (en) Method and device for classifying an object of an image and corresponding computer program product and computer-readable medium
CN111476268A (zh) 翻拍识别模型训练、图像识别方法、装置、设备及介质
CN109784274B (zh) 识别尾随的方法及相关产品
CN112001932B (zh) 人脸识别方法、装置、计算机设备和存储介质
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
US11126827B2 (en) Method and system for image identification
CN110414550B (zh) 人脸识别模型的训练方法、装置、系统和计算机可读介质
CN111191568A (zh) 翻拍图像识别方法、装置、设备及介质
CN111401374A (zh) 基于多任务的模型训练方法、字符识别方法及装置
CN113902944A (zh) 模型的训练及场景识别方法、装置、设备及介质
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN111476269A (zh) 均衡样本集构建、翻拍图像识别方法、装置、设备及介质
CN110175500B (zh) 指静脉比对方法、装置、计算机设备及存储介质
CN112446428B (zh) 一种图像数据处理方法及装置
CN117237757A (zh) 一种人脸识别模型训练方法、装置、电子设备及介质
CN113221820B (zh) 一种对象识别方法、装置、设备及介质
Lim et al. More powerful selective kernel tests for feature selection
CN112214639B (zh) 视频筛选方法、视频筛选装置及终端设备
KR102060110B1 (ko) 컨텐츠에 포함되는 객체를 분류하는 방법, 장치 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210922

Address after: 310052 Room 408, building 3, No. 399, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Netease Zhiqi Technology Co.,Ltd.

Address before: 310052 Building No. 599, Changhe Street Network Business Road, Binjiang District, Hangzhou City, Zhejiang Province, 4, 7 stories

Applicant before: NETEASE (HANGZHOU) NETWORK Co.,Ltd.

GR01 Patent grant
GR01 Patent grant