CN112329890B - 图像处理方法及装置、电子设备及存储介质 - Google Patents

图像处理方法及装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112329890B
CN112329890B CN202011357200.4A CN202011357200A CN112329890B CN 112329890 B CN112329890 B CN 112329890B CN 202011357200 A CN202011357200 A CN 202011357200A CN 112329890 B CN112329890 B CN 112329890B
Authority
CN
China
Prior art keywords
similarity
feature vector
compared
face
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011357200.4A
Other languages
English (en)
Other versions
CN112329890A (zh
Inventor
吴玉东
吴一超
于志鹏
梁鼎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202011357200.4A priority Critical patent/CN112329890B/zh
Publication of CN112329890A publication Critical patent/CN112329890A/zh
Application granted granted Critical
Publication of CN112329890B publication Critical patent/CN112329890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法及装置、电子设备及存储介质。该方法包括:获取第一待比对图像、第二待比对图像、比对模型、相似度阈值和校正特征向量集;使用所述比对模型提取出所述第一待比对图像中的第一待比对对象的特征得到第一待比对特征向量,使用所述比对模型提取出所述第二待比对图像中的第二待比对对象的特征得到第二待比对特征向量;通过对第一待比对特征向量与第二待比对特征向量之间的相似度进行修正,得到第二相似度;依据所述第二相似度和所述相似度阈值之间的大小关系,确定所述第一待比对对象和所述第二待比对对象是否为同一个对象。

Description

图像处理方法及装置、电子设备及存储介质
技术领域
本申请涉及计算机视觉技术领域,尤其涉及一种图像处理方法及装置、电子设备及存储介质。
背景技术
得益于强大的性能,近几年计算机视觉模型被广泛应用于图像处理领域,用以执行各种任务,其中,就包括对象比对任务。具体的,对象比对任务指使用比对模型对两张包含比对对象的图像进行处理,以确定上述两个待比对对象是否为同一个对象。
在目前的方法中,电子设备使用比对模型对待识别数据进行识别得到识别结果,然而比对模型对同一属性的不同属性类别的数据进行识别得到的识别精度不同。
因此,如何提高比对模型对同一属性的不同属性类别的数据的识别准确度具有非常重要的意义。
发明内容
本申请提供两种图像处理方法及装置、电子设备及存储介质。
第一方面,提供了一种图像处理方法,所述方法包括:
获取第一待比对图像、第二待比对图像、比对模型、相似度阈值和校正特征向量集;所述相似度阈值是预先经过修正处理后得到的阈值;
使用所述比对模型提取出所述第一待比对图像中的第一待比对对象的特征得到第一待比对特征向量,使用所述比对模型提取出所述第二待比对图像中的第二待比对对象的特征得到第二待比对特征向量;所述校正特征向量集中的特征向量所对应的属性类别包括第一属性类别集合;所述第一属性类别集合包括所述第一待比对对象的属性类别;
确定所述第一待比对特征向量与所述校正特征向量集中的特征向量之间的相似度得到第一相似度集,并确定所述第一相似度集中最大的n个相似度的和得到第一值;所述n为正整数;
计算所述第一待比对特征向量和所述第二待比对特征向量之间的第一相似度;
确定所述第一相似度与所述第一值之间的差,得到第二相似度;
依据所述第二相似度和所述相似度阈值之间的大小关系,确定所述第一待比对对象和所述第二待比对对象是否为同一个对象。
本申请实施例中,相似度阈值为判断两个特征向量所对应的对象是否为同一个对象的依据。所述修正相似度集依据所述校正特征向量集对标定特征向量集中的特征向量之间的相似度进行修正得到;所述标定特征向量集通过所述比对模型得到。即相似度阈值是预先经过修正处理后得到的阈值。相似度阈值依据识别标准和标定相似度集得到,上述修正处理指,得到相似度阈值的标定相似度集中的相似度为经过修正的相似度,其中,修正相似度指在使用比对模型得到数据之间的相似度时,降低了比对模型对该数据的偏见。
校正特征向量集中的特征向量所对应的属性类别包括第一属性类别集合,其中,第一属性类别集合包括第一待比对对象的属性类别(下文将第一待比对对象的属性类别称为参考属性类别)。在校正特征向量集为比对模型对校正图像集进行特征提取处理得到的情况下,校正特征向量集可用于表征比对模型的特征空间。
由于校正特征向量集可用于表征比对模型的特征空间,且校正特征向量集所对应的属性类别包括第一属性类别集合,图像处理装置通过确定上述第一相似度集中最大的n个相似度的和,可得到属性类别为参考属性类别的特征向量在特征空间中的分布,即为第一值。
因为第一值为属性类别为参考属性类别的特征向量在特征空间中的分布,所以图像处理装置通过确定第一相似度与第一值之间的差得到第二相似度,并将第二相似度作为第一待比对对象与第二待比对对象之间的相似度,可降低比对模型对第一待比对对象的偏见,从而提高第一待比对对象与第二待比对对象之间的相似度的准确度。
由于第二相似度为通过降低比对模型对属性类别为参考属性类别的数据的偏见得到,且相似度阈值是预先经过修正处理后得到的阈值,图像处理装置依据第二相似度和相似度阈值之间的大小关系,识别第一待比对对象和第二待比对对象是否为同一个对象,可提升识别准确度。
结合本申请任一实施方式,在所述获取第一待比对图像、第二待比对图像、比对模型、相似度阈值和校正特征向量集之前,所述方法还包括:
获取标定特征向量集和识别标准;所述标定特征向量集包括第一特征向量和第二特征向量;
确定所述标定特征向量集中每两个特征向量之间的相似度,得到包含第三相似度的第二相似度集;所述第三相似度为所述第一特征向量和所述第二特征向量之间的相似度;
确定所述第一特征向量与所述校正特征向量集中的特征向量之间的相似度得到第三相似度集,并确定所述第三相似度集中最大的k个相似度的和得到相似度修正值;所述k为正整数;
确定所述第三相似度与所述相似度修正值的差,得到第四相似度;
将所述第二相似度集中的所述第三相似度替换成所述第四相似度,得到所述修正相似度集;
依据所述识别标准和所述修正相似度集,得到所述相似度阈值。
图像处理装置通过执行该中实施方式修正相似度阈值,可提高相似度阈值的准确度。
结合本申请任一实施方式,所述校正特征向量集中的特征向量所对应的属性类别用于修正第一待比对对象的属性类别、所述第二待比对对象的属性类别、所述第一特征向量所对应的所述属性类别以及所述第二特征向量所对应的所述属性类别。
图像处理装置通过执行该种实施方式和前面任意一种实施方式结合后的技术方案,可提高对第一待比对对象和第二待比对对象之间的相似度的修正效果。
结合本申请任一实施方式,所述第一属性类别集合为第二属性类别集合的子集;所述第二属性类别集合包括所述第一特征向量所对应的所述属性类别和所述第二特征向量所对应的所述属性类别。
图像处理装置通过执行该种实施方式和前面任意一种实施方式结合后的技术方案,在依据通过修正处理得到的相似度阈值判断第一待比对对象和第二待比对对象是否属于同一个对象时,可提高识别准确度。
结合本申请任一实施方式,所述获取标定特征向量集,包括:
获取标定图像集;
使用所述比对模型对所述标定图像集进行特征提取处理,得到所述标定特征向量集。
图像处理装置通过执行该种实施方式可获取标定特征向量集。
结合本申请任一实施方式,所述第一属性类别集合还包括所述第二待比对对象的属性类别,在所述确定所述第一相似度与所述第一值之间的差,得到第二相似度之前,所述方法还包括:
确定所述第二待比对特征向量与所述校正特征向量集中的特征向量之间的相似度得到第四相似度集,并确定所述第三相似度集中最大的m个相似度的和得到第二值;所述m为正整数;
依据所述第二值与所述第一值的和,得到第三值;
所述确定第一相似度与所述第一值之间的差,得到第二相似度,包括:
确定所述第一相似度与所述第三值之间的差,得到所述第二相似度。
在该种实施方式中,图像处理装置在修正第一相似度时,不仅降低了比对模型对第一待比对对象的偏见,还降低了比对模型对第二待比对对象的偏见,进而提升对第一相似度的修正效果,从而提升第二相似度的准确度。
结合本申请任一实施方式,所述依据所述第二值与所述第一值的和,得到第三值,包括:
获取修正力度系数;所述修正力度系数与所述比对模型识别属性为待识别属性的对象的难度呈正相关;所述待识别属性为所述第一待比对特征向量所对应的属性;
确定所述第二值与所述第一值的和,得到第四值;
确定所述第四值与所述修正力度系数的乘积,得到所述第三值。
在该种实施方式中,通过调节修正力度系数,可调节图像处理装置对第一相似度的修正力度。
结合本申请任一实施方式,所述依据所述第二相似度和所述相似度阈值之间的大小关系,确定所述第一待比对对象和所述第二待比对对象是否为同一个对象,包括:
在所述第二相似度超过所述相似度阈值的情况下,确定所述第一待比对对象和所述第二待比对对象是同一个对象;或
在所述第二相似度未超过所述相似度阈值的情况下,确定所述第一待比对对象和所述第二待比对对象不是同一个对象。
结合本申请任一实施方式,所述第一待比对对象和所述第二待比对对象均为人脸,所述对象为人,所述相似度为人脸相似度。
在该种实施方式中,图像处理装置可提升人脸相似度的准确度。
第二方面,提供了另一种图像处理方法,所述图像处理方法应用于图像处理装置,所述图像处理装置包括摄像头,所述方法包括:
使用所述摄像头采集待识别人物的第一人脸图像,并从所述图像处理装置的人脸图像库中获取第二人脸图像;
获取人脸识别模型、人脸相似度阈值和第一人脸特征向量集;所述人脸相似度阈值是预先经过修正处理后得到的阈值;
使用所述人脸识别模型提取出所述第一人脸图像中的第一人脸的特征得到第一人脸特征向量,使用所述人脸识别模型提取出所述第二人脸图像中的第二人脸的特征得到第二人脸特征向量;所述第一人脸特征向量集中的特征向量所对应的属性类别包括所述第一人脸的属性类别;
确定所述第一人脸特征向量与所述第一人脸特征向量集中的特征向量之间的相似度得到第五相似度集,并确定所述第五相似度集中最大的i个相似度的和得到第五值;所述i为正整数;
计算所述第一人脸特征向量和所述第二人脸特征向量之间的第五相似度;
确定所述第五相似度与所述第五值之间的差,得到第六相似度;
在依据所述第六相似度和所述人脸相似度阈值之间的大小关系,确定所述第一人脸和所述第二人脸为同一个人的情况下,输出人脸识别解锁成功的信息。
在该方面中,图像处理装置通过执行该实施例提供的技术方案,可提高人脸解锁的成功率
第三方面,提供了一种图像处理装置,所述装置包括:
获取单元,用于获取第一待比对图像、第二待比对图像、比对模型、相似度阈值和校正特征向量集;所述相似度阈值是预先经过修正处理后得到的阈值;
第一处理单元,用于使用所述比对模型提取出所述第一待比对图像中的第一待比对对象的特征得到第一待比对特征向量,使用所述比对模型提取出所述第二待比对图像中的第二待比对对象的特征得到第二待比对特征向量;所述校正特征向量集中的特征向量所对应的属性类别包括第一属性类别集合;所述第一属性类别集合包括所述第一待比对对象的属性类别;
第二处理单元,用于确定所述第一待比对特征向量与所述校正特征向量集中的特征向量之间的相似度得到第一相似度集,并确定所述第一相似度集中最大的n个相似度的和得到第一值;所述n为正整数;
第三处理单元,用于计算所述第一待比对特征向量和所述第二待比对特征向量之间的第一相似度;
第四处理单元,用于确定所述第一相似度与所述第一值之间的差,得到第二相似度;
第五处理单元,用于依据所述第二相似度和所述相似度阈值之间的大小关系,确定所述第一待比对对象和所述第二待比对对象是否为同一个对象。
结合本申请任一实施方式,所述获取单元,还用于在所述获取第一待比对图像、第二待比对图像、比对模型、相似度阈值和校正特征向量集之前,获取标定特征向量集和识别标准;所述标定特征向量集包括第一特征向量和第二特征向量;
所述第一处理单元,还用于确定所述标定特征向量集中每两个特征向量之间的相似度,得到包含第三相似度的第二相似度集;所述第三相似度为所述第一特征向量和所述第二特征向量之间的相似度;
所述第二处理单元,还用于确定所述第一特征向量与所述校正特征向量集中的特征向量之间的相似度得到第三相似度集,并确定所述第三相似度集中最大的k个相似度的和得到相似度修正值;所述k为正整数;
所述第四处理单元,还用于确定所述第三相似度与所述相似度修正值的差,得到第四相似度;
所述第五处理单元,还用于将所述第二相似度集中的所述第三相似度替换成所述第四相似度,得到所述修正相似度集;
所述第五处理单元,还用于依据所述识别标准和所述修正相似度集,得到所述相似度阈值。
结合本申请任一实施方式,所述校正特征向量集中的特征向量所对应的属性类别用于修正第一待比对对象的属性类别、所述第二待比对对象的属性类别、所述第一特征向量所对应的所述属性类别以及所述第二特征向量所对应的所述属性类别。
结合本申请任一实施方式,所述第一属性类别集合为第二属性类别集合的子集;所述第二属性类别集合包括所述第一特征向量所对应的所述属性类别和所述第二特征向量所对应的所述属性类别。
结合本申请任一实施方式,所述获取单元,具体用于:
获取标定图像集;
使用所述比对模型对所述标定图像集进行特征提取处理,得到所述标定特征向量集。
结合本申请任一实施方式,所述第一属性类别集合还包括所述第二待比对对象的属性类别,所述第二处理单元,还用于在所述确定所述第一相似度与所述第一值之间的差,得到第二相似度之前,确定所述第二待比对特征向量与所述校正特征向量集中的特征向量之间的相似度得到第三相似度集,并确定所述第三相似度集中最大的m个相似度的和得到第二值;所述m为正整数;
依据所述第二值与所述第一值的和,得到第三值;
所述第四处理单元,具体用于:
确定所述第一相似度与所述第三值之间的差,得到所述第二相似度。
结合本申请任一实施方式,所述第二处理单元,具体用于:
获取修正力度系数;所述修正力度系数与所述比对模型识别属性为待识别属性的对象的难度呈正相关;所述待识别属性为所述第一待比对特征向量所对应的属性;
确定所述第二值与所述第一值的和,得到第四值;
确定所述第四值与所述修正力度系数的乘积,得到所述第三值。
结合本申请任一实施方式,所述第五处理单元,还用于:
在所述第二相似度超过所述相似度阈值的情况下,确定所述第一待比对对象和所述第二待比对对象是同一个对象;或
在所述第二相似度未超过所述相似度阈值的情况下,确定所述第一待比对对象和所述第二待比对对象不是同一个对象。
结合本申请任一实施方式,所述第一待比对对象和所述第二待比对对象均为人脸,所述对象为人,所述相似度为人脸相似度。
第四方面,提供了另一种图像处理装置,所述图像处理装置包括:
摄像头,用于采集待识别人物的第一人脸图像;
第一获取单元,用于从所述图像处理装置的人脸图像库中获取第二人脸图像;
第二获取单元,用于获取人脸识别模型、人脸相似度阈值和第一人脸特征向量集;所述人脸相似度阈值是预先经过修正处理后得到的阈值;
第一处理单元,用于使用所述人脸识别模型提取出所述第一人脸图像中的第一人脸的特征得到第一人脸特征向量,使用所述人脸识别模型提取出所述第二人脸图像中的第二人脸的特征得到第二人脸特征向量;所述第一人脸特征向量集中的特征向量所对应的属性类别包括所述第一人脸的属性类别;
第二处理单元,用于确定所述第一人脸特征向量与所述第一人脸特征向量集中的特征向量之间的相似度得到第五相似度集,并确定所述第五相似度集中最大的i个相似度的和得到第五值;所述i为正整数;
第三处理单元,用于计算所述第一人脸特征向量和所述第二人脸特征向量之间的第五相似度;
第四处理单元,用于确定所述第五相似度与所述第五值之间的差,得到第六相似度;
第五处理单元,用于在依据所述第六相似度和所述人脸相似度阈值之间的大小关系,确定所述第一人脸和所述第二人脸为同一个人的情况下,输出人脸识别解锁成功的信息。
第五方面,提供了一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第六方面,提供了另一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法,所述电子设备或执行如上述第二方面及其任意一种可能实现的方式的方法。
第七方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法,所述处理器或执行如上述第二方面及其任意一种可能实现的方式的方法。
第八方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,在所述计算机程序或指令在计算机上运行的情况下,使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法,使得所述计算机执行上述第二方面及其任一种可能的实现方式的方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种图像处理方法的流程示意图;
图2为本申请实施例提供的另一种图像处理方法的流程示意图;
图3为本申请实施例提供的一种图像处理装置的结构示意图;
图4为本申请实施例提供的另一种图像处理装置的结构示意图;
图5为本申请实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上,“至少两个(项)”是指两个或三个及三个以上,“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
得益于强大的性能,近几年计算机视觉模型被广泛应用于图像处理领域,用以执行各种任务,其中,就包括对象比对任务。具体的,对象比对任务指使用比对模型对两张包含比对对象的图像进行处理,以确定上述两个待比对对象是否为同一个对象。
在目前的方法中,电子设备使用比对模型分别对两张包含比对对象的图像进行特征提取处理,可分别得到两张包含比对对象的图像的特征向量。通过确定上述两个特征向量之间的相似度与相似度阈值之间的大小关系,以识别两个比对对象是否为同一个对象。
由于不同属性类别的对象之间的个体差异不同,使用相同的相似度阈值识别不同属性类别的对象,得到的识别准确度低。
经比对模型对待比对图像1进行人脸特征提取处理,得到特征向量A,经比对模型对待比对图像2进行人脸特征提取处理,得到特征向量B,经比对模型对待比对图像3进行人脸特征提取处理,得到特征向量C,经比对模型对待比对图像4进行人脸特征提取处理,得到特征向量D。其中,特征向量A和特征向量B之间的相似度为83%,特征向量C和特征向量D之间的相似度为78%。
从上述示例可以看出,在待识别图像中包含不同属性类别的图像的情况下,比对模型的识别准确度较低。而基于本申请实施例提供的技术方案,可在待识别图像中包含不同属性类别的图像的情况下,提高比对模型的识别准确度。
本申请实施例的执行主体为图像处理装置,可选的,图像处理装置可以是以下中的一种:手机、计算机、服务器、平板电脑。本申请实施例还可以通过处理器执行计算机代码实现本申请的提供的技术方案。
在进行下面的阐述之前,首先对下文将要提及的特征向量所对应的待比对对象进行定义。本申请实施例中,特征向量通过对图像进行特征提取处理得到,而特征向量所对应的待比对对象即为图像中的待比对对象。例如,假设待比对对象为人脸,图像a包含人脸b,通过对图像a进行人脸特征提取处理,得到特征向量c。那么,特征向量c所对应的待比对对象为人脸b。
下面结合本申请实施例中的附图对本申请实施例进行描述。请参阅图1,图1是本申请实施例提供的一种图像处理方法的流程示意图。
101、获取第一待比对图像、第二待比对图像、比对模型、相似度阈值和校正特征向量集。
本申请实施例中,第一待比对图像包含第一待比对对象,第二待比对图像包含第二待比对对象。本文中的待比对对象(包括上述第一待比对对象和第二待比对对象)可以是任意物体,例如,比对对象可以是人;比对对象也可以是车辆;比对对象还可以是动物。
本申请实施例中,比对模型为具有对象识别功能的计算机视觉模型。本申请实施例对比对模型的结构不做限定。例如,比对模型可以是任意结构的人脸识别神经网络。又例如,比对模型可以是任意结构的车辆识别模型。
本申请实施例中,相似度阈值为判断两个特征向量所对应的对象是否为同一个对象的依据。相似度阈值是预先经过修正处理后得到的阈值。相似度阈值依据识别标准和标定相似度集得到,上述修正处理指,得到相似度阈值的标定相似度集中的相似度为经过修正的相似度,其中,修正相似度指在使用比对模型得到数据之间的相似度时,降低了比对模型对该数据的偏见。
例如(例1),识别标准为识别准确度不小于80%,标定相似度集包括:相似度1、相似度2、相似度3、相似度4、相似度5。相似度1表征图像a中的待比对对象与图像b中的待比对对象之间的相似度,相似度2为图像a中的待比对对象与图像c中的待比对对象之间的相似度,相似度3为图像b中的待比对对象与图像c中的待比对对象之间的相似度,相似度4为图像a中的待比对对象与图像d中的待比对对象之间的相似度,相似度5为图像a中的待比对对象与图像e中的待比对对象之间的相似度。其中,图像a所中的待比对对象与图像b中的待比对对象相同,图像a中的待比对对象与图像c中的待比对对象相同,图像b中的待比对对象与图像c中的待比对对象相同,图像a中的待比对对象与图像d中的待比对对象不同,图像a中的待比对对象与图像e中的待比对对象不同。
若相似度1>相似度2>相似度3>相似度4>相似度5,依据识别标准和标定相似度集,可确定相似度阈值为相似度4。如,假设相似度4为81%,那么相似度阈值为81%。
若将图像a中的待比对对象与图像b中的待比对对象之间的相似度称为原始相似度,其中,相似度1依据原始相似度与相似度修正值之间的差得到。相似度修正值为修正相似度集中相似度最大的k个相似度的和,而修正相似度集包括图像a中待比对对象与校正图像集中的待比对对象之间的相似度。若将图像a中的待比对对象所属类别称为原始类别,其中,校正图像集包括包含原始类别的待比对对象。
例如,图像a中的待比对对象与图像b中的待比对对象之间的相似度为s1,相似度修正值为x,那么第一相似度为s1-,且在标定相似度集中,s1-表征图像a中的待比对对象与图像b中的待比对对象之间的相似度。
本申请实施例中,校正特征向量集包括至少两个特征向量,且校正特征向量集中的特征向量均通过对图像进行对象特征提取处理得到。例如,校正特征向量集可通过对上述示例中的校正图像集进行特征提取处理得到。
本申请实施例中,校正特征向量集中的特征向量所对应的属性类别包括第一属性类别集合,其中,第一属性类别集合包括第一待比对对象的属性类别。
在校正特征向量集为比对模型对校正图像集进行特征提取处理得到的情况下,校正特征向量集可用于表征比对模型的特征空间。
在一种获取第一待比对图像的实现方式中,图像处理装置接收用户通过输入组件输入的第一待比对图像获取第一待比对图像。可选的,上述输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。
在另一种获取一待比对图像的实现方式中,图像处理装置接收终端发送的第一待比对图像获取第一待比对图像。可选的,终端可以是以下任意一种:手机、计算机、平板电脑、服务器、可穿戴设备。
在一种获取第二待比对图像的实现方式中,图像处理装置接收用户通过输入组件输入的第二待比对图像获取第二待比对图像。
在另一种获取第二待比对图像的实现方式中,图像处理装置接收终端发送的第二待比对图像获取第二待比对图像。
在一种获取比对模型的实现方式中,图像处理装置接收用户通过输入组件输入的比对模型获取比对模型。
在另一种获取比对模型的实现方式中,图像处理装置接收终端发送的比对模型获取比对模型。
在一种获取相似度阈值的实现方式中,图像处理装置接收用户通过输入组件输入的相似度阈值获取相似度阈值。
在另一种获取相似度阈值的实现方式中,图像处理装置接收终端发送的相似度阈值获取相似度阈值。
在一种获取校正特征向量集的实现方式中,图像处理装置接收用户通过输入组件输入的校正特征向量集获取校正特征向量集。
在另一种获取校正特征向量集的实现方式中,图像处理装置接收终端发送的校正特征向量集获取校正特征向量集。
102、使用上述比对模型提取出上述第一待比对图像中的第一待比对对象的特征得到第一待比对特征向量,使用上述比对模型提取出上述第二待比对图像中的第二待比对对象的特征得到第二待比对特征向量。
103、确定上述第一待比对特征向量与上述校正特征向量集中的特征向量之间的相似度得到第一相似度集,并确定上述第一相似度集中最大的n个相似度的和得到第一值。
本申请实施例中,分别计算第一待比对特征向量与校正特征向量集中每个特征向量之间的相似度,得到第一相似度集。计算第一相似度集中最大的n个相似度的和得到第一值。
例如,校正特征向量集包括:特征向量1、特征向量2、特征向量3。第一待比对特征向量与特征向量1之间的相似度为相似度1,第一待比对特征向量与特征向量2之间的相似度为相似度2,第一待比对特征向量与特征向量3之间的相似度为相似度3。假设相似度1>相似度2>相似度3,n=2。那么第一值为相似度1和相似度2的和。
如步骤101所述,由于校正特征向量集可用于表征比对模型的特征空间,且校正特征向量集所对应的属性类别包括第一属性类别集合,图像处理装置通过执行步骤103,可得到属性类别为参考属性类别的特征向量在特征空间中的分布,即为第一值。
104、计算上述第一待比对特征向量和上述第二待比对特征向量之间的第一相似度。
105、确定上述第一相似度与上述第一值之间的差,得到第二相似度。
由于第一值为属性类别为参考属性类别的特征向量在特征空间中的分布,图像处理装置通过执行步骤105得到第二相似度,并将第二相似度作为第一待比对对象与第二待比对对象之间的相似度,可降低比对模型对属性类别为参考属性类别的数据的偏见,从而提高第一待比对对象与第二待比对对象之间的相似度的准确度。
106、依据上述第二相似度和上述相似度阈值之间的大小关系,确定上述第一待比对对象和上述第二待比对对象是否为同一个对象。
在一种可能实现的方式中,第二相似度超过相似度阈值,图像处理装置确定第一待比对对象和第二待比对对象是同一个对象。第二相似度未超过相似度阈值,图像处理装置确定第一待比对对象和第二待比对对象不是同一个对象。
由于第二相似度为通过降低比对模型对属性类别为参考属性类别的数据的偏见得到,且相似度阈值是预先经过修正处理后得到的阈值,图像处理装置依据第二相似度和相似度阈值之间的大小关系,识别第一待比对对象和第二待比对对象是否为同一个对象,可提升识别准确度。
作为一种可选的实施方式,图像处理装置在执行步骤101之前,还执行以下步骤:
1、获取标定特征向量集和识别标准。
本申请实施例中,标定特征向量集包括第一特征向量和第二特征向量。标定特征向量集通过比对模型得到,即标定特征向量集通过使用比对模型对标定图像集进行对象特征提取处理得到。
例如,标定图像集包括图像a和图像b。电子设备使用比对模型对图像a进行对象特征提取处理得到第一特征向量,电子设备使用比对模型对图像b进行对象特征提取处理得到第二特征向量。将包含第一特征向量和第二特征向量的集合作为标定特征向量集。
在一种获取标定特征向量集的实现方式中,图像处理装置获取标定图像集,其中,标定图像集中的图像所包含的属性类别包括第一待比对特征向量所对应的属性类别。
在另一种获取标定特征向量集的实现方式中,图像处理装置接收用户通过输入组件输入的标定特征向量集获取标定特征向量集,其中,输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。
在又一种获取标定特征向量集的实现方式中,图像处理装置接收终端发送的标定特征向量集获取标定特征向量集。
本申请实施例中,识别标准包括识别准确率。识别标准用于确定相似度阈值。在一种获取识别标准的实现方式中,图像处理装置接收用户通过输入组件输入的识别标准获取识别标准。
在另一种获取识别标准的实现方式中,图像处理装置接收终端发送的识别标准获取识别标准。
2、确定上述标定特征向量集中每两个特征向量之间的相似度,得到包含第三相似度的第二相似度集。
本申请实施例中,第三相似度为第一特征向量和第二特征向量之间的相似度。图像处理装置通过确定标定特征向量集中每两个特征向量之间的相似度,可得到第二相似度集。
例如,标定特征向量集包括特征向量1、特征向量2和特征向量3。图像处理装置确定特征向量1和特征向量2之间的相似度为s1,确定特征向量1和特征向量3之间的相似度为s2,确定特征向量2和特征向量3之间的相似度为s3。此时,第二相似度集包括s1、s2、s3
3、确定上述第一特征向量与上述校正特征向量集中的特征向量之间的相似度得到上述修正相似度集,并确定上述修正相似度集中最大的k个相似度的和得到上述相似度修正值。
4、确定上述第三相似度与上述相似度修正值的差,得到上述第一相似度。
5、将上述第二相似度集中的上述第三相似度替换成上述第一相似度,得到上述修正相似度集。
6、依据上述识别标准和上述修正相似度集,得到上述相似度阈值。
本申请实施例中,识别标准包括识别准确率。图像处理装置依据识别准确率和修正相似度集中的相似度,可得到相似度阈值。图像处理依据识别准确率和修正相似度集得到相似度阈值的实现方式,与步骤101中电子设备依据识别标准和标定相似度集得到相似度阈值的实现方式相同,具体可参见例1,此处将不再赘述。
作为一种可选的实施方式,校正特征向量集中的特征向量所对应的属性类别用于修正第一待比对对象的属性类别、第二待比对对象的属性类别、第一特征向量所对应的属性类别以及第二特征向量所对应的属性类别。
作为一种可选的实施方式,第一属性类别集合为第二属性类别集合的子集,第二属性类别集合包括第一特征向量所对应的属性类别和第二特征向量所对应的属性类别。
作为一种可选的实施方式,图像处理装置通过执行以下步骤获取标定特征向量:
7、获取标定图像集。
本申请实施例中,标定图像集中的图像均包含待比对对象。在一种获取标定图像集的实现方式中,图像处理装置接收用户通过输入组件输入的标定图像集获取标定图像集。
在另一种获取标定图像集的实现方式中,图像处理装置接收终端发送的标定图像集获取标定图像集。
8、使用比对模型对标定图像集进行特征提取处理,得到标定特征向量集。
图像处理装置使用比对模型分别对标定图像集中的每张图像进行特征提取处理,得到标定特征向量集。
作为一种可选的实施方式,第一属性类别集合还包括第二待比对对象的属性类别,图像处理装置在执行步骤105之前,还执行以下步骤:
9、确定上述第二待比对特征向量与上述校正特征向量集中的特征向量之间的相似度得到第四相似度集,并确定上述第四相似度集中最大的m个相似度的和得到第二值。
10、依据上述第二值与上述第一值的和,得到第三值。
假设第一值为v1,第二值为v2,第三值为v3
在一种可能实现的方式中,v1、v2、v3满足下式:
v3=k1×(v1+v2)…公式(1)
其中,k1为正数。可选的,k1=1。
在另一种可能实现的方式中,v1、v2、v3满足下式:
v3=k1×(v1+v2)+c1…公式(2)
其中,k1为正数、c1为实数。可选的,k1=1,c1=0。
在又一种可能实现的方式中,v1、v2、v3满足下式:
Figure GDA0003844447860000151
其中,k1为正数、c1为实数。可选的,k1=1,c1=0。
在得到第三值后,图像处理装置在执行步骤105的过程中执行以下步骤:
11、确定上述第一相似度与上述第一值之间的差,得到上述第二相似度。
由于第二值可表示比对模型学习到的特征向量空间中属性类别为中间属性类别的特征向量的分布,其中,中间属性类别为第二待比对对象的属性类别,图像处理装置通过执行步骤9~步骤11,可降低比对模型对第二待比对对象的偏见,进一步提升第一待比对对象与第二待比对对象之间的相似度的准确度。
作为一种可选的实施方式,图像处理装置在执行步骤10的过程中执行以下步骤:
12、获取修正力度系数。
本申请实施例中,修正力度系数与比对模型识别属性为待识别属性的对象的难度呈正相关,其中,待识别属性为第一待比对特征向量所对应的属性。可选的,修正力度系数的取值为0.05。
在一种获取调节系数的实现方式中,图像处理装置接收用户通过输入组件输入的调节系数获取调节系数。
在又一种获取调节系数的实现方式中,图像处理装置接收终端发送的调节系数获取调节系数。
13、确定上述第二值与上述第一值的和,得到第四值。
14、确定上述第四值与上述修正力度系数的乘积,得到上述第三值。
在前文中,图像处理装置用第二相似度表示第一待比对特征向量与第二待比对特征向量之间的相似度,以达到修正第一待比对特征向量与第二待比对特征向量之间的相似度的效果。这样,依据第二相似度与相似度阈值之间的大小关系,确定第一待比对对象和第二待比对对象是否为同一个对象,可提升识别准确度。
但由于比对模型识别不同属性的对象的难度不同,若对于不同属性的对象,以相同的修正力度修正第一待比对特征向量与第二待比对特征向量之间的相似度,显然是不合理的。在步骤12~步骤14中,用户可通过调整修正力度系数,可调节对第一待比对特征向量与第二待比对特征向量之间的相似度的修正力度,从而提升比对模型的识别准确度。
作为一种可选的实施方式,前文所提及的第一待比对对象和第二待比对对象均为人脸,前文所提及的对象为人,前文所提及的特征向量之间的相似度为人脸相似度。
在该种实施方式中,图像处理装置使用前文所公开的技术方案,可提升人脸识别的准确度。
请参阅图2,图2是本申请实施例提供的另一种图像处理方法的流程示意图。图2所对应的实施例的执行主体为图像处理装置,该图像处理装置包括摄像头。可选的,该图像处理装置可以是以下中的一种:手机、计算机、门禁设备。
201、使用上述摄像头采集待识别人物的第一人脸图像,并从上述图像处理装置的人脸图像库中获取第二人脸图像。
本申请实施例中,人脸图像库中的人脸图像均为已认证人脸图像。例如,图像处理装置为手机,人脸图像库中的人脸图像为可解锁手机的人物的人脸图像。又例如,图像处理装置为门禁设备,人脸图像库中的人脸图像为可通过门禁设备的人物的人脸图像。
202、获取人脸识别模型、人脸相似度阈值和第一人脸特征向量集。
本申请实施例中,人脸相似度阈值是预先经过修正处理后得到的阈值。第一人脸特征向量集相当于前文所述的校正特征向量集。上述第一人脸特征向量集中的特征向量所对应的属性类别包括第一人脸的属性类别。
在第一人脸特征向量集为人脸识别模型对校正人脸图像集进行特征提取处理得到的情况下,第一人脸特征向量集可用于表征人脸识别模型的特征空间。
203、使用上述人脸识别模型提取出上述第一人脸图像中的第一人脸的特征得到第一人脸特征向量,使用上述人脸识别模型提取出上述第二人脸图像中的第二人脸的特征得到第二人脸特征向量。
204、确定上述第一人脸特征向量与上述第一人脸特征向量集中的特征向量之间的相似度得到第五相似度集,并确定上述第五相似度集中最大的i个相似度的和得到第五值。
图像处理装置通过执行步骤204得到的第五值可表征,人脸比对模型对第一人脸图像中的人脸的偏见。
205、计算上述第一人脸特征向量和上述第二人脸特征向量之间的第五相似度。
上述第五相似度即为第一人脸与第二人脸之间的相似度。
206、确定上述第五相似度与上述第五值之间的差,得到第六相似度。
图像处理装置通过执行步骤206,降低人脸比对模型对第一人脸图像中的人脸的偏见对第五相似度的影响,得到第六相似度。这样,再使用第六相似度表征第一人脸与第二人脸之间的相似度,可提高第一人脸与第二人脸之间的相似度的准确度。
207、在依据上述第六相似度和上述人脸相似度阈值之间的大小关系,确定上述第一人脸和上述第二人脸为同一个人的情况下,输出人脸识别解锁成功的信息。
图像处理装置在确定第六相似度超过人脸相似度阈值的情况下,确定第一人脸与第二人脸为同一个人。图像处理装置在确定第六相似度未超过人脸相似度阈值的情况下,确定第一人脸与第二人脸不为同一个人。
本申请实施例中,人脸识别解锁成功的信息包括以下至少一种:文字提示、页面切换、语音提示。例如,图像处理装置在确定第一人脸和第二人脸为同一个人的情况下,通过显示器输出“已成功解锁”的文字。又例如,图像处理装置在确定第一人脸和第二人脸为同一个人的情况下,将显示页面由人脸解锁的页面切换为解锁成功的页面(如手机系统的主页面)。再例如,图像处理装置在确定第一人脸和第二人脸为同一个人的情况下,通过扬声器输出“已成功解锁”的语音。
在该实施例中,图像处理装置通过执行该实施例提供的技术方案,可提高人脸解锁的成功率。
基于前文所公开的技术方案,本申请实施例还提供了一种可能的应用场景。随着政府、企业、个人的安全管理意识加强和智能硬件设备的普及,越来越多的具有人脸识别功能的门禁设备投入到实际应用当中。
具体的,门禁设备通过摄像头采集来访者的人脸图像,作为待识别图像,并使用神经网络对待识别图像进行处理,以确定来访者的身份。然而不同的来访者可能不同,这给门禁设备对来访者的识别带来了很大的困难,因此如何提高门禁设备在该种情况下的识别准确度具有非常重要的意义。
可选的,工作人员可通过使用电子设备从人脸数据集中采样得到模拟图像库。上述人脸数据集可以是以下中的一个:哥伦比亚大学公众人物脸部数据库(public figuresface database)、通用人脸图像集(Colorferet)、大尺度人脸属性图像集(Large-scaleCelebFaces Attributes Dataset)。可选的,模拟图像库中图像的数量处于1000~1000000之间。
可选的,工作人员可通过使用电子设备从人脸数据集中采样得到阈值标定图像库。上述人脸数据集可以是以下中的一个:哥伦比亚大学公众人物脸部数据库(publicfigures face database)、通用人脸图像集(Colorferet)、大尺度人脸属性图像集(Large-scale CelebFaces Attributes Dataset)。
工作人员在电子设备上运行装载于人脸识别门禁上的人脸识别模型,使人脸识别模型对阈值标定图像库进行人脸特征提取处理,得到阈值标定特征向量库。电子设备计算阈值标定特征向量库中每两个特征向量之间的相似度,并使用模拟特征向量库修正阈值标定特征向量库中每两个特征向量之间的相似度,得到修正后的阈值标定特征向量库。
工作人员将外资企业a的识别标准1输入至电子设备。电子设备依据该识别标准1和修正后的阈值标定特征向量库确定人脸识别门禁相似度阈值。
工作人员向外资企业a的人脸识别门禁输入模拟特征向量库和人脸识别门禁相似度阈值,并通过向人脸识别门禁输入指令,使人脸识别门禁在将来访者的人脸图像与员工人脸图像库中的图像进行人脸比对的过程中,使用模拟特征向量库修正来访者的人脸图像与员工人脸图像库中的图像之间的相似度。再依据修正后的来访者的人脸图像与员工人脸图像库中的图像之间的相似度与人脸识别门禁的相似度阈值之间的大小关系,确定来访者是否为外资企业a的员工。
具体的,人脸识别门禁使用摄像头采集待确认身份的人物(即来访者)的人脸图像,得到第一待比对人脸图像。人脸门禁设备从员工人脸图像库中选取一张图像,作为第二待比对人脸图像。人脸识别门禁使用人脸识别模型对第一待比对人脸图像进行人脸特征提取处理,得到第一待比对特征向量。人脸识别门禁使用人脸识别模型对第二待比对人脸图像进行人脸特征提取处理,得到第二待比对特征向量。人脸识别门禁确定第一待比对特征向量与第二待比对特征向量之间的相似度,得到待修正相似度。人脸识别门禁确定第一待比对特征向量与模拟特征向量库中的特征向量之间的相似度,得到第一中间相似度集。人脸识别门禁确定第二待比对特征向量与模拟特征向量库中的特征向量之间的相似度,得到第二中间相似度集。人脸识别门禁确定第一中间相似度集中最大的10个相似度的和,得到第一修正值。人脸识别门禁确定第二中间相似度集中最大的10个相似度的和,得到第二修正值。人脸识别门禁确定第一修正值与第二修正值的和,得到第三修正值。人脸识别门禁确定修正相似度与第三修正值的差,得到修正后的相似度。
人脸识别门禁在修正后的相似度超过人脸识别门禁相似度阈值的情况下,确定待确认身份的人物与第二待比对人脸图像中的人物是同一个人,进而对该确认身份的人物放行;在修正后的相似度未超过人脸识别门禁相似度阈值的情况下,确定待确认身份的人物与第二待比对人脸图像中的人物不是同一个人,进而不对待确认身份的人物放行。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。请参阅图3,图3为本申请实施例提供的一种图像处理装置的结构示意图,该图像处理装置1包括:获取单元11、第一处理单元12、第二处理单元13、第三处理单元14、第四处理单元15、第五处理单元16,其中:
获取单元11,用于获取第一待比对图像、第二待比对图像、比对模型、相似度阈值和校正特征向量集;所述相似度阈值是预先经过修正处理后得到的阈值;
第一处理单元12,用于使用所述比对模型提取出所述第一待比对图像中的第一待比对对象的特征得到第一待比对特征向量,使用所述比对模型提取出所述第二待比对图像中的第二待比对对象的特征得到第二待比对特征向量;所述校正特征向量集中的特征向量所对应的属性类别包括第一属性类别集合;所述第一属性类别集合包括所述第一待比对对象的属性类别;
第二处理单元13,用于确定所述第一待比对特征向量与所述校正特征向量集中的特征向量之间的相似度得到第一相似度集,并确定所述第一相似度集中最大的n个相似度的和得到第一值;所述n为正整数;
第三处理单元14,用于计算所述第一待比对特征向量和所述第二待比对特征向量之间的第一相似度;
第四处理单元15,用于确定所述第一相似度与所述第一值之间的差,得到第二相似度;
第五处理单元16,用于依据所述第二相似度和所述相似度阈值之间的大小关系,确定所述第一待比对对象和所述第二待比对对象是否为同一个对象。
结合本申请任一实施方式,所述获取单元11,还用于在所述获取第一待比对图像、第二待比对图像、比对模型、相似度阈值和校正特征向量集之前,获取标定特征向量集和识别标准;所述标定特征向量集包括第一特征向量和第二特征向量;
所述第一处理单元12,还用于确定所述标定特征向量集中每两个特征向量之间的相似度,得到包含第三相似度的第二相似度集;所述第三相似度为所述第一特征向量和所述第二特征向量之间的相似度;
所述第二处理单元13,还用于确定所述第一特征向量与所述校正特征向量集中的特征向量之间的相似度得到第三相似度集,并确定所述第三相似度集中最大的k个相似度的和得到相似度修正值;所述k为正整数;
所述第四处理单元15,还用于确定所述第三相似度与所述相似度修正值的差,得到第四相似度;
所述第五处理单元16,还用于将所述第二相似度集中的所述第三相似度替换成所述第四相似度,得到所述修正相似度集;
所述第五处理单元16,还用于依据所述识别标准和所述修正相似度集,得到所述相似度阈值。
结合本申请任一实施方式,所述校正特征向量集中的特征向量所对应的属性类别用于修正第一待比对对象的属性类别、所述第二待比对对象的属性类别、所述第一特征向量所对应的所述属性类别以及所述第二特征向量所对应的所述属性类别。
结合本申请任一实施方式,所述第一属性类别集合为第二属性类别集合的子集;所述第二属性类别集合包括所述第一特征向量所对应的所述属性类别和所述第二特征向量所对应的所述属性类别。
结合本申请任一实施方式,所述获取单元11,具体用于:
获取标定图像集;
使用所述比对模型对所述标定图像集进行特征提取处理,得到所述标定特征向量集。
结合本申请任一实施方式,所述第一属性类别集合还包括所述第二待比对对象的属性类别,所述第二处理单元,还用于在所述确定所述第一相似度与所述第一值之间的差,得到第二相似度之前,确定所述第二待比对特征向量与所述校正特征向量集中的特征向量之间的相似度得到第三相似度集,并确定所述第三相似度集中最大的m个相似度的和得到第二值;所述m为正整数;
依据所述第二值与所述第一值的和,得到第三值;
所述第四处理单元15,具体用于:
确定所述第一相似度与所述第三值之间的差,得到所述第二相似度。
结合本申请任一实施方式,所述第二处理单元13,具体用于:
获取修正力度系数;所述修正力度系数与所述比对模型识别属性为待识别属性的对象的难度呈正相关;所述待识别属性为所述第一待比对特征向量所对应的属性;
确定所述第二值与所述第一值的和,得到第四值;
确定所述第四值与所述修正力度系数的乘积,得到所述第三值。
结合本申请任一实施方式,所述第五处理单元16,还用于:
在所述第二相似度超过所述相似度阈值的情况下,确定所述第一待比对对象和所述第二待比对对象是同一个对象;或
在所述第二相似度未超过所述相似度阈值的情况下,确定所述第一待比对对象和所述第二待比对对象不是同一个对象。
结合本申请任一实施方式,所述第一待比对对象和所述第二待比对对象均为人脸,所述对象为人,所述相似度为人脸相似度。
本实施例中,获取单元11可以是数据接口,第一处理单元12可以是图形处理器,第二获取单元13、第三处理单元14、第四处理单元15和第五处理单元16均可以是处理器。
请参阅图4,图4为本申请实施例提供的一种图像处理装置的结构示意图,该图像处理装置包括:摄像头21、第一获取单元22、第二获取单元23、第一处理单元24、第二处理单元25、第三处理单元26、第四处理单元27、第五处理单元28,其中:
摄像头21,用于采集待识别人物的第一人脸图像;
第一获取单元22,用于从所述图像处理装置的人脸图像库中获取第二人脸图像;
第二获取单元23,用于获取人脸识别模型、人脸相似度阈值和第一人脸特征向量集;所述人脸相似度阈值是预先经过修正处理后得到的阈值;
第一处理单元24,用于使用所述人脸识别模型提取出所述第一人脸图像中的第一人脸的特征得到第一人脸特征向量,使用所述人脸识别模型提取出所述第二人脸图像中的第二人脸的特征得到第二人脸特征向量;所述第一人脸特征向量集中的特征向量所对应的属性类别包括所述第一人脸的属性类别;
第二处理单元25,用于确定所述第一人脸特征向量与所述第一人脸特征向量集中的特征向量之间的相似度得到第五相似度集,并确定所述第五相似度集中最大的i个相似度的和得到第五值;所述i为正整数;
第三处理单元26,用于计算所述第一人脸特征向量和所述第二人脸特征向量之间的第五相似度;
第四处理单元27,用于确定所述第五相似度与所述第五值之间的差,得到第六相似度;
第五处理单元28,用于在依据所述第六相似度和所述人脸相似度阈值之间的大小关系,确定所述第一人脸和所述第二人脸为同一个人的情况下,输出人脸识别解锁成功的信息。
本实施例中,摄像头21可以是任意成像设备,第一获取单元21可以是数据读取设备,第二获取单元23可以是数据接口,第一处理单元24可以是图形处理器、第二处理单元25、第三处理单元26、第四处理单元27和第五处理单元28均可以是处理器。
在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
图5为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备3包括处理器31和存储器32。该处理器31和存储器32通过连接器相耦合,该连接器包括各类接口、传输线或总线等等,本申请实施例对此不作限定。应当理解,本申请的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或者通过其他设备间接相连,例如可以通过各类接口、传输线、总线等相连。
处理器31可以是一个或多个图形处理器(graphics processing unit,GPU),在处理器31是一个GPU的情况下,该GPU可以是单核GPU,也可以是多核GPU。可选的,处理器31可以是多个GPU构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。可选的,该处理器还可以为其他类型的处理器等等,本申请实施例不作限定。
存储器32可用于存储计算机程序指令,以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地,存储器包括但不限于是随机存储记忆体(random accessmemory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器用于相关指令及数据。
可理解,本申请实施例中,存储器32不仅可用于存储相关指令,还可用于存储相关数据,如该存储器32可用于存储通过处理器31获取的第一待比对图像、第二待比对图像、比对模型、相似度阈值和校正特征向量集,又或者该存储器32还可用于存储通过处理器31得到的第二相似度,以及,第一待比对对象和第二待比对对象是否为同一个对象的比对结果等等,本申请实施例对于该存储器中具体所存储的数据不作限定。
可以理解的是,图5仅仅示出了一种电子设备的简化设计。在实际应用中,电子设备还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、存储器等,而所有可以实现本申请实施例的电子设备都在本申请的保护范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。所属领域的技术人员还可以清楚地了解到,本申请各个实施例描述各有侧重,为描述的方便和简洁,相同或类似的部分在不同实施例中可能没有赘述,因此,在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatiledisc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,ROM)或随机存储存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims (14)

1.一种图像处理方法,其特征在于,所述方法包括:
获取第一待比对图像、第二待比对图像、比对模型、相似度阈值和校正特征向量集;所述相似度阈值是预先经过修正处理后得到的阈值;
使用所述比对模型提取出所述第一待比对图像中的第一待比对对象的特征得到第一待比对特征向量,使用所述比对模型提取出所述第二待比对图像中的第二待比对对象的特征得到第二待比对特征向量;所述校正特征向量集中的特征向量所对应的属性类别包括第一属性类别集合;所述第一属性类别集合包括所述第一待比对对象的属性类别;
确定所述第一待比对特征向量与所述校正特征向量集中的特征向量之间的相似度得到第一相似度集,并确定所述第一相似度集中最大的n个相似度的和得到第一值;所述n为正整数;
计算所述第一待比对特征向量和所述第二待比对特征向量之间的第一相似度;
确定所述第一相似度与所述第一值之间的差,得到第二相似度;
依据所述第二相似度和所述相似度阈值之间的大小关系,确定所述第一待比对对象和所述第二待比对对象是否为同一个对象。
2.根据权利要求1所述的方法,其特征在于,在所述获取第一待比对图像、第二待比对图像、比对模型、相似度阈值和校正特征向量集之前,所述方法还包括:
获取标定特征向量集和识别标准;所述标定特征向量集包括第一特征向量和第二特征向量;
确定所述标定特征向量集中每两个特征向量之间的相似度,得到包含第三相似度的第二相似度集;所述第三相似度为所述第一特征向量和所述第二特征向量之间的相似度;
确定所述第一特征向量与所述校正特征向量集中的特征向量之间的相似度得到第三相似度集,并确定所述第三相似度集中最大的k个相似度的和得到相似度修正值;所述k为正整数;
确定所述第三相似度与所述相似度修正值的差,得到第四相似度;
将所述第二相似度集中的所述第三相似度替换成所述第四相似度,得到修正相似度集;
依据所述识别标准和所述修正相似度集,得到所述相似度阈值。
3.根据权利要求2所述的方法,其特征在于,所述校正特征向量集中的特征向量所对应的属性类别用于修正第一待比对对象的属性类别、所述第二待比对对象的属性类别、所述第一特征向量所对应的所述属性类别以及所述第二特征向量所对应的所述属性类别。
4.根据权利要求3所述的方法,其特征在于,所述第一属性类别集合为第二属性类别集合的子集;所述第二属性类别集合包括所述第一特征向量所对应的所述属性类别和所述第二特征向量所对应的所述属性类别。
5.根据权利要求2至4中任意一项所述的方法,其特征在于,所述获取标定特征向量集,包括:
获取标定图像集;
使用所述比对模型对所述标定图像集进行特征提取处理,得到所述标定特征向量集。
6.根据权利要求1至4中任意一项所述的方法,其特征在于,所述第一属性类别集合还包括所述第二待比对对象的属性类别,在所述确定所述第一相似度与所述第一值之间的差,得到第二相似度之前,所述方法还包括:
确定所述第二待比对特征向量与所述校正特征向量集中的特征向量之间的相似度得到第四相似度集,并确定所述第四相似度集中最大的m个相似度的和得到第二值;所述m为正整数;
依据所述第二值与所述第一值的和,得到第三值;
所述确定第一相似度与所述第一值之间的差,得到第二相似度,包括:
确定所述第一相似度与所述第三值之间的差,得到所述第二相似度。
7.根据权利要求6所述的方法,其特征在于,所述依据所述第二值与所述第一值的和,得到第三值,包括:
获取修正力度系数;所述修正力度系数与所述比对模型识别属性为待识别属性的对象的难度呈正相关;所述待识别属性为所述第一待比对特征向量所对应的属性;
确定所述第二值与所述第一值的和,得到第四值;
确定所述第四值与所述修正力度系数的乘积,得到所述第三值。
8.根据权利要求1至4中任意一项所述的方法,其特征在于,所述依据所述第二相似度和所述相似度阈值之间的大小关系,确定所述第一待比对对象和所述第二待比对对象是否为同一个对象,包括:
在所述第二相似度超过所述相似度阈值的情况下,确定所述第一待比对对象和所述第二待比对对象是同一个对象;或
在所述第二相似度未超过所述相似度阈值的情况下,确定所述第一待比对对象和所述第二待比对对象不是同一个对象。
9.根据权利要求1至4中任意一项所述的方法,其特征在于,所述第一待比对对象和所述第二待比对对象均为人脸,所述对象为人,所述相似度为人脸相似度。
10.一种图像处理方法,其特征在于,所述图像处理方法应用于图像处理装置,所述图像处理装置包括摄像头,所述方法包括:
使用所述摄像头采集待识别人物的第一人脸图像,并从所述图像处理装置的人脸图像库中获取第二人脸图像;
获取人脸识别模型、人脸相似度阈值和第一人脸特征向量集;所述人脸相似度阈值是预先经过修正处理后得到的阈值;
使用所述人脸识别模型提取出所述第一人脸图像中的第一人脸的特征得到第一人脸特征向量,使用所述人脸识别模型提取出所述第二人脸图像中的第二人脸的特征得到第二人脸特征向量;所述第一人脸特征向量集中的特征向量所对应的属性类别包括所述第一人脸的属性类别;
确定所述第一人脸特征向量与所述第一人脸特征向量集中的特征向量之间的相似度得到第五相似度集,并确定所述第五相似度集中最大的i个相似度的和得到第五值;所述i为正整数;
计算所述第一人脸特征向量和所述第二人脸特征向量之间的第五相似度;
确定所述第五相似度与所述第五值之间的差,得到第六相似度;
在依据所述第六相似度和所述人脸相似度阈值之间的大小关系,确定所述第一人脸和所述第二人脸为同一个人的情况下,输出人脸识别解锁成功的信息。
11.一种图像处理装置,其特征在于,所述装置包括:
获取单元,用于获取第一待比对图像、第二待比对图像、比对模型、相似度阈值和校正特征向量集;所述相似度阈值是预先经过修正处理后得到的阈值;
第一处理单元,用于使用所述比对模型提取出所述第一待比对图像中的第一待比对对象的特征得到第一待比对特征向量,使用所述比对模型提取出所述第二待比对图像中的第二待比对对象的特征得到第二待比对特征向量;所述校正特征向量集中的特征向量所对应的属性类别包括第一属性类别集合;所述第一属性类别集合包括所述第一待比对对象的属性类别;
第二处理单元,用于确定所述第一待比对特征向量与所述校正特征向量集中的特征向量之间的相似度得到第一相似度集,并确定所述第一相似度集中最大的n个相似度的和得到第一值;所述n为正整数;
第三处理单元,用于计算所述第一待比对特征向量和所述第二待比对特征向量之间的第一相似度;
第四处理单元,用于确定所述第一相似度与所述第一值之间的差,得到第二相似度;
第五处理单元,用于依据所述第二相似度和所述相似度阈值之间的大小关系,确定所述第一待比对对象和所述第二待比对对象是否为同一个对象。
12.一种图像处理装置,其特征在于,所述图像处理装置包括:
摄像头,用于采集待识别人物的第一人脸图像;
第一获取单元,用于从所述图像处理装置的人脸图像库中获取第二人脸图像;
第二获取单元,用于获取人脸识别模型、人脸相似度阈值和第一人脸特征向量集;所述人脸相似度阈值是预先经过修正处理后得到的阈值;
第一处理单元,用于使用所述人脸识别模型提取出所述第一人脸图像中的第一人脸的特征得到第一人脸特征向量,使用所述人脸识别模型提取出所述第二人脸图像中的第二人脸的特征得到第二人脸特征向量;所述第一人脸特征向量集中的特征向量所对应的属性类别包括所述第一人脸的属性类别;
第二处理单元,用于确定所述第一人脸特征向量与所述第一人脸特征向量集中的特征向量之间的相似度得到第五相似度集,并确定所述第五相似度集中最大的i个相似度的和得到第五值;所述i为正整数;
第三处理单元,用于计算所述第一人脸特征向量和所述第二人脸特征向量之间的第五相似度;
第四处理单元,用于确定所述第五相似度与所述第五值之间的差,得到第六相似度;
第五处理单元,用于在依据所述第六相似度和所述人脸相似度阈值之间的大小关系,确定所述第一人脸和所述第二人脸为同一个人的情况下,输出人脸识别解锁成功的信息。
13.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行权利要求1至9中任意一项所述的方法,或执行权利要求10所述的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行权利要求1至9中任意一项所述的方法,或执行权利要求10所述的方法。
CN202011357200.4A 2020-11-27 2020-11-27 图像处理方法及装置、电子设备及存储介质 Active CN112329890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011357200.4A CN112329890B (zh) 2020-11-27 2020-11-27 图像处理方法及装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011357200.4A CN112329890B (zh) 2020-11-27 2020-11-27 图像处理方法及装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112329890A CN112329890A (zh) 2021-02-05
CN112329890B true CN112329890B (zh) 2022-11-08

Family

ID=74308647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011357200.4A Active CN112329890B (zh) 2020-11-27 2020-11-27 图像处理方法及装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112329890B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836661A (zh) * 2021-02-07 2021-05-25 Oppo广东移动通信有限公司 人脸识别方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214263A (zh) * 2018-06-30 2019-01-15 东南大学 一种基于特征复用的人脸识别方法
CN111476222B (zh) * 2020-06-11 2020-10-09 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN112329890A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112052789B (zh) 人脸识别方法、装置、电子设备及存储介质
CN113515988B (zh) 掌纹识别方法、特征提取模型训练方法、设备及介质
US11367310B2 (en) Method and apparatus for identity verification, electronic device, computer program, and storage medium
CN111898412A (zh) 人脸识别方法、装置、电子设备和介质
US11023714B2 (en) Suspiciousness degree estimation model generation device
KR20220106842A (ko) 표정 인식 방법 및 장치, 기기, 컴퓨터 판독 가능한 저장 매체, 컴퓨터 프로그램 제품
CN112418167A (zh) 图像的聚类方法、装置、设备和存储介质
CN110245573A (zh) 一种基于人脸识别的签到方法、装置及终端设备
EP2701096A2 (en) Image processing device and image processing method
CN112329890B (zh) 图像处理方法及装置、电子设备及存储介质
CN110633677A (zh) 人脸识别的方法及装置
CN111914769B (zh) 用户合法性判定方法、装置、计算机可读存储介质及设备
CN112614110B (zh) 评估图像质量的方法、装置及终端设备
CN112488054A (zh) 一种人脸识别方法、装置、终端设备及存储介质
CN112560978A (zh) 图像处理方法及装置、电子设备及存储介质
CN115937971A (zh) 一种举手投票识别方法及装置
CN111144374B (zh) 人脸表情识别方法及装置、存储介质和电子设备
CN110956098B (zh) 图像处理方法及相关设备
CN114186039A (zh) 一种视觉问答方法、装置及电子设备
CN112055013A (zh) 一种自动化认证方法、装置、设备和存储介质
CN111368644B (zh) 图像处理方法、装置、电子设备及存储介质
CN112733649B (zh) 基于视频图像识别用户意图的方法及相关设备
CN113096202B (zh) 图像压缩方法及装置、电子设备及计算机可读存储介质
CN116704566A (zh) 人脸识别、用于人脸识别的模型训练方法、装置及设备
CN115424309A (zh) 人脸关键点的生成方法、装置、终端设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant