CN111126121B - 人脸识别模型的调整方法、装置、设备及存储介质 - Google Patents

人脸识别模型的调整方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111126121B
CN111126121B CN201811297605.6A CN201811297605A CN111126121B CN 111126121 B CN111126121 B CN 111126121B CN 201811297605 A CN201811297605 A CN 201811297605A CN 111126121 B CN111126121 B CN 111126121B
Authority
CN
China
Prior art keywords
face
picture data
face picture
labeling
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811297605.6A
Other languages
English (en)
Other versions
CN111126121A (zh
Inventor
姚向民
黄培
刘博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811297605.6A priority Critical patent/CN111126121B/zh
Publication of CN111126121A publication Critical patent/CN111126121A/zh
Application granted granted Critical
Publication of CN111126121B publication Critical patent/CN111126121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提出了人脸识别模型的调整方法、装置、设备及存储介质,其中人脸识别模型的调整方法可以包括:通过人脸识别模型,对原始人脸图片数据进行处理,得到待评估的识别结果;基于待评估的识别结果,对于原始人脸图片数据进行标注;基于待评估的识别结果和标注后的原始人脸图片数据,计算多维度的效果评估指标;对于标注后的原始人脸图片数据进行质量分析,统计标注后原始人脸图片数据的质量特征、质量特征分布;基于效果评估指标、标注后的原始人脸图片数据的质量特征、质量特征分布自动调整人脸识别模型。

Description

人脸识别模型的调整方法、装置、设备及存储介质
技术领域
本发明涉及人脸识别领域,具体涉及一种人脸识别模型的调整方法、装置、计算机设备及计算机可读存储介质。
背景技术
人脸识别技术是基于图片视觉识别技术模型进行人脸识别。在实际的操作中往往通过特定的识别处理策略,来完成识别模型的优化补充。但是无论如何,模型识别结果总是存在误差。如何方便快速地评估人脸识别产品的部署效果,是一个比较棘手的事情。
此外由于图像和实际部署的环境光照条件、摄像头部署角度因素等都有关系,现有的模型识别结果总是存在误差。如何高效地调整模型的参数,减小识别错误率是一个比较棘手的事情。
考虑到长期进行人脸识别数字化的工作需求,急需一种改进的数字化人脸识别效果评估的方案和人工标注工具。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
根据本发明的第一方面,提供了一种人脸识别模型的调整方法,可以包括:
通过人脸识别模型,对原始人脸图片数据进行处理,得到待评估的识别结果;
基于待评估的识别结果,对于原始人脸图片数据进行标注;
基于待评估的识别结果和标注后的原始人脸图片数据,计算多维度的效果评估指标;
对于标注后的原始人脸图片数据进行质量分析,统计标注后原始人脸图片数据的质量特征、质量特征分布;
基于效果评估指标、标注后的原始人脸图片数据的质量特征、质量特征分布自动调整人脸识别模型。
在根据本发明第一方面的一个实施例中,其中通过人脸识别模型,对原始人脸图片数据进行处理,得到待评估的识别结果可以包括:
基于处理阈值和/或人脸比对评分策略来处理原始人脸图片数据,得到的待评估的识别结果包括会员人脸图片数据、泛会员人脸图片数据、新注册会员人脸图片数据。
在根据本发明第一方面的另一个实施例中,其中基于待评估的识别结果,对于原始人脸图片数据进行标注可以包括:
第一轮标注,对被识别为属于同一个体的所述待评估识别结果进行聚合,针对聚合所得到的不同组,如果判断为该组中的所述原始人脸图片确实属于同一个体,则标注为正确,如果判断为该组中的所述原始人脸图片数据并非属于同一个体,则标注为错误。
备选的,包括第二轮标注,针对被标注为错误的组,将其中的原始人脸图片数据和被标注为正确的组中的原始人脸图片数据进行比对,以修正错误的标注,并将不可通过比对得到确定个体的原始人脸图片数据标定为不确定。
备选的,包括第三轮标注,针对被标注为不确定的人脸图片数据进行单独标注,将不确定的人脸图片数据标注为新的个体。
备选的,包括第四轮标注,将被标注为不同个体、但实际上是同一个个体的人脸图片数据合并。
在根据本发明第一方面的再一个实施例中,其中多维度的效果评估指标可以包括:
人脸图片数据的准确率、召回率、是否被污染、是否被拆分。
在根据本发明第一方面的一个实施例中,其中标注后的人脸图片数据的质量特征可以包括:
人脸图片数据的光照度、摄像头相对于人脸的角度、人脸图片数据的清晰度、人脸图片像素的大小。
根据本发明的第二方面,提供了一种人脸识别模型的调整装置,可以包括:
人脸识别模型,用于对原始人脸图片数据进行处理,得到待评估的识别结果;
标注单元,用于基于待评估的识别结果,对于原始人脸图片数据进行标注;
计算单元,用于基于待评估的识别结果和标注后的原始人脸图片数据,计算多维度的效果评估指标;
分析单元,用于对于标注后的原始人脸图片数据进行质量分析,统计标注后原始人脸图片数据的质量特征、质量特征分布;
调整单元,用于基于效果评估指标、标注后的原始人脸图片数据的质量特征、质量特征分布自动调整人脸识别模型。
在根据本发明第二方面的一个实施例中,其中人脸识别模型进一步用于基于处理阈值和/或人脸比对评分策略来处理原始人脸图片数据,其中得到的待评估的识别结果包括会员人脸图片数据、泛会员人脸图片数据、新注册会员人脸图片数据。
在根据本发明第二方面的另一个实施例中,其中标注单元可以进一步用于:
第一轮标注,对被识别为属于同一个体的所述待评估识别结果进行聚合,针对聚合所得到的不同组,如果判断为该组中的所述原始人脸图片确实属于同一个体,则标注为正确,如果判断为该组中的所述原始人脸图片数据并非属于同一个体,则标注为错误。
备选的,标注单元用于第二轮标注,针对被标注为错误的组,将其中的原始人脸图片数据和被标注为正确的组中的原始人脸图片数据进行比对,以修正错误的标注,并将不可通过比对得到确定个体的原始人脸图片数据标定为不确定。
备选的,标注单元用于第三轮标注,针对被标注为不确定的人脸图片数据进行单独标注,将不确定的人脸图片数据标注为新的个体。
备选的,标注单元用于第四轮标注,将被标注为不同个体、但实际上是同一个个体的人脸图片数据合并。
在根据本发明第二方面的再一个实施例中,其中多维度的效果评估指标可以包括:
人脸图片数据的准确率、召回率、是否被污染、是否被拆分。
在根据本发明第二方面的又一个实施例中,其中标注后的人脸图片数据的质量特征可以包括:
人脸图片数据的光照度、摄像头相对于人脸的角度、人脸图片数据的清晰度、人脸图片像素的大小。
根据本发明的第三方面,提供了一种计算机设备,可以包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现上述的方法。
根据本发明的第四方面,提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现上述的方法。
本发明的人脸识别模型的调整方法、装置、设备及存储介质能够将实际环境因素引入到人脸识别模型,同时基于实际采集的人脸图片数据标注集合,自动完成人脸识别模型的参数调整,从而提供符合部署现场环境的最优模型参数。本发明涉及的技术目前已经使用在线下数字化项目的部署中,很好地解决了产品部署效果评估及摸底的问题;可以方便快速地通过标注工具来直接对于开放环境下(非封闭环境下)所部署产品的人脸图片数据的识别结果进行正确性标注。另外,本发明还支持多人同时进行标注,从而提高了产品部署评估的效率,简化了产品部署调试的流程。
上述概述仅仅是为了说明的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本发明公开的一些实施方式,而不应将其视为是对本发明范围的限制。
图1示意性示出根据本发明第一方面一个实施例的人脸识别模型的调整方法;
图2示意性示出根据本发明第一方面一个实施例的通过人脸识别模型,对原始人脸图片数据进行处理,得到待评估的识别结果;
图3示意性示出根据本发明第一方面一个实施例的基于待评估的识别结果,对于原始人脸图片数据进行标注;
图4示意性示出根据本发明第一方面一个实施例的多维度的效果评估指标;
图5示意性示出根据本发明第一方面一个实施例的标注后的人脸图片数据的质量特征;
图6示意性示出根据本发明第二方面一个实施例的人脸识别模型的调整装置;
图7示意性示出根据本发明第三方面一个实施例的计算机设备。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
在本公开的各个实施例的描述中,术语“包括”及其类似用语应当理解为开放性包含,即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。下文还可能包括其他明确的和隐含的定义。
在本发明的各个实施例中提到的术语“人脸”应当做广义的理解,并不局限于真实的人脸,而是可以包括动物的脸部、人脸的人脸照片、镜像的人脸、甚至于包含了人脸所带的头套,因为这些动物的脸部、人脸的人脸照片、镜像的人脸、头套都包含了脸部的特征。
在本发明的各个实施例中提到的术语“泛会员”,是指让更多的人成为会员。泛会员的建立方式主要分成两大类:支付即会员、访问即会员。术语“泛会员”的含义在本领域中也是已经知晓的。
根据本发明的第一方面,提供一种人脸识别模型的调整方法10,可以包括:步骤2,通过人脸识别模型,对原始人脸图片数据进行处理,得到待评估的识别结果;步骤4,基于待评估的识别结果,对于原始人脸图片数据进行标注;步骤6,基于待评估的识别结果和标注后的原始人脸图片数据,计算多维度的效果评估指标;步骤8,对于标注后的原始人脸图片数据进行质量分析,统计标注后原始人脸图片数据的质量特征、质量特征分布;步骤12,基于效果评估指标、标注后的原始人脸图片数据的质量特征、质量特征分布自动调整人脸识别模型。
在本发明的一个实施例中,在步骤2中提到的通过人脸识别模型,对原始人脸图片数据进行处理,得到待评估的识别结果,实际上就是通过一种人脸识别处理策略模型或者说通常意义上的人脸识别模型产出识别结果数据。产出的识别结果数据就是得到的待评估的识别结果。在对原始人脸图片数据进行处理的时候,通过给定的人脸图片数据的各种质量属性的处理阈值和人脸比对评分策略,完成人脸的识别。最终得到了每一张人脸图片(用face_token标定)上呈现人脸的个体身份(用face_id标定),将结果进行存储。对于原始人脸图片数据来讲可能包含很多个体的人脸图片数据,针对其中的每个个体都有自己的人脸身份face_id,或者说每个个体用自己特有的人脸身份face_id从而与其他个体的人脸身份face_id区分开来。例如后面将要提到的第一个个体的人脸身份用face_id1表示;第二个个体的人脸身份用face_id2表示;第三个个体的人脸身份用face_id3表示等等从而与其他个体的人脸身份face_id区分开来。人脸身份face_id的不同代表着该个体被识别为会员,识别为泛会员,或者识别为新注册会员等。换句话说,步骤2中提到的通过人脸识别模型,对原始人脸图片数据进行处理,得到待评估的识别结果可以包括下面的内容,即,基于上述的处理阈值和/或人脸比对评分策略来处理原始人脸图片数据,得到的待评估的识别结果可以划分为会员人脸图片数据、泛会员人脸图片数据、新注册会员人脸图片数据14。如在图2中的描述的。
在一个实施例中,在步骤4提到的基于待评估的识别结果,对于原始人脸图片数据进行标注可以包括下面的步骤:
第一轮标注16,对被识别为属于同一个体face_id的所述待评估识别结果进行聚合,针对聚合所得到的不同组,如果判断为该组中的所述原始人脸图片确实属于同一个体,则标注为正确,如果判断为该组中的所述原始人脸图片数据并非属于同一个体,则标注为错误;
具体来讲,首先按照人脸识别结果进行聚合,完成同一个体的人脸身份face_id的人脸图片face_token的标注。例如:
a)可以标注该组人脸图片是否是同一个人,即是否是同一个体。并选出最正的人脸图片作为该个体的人脸图片代表。假设对于第一个个体的人脸身份face_id1,可能有三张与其吻合或者匹配的人脸图片face_token1-1,face_token1-2,face_token1-3,其中可能人脸图片face_token1-1是第一个个体最正的人脸图片,可以作为第一个个体的人脸图片代表。同样,假设对于第二个个体的人脸身份face_id2,可能有两张与其吻合或者匹配的人脸图片face_token2-1,face_token2-2,其中可能人脸图片face_token2-1是第二个个体最正的人脸图片,可以作为第二个个体的人脸图片代表。假设对于第三个个体的人脸身份face_id3,可能有四张与其吻合的人脸图片face_token3-1,face_token3-2,face_token3-3,face_token3-4,其中可能人脸图片face_token3-1是第三个个体最正的人脸图片,可以作为第三个个体的人脸图片代表等等。
b)对于同一个体的所有人脸图片在识别为正确之后,点击正确标注。例如分别将待评估的识别结果中针对第一个个体(人脸身份face_id1)的人脸图片数据聚合在一起,并且标注为正确;将待评估的识别结果中针对第二个个体(人脸身份face_id2)的人脸图片数据聚合在一起,并且标注为正确;将待评估的识别结果中针对第三个个体(人脸身份face_id3)的人脸图片数据聚合在一起,并且标注为正确等等。
c)将针对特定用户或者说特定个体的人脸身份face_id和聚合图片内的每一个人脸图片face_token进行关联,并输入到数据库中,完成标注。例如将第一个个体的人脸身份face_id1和聚合图片内的每一个与其吻合的人脸图片face_token1-1,face_token1-2,face_token1-3分别进行关联,并输入到数据库中,从而完成第一个个体的标注。将第二个个体的人脸身份face_id2和聚合图片内的每一个与其吻合的人脸图片face_token2-1,face_token2-2分别进行关联,并输入到数据库中,从而完成第二个个体的标注。将第三个个体的人脸身份face_id3和聚合图片内的每一个与其吻合的人脸图片face_token3-1,face_token3-2,face_token3-3,face_token3-4,分别进行关联,并输入到数据库中,从而完成第三个个体的标注。诸如此类,最终完成最后一个个体的标注。
其次,对于一个个体的所有人脸图片并非是针对同一个体的情况,点击错误标注,将其移入到待进一步标注池中。如在第一轮标注16中提到的,将待评估的识别结果中并非针对同一个体的人脸图片数据标注为错误。例如,将待评估的识别结果中并非针对第一个个体的人脸图片face_token1-2标注为错误;将待评估的识别结果中并非针对第二个个体的人脸图片face_token2-2标注为错误;将待评估的识别结果中并非针对第三个个体的人脸图片face_token3-4标注为错误等等;最后将这些并非针对同一个体的人脸图片数据移入到待进一步标注池中。
在经过第一轮标注16之后,将所有准确识别为同一个体的人脸图片筛选了出来,完成了第一轮标注16。
在一个实施例中,在步骤4提到的基于原始人脸图片数据和待评估的识别结果,通过人工标注的方式,对于原始人脸图片数据进行标注还可以包括:第二轮标注18,针对被标注为错误的组,将其中的原始人脸图片数据和被标注为正确的组中的原始人脸图片数据进行比对,以修正错误的标注,并将不可通过比对得到确定个体的原始人脸图片数据标定为不确定。
第二轮标注18是针对有错误识别的人脸图片将其分组进行标注。具体来讲,例如:
a)使用标注工具将该组图片全部展示出来。例如将在第一轮标注16中被标注为错误的第一组g1个人脸图片、第二组g2个人脸图片、第三组g3个人脸图片等等全部展示出来。
b)用户根据人脸图片的具体情况,选择任意一组中的一张错误的人脸图片完成正确标注,顺序进行,从而完成所有组中错误的人脸图片的正确标注。例如用户可以随机选择标注为错误的人脸图片face_token1-2;用户也可以随机选择标注为错误的人脸图片face_token2-2;用户也可以随机选择标注为错误的人脸图片face_token3-4等等完成正确标注,顺序进行,从而完成所有被标注为错误的第一组g1个人脸图片、第二组g2个人脸图片、第三组g3个人脸图片等等的正确标注。
c)具体的当选择某一张人脸图片之后,在下面的相似人栏中展示与该人脸图片最相似的几张图片,包括在含有原始人脸图片数据的数据库搜索中相似度打分最高的一些人脸图片;第一轮标注中已经正常标注人群的代表图片(即最正的人脸图片),供用户选择匹配。
例如在随机选择被标注为错误的第一组g1个人脸图片中的人脸图片face_token1-2之后,在下面的相似人栏中展示与该人脸图片face_token1-2最相似的几张人脸图片,如人脸图片face_token4-2、人脸图片face_token2-1,其中人脸图片face_token4-2是在含有原始人脸图片数据的数据库搜索中相似度打分最高,假设为90分,其中人脸图片face_token2-1是第一轮标注16中已经正常标注人群的代表图片等等以供用户选择匹配。
d)若找到正确的个体face_id,点击标注,将该人脸图片标注成正确的个体face_id,逐步完成所有图片的标注。
例如对于标注为错误的人脸图片face_token1-2,若找到正确的个体face_id,例如face_id5,点击标注,将人脸图片face_token1-2标注到正确的个体face_id5。对于标注为错误的人脸图片face_token2-2,若找到正确的个体face_id,例如face_id7,点击标注,将人脸图片face_token2-2标注到正确的个体face_id7。对于标注为错误的人脸图片face_token3-4,若找到正确的个体face_id,例如face_id9,点击标注,将人脸图片face_token3-4标注到正确的个体face_id9等等,从而逐步完成所有被标注为错误的人脸图片的标注。
e)若仍然有没有标注的人脸图片,对于这些无法标注的人脸图片,单独的放入到一个汇总的人脸图片池中,这里面需要维持原来分组识别的错误关系。
例如仍然有没有标注的人脸图片,假设为face_token3-4,对于这些无法标注的人脸图片face_token3-4,单独的放入到一个汇总的人脸图片池中,这里面需要维持原来分组识别的错误关系,例如人脸图片face_token3-4的原来分组识别的错误关系是认为该人脸图片face_token3-4属于第三个个体face_id3的人脸图片,但实际上不是。
经过第二轮标注18的上述步骤a)-e)之后,针对被标注为错误的人脸图片数据,即,被标注为错误的第一组g1个人脸图片、第二组g2个人脸图片、第三组g3个人脸图片等,例如face_token1-2、face_token2-2、face_token3-4等等在被分组并且进行标注,与原始人脸图片数据和正确的针对同一个体的人脸图片数据进行比对,将被标注为错误的人脸图片数据分组中被误标错误的数据例如face_token2-2标注到正确的个体。例如被标注为错误的人脸图片face_token1-2被分配在第一组,该第一组含有g1个人脸图片;被标注为错误的人脸图片face_token2-2被分配在第二组,该第二组含有g2个人脸图片;被标注为错误的人脸图片face_token3-4被分配在第三组,该第三组含有g3个人脸图片等等。
f)将错误分组中的除去不确定人脸图片之后的分组,即处理掉不确定的人脸图片之后的分组,移入到已标注分组中。
将被标注为错误的人脸图片数据分组,例如被标注为错误的第一组g1个人脸图片、第二组g2个人脸图片、第三组g3个人脸图片等等中的不确定的人脸图片数据标注为不确定的人脸图片数据,例如face_token1-2、face_token2-2、face_token3-4等为不确定的人脸图片数据。例如假设face_token3-4仍然是不确定的人脸图片数据,则将人脸图片数据face_token3-4标注为不确定。将错误分组例如face_token1-2、face_token2-2、face_token3-4等中的除去不确定人脸图片(例如face_token3-4)之后的分组,即过滤掉不确定的人脸图片之后,移入到已标注人脸图片分组中。
在一个实施例中,在步骤4提到的基于原始人脸图片数据和待评估的识别结果,对于原始人脸图片数据进行标注还可以包括:第三轮标注22,针对被标注为不确定的人脸图片数据进行单独标注,将不确定的人脸图片数据标注为新的个体。
具体来讲,第三轮标注22主要是完成对于不确定的人脸图片的单独标注。例如:
a)单独标注的时候对于确实是一个未被识别的聚类个体,需要为其建立一个新的脸部身份例如face_idn,例如将不确定的人脸图片例如人脸图片face_token3-4加入该新的脸部身份face_idn中。
b)然后需要将该新的脸部身份face_idn添加到未被标注的用户信息表unlabel_user_info中。
在一个实施例中,在步骤4提到的基于待评估的识别结果,对于原始人脸图片数据进行标注还可以包括:第四轮标注24,将被标注为不同个体、但实际上是同一个个体的人脸图片数据合并。
例如假设人脸图片数据face_token7-8、face_token8-1在第一轮标注16时被标注为分别属于不同的聚类个体脸部身份face_id7,face_id8,但实际上是属于聚类个体face_id6的人脸图片数据face_token7-8、face_token8-1在第四轮标注24中将被合并在一起。
在一个实施例中,在步骤6提到了基于待评估的识别结果和标注后的原始人脸图片数据,计算多维度的效果评估指标。具体来说,在人工标注之后,产出人脸图片face_token与正确的脸部身份face_id之间的映射。计算单元56(图6示出)中的统计工具负责将所有人脸图片face_token进行遍历统计,找出每个脸部身份face_id下面有其人脸图片face_token被映射到其他脸部身份face_id的情况,最终汇总数据,产出评估指标。例如统计了分别映射到聚类个体脸部身份face_id7,face_id8下的人脸图片数据face_token7-8、face_token8-1,但实际上的人脸图片数据face_token7-8、face_token8-1是聚类个体脸部身份face_id6的人脸图片数据。
在一个实施例中,在步骤6提到的其中多维度的效果评估指标可以包括:人脸图片数据的准确率、召回率、是否被污染、是否被拆分。
“人脸图片数据的准确率”是指是否存在人脸图片数据被错误标注的指标。“召回率”是反映原始人脸图片数据中最终没有被划分到正确的聚类个体脸部身份、新的聚类个体脸部身份中的需要丢弃的人脸图片数据的指标。“是否被污染”是指比如一个聚类个体A的人脸图片被错误识别成了其他的已经存在的聚类个体比如B的人脸图片,这样就相当于聚类个体A的人脸图片污染了聚类个体B的人脸图片。“是否被拆分”是指比如聚类个体A的一组人脸图片被识别成了聚类个体A和聚类个体A’的人脸图片,其中聚类个体A’是一个不存在的聚类个体。
在一个实施例中,在步骤8提到了对于标注后的原始人脸图片数据进行质量分析,统计标注后原始人脸图片数据的质量特征、质量特征分布。具体来说,是指统计人脸图片数据的特征信息。通过对于实际环境中采集的所有人脸图片数据的各个质量特征,例如人脸图片数据的光照度、摄像头相对于人脸的角度、人脸图片数据的清晰度、人脸图片像素的大小等等进行汇总统计分析,获取标注后原始人脸图片数据的质量特征、质量特征分布信息,用于进一步指导模型进行调整。
在一个实施例中,在步骤12提到了基于效果评估指标、标注后的原始人脸图片数据的质量特征、质量特征分布自动调整人脸识别模型。自动调整人脸识别模型能够优化人脸识别模型参数,提高人脸识别的准确率,提高效率。
根据本发明的第二方面,提供一种人脸识别模型的调整装置30,如在图6所示的,可以包括:
人脸识别模型52,用于对原始人脸图片数据进行处理,得到待评估的识别结果;
标注单元54,用于基于待评估的识别结果,对于原始人脸图片数据进行标注;
计算单元56,用于基于待评估的识别结果和标注后的原始人脸图片数据,计算多维度的效果评估指标;
分析单元58,用于对于标注后的原始人脸图片数据进行质量分析,统计标注后原始人脸图片数据的质量特征、质量特征分布;
调整单元62,用于基于效果评估指标、标注后的原始人脸图片数据的质量特征、质量特征分布自动调整人脸识别模型52。
在本发明的一个实施例中,其中人脸识别模型52可以进一步用于基于处理阈值和/或人脸比对评分策略来处理原始人脸图片数据,其中得到的待评估的识别结果包括会员人脸图片数据、泛会员人脸图片数据、新注册会员人脸图片数据。
在本发明的一个实施例中,其中标注单元54可以进一步用于:
第一轮标注,对被识别为属于同一个体的所述待评估识别结果进行聚合,针对聚合所得到的不同组,如果判断为该组中的所述原始人脸图片确实属于同一个体,则标注为正确,如果判断为该组中的所述原始人脸图片数据并非属于同一个体,则标注为错误。
备选的,标注单元54进行第二轮标注,针对被标注为错误的组,将其中的原始人脸图片数据和被标注为正确的组中的原始人脸图片数据进行比对,以修正错误的标注,并将不可通过比对得到确定个体的原始人脸图片数据标定为不确定。
备选的,标注单元54进行第三轮标注,针对被标注为不确定的人脸图片数据进行单独标注,将不确定的人脸图片数据标注为新的个体。
备选的,标注单元54进行第四轮标注,将被标注为不同个体、但实际上是同一个个体的人脸图片数据合并。
在本发明的一个实施例中,其中多维度的效果评估指标可以包括:
人脸图片数据的准确率、召回率、是否被污染、是否被拆分。
在本发明的一个实施例中,其中标注后的人脸图片数据的质量特征可以包括:
人脸图片数据的光照度、摄像头相对于人脸的角度、人脸图片数据的清晰度、人脸图片像素的大小。
在根据本发明第三方面的实施例中,提供了一种计算机设备,可以包括:一个或多个处理器;存储装置,用于存储一或多个程序;当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现如上的方法。
在根据本发明第四方面的实施例中,提供了一种计算机可读存储介质,其存储有计算机程序,其特征在于,该程序被处理器执行时实现如上的方法。
例如,图7示出了可以用来实施本公开的实施例的示例计算机设备50的示意性框图。应当理解,计算机设备50可以用于实现本公开所描述的人脸识别模型的调整方法10。如图所示,计算机设备50包括中央处理单元(CPU)52,其可以根据存储在只读存储器(ROM)54中的计算机程序指令或者从存储单元66加载到随机访问存储器(RAM)56中的计算机程序指令,来执行各种适当的动作和处理。在RAM56中,还可存储计算机设备50操作所需的各种程序和数据。CPU52、ROM 54以及RAM 56通过总线58彼此相连。输入/输出(I/O)接口60也连接至总线58。
计算机设备50中的多个部件连接至I/O接口60,包括:输入单元62,例如键盘、鼠标等;输出单元64,例如各种类型的显示器、扬声器等;存储单元66,例如磁盘、光盘等;以及通信单元68,例如网卡、调制解调器、无线通信收发机等。通信单元68允许计算机设备50通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元52执行上文所描述的各个方法和过程,例如方法10。例如,在一些实施例中,方法10可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元66。在一些实施例中,计算机程序的部分或者全部可以经由ROM 54和/或通信单元68而被载入和/或安装到计算机设备50上。当计算机程序加载到RAM 56并由CPU52执行时,可以执行上文描述的方法10的一个或多个动作或步骤。备选地,在其他实施例中,CPU52可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行方法10。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD),等等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或它们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成。该程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。存储介质可以是只读存储器,磁盘或光盘等。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (18)

1.一种人脸识别模型的调整方法,其特征在于,包括:
通过所述人脸识别模型,对原始人脸图片数据进行处理,得到待评估识别结果;
基于待评估的识别结果,对所述原始人脸图片数据进行标注;
基于所述待评估的识别结果和所述标注后的原始人脸图片数据,计算多维度的效果评估指标;
对所述标注后的原始人脸图片数据进行质量分析,统计所述标注后原始人脸图片数据的质量特征、质量特征分布;
基于所述效果评估指标、所述标注后的原始人脸图片数据的质量特征、质量特征分布自动调整所述人脸识别模型。
2.根据权利要求1所述的人脸识别模型的调整方法,其中通过所述人脸识别模型,对原始人脸图片数据进行处理,得到待评估识别结果包括:
基于识别阈值和/或人脸比对评分策略来识别所述原始人脸图片数据,所述得到的待评估识别结果包括会员人脸图片数据、泛会员人脸图片数据、新注册会员人脸图片数据。
3.根据权利要求2所述的人脸识别模型的调整方法,其中基于待评估识别结果,对所述原始人脸图片数据进行标注包括:
第一轮标注,对被识别为属于同一个体的所述待评估识别结果进行聚合,针对聚合所得到的不同组,如果判断为该组中的所述原始人脸图片确实属于同一个体,则标注为正确,如果判断为该组中的所述原始人脸图片数据并非属于同一个体,则标注为错误。
4.根据权利要求3所述的人脸识别模型的调整方法,其中基于待评估识别结果,对所述原始人脸图片数据进行标注还包括:
第二轮标注,针对被标注为错误的组,将其中的原始人脸图片数据和被标注为正确的组中的原始人脸图片数据进行比对,以修正错误的标注,并将不可通过比对得到确定个体的原始人脸图片数据标定为不确定。
5.根据权利要求4所述的人脸识别模型的调整方法,其中基于待评估识别结果,对所述原始人脸图片数据进行标注还包括:
第三轮标注,将被标注为不确定的原始人脸图片数据标注为新的个体。
6.根据权利要求5所述的人脸识别模型的调整方法,其中基于待评估识别结果,对所述原始人脸图片数据进行标注还包括:
第四轮标注,将被识别为不同个体、但实际上是同一个个体的人脸图片数据合并。
7.根据权利要求1-6中任一项所述的人脸识别模型的调整方法,其中所述多维度的效果评估指标包括:
人脸图片数据的准确率、召回率、是否被污染、是否被拆分。
8.根据权利要求1-6中任一项所述的人脸识别模型的调整方法,其中所述标注后的人脸图片数据的质量特征包括:
人脸图片数据的光照度、摄像头相对于人脸的角度、人脸图片数据的清晰度、人脸图片像素的大小。
9.一种人脸识别模型的调整装置,其特征在于,包括:
人脸识别模型,用于对原始人脸图片数据进行处理,得到待评估的识别结果;
标注单元,用于基于所述待评估的识别结果,对于所述原始人脸图片数据进行标注;
计算单元,用于基于所述待评估的识别结果和所述标注后的原始人脸图片数据,计算多维度的效果评估指标;
分析单元,用于对于所述标注后的原始人脸图片数据进行质量分析,统计所述标注后原始人脸图片数据的质量特征、质量特征分布;
调整单元,用于基于所述效果评估指标、所述标注后的原始人脸图片数据的质量特征、质量特征分布自动调整所述人脸识别模型。
10.根据权利要求9所述的人脸识别模型的调整装置,其中所述人脸识别模型进一步用于基于处理阈值和/或人脸比对评分策略来处理所述原始人脸图片数据,其中所述得到的待评估的识别结果包括会员人脸图片数据、泛会员人脸图片数据、新注册会员人脸图片数据。
11.根据权利要求10所述的人脸识别模型的调整装置,其中所述标注单元进一步用于:
第一轮标注,对被识别为属于同一个体的所述待评估识别结果进行聚合,针对聚合所得到的不同组,如果判断为该组中的所述原始人脸图片确实属于同一个体,则标注为正确,如果判断为该组中的所述原始人脸图片数据并非属于同一个体,则标注为错误。
12.根据权利要求11所述的人脸识别模型的调整装置,其中所述标注单元进一步用于:
第二轮标注,针对被标注为错误的组,将其中的原始人脸图片数据和被标注为正确的组中的原始人脸图片数据进行比对,以修正错误的标注,并将不可通过比对得到确定个体的原始人脸图片数据标定为不确定。
13.根据权利要求12所述的人脸识别模型的调整装置,其中所述标注单元进一步用于:
第三轮标注,针对所述被标注为不确定的人脸图片数据进行单独标注,将所述不确定的人脸图片数据标注为新的个体。
14.根据权利要求13所述的人脸识别模型的调整装置,其中所述标注单元进一步用于:
第四轮标注,将被标注为不同个体、但实际上是同一个个体的人脸图片数据合并。
15.根据权利要求14所述的人脸识别模型的调整装置,其中所述多维度的效果评估指标包括:
人脸图片数据的准确率、召回率、是否被污染、是否被拆分。
16.根据权利要求15所述的人脸识别模型的调整装置,其中所述标注后的人脸图片数据的质量特征包括:
人脸图片数据的光照度、摄像头相对于人脸的角度、人脸图片数据的清晰度、人脸图片像素的大小。
17.一种计算机设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
18.一种计算机可读存储介质,其存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN201811297605.6A 2018-11-01 2018-11-01 人脸识别模型的调整方法、装置、设备及存储介质 Active CN111126121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811297605.6A CN111126121B (zh) 2018-11-01 2018-11-01 人脸识别模型的调整方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811297605.6A CN111126121B (zh) 2018-11-01 2018-11-01 人脸识别模型的调整方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111126121A CN111126121A (zh) 2020-05-08
CN111126121B true CN111126121B (zh) 2023-04-04

Family

ID=70494507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811297605.6A Active CN111126121B (zh) 2018-11-01 2018-11-01 人脸识别模型的调整方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111126121B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104252628A (zh) * 2013-06-28 2014-12-31 广州华多网络科技有限公司 人脸图像标注方法和系统
US9104908B1 (en) * 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
CN106446768A (zh) * 2015-08-10 2017-02-22 三星电子株式会社 用于脸部识别的方法和设备
CN107247972A (zh) * 2017-06-29 2017-10-13 哈尔滨工程大学 一种基于众包技术的分类模型训练方法
CN107609493A (zh) * 2017-08-25 2018-01-19 广州视源电子科技股份有限公司 优化人脸图片质量评价模型的方法及装置
CN107729819A (zh) * 2017-09-22 2018-02-23 华中科技大学 一种基于稀疏全卷积神经网络的人脸标注方法
CN107808149A (zh) * 2017-11-17 2018-03-16 腾讯数码(天津)有限公司 一种人脸信息标注方法、装置和存储介质
CN107967495A (zh) * 2017-12-21 2018-04-27 中科智文(北京)科技有限公司 一种铜镜文物识别系统和方法
CN108229321A (zh) * 2017-11-30 2018-06-29 北京市商汤科技开发有限公司 人脸识别模型及其训练方法和装置、设备、程序和介质
CN108427939A (zh) * 2018-03-30 2018-08-21 百度在线网络技术(北京)有限公司 模型生成方法和装置
CN108446651A (zh) * 2018-03-27 2018-08-24 百度在线网络技术(北京)有限公司 人脸识别方法和装置
CN108628971A (zh) * 2018-04-24 2018-10-09 深圳前海微众银行股份有限公司 不均衡数据集的文本分类方法、文本分类器及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9104908B1 (en) * 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
CN104252628A (zh) * 2013-06-28 2014-12-31 广州华多网络科技有限公司 人脸图像标注方法和系统
CN106446768A (zh) * 2015-08-10 2017-02-22 三星电子株式会社 用于脸部识别的方法和设备
CN107247972A (zh) * 2017-06-29 2017-10-13 哈尔滨工程大学 一种基于众包技术的分类模型训练方法
CN107609493A (zh) * 2017-08-25 2018-01-19 广州视源电子科技股份有限公司 优化人脸图片质量评价模型的方法及装置
CN107729819A (zh) * 2017-09-22 2018-02-23 华中科技大学 一种基于稀疏全卷积神经网络的人脸标注方法
CN107808149A (zh) * 2017-11-17 2018-03-16 腾讯数码(天津)有限公司 一种人脸信息标注方法、装置和存储介质
CN108229321A (zh) * 2017-11-30 2018-06-29 北京市商汤科技开发有限公司 人脸识别模型及其训练方法和装置、设备、程序和介质
CN107967495A (zh) * 2017-12-21 2018-04-27 中科智文(北京)科技有限公司 一种铜镜文物识别系统和方法
CN108446651A (zh) * 2018-03-27 2018-08-24 百度在线网络技术(北京)有限公司 人脸识别方法和装置
CN108427939A (zh) * 2018-03-30 2018-08-21 百度在线网络技术(北京)有限公司 模型生成方法和装置
CN108628971A (zh) * 2018-04-24 2018-10-09 深圳前海微众银行股份有限公司 不均衡数据集的文本分类方法、文本分类器及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Hao Ye等.Face Recognition via Active Annotation and Learning.《ACM》.2016,第1-5页. *
常云翔.基于深度学习的复杂光照条件下人脸识别技术研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2017,(第08期),第I138-267页. *
征察 ; 吉立新 ; 李邵梅 ; 高超 ; .基于多模态信息融合的新闻图像人脸标注.《计算机应用》.2017,第37卷(第10期),第3006-3011、3038页. *

Also Published As

Publication number Publication date
CN111126121A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
Movahedi et al. Design and perceptual validation of performance measures for salient object segmentation
US20210182611A1 (en) Training data acquisition method and device, server and storage medium
US9122995B2 (en) Classification of stream-based data using machine learning
CN107515877A (zh) 敏感主题词集的生成方法和装置
CN110377804A (zh) 培训课程数据的推送方法、装置、系统及存储介质
CN108491388B (zh) 数据集获取方法、分类方法、装置、设备及存储介质
CN109684913A (zh) 一种基于社区发现聚类的视频人脸标注方法和系统
CN110992124B (zh) 房源的推荐方法及房源的推荐系统
CN110688888B (zh) 一种基于深度学习的行人属性识别方法和系统
CN108154132A (zh) 一种身份证文字提取方法、系统及设备和存储介质
CN109885597A (zh) 基于机器学习的用户分群处理方法、装置及电子终端
JP2016099835A (ja) 画像処理装置、画像処理方法、及びプログラム
CN111460315B (zh) 社群画像构建方法、装置、设备及存储介质
CN111639077A (zh) 数据治理方法、装置、电子设备、存储介质
KR101093107B1 (ko) 영상정보 분류방법 및 장치
CN111652259B (zh) 一种清洗数据的方法及系统
CN111126121B (zh) 人脸识别模型的调整方法、装置、设备及存储介质
Tran et al. Blood cell count using deep learning semantic segmentation
CN109801394B (zh) 一种工作人员考勤方法及装置、电子设备和可读存储介质
CN111401158A (zh) 难样本发现方法、装置及计算机设备
CN110414792A (zh) 基于bim和大数据的部品集采管理系统及相关产品
JP2005353101A (ja) 画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN112699908B (zh) 标注图片的方法、电子终端、计算机可读存储介质及设备
US20210089886A1 (en) Method for processing data based on neural networks trained by different methods and device applying method
CN112559590A (zh) 一种测绘数据资源处理方法、装置及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant