CN115063861A - 模型训练方法、图像背景相似判断方法及装置 - Google Patents

模型训练方法、图像背景相似判断方法及装置 Download PDF

Info

Publication number
CN115063861A
CN115063861A CN202210725663.4A CN202210725663A CN115063861A CN 115063861 A CN115063861 A CN 115063861A CN 202210725663 A CN202210725663 A CN 202210725663A CN 115063861 A CN115063861 A CN 115063861A
Authority
CN
China
Prior art keywords
image
training
face
images
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210725663.4A
Other languages
English (en)
Inventor
王昕远
郑少杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202210725663.4A priority Critical patent/CN115063861A/zh
Publication of CN115063861A publication Critical patent/CN115063861A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种模型训练方法、图像背景相似判断方法及装置,该模型训练方法基于训练数据,训练用于对刷脸图像的背景相似度评分进行预测的目标模型,其中,训练数据包括多个数据对以及每一数据对的背景相似度评分标签,每一数据对的背景相似度评分标签根据相应数据对的背景相似程度确定,每一数据对包括两个刷脸图像。从而,利用模型训练的思想,提供了一种对刷脸图像的背景相似度评分进行预测的方式,不仅实现对刷脸图像背景相似度评分的分析,而且确保了分析的准确性,有利于快速地识别欺诈团伙,以对其欺诈行为进行预警以及响应。

Description

模型训练方法、图像背景相似判断方法及装置
技术领域
本申请涉及金融科技(Fintech)的图像处理技术,尤其涉及一种模型训练方法、图像背景相似判断方法及装置。
背景技术
随着计算机技术的发展,越来越多的技术应用在金融领域,传统金融业正在逐步向金融科技转变,图像处理技术也不例外,但由于金融行业的安全性、实时性要求,其对图像处理技术提出更高的要求。
相关技术中,很多业务开展都需要用到图像处理技术,以银行信贷业务为例,需要处理用户提供的刷脸图像(半身像或头像),以识别用户身份。业务方在对用户进行身份识别时,发现部分逾期用户的刷脸照片所处的场景是相似的,即刷脸图像的背景是相似的,甚至刷脸图像是在同一位置同一视角拍摄的,这种情况有较大可能是欺诈团伙在有组织地进行欺诈行为。因此,需要训练一个模型,可以计算出任意两张刷脸图像的背景相似度,以快速地对团伙欺诈行为进行预警以及响应。
发明内容
本申请提供一种模型训练方法、图像背景相似判断方法、介质及装置,以实现对刷脸图像背景相似度的预测分析。
第一方面,本申请实施例提供一种模型训练方法,所述方法包括:
确定训练数据,所述训练数据包括多个数据对以及每一数据对的背景相似度评分标签,所述每一数据对的背景相似度评分标签根据相应数据对的背景相似程度确定,所述每一数据对包括两个刷脸图像;
根据所述训练数据,对预设初始模型进行训练,得到训练好的目标模型,所述目标模型用于对刷脸图像的背景相似度评分进行预测。
第二方面,本申请实施例提供一种图像背景相似判断方法,包括:
确定待判断刷脸图像,所述待判断刷脸图像包括至少一个数据对,每一数据对包括两个刷脸图像;
通过目标模型对所述至少一个数据对进行处理,得到所述至少一个数据对中每一数据对对应的背景相似度预测评分,其中,所述目标模型是根据如第一方面提供的模型训练方法训练得到的;
展示所述每一数据对对应的背景相似度预测评分。
第三方面,本申请实施例提供一种模型训练装置,所述装置包括:
数据确定模块,用于确定训练数据,所述训练数据包括多个数据对以及每一数据对的背景相似度评分标签,所述每一数据对的背景相似度评分标签根据相应数据对的背景相似程度确定,所述每一数据对包括两个刷脸图像;
模型训练模块,用于根据所述训练数据,对预设初始模型进行训练,得到训练好的目标模型,所述目标模型用于对刷脸图像的背景相似度评分进行预测。
第四方面,本申请实施例提供一种图像背景相似判断装置,所述装置包括:
图像确定模块,用于确定待判断刷脸图像,所述待判断刷脸图像包括至少一个数据对,每一数据对包括两个刷脸图像;
背景判断模块,用于通过目标模型对所述至少一个数据对进行处理,得到所述至少一个数据对中每一数据对对应的背景相似度预测评分,其中,所述目标模型是根据如第一方面提供的模型训练方法训练得到的;
评分展示模块,用于展示所述每一数据对对应的背景相似度预测评分。
第五方面,本申请实施例提供一种模型训练设备,包括:
处理器;
存储器;以及
计算机程序;
其中,所述计算机程序被存储在所述存储器中,并且被配置为由所述处理器执行,所述计算机程序包括用于执行如第一方面所述的方法的指令。
第六方面,本申请实施例提供一种图像背景相似判断设备,包括:
处理器;
存储器;以及
计算机程序;
其中,所述计算机程序被存储在所述存储器中,并且被配置为由所述处理器执行,所述计算机程序包括用于执行如第二方面所述的方法的指令。
第七方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序使得服务器执行第一方面所述的方法。
第八方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序使得服务器执行第二方面所述的方法。
第九方面,本申请实施例提供一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行第一方面所述的方法。
第十方面,本申请实施例提供一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行第二方面所述的方法。
本申请实施例提供的模型训练方法、图像背景相似判断方法及装置,该方法基于训练数据,训练用于对刷脸图像的背景相似度评分进行预测的目标模型,其中,训练数据包括多个数据对以及每一数据对的背景相似度评分标签,每一数据对的背景相似度评分标签根据相应数据对的背景相似程度确定,每一数据对包括两个刷脸图像。从而,利用模型训练的思想,提供了一种对刷脸图像的背景相似度评分进行预测的方式,不仅实现对刷脸图像背景相似度评分的分析,而且确保了分析的准确性,有利于快速地识别欺诈团伙,以对其欺诈行为进行预警以及响应。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例根据本申请实施方式提供的应用场景示意图;
图2为本申请实施例提供的一种模型训练方法的流程示意图;
图3为本申请实施例提供的另一种模型训练方法的流程示意图;
图4为本申请实施例提供的再一种模型训练方法的流程示意图;
图5为本申请实施例提供的一刷脸图像对应的前景背景分割图;
图6为本申请实施例提供的一刷脸图像与其对应的前景背景分割图进行融合后的图像;
图7为本申请实施例提供的在前景与背景的分界位置有部分前景的像素残留示意图;
图8为本申请实施例提供的一刷脸图像与前景背景分割扩展图融合后的结果示意图;
图9a为本申请实施例提供的一边缘检测图与前景背景分割扩展图融合后的结果示意图;
图9b为本申请实施例提供的一边缘检测图与前景背景分割图融合后的结果示意图;
图10为本申请实施例提供的一种图像背景相似判断方法的流程示意图;
图11为本申请实施例提供的一种模型训练装置的结构示意图;
图12为本申请实施例提供的一种图像背景相似判断装置的结构示意图;
图13A示出了本申请模型训练设备的一种可能的结构示意图;
图13B示出了本申请图像背景相似判断设备的一种可能的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”及“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
当前在金融行业中,很多业务开展都需要用到图像处理技术,以银行信贷业务为例,需要处理用户提供的刷脸图像(半身像或头像),以识别用户身份。业务方在对用户进行身份识别时,发现部分逾期用户的刷脸照片所处的场景是相似的,即刷脸图像的背景是相似的,甚至刷脸图像是在同一位置同一视角拍摄的,这种情况有较大可能是欺诈团伙在有组织地进行欺诈行为。因此,需要训练一个模型,可以计算出任意两张刷脸图像的背景相似度,以快速地对团伙欺诈行为进行预警以及响应。
出于对刷脸图像背景相似度进行分析的想法,本申请实施例提出一种模型训练方法,基于包括多个数据对以及每一数据对的背景相似度评分标签的训练数据,训练能够对刷脸图像的背景相似度评分进行预测的目标模型,基于该目标模型,不仅实现对刷脸图像背景相似度评分的分析,而且确保了分析的准确性,有利于快速地识别欺诈团伙,以对其欺诈行为进行预警以及响应。
可选地,本申请实施方式适用于的场景包括模型训练场景和/或图像背景相似判断场景。
首先参考图1,图1示意性地示出了根据本申请实施方式提供的应用场景示意图,该应用场景涉及的设备包括服务器101。
应用场景为模型训练场景时:服务器101上存储有预先采集的训练数据且部署有待训练的模型,可在服务器101上基于训练数据训练模型。
应用场景为图像背景相似判断场景时:服务器101上存储有待判断刷脸图像且部署有训练后的模型,可在服务器101上基于待判断刷脸图像和训练后的模型,预测到待判断刷脸图像的背景相似度评分。
可选的,应用场景涉及的设备还包括终端102,服务器101与终端102可通过网络进行通信。此时,服务器101可为与业务相关的应用程序的产品服务器,终端102可为部署有该应用程序的客户端。
其中,用户可在终端102上打开与业务相关的应用程序,如需要审核身份,经用户授权的情况下,终端102可以拍摄用户的刷脸图像,存储该刷脸图像,并将该刷脸图像发送至服务器101,以用于模型训练和/或用于图像背景相似判断。
下面结合图1的应用场景,参考图2-图10来描述根据本申请示例性实施方式提供的模型训练方法和图像背景相似判断方法。需要注意的是,上述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。相反,本申请的实施方式可以应用于适用的任何场景。
需要说明的是,本申请的实施方式可应用于电子设备,电子设备可以为终端或者服务器,即可在终端或者服务器上执行本申请示例性实施方式提供的模型训练方法和/或图像背景相似判断方法。
其中,终端可以是个人数字处理(personal digital assistant,PDA)设备、具有无线通信功能的手持设备(例如智能手机、平板电脑)、计算设备(例如个人电脑(personalcomputer,PC))、车载设备、可穿戴设备(例如智能手表、智能手环)、智能家居设备(例如智能显示设备)等。服务器可以是整体式服务器或是跨多计算机或计算机数据中心的分散式服务器。服务器还可以是各种类别的,例如但不限于,网络服务器,应用服务器,或数据库服务器,或代理服务器。
可选的,服务器可以包括硬件,软件,或用于执行服务器所支持或实现的合适功能的内嵌逻辑组件或两个或多个此类组件的组合。例如,服务器例如刀片服务器、云端服务器等,或者可以是由多台服务器组成的服务器群组,可以包括上述类别的服务器中的一种或多种等等。
需要说明的是,根据本申请示例性实施方式提供的模型训练方法和根据本申请示例性实施方式提供的模型训练方法和图像背景相似判断方法,可以在相同设备上执行,也可以在不同设备上执行。
参考图2,图2为本申请实施例提供的一种模型训练方法的流程示意图。如图2所示,本申请实施例提供的模型训练方法包括如下步骤:
S201:确定训练数据,该训练数据包括多个数据对以及每一数据对的背景相似度评分标签,每一数据对的背景相似度评分标签根据相应数据对的背景相似程度确定,每一数据对包括两个刷脸图像。
其中,在训练数据中包括多个数据对,还包括每一数据对的背景相似度评分标签,该背景相似度评分标签为每一数据对真实、实际或者理想的背景相似度评分,根据相应数据对的背景相似程度确定,如一个数据对中两个刷脸图像的背景越相似,两个刷脸图像的背景相似度评分标签越大。
可选地,上述背景相似度评分标签包括至少三个不同的评分标签,各个评分标签对应的数据对的背景相似程度不同。以上述背景相似度评分标签包括四个不同的评分标签为例,如上述背景相似度评分标签包括1、2、3和4四个不同的评分标签,标签1对应的数据对的背景相似程度最低,如为不相似,标签2对应的数据对的背景相似程度为低,标签3对应的数据对的背景相似程度为中,标签4对应的数据对的背景相似程度为高。
在用户授权的情况下,可从历史数据中,获取用户的刷脸图像,以及刷脸图像的背景相似度评分,进而,确定训练数据。其中,历史数据中可以包括多个数据对,每一数据对包括两个刷脸图像。历史数据中还可以包括每一数据对的背景相似度评分。
S202:根据上述训练数据,对预设初始模型进行训练,得到训练好的目标模型,该目标模型用于对刷脸图像的背景相似度评分进行预测。
示例性的,本实施例在进行模型训练时,可以确定上述训练数据的每一数据对中两个刷脸图像的RGB矩阵,其中,该RGB矩阵根据两个刷脸图像的RGB三通道、图像宽度和图像高度确定,进而,分别对上述两个刷脸图像的RGB矩阵进行向量化处理,获得两个向量,从而,计算这两个向量之间的余弦距离,基于计算的余弦距离,确定背景相似度预测评分,并根据该背景相似度预测评分,对预设初始模型进行训练,得到训练好的目标模型。
其中,本实施例可以利用向量化编码网络,对上述两个刷脸图像的RGB矩阵进行向量化处理。这里,上述向量化编码网络可以包括主干网络的编码部分,该主干网络可以为ResNet-50。另外,上述向量化编码网络还可以为任意图像向量化的网络,如VGGNet、InceptionNet、MobileNet的向量化编码网络。
在本实施例中,刷脸图像的背景相似度评分反映刷脸图像的背景相似程度,如刷脸图像的背景相似度评分越大,则刷脸图像的背景相似程度越高。
这里,本实施例可以基于每一数据对的背景相似度评分标签,确定目标模型的标签数据,对目标模型进行有监督训练,使得目标模型预测的每一数据对的背景相似度评分接近相应数据对的背景相似度评分标签,提高目标模型的背景相似度评分预测的准确性。
另外,本实施例还可以初始化模型中的待训练参数,如采用全零初始化,即所有待训练参数均设置为0。
本申请实施例中,基于训练数据,训练用于对刷脸图像的背景相似度评分进行预测的目标模型,其中,训练数据包括多个数据对以及每一数据对的背景相似度评分标签,每一数据对的背景相似度评分标签根据相应数据对的背景相似程度确定,每一数据对包括两个刷脸图像,从而,基于训练后的目标模型实现对刷脸图像背景相似度评分的分析,并确保了分析的准确性。
在相关技术中,在训练模型过程中,每一数据对的背景相似度评分标签通常为两个,如在两个刷脸图像背景相似时,上述背景相似度评分标签为1,在两个刷脸图像背景不相似时,上述背景相似度评分标签为-1。这样,可能导致训练好的目标模型仅依靠图像背景中某个局部位置的物件就判断图像背景相似,比如办公区桌子的隔板,以及公司特有的LOGO等,或者,对于两张图像有某个关键物品相似(如定制的椅子及桌子),但处在不同位置的情况,就会被算作不相似,使得训练好的目标模型做出很多错误的判断,模型精确率较低。
为了提高训练好的目标模型的精确率,本申请实施例将两张图像背景的相似程度分成了更多等级,即设置背景相似度评分标签包括至少三个不同的评分标签,各个评分标签对应的数据对的背景相似程度不同。相应的,本申请实施例在训练模型时,可以基于预设余弦距离的最大值和最小值,初始化背景相似度预测评分,进而,确定各个评分标签到上述背景相似度预测评分的映射标签,从而,根据该映射标签,构建损失函数,基于该损失函数,对预设初始模型进行训练,得到精确率较高的目标模型。这里,本实施例可以基于
Figure BDA0003713122450000081
初始化背景相似度预测评分,其中,本实施例可以预设余弦距离的最大值1为
Figure BDA0003713122450000082
最小值-1为
Figure BDA0003713122450000083
并使用smax、smin来表示模型在训练集上计算出来的分数(即余弦距离)的最大值以及最小值,即背景相似度预测评分的最大值以及最小值。
在本实施例中,当完成一次训练后(遍历训练数据),确定一次映射标签,并调整损失函数。本申请实施例设计的损失函数,可以随训练过程自适应地调整从评分标签到背景相似度预测评分的映射关系,然后基于该损失函数进行训练。这种方式下,由于映射标签的数值是正比于评分标签(如上述评分标签为1/2/3/4)的,因此间接地对评分标签之间的顺序进行了监督。采用这个损失函数进行训练,可以支持评分标签从两个扩增至四个(或更多),使模型学习到这些不同程度的背景相似情况,并学习到评分标签之间顺序性,这样,对于低相似的图像对,即使模型学习到的是错误的关键信息,也不会给其很高的分数。
参考图3,图3为本申请实施例提供的另一种模型训练方法的流程示意图。这里,上述背景相似度评分标签包括至少三个不同的评分标签,各个评分标签对应的数据对的背景相似程度不同。如图3所示,本申请实施例提供的模型训练方法包括如下步骤:
S301:确定训练数据,该训练数据包括多个数据对以及每一数据对的背景相似度评分标签,每一数据对的背景相似度评分标签根据相应数据对的背景相似程度确定,每一数据对包括两个刷脸图像。
其中,步骤S301与上述步骤S201的实现方式相同,此处不再赘述。
S302:基于预设余弦距离的最大值和最小值,初始化背景相似度预测评分。
S303:确定上述各个评分标签到上述背景相似度预测评分的映射标签。
本实施例中,可以获取预设的评分标签与背景相似度评分的映射关系式,该映射关系式中包括待求解参数,进而,根据该映射关系式、上述各个评分标签和背景相似度预测评分,确定上述待求解参数的值,从而,基于上述映射关系式和待求解参数的值,获得上述各个评分标签到上述背景相似度预测评分的映射标签。
例如上述映射关系式为l′i=a×li+b,其中,a和b表示待求解参数,l′i表示映射结果,li表示上述各个评分标签。如上述背景相似度预测评分的最小值和最大值表示为smin,smax,li的最小值为lmin=1,最大值为lmax=4。
则可以构造二元一次方程组:
Figure BDA0003713122450000091
解得:
Figure BDA0003713122450000092
由此可得映射关系:
Figure BDA0003713122450000093
以smin=-1,smax=1为例,li各个取值的情况下l′i的值为:
Figure BDA0003713122450000094
S304:根据上述映射标签,构建损失函数。
这里,可以先确定上述每一数据对对应的余弦距离数据与相应映射标签的均方误差,然后,基于该均方误差,确定上述损失函数。
例如本实施例可以将上述训练数据D划分为大小为预设大小的批次,如大小为64的批次,记为
Figure BDA0003713122450000095
其中bk表示一个数据批次,包含了64条数据。对于一个数据批次bk,可以使用映射后的标签构造均方误差,进而,基于该均方误差确定损失函数(记为
Figure BDA0003713122450000098
),如下:
Figure BDA0003713122450000096
其中,
Figure BDA0003713122450000097
表示模型计算输出的余弦距离,l′(k-1)×64+j表示相应映射标签,|bk|表示当前数据批次的大小,此时便可以开始进行模型训练。另外,本实施例除基于上述均方误差确定损失函数外,还可以基于绝对误差或Huber确定损失函数,具体可以根据实际情况确定。
S305:基于上述损失函数和训练数据,对上述预设初始模型进行训练,得到训练好的目标模型,该目标模型用于对刷脸图像的背景相似度评分进行预测。
本实施例中,可以基于上述损失函数,对预设初始模型进行训练。这里,一次训练是指完整遍历一次训练数据所进行的训练,如上述将训练数据被分为若干个批(每个批大小固定),遍历数据即遍历所有批,训练过程中每一个批都会对模型参数进行更新。
在每次训练后,判断当前训练次数是否达到预设最大训练次数。如果判断当前训练次数没有达到预设最大训练次数,则确定当前训练得到的模型在上述训练数据上计算出来的余弦距离的最大值和最小值,并基于计算的余弦距离的最大值和最小值,对上述背景相似度预测评分进行更新,然后还可以根据预设防退化系数,对更新后的背景相似度预测评分进行放大,后续基于放大后的背景相似度预测评分,重新执行上述确定上述各个评分标签到上述背景相似度预测评分的映射标签的步骤,直至当前训练次数达到所述预设最大训练次数,停止训练,得到训练好的目标模型。
示例性的,如果此时达到预设最大训练次数(如500,具体可以根据实际情况设置),则退出流程,完成训练。否则,将上述训练数据输入当前训练得到的模型,得到每一数据对对应的余弦距离数据,得到余弦距离集合
Figure BDA0003713122450000101
然后以此对上述背景相似度预测评分进行更新,如对上述smax、smin进行更新:
Figure BDA0003713122450000102
Figure BDA0003713122450000103
进一步地,为了防止模型退化,本实施例还可以根据预设防退化系数,对更新后的背景相似度预测评分进行放大。
因为,在模型训练的初期,由于模型参数还没有发生较大的变化,模型还没有对四类数据(如上述背景相似程度为不相似,背景相似程度为低,背景相似程度为中,背景相似程度为高的数据)的区分能力,即对四类数据预测出来的余弦距离值都是相近的。这种情况下,将会导致模型在训练集上的余弦距离最小最大值(smin、smax)过于靠近,进而导致映射后的四个标签值都差不多,这将在下一次训练中很快达到收敛。这样训练出来的模型是没有对四类数据的区分能力的,因此需要放大smax-smin,以使得模型在每一轮次的训练中都能保持一定的参数更新的幅度。
示例性的,本实施例根据预设防退化系数,对更新后的背景相似度预测评分进行放大时,可以根据以下表达式进行放大:
Figure BDA0003713122450000104
Figure BDA0003713122450000105
其中,α表示上述预设防退化系数,
Figure BDA0003713122450000106
表示余弦距离的最小值,
Figure BDA0003713122450000107
表示余弦距离的最大值。
相应的,本实施例基于放大后的背景相似度预测评分,重新执行所述确定所述各个评分标签到所述背景相似度预测评分的映射标签的步骤,直至当前训练次数达到所述预设最大训练次数,停止训练,得到训练好的目标模型。
本申请实施例中,将两张图像背景的相似程度分成了更多等级,即设置背景相似度评分标签包括至少三个不同的评分标签,各个评分标签对应的数据对的背景相似程度不同。相应的,在训练模型时,基于预设余弦距离的最大值和最小值,初始化背景相似度预测评分,进而,确定各个评分标签到上述背景相似度预测评分的映射标签,从而,根据该映射标签,构建损失函数,基于该损失函数和上述训练数据,对预设初始模型进行训练,得到精确率较高的目标模型。而且,本申请实施例设计的损失函数,可以随训练过程自适应地调整从评分标签到背景相似度预测评分的映射关系,间接地对评分标签之间的顺序进行了监督,使模型学习到这些不同程度的背景相似情况,并学习到评分标签之间顺序性,进一步提高目标模型的精确率。
另外,本实施例在确定训练数据之前,还可以获取多个刷脸图像,并对该多个刷脸图像进行预处理,其中,该预处理包括前景背景处理等,从而,基于预处理后的多个刷脸图像,确定训练数据,基于该训练数据进行模型训练,获得精确率较高的目标模型。而且,本申请实施例还可以去除上述多个刷脸图像中的第一类图像,其中,该第一类图像为图像中人脸占比大于第一阈值的图像。本申请实施例还可以去除上述多个刷脸图像中的第二类图像,其中,该第二类图像为图像背景包含的预设关键信息小于第二阈值的图像。
这里,本实施例可以对上述多个刷脸图像进行的处理,具体可以根据实际情况确定。另外,如果进行上述图像前景背景处理、去除第一类图像和去除第二类图像中的多个,具体处理顺序也可以根据实际情况确定。
可选地,图4为本申请实施例提供的再一种模型训练方法的流程示意图。这里,以进行上述图像前景背景处理、去除第一类图像和去除第二类图像为例,具体在处理过程中以先去除第一类图像,再进行图像前景背景处理,最后去除第二类图像为例进行说明。如图4所示,本申请实施例提供的模型训练方法包括如下步骤:
S401:获取多个刷脸图像。
S402:去除上述多个刷脸图像中的第一类图像,其中,该第一类图像为图像中人脸占比大于第一阈值的图像。
这里,本实施例可以确定上述多个刷脸图像中每一刷脸图像中包含人脸的最小矩形框,进而,计算该最小矩形框的面积与相应刷脸图像面积的比值,从而,基于该比值,获得每一刷脸图像中的人脸占比,根据每一刷脸图像中的人脸占比,去除上述多个刷脸图像中的上述第一类图像。
示例性的,本实施例可以预设算法,如OpenCV的深度神经网络(Deep NeuralNetworks,DNN)人脸识别法,识别出每一刷脸图像中人脸所在的部分,进而,得到包含人脸部分的最小矩形框。然后可以以采用如下公式计算最小矩形框的面积与相应刷脸图像面积的比值,基于该比值,获得每一刷脸图像中的人脸占比:
Figure BDA0003713122450000121
其中,对于未识别出人脸的情况,由于大部分情况是怼脸自拍,因此直接将人脸占比设置为1。
进一步地,根据每一刷脸图像中的人脸占比,去除上述多个刷脸图像中的上述第一类图像,如上述第一阈值为0.4,当人脸占比大于该阈值时,去掉对应的图像,否则保留。
本实施例去除人脸占比较大,即去除背景信息较少的图像,以防其对后续模型训练产生影响,提高后续训练得到的目标模型的精确率。
S403:确定上述去除第一类图像后多个刷脸图像中每一刷脸图像对应的前景背景分割图,将每一刷脸图像与其对应的前景背景分割图进行融合。
在本实施例中,在将上述每一刷脸图像与其对应的前景背景分割图进行融合处理时,可以先确定上述每一刷脸图像对应的前景背景分割图的灰度图,然后,计算每一灰度图中各个像素点的RGB值,并基于每一灰度图中各个像素点的RGB值,对相应灰度图进行二值化处理,进而,将二值化处理后的灰度图中各个像素点的取值按位取反,获得取反图,并将每一取反图与相应刷脸图像进行按位与处理,获得融合后的图像。
示例性的,本实施例可以预设模型,如U2Net模型,确定上述每一刷脸图像对应的前景背景分割图,例如如图5所示。
然后可以按照以下流程将每一刷脸图像(记为Porigin)与前景背景分割图(记为Pmask)进行融合:
确定Pmask的灰度图,记为Gmask。对于Pmask中的任意一个像素点(使用Ci,R、Ci,G、Ci,B代表该像素点的RGB值),其在灰度图Gmask中对应位置像素点的值的计算方式如下:
0.299×Ci,R+0.587×Ci,G+0.114×Ci,B
将Gmask二值化:对于Gmask中每一个像素点(标量,取值范围0~255),当值小于等于200时,对应位置取0,否则取255。二值化后的结果记为
Figure BDA0003713122450000131
Figure BDA0003713122450000132
按位取反,即取值为0的地方取255,取值为255的地方取0,取反后的结果记为
Figure BDA0003713122450000133
将Porigin
Figure BDA0003713122450000134
按位与,即对于Porigin中的任一像素点,如果其在
Figure BDA0003713122450000135
中对应位置的值为0,则将RGB值设置为(0,0,0)(即黑色),否则不变,从而得到融合后的图像如图6所示。
这里,由于本实施例关注的重点是图像的背景部分,因此需要尽可能排除前景部分(即人像)对后续模型训练结果产生的影响。本实施例通过对图像进行前景背景分割,然后将分割的结果与原图像融合,前景的部分置黑,从而,进一步提高后续训练得到的目标模型的精确度。
S404:去除上述融合处理后多个刷脸图像中的第二类图像,其中,该第二类图像为图像背景包含的预设关键信息小于第二阈值的图像。
示例性的,上述预设关键信息可以包括去亮度色彩方差,上述第二阈值可以包括色彩方差阈值。本实施例在去除上述多个刷脸图像中的第二类图像时,可以先确定上述每一刷脸图像对应的前景背景分割图,进而,对上述每一刷脸图像对应的前景背景分割图进行边界扩展,并将上述每一刷脸图像与相应的边界扩展后的前景背景分割图进行融合,获得第一融合图,从而,计算该第一融合图的去亮度色彩方差,基于该第一融合图的去亮度色彩方差,去除上述多个刷脸图像中去亮度色彩方差小于所述色彩方差阈值的图像。
这里,由于部分光线较暗、过曝或背景色调单一,有可能将存在关键信息的图像误排除。对于光线较暗、过曝的情况。本实施例考虑去亮度色彩方差的筛选方案。对于光线条件较差的情况,将色彩空间转换到了更符合人眼感知的色彩空间(L*a*b*色彩空间)下,并且排除其亮度维度L*(近似等价于光线的情况)来计算色彩方差(去亮度色彩方差)并进行筛选。
进一步地,上述预设关键信息还可以包括边缘占比,上述第二阈值还可以包括边缘占比阈值。本实施例对于去除上述多个刷脸图像中去亮度色彩方差小于上述色彩方差阈值的图像后的剩余刷脸图像,确定该剩余刷脸图像中每一刷脸图像对应的边缘检测图像,进而将每一边缘检测图像与相应的边界扩展后的前景背景分割图进行融合,获得第二融合图,计算该第二融合图的边缘占比,从而,基于该第二融合图的边缘占比,去除上述剩余刷脸图像中边缘占比小于上述边缘占比阈值的图像。
这里,对于背景色彩变化较小的情况,本实施例引入了基于边缘检测的筛选方法来对去亮度色彩方差值较小的图像进行进一步的细化筛选,防止色彩变化较小但包含关键信息的图像被排除掉。
示例性的,在上述前景背景分割结果中,在前景与背景的分界位置总会有部分前景的像素残留,如图7所示(以Porigin与Pmask的融合图展示)。由于这些残留像素有可能影响到后续去亮度色彩方差以及边缘占比的计算,因此本实施例要扩展上述前景背景分割图中的边界,以去掉这些残留像素所造成的影响。
其中,上述扩展边界的方法可以如下:
例如可以设置3×3的值全为1的卷积核,如下:
Figure BDA0003713122450000141
然后,计算Pmask的灰度图记为Gmask。对Gmask的每一个像素点,对齐K的中心位置,使用K进行卷积操作。如果遇到图像边界无像素值的情况,以像素值0填充。例如,假设对于Gmask中左上角的像素点,对齐K的中心位置,其本身及附近像素值如下:
Figure BDA0003713122450000142
由于中心点是左上角像素点,此时会出现五个边界外的位置(以“无”表示)。以像素值0进行填充,如下:
0 0 0
0 200 200
0 200 255
此时再将该像素值矩阵与卷积核K逐项相乘,如下:
0×1 0×1 0×1
0×1 200×1 200×1
0×1 200×1 255×1
得到相乘后矩阵后,将矩阵中的所有值相加,得到值855。然后取855与像素值最大值255之间的最大值,即max(855,255),得到值255,使用该值作为边界扩展后的Gmask左上角的像素值。对Gmask中每个像素点执行上述操作后,可以得到边界扩展后的Gmask,记为Gmask-expand。再将Gmask-expand转化为RGB三通道图,记为Pmask-expand。最后获得扩展的前景背景分割图Pmask-expand。这里,0-255为灰度值的值域,由于像素矩阵与卷积核逐项相乘,并将所有元素相加后的值可能超过255,因此如果相加后的值超过255,就直接取灰度值的最大值255,得到的结果即为边界扩展后的前景背景分割图的灰度图的灰度值,后续再将灰度图转为RGB三通道图即可。Gmask-expand的G代表Gray,表示灰度图。Pmask-expand为RGB三通道图。
进一步地,本实施例将上述每一刷脸图像与相应的边界扩展后的前景背景分割图进行融合,获得第一融合图,参照上述融合Porigin及Pmask的方式进行融合,记融合后的结果为P′merge。对于上述像素残留的位置,融合后的结果如图8所示,可以看到,前景背景分割图扩展后,覆盖了之前像素残留的部分。
在计算上述融合图的去亮度色彩方差时,本实施例可以将P′merge转换到L*a*b*色彩空间。记P′merge中任一像素点的RGB值分别为Ci,R、Ci,G、Ci,B。转换的方式如下:
先将Ci,R、Ci,G、Ci,B转换到XYZ色彩空间:Ci,X、Ci,Y、Ci,Z。以t代表Ci,R、Ci,G、Ci,B,首先进行归一化:
Figure BDA0003713122450000151
然后进行gamma变换:
Figure BDA0003713122450000152
这里,为标记方便,此处保持以Ci,R、Ci,G、Ci,B标记变换的结果。然后进行线性变换,即可得到在XYZ色彩空间的值:
Ci,x=0.412453×Ci,R+0.357580×Ci,G+0.180423×Ci,B
Ci,Y=0.212671×Ci,R+0.715160×Ci,G+0.072169×Ci,B
Ci,z=0.019334×Ci,R+0.119193×Ci,G+0.950227×Ci,B
将Ci,X、Ci,Y、Ci,Z转换到XYZ色彩空间:
Figure BDA0003713122450000153
首先通过白色参考点归一化:
Figure BDA0003713122450000154
Figure BDA0003713122450000161
Figure BDA0003713122450000162
以t代表Ci,X、Ci,Y、Ci,Z,进行非线性变换:
Figure BDA0003713122450000163
同样,为标记方便,此处保持以Ci,X、Ci,Y、Ci,Z标记变换的结果。然后经过线性变换可得:
Figure BDA0003713122450000164
Figure BDA0003713122450000165
Figure BDA0003713122450000166
即可得到Ci,R、Ci,G、Ci,B在L*a*b*色彩空间的值
Figure BDA0003713122450000167
由于在刷脸图像中经常会出现过暗或者过曝的情况,这些情况下图像的色彩将不会有太大变化。为了排除这种光照影响,在计算色彩方差时不考虑L*维度的值(用于表示亮度),而只考虑a*、b*维度的值。记P′merge中任一像素点的L*、a*、b*值为
Figure BDA0003713122450000168
去亮度色彩方差的计算方式如下:
取P′merge中出现的除黑色(黑色的L*、a*、b*值分别为0、128、128)之外的所有颜色,记为集合
Figure BDA0003713122450000169
其中|S|表示P′merge除黑色像素点之外的所有像素点的个数。此步骤主要是为了筛选出背景包括的所有颜色,通常照片很少包含纯黑色像素点,因此此处可以直接筛选掉黑色。
计算S的a*分量以及b*分量的均值:
Figure BDA00037131224500001610
Figure BDA00037131224500001611
以如下公式计算去亮度色彩方差(记为Var):
Figure BDA00037131224500001612
这里,基于上述去亮度色彩方差,去除上述多个刷脸图像中去亮度色彩方差小于上述色彩方差阈值,如40的图像。即当Var>40时,定义此时图像的背景较为复杂,可以保留。当Var≤40时,继续下面的流程。
对于去除亮度色彩方差小于上述色彩方差阈值的图像后的剩余刷脸图像,确定该剩余刷脸图像中每一刷脸图像对应的边缘检测图像,记为Pcanny
然后,将边缘检测图Pcanny以及扩展后的前景背景分割图Pmask-expand按照上述融合Porigin及Pmask的方式进行融合。此处融合的目的是排除前景检测到的边缘的影响。记融合后的结果为P′merge-canny。融合后的结果如图9a所示。
此处选择与Pmask-expand融合而不是Pmask,是因为Pcanny与Pmask融合的结果会包含前景的轮廓,会影响到后续边缘占比的计算,如图9b所示。
这里,在计算上述融合图的边缘占比,即计算P′merge-canny中边缘的部分占图像总面积的大小。计算步骤可以如下:
首先计算P′merge-canny的灰度图,记为G′merge-canny。再将G′merge-canny值化:对于G′merge-canny中每一个像素点(标量,取值范围0~255),当值小于等于200时,对应位置取0,否则取255。此处为方便标记,二值化后的结果保持原标记G′merge-canny。以如下公式计算边缘占比(记为Redge):
Figure BDA0003713122450000171
此值表示了图像中检测到的背景部分边缘所覆盖的像素占总像素个数的比重。
最后,基于上述边缘占比,去除上述剩余刷脸图像中边缘占比小于边缘占比阈值,如0.001的图像。即当Redge>0.001时,定义此时图像的背景较为复杂,可以保留。当Redge≤0.001时,定义此时图像的背景较为简单,可以将图像排除出数据集。至此流程结束。
S405:基于上述处理后的多个刷脸图像,确定训练数据,该训练数据包括多个数据对以及每一数据对的背景相似度评分标签,每一数据对的背景相似度评分标签根据相应数据对的背景相似程度确定,每一数据对包括两个刷脸图像。
S406:根据上述训练数据,对预设初始模型进行训练,得到训练好的目标模型,该目标模型用于对刷脸图像的背景相似度评分进行预测。
其中,步骤S405-S406与上述步骤S201-S202的实现方式相同,此处不再赘述。
在本申请实施例中,去除人脸占比较大,即去除背景信息较少的图像,以防其对后续模型训练产生影响,提高后续训练得到的目标模型的精确率;通过对图像进行前景背景分割,然后将分割的结果与原图像融合,前景的部分置黑,从而,进一步提高后续训练得到的目标模型的精确度;也解决了由于部分光线较暗、过曝或背景色调单一,有可能将存在关键信息的图像误排除,也提高了后续训练得到的目标模型的精确度。
参考图10,图10为本申请实施例提供的一种图像背景相似判断方法的流程示意图。如图10所示,本申请实施例提供的图像背景相似判断方法包括如下步骤:
S1001:确定待判断刷脸图像,该待判断刷脸图像包括至少一个数据对,每一数据对包括两个刷脸图像。
这里,本实施例可以对上述待判断刷脸图像进行预处理,其中,该预处理包括图像前景背景处理。
示例性的,本实施例还可以去除上述待判断刷脸图像中的第一类图像,其中,上述第一类图像为图像中人脸占比大于第一阈值的图像。
其中,所述去除所述待判断刷脸图像中的第一类图像,包括:
确定所述待判断刷脸图像中每一刷脸图像中包含人脸的最小矩形框;
计算所述最小矩形框的面积与相应刷脸图像面积的比值,基于所述比值,获得所述每一刷脸图像中的人脸占比;
根据所述每一刷脸图像中的人脸占比,去除所述待判断刷脸图像中的所述第一类图像。
可选地,本实施例还可以确定所述待判断刷脸图像中每一刷脸图像对应的前景背景分割图;
将所述每一刷脸图像与其对应的前景背景分割图进行融合处理。
其中,所述将所述每一刷脸图像与其对应的前景背景分割图进行融合处理,包括:
确定所述每一刷脸图像对应的前景背景分割图的灰度图;
计算每一灰度图中各个像素点的RGB值,并基于所述每一灰度图中各个像素点的RGB值,对相应灰度图进行二值化处理;
将二值化处理后的灰度图中各个像素点的取值按位取反,获得取反图,并将每一取反图与相应刷脸图像进行按位与处理,获得融合后的图像。
另外,本实施例还可以去除所述待判断刷脸图像中的第二类图像,其中,所述第二类图像为图像背景包含的预设关键信息小于第二阈值的图像。
其中,所述预设关键信息包括去亮度色彩方差,所述第二阈值包括色彩方差阈值;
所述去除所述待判断刷脸图像中的第二类图像,包括:
确定所述每一刷脸图像对应的前景背景分割图;
对所述每一刷脸图像对应的前景背景分割图进行边界扩展,并将所述每一刷脸图像与相应的边界扩展后的前景背景分割图进行融合,获得第一融合图;
计算所述第一融合图的去亮度色彩方差;
基于所述第一融合图的去亮度色彩方差,去除所述待判断刷脸图像中去亮度色彩方差小于所述色彩方差阈值的图像。
所述预设关键信息包括边缘占比,所述第二阈值包括边缘占比阈值;
在所述基于所述第一融合图的去亮度色彩方差,去除所述待判断刷脸图像中去亮度色彩方差小于所述色彩方差阈值的图像之后,还包括:
对于去除所述待判断刷脸图像中去亮度色彩方差小于所述色彩方差阈值的图像后的剩余刷脸图像,确定所述剩余刷脸图像中每一刷脸图像对应的边缘检测图像;
将每一边缘检测图像与相应的边界扩展后的前景背景分割图进行融合,获得第二融合图;
计算所述第二融合图的边缘占比;
基于所述第二融合图的边缘占比,去除所述剩余刷脸图像中边缘占比小于所述边缘占比阈值的图像。
S1002:通过目标模型对上述至少一个数据对进行处理,得到上述至少一个数据对中每一数据对对应的背景相似度预测评分。
其中,上述目标模型是根据上述的模型训练方法训练得到的。
S1003:展示上述每一数据对对应的背景相似度预测评分。
本申请实施例,在确定待判断刷脸图像后,该待判断刷脸图像包括至少一个数据对,每一数据对包括两个刷脸图像,然后,通过目标模型对上述至少一个数据对进行处理,得到至少一个数据对中每一数据对对应的背景相似度预测评分,其中,上述目标模型是根据上述提供的模型训练方法训练得到的,最后,展示每一数据对对应的背景相似度预测评分,有利于快速地识别欺诈团伙,以对其欺诈行为进行预警以及响应。
对应于上文实施例的模型训练方法,图11为本申请实施例提供的模型训练装置的结构示意图。为了便于说明,仅示出了与本申请实施例相关的部分。图11为本申请实施例提供的一种模型训练装置的结构示意图,该模型训练装置110包括:数据确定模块1101以及模型训练模块1102。这里需要说明的是,数据确定模块以及模型训练模块的划分只是一种逻辑功能的划分,物理上两者可以是集成的,也可以是独立的。
其中,数据确定模块1101,用于确定训练数据,所述训练数据包括多个数据对以及每一数据对的背景相似度评分标签,所述每一数据对的背景相似度评分标签根据相应数据对的背景相似程度确定,所述每一数据对包括两个刷脸图像。
模型训练模块1102,用于根据所述训练数据,对预设初始模型进行训练,得到训练好的目标模型,所述目标模型用于对刷脸图像的背景相似度评分进行预测。
在一种可能的设计中,所述背景相似度评分标签包括至少三个不同的评分标签,各个评分标签对应的数据对的背景相似程度不同;
所述模型训练模块1102,具体用于:
基于预设余弦距离的最大值和最小值,初始化背景相似度预测评分;
确定所述各个评分标签到所述背景相似度预测评分的映射标签;
根据所述映射标签,构建损失函数;
基于所述损失函数,对所述预设初始模型进行训练,得到训练好的目标模型。
在一种可能的设计中,所述模型训练模块1102,具体用于:
获取预设的评分标签与背景相似度评分的映射关系式,所述映射关系式中包括待求解参数;
根据所述映射关系式、所述各个评分标签和所述背景相似度预测评分,确定所述待求解参数的值;
基于所述映射关系式和所述待求解参数的值,获得所述各个评分标签到所述背景相似度预测评分的映射标签。
在一种可能的设计中,所述模型训练模块1102,具体用于:
确定所述每一数据对对应的余弦距离数据与相应映射标签的均方误差;
基于所述均方误差,确定所述损失函数。
在一种可能的设计中,所述数据确定模块1101,具体用于:
获取多个刷脸图像;
对所述多个刷脸图像进行预处理,其中,所述预处理包括图像前景背景处理;
基于预处理后的多个刷脸图像,确定所述训练数据。
在一种可能的设计中,所述数据确定模块1101,还用于:
去除所述多个刷脸图像中的第一类图像,其中,所述第一类图像为图像中人脸占比大于第一阈值的图像。
在一种可能的设计中,所述数据确定模块1101,具体用于:
确定所述多个刷脸图像中每一刷脸图像中包含人脸的最小矩形框;
计算所述最小矩形框的面积与相应刷脸图像面积的比值,基于所述比值,获得所述每一刷脸图像中的人脸占比;
根据所述每一刷脸图像中的人脸占比,去除所述多个刷脸图像中的所述第一类图像。
在一种可能的设计中,所述数据确定模块1101,具体用于:
确定所述多个刷脸图像中每一刷脸图像对应的前景背景分割图;
将所述每一刷脸图像与其对应的前景背景分割图进行融合处理。
在一种可能的设计中,所述数据确定模块1101,具体用于:
确定所述每一刷脸图像对应的前景背景分割图的灰度图;
计算每一灰度图中各个像素点的RGB值,并基于所述每一灰度图中各个像素点的RGB值,对相应灰度图进行二值化处理;
将二值化处理后的灰度图中各个像素点的取值按位取反,获得取反图,并将每一取反图与相应刷脸图像进行按位与处理,获得融合后的图像。
在一种可能的设计中,所述数据确定模块1101,还用于:
去除所述多个刷脸图像中的第二类图像,其中,所述第二类图像为图像背景包含的预设关键信息小于第二阈值的图像。
在一种可能的设计中,所述预设关键信息包括去亮度色彩方差,所述第二阈值包括色彩方差阈值;
所述数据确定模块1101,具体用于:
确定所述每一刷脸图像对应的前景背景分割图;
对所述每一刷脸图像对应的前景背景分割图进行边界扩展,并将所述每一刷脸图像与相应的边界扩展后的前景背景分割图进行融合,获得第一融合图;
计算所述第一融合图的去亮度色彩方差;
基于所述第一融合图的去亮度色彩方差,去除所述多个刷脸图像中去亮度色彩方差小于所述色彩方差阈值的图像。
在一种可能的设计中,所述预设关键信息包括边缘占比,所述第二阈值包括边缘占比阈值;
所述数据确定模块1101,具体用于:
对于去除所述多个刷脸图像中去亮度色彩方差小于所述色彩方差阈值的图像后的剩余刷脸图像,确定所述剩余刷脸图像中每一刷脸图像对应的边缘检测图像;
将每一边缘检测图像与相应的边界扩展后的前景背景分割图进行融合,获得第二融合图;
计算所述第二融合图的边缘占比;
基于所述第二融合图的边缘占比,去除所述剩余刷脸图像中边缘占比小于所述边缘占比阈值的图像。
在一种可能的设计中,所述模型训练模块1102,还用于:
确定所述训练数据的每一数据对中两个刷脸图像的RGB矩阵,其中,所述RGB矩阵根据两个刷脸图像的RGB三通道、图像宽度和图像高度确定;
分别对所述两个刷脸图像的RGB矩阵进行向量化处理,获得两个向量;
计算所述两个向量之间的余弦距离,并基于计算的余弦距离,确定背景相似度预测评分。
在一种可能的设计中,所述模型训练模块1102,具体用于:
基于所述损失函数和所述训练数据,对所述预设初始模型进行训练,并在每次训练后,判断当前训练次数是否达到预设最大训练次数;
若判断当前训练次数没有达到所述预设最大训练次数,则确定当前训练得到的模型在所述训练数据上计算出来的余弦距离的最大值和最小值,并基于计算的余弦距离的最大值和最小值,对所述背景相似度预测评分进行更新;
根据预设防退化系数,对更新后的背景相似度预测评分进行放大;
基于放大后的背景相似度预测评分,重新执行所述确定所述各个评分标签到所述背景相似度预测评分的映射标签的步骤,直至当前训练次数达到所述预设最大训练次数,停止训练,得到训练好的目标模型。
本申请实施例提供的装置,可用于执行上述模型训练方法实施例的技术方案,其实现原理和技术效果类似,本申请实施例此处不再赘述。
图12为本申请实施例提供的图像背景相似判断装置的结构示意图。为了便于说明,仅示出了与本申请实施例相关的部分。图12为本申请实施例提供的一种图像背景相似判断装置的结构示意图,该图像背景相似判断装置120包括:图像确定模块1201、背景判断模块1202以及评分展示模块1203。
其中,图像确定模块1201,用于确定待判断刷脸图像,所述待判断刷脸图像包括至少一个数据对,每一数据对包括两个刷脸图像。
背景判断模块1202,用于通过目标模型对所述至少一个数据对进行处理,得到所述至少一个数据对中每一数据对对应的背景相似度预测评分,其中,所述目标模型是根据上述模型训练方法训练得到的。
评分展示模块1203,用于展示所述每一数据对对应的背景相似度预测评分。
本申请实施例提供的装置,可用于执行上述图像背景相似判断方法实施例的技术方案,其实现原理和技术效果类似,本申请实施例此处不再赘述。
可选地,图13A和13B示意性地提供本申请所述模型训练设备和图像背景相似判断设备的一种可能的基本硬件架构。
参见图13A和13B,模型训练设备和图像背景相似判断设备包括至少一个处理器1301以及通信接口1303。进一步可选的,还可以包括存储器1302和总线1304。
其中,模型训练设备和图像背景相似判断设备中,处理器1301的数量可以是一个或多个,图13A和13B仅示意了其中一个处理器1301。可选地,处理器1301,可以是中央处理器(central processing unit,CPU)、图形处理器(Graphics Processing Unit,GPU)或者数字信号处理(Digital Signal Process,DSP)。如果模型训练设备和图像背景相似判断设备具有多个处理器1301,多个处理器1301的类型可以不同,或者可以相同。可选地,模型训练设备和图像背景相似判断设备的多个处理器1301还可以集成为多核处理器。
存储器1302存储计算机指令和数据;存储器1302可以存储实现本申请提供的上述模型训练方法或图像背景相似判断方法所需的计算机指令和数据,例如,存储器1302存储用于实现上述模型训练方法或图像背景相似判断方法的步骤的指令。存储器1302可以是以下存储介质的任一种或任一种组合:非易失性存储器(例如只读存储器(ROM)、固态硬盘(SSD)、硬盘(HDD)、光盘),易失性存储器。
通信接口1303可以为所述至少一个处理器提供信息输入/输出。也可以包括以下器件的任一种或任一种组合:网络接口(例如以太网接口)、无线网卡等具有网络接入功能的器件。
可选的,通信接口1303还可以用于模型训练设备和图像背景相似判断设备与其它计算设备或者终端进行数据通信。
进一步可选的,图13A和13B用一条粗线表示总线1304。总线1304可以将处理器1301与存储器1302和通信接口1303连接。这样,通过总线1304,处理器1301可以访问存储器1302,还可以利用通信接口1303与其它计算设备或者终端进行数据交互。
在本申请中,模型训练设备和图像背景相似判断设备执行存储器1302中的计算机指令,使得模型训练设备和图像背景相似判断设备实现本申请提供的上述方法,或者使得模型训练设备和图像背景相似判断设备部署上述的装置。
从逻辑功能划分来看,示例性的,如图13A所示,存储器1302中可以包括数据确定模块1101以及模型训练模块1102。这里的包括仅仅涉及存储器中所存储的指令被执行时可以分别实现数据确定模块以及模型训练模块的功能,而不限定是物理上的结构。
可选地,如图13B所示,存储器1302中可以包括图像确定模块1201、背景判断模块1202以及评分展示模块1203。这里的包括仅仅涉及存储器中所存储的指令被执行时可以分别实现图像确定模块、背景判断模块以及评分展示模块的功能,而不限定是物理上的结构。
另外,上述的模型训练设备和图像背景相似判断设备除了可以像上述图13通过软件实现外,也可以作为硬件模块,或者作为电路单元,通过硬件实现。
本申请提供一种计算机可读存储介质,所述计算机程序产品包括计算机指令,所述计算机指令指示计算设备执行本申请提供的上述模型训练方法,和/或,图像背景相似判断方法。
本申请提供一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行本申请提供的上述模型训练方法,和/或,图像背景相似判断方法。
本申请提供一种芯片,包括至少一个处理器和通信接口,所述通信接口为所述至少一个处理器提供信息输入和/或输出。进一步,所述芯片还可以包含至少一个存储器,所述存储器用于存储计算机指令。所述至少一个处理器用于调用并运行该计算机指令,以执行本申请提供的上述模型训练方法,和/或,图像背景相似判断方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。

Claims (17)

1.一种模型训练方法,其特征在于,包括:
确定训练数据,所述训练数据包括多个数据对以及每一数据对的背景相似度评分标签,所述每一数据对的背景相似度评分标签根据相应数据对的背景相似程度确定,所述每一数据对包括两个刷脸图像;
根据所述训练数据,对预设初始模型进行训练,得到训练好的目标模型,所述目标模型用于对刷脸图像的背景相似度评分进行预测。
2.根据权利要求1所述的方法,其特征在于,所述背景相似度评分标签包括至少三个不同的评分标签,各个评分标签对应的数据对的背景相似程度不同;
所述根据所述训练数据,对预设初始模型进行训练,得到训练好的目标模型,包括:
基于预设余弦距离的最大值和最小值,初始化背景相似度预测评分;
确定所述各个评分标签到所述背景相似度预测评分的映射标签;
根据所述映射标签,构建损失函数;
基于所述损失函数和所述训练数据,对所述预设初始模型进行训练,得到训练好的目标模型。
3.根据权利要求2所述的方法,其特征在于,所述确定所述各个评分标签到所述背景相似度预测评分的映射标签,包括:
获取预设的评分标签与背景相似度评分的映射关系式,所述映射关系式中包括待求解参数;
根据所述映射关系式、所述各个评分标签和所述背景相似度预测评分,确定所述待求解参数的值;
基于所述映射关系式和所述待求解参数的值,获得所述各个评分标签到所述背景相似度预测评分的映射标签。
4.根据权利要求2所述的方法,其特征在于,所述根据所述映射标签,构建损失函数,包括:
确定所述每一数据对对应的余弦距离数据与相应映射标签的均方误差;
基于所述均方误差,确定所述损失函数。
5.根据权利要求1至4中任一项所述的方法,其特征在于,在所述确定训练数据之前,还包括:
获取多个刷脸图像;
对所述多个刷脸图像进行预处理,其中,所述预处理包括图像前景背景处理;
所述确定训练数据,包括:
基于预处理后的多个刷脸图像,确定所述训练数据。
6.根据权利要求5所述的方法,其特征在于,还包括:
去除所述多个刷脸图像中的第一类图像,其中,所述第一类图像为图像中人脸占比大于第一阈值的图像。
7.根据权利要求6所述的方法,其特征在于,所述去除所述多个刷脸图像中的第一类图像,包括:
确定所述多个刷脸图像中每一刷脸图像中包含人脸的最小矩形框;
计算所述最小矩形框的面积与相应刷脸图像面积的比值,基于所述比值,获得所述每一刷脸图像中的人脸占比;
根据所述每一刷脸图像中的人脸占比,去除所述多个刷脸图像中的所述第一类图像。
8.根据权利要求5所述的方法,其特征在于,所述对所述多个刷脸图像进行预处理,包括:
确定所述多个刷脸图像中每一刷脸图像对应的前景背景分割图;
将所述每一刷脸图像与其对应的前景背景分割图进行融合处理。
9.根据权利要求8所述的方法,其特征在于,所述将所述每一刷脸图像与其对应的前景背景分割图进行融合处理,包括:
确定所述每一刷脸图像对应的前景背景分割图的灰度图;
计算每一灰度图中各个像素点的红绿蓝值,并基于所述每一灰度图中各个像素点的红绿蓝值,对相应灰度图进行二值化处理;
将二值化处理后的灰度图中各个像素点的取值按位取反,获得取反图,并将每一取反图与相应刷脸图像进行按位与处理,获得融合后的图像。
10.根据权利要求5所述的方法,其特征在于,还包括:
去除所述多个刷脸图像中的第二类图像,其中,所述第二类图像为图像背景包含的预设关键信息小于第二阈值的图像。
11.根据权利要求10所述的方法,其特征在于,所述预设关键信息包括去亮度色彩方差,所述第二阈值包括色彩方差阈值;
所述去除所述多个刷脸图像中的第二类图像,包括:
确定每一刷脸图像对应的前景背景分割图;
对所述每一刷脸图像对应的前景背景分割图进行边界扩展,并将所述每一刷脸图像与相应的边界扩展后的前景背景分割图进行融合,获得第一融合图;
计算所述第一融合图的去亮度色彩方差;
基于所述第一融合图的去亮度色彩方差,去除所述多个刷脸图像中去亮度色彩方差小于所述色彩方差阈值的图像。
12.根据权利要求11所述的方法,其特征在于,所述预设关键信息包括边缘占比,所述第二阈值包括边缘占比阈值;
在所述基于所述第一融合图的去亮度色彩方差,去除所述多个刷脸图像中去亮度色彩方差小于所述色彩方差阈值的图像之后,还包括:
对于去除所述多个刷脸图像中去亮度色彩方差小于所述色彩方差阈值的图像后的剩余刷脸图像,确定所述剩余刷脸图像中每一刷脸图像对应的边缘检测图像;
将每一边缘检测图像与相应的边界扩展后的前景背景分割图进行融合,获得第二融合图;
计算所述第二融合图的边缘占比;
基于所述第二融合图的边缘占比,去除所述剩余刷脸图像中边缘占比小于所述边缘占比阈值的图像。
13.根据权利要求2至4中任一项所述的方法,其特征在于,在所述基于预设余弦距离的最大值和最小值,初始化背景相似度预测评分之前,还包括:
确定所述训练数据的每一数据对中两个刷脸图像的红绿蓝矩阵,其中,所述红绿蓝矩阵根据两个刷脸图像的红绿蓝三通道、图像宽度和图像高度确定;
分别对所述两个刷脸图像的红绿蓝矩阵进行向量化处理,获得两个向量;
计算所述两个向量之间的余弦距离,并基于计算的余弦距离,确定背景相似度预测评分。
14.根据权利要求2至4中任一项所述的方法,其特征在于,所述基于所述损失函数和所述训练数据,对所述预设初始模型进行训练,得到训练好的目标模型,包括:
基于所述损失函数和所述训练数据,对所述预设初始模型进行训练,并在每次训练后,判断当前训练次数是否达到预设最大训练次数;
若判断当前训练次数没有达到所述预设最大训练次数,则确定当前训练得到的模型在所述训练数据上计算出来的余弦距离的最大值和最小值,并基于计算的余弦距离的最大值和最小值,对所述背景相似度预测评分进行更新;
根据预设防退化系数,对更新后的背景相似度预测评分进行放大;
基于放大后的背景相似度预测评分,重新执行所述确定所述各个评分标签到所述背景相似度预测评分的映射标签的步骤,直至当前训练次数达到所述预设最大训练次数,停止训练,得到训练好的目标模型。
15.一种图像背景相似判断方法,其特征在于,包括:
确定待判断刷脸图像,所述待判断刷脸图像包括至少一个数据对,每一数据对包括两个刷脸图像;
通过目标模型对所述至少一个数据对进行处理,得到所述至少一个数据对中每一数据对对应的背景相似度预测评分,其中,所述目标模型是根据权利要求1至14任一项所述的模型训练方法训练得到的;
展示所述每一数据对对应的背景相似度预测评分。
16.一种模型训练装置,其特征在于,包括:
数据确定模块,用于确定训练数据,所述训练数据包括多个数据对以及每一数据对的背景相似度评分标签,所述每一数据对的背景相似度评分标签根据相应数据对的背景相似程度确定,所述每一数据对包括两个刷脸图像;
模型训练模块,用于根据所述训练数据,对预设初始模型进行训练,得到训练好的目标模型,所述目标模型用于对刷脸图像的背景相似度评分进行预测。
17.一种图像背景相似判断装置,其特征在于,包括:
图像确定模块,用于确定待判断刷脸图像,所述待判断刷脸图像包括至少一个数据对,每一数据对包括两个刷脸图像;
背景判断模块,用于通过目标模型对所述至少一个数据对进行处理,得到所述至少一个数据对中每一数据对对应的背景相似度预测评分,其中,所述目标模型是根据权利要求1至14任一项所述的模型训练方法训练得到的;
评分展示模块,用于展示所述每一数据对对应的背景相似度预测评分。
CN202210725663.4A 2022-06-24 2022-06-24 模型训练方法、图像背景相似判断方法及装置 Pending CN115063861A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210725663.4A CN115063861A (zh) 2022-06-24 2022-06-24 模型训练方法、图像背景相似判断方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210725663.4A CN115063861A (zh) 2022-06-24 2022-06-24 模型训练方法、图像背景相似判断方法及装置

Publications (1)

Publication Number Publication Date
CN115063861A true CN115063861A (zh) 2022-09-16

Family

ID=83201686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210725663.4A Pending CN115063861A (zh) 2022-06-24 2022-06-24 模型训练方法、图像背景相似判断方法及装置

Country Status (1)

Country Link
CN (1) CN115063861A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071089A (zh) * 2023-02-10 2023-05-05 成都新希望金融信息有限公司 一种欺诈识别方法、装置、电子设备及存储介质
CN117058498A (zh) * 2023-10-12 2023-11-14 腾讯科技(深圳)有限公司 分割图评估模型的训练方法、分割图的评估方法及装置
CN117710700A (zh) * 2024-02-05 2024-03-15 厦门她趣信息技术有限公司 一种基于深度学习的相似图像检测方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071089A (zh) * 2023-02-10 2023-05-05 成都新希望金融信息有限公司 一种欺诈识别方法、装置、电子设备及存储介质
CN116071089B (zh) * 2023-02-10 2023-12-05 成都新希望金融信息有限公司 一种欺诈识别方法、装置、电子设备及存储介质
CN117058498A (zh) * 2023-10-12 2023-11-14 腾讯科技(深圳)有限公司 分割图评估模型的训练方法、分割图的评估方法及装置
CN117058498B (zh) * 2023-10-12 2024-02-06 腾讯科技(深圳)有限公司 分割图评估模型的训练方法、分割图的评估方法及装置
CN117710700A (zh) * 2024-02-05 2024-03-15 厦门她趣信息技术有限公司 一种基于深度学习的相似图像检测方法及系统

Similar Documents

Publication Publication Date Title
CN112348815B (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
CN115063861A (zh) 模型训练方法、图像背景相似判断方法及装置
CN106951869B (zh) 一种活体验证方法及设备
CN107749062B (zh) 图像处理方法、及装置
CN110390643B (zh) 一种车牌增强方法、装置及电子设备
CN111353956B (zh) 图像修复方法、装置、计算机设备及存储介质
CN111325271A (zh) 图像分类方法及装置
CN110147708B (zh) 一种图像数据处理方法和相关装置
CN111860369A (zh) 一种欺诈识别方法、装置以及存储介质
CN112633159A (zh) 人-物交互关系识别方法、模型训练方法及对应装置
CN111028276A (zh) 图像对齐方法、装置、存储介质及电子设备
CN107256543A (zh) 图像处理方法、装置、电子设备及存储介质
CN111709384B (zh) Ar手势识别方法、装置、电子设备及存储介质
CN111353965A (zh) 图像修复方法、装置、终端及存储介质
Feng et al. Image shadow detection and removal based on region matching of intelligent computing
CN106228165A (zh) 一种照片分类的方法和移动终端
CN117746015A (zh) 小目标检测模型训练方法、小目标检测方法及相关设备
CN113723310A (zh) 基于神经网络的图像识别方法及相关装置
CN115294162B (zh) 目标识别方法、装置、设备及存储介质
CN108776959B (zh) 图像处理方法、装置及终端设备
CN111986176B (zh) 一种裂纹图像识别方法、系统、终端及可读存储介质
CN115761389A (zh) 图像样本的增广方法、装置、电子设备及存储介质
CN112883956A (zh) 文本字符的识别方法、装置和服务器
CN114299105A (zh) 图像处理方法、装置、计算机设备及存储介质
US11182634B2 (en) Systems and methods for modifying labeled content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination