CN113361402B - 识别模型的训练方法、确定准确率的方法、装置和设备 - Google Patents
识别模型的训练方法、确定准确率的方法、装置和设备 Download PDFInfo
- Publication number
- CN113361402B CN113361402B CN202110628556.5A CN202110628556A CN113361402B CN 113361402 B CN113361402 B CN 113361402B CN 202110628556 A CN202110628556 A CN 202110628556A CN 113361402 B CN113361402 B CN 113361402B
- Authority
- CN
- China
- Prior art keywords
- object images
- image
- accuracy
- determining
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012549 training Methods 0.000 title claims abstract description 42
- 238000010586 diagram Methods 0.000 claims abstract description 54
- 230000006870 function Effects 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种识别模型的训练方法,涉及人工智能领域,尤其涉及图像处理、深度学习和人脸识别领域。具体实现方案为:获取样本图像集,样本图像集包括多个第一对象图像以及表示多个第一对象图像关联同一对象的准确率的标签;根据多个第一对象图像之间的相似度构建多个第一对象图像的第一图像关系图;使用识别模型基于第一图像关系图来确定多个第一对象图像关联同一对象的准确率,作为确定结果;根据标签和识别结果之间的差异调整识别模型的参数。本公开还公开了一种识别模型的训练方法和装置、确定准确率的方法和装置、设备以及存储介质。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及图像处理、深度学习和人脸识别技术。更具体地,本公开提供了一种识别模型的训练方法和装置、确定准确率的方法和装置、电子设备和存储介质。
背景技术
包含人脸的对象图像在安防等场景具有广泛应用。例如,通过聚类算法将采集到的对象图像根据对象聚合成图像簇,作为人脸档案,来进行针对对象的人脸识别。
聚类算法本身存在一定误差,因此,需要一种确定准确率的方法来评估聚类结果中每个人脸档案的准确率。
发明内容
本公开提供了一种识别模型的训练方法和装置、确定准确率的方法和装置、设备以及存储介质。
根据第一方面,提供了一种识别模型的训练方法,该方法包括:获取样本图像集,样本图像集包括多个第一对象图像以及表示多个第一对象图像关联同一对象的准确率的标签;根据多个第一对象图像之间的相似度构建多个第一对象图像的第一图像关系图;使用识别模型基于第一图像关系图来确定多个第一对象图像关联同一对象的准确率,作为确定结果;根据标签和确定结果之间的差异调整识别模型的参数。
根据第二方面,提供了一种确定准确率的方法,该方法包括:方法,获取待确定图像集,待确定图像集包括多个第二对象图像;根据多个第二对象图像之间的相似度,构建多个第二对象图像的第二图像关系图;使用识别模型基于第二图像关系图来确定多个第二对象图像关联同一对象的准确率;其中,识别模型是利用上述识别模型的训练方法训练的。
根据第三方面,提供了一种识别模型的训练装置,该装置包括:第一获取模块,用于获取样本图像集,样本图像集包括多个第一对象图像以及表示多个第一对象图像关联同一对象的准确率的标签;第一构建模块,用于根据多个第一对象图像之间的相似度构建多个第一对象图像的第一图像关系图;第一确定模块,用于使用识别模型基于第一图像关系图来确定多个第一对象图像关联同一对象的准确率,作为确定结果;调整模块,用于根据标签和确定结果之间的差异调整识别模型的参数。
根据第四方面,提供了一种确定准确率的装置,该装置包括:第二获取模块,用于获取待确定图像集,待确定图像集包括多个第二对象图像;第二构建模块,用于根据多个第二对象图像之间的相似度,构建多个第二对象图像的第二图像关系图;第二确定模块,用于使用识别模型基于第二图像关系图来确定多个第二对象图像关联同一对象的准确率;其中,识别模型是利用上述识别模型的训练方法训练的。
根据第五方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行根据本公开提供的方法。
根据第六方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行根据本公开提供的方法。
根据第七方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据本公开提供的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开的一个实施例的可以应用识别模型的训练方法的示例性系统架构示意图;
图2是根据本公开的一个实施例的识别模型的训练方法的流程图;
图3是根据本公开的一个实施例的图像关系图的示意图;
图4是根据本公开的另一个实施例的识别模型的训练方法的流程图;
图5是根据本公开的一个实施例的确定准确率的方法的流程图;
图6是根据本公开的一个实施例的确定准确率的方法的原理图;
图7是根据本公开的一个实施例的识别模型的训练装置的框图;
图8是根据本公开的一个实施例的确定准确率的装置的框图;
图9是根据本公开的一个实施例的识别模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
包含人脸的对象图像(也可以称为人脸图像)的聚类技术是人脸相关算法应用在安防等场景中的一项重要技术。以安防和门禁场景为例,通过聚类技术可以将对象图像按照对象聚合起来,每个聚合起来的图像簇作为一个人脸档案。利用人脸档案将针对单张图像的人脸识别转化为针对对象的人脸识别,能够大大降低因单张随机因素造成的误通过率与误报警率。同时在无注册信息的情况下(即在图像没有关联对象信息的情况下),将采集到的对象图像建立对象(即将聚类后的图像簇关联对象信息),可以应用于监控或陌生人检测等场景。
由于聚类技术本身存在一定误差,需要对聚类结果中的每个人脸档案的准确率进行确定,从而选择出准确率低的档案进行人工干预或者用其他精度更高的聚类方式重新聚类。
目前聚类结果的评估通常使用无监督的方式,常见的评估指标包括组内平方和(within)、轮廓系数(Silhouette Coefficient)和DBI指标(Davies-Bouldin index)。组内平方和指同一簇内的数据的特征向量误差平方和。轮廓系数和DBI指标分别用如下公式(1)和(2)来表示。
其中,s表示轮廓系数,a为簇内每个样本与其所在簇内其他样本之间的平均距离,b为某个样本与其他簇内的样本之间的平均距离。轮廓系数越高,表示聚类效果越好。
其中,k表示簇的数量,si表示簇内样本到簇中心的平均距离,dij表示簇中心i和簇中心j之间的距离。DBI越小,表示聚类效果越好。
以上聚类结果的评估指标都是基于图像簇的簇内距离越小,且簇间距离越大,则聚类结果准确率越高的标准。但是对于上述评价标准,存在的一个问题是其与人脸聚类应用场景脱钩,对于人脸聚类应用场景,评价得分高并不一定意味着聚类结果在实际应用场景中的质量好。例如,在人脸图像聚类的场景下,同一个人的正脸和侧脸之间距离可能较大。如果聚类算法正确地把同一个人的正脸和侧脸分在一起,由于簇内距离较大,采用上述评估指标则会认为该聚类结果不准。
需要说明的是,本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,采取了必要保密措施,且不违背工序良俗。
图1是根据本公开一个实施例的可以应用识别模型的训练方法的示例性系统架构示意图。需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,根据该实施例的系统架构100可以包括多个终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线和/或无线通信链路等等。
用户可以使用终端设备101通过网络102与服务器103进行交互,以接收或发送消息等。终端设备101可以是各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机等等。
本公开实施例所提供的识别模型的训练方法以及确定准确率的方法中的至少之一一般可以由服务器103执行。相应地,本公开实施例所提供的识别模型的训练装置以及确定准确率的装置中的至少之一一般可以设置于服务器103中。本公开实施例所提供的识别模型的训练方法以及确定准确率的方法也可以由不同于服务器103且能够与终端设备101和/或服务器103通信的服务器或服务器集群执行。相应地,本公开实施例所提供的识别模型的训练装置以及确定准确率的装置也可以设置于不同于服务器103且能够与终端设备101和/或服务器103通信的服务器或服务器集群中。
图2是根据本公开的一个实施例的识别模型的训练方法的流程图。
如图2所示,该识别模型的训练方法200可以包括操作S210~操作S240。
在操作S210,获取样本图像集。
例如,样本图像集可以是通过聚类算法将采集到的对象图像根据对象信息聚类起来得到的,样本图像集中可以包括多个第一对象图像,第一对象图像可以包含人脸,则样本图像集可以称为人脸档案。该样本图像集还具有标签,该标签表示该样本图像集中的多个第一对象图像关联同一对象的准确率。样本图像集的标签可以通过人工标注得到。
例如,样本图像集包括100张第一对象图像,其中90张第一对象图像实际关联同一用户,而另外10张第一对象图像实际关联其他用户,则该多个第一对象图像关联同一用户的准确率为90%。
在操作S220,根据多个第一对象图像之间的相似度构建多个第一对象图像的第一图像关系图。
例如,可以通过提取每个第一对象图像的特征向量,并计算各个第一对象图像的特征向量之间的余弦相似度,作为各个第一对象图像之间的相似度。可以将相似度大于预设阈值(例如0.6)的每两个第一对象图像之间建立一条边,每个第一对象图像表示一个节点,构建出第一图像关系图。第一图像关系图的结构信息能够表示多个第一对象图像之间的相似度关系。
在操作S230,使用识别模型基于第一图像关系图来确定多个第一对象图像关联同一对象的准确率,作为确定结果。
例如,识别模型可以是基于图处理的神经网络模型,例如GCN(Graph ConvolutionNetwork,图卷积神经网络)。GCN可以通过第一图像关系图中各个节点之间的关联关系,将第一图像关系图的结构信息编码到第一图像关系图的向量表示中,该第一图像关系图的向量表示可以称为第一图像关系图的结构特征。基于该第一图像关系图的结构特征可以确定多个第一对象图像关联同一对象的准确率,作为识别模型的确定结果。
在操作S240,根据标签和确定结果之间的差异调整识别模型的参数。
例如,标签表示多个第一对象图像关联同一对象的实际准确率,确定结果是识别模型输出的多个第一对象图像关联同一对象的准确率。实际准确率和所确定的准确率之间的差异可以表示识别模型的损失,根据识别模型的损失调整识别模型的参数,得到更新的识别模型,完成识别模型的一轮训练。针对下一个样本图像集,使用更新的识别模型重复上述操作S210~操作S240,直至识别模型的损失满足预设条件(例如损失收敛),则训练结束,得到经训练的识别模型。
例如,使用该经训练的识别模型可以对待确定对象图像集进行准确率的确定,以便筛选出准确率低的对象图像集进行人工干预或者用其他精度更高的聚类方式重新聚类。
根据本公开的实施例,通过模型训练的方式基于多个第一对象图像的第一图像关系图来确定多个第一对象图像关联同一对象的准确率,能够避免评估标准与实际应用场景脱钩的问题,提高人脸档案准确率的确定效果。
图3是根据本公开的一个实施例的图像关系图的示意图。
如图3所示,(a)中的图像关系图310可以是基于第一人脸档案中的多个对象图像之间的相似度构建得到的,(b)中的图像关系图320可以是基于第二人脸档案中的多个对象图像之间的相似度构建得到的。第一人脸档案中的多个对象图像关联同一对象信息的准确率较低(例如,准确率为40%),第二人脸档案中的多个对象图像关联同一对象信息的准确率较高(例如,准确率为95%)。图像关系图310和图像关系图320中的每个节点表示一个对象图像,每两个节点之间的边表示该两个节点表示的对象图像之间的相似度。需要说明的是,每两个节点之间的边表示该两个节点表示的对象图像之间的相似度大于预设阈值(例如0.6),相似度不大于预设阈值(例如0.6)的两个节点之间没有连接。
由于图像关系图的结构信息能够表示多个对象图像之间的相似度关系。因此,对于准确率较低的第一人脸档案的图像关系图310,节点之间的相似关系相对稀疏,对于准确率较高的第二人脸档案的图像关系图320,节点之间的相似关系相对很紧密。
针对图像关系图310,包括图像关系子图311和图像关系子图312,这是由于第一人脸档案中的多个对象图像关联了两个不同用户,关联不同用户的对象图像分别生成了图像关系子图311和图像关系子图312。图像关系子图311中每个节点表示的对象图像关联了一个用户,图像关系子图311中每个节点表示的对象图像关联了另一个用户,因此,第一人脸档案可以称为混合人脸档案。
根据本公开的实施例,根据人脸档案中的多个对象图像之间的相似度构建得到图像关系图,可以通过图像关系图的结构特征来表征人脸档案中的多个对象图像的相似度关系。
图4是根据本公开的另一个实施例的识别模型的训练方法的流程图。
如图4所示,该识别模型的训练方法400可以包括操作S401~操作S410。
在操作S401,获取样本图像集。
例如,样本图像集(人脸档案)包括多个第一对象图像,并且样本图像集具有标签,该标签表示多个第一对象图像关联同一对象的准确率(例如80%)。
针对样本图像集,可以从样本图像集中多个第一对象图像的统计特征以及多个第一对象图像的第一关系图的结构特征两个角度来确定样本图像集的准确率。统计特征的获取步骤可以包括如下操作S402~操作S403,结构特征的获取步骤可以包括如下操作S404~操作S405。需要说明的是,操作S402~操作S403与操作S404~操作S405可以是并行执行的。但是本公开的实施例不限于此,这两组操作也可以按照其他顺序来执行,例如先执行操作S404~操作S405,再执行操作S402~操作S403,或者先执行操作S402~操作S403,再执行操作S404~操作S405。
在操作S402,针对多个第一对象图像中的每个第一对象图像,提取该第一对象图像在至少一个方面的属性特征。
例如,第一对象图像在至少一个方面的属性特征可以包括在性别、年龄以及短时间内的发型等方面的特征。这些属性特征可以通过通用的神经网络模型(例如,循环神经网络RNN等)从第一对象图像中抽取得到。
在操作S403,统计多个第一对象图像在各个方面的属性特征,得到多个第一对象图像的统计特征。
例如,统计多个第一对象图像在性别方面的属性特征,得到多个第一对象图像的性别统计特征,统计多个第一对象图像在年龄方面的属性特征,得到多个第一对象图像的年龄统计特征等等。
在操作S404,根据多个第一对象图像之间的相似度构建多个第一对象图像的第一图像关系图。
在操作S405,对第一图像关系图进行卷积计算,生成第一图像关系图的结构特征。
例如,识别模型包括图卷积层和全连接层。图卷积层可以有多层,通过图卷积层对第一图像关系图进行卷积计算,可以提取出图结构特征,该图结构特征可以表示多个对象图像之间的相似度关系。
在操作S406,将结构特征和统计特征进行拼接,得到多个第一对象图像的拼接特征。
例如,将结构特征、性别统计特征、年龄统计特征以及其他方面的统计特征拼接在一起,生成多个第一对象图像的拼接特征。
在操作S407,基于拼接特征来确定多个第一对象图像关联同一对象的准确率。
例如,拼接特征经过识别模型的全连接层可以输出所确定的多个第一对象图像关联同一对象的准确率。识别模型的全连接层也可以有多层,可以通过训练学习到多个第一对象图像的拼接特征(统计特征、结构特征)与多个第一对象图像关联同一对象的准确率之间的关系。
在操作S408,使用预设损失函数基于标签和确定结果来计算识别模型的损失。
例如,预设损失函数可以是均方误差函数、均方根误差函数以及交叉熵函数等等。将标签中的实际准确率与识别模型输出的准确率代入到损失函数中,得到识别模型的损失。
在操作S409,判断损失是否收敛。如果收敛,则识别模型的训练结束。如果不收敛,则执行操作S410。
在操作S410,根据损失调整识别模型的参数,并返回执行操作S401,需要说明的是,返回执行的操作S401,所获取的样本图像集是下一个具有标签的样本图像集。
根据本公开的实施例,通过模型训练的方式自动学习人脸档案的统计特征和结构特征与人脸档案的准确率之间的关系,避免了人脸档案准确率评价标准与实际应用场景脱钩的问题,提高了人脸档案准确率的确定效果。
图5是根据本公开的一个实施例的确定准确率的方法的流程图。
如图5所示,该识别模型的训练方法500可以包括操作S510~操作S530。
在操作S510,获取待确定图像集。
例如,待确定图像集可以是通过聚类算法将采集到的对象图像根据对象聚类起来的待确定人脸档案,待确定图像集包括多个第二对象图像。
在操作S520,根据多个第二对象图像之间的相似度,构建多个第二对象图像的第二图像关系图。
例如,提取每个第二对象图像的特征向量,并计算各个第二对象图像的特征向量之间的余弦相似度,作为各个第二对象图像之间的相似度。可以将相似度大于预设阈值(例如0.6)的每两个第二对象图像之间建立一条边,每个第二对象图像表示一个节点,构建出第二图像关系图。第二图像关系图的结构信息能够表示多个第二对象图像之间的相似度关系。
在操作S530,使用识别模型基于第二图像关系图来确定多个第二对象图像关联同一对象的准确率。
例如,识别模型(例如GCN)是利用上述识别模型的训练方法进行训练得到的。使用识别模型根据第二图像关系图中各个节点之间的关联关系,将第二图像关系图的结构信息编码到第二图像关系图的向量表示中,该第二图像关系图的向量表示可以称为第二图像关系图的结构特征。基于该第二图像关系图的结构特征可以确定多个第二对象图像关联同一对象的准确率。
基于识别模型输出的多个第二对象图像关联同二对象的准确率,可以确定待确定人脸档案是否为低准确率的人脸档案,以便进行人工干预或者用其他精度更高的聚类方式重新聚类。
图6是根据本公开的一个实施例的确定准确率的方法的原理图。
如图6所示,对人脸档案的准确率的确定是使用识别模型600来实现的。识别模型600包括图卷积层601和全连接层602。人脸档案包括多个对象图像,根据多个对象图像之间的相似度可以构建出多个对象图像的图像关系图。图像关系图输入到识别模型600的图卷积层601,图卷积层601可以包括多层,经过多层图卷积层601的计算,可以获得图像关系图的结构特征。通过对人脸档案中各个对象图像进行性别和年龄等属性特征的提取和统计,可以得到人脸档案的统计特征。将人脸档案的统计特征和图像关系图的结构特征拼接在一起,输入到全连接层602,全连接层602也可以包括多层,经过全连接层602的映射,可以输出人脸档案的准确率。
根据本公开的实施例,通过神经网络模型的方式自动学习人脸档案的统计特征和结构特征与人脸档案的准确率之间的关系,避免了人脸档案准确率评价标准与实际应用场景脱钩的问题,提高了人脸档案准确率的确定效果。
图7是根据本公开的一个实施例的识别模型的训练装置的框图。
如图7所示,该识别模型的训练700可以包括第一获取模块701、第一构建模块702、第一确定模块703和调整模块704。
第一获取模块701用于获取样本图像集,样本图像集包括多个第一对象图像以及表示多个第一对象图像关联同一对象的准确率的标签。
第一构建模块702用于根据多个第一对象图像之间的相似度构建多个第一对象图像的第一图像关系图。
第一确定模块703用于使用识别模型基于第一图像关系图来确定多个第一对象图像关联同一对象的准确率,作为确定结果。
调整模块704用于根据标签和确定结果之间的差异调整识别模型的参数。
根据本公开的实施例,第一确定模块703包括生成单元和确定单元。
生成单元用于对第一图像关系图进行卷积计算,生成第一图像关系图的结构特征。
确定单元用于基于结构特征来确定多个第一对象图像关联同一对象的准确率。
根据本公开的实施例,识别模型的训练装置还包括提取模块和统计模块。
提取模块用于针对多个第一对象图像中的每个第一对象图像,提取该第一对象图像在至少一个方面的属性特征。
统计模块用于统计多个第一对象图像在各个方面的属性特征,得到多个第一对象图像的统计特征。
根据本公开的实施例,确定单元包括拼接子单元和确定子单元。
拼接子单元用于将结构特征和统计特征进行拼接,得到多个第一对象图像的拼接特征。
确定子单元用于基于拼接特征来确定多个第一对象图像关联同一对象的准确率。
根据本公开的实施例,第一构建模块702包括计算单元和构建单元。
计算单元用于计算多个第一对象图像中的每两个第一对象图像之间的相似度。
构建单元用于以每个第一对象图像为节点,将每两个第一对象图像之间的相似度作为该两个第一对象图像的节点之间的相似度,连接相似度大于预设阈值的两个节点作为该两个节点之间的边。
根据本公开的实施例,调整模块用于使用预设损失函数基于标签和确定结果来计算识别模型的损失;根据损失,调整识别模型的参数,针对下一个样本图像集,返回构建多个第一对象图像的第一图像关系图的步骤,直至识别模型的损失满足预设条件。
图8是根据本公开的另一个实施例的确定准确率的装置的框图。
如图8所示,该确定准确率的装置800可以包括第二获取模块801、第二构建模块802和第二确定模块803。
第二获取模块801用于获取待确定图像集,待确定图像集包括多个第二对象图像。
第二构建模块802用于根据多个第二对象图像之间的相似度,构建多个第二对象图像的第二图像关系图。
第二确定模块803用于使用识别模型基于第二图像关系图来确定多个第二对象图像关联同一对象的准确率。
其中,识别模型是利用上述识别模型的训练方法训练得到的。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示,设备900包括计算单元901,其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序,来执行各种适当的动作和处理。在RAM 903中,还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理,例如识别模型的训练方法。例如,在一些实施例中,识别模型的训练方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时,可以执行上文描述的识别模型的训练方法的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行识别模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (16)
1.一种识别模型的训练方法,包括:
获取样本图像集,所述样本图像集包括多个第一对象图像以及表示所述多个第一对象图像关联同一对象的准确率的标签;
根据多个第一对象图像之间的相似度构建所述多个第一对象图像的第一图像关系图;
使用识别模型基于所述第一图像关系图来确定所述多个第一对象图像关联同一对象的准确率,作为确定结果;
根据所述标签和所述确定结果之间的差异调整所述识别模型的参数。
2.根据权利要求1所述的方法,其中,所述确定所述多个第一对象图像关联同一对象的准确率包括:
对所述第一图像关系图进行卷积计算,生成所述第一图像关系图的结构特征;
基于所述结构特征来确定所述多个第一对象图像关联同一对象的准确率。
3.根据权利要求2所述的方法,还包括:
针对所述多个第一对象图像中的每个第一对象图像,提取该第一对象图像在至少一个方面的属性特征;
统计所述多个第一对象图像在各个方面的属性特征,得到所述多个第一对象图像的统计特征。
4.根据权利要求3所述的方法,其中,所述确定所述多个第一对象图像关联同一对象的准确率包括:
将所述结构特征和所述统计特征进行拼接,得到所述多个第一对象图像的拼接特征;
基于所述拼接特征来确定所述多个第一对象图像关联同一对象的准确率。
5.根据权利要求1所述的方法,其中,所述根据多个第一对象图像之间的相似度构建所述多个第一对象图像的第一图像关系图包括:
计算所述多个第一对象图像中的每两个第一对象图像之间的相似度;
以每个第一对象图像为节点,将每两个第一对象图像之间的相似度作为该两个第一对象图像的节点之间的相似度,连接相似度大于预设阈值的两个节点作为该两个节点之间的边。
6.根据权利要求1所述的方法,其中,所述根据所述标签和所述确定结果之间的差异调整所述识别模型的参数包括:
使用预设损失函数基于所述标签和所述确定结果来计算所述识别模型的损失;
根据所述损失,调整所述识别模型的参数,针对下一个样本图像集,返回构建所述多个第一对象图像的第一图像关系图的步骤,直至所述识别模型的损失满足预设条件。
7.一种确定准确率的方法,包括:
获取待确定图像集,所述待确定图像集包括多个第二对象图像;
根据所述多个第二对象图像之间的相似度,构建所述多个第二对象图像的第二图像关系图;
使用识别模型基于所述第二图像关系图来确定所述多个第二对象图像关联同一对象的准确率;
其中,所述识别模型是利用根据权利要求1~6中任一项所述的方法训练的。
8.一种识别模型的训练装置,包括:
第一获取模块,用于获取样本图像集,所述样本图像集包括多个第一对象图像以及表示所述多个第一对象图像关联同一对象的准确率的标签;
第一构建模块,用于根据多个第一对象图像之间的相似度构建所述多个第一对象图像的第一图像关系图;
第一确定模块,用于使用识别模型基于所述第一图像关系图来确定所述多个第一对象图像关联同一对象的准确率,作为确定结果;
调整模块,用于根据所述标签和所述确定结果之间的差异调整所述识别模型的参数。
9.根据权利要求8所述的装置,其中,所述第一确定模块包括:
生成单元,用于对所述第一图像关系图进行卷积计算,生成所述第一图像关系图的结构特征;
确定单元,用于基于所述结构特征来确定所述多个第一对象图像关联同一对象的准确率。
10.根据权利要求9所述的装置,所述装置还包括:
提取模块,用于针对所述多个第一对象图像中的每个第一对象图像,提取该第一对象图像在至少一个方面的属性特征;
统计模块,用于统计所述多个第一对象图像在各个方面的属性特征,得到所述多个第一对象图像的统计特征。
11.根据权利要求10所述的装置,其中,所述确定单元包括:
拼接子单元,用于将所述结构特征和所述统计特征进行拼接,得到所述多个第一对象图像的拼接特征;
确定子单元,用于基于所述拼接特征来确定所述多个第一对象图像关联同一对象的准确率。
12.根据权利要求8所述的装置,其中,所述第一构建模块包括:
计算单元,用于计算所述多个第一对象图像中的每两个第一对象图像之间的相似度;
构建单元,用于以每个第一对象图像为节点,将每两个第一对象图像之间的相似度作为该两个第一对象图像的节点之间的相似度,连接相似度大于预设阈值的两个节点作为该两个节点之间的边。
13.根据权利要求8所述的装置,其中,所述调整模块用于使用预设损失函数基于所述标签和所述确定结果来计算所述识别模型的损失;根据所述损失,调整所述识别模型的参数,针对下一个样本图像集,返回构建所述多个第一对象图像的第一图像关系图的步骤,直至所述识别模型的损失满足预设条件。
14.一种确定准确率的装置,包括:
第二获取模块,用于获取待确定图像集,所述待确定图像集包括多个第二对象图像;
第二构建模块,用于根据所述多个第二对象图像之间的相似度,构建所述多个第二对象图像的第二图像关系图;
第二确定模块,用于使用识别模型基于所述第二图像关系图来确定所述多个第二对象图像关联同一对象的准确率;
其中,所述识别模型是利用根据权利要求1~6中任一项所述的方法训练的。
15. 一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110628556.5A CN113361402B (zh) | 2021-06-04 | 2021-06-04 | 识别模型的训练方法、确定准确率的方法、装置和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110628556.5A CN113361402B (zh) | 2021-06-04 | 2021-06-04 | 识别模型的训练方法、确定准确率的方法、装置和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113361402A CN113361402A (zh) | 2021-09-07 |
CN113361402B true CN113361402B (zh) | 2023-08-18 |
Family
ID=77532439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110628556.5A Active CN113361402B (zh) | 2021-06-04 | 2021-06-04 | 识别模型的训练方法、确定准确率的方法、装置和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113361402B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112395979A (zh) * | 2020-11-17 | 2021-02-23 | 平安科技(深圳)有限公司 | 基于图像的健康状态识别方法、装置、设备及存储介质 |
CN112559640A (zh) * | 2020-12-06 | 2021-03-26 | 支付宝(杭州)信息技术有限公司 | 图谱表征系统的训练方法及装置 |
CN112597942A (zh) * | 2020-12-29 | 2021-04-02 | 深圳市华尊科技股份有限公司 | 人脸聚类方法、电子设备及相关产品 |
CN112733807A (zh) * | 2021-02-22 | 2021-04-30 | 佳都新太科技股份有限公司 | 一种人脸比对的图卷积神经网络训练方法及装置 |
CN112766421A (zh) * | 2021-03-12 | 2021-05-07 | 清华大学 | 基于结构感知的人脸聚类方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11386144B2 (en) * | 2019-09-09 | 2022-07-12 | Adobe Inc. | Identifying digital attributes from multiple attribute groups within target digital images utilizing a deep cognitive attribution neural network |
-
2021
- 2021-06-04 CN CN202110628556.5A patent/CN113361402B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112395979A (zh) * | 2020-11-17 | 2021-02-23 | 平安科技(深圳)有限公司 | 基于图像的健康状态识别方法、装置、设备及存储介质 |
CN112559640A (zh) * | 2020-12-06 | 2021-03-26 | 支付宝(杭州)信息技术有限公司 | 图谱表征系统的训练方法及装置 |
CN112597942A (zh) * | 2020-12-29 | 2021-04-02 | 深圳市华尊科技股份有限公司 | 人脸聚类方法、电子设备及相关产品 |
CN112733807A (zh) * | 2021-02-22 | 2021-04-30 | 佳都新太科技股份有限公司 | 一种人脸比对的图卷积神经网络训练方法及装置 |
CN112766421A (zh) * | 2021-03-12 | 2021-05-07 | 清华大学 | 基于结构感知的人脸聚类方法和装置 |
Non-Patent Citations (1)
Title |
---|
一种基于对象属性关系图的视频描述方法;冯欣;高瑗蔚;杨武;蒋友妮;张洁;;重庆理工大学学报(自然科学)(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113361402A (zh) | 2021-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113313053B (zh) | 图像处理方法、装置、设备、介质及程序产品 | |
CN113657289B (zh) | 阈值估计模型的训练方法、装置和电子设备 | |
CN113222942A (zh) | 多标签分类模型的训练方法和预测标签的方法 | |
CN114494784A (zh) | 深度学习模型的训练方法、图像处理方法和对象识别方法 | |
CN115796310A (zh) | 信息推荐及模型训练方法、装置、设备和存储介质 | |
CN113360700A (zh) | 图文检索模型的训练和图文检索方法、装置、设备和介质 | |
CN113902010A (zh) | 分类模型的训练方法和图像分类方法、装置、设备和介质 | |
CN113657249B (zh) | 训练方法、预测方法、装置、电子设备以及存储介质 | |
CN113627361B (zh) | 人脸识别模型的训练方法、装置及计算机程序产品 | |
CN114037059A (zh) | 预训练模型、模型的生成方法、数据处理方法及装置 | |
CN113963197A (zh) | 图像识别方法、装置、电子设备和可读存储介质 | |
CN113947701A (zh) | 训练方法、对象识别方法、装置、电子设备以及存储介质 | |
CN116340831B (zh) | 一种信息分类方法、装置、电子设备及存储介质 | |
CN113361402B (zh) | 识别模型的训练方法、确定准确率的方法、装置和设备 | |
CN115690443B (zh) | 特征提取模型训练方法、图像分类方法及相关装置 | |
CN114882334B (zh) | 用于生成预训练模型的方法、模型训练方法及装置 | |
CN115471772A (zh) | 一种关键帧的提取方法、装置、设备及介质 | |
CN112966108B (zh) | 检测数据和训练分类模型的方法、装置、设备和存储介质 | |
CN115994243A (zh) | 跨模态检索模型处理方法、装置、设备、产品及介质 | |
CN116229095A (zh) | 一种模型训练方法、视觉任务处理方法、装置及设备 | |
CN114973333A (zh) | 人物交互检测方法、装置、设备以及存储介质 | |
CN114707638A (zh) | 模型训练、对象识别方法及装置、设备、介质和产品 | |
CN114120410A (zh) | 用于生成标签信息的方法、装置、设备、介质和产品 | |
CN113312354B (zh) | 数据表的识别方法、装置、设备和存储介质 | |
CN111428741A (zh) | 网络社区的发现方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |