CN114693995B - 应用于图像处理的模型训练方法、图像处理方法和设备 - Google Patents
应用于图像处理的模型训练方法、图像处理方法和设备 Download PDFInfo
- Publication number
- CN114693995B CN114693995B CN202210389251.8A CN202210389251A CN114693995B CN 114693995 B CN114693995 B CN 114693995B CN 202210389251 A CN202210389251 A CN 202210389251A CN 114693995 B CN114693995 B CN 114693995B
- Authority
- CN
- China
- Prior art keywords
- similarity
- feature
- trained
- image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 249
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000012549 training Methods 0.000 title claims abstract description 60
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 230000006870 function Effects 0.000 claims abstract description 369
- 239000011159 matrix material Substances 0.000 claims description 512
- 238000010586 diagram Methods 0.000 claims description 67
- 230000015654 memory Effects 0.000 claims description 27
- 230000004044 response Effects 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 14
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 36
- 238000004364 calculation method Methods 0.000 description 28
- 238000004590 computer program Methods 0.000 description 19
- 101100234408 Danio rerio kif7 gene Proteins 0.000 description 16
- 101100221620 Drosophila melanogaster cos gene Proteins 0.000 description 16
- 101100398237 Xenopus tropicalis kif11 gene Proteins 0.000 description 16
- 238000003709 image segmentation Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000007499 fusion processing Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 101150118300 cos gene Proteins 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了应用于图像处理的模型训练方法、图像处理方法和设备,涉及人工智能,尤其涉及深度学习、图像处理、计算机视觉技术、芯片等技术领域。具体实现方案为:基于待训练的学生模型对待训练图像进行处理得到第一特征图,基于老师模型对待训练图像进行处理得到第二特征图;根据多个第一特征图和对应的多个第二特征图,确定第一损失函数信息;根据多个第一特征图,确定第二损失函数信息;根据第一损失函数信息和第二损失函数信息,更新待训练的学生模型,以得到图像处理模型。所得到的图像处理模型学习了老师模型和图像的标签信息,提高了图像处理模型的精度,提高了处理待识别图像的准确性。
Description
技术领域
本公开涉及人工智能中的深度学习、图像处理、计算机视觉技术、芯片等技术领域,尤其涉及一种应用于图像处理的模型训练方法、图像处理方法和设备。
背景技术
随着人工智能技术的发展,可以基于深度学习模型完成图像处理模型的训练,进而所得到图像处理模型可以部署到芯片或终端设备中,进而基于芯片或终端设备中的图像处理模型完成图像处理。例如,进行人脸识别、或者进行基于图像的物品检测、等等。
但是,如何提供一种提高处理精度的图像处理模型是一个亟需解决的问题;需要提高所得到的图像处理模型的图像处理的准确性。
发明内容
本公开提供了一种用于提高图像处理模型的精度的应用于图像处理的模型训练方法、图像处理方法和设备。
根据本公开的第一方面,提供了一种应用于图像处理的模型训练方法,包括:
基于待训练的学生模型对待训练图像进行处理,得到第一特征图;
基于老师模型对所述待训练图像进行处理,得到第二特征图;
根据多个所述第一特征图和对应的多个所述第二特征图,确定第一损失函数信息;其中,所述第一损失函数信息用于指示所述第一特征图与对应的所述第二特征图之间的相似度;
根据多个所述第一特征图,确定第二损失函数信息;其中,所述第二损失函数信息用于指示多个所述第一特征图之间的相似度;
根据所述第一损失函数信息和所述第二损失函数信息,更新所述待训练的学生模型,以得到图像处理模型。
根据本公开的第二方面,提供了一种图像处理方法,包括:
获取待处理图像,并将所述待处理图像输入至图像处理模型中,得到所述待处理图像的图像处理结果;
其中,所述图像处理模型为基于第一损失函数信息和第二损失函数信息,更新待训练的学生模型所得到的;
所述第一损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度,所述第一损失函数信息为基于多个所述第一特征图和对应的多个所述第二特征图所确定的;所述第二损失函数信息用于指示多个所述第一特征图之间的相似度,所述第二损失函数信息为基于多个所述第一特征图所确定的;所述第一特征图为基于待训练的学生模型对待训练图像进行处理所得到的,所述第二特征图为基于老师模型对所述待训练图像进行处理所得到的。
根据本公开的第三方面,提供了一种应用于图像处理的模型训练装置,包括:
第一处理单元,用于基于待训练的学生模型对待训练图像进行处理,得到第一特征图;
第二处理单元,用于基于老师模型对所述待训练图像进行处理,得到第二特征图;
第一确定单元,用于根据多个所述第一特征图和对应的多个所述第二特征图,确定第一损失函数信息;其中,所述第一损失函数信息用于指示所述第一特征图与对应的所述第二特征图之间的相似度;
第二确定单元,用于根据多个所述第一特征图,确定第二损失函数信息;其中,所述第二损失函数信息用于指示多个所述第一特征图之间的相似度;
更新单元,用于根据所述第一损失函数信息和所述第二损失函数信息,更新所述待训练的学生模型,以得到图像处理模型。
根据本公开的第四方面,提供了一种图像处理装置,包括:
获取单元,用于获取待处理图像;
输出单元,用于将所述待处理图像输入至图像处理模型中,得到所述待处理图像的图像处理结果;
其中,所述图像处理模型为基于第一损失函数信息和第二损失函数信息,更新待训练的学生模型所得到的;
所述第一损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度,所述第一损失函数信息为基于多个所述第一特征图和对应的多个所述第二特征图所确定的;所述第二损失函数信息用于指示多个所述第一特征图之间的相似度,所述第二损失函数信息为基于多个所述第一特征图所确定的;所述第一特征图为基于待训练的学生模型对待训练图像进行处理所得到的,所述第二特征图为基于老师模型对所述待训练图像进行处理所得到的。
根据本公开的第五方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述方法。
根据本公开的第六方面,提供一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述方法。
根据本公开的第七方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得电子设备执行上述方法。
根据本公开的第八方面,提供了一种芯片,包括:第三方面提供的应用于图像处理的模型训练装置,或者,所述芯片包括第四方面提供的图像处理装置。
根据本公开的第九方面,提供了一种电子设备,包括第八方面提供的芯片。
根据本公开的技术方案,基于待训练的学生模型对待训练图像进行处理,得到第一特征图,基于老师模型对待训练图像进行处理,得到第二特征图;根据多个第一特征图和对应的多个第二特征图,确定第一损失函数信息;第一损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度;进而基于老师模型对待训练的学生模型进行训练,使得待训练的学生模型学习老师模型的学习能力和模型能力。根据多个第一特征图,确定第二损失函数信息;第二损失函数信息用于指示多个第一特征图之间的相似度;进而使得待训练的学生模型学习待训练图像的图像能力和标签能力。根据第一损失函数信息和第二损失函数信息,更新待训练的学生模型,得到图像处理模型。图像处理模型用于处理待处理图像。基于多个第一特征图和对应的多个第二特征图,确定第一损失函数信息;进而基于老师模型对待训练的学生模型进行训练,使得待训练的学生模型学习老师模型的学习能力和模型能力,使得待训练的学生模型的表达模式接近于老师模型的特征表达模式。基于多个第一特征图,确定第二损失函数信息;进而使得待训练的学生模型学习待训练图像的图像能力和标签能力。从而所得到的图像处理模型既学习了老师模型,并且学习了图像的标签信息;提升了所得到的图像处理模型的精度,并且提高了处理待识别图像的准确性。并且,可以基于多个老师模型对待训练的学生模型进行训练,使得所得的图像处理模型可以学习多个场景下的老师模型的能力;所得到的图像处理模型可以处理多个场景下的图像。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是可以实现本公开实施例的场景图一;
图2是可以实现本公开实施例的场景图二;
图3是根据本公开第一实施例的示意图;
图4是根据本公开第二实施例的示意图;
图5是本公开提供的第一相似度矩阵X1;
图6是本公开提供的第一正样本特征矩阵Y1;
图7是本公开提供的第一负样本特征矩阵Y2;
图8是本公开提供的第二相似度矩阵X2;
图9是本公开提供的第二正样本特征矩阵Y3;
图10是本公开提供的第二负样本特征矩阵Y4;
图11是本公开提供的待训练的学生模型的训练示意图一;
图12是本公开提供的待训练的学生模型的训练示意图二;
图13是本公开提供的待训练的学生模型的训练示意图三;
图14是根据本公开第三实施例的示意图;
图15是根据本公开第四实施例的示意图;
图16是根据本公开第五实施例的示意图;
图17是根据本公开第六实施例的示意图;
图18是根据本公开第七实施例的示意图;
图19示出了可以用来实施本公开的实施例的示例电子设备1900的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
随着人工智能技术的发展,可以基于深度学习模型完成图像处理模型的训练,进而所得到图像处理模型可以部署到芯片或终端设备中,进而基于芯片或终端设备中的图像处理模型完成图像处理。例如,进行人脸识别、或者进行基于图像的物品检测、等等。
一个示例中,基于待训练的图像数据,基于老师(teacher)模型训练学生(student)模型,进而得到训练后的学生模型,训练后的学生模型可以用于进行图像处理。其中,在基于老师模型训练学生模型的时候,监督学生模型的特征值,然后得到L2损失函数;基于L2损失函数调节学生模型的参数,使得学生模型的特征值尽可能的接近老师模型的特征值,进而使得学生模型去学生老师模型的能力;训练得到的学生模型,为用于进行图像处理的图像处理模型。
但是上述方式中,由于老师模型的结构与学生模型的结构差异较大,老师模型很大,但是学生模型较小,两者差异较大;从而在使得学生模型的特征值尽可能的接近老师模型的特征值的过程中,会导致超出学生模型的学习能力,进而导致所得到的学生模型的精度下降。进而导致图像处理模型进行图像处理的处理精度较低。
从而,如何提供一种提高处理精度的图像处理模型是一个亟需解决的问题;需要提高所得到的图像处理模型的图像处理的准确性。
本公开提供一种应用于图像处理的模型训练方法、图像处理方法和设备,应用于人工智能中的深度学习、图像处理、计算机视觉技术、芯片等技术领域,以达到所得到的图像处理模型既学习了老师模型,并且学习了图像的标签信息,提高了所得到的图像处理模型的精度,并且提高了处理待识别图像的准确性。
本公开提供的方案可以应用于人脸识别、图像分割、图像分类、等等场景下。
需要说明的是,本实施例中的人脸图像并不是针对某一特定用户的人脸图像,并不能反映出某一特定用户的个人信息。需要说明的是,本实施例中的人脸图像来自于公开数据集。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
图1是可以实现本公开实施例的场景图一,如图1所示,本公开提供的方法可以应用到人脸识别的图像处理场景下;如图1所示,服务器101在完成学生模型的训练之后,服务器101得到图像处理模型之后;服务器101将图像处理模型部署到终端设备102中;终端设备102在采集图像之后,基于图像处理模型对图像进行人脸识别。
图2是可以实现本公开实施例的场景图二,如图2所示,本公开提供的方法可以应用到图像分割的图像处理场景下;如图2所示,终端设备201通过摄像头采集图像,然后终端设备201对采集到的图像进行图像分割,得到图像分割结果。
图3是根据本公开第一实施例的示意图,如图3所示,本实施例提供的应用于图像处理的模型训练方法,包括:
S301、基于待训练的学生模型对待训练图像进行处理,得到第一特征图,基于至少一个老师模型对待训练图像进行处理,得到第二特征图。
示例性地,本实施例以执行主体可以是芯片、或者处理器、或者终端设备、或者服务器、或者电子设备、或者应用于图像处理的模型训练装置或设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为处理器进行说明。
设置了一个待训练的学生模型,对该待训练的学生模型进行训练,以得到图像处理模型。
先需要获取待训练图像集合,待训练图像集合中包括多个待训练图像;待训练图像具有标签信息,标签信息表征待训练图像的处理结果信息。
一个示例中,在人脸识别的场景中,待训练图像为待训练人脸图像;待训练人脸图像具有标签信息,标签信息表征了待训练人脸图像的用户。
另一个示例中,在图像分割的场景中,待训练图像具有标签信息,标签信息指示出了待训练图像的分割结果。
将每一待训练图像输入到待训练的学生模型中,基于待训练的学生模型对每一待训练图像进行特征提取处理,得到每一待训练图像的第一特征图。
同时,提供了至少一个老师模型;需要基于至少一个老师模型对待训练的学生模型进行训练。针对每一老师模型,将待训练图像输入至老师模型中进行特征提取处理;在基于每一老师模型对待训练图像进行处理之后,得到第二特征图。
一个示例中,若提供了一个老师模型,基于该老师模型对待训练的学生模型进行训练,则将每一待训练图像输入至该老师模型中进行特征提取处理,得到每一待训练图像的第二特征图。可知,针对同一待训练图像,得到与该待训练图像对应的一个第一特征图、以及与该待训练图像对应的一个第二特征图。
另一个示例中,若提供了多个老师模型,基于多个老师模型对待训练的学生模型进行训练;针对每一预设老师模型,将每一待训练图像输入至该老师模型中进行特征提取处理,得到与该老师模型对应的每一待训练图像的第二特征图。可知,针对同一待训练图像,得到与该待训练图像对应的一个第一特征图、以及与该待训练图像对应的多个第二特征图。
又一个示例中,若提供了多个老师模型,基于多个老师模型对待训练的学生模型进行训练;针对每一预设老师模型,将每一待训练图像输入至该老师模型中进行特征提取处理,得到与该老师模型对应的每一待训练图像的中间特征图。然后,针对每一待训练图像,将与各老师模型对应的该待训练图像的中间特征图进行特征融合处理,得到该待训练图像的第二特征图。此时,针对每一待训练图像,该待训练图像的第二特征图是各老师模型所输出的该待训练图像的中间特征图的融合后的结果。可知,针对同一待训练图像,得到与该待训练图像对应的一个第一特征图、以及与该待训练图像对应的一个第二特征图。
S302、根据多个第一特征图和对应的多个第二特征图,确定第一损失函数信息;其中,第一损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度;根据多个第一特征图,确定第二损失函数信息;其中,第二损失函数信息用于指示多个第一特征图之间的相似度。
示例性地,第一特征图是待训练的学生模型对待训练图像进行处理所得到的;第二特征图是老师模型对待训练图像进行处理所得到的。
基于第一特征图和第二特征图对待训练的学生模型进行模型训练。针对每一待训练图像,得到了每一待训练图像的第一特征图和第二特征图。进而针对待训练图像集合,得到由各待训练图像的第一特征图构成的第一特征图矩阵,得到由各待训练图像的第二特征图构成的第二特征图矩阵。
然后基于第一特征图矩阵和第二特征图矩阵,进行损失函数的计算处理,得到第一损失函数信息。其中,第一损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度。
一个示例中,提供了一个老师模型,则针对同一待训练图像,得到与该待训练图像对应的一个第一特征图、以及与该待训练图像对应的一个第二特征图。待训练图像集合中包括N个待训练图像,其中,N为大于1的正整数;进而得到N个第一特征图、以及N个第二特征图。N个第一特征图与N个第二特征图相互进行相似度计算,得到一个维度为N*N的相似度矩阵;基于该相似度矩阵,得到第一损失函数信息,可知,第一损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度。
另一个示例中,提供了M个老师模型,M为大于1的正整数,针对同一待训练图像,得到与该待训练图像对应的一个第一特征图、以及与该待训练图像对应的多个第二特征图。待训练图像集合中包括N个待训练图像,其中,N为大于1的正整数;进而得到N个第一特征图,得到与每一老师模型对应的N个第二特征图。针对每一老师模型,将N个第一特征图、以及该老师模型对应的N个第二特征图进行相似度计算,得到一个维度为N*N的相似度矩阵;基于该相似度矩阵,得到第一损失函数信息,可知,第一损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度。可知,得到M个第一损失函数信息。
又一个示例中,提供了M个老师模型,M为大于1的正整数;针对每一待训练图像,得到了与每一老师模型对应的中间特征图;针对每一待训练图像,将与各老师模型对应的该待训练图像的中间特征图进行特征融合处理,得到该待训练图像的第二特征图。针对每一个待训练图像,基于M个老师模型对待训练图像进行处理之后,得到该待训练图像的第二特征图。针对每一待训练图像,该待训练图像的第二特征图是各老师模型所输出的该待训练图像的中间特征图的融合后的结果。可知,针对同一待训练图像,得到与该待训练图像对应的一个第一特征图、以及与该待训练图像对应的一个第二特征图。待训练图像集合中包括N个待训练图像,其中,N为大于1的正整数;进而得到N个第一特征图,以及N个第二特征图。N个第一特征图与N个第二特征图相互进行相似度计算,得到一个维度为N*N的相似度矩阵;基于该相似度矩阵,得到第一损失函数信息,可知,第一损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度。
在上述过程中,可以基于多个老师模型对待训练的学生模型进行训练,使得所得的图像处理模型可以学习到多个场景下的老师模型的能力;所得到的图像处理模型可以处理多个场景下的图像。
一个示例中,2个老师模型,一个老师模型用于识别第一年龄段的人脸图像,另一个老师模型用于识别第二年龄段的人脸图像;进而基于这2个老师模型对待训练的学生模型进行训练,使得所得的图像处理模型可以学习到第一年龄段场景和第一年龄段场景下的老师模型的能力;所得到图像处理模型既可以识别第一年龄段的人脸图像,还可以识别第二年龄段的人脸图像。
并且,还需要基于各第一特征图对待训练的学生模型进行模型训练。
针对每一待训练图像,得到了每一待训练图像的第一特征图。进而针对待训练图像集合,得到由各待训练图像的第一特征图构成的第一特征图矩阵。然后基于第一特征图矩阵,进行损失函数的计算处理,得到第二损失函数信息。其中,第二损失函数信息用于指示多个第一特征图之间的相似度。例如,第二损失函数信息用于指示多个第一特征图各自相互所结合的相似度,或者,第二损失函数信息用于指示每对第一特征图之间的相似度。
一个示例中,待训练图像集合中包括N个待训练图像,其中,N为大于1的正整数;针对每一待训练图像,基于待训练的学生模型对待训练图像进行特征提取处理,得到与该待训练图像对应的第一特征图,进而得到N个第一特征图。得到由各待训练图像的第一特征图构成的第一特征图矩阵,第一特征图矩阵中包括N个第一特征图。将第一特征图矩阵与第一特征图矩阵进行相似度计算,进而将N个第一特征图与N个第一特征图相互进行相似度计算,得到一个维度为N*N的相似度矩阵;基于该相似度矩阵,得到第二损失函数信息,可知,第二损失函数信息用于指示每对第一特征图之间的相似度。
基于第一特征图和第二特征图,确定第一损失函数信息;进而基于老师模型对待训练的学生模型进行训练,使得待训练的学生模型学习老师模型的学习能力和模型能力。基于各第一特征图,确定第二损失函数信息;进而使得待训练的学生模型学习待训练图像的图像能力和标签能力。
S303、根据第一损失函数信息和第二损失函数信息,更新待训练的学生模型,以得到图像处理模型。
示例性地,在步骤S302之后,基于第一损失函数信息和第二损失函数信息,更新待训练的学生模型的参数。可以将第一损失函数信息和第二损失函数信息相加,得到一个总的损失函数;基于该总的损失函数,去更新待训练的学生模型的参数。其中,基于总的损失函数去更新待训练的学生模型的参数,这个具体过程,可以参见深度学习模型的参数更新方式,不再赘述。
从而得到图像处理模型;该图像处理模型用于处理待处理图像。
基于本实施例的各步骤,对待训练人脸图像进行处理,其中,待训练人脸图像具有标签信息,标签信息表征待训练人脸图像的用户;得到用于进行人脸识别的图像处理模型。或者,基于本实施例的各步骤,对待训练图像进行处理,待训练图像具有标签信息,标签信息表征待训练图像的类别;得到用于进行图像分类的图像处理模型。或者,基于本实施例的各步骤,对待训练图像进行处理,待训练图像具有标签信息,标签信息用于指示待训练图像的分割结果;得到用于进行图像分割的图像处理模型。对此不做限定。
一个示例中,在人脸识别的场景下,获取到待训练人脸图像集合,待训练人脸图像集合中包括多个待训练人脸图像,待训练人脸图像具有标签信息,标签信息表征待训练人脸图像的用户。针对每一待训练人脸图像,将待训练人脸图像输入到待训练的学生模型中进行处理,得到与该待训练人脸图像对应的第一特征图。针对每一待训练人脸图像,将待训练人脸图像输入到老师模型中进行处理,得到与该待训练人脸图像对应的第二特征图。基于上述步骤S302,得到第一损失函数信息,第一损失函数信息用于指示待训练人脸图像的第一特征图与待训练人脸图像的第二特征图之间的相似度;基于上述步骤S302,得到第二损失函数信息,第二损失函数信息用于指示每对第一特征图之间的相似度。基于第一损失函数信息和第二损失函数信息,更新待训练的学生模型。进而得到用于识别人脸图像的图像处理模型。
另一示例中,一个示例中,在图像分割的场景下,获取到待训练图像集合,待训练图像集合中包括多个待训练图像,待训练图像具有标签信息,标签信息用于指示待训练图像的分割结果。针对每一待训练图像,将待训练图像输入到待训练的学生模型中进行处理,得到与该待训练图像对应的第一特征图。针对每一待训练图像,将待训练图像输入到老师模型中进行处理,得到与该待训练图像对应的第二特征图。基于上述步骤S302,得到第一损失函数信息,第一损失函数信息用于指示待训练图像的第一特征图与待训练图像的第二特征图之间的相似度;基于上述步骤S302,得到第二损失函数信息,第二损失函数信息用于指示每对第一特征图之间的相似度。基于第一损失函数信息和第二损失函数信息,更新待训练的学生模型。进而得到用于分割图像的图像处理模型。
本实施例中,基于待训练的学生模型对待训练图像进行处理,得到第一特征图,基于老师模型对待训练图像进行处理,得到第二特征图;根据多个第一特征图和对应的多个第二特征图,确定第一损失函数信息;第一损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度;进而基于老师模型对待训练的学生模型进行训练,使得待训练的学生模型学习老师模型的学习能力和模型能力。根据多个第一特征图,确定第二损失函数信息;第二损失函数信息用于指示多个第一特征图之间的相似度;进而使得待训练的学生模型学习待训练图像的图像能力和标签能力。根据第一损失函数信息和第二损失函数信息,更新待训练的学生模型,得到图像处理模型。图像处理模型用于处理待处理图像。基于多个第一特征图和对应的多个第二特征图,确定第一损失函数信息;进而基于老师模型对待训练的学生模型进行训练,使得待训练的学生模型学习老师模型的学习能力和模型能力,使得待训练的学生模型的表达模式接近于老师模型的特征表达模式。基于多个第一特征图,确定第二损失函数信息;进而使得待训练的学生模型学习待训练图像的图像能力和标签能力。从而所得到的图像处理模型既学习了老师模型,并且学习了图像的标签信息;提升了所得到的图像处理模型的精度,并且提高了处理待识别图像的准确性。并且,可以基于多个老师模型对待训练的学生模型进行训练,使得所得的图像处理模型可以学习多个场景下的老师模型的能力;所得到的图像处理模型可以处理多个场景下的图像。
为使读者更深刻地理解本公开的实现原理,现结合以下图4-图13对图3所示的实施例进行进一步细化。
图4是根据本公开第二实施例的示意图,如图4所示,本实施例提供的应用于图像处理的模型训练方法,包括:
S401、获取待训练图像集合,待训练图像集合中包括多个待训练图像。
示例性地,本实施例以执行主体可以是芯片、或者处理器、或者终端设备、或者服务器、或者电子设备、或者应用于图像处理的模型训练装置或设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为处理器进行说明。
设置了一个待训练的学生模型,对该待训练的学生模型进行训练,以得到图像处理模型。
一个示例中,可以针对待训练的学生模型,重复执行步骤S401-S408,直至达到预设条件。其中,预设条件为重复执行的次数大于预设次数阈值。或者,预设条件为接收到停止指令,停止指令用于指示停止重复执行步骤S401-S408。或者,预设条件为确定图像处理模型的图像处理精度大于预设精度阈值。
先需要获取待训练图像集合,待训练图像集合中包括多个待训练图像;待训练图像具有标签信息,标签信息表征待训练图像的处理结果信息。
一个示例中,在人脸识别的场景中,待训练图像为待训练人脸图像;待训练人脸图像具有标签信息,标签信息表征了待训练人脸图像的用户。
另一个示例中,在图像分割的场景中,待训练图像具有标签信息,标签信息指示出了待训练图像的分割结果。
S402、基于待训练的学生模型对待训练图像进行处理,得到第一特征图,基于老师模型对待训练图像进行处理,得到第二特征图。
示例性地,将每一待训练图像输入到待训练的学生模型中,基于待训练的学生模型对每一待训练图像进行特征提取处理,得到每一待训练图像的第一特征图。
同时,提供了至少一个老师模型;需要基于至少一个老师模型对待训练的学生模型进行训练。针对每一老师模型,将待训练图像输入至老师模型中进行特征提取处理;在基于每一老师模型对待训练图像进行处理之后,得到第二特征图。
一个示例中,若提供了一个老师模型,基于该老师模型对待训练的学生模型进行训练,则将待训练图像输入至该老师模型中进行特征提取处理,得到第二特征图。可知,针对同一待训练图像,得到与该待训练图像对应的一个第一特征图、以及与该待训练图像对应的一个第二特征图。
另一个示例中,若提供了多个老师模型,基于多个老师模型对待训练的学生模型进行训练;针对每一预设老师模型,将待训练图像输入至该老师模型中进行特征提取处理,得到与该老师模型对应的第二特征图。可知,针对同一待训练图像,得到与该待训练图像对应的一个第一特征图、以及与该待训练图像对应的多个第二特征图。
又一个示例中,若提供了多个老师模型,基于多个老师模型对待训练的学生模型进行训练;针对每一预设老师模型,将待训练图像输入至该老师模型中进行特征提取处理,得到与该老师模型对应的中间特征图。然后将与各老师模型对应的中间特征图进行特征融合处理,得到第二特征图。此时,第二特征图是各老师模型所输出的中间特征图的融合后的结果。
S403、根据多个第一特征图和对应的多个第二特征图,确定第一正样本特征矩阵和第一负样本特征矩阵。
其中,第一正样本特征矩阵包括多个第一相似度信息,第一相似度信息表征归属于同一待训练图像的第一特征图与第二特征图之间的相似度;第一负样本特征矩阵包括多个第二相似度信息,第二相似度信息表征归属于不同待训练图像的第一特征图与第二特征图之间的相似度。
一个示例中,每个老师模型具有对应的第一正样本特征矩阵和第一负样本特征矩阵。
另一个示例中,第二特征图为基于老师模型分别对多个待训练图像进行处理后得到的融合特征图。
示例性地,第一特征图是待训练的学生模型对待训练图像进行处理所得到的;第二特征图是老师模型对待训练图像进行处理所得到的。
基于第一特征图和第二特征图对待训练的学生模型进行模型训练。需要基于多个第一特征图和对应的多个第二特征图,确定出第一损失函数信息。
首先,针对每一待训练图像,得到了每一待训练图像的第一特征图和第二特征图。将待训练图像集合中的待训练图像的第一特征图与待训练图像的第二特征图之间进行相似度计算,即,将每对待训练图像中的一个待训练图像的第一特征图与每对待训练图像中的另一个待训练图像的第二特征图进行相似度计算,其中,每对待训练图像可以为同一待训练图像、也可以为不同待训练图像。从而得到第一正样本特征矩阵和第一负样本特征矩阵;其中,第一正样本特征矩阵包括多个第一相似度信息,第一相似度信息表征归属于同一待训练图像的第一特征图与第二特征图之间的相似度;第一负样本特征矩阵包括多个第二相似度信息,第二相似度信息表征归属于不同待训练图像的第一特征图与第二特征图之间的相似度。
例如,针对待训练图像集合,得到由各待训练图像的第一特征图构成的第一特征图矩阵,得到由各待训练图像的第二特征图构成的第二特征图矩阵。然后基于第一特征图矩阵和第二特征图矩阵,进行损失函数的计算处理,得到上述第一正样本特征矩阵和上述第一负样本特征矩阵。
进而由于第一正样本特征矩阵中包括的第一相似度信息为归属于同一待训练图像的第一特征图与第二特征图之间的相似度,第一负样本特征矩阵中包括的第二相似度信息为归属于不同待训练图像的第一特征图与第二特征图之间的相似度。基于第一正样本特征矩阵和第一负样本特征矩阵,确定第一损失函数信息;第一损失函数信息用于指示第一特征图与第二特征图之间的相似度。
一个示例中,提供了一个老师模型,则针对同一待训练图像,得到与该待训练图像对应的一个第一特征图、以及与该待训练图像对应的一个第二特征图。待训练图像集合中包括N个待训练图像,其中,N为大于1的正整数;进而得到N个第一特征图、以及N个第二特征图。N个第一特征图与N个第二特征图相互进行相似度计算,得到一个维度为N*N的第一正样本特征矩阵、以及一个维度为N*N的第一负样本特征矩阵。基于维度为N*N的第一正样本特征矩阵、以及维度为N*N的第一负样本特征矩阵,得到一个第一损失函数信息。
另一个示例中,提供了M个老师模型,M为大于1的正整数,针对同一待训练图像,得到与该待训练图像对应的一个第一特征图、以及与该待训练图像对应的多个第二特征图。待训练图像集合中包括N个待训练图像,其中,N为大于1的正整数;进而得到N个第一特征图,得到与每一老师模型对应的N个第二特征图。针对每一老师模型,将N个第一特征图、以及该老师模型对应的N个第二特征图进行相似度计算,得到一个维度为N*N的第一正样本特征矩阵、以及一个维度为N*N的第一负样本特征矩阵。可知,针对每一个老师模型,可以输出与每一老师模型对应的第一正样本特征矩阵、以及第一负样本特征矩阵。针对每一老师模型,基于与每一老师模型对应的第一正样本特征矩阵、以及第一负样本特征矩阵,得到与每一老师模型对应的第一损失函数信息。可以得到M个第一损失函数信息。
又一个示例中,提供了M个老师模型,M为大于1的正整数;针对每一待训练图像,得到了与每一老师模型对应的中间特征图;将与各老师模型对应的中间特征图进行特征融合处理,得到待训练图像的第二特征图。此时,第二特征图是各老师模型所输出的中间特征图的融合后的结果;针对每一个待训练图像,基于M个老师模型对待训练图像进行处理之后,得到该待训练图像的第二特征图。待训练图像集合中包括N个待训练图像,其中,N为大于1的正整数;进而得到N个第一特征图,以及N个第二特征图。N个第一特征图与N个第二特征图相互进行相似度计算,得到一个维度为N*N的第一正样本特征矩阵、以及一个维度为N*N的第一负样本特征矩阵。此时,虽然提供了一个待训练的学生模型、以及M个老师模型,但是依然是输出一个维度为N*N的第一正样本特征矩阵、以及一个维度为N*N的第一负样本特征矩阵;基于维度为N*N的第一正样本特征矩阵、以及维度为N*N的第一负样本特征矩阵,得到一个第一损失函数信息。
上述过程,可以基于待训练的学生模型和老师模型,输出第一正样本特征矩阵和第一负样本特征矩阵;由于第一正样本特征矩阵中包括的第一相似度信息为归属于同一待训练图像的第一特征图与第二特征图之间的相似度,第一负样本特征矩阵中包括的第二相似度信息为归属于不同待训练图像的第一特征图与第二特征图之间的相似度;从而可以基于第一正样本特征矩阵和第一负样本特征矩阵,准确的得到第一损失函数信息。
并且,可以基于多个老师模型对待训练的学生模型进行训练,输出与老师模型对应的第一正样本特征矩阵、以及第一负样本特征矩阵,或者输出基于待训练的学生模型与各老师模型融合处理后的第一正样本特征矩阵、以及第一负样本特征矩阵;使得所得的图像处理模型可以学习多个场景下的老师模型的能力。
一个示例中,步骤S403包括以下步骤:
步骤S403的第一步骤、根据多个第一特征图和对应的多个第二特征图,确定第一相似度矩阵;其中,第一相似度矩阵中包括多个第一相似度参数,第一相似度参数表征第一特征图与第二特征图两者之间的相似度。
步骤S403的第二步骤、针对第一相似度矩阵中的第一相似度参数,若确定该第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则确定该第一相似度参数的取值不变,得到与该第一相似度参数对应的第一相似度信息;若确定该第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则确定该第一相似度参数的取值为预设值,得到与该第一相似度参数对应的第一相似度信息,以得到第一正样本特征矩阵。
步骤S403的第三步骤、根据多个第一特征图和对应的多个第二特征图,确定第一相似度矩阵;其中,第一相似度矩阵中包括多个第一相似度参数,第一相似度参数表征第一特征图与第二特征图之间的相似度。
步骤S403的第四步骤、针对第一相似度矩阵中的第一相似度参数,若确定该第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则确定该第一相似度参数的取值为预设值,得到与该第一相似度参数对应的第二相似度信息;若确定该第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则确定该第一相似度参数的取值不变,得到与该第一相似度参数对应的第二相似度信息,以得到第一负样本特征矩阵。
示例性地,在确定第一正样本特征矩阵和第一负样本特征矩阵的时候,针对每一待训练图像,得到了每一待训练图像的第一特征图和第二特征图。
将待训练图像集合中的待训练图像的第一特征图与待训练图像的第二特征图之间进行相似度计算,即,将每对待训练图像中的一个待训练图像的第一特征图与每对待训练图像中的另一个待训练图像的第二特征图进行相似度计算,其中,每对待训练图像可以为同一待训练图像、也可以为不同待训练图像。从而针对每对待训练图像,得到一个第一相似度参数cos1=(S*T)/(norm(S)*norm(T)),其中,S为每对待训练图像中的一个待训练图像的第一特征图,T为每对待训练图像中的另一个待训练图像的第二特征图T;norm()是一个函数,该函数的功能是一种可以在向量空间里对向量赋予长度和大小;每对待训练图像可以为同一待训练图像、也可以为不同待训练图像;第一相似度参数表征第一特征图与第二特征图两者之间的相似度。
然后,针对第一相似度矩阵中的每一第一相似度参数,判断该第一相似度参数对应的第一特征图与第二特征图是否归属于同一待训练图像。若确定第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则不对该第一相似度参数进行调整,进而确定该第一相似度参数的取值不变,将与该第一相似度参数,作为与该第一相似度参数对应的第一相似度信息。若确定第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则对该第一相似度参数进行调整,可以将该第一相似度参数的取值调整为预设值,进而将预设值,作为与该第一相似度参数对应的第一相似度信息,这些为预设值(例如取零)的第一相似度信息可以不作为表达相似度的信息。其中,预设值可以是零。通过上述调整过程,对第一相似度矩阵中的第一相似度参数进行调整,得到与每一第一相似度参数对应的第一相似度信息,将各第一相似度信息构成第一正样本特征矩阵。
通过上述过程,将每对待训练图像的第一特征图与第二特征图进行相似度计算,得到第一相似度参数;其中,每对待训练图像中的待训练图像可以相同或者不同。所有的第一相似度参数,构成一个第一相似度矩阵;针对第一相似度参数,若第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则将该第一相似度参数设置为零。就可以得到第一正样本特征矩阵。第一正样本特征矩阵中未被调整的第一相似度参数所对应的第一特征图与第二特征图归属于同一待训练图像。进而所得到的第一正样本特征矩阵可以准确的表达出归属于同一待训练图像的第一特征图与第二特征图之间的相似度。
在得到第一相似度矩阵之后,针对第一相似度矩阵中的每一第一相似度参数,判断该第一相似度参数对应的第一特征图与第二特征图是否归属于同一待训练图像。若确定第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则不对该第一相似度参数进行调整,进而确定该第一相似度参数的取值不变,将与该第一相似度参数,作为与该第一相似度参数对应的第二相似度信息。若确定第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则对该第一相似度参数进行调整,可以将该第一相似度参数的取值调整为预设值,进而将预设值,作为与该第一相似度参数对应的第二相似度信息,这些为预设值(例如取零)的第二相似度信息可以不作为表达相似度的信息。其中,预设值可以是零。通过上述调整过程,对第一相似度矩阵中的第一相似度参数进行调整,得到与每一第一相似度参数对应的第二相似度信息,将各第二相似度信息构成第一负样本特征矩阵。
通过上述过程,将每对待训练图像的第一特征图与第二特征图进行相似度计算,得到第一相似度参数;其中,每对待训练图像中的待训练图像可以相同或者不同。所有的第一相似度参数,构成一个第一相似度矩阵;针对第一相似度参数,若第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则将该第一相似度参数设置为零。就可以得到第一负样本特征矩阵。第一负样本特征矩阵中未被调整的第一相似度参数所对应的第一特征图与第二特征图不归属于同一待训练图像。进而所得到的第一负样本特征矩阵可以准确的表达出不归属于同一待训练图像的第一特征图与第二特征图之间的相似度。
一个示例中,提供了一个老师模型,则针对同一待训练图像,得到与该待训练图像对应的一个第一特征图、以及与该待训练图像对应的一个第二特征图。待训练图像集合中包括N个待训练图像,其中,N为大于1的正整数;进而得到N个第一特征图、以及N个第二特征图。N个第一特征图与N个第二特征图相互进行相似度计算,得到维度为N*N的第一相似度矩阵;第一相似度矩阵中包括N*N个第一相似度参数cos1=(S*T)/(norm(S)*norm(T)),其中,S为每对待训练图像中的一个待训练图像的第一特征图,T为每对待训练图像中的另一个待训练图像的第二特征图T;norm()是一个函数,该函数的功能是一种可以在向量空间里对向量赋予长度和大小;每对待训练图像可以为同一待训练图像、也可以为不同待训练图像。然后,针对第一相似度矩阵中的第一相似度参数,若第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则确定该第一相似度参数的取值不变;若第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则确定该第一相似度参数的取值调整为零;就可以得到维度为N*N的第一正样本特征矩阵。针对第一相似度矩阵中的第一相似度参数,若第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则确定该第一相似度参数的取值不变;若第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则确定该第一相似度参数的取值调整为零;就可以得到维度为N*N的第一负样本特征矩阵。可知,此时得到的了一个维度为N*N的第一正样本特征矩阵、以及一个维度为N*N的第一负样本特征矩阵。
另一个示例中,提供了M个老师模型,M为大于1的正整数,针对同一待训练图像,得到与该待训练图像对应的一个第一特征图、以及与该待训练图像对应的多个第二特征图。待训练图像集合中包括N个待训练图像,其中,N为大于1的正整数;进而得到N个第一特征图,得到与每一老师模型对应的N个第二特征图。针对每一老师模型,将N个第一特征图、以及该老师模型对应的N个第二特征图进行相似度计算,得到与该老师模型对应的维度为N*N的第一相似度矩阵;第一相似度矩阵中包括N*N个第一相似度参数cos1=(S*T)/(norm(S)*norm(T)),其中,S为每对待训练图像中的一个待训练图像的第一特征图,T为每对待训练图像中的另一个待训练图像的第二特征图T;每对待训练图像可以为同一待训练图像、也可以为不同待训练图像。针对与老师模型对应的维度为N*N的第一相似度矩阵,若第一相似度矩阵中的第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则确定该第一相似度参数的取值不变;若第一相似度矩阵中的第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则确定该第一相似度参数的取值调整为零;就可以得到维度为N*N的第一正样本特征矩阵。针对与老师模型对应的维度为N*N的第一相似度矩阵,若第一相似度矩阵中的第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则确定该第一相似度参数的取值不变;若第一相似度矩阵中的第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则确定该第一相似度参数的取值调整为零;就可以得到维度为N*N的第一负本特征矩阵。可知,针对每一老师模型,可以得到与每一老师模型对应的第一正样本特征矩阵、以及第一负样本特征矩阵。
又一个示例中,提供了M个老师模型,M为大于1的正整数;针对每一待训练图像,得到了与每一老师模型对应的中间特征图;将与各老师模型对应的中间特征图进行特征融合处理,得到待训练图像的第二特征图。此时,第二特征图是各老师模型所输出的中间特征图的融合后的结果;针对每一个待训练图像,基于M个老师模型对待训练图像进行处理之后,得到该待训练图像的第二特征图。待训练图像集合中包括N个待训练图像,其中,N为大于1的正整数;进而得到N个第一特征图,以及N个第二特征图。N个第一特征图与N个第二特征图相互进行相似度计算,得到一个维度为N*N的第一相似度矩阵;第一相似度矩阵中包括N*N个第一相似度参数cos1=(S*T)/(norm(S)*norm(T)),其中,S为每对待训练图像中的一个待训练图像的第一特征图,T为每对待训练图像中的另一个待训练图像的第二特征图T;每对待训练图像可以为同一待训练图像、也可以为不同待训练图像。然后,针对第一相似度矩阵中的第一相似度参数,若第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则确定该第一相似度参数的取值不变;若第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则确定该第一相似度参数的取值调整为零;就可以得到维度为N*N的第一正样本特征矩阵。针对第一相似度矩阵中的第一相似度参数,若第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则确定该第一相似度参数的取值不变;若第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则确定该第一相似度参数的取值调整为零;就可以得到维度为N*N的第一负样本特征矩阵。可知,此时得到了一个维度为N*N的第一正样本特征矩阵、以及一个维度为N*N的第一负样本特征矩阵。第一正样本特征矩阵融合的一个待训练的学生模型的输出的第一特征图、以及每一老师模型输出的每一第二特征图。第一负样本特征矩阵融合的一个待训练的学生模型的输出的第一特征图、以及每一老师模型输出的每一第二特征图。
S404、根据第一正样本特征矩阵和第一负样本特征矩阵,确定第一损失函数信息。
一个示例中,第一损失函数信息中包括第一正样本损失值和第一负样本损失值;第一正样本损失值用于指示归属于同一待训练图像的第一特征图与第二特征图之间的相似度;第一负样本损失值用于指示归属于不同待训练图像的第一特征图与第二特征图之间的相似度。步骤S404包括:根据第一正样本特征矩阵与预设特征值,确定第一正样本损失值;并根据第一负样本特征矩阵,确定第一负样本损失值。
示例性地,由于第一正样本特征矩阵中包括的第一相似度信息为归属于同一待训练图像的第一特征图与第二特征图之间的相似度,第一负样本特征矩阵中包括的第二相似度信息为归属于不同待训练图像的第一特征图与第二特征图之间的相似度。基于第一正样本特征矩阵和第一负样本特征矩阵,确定第一损失函数信息;第一损失函数信息用于指示第一特征图与第二特征图之间的相似度。
一个示例中,可以将第一正样本特征矩阵p_cos与一个预设特征值进行计算,得到第一正样本损失值lossA1;其中,预设特征值可以是维度与第一正样本特征矩阵p_cos的维度相同的一个矩阵。第一正样本损失值用于指示归属于同一待训练图像的第一特征图与第二特征图之间的相似度。
并且,基于第一负样本特征矩阵n_cos,确定出第一负样本损失值lossB1。第一负样本损失值用于指示归属于不同待训练图像的第一特征图与第二特征图之间的相似度。
其中,第一正样本损失值lossA1可以是维度与第一正样本特征矩阵p_cos的维度相同的一个矩阵,第一负样本损失值lossB1可以是维度与第一负样本特征矩阵n_cos的维度相同的一个矩阵;其中,第一正样本特征矩阵p_cos的维度与第一负样本特征矩阵n_cos的维度相同。
或者,第一正样本损失值lossA1是一个函数数值,第一负样本损失值lossB1是一个函数数值。
由上述第一正样本损失值和第一负样本损失值,构成第一损失函数信息中。
基于待训练图像集合中待训练图像的第一特征图和第二特征图,得到第一正样本特征矩阵,第一正样本特征矩阵中的各参数可以直接表达出归属于同一待训练图像的第一特征图与第二特征图之间的相似度;进而,基于第一正样本特征矩阵,计算一个第一正样本损失值lossA1。基于待训练图像集合中待训练图像的第一特征图和第二特征图,得到第一负样本特征矩阵,第一负样本特征矩阵可以直接表达出归属于不同待训练图像的第一特征图与第二特征图之间的相似度;进而,基于第一负样本特征矩阵,计算一个第一负样本损失值lossB1。
从而上述第一正样本损失值lossA1和第一负样本损失值lossB1,可以直接指示出第一特征图与第二特征图之间的相似度的情况,基于第一正样本损失值lossA1和第一负样本损失值lossB1可以使得待训练的学生模型,可以学习老师模型的学习能力。
由于本实施例可以提供至少一个老师模型,从而待训练的学生模型各老师模型的学习能力。在计算第一正样本损失值和第一负样本损失值的时候,可以基于老师模型的个数,采用以下方式进行实现。
第一种方式,若每个老师模型具有对应的第一正样本特征矩阵和第一负样本特征矩阵,则步骤S404包括以下过程:根据与每个老师模型对应的第一正样本特征矩阵,确定正样本特征总值,其中,正样本特征总值为各第一正样本特征矩阵之和;并确定正样本特征总值与预设特征值之间的差值,为第一正样本损失值;根据与每个老师模型对应的第一负样本特征矩阵,确定负样本特征总值,其中,负样本特征总值为各第一负样本特征矩阵之和;并确定负样本特征总值,为第一负样本损失值。
示例性地,提供了一个老师模型,从而通过上述步骤S403,可以得到一个第一正样本特征矩阵和一个第一负样本特征矩阵。就直接将第一正样本特征矩阵p_cos与一个预设特征值进行计算,得到第一正样本损失值lossA1;其中,预设特征值可以是维度与第一正样本特征矩阵p_cos的维度相同的一个矩阵。第一正样本损失值用于指示归属于同一待训练图像的第一特征图与第二特征图之间的相似度。
并且,确定第一负样本特征矩阵n_cos,为第一负样本损失值lossB1。第一负样本损失值用于指示归属于不同待训练图像的第一特征图与第二特征图之间的相似度。
举例来说,待训练图像集合中包括N个待训练图像,其中,N为大于1的正整数。得到一个维度为N*N的第一正样本特征矩阵p_cos、以及一个维度为N*N的第一负样本特征矩阵n_cos。确定第一正样本损失值lossA1=1-p_cos;确定第一负样本损失值lossB1=n_cos。
在基于一个老师模型对待训练的学生模型进行训练的时候,去得到一个第一正样本损失值和一个第一负样本损失值,去基于更新待训练的待训练的学生模型,可以使得待训练的学生模型学习该老师模型的模型能力。
或者,提供了M个老师模型,M为大于1的正整数。从而通过上述步骤S403,针对每一老师模型,分别得到对应的一个第一正样本特征矩阵、以及一个第一负样本特征矩阵。就可以将各第一正样本特征矩阵p_cos进行相加计算,得到正样本特征总值np_cos,正样本特征总值np_cos的维度与每一第一正样本特征矩阵p_cos的维度相同;再将正样本特征总值np_cos与一个预设特征值进行计算,得到第一正样本损失值lossA1;其中,预设特征值可以是维度与第一正样本特征矩阵p_cos的维度相同的一个矩阵。第一正样本损失值用于指示归属于同一待训练图像的第一特征图与第二特征图之间的相似度。
并且,将各第一负样本特征矩阵n_cos相加计算,得到负样本特征总值nn_cos,负样本特征总值nn_cos的维度与每一第一负样本特征矩阵n_cos的维度相同;再将负样本特征总值nn_cos,作为第一负样本损失值lossB1。第一负样本损失值用于指示归属于不同待训练图像的第一特征图与第二特征图之间的相似度。
举例来说,待训练图像集合中包括N个待训练图像,其中,N为大于1的正整数。针对每一老师模型,得到一个维度为N*N的第一正样本特征矩阵p_cos、以及一个维度为N*N的第一负样本特征矩阵n_cos。
将各第一正样本特征矩阵p_cos进行相加计算,得到正样本特征总值np_cos;然后确定第一正样本损失值lossA1=1-np_cos。将各第一负样本特征矩阵n_cos相加计算,得到负样本特征总值nn_cos;然后确定第一负样本损失值lossB1=n n_cos。
在基于多个老师模型对待训练的学生模型进行训练的时候,去得到多个第一正样本损失值和多个第一负样本损失值,去基于更新待训练的待训练的学生模型,可以使得待训练的学生模型学习多个老师模型的模型能力。
第二种方式,若第二特征图为基于老师模型分别对多个待训练图像进行处理后得到的融合特征图,则步骤S404包括以下过程:确定第一正样本特征矩阵与预设特征值之间的差值,为第一正样本损失值,并确定第一负样本特征矩阵,为第一负样本损失值。
示例性地,提供了M个老师模型,M为大于1的正整数。得到了一个维度为N*N的第一正样本特征矩阵、以及一个维度为N*N的第一负样本特征矩阵。第一正样本特征矩阵融合了一个待训练的学生模型的输出的第一特征图、以及每个老师模型输出的每一第二特征图。第一负样本特征矩阵融合了一个待训练的学生模型的输出的第一特征图、以及每个老师模型输出的每一第二特征图。
然后,就直接将第一正样本特征矩阵p_cos与一个预设特征值进行计算,得到第一正样本损失值lossA1;其中,预设特征值可以是维度与第一正样本特征矩阵p_cos的维度相同的一个矩阵。第一正样本损失值用于指示归属于同一待训练图像的第一特征图与第二特征图之间的相似度。
并且,确定第一负样本特征矩阵n_cos,为第一负样本损失值lossB1。第一负样本损失值用于指示归属于不同待训练图像的第一特征图与第二特征图之间的相似度。
举例来说,待训练图像集合中包括N个待训练图像,其中,N为大于1的正整数。得到一个维度为N*N的第一正样本特征矩阵p_cos、以及一个维度为N*N的第一负样本特征矩阵n_cos。第一正样本特征矩阵融合了一个待训练的学生模型的输出的第一特征图、以及每个老师模型输出的每一第二特征图。第一负样本特征矩阵融合了一个待训练的学生模型的输出的第一特征图、以及每个老师模型输出的每一第二特征图。然后,确定第一正样本损失值lossA1=1-p_cos;确定第一负样本损失值lossB1=n_cos。
在基于多个老师模型对待训练的学生模型进行训练的时候,去得到第一正样本损失值和第一负样本损失值,其中,第一正样本损失值是基于多个老师模型和一个待训练的学生模型所确定的,第一负样本损失值是基于多个老师模型和一个待训练的学生模型所确定的;基于第一正样本损失值和第一负样本损失值,去基于更新待训练的待训练的学生模型,可以使得待训练的学生模型学习多个老师模型的模型能力。
S405、根据多个第一特征图,确定第二正样本特征矩阵和第二负样本特征矩阵。
其中,第二正样本特征矩阵包括多个第三相似度信息,第三相似度信息表征归属于同一待训练图像的第一特征图与第一特征图之间的相似度;第二负样本特征矩阵包括多个第四相似度信息,第四相似度信息表征归属于不同待训练图像的第一特征图与第一特征图之间的相似度。
示例性地,第一特征图是待训练的学生模型对待训练图像进行处理所得到的。基于第一特征图对待训练的学生模型进行模型训练。需要基于第一特征图,确定出第二损失函数信息。
首先,针对每一待训练图像,得到了每一待训练图像的第一特征图。将待训练图像集合中的待训练图像的第一特征图与待训练图像的第一特征图之间进行相似度计算,即,将每对待训练图像中的一个待训练图像的第一特征图与每对待训练图像中的另一个待训练图像的第一特征图进行相似度计算,其中,每对待训练图像可以为同一待训练图像、也可以为不同待训练图像。从而得到第二正样本特征矩阵和第二负样本特征矩阵;其中,第二正样本特征矩阵包括多个第三相似度信息,第三相似度信息表征归属于同一待训练图像的第一特征图与第一特征图之间的相似度;第二负样本特征矩阵包括多个第四相似度信息,第四相似度信息表征归属于不同待训练图像的第一特征图与第一特征图之间的相似度。
例如,针对待训练图像集合,得到由各待训练图像的第一特征图构成的第一特征图矩阵。然后基于第一特征图矩阵,进行损失函数的计算处理,得到上述第二正样本特征矩阵和上述第二负样本特征矩阵。
进而由于第二正样本特征矩阵中包括的第三相似度信息为归属于同一待训练图像的第一特征图与第一特征图之间的相似度,第二负样本特征矩阵中包括的第四相似度信息为归属于不同待训练图像的第一特征图与第一特征图之间的相似度。基于第二正样本特征矩阵和第二负样本特征矩阵,确定第二损失函数信息;第二损失函数信于指示多个第一特征图中每对第一特征图之间的相似度。
一个示例中,则针对待训练图像,得到与该待训练图像对应的一个第一特征图。待训练图像集合中包括N个待训练图像,其中,N为大于1的正整数;进而得到N个第一特征图。N个第一特征图与N个第一特征图相互进行相似度计算,得到一个维度为N*N的第二正样本特征矩阵、以及一个维度为N*N的第二负样本特征矩阵。基于维度为N*N的第二正样本特征矩阵、以及维度为N*N的第二负样本特征矩阵,得到一个第二损失函数信息。
上述过程,可以基于待训练的学生模型,输出第二正样本特征矩阵和第二负样本特征矩阵;由于第二正样本特征矩阵中包括的第三相似度信息为归属于同一待训练图像的第一特征图与第一特征图之间的相似度,第二负样本特征矩阵中包括的第四相似度信息为归属于不同待训练图像的第一特征图与第一特征图之间的相似度;从而可以基于第二正样本特征矩阵和第二负样本特征矩阵,准确的得到第二损失函数信息。
一个示例中,步骤S405包括以下步骤:
步骤S405的第一步骤、根据多个第一特征图,确定第二相似度矩阵;其中,第二相似度矩阵中包括多个第二相似度参数,第二相似度参数表征第一特征图与第一特征图之间的相似度。
步骤S405的第二步骤、针对第二相似度矩阵中的第二相似度参数,若确定该第二相似度参数对应的两个第一特征图归属于同一待训练图像,则确定该第二相似度参数的取值不变,得到与该第二相似度参数对应的第三相似度信息;若确定该第二相似度参数对应的两个第一特征图不归属于同一待训练图像,则确定该第二相似度参数的取值为预设值,得到与该第二相似度参数对应的第三相似度信息,以得到第二正样本特征矩阵。
步骤S405的第三步骤、根据多个第一特征图,确定第二相似度矩阵;其中,第二相似度矩阵中包括多个第二相似度参数,第二相似度参数表征第一特征图与第一特征图之间的相似度。
步骤S405的第四步骤、针对第二相似度矩阵中的第二相似度参数,若确定该第二相似度参数对应的两个第一特征图归属于同一待训练图像,则确定该第二相似度参数的取值为预设值,得到与该第二相似度参数对应的第四相似度信息;若确定该第二相似度参数对应的两个第一特征图不归属于同一待训练图像,则确定该第二相似度参数的取值不变,得到与该第二相似度参数对应的第四相似度信息,以得到第二负样本特征矩阵。
示例性地,在确定第二正样本特征矩阵和第二负样本特征矩阵的时候,针对每一待训练图像,得到了每一待训练图像的第一特征图。
将待训练图像集合中的待训练图像的第一特征图与待训练图像的第一特征图之间进行相似度计算,即,将每对待训练图像中的一个待训练图像的第一特征图与每对待训练图像中的另一个待训练图像的第一特征图进行相似度计算,其中,每对待训练图像可以为同一待训练图像、也可以为不同待训练图像。从而针对每对待训练图像,得到一个第二相似度参数cos2=(S1*S2)/(norm(S1)*norm(S2)),其中,S1为每对待训练图像中的一个待训练图像的第一特征图,S2为每对待训练图像中的另一个待训练图像的第一特征图;每对待训练图像可以为同一待训练图像、也可以为不同待训练图像;第二相似度参数表征第一特征图与第一特征图两者之间的相似度。
然后,针对第二相似度矩阵中的每一第二相似度参数,判断该第二相似度参数对应的第一特征图与第一特征图是否归属于同一待训练图像。若确定第二相似度参数对应的第一特征图与第一特征图归属于同一待训练图像,则不对该第二相似度参数进行调整,进而确定该第二相似度参数的取值不变,将与该第二相似度参数,作为与该第二相似度参数对应的第三相似度信息。若确定第二相似度参数对应的第一特征图与第一特征图不归属于同一待训练图像,则对该第二相似度参数进行调整,可以将该第二相似度参数的取值调整为预设值,进而将预设值,作为与该第二相似度参数对应的第三相似度信息,这些为预设值(例如取零)的第三相似度信息可以不作为表达相似度的信息。其中,预设值可以是零。通过上述调整过程,对第二相似度矩阵中的第二相似度参数进行调整,得到与每一第二相似度参数对应的第三相似度信息,将各第三相似度信息构成第二正样本特征矩阵。
通过上述过程,将每对待训练图像的第一特征图与第一特征图进行相似度计算,得到第二相似度参数;其中,每对待训练图像中的待训练图像可以相同或者不同。所有的第二相似度参数,构成一个第二相似度矩阵;针对第二相似度参数,若第二相似度参数对应的第一特征图与第一特征图不归属于同一待训练图像,则将该第二相似度参数设置为零。就可以得到第二正样本特征矩阵。第二正样本特征矩阵中未被调整的第二相似度参数所对应的第一特征图与第一特征图归属于同一待训练图像。进而所得到的第二正样本特征矩阵可以准确的表达出归属于同一待训练图像的第一特征图与第一特征图之间的相似度。
在得到第二相似度矩阵之后,针对第二相似度矩阵中的每一第二相似度参数,判断该第二相似度参数对应的第一特征图与第一特征图是否归属于同一待训练图像。若确定第二相似度参数对应的第一特征图与第一特征图不归属于同一待训练图像,则不对该第一相似度参数进行调整,进而确定该第二相似度参数的取值不变,将与该第二相似度参数,作为与该第二相似度参数对应的第四相似度信息。若确定第二相似度参数对应的第一特征图与第一特征图归属于同一待训练图像,则对该第二相似度参数进行调整,可以将该第二相似度参数的取值调整为预设值,进而将预设值,作为与该第二相似度参数对应的第四相似度信息,这些为预设值(例如取零)的第四相似度信息可以不作为表达相似度的信息。其中,预设值可以是零。通过上述调整过程,对第二相似度矩阵中的第二相似度参数进行调整,得到与每一第二相似度参数对应的第四相似度信息,将各第四相似度信息构成第二负样本特征矩阵。
通过上述过程,将每对待训练图像的第一特征图与第一特征图进行相似度计算,得到第二相似度参数;其中,每对待训练图像中的待训练图像可以相同或者不同。所有的第二相似度参数,构成一个第二相似度矩阵;针对第二相似度参数,若第二相似度参数对应的第一特征图与第一特征图归属于同一待训练图像,则将该第二相似度参数设置为零。就可以得到第二负样本特征矩阵。第二负样本特征矩阵中未被调整的第二相似度参数所对应的第一特征图与第一特征图不归属于同一待训练图像。进而所得到的第二负样本特征矩阵可以准确的表达出不归属于同一待训练图像的第一特征图与第一特征图之间的相似度。
举例来说,待训练图像集合中包括4个待训练图像,分别为待训练图像D1、待训练图像D2、待训练图像D3、待训练图像D4。将每一待训练图像输入到待训练的学生模型中,得到待训练图像D1的第一特征图S1、待训练图像D2的第一特征图S2、待训练图像D3的第一特征图S3、待训练图像D4的第一特征图S4。将每一待训练图像输入到老师模型中,得到待训练图像D1的第二特征图T1、待训练图像D2的第二特征图T2、待训练图像D3的第二特征图T3、待训练图像D4的第二特征图T4。
然后,计算各第一特征图与各第二特征图之间的相似度,得到16个第一相似度参数;16个第一相似度参数,分别为cos1(S1-T1)、cos1(S1-T2)、cos1(S1-T3)、cos1(S1-T4)、cos1(S2-T1)、cos1(S2-T2)、cos1(S2-T3)、cos1(S2-T4)、cos1(S3-T1)、cos1(S3-T2)、cos1(S3-T3)、cos1(S3-T4)、cos1(S4-T1)、cos1(S4-T2)、cos1(S4-T3)、cos1(S4-T4)。图5是本公开提供的第一相似度矩阵X1,如图5所示,得到第一相似度矩阵X1。
针对第一相似度矩阵X1中的每一第一相似度参数,若确定该第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则确定该第一相似度参数的取值不变,得到与该第一相似度参数对应的第一相似度信息;针对第一相似度矩阵X1中的每一第一相似度参数,若确定该第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则确定该第一相似度参数的取值为零,得到与该第一相似度参数对应的第一相似度信息;图6是本公开提供的第一正样本特征矩阵Y1,如图6所示,得到第一正样本特征矩阵Y1。
若确定第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则确定该第一相似度参数的取值为零,得到与该第一相似度参数对应的第二相似度信息;若确定该第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则确定该第一相似度参数的取值不变,得到与该第一相似度参数对应的第二相似度信息;图7是本公开提供的第一负样本特征矩阵Y2,如图7所示,得到第一负样本特征矩阵Y2。
计算各第一特征图与各第一特征图之间的相似度,得到16个第二相似度参数;16个第二相似度参数,分别为cos2(S1-S1)、cos2(S1-S2)、cos2(S1-S3)、cos2(S1-S4)、cos2(S2-S1)、cos2(S2-S2)、cos2(S2-S3)、cos2(S2-S4)、cos2(S3-S1)、cos2(S3-S2)、cos2(S3-S3)、cos2(S3-S4)、cos2(S4-S1)、cos2(S4-S2)、cos2(S4-S3)、cos2(S4-S4)。图8是本公开提供的第二相似度矩阵X2,如图8所示,得到第二相似度矩阵X2。
针对第二相似度矩阵X2中的每一第二相似度参数,若确定该第二相似度参数对应的两个第一特征图归属于同一待训练图像,则确定该第二相似度参数的取值不变,得到与该第二相似度参数对应的第三相似度信息;针对第二相似度矩阵X2中的每一第二相似度参数,若确定该第二相似度参数对应的两个第一特征图不归属于同一待训练图像,则确定该第二相似度参数的取值为零,得到与该第二相似度参数对应的第三相似度信息。图9是本公开提供的第二正样本特征矩阵Y3,如图9所示,得到第二正样本特征矩阵Y3。
针对第二相似度矩阵X2中的每一第二相似度参数,若确定该第二相似度参数对应的两个第一特征图归属于同一待训练图像,则确定该第二相似度参数的取值为零,得到与该第二相似度参数对应的第四相似度信息;针对第二相似度矩阵X2中的每一第二相似度参数,若确定该第二相似度参数对应的两个第一特征图不归属于同一待训练图像,则确定该第二相似度参数的取值不变,得到与该第二相似度参数对应的第四相似度信息。图10是本公开提供的第二负样本特征矩阵Y4,如图10所示,得到第二负样本特征矩阵Y4。
S406、根据第二正样本特征矩阵和第二负样本特征矩阵,确定第二损失函数信息。
一个示例中,第二损失函数信息中包括第二正样本损失值和第二负样本损失值;第二正样本损失值用于指示归属于同一待训练图像的第一特征图与第一特征图之间的相似度;第二负样本损失值用于指示归属于不同待训练图像的第一特征图与第一特征图之间的相似度。步骤S406包括:根据第二正样本特征矩阵与预设特征值,确定第二正样本损失值;并根据第二负样本特征矩阵,确定第二负样本损失值。
示例性地,由于第二正样本特征矩阵中包括的第三相似度信息为归属于同一待训练图像的第一特征图与第一特征图之间的相似度,第二负样本特征矩阵中包括的第四相似度信息为归属于不同待训练图像的第一特征图与第一特征图之间的相似度。基于第二正样本特征矩阵和第二负样本特征矩阵,确定第二损失函数信息;第二损失函数信息用于指示多个第一特征图中每对第一特征图之间的相似度。
一个示例中,可以将第二正样本特征矩阵p_cos_s与一个预设特征值进行计算,得到第二正样本损失值lossA2;其中,预设特征值可以是维度与第二正样本特征矩阵p_cos_s的维度相同的一个矩阵。第二正样本损失值用于指示归属于同一待训练图像的第一特征图与第一特征图之间的相似度。
并且,基于第二负样本特征矩阵n_cos_s,确定出第二负样本损失值lossB2。第二负样本损失值用于指示归属于不同待训练图像的第一特征图与第一特征图之间的相似度。
其中,第二正样本损失值lossA2可以是维度与第二正样本特征矩阵p_cos_s的维度相同的一个矩阵,第二负样本损失值lossB2可以是维度与第二负样本特征矩阵n_cos_s的维度相同的一个矩阵;其中,第二正样本特征矩阵p_cos_s的维度与第二负样本特征矩阵n_cos_s的维度相同。
或者,第二正样本损失值lossA2是一个函数数值,第二负样本损失值lossB2是一个函数数值。
由上述第二正样本损失值和第二负样本损失值,构成第二损失函数信息中。
基于待训练图像集合中待训练图像的第一特征图,得到第二正样本特征矩阵,第二正样本特征矩阵中的各参数可以直接表达出归属于同一待训练图像的第一特征图与第一特征图之间的相似度;进而,基于第二正样本特征矩阵,计算一个第二正样本损失值lossA2。基于待训练图像集合中待训练图像的第一特征图,得到第二负样本特征矩阵,第二负样本特征矩阵可以直接表达出归属于不同待训练图像的第一特征图与第一特征图之间的相似度;进而,基于第二负样本特征矩阵,计算一个第二负样本损失值lossB2。
从而上述第二正样本损失值lossA2和第二负样本损失值lossB2,可以直接指示出第一特征图与第一特征图之间的相似度的情况,基于第二正样本损失值lossA2和第二负样本损失值lossB2可以使得待训练的学生模型,可以学习待训练的图像的标签信息。
一个示例中,步骤S406包括以下过程:确定第二正样本特征矩阵与预设特征值之间的差值,为第二正样本损失值,并确定第二负样本特征矩阵,为第二负样本损失值。
示例性地,通过上述步骤S405,可以得到一个第二正样本特征矩阵和一个第二负样本特征矩阵。就直接将第二正样本特征矩阵p_cos_s与一个预设特征值进行计算,得到第二正样本损失值lossA2;其中,预设特征值可以是维度与第二正样本特征矩阵p_cos_s的维度相同的一个矩阵。第二正样本损失值用于指示归属于同一待训练图像的第一特征图与第一特征图之间的相似度。
并且,确定第二负样本特征矩阵n_cos_s,为第二负样本损失值lossB2。第二负样本损失值用于指示归属于不同待训练图像的第一特征图与第一特征图之间的相似度。进而得到准确的第二正样本损失值和第二负样本损失值。
S407、根据第一损失函数信息和第二损失函数信息,确定总损失函数信息;其中,总损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度、以及多个第一特征图之间的相似度。
一个示例中,步骤S407包括:根据第一损失函数信息、与第一损失函数信息对应的第一预设权重、第二损失函数信息、以及与第二损失函数信息对应的第二预设权重,确定总损失函数信息。其中,第一预设权重大于第二预设权重。
示例性地,在得到第一损失函数信息和第二损失函数信息之后,确定第一损失函数信息和第二损失函数信息之和,为总损失函数信息。由于第一损失函数信息指示出了第一特征图与第二特征图之间的相似度,第二损失函数信息指示出了多个第一特征图中每对第一特征图之间的相似度,进而总损失函数信息可以指示出第一特征图与第二特征图之间的相似度、以及每对第一特征图之间的相似度。进而依据一个总损失函数信息,去训练待训练的学生模型。
一个示例中,图11是本公开提供的待训练的学生模型的训练示意图一,如图11所示,提供了一个老师模型,去训练训练待训练的学生模型;针对每一待训练图像,基于待训练的学生模型输出第一特征图,基于老师模型输出第二特征图;基于各第一特征图和各第二特征图,可以得到一个第一损失函数信息,第一损失函数信息包括一个第一正样本损失值lossA1和一个第一负样本损失值lossB1;基于各第一特征图,可以得到和一个第二损失函数信息,第二损失函数信息中包括一个第二正样本损失值lossA2和一个第二负样本损失值lossB2;进而,得到总损失函数信息loss=lossA1+lossB1+lossA2+lossB2。
另一个示例中,图12是本公开提供的待训练的学生模型的训练示意图二,如图12所示,提供了M个老师模型,M为大于1的正整数,去训练训练待训练的学生模型;针对每一待训练图像,基于待训练的学生模型输出第一特征图;基于每一老师模型,输出与每一老师模型对应的第二特征图。针对每一老师模型,基于各第一特征图、以及该老师模型所输出的各第二特征图,得到与该老师模型对应的一个第一损失函数信息;针对每一第一损失函数信息,第一损失函数信息包括一个第一正样本损失值lossA1和一个第一负样本损失值lossB1。并且,基于各第一特征图,只需要得到一个第二损失函数信息;第二损失函数信息中包括一个第二正样本损失值lossA2和一个第二负样本损失值lossB2。得到总损失函数信息为loss为各lossA1、各lossB1、lossA2以及lossB2之和。例如,提供了2个老师模型,可以得到2个第一损失函数信息,其中的一个第一损失函数信息中包括一个第一正样本损失值lossA1和一个第一负样本损失值lossB1,另一个第一损失函数信息中包括一个第一正样本损失值lossA11和一个第一负样本损失值lossB11;还得到了一个第二损失函数信息,第二损失函数信息中包括一个第二正样本损失值lossA2和一个第二负样本损失值lossB2;总损失函数信息loss=lossA1+lossB1+lossA11+lossB11+lossA2+lossB2。
另一个示例中,图13是本公开提供的待训练的学生模型的训练示意图三,如图13所示,提供了M个老师模型,M为大于1的正整数,去训练训练待训练的学生模型;针对每一待训练图像,基于待训练的学生模型输出第一特征图;针对每一待训练图像,得到了与每个老师模型对应的中间特征图;将与各老师模型对应的中间特征图进行特征融合处理,得到待训练图像的第二特征图。此时,基于各第一特征图和各第二特征图,可以得到一个第一损失函数信息,第一损失函数信息包括一个第一正样本损失值lossA1和一个第一负样本损失值lossB1;基于各第一特征图,可以得到一个第二损失函数信息,第二损失函数信息中包括一个第二正样本损失值lossA2和一个第二负样本损失值lossB2;进而,得到总损失函数信息loss=lossA1+lossB1+lossA2+lossB2。
可知,基于第一特征图与第二特征图之间的相似度、以及每对第一特征图之间的相似度,去训练待训练的学生模型;由于第一特征图是待训练的学生模型所输出的,第二特征图是老师模型所输出的,从而可以使得待训练的学生模型学习到老师模型的模型能力,待训练的学生模型还可以学习到待训练图的标签信息。
一个示例中,为了加强待训练的学生模型学习老师模型的模型能力,需要为第一损失函数信息和第二损失函数信息分别设置权重;其中,第一损失函数信息对应的权重为第一预设权重w1,第二损失函数信息对应的权重为第二预设权重w2,并且,第一预设权重w1大于第二预设权重w2;从而,加强了待训练的学生模型去学习老师模型的模型能力。
一个示例中,第一损失函数信息中包括第一正样本损失值和第一负样本损失值;第一正样本损失值用于指示归属于同一待训练图像的第一特征图与第二特征图之间的相似度;第一负样本损失值用于指示归属于不同待训练图像的第一特征图与第二特征图之间的相似度。
第二损失函数信息中包括第二正样本损失值和第二负样本损失值;第二正样本损失值用于指示归属于同一待训练图像的第一特征图与第一特征图之间的相似度;第二负样本损失值用于指示归属于不同待训练图像的第一特征图与第一特征图之间的相似度。
第一预设权重包括与第一正样本损失值对应的第一子权重、以及与第一负样本损失值对应的第二子权重。第二预设权重包括与第二正样本损失值对应的第三子权重、以及与第二负样本损失值对应的第四子权重。
一个示例中,响应于确定第一正样本损失值大于第一负样本损失值,调节第一子权重小于第二子权重。响应于确定第一正样本损失值小于第一负样本损失值,调节第一子权重大于第二子权重。响应于确定第一正样本损失值等于第一负样本损失值,调节第一子权重等于第二子权重。
示例性地,通过上述各步骤,第一损失函数信息对应的权重为第一预设权重w1,第二损失函数信息对应的权重为第二预设权重w2,并且,第一预设权重w1大于第二预设权重w2。
第一损失函数信息中包括第一正样本损失值lossA1和第一负样本损失值lossB1;第二损失函数信息中包括第二正样本损失值lossA2和第二负样本损失值lossB2。从而为了便于计算,为第一正样本损失值lossA1设置与其对应的第一子权重e1,为第一负样本损失值lossB1设置与其对应的第二子权重e2;为第二正样本损失值lossA2设置与其对应的第三子权重e3、以及与第二负样本损失值lossB2设置与其对应的第四子权重e4。可知,第一预设权重w1为第一子权重e1和第二子权重e2之和;第二预设权重w2为第三子权重e3和第四子权重e4之和。
一个示例中,为了使得待训练的学生模型可以学习到各个待训练图像的不同标签信息,针对每一老师模型对应的第一损失函数信息,需要设置第一正样本损失值lossA1与第一子权重e1的乘积、第一负样本损失值lossB1与第二子权重e2的乘积,两者尽量接近、或者两者的差值在预设差值区间之内。
从而,针对每一老师模型对应的第一损失函数信息,在初始的时候,针对第一正样本损失值lossA1和第一负样本损失值lossB1,设置与第一正样本损失值lossA1对应的第一子权重e1、与第一负样本损失值lossB1对应的第二子权重e2两者相同。然后在训练待训练的学生模型的过程,根据当前次训练过程所得到的第一正样本损失值lossA1和第一负样本损失值lossB1,通过一个衰变函数,调节第一子权重e1和第二子权重e2;其中,衰变函数可以为线性函数、或者非线性函数。
可知,在训练待训练的学生模型的过程,为了保证第一正样本损失值lossA1与第一子权重e1的乘积、第一负样本损失值lossB1与第二子权重e2的乘积,两者尽量接近、或者两者的差值在预设差值区间之内;若确定第一正样本损失值lossA1大于第一负样本损失值lossB1,则调节第一子权重e1小于第二子权重e2;若确定第一正样本损失值lossA1小于第一负样本损失值lossB1,则调节第一子权重e1大于第二子权重e2;若确定第一正样本损失值lossA1等于第一负样本损失值lossB1,则调节第一子权重e1等于第二子权重e2。
另一个示例中,为了使得待训练的学生模型可以学习到类间信息(即,相同标签信息的待训练图像的信息)、以及类内信息(即,不同标签信息的待训练图像的信息);针对每一老师模型对应的第一损失函数信息,可以调节与第一正样本损失值lossA1对应的第一子权重e1、与第一负样本损失值lossB1对应的第二子权重e2。
若需要类内更接近,则调节与第一正样本损失值lossA1对应的第一子权重e1,大于与第一负样本损失值lossB1对应的第二子权重e2。若需要类间的更远(类间区分的更大的一些),则调节与第一正样本损失值lossA1对应的第一子权重e1,小于与第一负样本损失值lossB1对应的第二子权重e2。并且,在这个示例中,调节第一正样本损失值lossA1与第一子权重e1的乘积、第一负样本损失值lossB1与第二子权重e2的乘积,两者的差值在预设差值区间之内。从而使得待训练的学生模型可以学习到各个待训练图像的不同标签信息。
一个示例中,提供了一个老师模型,去训练训练待训练的学生模型;可以得到一个第一损失函数信息和一个第二损失函数信息,第一损失函数信息包括一个第一正样本损失值lossA1和一个第一负样本损失值lossB1,第一正样本损失值lossA1具有对应的第一子权重e1,第一负样本损失值lossB1具有对应的第二子权重e2;第二损失函数信息中包括一个第二正样本损失值lossA2和一个第二负样本损失值lossB2,第二正样本损失值lossA2具有对应的第三子权重e3,第二负样本损失值lossB2具有对应的第四子权重e4;进而,得到总损失函数信息loss=lossA1*e1+lossB1*e2+lossA2*e 3+lossB2*e4。
另一个示例中,提供了M个老师模型,M为大于1的正整数,去训练训练待训练的学生模型;针对每一老师模型,得到与该老师模型对应的一个第一损失函数信息。并且,只得到一个第二损失函数信息。针对每一第一损失函数信息,第一损失函数信息包括一个第一正样本损失值lossA1和一个第一负样本损失值lossB1,第一正样本损失值lossA1具有对应的第一子权重e1,第一负样本损失值lossB1具有对应的第二子权重e2。第二损失函数信息中包括一个第二正样本损失值lossA2和一个第二负样本损失值lossB2,第二正样本损失值lossA2具有对应的第三子权重e3,第二负样本损失值lossB2具有对应的第四子权重e4。得到总损失函数信息为loss为每一lossA1和对应的第一子权重e1两者的乘积、每一lossB1和对应的第二子权重e2两者的乘积、lossA2和对应的第三子权重e2两者的乘积、以及lossB2和对应的第四子权重e4两者的乘积之和。
举例来说,提供了2个老师模型,去训练待训练的学生模型。进而,可以得到2个第一损失函数信息,其中的一个第一损失函数信息中包括一个第一正样本损失值lossA1和一个第一负样本损失值lossB1,第一正样本损失值lossA1对应了第一子权重e1,第一负样本损失值lossB1对应了第二子权重e2;另一个第一损失函数信息中包括一个第一正样本损失值lossA11和一个第一负样本损失值lossB11,第一正样本损失值lossA11对应了第一子权重e11,第一负样本损失值lossB11对应了第二子权重e21.还得到了一个第二损失函数信息,第二损失函数信息中包括一个第二正样本损失值lossA2和一个第二负样本损失值lossB2,第二正样本损失值lossA2具有对应的第三子权重e3,第二负样本损失值lossB2具有对应的第四子权重e4。进而,可以得到总损失函数信息loss=lossA1*e1+lossB1*e2+lossA11*e11+lossB11*e21+lossA2*e3+lossB2*e4。
并且,针对2个老师模型中的一个老师模型,可以调节lossA1*e1与lossB1*e2两者尽量接近,进而使得待训练的学生模型可以学习到各个待训练图像的不同标签信息、学习该老师模型的模型能力。并且,针对2个老师模型中的另一个老师模型,可以调节lossA11*e11与lossB11*e21两者尽量接近,进而使得待训练的学生模型可以学习到各个待训练图像的不同标签信息、学习该老师模型的模型能力。
或者,针对2个老师模型中的一个老师模型,可以调节lossA1*e1与lossB1*e2两者的差值在预设差值区间之内。进而使得待训练的学生模型可以学习到类间信息(即,相同标签信息的待训练图像的信息)、以及类内信息(即,不同标签信息的待训练图像的信息)。并且,针对2个老师模型中的另一个老师模型,可以调节lossA11*e11与lossB11*e21两者的差值在预设差值区间之内,进而使得待训练的学生模型可以学习到类间信息(即,相同标签信息的待训练图像的信息)、以及类内信息(即,不同标签信息的待训练图像的信息)。
另一个示例中,提供了M个老师模型,M为大于1的正整数,去训练训练待训练的学生模型;针对每一待训练图像,得到了与每一老师模型对应的中间特征图;将与各老师模型对应的中间特征图进行特征融合处理,得到待训练图像的第二特征图。此时,得到一个第一损失函数信息和一个第二损失函数信息,第一损失函数信息包括一个第一正样本损失值lossA1和一个第一负样本损失值lossB1,第一正样本损失值lossA1具有对应的第一子权重e1,第一负样本损失值lossB1具有对应的第二子权重e2;第二损失函数信息中包括一个第二正样本损失值lossA2和一个第二负样本损失值lossB2,第二正样本损失值lossA2具有对应的第三子权重e3,第二负样本损失值lossB2具有对应的第四子权重e4;进而,得到总损失函数信息loss=lossA1*e1+lossB1*e2+lossA2*e 3+lossB2*e4。
S408、根据总损失函数信息,更新待训练的学生模型,以得到图像处理模型。
一个示例中,可以重复执行步骤S401-S408,直至达到预设条件。其中,预设条件为重复执行的次数大于预设次数阈值,或者,预设条件为接收到用于指示停止执行的指令。
示例性地,在步骤S407之后,基于所得到的总损失函数信息,更新待训练的学生模型。其中,基于总损失函数信息去更新待训练的学生模型的参数,这个具体过程,可以参见深度学习模型的参数更新方式,不再赘述。进而得到用于处理待处理图像的图像处理模型。
一个示例中,在更新了一次待训练的学生模型的参数之后,若确定没有达到预设条件,则再次获取新的待训练图像集合,重复执行步骤S401-S408的过程,再次更更新待训练的学生模型的参数。以此类推,直至确定达到预设条件。
其中,预设条件为重复执行的次数大于预设次数阈值。或者,预设条件为接收到停止指令,停止指令用于指示停止重复执行步骤S401-S408。或者,预设条件为确定图像处理模型的图像处理精度大于预设精度阈值。从而基于预设条件,结束迭代过程。
然后,达到预设条件时所得到的待训练的学生模型,为图像处理模型;该图像处理模型用于处理待处理图像。
基于本实施例的各步骤,对待训练人脸图像进行处理,其中,待训练人脸图像具有标签信息,标签信息表征待训练人脸图像的用户;得到用于进行人脸识别的图像处理模型。或者,基于本实施例的各步骤,对待训练图像进行处理,待训练图像具有标签信息,标签信息表征待训练图像的类别;得到用于进行图像分类的图像处理模型。或者,基于本实施例的各步骤,对待训练图像进行处理,待训练图像具有标签信息,标签信息用于指示待训练图像的分割结果;得到用于进行图像分割的图像处理模型。对此不做限定。
一个示例中,在人脸识别的场景下,获取到待训练人脸图像集合,待训练人脸图像集合中包括多个待训练人脸图像,待训练人脸图像具有标签信息,标签信息表征待训练人脸图像的用户。针对每一待训练人脸图像,将待训练人脸图像输入到待训练的学生模型中进行处理,得到与该待训练人脸图像对应的第一特征图。针对每一待训练人脸图像,将待训练人脸图像输入到老师模型中进行处理,得到与该待训练人脸图像对应的第二特征图。基于上述步骤S402-S406,得到第一损失函数信息,第一损失函数信息用于指示待训练人脸图像的第一特征图与待训练人脸图像的第二特征图之间的相似度;得到与每一老师模型对应的第二损失函数信息,第二损失函数信息用于指示每对第一特征图之间的相似度。
然后,基于第一损失函数信息和各第二损失函数信息,得到总损失函数信息。若得到一个第一损失函数信息和一个第二损失函数信息,第一损失函数信息中包括第一正样本损失值lossA1和第一负样本损失值lossB1,第二损失函数信息中包括第二正样本损失值lossA2和第二负样本损失值lossB2;从而,总损失函数信息为第一正样本损失值lossA1与第一子权重e1的乘积、第一负样本损失值lossB1与第二子权重e2的乘积、第二正样本损失值lossA2与第三子权重e3的乘积、以及第二负样本损失值lossB2与第四子权重e4的乘积,四者之和。进而学习到老师模型的模型能力和人脸识别能力。
若得到多个第一损失函数信息和一个第二损失函数信息,每一第一损失函数信息中包括第一正样本损失值lossA1和第一负样本损失值lossB1,第二损失函数信息中包括第二正样本损失值lossA2和第二负样本损失值lossB2;从而,总损失函数信息为每一第一正样本损失值lossA1和对应的第一子权重e1的乘积、每一第一负样本损失值lossB1和对应的第二子权重e2的乘积、第二正样本损失值lossA2与第三子权重e3的乘积、以及第二负样本损失值lossB2与第四子权重e4的乘积,这些信息之和。进而学习到多个老师模型的模型能力和人脸识别能力。
然后,基于总损失函数信息,更新待训练的学生模型。重复上述过程,得到用于识别人脸图像的图像处理模型。
另一示例中,在图像分割的场景下,获取到待训练图像集合,待训练图像集合中包括多个待训练图像,待训练图像具有标签信息,标签信息用于指示待训练图像的分割结果。针对每一待训练图像,将待训练图像输入到待训练的学生模型中进行处理,得到与该待训练图像对应的第一特征图。针对每一待训练图像,将待训练图像输入到老师模型中进行处理,得到与该待训练图像对应的第二特征图。基于上述步骤S402-S406,得到第一损失函数信息,第一损失函数信息用于指示待训练图像的第一特征图与待训练图像的第二特征图之间的相似度;得到与每一老师模型对应的第二损失函数信息,第二损失函数信息用于指示每对第一特征图之间的相似度。
然后,基于第一损失函数信息和各第二损失函数信息,得到总损失函数信息。若得到一个第一损失函数信息和一个第二损失函数信息,第一损失函数信息中包括第一正样本损失值lossA1和第一负样本损失值lossB1,第二损失函数信息中包括第二正样本损失值lossA2和第二负样本损失值lossB2;从而,总损失函数信息为第一正样本损失值lossA1与第一子权重e1的乘积、第一负样本损失值lossB1与第二子权重e2的乘积、第二正样本损失值lossA2与第三子权重e3的乘积、以及第二负样本损失值lossB2与第四子权重e4的乘积,四者之和。进而学习到老师模型的模型能力和图像分割能力。
若得到多个第一损失函数信息和一个第二损失函数信息,每一第一损失函数信息中包括第一正样本损失值lossA1和第一负样本损失值lossB1,第二损失函数信息中包括第二正样本损失值lossA2和第二负样本损失值lossB2;从而,总损失函数信息为每一第一正样本损失值lossA1和对应的第一子权重e1的乘积、每一第一负样本损失值lossB1和对应的第二子权重e2的乘积、第二正样本损失值lossA2与第三子权重e3的乘积、以及第二负样本损失值lossB2与第四子权重e4的乘积,这些信息之和。进而学习到多个老师模型的模型能力和图像分割能力。
然后,基于总损失函数信息,更新待训练的学生模型。重复上述过程,得到用于分割图像的图像处理模型。
本实施例中,在上述实施例的基础上,基于待训练的学生模型和老师模型,输出第一正样本特征矩阵和第一负样本特征矩阵;由于第一正样本特征矩阵中包括的第一相似度信息为归属于同一待训练图像的第一特征图与第二特征图之间的相似度,第一负样本特征矩阵中包括的第二相似度信息为归属于不同待训练图像的第一特征图与第二特征图之间的相似度;从而可以基于第一正样本特征矩阵和第一负样本特征矩阵,准确的得到第一损失函数信息;第一损失函数信息中包括第一正样本损失值和第一负样本损失值。基于待训练的学生模型,输出第二正样本特征矩阵和第二负样本特征矩阵;由于第二正样本特征矩阵中包括的第三相似度信息为归属于同一待训练图像的第一特征图与第一特征图之间的相似度,第二负样本特征矩阵中包括的第四相似度信息为归属于不同待训练图像的第一特征图与第一特征图之间的相似度;从而可以基于第二正样本特征矩阵和第二负样本特征矩阵,准确的得到第二损失函数信息;第二损失函数信息中包括第二正样本损失值和第二负样本损失值。基于上述第一正样本损失值、第一负样本损失值、第二正样本损失值和第二负样本损失值去更新待训练的学生模型;提高了图像处理模型的精度和图像处理准确性。并且,针对每个老师模型对应的第一损失函数信息,需要设置第一正样本损失值与第一子权重的乘积、第一负样本损失值与第二子权重的乘积,两者尽量接近、或者两者的差值在预设差值区间之内;使得待训练的学生模型可以学习到各个待训练图像的不同标签信息、学习该老师模型的模型能力;使得待训练的学生模型可以学习到类间信息(即,相同标签信息的待训练图像的信息)、以及类内信息(即,不同标签信息的待训练图像的信息)。并且,本实施例提供的方案,还可以使得待训练的学生模型可以学习多个场景下的老师模型的模型能力。
图14是根据本公开第三实施例的示意图,如图14所示,本实施例提供的图像处理方法,包括:
S1401、获取待处理图像。
示例性地,本实施例以执行主体可以是芯片、或者处理器、或者终端设备、或者服务器、或者电子设备、或者应用于图像处理的模型训练装置或设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为处理器进行说明。
可以从本地或者其他设备中获取待处理图像。
S1402、将待处理图像输入至图像处理模型中,得到待处理图像的图像处理结果。
其中,图像处理模型为基于第一损失函数信息和第二损失函数信息,更新待训练的学生模型所得到的;。
第一损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度,第一损失函数信息为基于多个第一特征图和对应的多个第二特征图所确定的;第二损失函数信息用于指示多个第一特征图之间的相似度,第二损失函数信息为基于多个第一特征图所确定的;第一特征图为基于待训练的学生模型对待训练图像进行处理所得到的,第二特征图为基于老师模型对待训练图像进行处理所得到的。
示例性地,根据上述实施例得到了图像处理模型;将待处理图像输入至图像处理模型中,输出待处理图像的图像处理结果。
其中,得到图像处理模型的过程,参见上述实施例,不再赘述。
待处理图像可以为人脸图像,基于本实施例可以得到人脸图像的图像处理结果,图像处理结果表征人脸图像的用户。
或者,基于本实施例可以得到待处理图像的图像处理结果,图像处理结果表征待处理图像的图像类别。
或者,基于本实施例可以得到待处理图像的图像处理结果,图像处理结果表征待处理图像的图像分割结果。
一个示例中,第一损失函数信息为基于第一正样本特征矩阵和第一负样本特征矩阵所确定的。
第一正样本特征矩阵包括多个第一相似度信息,第一相似度信息表征归属于同一待训练图像的第一特征图与第二特征图之间的相似度;第一负样本特征矩阵包括多个第二相似度信息,第二相似度信息表征归属于不同待训练图像的第一特征图与第二特征图之间的相似度;第一正样本特征矩阵为基于多个第一特征图和对应的多个第二特征图所确定的,第一负样本特征矩阵为基于多个第一特征图和对应的多个第二特征图所确定的。
一个示例中,每个老师模型具有对应的第一正样本特征矩阵和第一负样本特征矩阵。或者,第二特征图为基于老师模型分别对多个待训练图像进行处理后得到的融合特征图。
一个示例中,第一正样本特征矩阵中的第一相似度信息为基于第一相似度矩阵中的第一相似度参数所确定的;第一相似度矩阵中包括多个第一相似度参数,第一相似度参数表征第一特征图与第二特征图两者之间的相似度;第一相似度矩阵为基于多个第一特征图和对应的多个第二特征图所确定的。
若第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则与该第一相似度参数对应的第一相似度信息的取值为该第一相似度参数的取值;若第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则与该第一相似度参数对应的第一相似度信息的取值为预设值。
一个示例中,第一负样本特征矩阵中的第二相似度信息为基于第一相似度矩阵中的第一相似度参数所确定的;第一相似度矩阵中包括多个第一相似度参数,第一相似度参数表征第一特征图与第二特征图两者之间的相似度;第一相似度矩阵为基于多个第一特征图和对应的多个第二特征图所确定的。
若第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则与该第一相似度参数对应的第二相似度信息的取值为预设值;若该第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则与该第一相似度参数对应的第二相似度信息的取值为该第一相似度参数的取值。
一个示例中,第一损失函数信息中包括第一正样本损失值和第一负样本损失值;第一正样本损失值用于指示归属于同一待训练图像的第一特征图与第二特征图之间的相似度;第一负样本损失值用于指示归属于不同待训练图像的第一特征图与第二特征图之间的相似度。
第一正样本损失值为基于第一正样本特征矩阵与预设特征值所确定的;第一负样本损失值为基于第一负样本特征矩阵所确定的。
一个示例中,若每个老师模型具有对应的第一正样本特征矩阵和第一负样本特征矩阵,则第一正样本损失值为正样本特征总值与预设特征值之间的差值,第一负样本损失值为负样本特征总值。
其中,正样本特征总值为各第一正样本特征矩阵之和,正样本特征总值为基于与每个老师模型对应的第一正样本特征矩阵所确定的;负样本特征总值为各第一负样本特征矩阵之和,负样本特征总值为基于与每个老师模型对应的第一负样本特征矩阵所确定的。
一个示例中,若第二特征图为基于老师模型分别对多个待训练图像进行处理后得到的融合特征图,则第一正样本损失值为第一正样本特征矩阵与预设特征值之间的差值,第一负样本损失值为第一负样本特征矩阵。
一个示例中,第二损失函数信息为基于第二正样本特征矩阵和第二负样本特征矩阵所确定的。
第二正样本特征矩阵包括多个第三相似度信息,第三相似度信息表征归属于同一待训练图像的第一特征图与第一特征图之间的相似度;第二负样本特征矩阵包括多个第四相似度信息,第四相似度信息表征归属于不同待训练图像的第一特征图与第一特征图之间的相似度。
第二正样本特征矩阵和第二负样本特征矩阵,均基于多个第一特征图所确定的。
一个示例中,第二正样本特征矩阵中的第三相似度信息为基于第二相似度矩阵中的第二相似度参数所确定的;第二相似度矩阵中包括多个第二相似度参数,第二相似度参数表征第一特征图与第一特征图之间的相似度;第二相似度矩阵为基于多个第一特征图所确定的。
若第二相似度参数对应的两个第一特征图归属于同一待训练图像,则与该第二相似度参数对应的第三相似度信息为该第二相似度参数的取值;若第二相似度参数对应的两个第一特征图不归属于同一待训练图像,则与该第二相似度参数对应的第三相似度信息的取值为预设值。
一个示例中,第二负样本特征矩阵中的第四相似度信息为基于第二相似度矩阵中的第二相似度参数所确定的;第二相似度矩阵中包括多个第二相似度参数,第二相似度参数表征第一特征图与第一特征图之间的相似度;第二相似度矩阵为基于多个第一特征图所确定的。
若第二相似度参数对应的两个第一特征图归属于同一待训练图像,则与该第二相似度参数对应的第四相似度信息的取值为预设值;若第二相似度参数对应的两个第一特征图不归属于同一待训练图像,则与该第二相似度参数对应的第四相似度信息的取值为该第二相似度参数的取值。
一个示例中,第二损失函数信息中包括第二正样本损失值和第二负样本损失值;第二正样本损失值用于指示归属于同一待训练图像的第一特征图与第一特征图之间的相似度;第二负样本损失值用于指示归属于不同待训练图像的第一特征图与第一特征图之间的相似度。
第二正样本损失值为基于第二正样本特征矩阵与预设特征值所确定的;第二负样本损失值为基于第二负样本特征矩阵所确定的。
一个示例中,第二正样本损失值为第二正样本特征矩阵与预设特征值之间的差值;第二负样本损失值为第二负样本特征矩阵。
一个示例中,待训练的学生模型为基于总损失函数信息所更新的。
其中,总损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度、以及多个第一特征图之间的相似度;总损失函数信息为基于第一损失函数信息和第二损失函数信息所确定的。
一个示例中,总损失函数信息为基于第一损失函数信息、与第一损失函数信息对应的第一预设权重、第二损失函数信息、以及与第二损失函数信息对应的第二预设权重所确定的;其中,第一预设权重大于第二预设权重。
一个示例中,第一损失函数信息中包括第一正样本损失值和第一负样本损失值;第一正样本损失值用于指示归属于同一待训练图像的第一特征图与第二特征图之间的相似度;第一负样本损失值用于指示归属于不同待训练图像的第一特征图与第二特征图之间的相似度。
第二损失函数信息中包括第二正样本损失值和第二负样本损失值;第二正样本损失值用于指示归属于同一待训练图像的第一特征图与第一特征图之间的相似度;第二负样本损失值用于指示归属于不同待训练图像的第一特征图与第一特征图之间的相似度。
第一预设权重包括与第一正样本损失值对应的第一子权重、以及与第一负样本损失值对应的第二子权重。
第二预设权重包括与第二正样本损失值对应的第三子权重、以及与第二负样本损失值对应的第四子权重。
一个示例中,响应于确定第一正样本损失值大于第一负样本损失值,第一子权重小于第二子权重;响应于确定第一正样本损失值小于第一负样本损失值,第一子权重大于第二子权重;响应于确定第一正样本损失值等于第一负样本损失值,第一子权重等于第二子权重。
本实施例参见上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
图15是根据本公开第四实施例的示意图,如图15所示,本实施例提供的应用于图像处理的模型训练装置1500,包括:
第一处理单元1501,用于基于待训练的学生模型对待训练图像进行处理,得到第一特征图;
第二处理单元1502,用于基于老师模型对待训练图像进行处理,得到第二特征图。
第一确定单元1503,用于根据多个第一特征图和对应的多个第二特征图,确定第一损失函数信息;其中,第一损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度。
第二确定单元1504,用于根据多个第一特征图,确定第二损失函数信息;其中,第二损失函数信息用于指示多个第一特征图之间的相似度。
更新单元1505,于根据第一损失函数信息和第二损失函数信息,更新待训练的学生模型,以得到图像处理模型。
本实施例的装置,可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
图16是根据本公开第五实施例的示意图,如图16所示,本实施例提供的应用于图像处理的模型训练装置1600,包括:
第一处理单元1601,用于基于待训练的学生模型对待训练图像进行处理,得到第一特征图;
第二处理单元1602,用于基于老师模型对待训练图像进行处理,得到第二特征图。
第一确定单元1603,用于根据多个第一特征图和对应的多个第二特征图,确定第一损失函数信息;其中,第一损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度。
第二确定单元1604,用于根据多个第一特征图,确定第二损失函数信息;其中,第二损失函数信息用于指示多个第一特征图之间的相似度。
更新单元1605,用于根据第一损失函数信息和第二损失函数信息,更新待训练的学生模型,以得到图像处理模型。
一个示例中,第一确定单元1603,包括:
第一确定模块16031,用于根据多个第一特征图和对应的多个第二特征图,确定第一正样本特征矩阵。
第二确定模块16032,用于根据多个第一特征图和对应的多个第二特征图,确定第一负样本特征矩阵;其中,第一正样本特征矩阵包括多个第一相似度信息,第一相似度信息表征归属于同一待训练图像的第一特征图与第二特征图之间的相似度;第一负样本特征矩阵包括多个第二相似度信息,第二相似度信息表征归属于不同待训练图像的第一特征图与第二特征图之间的相似度。
第三确定模块16033,用于根据第一正样本特征矩阵和第一负样本特征矩阵,确定第一损失函数信息。
一个示例中,每个老师模型具有对应的第一正样本特征矩阵和第一负样本特征矩阵。或者,第二特征图为基于老师模型分别对多个待训练图像进行处理后得到的融合特征图。
一个示例中,第一确定模块16031,包括:
第一确定子模块160311,用于根据多个第一特征图和对应的多个第二特征图,确定第一相似度矩阵;其中,第一相似度矩阵中包括多个第一相似度参数,第一相似度参数表征第一特征图与第二特征图两者之间的相似度。
第二确定子模块160312,用于针对第一相似度矩阵中的第一相似度参数,若确定该第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则确定该第一相似度参数的取值不变,得到与该第一相似度参数对应的第一相似度信息;若确定该第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则确定该第一相似度参数的取值为预设值,得到与该第一相似度参数对应的第一相似度信息,以得到第一正样本特征矩阵。
一个示例中,第二确定模块16032,包括:
第三确定子模块160321,用于根据多个第一特征图和对应的多个第二特征图,确定第一相似度矩阵;其中,第一相似度矩阵中包括多个第一相似度参数,第一相似度参数表征第一特征图与第二特征图之间的相似度。
第四确定子模块160322,用于针对第一相似度矩阵中的第一相似度参数,若确定该第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则确定该第一相似度参数的取值为预设值,得到与该第一相似度参数对应的第二相似度信息;若确定该第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则确定该第一相似度参数的取值不变,得到与该第一相似度参数对应的第二相似度信息,以得到第一负样本特征矩阵。
一个示例中,第一损失函数信息中包括第一正样本损失值和第一负样本损失值;第一正样本损失值用于指示归属于同一待训练图像的第一特征图与第二特征图之间的相似度;第一负样本损失值用于指示归属于不同待训练图像的第一特征图与第二特征图之间的相似度。
第三确定模块16033,具体用于:根据第一正样本特征矩阵与预设特征值,确定第一正样本损失值;并根据第一负样本特征矩阵,确定第一负样本损失值。
一个示例中,若每个老师模型具有对应的第一正样本特征矩阵和第一负样本特征矩阵,则第三确定模块16033,具体用于:
根据与每个老师模型对应的第一正样本特征矩阵,确定正样本特征总值,其中,正样本特征总值为各第一正样本特征矩阵之和;并确定正样本特征总值与预设特征值之间的差值,为第一正样本损失值;根据与每个老师模型对应的第一负样本特征矩阵,确定负样本特征总值,其中,负样本特征总值为各第一负样本特征矩阵之和;并确定负样本特征总值,为第一负样本损失值。
一个示例中,若第二特征图为基于老师模型分别对多个待训练图像进行处理后得到的融合特征图,则第三确定模块16033,具体用于:
确定第一正样本特征矩阵与预设特征值之间的差值,为第一正样本损失值,并确定第一负样本特征矩阵,为第一负样本损失值。
一个示例中,第二确定单元1604,包括:
第四确定模块16041,用于根据多个第一特征图,确定第二正样本特征矩阵。
第五确定模块16042,用于根据多个第一特征图,确定第二负样本特征矩阵;其中,第二正样本特征矩阵包括多个第三相似度信息,第三相似度信息表征归属于同一待训练图像的第一特征图与第一特征图之间的相似度;第二负样本特征矩阵包括多个第四相似度信息,第四相似度信息表征归属于不同待训练图像的第一特征图与第一特征图之间的相似度。
第六确定模块16043,用于根据第二正样本特征矩阵和第二负样本特征矩阵,确定第二损失函数信息。
一个示例中,第四确定模块16041,包括:
第五确定子模块160411,用于根据多个第一特征图,确定第二相似度矩阵;其中,第二相似度矩阵中包括多个第二相似度参数,第二相似度参数表征第一特征图与第一特征图之间的相似度。
第六确定子模块160412,用于针对第二相似度矩阵中的第二相似度参数,若确定该第二相似度参数对应的两个第一特征图归属于同一待训练图像,则确定该第二相似度参数的取值不变,得到与该第二相似度参数对应的第三相似度信息;若确定该第二相似度参数对应的两个第一特征图不归属于同一待训练图像,则确定该第二相似度参数的取值为预设值,得到与该第二相似度参数对应的第三相似度信息,以得到第二正样本特征矩阵。
一个示例中,第五确定模块16042,包括:
第七确定子模块160421,用于根据多个第一特征图,确定第二相似度矩阵;其中,第二相似度矩阵中包括多个第二相似度参数,第二相似度参数表征第一特征图与第一特征图之间的相似度。
第八确定子模块160422,用于针对第二相似度矩阵中的第二相似度参数,若确定该第二相似度参数对应的两个第一特征图归属于同一待训练图像,则确定该第二相似度参数的取值为预设值,得到与该第二相似度参数对应的第四相似度信息;若确定该第二相似度参数对应的两个第一特征图不归属于同一待训练图像,则确定该第二相似度参数的取值不变,得到与该第二相似度参数对应的第四相似度信息,以得到第二负样本特征矩阵。
一个示例中,第二损失函数信息中包括第二正样本损失值和第二负样本损失值;第二正样本损失值用于指示归属于同一待训练图像的第一特征图与第一特征图之间的相似度;第二负样本损失值用于指示归属于不同待训练图像的第一特征图与第一特征图之间的相似度。
第六确定模块16043,具体用于:根据第二正样本特征矩阵与预设特征值,确定第二正样本损失值;并根据第二负样本特征矩阵,确定第二负样本损失值。
一个示例中,第六确定模块16043,具体用于:确定第二正样本特征矩阵与预设特征值之间的差值,为第二正样本损失值,并确定第二负样本特征矩阵,为第二负样本损失值。
一个示例中,更新单元1605,包括:
第七确定模块16051,用于根据第一损失函数信息和第二损失函数信息,确定总损失函数信息;其中,总损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度、以及多个第一特征图之间的相似度。
更新模块16052,用于根据总损失函数信息,更新待训练的学生模型,以得到图像处理模型。
一个示例中,第七确定模块16051,具体用于:根据第一损失函数信息、与第一损失函数信息对应的第一预设权重、第二损失函数信息、以及与第二损失函数信息对应的第二预设权重,确定总损失函数信息;其中,第一预设权重大于第二预设权重。
一个示例中,第一损失函数信息中包括第一正样本损失值和第一负样本损失值;第一正样本损失值用于指示归属于同一待训练图像的第一特征图与第二特征图之间的相似度;第一负样本损失值用于指示归属于不同待训练图像的第一特征图与第二特征图之间的相似度。
第二损失函数信息中包括第二正样本损失值和第二负样本损失值;第二正样本损失值用于指示归属于同一待训练图像的第一特征图与第一特征图之间的相似度;第二负样本损失值用于指示归属于不同待训练图像的第一特征图与第一特征图之间的相似度。
第一预设权重包括与第一正样本损失值对应的第一子权重、以及与第一负样本损失值对应的第二子权重。
第二预设权重包括与第二正样本损失值对应的第三子权重、以及与第二负样本损失值对应的第四子权重。
一个示例中,第七确定模块16051,还用于:响应于确定第一正样本损失值大于第一负样本损失值,调节第一子权重小于第二子权重;响应于确定第一正样本损失值小于第一负样本损失值,调节第一子权重大于第二子权重;响应于确定第一正样本损失值等于第一负样本损失值,调节第一子权重等于第二子权重。
一个示例中,重复执行本实施的第一处理单元1601至更新单元1605的动作,直至达到预设条件。预设条件为重复执行的次数大于预设次数阈值,或者,预设条件为接收到用于指示停止执行的指令。
本实施例的装置,可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
图17是根据本公开第六实施例的示意图,如图17所示,本实施例提供的图像处理装置1700,包括:
获取单元1701,用于获取待处理图像。
输出单元1702,用于将待处理图像输入至图像处理模型中,得到待处理图像的图像处理结果。
其中,图像处理模型为基于第一损失函数信息和第二损失函数信息,更新待训练的学生模型所得到的;。
第一损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度,第一损失函数信息为基于多个第一特征图和对应的多个第二特征图所确定的;第二损失函数信息用于指示多个第一特征图之间的相似度,第二损失函数信息为基于多个第一特征图所确定的;第一特征图为基于待训练的学生模型对待训练图像进行处理所得到的,第二特征图为基于老师模型对待训练图像进行处理所得到的。
一个示例中,第一损失函数信息为基于第一正样本特征矩阵和第一负样本特征矩阵所确定的。
第一正样本特征矩阵包括多个第一相似度信息,第一相似度信息表征归属于同一待训练图像的第一特征图与第二特征图之间的相似度;第一负样本特征矩阵包括多个第二相似度信息,第二相似度信息表征归属于不同待训练图像的第一特征图与第二特征图之间的相似度;第一正样本特征矩阵为基于多个第一特征图和对应的多个第二特征图所确定的,第一负样本特征矩阵为基于多个第一特征图和对应的多个第二特征图所确定的。
一个示例中,每个老师模型具有对应的第一正样本特征矩阵和第一负样本特征矩阵。或者,第二特征图为基于老师模型分别对多个待训练图像进行处理后得到的融合特征图。
一个示例中,第一正样本特征矩阵中的第一相似度信息为基于第一相似度矩阵中的第一相似度参数所确定的;第一相似度矩阵中包括多个第一相似度参数,第一相似度参数表征第一特征图与第二特征图两者之间的相似度;第一相似度矩阵为基于多个第一特征图和对应的多个第二特征图所确定的。
若第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则与该第一相似度参数对应的第一相似度信息的取值为该第一相似度参数的取值;若第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则与该第一相似度参数对应的第一相似度信息的取值为预设值。
一个示例中,第一负样本特征矩阵中的第二相似度信息为基于第一相似度矩阵中的第一相似度参数所确定的;第一相似度矩阵中包括多个第一相似度参数,第一相似度参数表征第一特征图与第二特征图两者之间的相似度;第一相似度矩阵为基于多个第一特征图和对应的多个第二特征图所确定的。
若第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则与该第一相似度参数对应的第二相似度信息的取值为预设值;若该第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则与该第一相似度参数对应的第二相似度信息的取值为该第一相似度参数的取值。
一个示例中,第一损失函数信息中包括第一正样本损失值和第一负样本损失值;第一正样本损失值用于指示归属于同一待训练图像的第一特征图与第二特征图之间的相似度;第一负样本损失值用于指示归属于不同待训练图像的第一特征图与第二特征图之间的相似度。
第一正样本损失值为基于第一正样本特征矩阵与预设特征值所确定的;第一负样本损失值为基于第一负样本特征矩阵所确定的。
一个示例中,若每个老师模型具有对应的第一正样本特征矩阵和第一负样本特征矩阵,则第一正样本损失值为正样本特征总值与预设特征值之间的差值,第一负样本损失值为负样本特征总值。
其中,正样本特征总值为各第一正样本特征矩阵之和,正样本特征总值为基于与每个老师模型对应的第一正样本特征矩阵所确定的;负样本特征总值为各第一负样本特征矩阵之和,负样本特征总值为基于与每个老师模型对应的第一负样本特征矩阵所确定的。
一个示例中,若第二特征图为基于老师模型分别对多个待训练图像进行处理后得到的融合特征图,则第一正样本损失值为第一正样本特征矩阵与预设特征值之间的差值,第一负样本损失值为第一负样本特征矩阵。
一个示例中,第二损失函数信息为基于第二正样本特征矩阵和第二负样本特征矩阵所确定的。
第二正样本特征矩阵包括多个第三相似度信息,第三相似度信息表征归属于同一待训练图像的第一特征图与第一特征图之间的相似度;第二负样本特征矩阵包括多个第四相似度信息,第四相似度信息表征归属于不同待训练图像的第一特征图与第一特征图之间的相似度。
第二正样本特征矩阵和第二负样本特征矩阵,均基于多个第一特征图所确定的。
一个示例中,第二正样本特征矩阵中的第三相似度信息为基于第二相似度矩阵中的第二相似度参数所确定的;第二相似度矩阵中包括多个第二相似度参数,第二相似度参数表征第一特征图与第一特征图之间的相似度;第二相似度矩阵为基于多个第一特征图所确定的。
若第二相似度参数对应的两个第一特征图归属于同一待训练图像,则与该第二相似度参数对应的第三相似度信息为该第二相似度参数的取值;若第二相似度参数对应的两个第一特征图不归属于同一待训练图像,则与该第二相似度参数对应的第三相似度信息的取值为预设值。
一个示例中,第二负样本特征矩阵中的第四相似度信息为基于第二相似度矩阵中的第二相似度参数所确定的;第二相似度矩阵中包括多个第二相似度参数,第二相似度参数表征第一特征图与第一特征图之间的相似度;第二相似度矩阵为基于多个第一特征图所确定的。
若第二相似度参数对应的两个第一特征图归属于同一待训练图像,则与该第二相似度参数对应的第四相似度信息的取值为预设值;若第二相似度参数对应的两个第一特征图不归属于同一待训练图像,则与该第二相似度参数对应的第四相似度信息的取值为该第二相似度参数的取值。
一个示例中,第二损失函数信息中包括第二正样本损失值和第二负样本损失值;第二正样本损失值用于指示归属于同一待训练图像的第一特征图与第一特征图之间的相似度;第二负样本损失值用于指示归属于不同待训练图像的第一特征图与第一特征图之间的相似度。
第二正样本损失值为基于第二正样本特征矩阵与预设特征值所确定的;第二负样本损失值为基于第二负样本特征矩阵所确定的。
一个示例中,第二正样本损失值为第二正样本特征矩阵与预设特征值之间的差值;第二负样本损失值为第二负样本特征矩阵。
一个示例中,待训练的学生模型为基于总损失函数信息所更新的;其中,总损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度、以及多个第一特征图之间的相似度;总损失函数信息为基于第一损失函数信息和第二损失函数信息所确定的。
一个示例中,总损失函数信息为基于第一损失函数信息、与第一损失函数信息对应的第一预设权重、第二损失函数信息、以及与第二损失函数信息对应的第二预设权重所确定的;其中,第一预设权重大于第二预设权重。
一个示例中,第一损失函数信息中包括第一正样本损失值和第一负样本损失值;第一正样本损失值用于指示归属于同一待训练图像的第一特征图与第二特征图之间的相似度;第一负样本损失值用于指示归属于不同待训练图像的第一特征图与第二特征图之间的相似度。
第二损失函数信息中包括第二正样本损失值和第二负样本损失值;第二正样本损失值用于指示归属于同一待训练图像的第一特征图与第一特征图之间的相似度;第二负样本损失值用于指示归属于不同待训练图像的第一特征图与第一特征图之间的相似度。
第一预设权重包括与第一正样本损失值对应的第一子权重、以及与第一负样本损失值对应的第二子权重。
第二预设权重包括与第二正样本损失值对应的第三子权重、以及与第二负样本损失值对应的第四子权重。
一个示例中,响应于确定第一正样本损失值大于第一负样本损失值,第一子权重小于第二子权重;响应于确定第一正样本损失值小于第一负样本损失值,第一子权重大于第二子权重;响应于确定第一正样本损失值等于第一负样本损失值,第一子权重等于第二子权重。
本实施例的装置,可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
图18是根据本公开第七实施例的示意图,如图18所示,本实施例中的电子设备1800可以包括:处理器1801和存储器1802。
存储器1802,用于存储程序;存储器1802,可以包括易失性存储器(英文:volatilememory),例如随机存取存储器(英文:random-access memory,缩写:RAM),如静态随机存取存储器(英文:static random-access memory,缩写:SRAM),双倍数据率同步动态随机存取存储器(英文:Double Data Rate Synchronous Dynamic Random Access Memory,缩写:DDR SDRAM)等;存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory)。存储器1802用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等,上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器1802中。并且上述的计算机程序、计算机指令、数据等可以被处理器1801调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器1802中。并且上述的计算机程序、计算机指据等可以被处理器1801调用。
处理器1801,用于执行存储器1802存储的计算机程序,以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器1801和存储器1802可以是独立结构,也可以是集成在一起的集成结构。当处理器1801和存储器1802是独立结构时,存储器1802、处理器1801可以通过总线1803耦合连接。
本实施例的电子设备可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例,本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行上述任一实施例提供的方案。
根据本公开的实施例,本公开还提供了一种计算机程序产品,计算机程序产品包括:计算机程序,计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图19示出了可以用来实施本公开的实施例的示例电子设备1900的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图19所示,设备1900包括计算单元1901,其可以根据存储在只读存储器(ROM)1902中的计算机程序或者从存储单元1908加载到随机访问存储器(RAM)1903中的计算机程序,来执行各种适当的动作和处理。在RAM 1903中,还可存储设备1900操作所需的各种程序和数据。计算单元1901、ROM 1902以及RAM 1903通过总线1904彼此相连。输入/输出(I/O)接口1905也连接至总线1904。
设备1900中的多个部件连接至I/O接口1905,包括:输入单元1906,例如键盘、鼠标等;输出单元1907,例如各种类型的显示器、扬声器等;存储单元1908,例如磁盘、光盘等;以及通信单元1909,例如网卡、调制解调器、无线通信收发机等。通信单元1909允许设备1900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1901执行上文所描述的各个方法和处理,例如应用于图像处理的模型训练方法、或者图像处理方法。例如,在一些实施例中,应用于图像处理的模型训练方法、或者图像处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1902和/或通信单元1909而被载入和/或安装到设备1900上。当计算机程序加载到RAM 1903并由计算单元1901执行时,可以执行上文描述的应用于图像处理的模型训练方法、或者图像处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元1901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行应用于图像处理的模型训练方法、或者图像处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
根据本公开的实施例,本公开还提供了一种芯片,芯片包括上述任一实施例提供的应用于图像处理的模型训练装置,或者,芯片包括上述任一实施例提供的的图像处理装置。
根据本公开的实施例,本公开还提供了一种电子设备,包括上述实施例提供的芯片。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (32)
1.一种应用于图像处理的模型训练方法,包括:
基于待训练的学生模型对待训练图像进行处理,得到第一特征图;
基于老师模型对所述待训练图像进行处理,得到第二特征图;
根据多个所述第一特征图和对应的多个所述第二特征图,确定第一损失函数信息;其中,所述第一损失函数信息用于指示所述第一特征图与对应的所述第二特征图之间的相似度;
根据多个所述第一特征图,确定第二损失函数信息;其中,所述第二损失函数信息用于指示多个所述第一特征图之间的相似度;
根据所述第一损失函数信息、与所述第一损失函数信息对应的第一预设权重、所述第二损失函数信息、以及与所述第二损失函数信息对应的第二预设权重,确定总损失函数信息;所述总损失函数信息用于指示所述第一特征图与对应的所述第二特征图之间的相似度、以及多个所述第一特征图之间的相似度;所述第一预设权重大于所述第二预设权重;
根据所述总损失函数信息,更新所述待训练的学生模型,以得到图像处理模型;
其中,所述第一损失函数信息中包括第一正样本损失值和第一负样本损失值;所述第一正样本损失值用于指示归属于同一待训练图像的第一特征图与第二特征图之间的相似度;所述第一负样本损失值用于指示归属于不同待训练图像的第一特征图与第二特征图之间的相似度;所述第二损失函数信息中包括第二正样本损失值和第二负样本损失值;所述第二正样本损失值用于指示归属于同一待训练图像的第一特征图与第一特征图之间的相似度;所述第二负样本损失值用于指示归属于不同待训练图像的第一特征图与第一特征图之间的相似度;所述第一预设权重包括与所述第一正样本损失值对应的第一子权重、以及与所述第一负样本损失值对应的第二子权重;所述第二预设权重包括与所述第二正样本损失值对应的第三子权重、以及与所述第二负样本损失值对应的第四子权重;
响应于确定所述第一正样本损失值大于所述第一负样本损失值,调节所述第一子权重小于所述第二子权重;
响应于确定所述第一正样本损失值小于所述第一负样本损失值,调节所述第一子权重大于所述第二子权重;
响应于确定所述第一正样本损失值等于所述第一负样本损失值,调节所述第一子权重等于所述第二子权重。
2.根据权利要求1所述的方法,其中,根据多个所述第一特征图和对应的多个所述第二特征图,确定第一损失函数信息,包括:
根据多个所述第一特征图和对应的多个所述第二特征图,确定第一正样本特征矩阵和第一负样本特征矩阵;其中,所述第一正样本特征矩阵包括多个第一相似度信息,所述第一相似度信息表征归属于同一待训练图像的第一特征图与第二特征图之间的相似度;所述第一负样本特征矩阵包括多个第二相似度信息,所述第二相似度信息表征归属于不同待训练图像的第一特征图与第二特征图之间的相似度;
根据所述第一正样本特征矩阵和所述第一负样本特征矩阵,确定所述第一损失函数信息。
3.根据权利要求2所述的方法,其中,每个所述老师模型具有对应的第一正样本特征矩阵和第一负样本特征矩阵;
或者,所述第二特征图为基于所述老师模型分别对多个所述待训练图像进行处理后得到的融合特征图。
4.根据权利要求2或3所述的方法,其中,根据多个所述第一特征图和对应的多个所述第二特征图,确定第一正样本特征矩阵,包括:
根据多个所述第一特征图和对应的多个所述第二特征图,确定第一相似度矩阵;其中,所述第一相似度矩阵中包括多个第一相似度参数,所述第一相似度参数表征第一特征图与第二特征图两者之间的相似度;
针对所述第一相似度矩阵中的第一相似度参数,若确定该第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则确定该第一相似度参数的取值不变,得到与该第一相似度参数对应的第一相似度信息;若确定该第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则确定该第一相似度参数的取值为预设值,得到与该第一相似度参数对应的第一相似度信息,以得到所述第一正样本特征矩阵。
5.根据权利要求2或3所述的方法,其中,根据多个所述第一特征图和对应的多个所述第二特征图,确定第一负样本特征矩阵,包括:
根据多个所述第一特征图和对应的多个所述第二特征图,确定第一相似度矩阵;其中,所述第一相似度矩阵中包括多个第一相似度参数,所述第一相似度参数表征第一特征图与第二特征图之间的相似度;
针对所述第一相似度矩阵中的第一相似度参数,若确定该第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则确定该第一相似度参数的取值为预设值,得到与该第一相似度参数对应的第二相似度信息;若确定该第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则确定该第一相似度参数的取值不变,得到与该第一相似度参数对应的第二相似度信息,以得到所述第一负样本特征矩阵。
6.根据权利要求2或3所述的方法,
根据所述第一正样本特征矩阵和所述第一负样本特征矩阵,确定所述第一损失函数信息,包括:
根据所述第一正样本特征矩阵与预设特征值,确定所述第一正样本损失值;并根据所述第一负样本特征矩阵,确定所述第一负样本损失值。
7.根据权利要求6所述的方法,其中,若每个所述老师模型具有对应的第一正样本特征矩阵和第一负样本特征矩阵,则根据所述第一正样本特征矩阵与预设特征值,确定所述第一正样本损失值;并根据所述第一负样本特征矩阵,确定所述第一负样本损失值,包括:
根据与每个所述老师模型对应的第一正样本特征矩阵,确定正样本特征总值,其中,所述正样本特征总值为各所述第一正样本特征矩阵之和;并确定所述正样本特征总值与所述预设特征值之间的差值,为所述第一正样本损失值;
根据与每个所述老师模型对应的第一负样本特征矩阵,确定负样本特征总值,其中,所述负样本特征总值为各所述第一负样本特征矩阵之和;并确定所述负样本特征总值,为所述第一负样本损失值。
8.根据权利要求6所述的方法,其中,若所述第二特征图为基于所述老师模型分别对多个所述待训练图像进行处理后得到的融合特征图,则根据所述第一正样本特征矩阵与预设特征值,确定所述第一正样本损失值;并根据所述第一负样本特征矩阵,确定所述第一负样本损失值,包括:
确定所述第一正样本特征矩阵与所述预设特征值之间的差值,为所述第一正样本损失值,并确定所述第一负样本特征矩阵,为第一负样本损失值。
9.根据权利要求1-3、7-8任一项所述的方法,其中,根据多个所述第一特征图,确定第二损失函数信息,包括:
根据多个所述第一特征图,确定第二正样本特征矩阵和第二负样本特征矩阵;其中,所述第二正样本特征矩阵包括多个第三相似度信息,所述第三相似度信息表征归属于同一待训练图像的第一特征图与第一特征图之间的相似度;所述第二负样本特征矩阵包括多个第四相似度信息,所述第四相似度信息表征归属于不同待训练图像的第一特征图与第一特征图之间的相似度;
根据所述第二正样本特征矩阵和所述第二负样本特征矩阵,确定所述第二损失函数信息。
10.根据权利要求9所述的方法,其中,根据多个所述第一特征图,确定第二正样本特征矩阵,包括:
根据多个所述第一特征图,确定第二相似度矩阵;其中,所述第二相似度矩阵中包括多个第二相似度参数,所述第二相似度参数表征第一特征图与第一特征图之间的相似度;
针对所述第二相似度矩阵中的第二相似度参数,若确定该第二相似度参数对应的两个第一特征图归属于同一待训练图像,则确定该第二相似度参数的取值不变,得到与该第二相似度参数对应的第三相似度信息;若确定该第二相似度参数对应的两个第一特征图不归属于同一待训练图像,则确定该第二相似度参数的取值为预设值,得到与该第二相似度参数对应的第三相似度信息,以得到所述第二正样本特征矩阵。
11.根据权利要求9所述的方法,其中,根据多个所述第一特征图,确定第二负样本特征矩阵,包括:
根据多个所述第一特征图,确定第二相似度矩阵;其中,所述第二相似度矩阵中包括多个第二相似度参数,所述第二相似度参数表征第一特征图与第一特征图之间的相似度;
针对所述第二相似度矩阵中的第二相似度参数,若确定该第二相似度参数对应的两个第一特征图归属于同一待训练图像,则确定该第二相似度参数的取值为预设值,得到与该第二相似度参数对应的第四相似度信息;若确定该第二相似度参数对应的两个第一特征图不归属于同一待训练图像,则确定该第二相似度参数的取值不变,得到与该第二相似度参数对应的第四相似度信息,以得到所述第二负样本特征矩阵。
12.根据权利要求9所述的方法,
根据所述第二正样本特征矩阵和所述第二负样本特征矩阵,确定所述第二损失函数信息,包括:
根据所述第二正样本特征矩阵与预设特征值,确定所述第二正样本损失值;并根据所述第二负样本特征矩阵,确定所述第二负样本损失值。
13.根据权利要求12所述的方法,其中,根据所述第二正样本特征矩阵与预设特征值,确定第二正样本损失值;并根据所述第二负样本特征矩阵,确定第二负样本损失值,包括:
确定所述第二正样本特征矩阵与所述预设特征值之间的差值,为所述第二正样本损失值,并确定所述第二负样本特征矩阵,为第二负样本损失值。
14.一种图像处理方法,包括:
获取待处理图像,并将所述待处理图像输入至图像处理模型中,得到所述待处理图像的图像处理结果;
其中,所述图像处理模型为基于第一损失函数信息、与所述第一损失函数信息对应的第一预设权重、第二损失函数信息、以及与所述第二损失函数信息对应的第二预设权重,确定总损失函数信息,根据所述总损失函数信息,更新待训练的学生模型所得到的;所述总损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度、以及多个所述第一特征图之间的相似度;所述第一预设权重大于所述第二预设权重;所述第一特征图为基于待训练的学生模型对待训练图像进行处理所得到的,所述第二特征图为基于老师模型对所述待训练图像进行处理所得到的;
其中,所述第一损失函数信息中包括第一正样本损失值和第一负样本损失值;所述第一正样本损失值用于指示归属于同一待训练图像的第一特征图与第二特征图之间的相似度;所述第一负样本损失值用于指示归属于不同待训练图像的第一特征图与第二特征图之间的相似度;所述第二损失函数信息中包括第二正样本损失值和第二负样本损失值;所述第二正样本损失值用于指示归属于同一待训练图像的第一特征图与第一特征图之间的相似度;所述第二负样本损失值用于指示归属于不同待训练图像的第一特征图与第一特征图之间的相似度;所述第一预设权重包括与所述第一正样本损失值对应的第一子权重、以及与所述第一负样本损失值对应的第二子权重;所述第二预设权重包括与所述第二正样本损失值对应的第三子权重、以及与所述第二负样本损失值对应的第四子权重;
所述第一正样本损失值大于所述第一负样本损失值时,所述第一子权重被调节为小于所述第二子权重;所述第一正样本损失值小于所述第一负样本损失值时,所述第一子权重被调节为大于所述第二子权重;所述第一正样本损失值等于所述第一负样本损失值时,所述第一子权重被调节为等于所述第二子权重。
15.一种应用于图像处理的模型训练装置,包括:
第一处理单元,用于基于待训练的学生模型对待训练图像进行处理,得到第一特征图;
第二处理单元,用于基于老师模型对所述待训练图像进行处理,得到第二特征图;
第一确定单元,用于根据多个所述第一特征图和对应的多个所述第二特征图,确定第一损失函数信息;其中,所述第一损失函数信息用于指示所述第一特征图与对应的所述第二特征图之间的相似度;
第二确定单元,用于根据多个所述第一特征图,确定第二损失函数信息;其中,所述第二损失函数信息用于指示多个所述第一特征图之间的相似度;
更新单元,用于根据所述第一损失函数信息、与所述第一损失函数信息对应的第一预设权重、所述第二损失函数信息、以及与所述第二损失函数信息对应的第二预设权重,确定总损失函数信息;所述总损失函数信息用于指示所述第一特征图与对应的所述第二特征图之间的相似度、以及多个所述第一特征图之间的相似度;所述第一预设权重大于所述第二预设权重;
根据所述总损失函数信息,更新所述待训练的学生模型,以得到图像处理模型;
其中,所述第一损失函数信息中包括第一正样本损失值和第一负样本损失值;所述第一正样本损失值用于指示归属于同一待训练图像的第一特征图与第二特征图之间的相似度;所述第一负样本损失值用于指示归属于不同待训练图像的第一特征图与第二特征图之间的相似度;所述第二损失函数信息中包括第二正样本损失值和第二负样本损失值;所述第二正样本损失值用于指示归属于同一待训练图像的第一特征图与第一特征图之间的相似度;所述第二负样本损失值用于指示归属于不同待训练图像的第一特征图与第一特征图之间的相似度;所述第一预设权重包括与所述第一正样本损失值对应的第一子权重、以及与所述第一负样本损失值对应的第二子权重;所述第二预设权重包括与所述第二正样本损失值对应的第三子权重、以及与所述第二负样本损失值对应的第四子权重;
响应于确定所述第一正样本损失值大于所述第一负样本损失值,调节所述第一子权重小于所述第二子权重;
响应于确定所述第一正样本损失值小于所述第一负样本损失值,调节所述第一子权重大于所述第二子权重;
响应于确定所述第一正样本损失值等于所述第一负样本损失值,调节所述第一子权重等于所述第二子权重。
16.根据权利要求15所述的装置,其中,所述第一确定单元,包括:
第一确定模块,用于根据多个所述第一特征图和对应的多个所述第二特征图,确定第一正样本特征矩阵;
第二确定模块,用于根据多个所述第一特征图和对应的多个所述第二特征图,确定第一负样本特征矩阵;其中,所述第一正样本特征矩阵包括多个第一相似度信息,所述第一相似度信息表征归属于同一待训练图像的第一特征图与第二特征图之间的相似度;所述第一负样本特征矩阵包括多个第二相似度信息,所述第二相似度信息表征归属于不同待训练图像的第一特征图与第二特征图之间的相似度;
第三确定模块,用于根据所述第一正样本特征矩阵和所述第一负样本特征矩阵,确定所述第一损失函数信息。
17.根据权利要求16所述的装置,其中,每个所述老师模型具有对应的第一正样本特征矩阵和第一负样本特征矩阵;
或者,所述第二特征图为基于所述老师模型分别对多个所述待训练图像进行处理后得到的融合特征图。
18.根据权利要求16或17所述的装置,其中,所述第一确定模块,包括:
第一确定子模块,用于根据多个所述第一特征图和对应的多个所述第二特征图,确定第一相似度矩阵;其中,所述第一相似度矩阵中包括多个第一相似度参数,所述第一相似度参数表征第一特征图与第二特征图两者之间的相似度;
第二确定子模块,用于针对所述第一相似度矩阵中的第一相似度参数,若确定该第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则确定该第一相似度参数的取值不变,得到与该第一相似度参数对应的第一相似度信息;若确定该第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则确定该第一相似度参数的取值为预设值,得到与该第一相似度参数对应的第一相似度信息,以得到所述第一正样本特征矩阵。
19.根据权利要求16或17所述的装置,其中,所述第二确定模块,包括:
第三确定子模块,用于根据多个所述第一特征图和对应的多个所述第二特征图,确定第一相似度矩阵;其中,所述第一相似度矩阵中包括多个第一相似度参数,所述第一相似度参数表征第一特征图与第二特征图之间的相似度;
第四确定子模块,用于针对所述第一相似度矩阵中的第一相似度参数,若确定该第一相似度参数对应的第一特征图与第二特征图归属于同一待训练图像,则确定该第一相似度参数的取值为预设值,得到与该第一相似度参数对应的第二相似度信息;若确定该第一相似度参数对应的第一特征图与第二特征图不归属于同一待训练图像,则确定该第一相似度参数的取值不变,得到与该第一相似度参数对应的第二相似度信息,以得到所述第一负样本特征矩阵。
20.根据权利要求16或17所述的装置,
所述第三确定模块,具体用于:
根据所述第一正样本特征矩阵与预设特征值,确定所述第一正样本损失值;并根据所述第一负样本特征矩阵,确定所述第一负样本损失值。
21.根据权利要求20所述的装置,其中,若每个所述老师模型具有对应的第一正样本特征矩阵和第一负样本特征矩阵,则所述第三确定模块,具体用于:
根据与每个所述老师模型对应的第一正样本特征矩阵,确定正样本特征总值,其中,所述正样本特征总值为各所述第一正样本特征矩阵之和;并确定所述正样本特征总值与所述预设特征值之间的差值,为所述第一正样本损失值;
根据与每个所述老师模型对应的第一负样本特征矩阵,确定负样本特征总值,其中,所述负样本特征总值为各所述第一负样本特征矩阵之和;并确定所述负样本特征总值,为所述第一负样本损失值。
22.根据权利要求20所述的装置,其中,若所述第二特征图为基于所述老师模型分别对多个所述待训练图像进行处理后得到的融合特征图,则所述第三确定模块,具体用于:
确定所述第一正样本特征矩阵与所述预设特征值之间的差值,为所述第一正样本损失值,并确定所述第一负样本特征矩阵,为第一负样本损失值。
23.根据权利要求15-17、21-22任一项所述的装置,其中,所述第二确定单元,包括:
第四确定模块,用于根据多个所述第一特征图,确定第二正样本特征矩阵;
第五确定模块,用于根据多个所述第一特征图,确定第二负样本特征矩阵;其中,所述第二正样本特征矩阵包括多个第三相似度信息,所述第三相似度信息表征归属于同一待训练图像的第一特征图与第一特征图之间的相似度;所述第二负样本特征矩阵包括多个第四相似度信息,所述第四相似度信息表征归属于不同待训练图像的第一特征图与第一特征图之间的相似度;
第六确定模块,用于根据所述第二正样本特征矩阵和所述第二负样本特征矩阵,确定所述第二损失函数信息。
24.根据权利要求23所述的装置,其中,所述第四确定模块,包括:
第五确定子模块,用于根据多个所述第一特征图,确定第二相似度矩阵;其中,所述第二相似度矩阵中包括多个第二相似度参数,所述第二相似度参数表征第一特征图与第一特征图之间的相似度;
第六确定子模块,用于针对所述第二相似度矩阵中的第二相似度参数,若确定该第二相似度参数对应的两个第一特征图归属于同一待训练图像,则确定该第二相似度参数的取值不变,得到与该第二相似度参数对应的第三相似度信息;若确定该第二相似度参数对应的两个第一特征图不归属于同一待训练图像,则确定该第二相似度参数的取值为预设值,得到与该第二相似度参数对应的第三相似度信息,以得到所述第二正样本特征矩阵。
25.根据权利要求23所述的装置,其中,所述第五确定模块,包括:
第七确定子模块,用于根据多个所述第一特征图,确定第二相似度矩阵;其中,所述第二相似度矩阵中包括多个第二相似度参数,所述第二相似度参数表征第一特征图与第一特征图之间的相似度;
第八确定子模块,用于针对所述第二相似度矩阵中的第二相似度参数,若确定该第二相似度参数对应的两个第一特征图归属于同一待训练图像,则确定该第二相似度参数的取值为预设值,得到与该第二相似度参数对应的第四相似度信息;若确定该第二相似度参数对应的两个第一特征图不归属于同一待训练图像,则确定该第二相似度参数的取值不变,得到与该第二相似度参数对应的第四相似度信息,以得到所述第二负样本特征矩阵。
26.根据权利要求23所述的装置,
所述第六确定模块,具体用于:
根据所述第二正样本特征矩阵与预设特征值,确定所述第二正样本损失值;并根据所述第二负样本特征矩阵,确定所述第二负样本损失值。
27.根据权利要求26所述的装置,其中,所述第六确定模块,具体用于:
确定所述第二正样本特征矩阵与所述预设特征值之间的差值,为所述第二正样本损失值,并确定所述第二负样本特征矩阵,为第二负样本损失值。
28.一种图像处理装置,包括:
获取单元,用于获取待处理图像;
输出单元,用于将所述待处理图像输入至图像处理模型中,得到所述待处理图像的图像处理结果;
其中,所述图像处理模型为基于第一损失函数信息、与所述第一损失函数信息对应的第一预设权重、第二损失函数信息、以及与所述第二损失函数信息对应的第二预设权重,确定总损失函数信息,根据所述总损失函数信息,更新待训练的学生模型所得到的;所述总损失函数信息用于指示第一特征图与对应的第二特征图之间的相似度、以及多个所述第一特征图之间的相似度;所述第一预设权重大于所述第二预设权重;所述第一特征图为基于待训练的学生模型对待训练图像进行处理所得到的,所述第二特征图为基于老师模型对所述待训练图像进行处理所得到的;
其中,所述第一损失函数信息中包括第一正样本损失值和第一负样本损失值;所述第一正样本损失值用于指示归属于同一待训练图像的第一特征图与第二特征图之间的相似度;所述第一负样本损失值用于指示归属于不同待训练图像的第一特征图与第二特征图之间的相似度;所述第二损失函数信息中包括第二正样本损失值和第二负样本损失值;所述第二正样本损失值用于指示归属于同一待训练图像的第一特征图与第一特征图之间的相似度;所述第二负样本损失值用于指示归属于不同待训练图像的第一特征图与第一特征图之间的相似度;所述第一预设权重包括与所述第一正样本损失值对应的第一子权重、以及与所述第一负样本损失值对应的第二子权重;所述第二预设权重包括与所述第二正样本损失值对应的第三子权重、以及与所述第二负样本损失值对应的第四子权重;
所述第一正样本损失值大于所述第一负样本损失值时,所述第一子权重被调节为小于所述第二子权重;所述第一正样本损失值小于所述第一负样本损失值时,所述第一子权重被调节为大于所述第二子权重;所述第一正样本损失值等于所述第一负样本损失值时,所述第一子权重被调节为等于所述第二子权重。
29.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-14中任一项所述的方法。
30.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-14中任一项所述的方法。
31.一种芯片,包括:如权利要求15-27任一项所述的应用于图像处理的模型训练装置,或者,所述芯片包括如权利要求28所述的图像处理装置。
32.一种电子设备,包括如权利要求31所述的芯片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210389251.8A CN114693995B (zh) | 2022-04-14 | 2022-04-14 | 应用于图像处理的模型训练方法、图像处理方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210389251.8A CN114693995B (zh) | 2022-04-14 | 2022-04-14 | 应用于图像处理的模型训练方法、图像处理方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114693995A CN114693995A (zh) | 2022-07-01 |
CN114693995B true CN114693995B (zh) | 2023-07-07 |
Family
ID=82142617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210389251.8A Active CN114693995B (zh) | 2022-04-14 | 2022-04-14 | 应用于图像处理的模型训练方法、图像处理方法和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114693995B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112528059A (zh) * | 2021-02-08 | 2021-03-19 | 南京理工大学 | 基于深度学习的交通目标图像检索方法、装置及可读介质 |
WO2021190451A1 (zh) * | 2020-03-24 | 2021-09-30 | 华为技术有限公司 | 训练图像处理模型的方法和装置 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10755082B2 (en) * | 2016-10-25 | 2020-08-25 | Deep North, Inc. | Point to set similarity comparison and deep feature learning for visual recognition |
WO2019240964A1 (en) * | 2018-06-12 | 2019-12-19 | Siemens Aktiengesellschaft | Teacher and student based deep neural network training |
CN109816039B (zh) * | 2019-01-31 | 2021-04-20 | 深圳市商汤科技有限公司 | 一种跨模态信息检索方法、装置和存储介质 |
CN110147836B (zh) * | 2019-05-13 | 2021-07-02 | 腾讯科技(深圳)有限公司 | 模型训练方法、装置、终端及存储介质 |
CN110414432B (zh) * | 2019-07-29 | 2023-05-16 | 腾讯科技(深圳)有限公司 | 对象识别模型的训练方法、对象识别方法及相应的装置 |
CN111797589B (zh) * | 2020-05-29 | 2024-10-18 | 华为技术有限公司 | 一种文本处理网络、神经网络训练的方法以及相关设备 |
CN111950638B (zh) * | 2020-08-14 | 2024-02-06 | 厦门美图之家科技有限公司 | 基于模型蒸馏的图像分类方法、装置和电子设备 |
CN111950269A (zh) * | 2020-08-21 | 2020-11-17 | 清华大学 | 文本语句处理方法、装置、计算机设备和存储介质 |
CN112183718B (zh) * | 2020-08-31 | 2023-10-10 | 华为技术有限公司 | 一种用于计算设备的深度学习训练方法和装置 |
CN112183577A (zh) * | 2020-08-31 | 2021-01-05 | 华为技术有限公司 | 一种半监督学习模型的训练方法、图像处理方法及设备 |
CN111931865B (zh) * | 2020-09-17 | 2021-01-26 | 平安科技(深圳)有限公司 | 图像分类模型的训练方法、装置、计算机设备及存储介质 |
CN113343803B (zh) * | 2021-05-26 | 2023-08-22 | 北京百度网讯科技有限公司 | 模型训练方法、装置、设备和存储介质 |
CN113326852A (zh) * | 2021-06-11 | 2021-08-31 | 北京百度网讯科技有限公司 | 模型训练方法、装置、设备、存储介质及程序产品 |
CN113378833B (zh) * | 2021-06-25 | 2023-09-01 | 北京百度网讯科技有限公司 | 图像识别模型训练方法、图像识别方法、装置及电子设备 |
CN113361710B (zh) * | 2021-06-29 | 2023-11-24 | 北京百度网讯科技有限公司 | 学生模型训练方法、图片处理方法、装置及电子设备 |
CN113469977B (zh) * | 2021-07-06 | 2024-01-12 | 浙江霖研精密科技有限公司 | 一种基于蒸馏学习机制的瑕疵检测装置、方法、存储介质 |
CN114283316A (zh) * | 2021-09-16 | 2022-04-05 | 腾讯科技(深圳)有限公司 | 一种图像识别方法、装置、电子设备和存储介质 |
CN114049512A (zh) * | 2021-09-22 | 2022-02-15 | 北京旷视科技有限公司 | 模型蒸馏方法、目标检测方法、装置及电子设备 |
CN113947140A (zh) * | 2021-10-13 | 2022-01-18 | 北京百度网讯科技有限公司 | 人脸特征提取模型的训练方法和人脸特征提取方法 |
CN114120074B (zh) * | 2021-11-05 | 2023-12-12 | 北京百度网讯科技有限公司 | 基于语义增强的图像识别模型的训练方法和训练装置 |
CN114186681A (zh) * | 2021-11-30 | 2022-03-15 | 北京百度网讯科技有限公司 | 用于生成模型簇的方法、装置及计算机程序产品 |
-
2022
- 2022-04-14 CN CN202210389251.8A patent/CN114693995B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021190451A1 (zh) * | 2020-03-24 | 2021-09-30 | 华为技术有限公司 | 训练图像处理模型的方法和装置 |
CN112528059A (zh) * | 2021-02-08 | 2021-03-19 | 南京理工大学 | 基于深度学习的交通目标图像检索方法、装置及可读介质 |
Non-Patent Citations (2)
Title |
---|
Open-set Short Utterance Forensic Speaker Verification using Teacher-Student Network with Explicit Inductive Bias;Sang, M等;《arXiv》;1-3 * |
基于生成对抗网络的知识蒸馏数据增强;鲁统伟等;《计算机工程》;1-14 * |
Also Published As
Publication number | Publication date |
---|---|
CN114693995A (zh) | 2022-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114550177B (zh) | 图像处理的方法、文本识别方法及装置 | |
CN112633276B (zh) | 训练方法、识别方法、装置、设备、介质 | |
CN113591918B (zh) | 图像处理模型的训练方法、图像处理方法、装置和设备 | |
CN113361710B (zh) | 学生模型训练方法、图片处理方法、装置及电子设备 | |
CN113239928B (zh) | 图像差异检测及模型训练的方法、设备及程序产品 | |
CN112784765B (zh) | 用于识别动作的方法、装置、设备以及存储介质 | |
CN113627536B (zh) | 模型训练、视频分类方法,装置,设备以及存储介质 | |
CN112949767A (zh) | 样本图像增量、图像检测模型训练及图像检测方法 | |
CN114792355B (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
CN113537192B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
CN115690443B (zh) | 特征提取模型训练方法、图像分类方法及相关装置 | |
CN115456167B (zh) | 轻量级模型训练方法、图像处理方法、装置及电子设备 | |
CN115359308B (zh) | 模型训练、难例识别方法、装置、设备、存储介质及程序 | |
CN115331048B (zh) | 图像分类方法、装置、设备以及存储介质 | |
CN113887615A (zh) | 图像处理方法、装置、设备和介质 | |
CN113344862A (zh) | 缺陷检测方法、装置、电子设备及存储介质 | |
CN113657538B (zh) | 模型训练、数据分类方法、装置、设备、存储介质及产品 | |
CN112784102B (zh) | 视频检索方法、装置和电子设备 | |
CN116824609B (zh) | 文档版式检测方法、装置和电子设备 | |
CN117475032A (zh) | 文生图模型、超网络的生成方法及装置 | |
CN115577106B (zh) | 基于人工智能的文本分类方法、装置、设备和介质 | |
CN114693995B (zh) | 应用于图像处理的模型训练方法、图像处理方法和设备 | |
CN114494782B (zh) | 图像处理方法、模型训练方法、相关装置及电子设备 | |
CN114881227B (zh) | 模型压缩方法、图像处理方法、装置和电子设备 | |
CN115994243A (zh) | 跨模态检索模型处理方法、装置、设备、产品及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |