CN111860588A - 一种用于图神经网络的训练方法以及相关设备 - Google Patents
一种用于图神经网络的训练方法以及相关设备 Download PDFInfo
- Publication number
- CN111860588A CN111860588A CN202010538179.1A CN202010538179A CN111860588A CN 111860588 A CN111860588 A CN 111860588A CN 202010538179 A CN202010538179 A CN 202010538179A CN 111860588 A CN111860588 A CN 111860588A
- Authority
- CN
- China
- Prior art keywords
- similarity
- training
- image
- images
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 797
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 292
- 238000000034 method Methods 0.000 title claims abstract description 145
- 230000006870 function Effects 0.000 claims abstract description 291
- 238000012360 testing method Methods 0.000 claims abstract description 263
- 238000012545 processing Methods 0.000 claims description 103
- 239000011159 matrix material Substances 0.000 claims description 93
- 238000000605 extraction Methods 0.000 claims description 47
- 230000015654 memory Effects 0.000 claims description 34
- 238000003860 storage Methods 0.000 claims description 22
- 230000009467 reduction Effects 0.000 claims description 20
- 238000003672 processing method Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 19
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 35
- 238000010586 diagram Methods 0.000 description 31
- 238000004364 calculation method Methods 0.000 description 29
- 238000013461 design Methods 0.000 description 20
- 230000009286 beneficial effect Effects 0.000 description 13
- 241000282326 Felis catus Species 0.000 description 12
- 241000282320 Panthera leo Species 0.000 description 10
- 238000000547 structure data Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 241000282472 Canis lupus familiaris Species 0.000 description 7
- 241000220225 Malus Species 0.000 description 7
- 241000282376 Panthera tigris Species 0.000 description 7
- 230000004913 activation Effects 0.000 description 7
- 241000220223 Fragaria Species 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 235000016623 Fragaria vesca Nutrition 0.000 description 4
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000009827 uniform distribution Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 235000021016 apples Nutrition 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 235000021012 strawberries Nutrition 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及人工智能领域中的小样本学习技术,公开了一种用于图神经网络的训练方法以及相关设备。方法包括:将包括测试图像和N类训练图像的训练图像集合输入图神经网络,以获取第一相似度信息和测试图像的生成分类类别,第一相似度信息指示测试图像的特征与N类中每类训练图像的特征之间的相似度;根据第一损失函数和第二损失函数对图神经网络进行训练;第一损失函数的目标为提高测试图像的特征与正确分类类别的训练图像的特征之间的相似度,第二损失函数的目标为拉近生成分类类别和正确分类类别的相似度,增设第一损失函数的约束,更加充分利用训练阶段的样本中的信息,提高图神经网络的特征表达能力,以提高图神经网络输出结果的精度。
Description
技术领域
本申请涉及人工智能领域,尤其涉及一种用于图神经网络的训练方法以及相关设备。
背景技术
人工智能(Artificial Intelligence,AI)是利用计算机或者计算机控制的机器模拟、延伸和扩展人的智能。人工智能包括研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。目前,对基于深度学习的图神经网络进行小样本学习是人工智能一种可行的研究方向。
小样本学习指的是神经网络在预学习了一定已知类别的大量样本后,对于新的类别,只需要少量的标记样本就能够实现快速学习。但由于小样本学习中采用的新类别的样本较少,通过小样本学习的方式对图神经网络进行训练,在训练结束时,得到的图神经网络的权重参数往往不够优良,训练后的图神经网络的特征表达能力受到限制,进而影响整个图神经网络输出的处理结果的精度。
因此,一种能够提高图神经网络的分类精度的小样本学习方法亟待推出。
发明内容
本申请实施例提供了一种用于图神经网络的训练方法以及相关设备,在训练阶段增设第一损失函数,可以更加充分利用训练阶段的样本中的信息,且第一损失函数的训练目标为提高测试图像的特征与正确类别的训练图像的图节点中心之间的相似度,能够提高图神经网络的特征表达能力,进而提高整个图神经网络输出的处理结果的精度。
为解决上述技术问题,本申请实施例提供以下技术方案:
第一方面,本申请实施例提供一种图神经网络的训练方法,可用于人工智能领域的小样本学习领域中。方法包括:训练设备获取训练图像集合,训练图像集合中包括h个测试图像和N类训练图像,每类训练图像中包括至少一个训练图像,N为大于或等于1的整数。训练设备将训练图像集合输入图神经网络,以获取第一相似度信息和与测试图像对应的生成分类类别。其中,第一相似度信息指示训练图像集合中每个测试图像的特征与N类训练图像中每类训练图像的图节点中心之间的相似度,一类训练图像的图节点中心指示一类训练图像的特征;第一相似度信息具体可以表现为一个h乘N的矩阵,矩阵中每个元素指代一个测试图像的特征与一类训练图像的图节点中心的相似度。若训练图像集合中包括一个测试图像,则输出前述一个测试图像的生成分类类别;若训练图像集合中包括多个测试图像,则输出前述多个测试图像中每个测试图像的生成分类类别。训练设备根据第一相似度信息、第一损失函数、生成分类类别和第二损失函数,对图神经网络进行训练。其中,第一损失函数的训练目标为提高测试图像的特征与第一类别的训练图像的图节点中心之间的第一相似度,第二损失函数的训练目标为拉近生成分类类别和第一类别的相似度,第一类别为N类中测试图像的正确分类类别。
本实现方式中,在第二损失函数的基础上增加了第一损失函数,来进一步约束图神经网络的训练过程,可以更加充分利用训练阶段的样本中的信息;此外,由于若测试图像的特征与正确分类类别的特征的相似度越高,则证明图神经网络的特征表达能力越强,且整个图神经网络越容易将测试图像分类至正确类别,从而提高整个图神经网络输出的处理结果的精度。
在第一方面的一种可能实现方式中,训练设备获取第一相似度信息,包括:训练设备通过图神经网络计算第二相似度信息。其中,第二相似度信息指示训练图像集合中任意两个图像的特征之间的相似度;N类训练图像中包括s个训练图像,也即训练图像集合中包括(h+s)个图像,则第二相似度信息可以为(h+s)乘(h+s)的相似度矩阵,相似度矩阵中的每一行代表一个图像的特征和其他图像的特征之间的相似度。训练设备根据第二相似度信息,生成第一相似度信息。其中,测试图像的特征与第二类别的训练图像的图节点中心之间的相似度为以下中的任一项:测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的平均值、测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的最大值和测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的最小值,第二类别为N类中的任一类。
本实现方式中,提供了第一相似度信息的三种表达形式,提高了本方案的实现灵活性;且不需要实际计算每类训练图像的图节点中心,而是直接根据第二相似度信息来计算第一相似度信息,充分利用了图神经网络计算过程中的信息,有利于提高训练阶段的效率。
在第一方面的一种可能实现方式中,测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的平均值。训练设备根据第二相似度信息,生成第一相似度信息,包括:训练设备从第二相似度信息中获取第三相似度信息。其中,第三相似度信息指示训练图像集合中任意测试图像与任意训练图像之间的相似度,第三相似度信息具体可以表现为一个h乘s的矩阵,该矩阵中每一行指示一个测试图像与每个训练图像之间的相似度。训练设备将第三相似度信息与第一矩阵相乘,得到第二矩阵。其中,第一矩阵包括训练图像集合中所有训练图像的独热编码,一个训练图像的独热编码具体可以表现为一个包括N个元素的向量,用于指示训练图像在N类类别中的正确分类类别。训练设备将第二矩阵与N类中每类训练图像的个数相除,得到第一相似度信息;N类中每类训练图像的个数具体可以表现为一个包含N个元素的向量,该向量中一个元素代表N类中一类训练图像中的图像个数。
本实现方式中,公开了第一相似度信息的具体生成方式,提高了本方案与具体应用场景的结合程度;此外,一次性计算所有测试图像与N类中每类训练图像的图节点中心的相似度,也即并非逐个计算第一相似度信息中每个元素的数值,而是一次性计算整个第一相似度信息,提高了训练阶段的效率。
在第一方面的一种可能实现方式中,第一损失函数的训练目标为第一相似度与第二相似度之间的差距大于预设阈值,第二相似度为测试图像的特征与第三类别的训练图像的图节点中心之间的相似度,第三类别为N类中测试图像的错误分类类别。其中,第一损失函数具体表现为交叉熵损失函数或三元组损失函数。本实现方式中,将第一损失函数的目标设定为第一相似度与第二相似度之间的差距大于预设阈值,也即不仅需要测试图像的特征与正确分类类别的图节点中心之间的相似度大于测试图像的特征与错误分类类别的图节点中心之间的相似度,而且两者之间的差距要大于预设阈值,以进一步提高训练后的图神经网络的特征表达能力,进而提高训练后的图神经网络的处理结果的精度;用户可以结合实际情况灵活设定预设阈值的取值,提高了本方案的实现灵活性。
在第一方面的一种可能实现方式中,第一相似度与第二相似度之间的差距大于预设阈值为以下中的任一项:第一相似度与第二相似度之间的差值大于预设阈值和第一相似度与第二相似度之间的比值大于预设阈值。本实现方式中,提供了第一相似度与第二相似度之间的差距的两种比较方式,提高了本方案的实现灵活性。
在第一方面的一种可能实现方式中,方法还包括:训练设备从第一相似度信息中获取第一相似度和第二相似度,并对第一相似度进行缩小处理;具体的,训练设备将第一相似度与预设阈值相减,或者,训练设备将第一相似度与预设阈值相除,得到缩小后的第一相似度。训练设备根据第二相似度和缩小处理后的第一相似度,生成第一损失函数的函数值。本实现方式中,先对第一相似度做缩小处理,再利用缩小处理后的第一相似度和第二相似度生成第一损失函数的函数值,提供了第一损失函数的函数值的一种生成方式,操作简单。
在第一方面的一种可能实现方式中,图神经网络包括一个特征提取网络和至少一个特征更新网络,特征提取网络用于对输入的训练图像集合中的图像进行特征提取操作,每个特征更新网络,用于计算第二相似度信息,并根据每个图像的特征和第二相似度信息,进行特征更新操作。训练设备通过图神经网络计算第二相似度信息,包括:通过至少一个特征更新网络中的第一个特征更新网络计算第二相似度信息。训练设备根据第一相似度信息和第一损失函数,对图神经网络进行训练,包括:训练设备根据第一相似度信息和第一损失函数,对图神经网络中的特征提取网络和第一个特征更新网络进行训练。本实现方式中,由于若第一个特征更新网络生成的图像的特征就存在误差,则在后续特征更新以及特征处理的过程中会将误差不断放大,利用第一损失函数的函数值针对性的训练特征提取网络和第一个特征更新网络的权重参数,有利于从源头处提高图神经网络的特征表达能力,以更大程度的提高整个图神经网络的特征表达能力,从而提高整个图神经网络的输出结果的精度。
在第一方面的一种可能实现方式中,图神经网络用于进行图像识别或者进行图像分类。本实现方式中,提供了图像分类和图像识别两个具体的应用场景,提高了本方案与应用场景的结合程度,也提高了本方案的实现灵活性。
第二方面,本申请实施例还提供一种图神经网络的训练方法,可用于人工智能领域的小样本学习领域中。方法包括:训练设备获取训练样本集合,训练样本集合中包括测试样本和N类训练样本,N为大于或等于1的整数;训练设备将训练样本集合输入图神经网络,以获取第一相似度信息和与测试样本对应的生成分类类别,第一相似度信息指示测试样本的特征与N类训练样本中每类训练样本的图节点中心之间的相似度,每类训练样本的图节点中心指示每类训练样本的特征;训练设备根据第一相似度信息、第一损失函数、生成分类类别和第二损失函数,对图神经网络进行训练;其中,第一损失函数的训练目标为提高测试样本的特征与第一类别的训练样本的图节点中心之间的第一相似度,第二损失函数的训练目标为拉近生成分类类别和第一类别的相似度,第一类别为N类中测试样本的正确分类类别。
在第二方面的一种可能实现方式中,训练样本集合中的样本为以下中的任一种:图像样本、文本样本和语音样本。本实现方式中,本申请实施例提供的训练方法不仅适用于进行图像处理的图神经网络,还适用于进行文本处理或语音处理的图神经网络,扩展了本方案的应用场景,提高了本方案的实现灵活性。
在第二方面的一种可能实现方式中,训练设备获取第一相似度信息,包括:训练设备通过图神经网络计算第二相似度信息,第二相似度信息指示训练样本集合中任意两个样本的特征之间的相似度;训练设备根据第二相似度信息,生成第一相似度信息,其中,测试样本的特征与第二类别的训练样本的图节点中心之间的相似度为以下中的任一项:测试样本的特征与第二类别的训练样本中每个训练样本的特征之间相似度的平均值、测试样本的特征与第二类别的训练样本中每个训练样本的特征之间相似度的最大值和测试样本的特征与第二类别的训练样本中每个训练样本的特征之间相似度的最小值,第二类别为N类中的任一类。
在第二方面的一种可能实现方式中,测试样本的特征与第二类别的训练样本中每个训练样本的特征之间相似度的平均值,训练设备根据第二相似度信息,生成第一相似度信息,包括:训练设备从第二相似度信息中获取第三相似度信息,第三相似度信息指示训练样本集合中任意测试样本与任意训练样本之间的相似度;训练设备将第三相似度信息与第一矩阵相乘,得到第二矩阵,第一矩阵包括训练样本集合中所有训练样本的独热编码;训练设备将第二矩阵与N类中每类训练样本的个数相除,得到第一相似度信息。
在第二方面的一种可能实现方式中,第一损失函数的训练目标为第一相似度与第二相似度之间的差距大于预设阈值,第二相似度为测试样本的特征与第三类别的训练样本的图节点中心之间的相似度,第三类别为N类中测试样本的错误分类类别。
在第二方面的一种可能实现方式中,第一相似度与第二相似度之间的差距大于预设阈值为以下中的任一项:第一相似度与第二相似度之间的差值大于预设阈值和第一相似度与第二相似度之间的比值大于预设阈值。
在第二方面的一种可能实现方式中,方法还包括:训练设备从第一相似度信息中获取第一相似度和第二相似度,并对第一相似度进行缩小处理;训练设备根据第二相似度和缩小处理后的第一相似度,生成第一损失函数的函数值。
在第二方面的一种可能实现方式中,图神经网络包括一个特征提取网络和至少一个特征更新网络,特征提取网络用于对输入的训练样本集合中的样本进行特征提取操作,每个特征更新网络,用于计算第二相似度信息,并根据每个样本的特征和第二相似度信息,进行特征更新操作;训练设备通过图神经网络计算第二相似度信息,包括:训练设备通过至少一个特征更新网络中的第一个特征更新网络计算第二相似度信息;训练设备根据第一相似度信息和第一损失函数,对图神经网络进行训练,包括:训练设备根据第一相似度信息和第一损失函数,对图神经网络中的特征提取网络和第一个特征更新网络进行训练。
对于本申请实施例第二方面以及第二方面的各种可能实现方式中步骤的具体实现方式、每种可能实现方式中名词的具体含义,以及每种可能实现方式所带来的有益效果,均可以参考第一方面中各种可能的实现方式中的描述,此处不再一一赘述。
第三方面,本申请实施例提供一种图像处理方法,可用于人工智能领域的小样本学习领域中。方法可以包括:执行设备获取待处理数据,待处理数据中包括待分类图像、N类参考图像和N类参考图像中每个参考图像的正确分类类别,N为大于或等于1的整数;执行设备将待处理数据输入图神经网络,以得到待分类图像的特征和每个参考图像的特征;执行设备根据待分类图像的特征、参考图像的特征和参考图像的正确分类类别,生成待分类图像的类别指示信息,类别指示信息指示待分类图像在N类中的生成分类类别;其中,图神经网络为根据第一损失函数和第二损失函数训练得到的,第一损失函数的训练目标为提高待分类图像的特征与第一类别的参考图像的图节点中心之间的第一相似度,第二损失函数的训练目标为拉近生成分类类别和第一类别的相似度,第一类别为N类中待分类图像的正确分类类别。
在第三方面的一种可能实现方式中,待分类图像的特征与第一类别的参考图像的图节点中心之间的第一相似度为以下中的任一项:待分类图像的特征与第一类别的参考图像中每个参考图像的特征之前相似度的平均值、待分类图像的特征与第一类别的参考图像中每个参考图像的特征之前相似度的最大值和待分类图像的特征与第一类别的参考图像中每个参考图像的特征之前相似度的最小值。
在第三方面的一种可能实现方式中,第一损失函数的参考目标为第一相似度与第二相似度之间的差距大于预设阈值,第二相似度为待分类图像的特征与第三类别的参考图像的图节点中心之间的相似度,第三类别为N类中待分类图像的错误分类类别。
本申请实施例第三方面中,执行设备上的图神经网络还可以用于实现第一方面各种可能实现方式中图神经网络执行的步骤,对于本申请实施例第三方面以及第三方面的各种可能实现方式中某些步骤的具体实现方式,以及每种可能实现方式所带来的有益效果,均可以参考第一方面中各种可能的实现方式中的描述,此处不再一一赘述。
第四方面,本申请实施例提供了一种图神经网络的训练装置,可用于人工智能领域的小样本学习领域中。装置可以包括获取模块、输入模块和训练模块。获取模块,用于获取训练图像集合,训练图像集合中包括测试图像和N类训练图像,N为大于或等于1的整数;输入模块,用于将训练图像集合输入图神经网络,以获取第一相似度信息和与测试图像对应的生成分类类别,第一相似度信息指示训练图像集合中每个测试图像的特征与N类训练图像中每类训练图像的图节点中心之间的相似度,一类训练图像的图节点中心指示一类训练图像的特征;训练模块,用于根据第一相似度信息、第一损失函数、生成分类类别和第二损失函数,对图神经网络进行训练;其中,第一损失函数的训练目标为提高测试图像的特征与第一类别的训练图像的图节点中心之间的第一相似度,第二损失函数的训练目标为拉近生成分类类别和第一类别的相似度,第一类别为N类中测试图像的正确分类类别。
本申请实施例第四方面中,图神经网络的训练装置包括各个模块还可以用于实现第一方面各种可能实现方式中的步骤,对于本申请实施例第四方面以及第四方面的各种可能实现方式中某些步骤的具体实现方式,以及每种可能实现方式所带来的有益效果,均可以参考第一方面中各种可能的实现方式中的描述,此处不再一一赘述。
第五方面,本申请实施例提供了一种图神经网络的训练装置,可用于人工智能领域的小样本学习领域中。装置可以包括获取模块、输入模块和训练模块。获取模块,用于获取训练样本集合,训练样本集合中包括测试样本和N类训练样本,N为大于或等于1的整数;输入模块,用于将训练样本集合输入图神经网络,以获取第一相似度信息和与测试样本对应的生成分类类别,第一相似度信息指示测试样本的特征与N类训练样本中每类训练样本的图节点中心之间的相似度,每类训练样本的图节点中心指示每类训练样本的特征;训练模块,用于根据第一相似度信息、第一损失函数、生成分类类别和第二损失函数,对图神经网络进行训练;其中,第一损失函数的训练目标为提高测试样本的特征与第一类别的训练样本的图节点中心之间的第一相似度,第二损失函数的训练目标为拉近生成分类类别和第一类别的相似度,第一类别为N类中测试样本的正确分类类别。
本申请实施例第五方面中,图神经网络的训练装置包括各个模块还可以用于实现第二方面各种可能实现方式中的步骤,对于本申请实施例第五方面以及第五方面的各种可能实现方式中某些步骤的具体实现方式,以及每种可能实现方式所带来的有益效果,均可以参考第二方面中各种可能的实现方式中的描述,此处不再一一赘述。
第六方面,本申请实施例提供一种图像处理装置,可用于人工智能领域的小样本学习领域中。装置可以包括获取模块、输入模块和生成模块。其中,获取模块,用于获取待处理数据,待处理数据中包括待分类图像、N类参考图像和N类参考图像中每个参考图像的正确分类类别,N为大于或等于1的整数;输入模块,用于将待处理数据输入图神经网络,以得到待分类图像的特征和每个参考图像的特征;生成模块,用于根据待分类图像的特征、参考图像的特征和参考图像的正确分类类别,生成待分类图像的类别指示信息,类别指示信息指示待分类图像在N类中的生成分类类别;图神经网络为根据第一损失函数和第二损失函数训练得到的,第一损失函数的训练目标为提高待分类图像的特征与第一类别的参考图像的图节点中心之间的第一相似度,第二损失函数的训练目标为拉近生成分类类别和第一类别的相似度,第一类别为N类中待分类图像的正确分类类别。
本申请实施例第六方面中,图像处理装置包括各个模块还可以用于实现第三方面各种可能实现方式中的步骤,对于本申请实施例第六方面以及第六方面的各种可能实现方式中某些步骤的具体实现方式,以及每种可能实现方式所带来的有益效果,均可以参考第三方面中各种可能的实现方式中的描述,此处不再一一赘述。
第七方面,本申请实施例提供了一种训练设备,可以包括处理器,处理器和存储器耦合,存储器存储有程序指令,当存储器存储的程序指令被处理器执行时实现上述第一方面所述的图神经网络的训练方法。对于处理器执行第一方面的各个可能实现方式中训练设备执行的步骤,具体均可以参阅第一方面,此处不再赘述。
第八方面,本申请实施例提供了一种训练设备,可以包括处理器,处理器和存储器耦合,存储器存储有程序指令,当存储器存储的程序指令被处理器执行时实现上述第二方面所述的图神经网络的训练方法。对于处理器执行第二方面的各个可能实现方式中训练设备执行的步骤,具体均可以参阅第二方面,此处不再赘述。
第九方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行上述第一方面所述的图神经网络的训练方法,或者,使得计算机执行上述第二方面所述的图神经网络的训练方法。
第十方面,本申请实施例提供了一种电路系统,所述电路系统包括处理电路,所述处理电路配置为执行上述第一方面所述的图神经网络的训练方法,或者,所述处理电路配置为执行上述第二方面所述的图神经网络的训练方法。
第十一方面,本申请实施例提供了一种计算机程序,当其在计算机上行驶时,使得计算机执行上述第一方面所述的图神经网络的训练方法,或者,使得计算机执行上述第二方面所述的图神经网络的训练方法。
第十二方面,本申请实施例提供了一种芯片系统,该芯片系统包括处理器,用于支持训练设备或图神经网络的训练装置实现上述方面中所涉及的功能,例如,发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存服务器或通信设备必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
附图说明
图1为本申请实施例提供的人工智能主体框架的一种结构示意图;
图2为本申请实施例提供的样本处理系统的一种系统架构图;
图3为本申请实施例提供的图神经网络的训练方法的一种流程示意图;
图4为本申请实施例提供的图神经网络的一种示意图;
图5为本申请实施例提供的图神经网络的训练方法中生成第二相似度信息的一种流程示意图;
图6为本申请实施例提供的图神经网络的训练方法中第一相似度信息的一种示意图;
图7为本申请实施例提供的图神经网络的训练方法的一种流程示意图;
图8为本申请实施例提供的图像处理方法的一种流程示意图;
图9a为本申请实施例提供的对图像的特征进行可视化处理后的一种示意图;
图9b为采用本申请实施例提供的图神经网络的训练方法的有益效果的一种对比示意图;
图10为本申请实施例提供的图神经网络的训练装置的一种结构示意图;
图11为本申请实施例提供的图神经网络的训练装置的另一种结构示意图;
图12为本申请实施例提供的图神经网络的训练装置的再一种结构示意图;
图13为本申请实施例提供的图神经网络的训练装置的又一种结构示意图;
图14为本申请实施例提供的图像处理装置的一种结构示意图;
图15为本申请实施例提供的训练设备的一种结构示意图;
图16本申请实施例提供的芯片的一种结构示意图。
具体实施方式
本申请实施例提供了一种用于图神经网络的训练方法以及相关设备,在训练阶段增设第一损失函数,可以更加充分利用训练阶段的样本中的信息,且第一损失函数的训练目标为提高测试图像的特征与正确类别的训练图像的图节点中心之间的相似度,能够提高图神经网络的特征表达能力,进而提高整个图神经网络输出的处理结果的精度。
本申请的说明书和权利要求书及上述附图中的术语“第一”、第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
首先对人工智能系统总体工作流程进行描述,请参见图1,图1示出的为人工智能主体框架的一种结构示意图,下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中,“智能信息链”反映从数据的获取到处理的一列过程。举例来说,可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中,数据经历了“数据—信息—知识—智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程,反映人工智能为信息技术产业带来的价值。
(1)基础设施
基础设施为人工智能系统提供计算能力支持,实现与外部世界的沟通,并通过基础平台实现支撑。通过传感器与外部沟通;计算能力由智能芯片提供,作为示例,该智能芯片包括中央处理器(central processing unit,CPU)、神经网络处理器(neural-networkprocessing unit,NPU)、图形处理器(graphics processing unit,GPU)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程逻辑门阵列(fieldprogrammable gate array,FPGA)等硬件加速芯片;基础平台包括分布式计算框架及网络等相关的平台保障和支持,可以包括云存储和计算、互联互通网络等。举例来说,传感器和外部沟通获取数据,这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。
(2)数据
基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本,还涉及到传统设备的物联网数据,包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。
(3)数据处理
数据处理通常包括数据训练,机器学习,深度学习,搜索,推理,决策等方式。
其中,机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
推理是指在计算机或智能系统中,模拟人类的智能推理方式,依据推理控制策略,利用形式化的信息进行机器思维和求解问题的过程,典型的功能是搜索与匹配。
决策是指智能信息经过推理后进行决策的过程,通常提供分类、排序、预测等功能。
(4)通用能力
对数据经过上面提到的数据处理后,进一步基于数据处理的结果可以形成一些通用的能力,比如可以是算法或者一个通用系统,例如,翻译,文本的分析,计算机视觉的处理,语音识别,图像的识别等等。
(5)智能产品及行业应用
智能产品及行业应用指人工智能系统在各领域的产品和应用,是对人工智能整体解决方案的封装,将智能信息决策产品化、实现落地应用,其应用领域主要包括:智能终端、智能制造、智能交通、智能家居、智能医疗、智能安防、自动驾驶、平安城市等。
本申请实施例主要应用于采用小样本学习方法对图神经网络进行训练的应用场景中,训练后的图神经网络可以应用上述各种应用领域中以实现分类或识别的功能,训练后的图神经网络的处理对象可以为图像样本、文本样本或语音样本等。作为示例,例如在智能终端领域,可以在智能终端上配置训练好的图神经网络来实现语音识别功能。作为另一示例,例如在自动驾驶领域,可以在自动驾驶车辆上配置训练好的图神经网络来实现图像分类功能。作为又一示例,例如在智能安防领域,可以在监控系统中配置训练好的图神经网络来实现图像识别功能。前述种种示例中提及的图神经网络在训练阶段均可以采用小样本学习的方式进行训练,进而可以通过本申请实施例提供的图神经网络训练方法来提高训练后的图神经网络输出的处理结果的精度。应当理解,此处举例仅为方便对本申请实施例的应用场景进行理解,不对本申请实施例的应用场景进行穷举。
下面结合附图,对本申请的实施例进行描述。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
为了便于理解本方案,首先结合图2对本申请实施例提供的样本处理系统的系统架构进行介绍,请先参阅图2,图2为本申请实施例提供的样本处理系统的一种系统架构图。在图2中,样本处理系统200包括执行设备210、训练设备220、数据库230和数据存储系统240,执行设备210中包括计算模块211。
其中,在训练阶段,数据库230用于存储训练样本集合,训练样本集合中包括一个或多个训练样本、一个或多个测试样本以及每个训练样本的标注分类。训练设备220生成用于处理样本的目标模型/规则201,并利用数据库中的训练样本集合对目标模型/规则201进行迭代训练,得到成熟的目标模型/规则201,该目标模型/规则201具体表现为图神经网络。训练设备220得到的图神经网络可以应用不同的系统或设备中。
在推理阶段,执行设备210可以调用数据存储系统240中的数据、代码等,也可以将数据、指令等存入数据存储系统240中。数据存储系统240可以置于执行设备210中,也可以为数据存储系统240相对执行设备210是外部存储器。计算模块211可以通过样本处理网络对执行设备210采集到的样本进行处理,得到处理结果,处理结果的具体表现形式与样本处理网络的功能相关。
本申请的一些实施例中,例如图2中,“用户”可以直接与执行设备210进行交互,也即执行设备210与客户设备集成于同一设备中。但图2仅是本发明实施例提供的两种样本处理系统的架构示意图,图中所示设备、器件、模块等之间的位置关系不构成任何限制。在本申请的另一些实施例中,执行设备210和客户设备可以为分别独立的设备,执行设备210配置有输入/输出接口,与客户设备进行数据交互,“用户”可以通过客户设备向输入/输出接口输入采集到的样本,执行设备210通过输入/输出接口将处理结果返回给客户设备。
结合上述描述,本申请实施例提供了一种图神经网络的训练方法。在图神经网络的训练阶段增设第一损失函数,第一损失函数的训练目标为提高测试图像的特征与第一类别的训练图像的图节点中心之间的第一相似度,该第一类别为测试图像的正确分类类别。增设第一损失函数从不同的角度利用训练阶段的样本,能够更加充分利用训练阶段的样本中的信息;此外,由于若测试图像的特征与正确分类类别的特征的相似度越高,则证明图神经网络的特征表达能力越强,且整个图神经网络越容易将测试图像分类至正确类别,从而提高整个图神经网络输出的处理结果的精度。由于该方法对训练阶段和推理阶段均有影响,而训练阶段和推理阶段的实现流程有所不同,下面分别对前述两个阶段的具体实现流程进行描述。
一、训练阶段
本申请实施例中,训练阶段指的是上述图2中训练设备220对目标模型/规则201执行训练操作的过程。先以待处理的样本为图像样本为例,对本申请实施例提供的图神经网络的训练方法进行介绍。请参阅图3,图3为本申请实施例提供的图神经网络的训练方法的一种流程示意图,方法可以包括:
301、训练设备获取训练图像集合,训练图像集合中包括测试图像和N类训练图像。
本申请实施例中,训练设备在执行小样本任务时,会获取一个训练图像集合,训练样本集合中包括h个测试图像和N类训练图像,N类训练图像中共包括s个训练图像。其中,任一个测试图像对应的正确分类类别均包含于前述N类类别中,h、N和s均为大于或等于1的整数,N的取值由实际应用场景中整个图神经网络的分类任务确定,此处不做限定。作为示例,例如N的取值为5,N类训练图像的类别分别为猫、狗、狮子、草莓和苹果,则任一个测试图像的类别为猫、狗、狮子、草莓或苹果中的一种,应理解,此处举例仅为方便理解本方案,不用于限定本方案。
在一种实现方式中,训练设备可以从公开图像集中获取训练图像集合。具体的,公开图像集中包括M类图像,M为大于N的整数。训练设备从M类图像中随机选取N类作为当前小样本任务中的类别,进而从N类图像的每类图像中随机选取至少一个图像作为小样本任务的训练图像。其中,N类训练图像中包括一个或多个训练图像,不同种类的训练图像的个数可以相同或不同。作为示例,例如N的取值为5,N类训练图像的类别分别为猫、狗、狮子、草莓和苹果,则训练设备可以分别选取5个猫、狗、狮子、草莓和苹果的图像;作为另一示例,训练设备也可以选取3个猫的图像、3个狗的图像、4个狮子的图像、5个草莓的图像和5个苹果的图像,应理解,此处举例仅为方便理解本方案,不用于限定本方案。
在执行完对训练图像的选取操作之后,训练设备可以获取到N类图像的剩余图像,从剩余图像中随机选取至少一个图像作为小样本任务的测试图像,以保证在一个小样本任务中训练图像和测试图像的不重合。在一个小样本任务中,可以有一个或多个测试图像,具体执行一次小样本任务中采用测试图像的个数可以灵活设定,此处不做限定。
在另一种实现方式中,训练设备还可以通过图像采集设备直接采集获取执行一个小样本任务所需要的训练图像集合。
训练设备还会获取每个训练图像的正确分类类别以及每个测试图像的正确分类类别。其中,在一个小样本任务中,训练图像用于引导图神经网络学习N类训练图像中每类训练图像的特征,测试图像用于测试图神经网络的分类能力。
302、训练设备将训练图像集合输入图神经网络,并通过图神经网络生成每个图像的初始特征。
本申请实施例中,训练设备将训练图像集合以及每个训练图像的正确分类类别输入图神经网络中。其中,图神经网络为一类神经网络,图神经网络的特点在于能够处理图(graph)结构数据。进一步地,图结构数据包括节点数据和图结构的邻接矩阵。本申请实施例中的节点数据可以指示训练图像集合中每个图像的特征;邻接矩阵反映节点与节点之间的边,本申请实施例中的邻接矩阵可以指示训练图像集合中任意两个图像的特征之间的相似度。
图神经网络可以用于图像分类或图像识别,作为示例,例如图神经网络具体可以为宽残差神经网络(wide residual networks,WRN)、残差神经网络(residual networks,ResNet)或其他类型的图网络,此处不做穷举。本申请实施例中,提供了图像分类和图像识别两个具体的应用场景,提高了本方案与应用场景的结合程度,也提高了本方案的实现灵活性。
进一步地,图神经网络包括一个特征提取网络(backbone)、至少一个特征更新网络和特征处理网络。特征提取网络用于对输入的训练图像集合中的图像进行特征提取。每个特征更新网络,用于计算第二相似度信息,并根据第二相似度信息和每个图像的特征,进行特征更新操作。更进一步地,每个特征更新网络可以包括相似度计算模块和更新模块,相似度计算模块用于根据每个图像的特征(通过特征提取网络或者上一个特征更新网络生成)计算第二相似度信息,第二相似度信息指示训练图像集合中任意两个图像的特征之间的相似度;更新模块用于根据第二相似度信息和每个图像的特征,生成每个图像更新后的特征。特征处理网络用于根据最后一个特征更新网络生成的每个图像的特征,进行特征处理,输出与测试图像对应的处理结果;更进一步地,特征处理网络可以为分类器,更进一步地,该分类器可以具体包括至少一个感知机,分类器也可以表现为其他形式,此处不做穷举。
为进一步理解本方案,请参阅图4,图4为本申请实施例提供的图神经网络的一种示意图。图4中以N的取值为4、训练图像集合中共包括5个图像、5个图像中有4个训练图像和1个测试图像、图神经网络中共包括两个特征更新网络且整个图神经网络用于进行图像识别为例,A1指的是5个图像的初始特征,A2指的是第一个特征更新网络,A3指的是第一个特征更新网络中的生成模块生成的5个图像的更新后特征,A4指的是第二个特征更新网络,A5指的是第二个特征更新网络中的生成模块生成的5个图像的更新后特征,将第二个特征更新网络中的生成模块生成的5个图像的更新后特征输入到分类器(也即特征处理网络的一个示例)中,分类器输出1个测试图像的识别结果。应理解,图4中的举例仅为方便理解本方案,不用于限定本方案。
训练设备在将训练图像集合以及每个训练图像的正确分类类别输入图神经网络之后,通过图神经网络的特征提取网络生成训练图像集合中每个图像的初始特征。其中,通过图神经网络生成训练图像的初始特征的方式,和,生成测试图像的初始特征的方式可以不同。
具体的,针对训练图像n的初始特征的生成过程,训练图像n为训练图像集合的N类训练图像中任意一个训练图像。训练设备在通过特征提取网络对训练图像n进行特征提取,得到训练图像的特征xn,进而可以将特征xn直接确定为训练图像n的初始特征。其中,特征xn具体可以表现为一维向量、二维矩阵或更高维的张量等,此处不做限定。
可选地,训练设备还通过特征提取网络将训练图像n的特征xn与训练图像n的独热(one-hot)编码进行整合,得到训练图像n的初始特征。其中,整合的方式可以为以下中任一种或组合:拼接、加法、减法、乘法、除法或其他整合方式等。图像n的独热编码具体可以表现为一个包括N个元素的向量,用于指示训练图像n在N类类别中的正确分类类别。作为示例,例如N的取值为5,5种分类类别分别为猫、狗、狮子、草莓和苹果,图像n的独热编码可以为(0,0,1,0,0),则图像n的独热编码指示图像n的分类类别为狮子,应理解,在其他实现方式中,图像n的独热编码也可以为(0,0,2,0,0)或其他形式等,N的取值也可以为更多或更少,此处举例仅为方便理解,不用于限定本方案。
针对测试图像q的初始特征的生成过程,测试图像q为至少一个测试图像中任意一个测试图像。训练设备在通过特征提取网络对测试图像q进行特征提取,得到测试图像的特征xm,进而可以将特征xm直接确定为测试图像q的初始特征。其中,特征xm的具体表现形式与特征xn相同,可参阅上述描述。
对应地,为了使训练图像的初始特征的格式和测试图像的初始特征的格式的一致性,训练设备还可以通过特征提取网络将测试图像q的特征xn与测试图像q在N类类别上的均匀分布进行整合,得到测试图像q的初始特征。其中,整合方式可参阅上述描述;测试图像q在N类类别上的均匀分布具体也可以表现为一个包括N个相同元素的向量。作为示例,例如N的取值为5,则测试图像q在N类类别上的均匀分布可以为(0.2,0.2,0.2,0.2,0.2),在其他实现方式中,测试图像q在N类类别上的均匀分布也可以为(1,1,1,1,1)或其他形式等,此处举例仅为方便理解,不做限定。
303、训练设备通过图神经网络计算第二相似度信息,第二相似度信息指示训练图像集合中任意两个图像的特征之间的相似度。
本申请实施例中,训练设备在通过图神经网络的特征提取网络得到每个图像的初始特征,或者,通过上一个特征更新网络得到每个图像的更新后特征之后,通过当前特征更新网络来计算第二相似度信息。其中,第二相似度信息指示训练图像集合中任意两个图像的特征之间的相似度,第二相似度信息具体可以表现为相似度矩阵。若训练图像集合中共包括(h+s)个图像,则第二相似度信息可以为(h+s)乘(h+s)的相似度矩阵,相似度矩阵中的每一行代表一个图像的特征和其他图像的特征之间的相似度。第二相似度信息和训练图像集合中每个图像的特征可以组成图神经网络处理的图结构数据。进一步地,图结构的一个节点中存储有一个图像的特征;图结构数据中的邻接矩阵可以为第二相似度信息,也即该相似度矩阵为图结构数据中的邻接矩阵。为进一步理解本方案,请参阅图5,图5为本申请实施例提供的图神经网络的训练方法中生成第二相似度信息的一种流程示意图。图5中以N的取值为2、两个类别分别为老虎和猫为例,训练图像集合中共包括4个训练图像和1个测试图像,4个训练图像中两个训练图像为老虎,另两个训练图像为猫。图5中示出的为计算第二相似度信息中该1个测试图像的特征与每个训练图像的特征之间相似度的过程。其中,B1指的是从上一个特征更新网络得到的5个图像的特征,B1中每个圆圈代表一个图像的特征,B1中前四个圆圈代表4个训练图像的特征,最后一个圆圈代表1个测试图像的特征。如图5所示,图神经网络的相似度计算模块中利用相似度计算函数分别计算测试图像的特征和每个训练图像的特征之间的相似度,得到的四个相似度得分为0.3、0.2、0.2和0.3,图5中以图结构数据的形式来展示1个测试图像的特征与4个训练图像的特征之间的相似度以及5个图像的特征。B2指的是两个分类类别为老虎的训练图像的特征,B3指的是两个分类类别为猫的训练图像的特征,B4指的是测试图像的特征。训练设备通过当前特征更新网络的相似度计算模块生成训练图像集合中的任意两个图像的特征之间的相似度,以生成第二相似度信息。将第二相似度信息和B1输入至当前特征更新网络的生成模块中,以生成图像更新后的特征。进一步地,将测试图像的特征(也即B4)与两个分类类别为老虎的训练图像的特征(也即B2)之间相似度相加之后求平均值,能够得到测试图像的特征与类别为老虎的训练图像的图节点中心的相似度;将测试图像的特征(也即B4)与两个分类类别为猫的训练图像的特征(也即B3)之间相似度相加之后求平均值,能够得到测试图像的特征与类别为猫的训练图像的图节点中心的相似度。应理解,图5中的举例仅为方便理解本方案,不用于限定本方案。
具体的,针对两个图像的特征之间的相似度的计算方式。在一种实现方式中,特征更新网络中的相似度计算模块可以包括相似度计算函数,训练设备可以通过当前特征更新网络中的相似度计算函数逐个计算训练图像集合中每两个图像的特征之间的相似度,以生成第二相似度信息,该相似度计算函数包括但不限于余弦相似度、欧式距离、马氏距离、曼哈顿距离或其他用于计算相似度的函数等,此处不做穷举。为更直观的理解相似度计算函数,如下示出相似度计算函数的一个示例:
其中,代表第l个特征更新网络生成的相似度矩阵(也即第二相似度信息)中的一个元素,为图像i的特征和图像j的特征之间的相似度,图像i为训练图像集合中的任一个图像,图像j为训练图像集合中的任一个图像,图像i和图像j为训练图像集合中不同的训练图像,l为大于或等于1的整数,f代表相似度计算函数,代表上一个特征更新网络或者特征提取网络生成的图像i的特征,代表上一个特征更新网络或者特征提取网络生成的图像j的特征,应理解,式(1)中的举例仅为方便理解本方案,不用于限定本方案。
在另一种实现方式中,特征更新网络中的相似度计算模块可以表现为一个权重参数可调的神经网络层,训练设备利用前述神经网络层逐个计算训练图像集合中每两个图像的特征之间的相似度,以生成第二相似度信息。
304、训练设备根据训练图像集合中每个图像的特征和第二相似度信息,生成训练图像集合中每个图像的更新后的特征。
本申请实施例中,由于图像的初始特征通常区分性不够,图神经网络中的特征更新网络会模拟图网络的消息传递机制来更新每个图像的特征。也即训练设备在通过当前特征更新网络的相似度计算模块生成第二相似度信息之后,根据每个图像的特征和第二相似度信息,通过当前特征更新网络中的生成模块对每个图像的特征进行更新,以生成训练图像集合中每个图像的更新后的特征。其中,当前特征更新网络获得的图像的特征为图像的初始特征,或者,上一个特征更新网络生成的图像的更新后特征。进一步地,如果当前特征更新网络是第一个特征更新网络,则它获得的图像特征为图像的初始特征;否则它获得的图像特征为上一个特征更新网络生成的图像的更新后特征。
具体的,在一种实现方式中,训练设备在得到训练图像集合中所有图像的特征V(l -1)和
第二相似度信息A(l)之后,可以将V(l-1)和A(l)相乘,并为V(l-1)分配第一权重,为V(l -1)和A(l)的乘积分配第二权重,进而进行加权求和,并通过激活函数进行激活,得到当前特征更新网络输出的训练图像集合中所有图像的更新后的特征V(l)。其中,激活函数包括但不限于Relu函数、tanh函数、Sigmoid函数或其他激活函数等。以下公开了训练图像集合中每个图像的更新后特征的计算公式:
V(l)=δ(V(l-1)U(l)+A(l)V(l-1)W(l)); (2)
其中,V(l)代表当前特征更新网络生成的训练图像集合中所有图像的更新后的特征,δ代表激活函数,V(l-1)代表特征提取网络生成训练图像集合中所有图像的初始特征或者上一特征更新网络生成训练图像集合中所有图像的更新后特征,U(l)代表第一权重,A(l)代表第二相似度信息,W(l)代表第二权重。
在另一种实现方式中,训练设备在获取到V(l-1)之后,可以获取到训练图像集合中每个图像的特征。针对图像i的更新后特征,训练设备在获取到A(l)之后,可以获知图像i与训练图像集合中其他每个图像之间的相似度,训练设备中当前更新网络的生成模块将每个图像的特征,与,该图像的特征与图像i的特征之间的相似度,进行相乘处理;并将乘积结果叠加到图像i的特征中,从而得到图像i的更新后特征。训练设备中当前更新网络的生成模块对训练图像集合中每个图像执行图像i的操作,得到每个图像的更新后特征。
作为示例,例如训练图像集合中包括5个图像,图像1与图像2的相似度为0.3,图像1与图像3的相似度为0.2,图像1与图像4的相似度为0.2,图像1与图像5的相似度为0.3,则将图像1的特征、图像2的特征乘0.3、图像3的特征乘0.2和图像4的特征乘0.2、图像5的特征乘0.3进行叠加可以得到图像1的更新后特征,对图像2至图像5重复执行前述操作,从而可以得到训练图像集合中每个图像的更新后特征,应理解,前述举例仅为方便理解本方案。
305、训练设备通过图神经网络输出与测试图像对应的生成分类类别。
本申请实施例中,本申请实施例不限定步骤303和304与步骤305之间的执行次数,可以为在执行多次步骤303和304之后再进入步骤305,步骤303和304的执行次数由图神经网络中包括的特征更新网络的个数决定。训练设备在通过最后一个特征更新网络生成训练图像集合中所有图像的更新后特征后,将最后一个特征更新网络生成训练图像集合中所有图像的更新后特征以及每个训练图像的正确分类类别输入至图神经网络的特征处理网络中,以通过特征处理网络输出每个测试图像的类别指示信息,类别指示信息指示测试图像在N类中的生成分类类别。具体的,训练设备可以通过特征处理网络根据N类训练图像的更新后特征,计算N类中每类训练图像的图节点中心,针对h个测试图像中的每个测试图像,训练设备可以通过特征处理网络计算一个测试图像的特征与每类训练图像的图节点中心之间的距离,进而生成该一个测试图像的类别指示信息。进一步地,训练设备可以通过特征处理网络计算一类训练图像的图节点中心的方式可以为,对一类训练图像中所有训练图像的特征进行平均处理。
其中,生成分类类别指示每个测试图像中拍摄对象的类别,作为示例,例如生成分类类别为指示测试图像中拍摄对象的类别为狮子、老虎、兔子或苹果等。生成分类类别具体可以表现为文字字符,也即直接输出文字形式的分类类别;也可以具体表现为数字编码,作为示例,例如01指示测试图像中拍摄对象的类别为狮子。
进一步地,输出的生成分类类别可以为一个或多个,一个生成分类类别与一个测试图像对应。具体的,若训练图像集合中包括一个测试图像,则输出前述一个测试图像的生成分类类别;若训练图像集合中包括多个测试图像,则输出前述多个测试图像中每个测试图像的生成分类类别。
306、训练设备获取第一相似度信息。
本申请实施例中,训练设备在生成第一损失函数的函数值之前,需要生成第一相似度信息。其中,第一相似度信息指示训练图像集合中每个测试图像的特征与N类训练图像中每类训练图像的图节点中心之间的相似度,一类训练图像的图节点中心指示一类训练图像的特征。第一相似度信息具体可以表现为一个h乘N的矩阵(其中h为训练图像集合中测试图像的数量),矩阵中每个元素指代一个测试图像的特征与一类训练图像的图节点中心的相似度。
为更直观的理解第一相似度信息,请参阅图6,图6为本申请实施例提供的图神经网络的训练方法中第一相似度信息的一种示意图。图6中以h的取值为4,N的取值为4为例,N个类别分别为老虎、狮子、猫和狗,C1为第一相似度信息中的第一行数据,指的是第一个测试图像与四种类别中每种类别的训练图像的图节点中心的相似度;C2指的是第二个测试图像与类别为猫的训练图像的图节点中心之间的相似度,应理解,图6中的示例仅为方便理解本方案,不用于限定本方案。
具体的,训练设备可以获取步骤303中生成的第二相似度信息,并根据第二相似度信息,生成第一相似度信息。其中,测试图像的特征与第二类别的训练图像的图节点中心之间的相似度为以下中的任一项:测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的和、测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的平均值、测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的最大值和测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的最小值,第二类别为N类中的任一类。需要说明的是,训练设备在生成第一相似度信息的过程中,可以不执行生成每类训练图像的图节点中心的操作,而是直接通过测试图像的特征与一类训练图像的特征之间的相似度评估测试图像特征与一类训练图像的图节点中心的相似度。本申请实施例中,提供了第一相似度信息的三种表达形式,提高了本方案的实现灵活性;且不需要实际计算每类训练图像的图节点中心,而是直接根据第二相似度信息来计算第一相似度信息,充分利用了图神经网络计算过程中的信息,有利于提高训练阶段的效率。
进一步地,以下公开测试图像的特征与第二类别的训练图像的图节点中心之间的相似度的表达公式:
其中,指的是图像q与第c类训练图像的图节点中心之间的相似度,图像q代表训练图像集合包括的至少一个测试图像中的任一个测试图像,K代表训练图像集合中第c类训练图像共K个图像,图像p代表第c类训练图像中的任一个图像,c1,...,cK为属于第c类训练图像中K个训练图像的序号,代表图像q的特征与图像p的特征之间相似度。
更具体的,针对第一相似度信息的具体生成方式。在测试图像的特征与第二类别的训练图像的图节点中心之间的相似度为测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的平均值的情况下。在一种实现方式中,训练设备从第二相似度信息中获取第三相似度信息,第三相似度信息指示训练图像集合中任意测试图像与任意训练图像之间的相似度;将第三相似度信息与第一矩阵相乘,得到第二矩阵,第一矩阵包括训练图像集合中所有训练图像的独热编码;进而将第二矩阵与N类中每类训练图像的个数相除,得到第一相似度信息。本申请实施例中,公开了第一相似度信息的具体生成方式,提高了本方案与具体应用场景的结合程度;此外,一次性计算所有测试图像与N类中每类训练图像的图节点中心的相似度,也即并非逐个计算第一相似度信息中每个元素的数值,而是一次性计算整个第一相似度信息,提高了训练阶段的效率。
其中,第三相似度信息具体可以表现为一个h乘s的矩阵(其中h为训练图像集合中测试样本的数量,s为训练图像集合中训练样本的数量),该矩阵中每一行指示一个测试图像与每个训练图像之间的相似度。其中,训练图像的独热编码的概念已经在上述步骤中进行了描述,第一矩阵中可以包括s行数据,一行数据为一个训练图像的独热编码,第一矩阵具体表现为一个s乘N的矩阵(其中N为训练图像集合中训练图像的种类数),第二矩阵具体表现为一个h乘N的矩阵。其中,N类中每类训练图像的个数具体可以表现为一个包含N个元素的向量,向量中一个元素代表N类中一类训练图像中的图像个数。
作为示例,例如在一个5way-5shot的小样本任务,且选取5张测试图像。其中,5way-5shot指的是小样本任务中N的取值为5,每类训练图像中均包括5个图像,也即训练图像共25张。则第二相似度信息可以表现为一个30*30的矩阵,从第二相似度信息中获取第三相似度信息,第三相似度信息具体可以表现为一个5*25的矩阵,训练图像集合中所有训练图像的独热编码(也即第一矩阵)是一个25*5的矩阵,将第三相似度信息(也即5*25的矩阵)与第一矩阵(也即25*5的矩阵)相乘之后得到第二矩阵(也即5*5的矩阵),然后再除以每类中训练图像的个数(也即1*5的向量),得到第一相似度信息(也即5*5的矩阵),第一相似度信息里的每一行代表当前图像和5类训练图像中每类图像的类别中心的相似度得分,应理解,此处举例仅为方便理解本方案,不用于限定本方案。
在另一种实现方式中,训练设备从第二相似度信息中获取第四相似度信息,第四相似度信息指示训练图像集合中任意图像与任意训练图像之间的相似度。训练设备将第四相似度信息与第一矩阵相乘,得到第三矩阵,进而将第三矩阵与N类中每类训练图像的个数相除,得到第五相似度信息;第五相似度信息指示训练图像集合中每个图像的特征与N类训练图像中每类训练图像的图节点中心之间的相似度。训练设备从第五相似度信息中选取第一相似度信息。其中,第四相似度信息具体可以表现为(h+s)乘s的矩阵,该矩阵中的一行数据指示训练图像集合中任意一个图像与每个训练图像之间的相似度。第三矩阵具体表现为一个(h+s)乘N的矩阵。第五相似度信息具体可以表现为一个(h+s)乘N的矩阵,第五相似度信息中的一行数据指示训练图像集合中任意一个图像与每类训练图像的图节点中心之间的相似度。
需要说明的是,在测试图像的特征与第二类别的训练图像的图节点中心之间的相似度为测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的最大值或最小值的情况下,训练设备生成第一相似度信息的方式可以参阅在测试图像的特征与第二类别的训练图像的图节点中心之间的相似度为测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的平均值的情况推理获得,此处不做赘述。
进一步地,由于一个图神经网络可以包括多个特征更新网络,训练设备通过图神经网络的每个特征更新网络都会执行步骤303,以生成一个第二相似度信息。训练设备可以获取第l个特征更新网络生成的第二相似度信息,并根据第l个特征更新网络生成的第二相似度信息生成第一相似度信息,后续利用该第一相似度信息生成第一损失函数的函数值,其中,第l个特征更新网络为图神经网络包括的多个特征更新网络中的任意一个特征更新网络。可选地,l的取值为1,也即训练设备获取图神经网络中的第一个特征更新网络生成的第二相似度信息。
307、训练设备根据第一相似度信息和第一损失函数,生成第一损失函数的函数值。
本申请实施例中,训练设备在获取到第一相似度信息之后,可以从第一相似度信息中获取测试图像的特征与第一类别的训练图像的图节点中心之间的第一相似度,并获取测试图像的特征与第三类别的训练图像的图节点中心之间的第二相似度,第三类别为N类中测试图像的错误分类类别,进而可以根据第一相似度和第二相似度,执行第一损失函数的函数值的生成操作。其中,第一损失函数的训练目标为提高测试图像的特征与第一类别的训练图像的图节点中心之间的第一相似度,第一类别为N类中测试图像的正确分类类别。第一损失函数具体可以表现为交叉熵损失函数、三元组损失函数或其他类型的损失函数等,此处不做限定。
为进一步理解本方案,如下公开当第一损失函数为交叉熵损失函数时,与测试图像q对应的损失函数的函数值的计算公式的一个示例,测试图像q为训练图像集合包括的至少一个测试图像中任一个测试图像:
其中,代表与测试图像q对应的损失函数的函数值,c*代表测试图像q的正确分类(也即第一类别),代表测试图像q与c*类别的训练图像的图节点中心的相似度(也即第一相似度),是基于序号为l的特征更新网络生成的第二相似度信息获得,s为一个超参数,s的取值一般是2至4之间,代表测试图像q与N个类别中除c*之外的第三类别c的训练图像的图节点中心的相似度(也即第二相似度),测试图像q与正确分类类别的训练图像的图节点中心的相似度越高,也即的取值越大,第一损失函数的函数值越小。应理解,式(4)仅为一个示例,即使第一损失函数依旧选择交叉熵损失函数,在实际应用场景中,也可以做其他变形,例如对进行二次处理;且第一损失函数也可以选择三元组损失函数或其他类型的损失函数。
进一步地,由于在一个小样本任务的训练图像集合中可以包括多个测试图像,以下公开第一损失函数值的计算公式的一个示例:
其中,代表第一损失函数的函数值,与图神经网络的第l个特征更新网络对应,代表对每个测试图像对应的损失函数的函数值取平均值,以得到第一损失函数的函数值。需要说明的是,式(5)中仅为一个示例,在其他实现方式中,第一损失函数的函数值也可以为与所有测试图像对应的损失函数的函数值的和,或者从与所有测试图像对应的损失函数的函数值中选取最大值、最小值或中位数等,此处不做限定。
可选地,第一损失函数的训练目标为第一相似度与第二相似度之间的差距大于预设阈值。其中,第二相似度为测试图像的特征与第三类别的训练图像的图节点中心之间的相似度,第三类别为N类中测试图像的错误分类类别。第一相似度与第二相似度之间的差距大于预设阈值为以下中的任一项:第一相似度与第二相似度之间的差值大于预设阈值和第一相似度与第二相似度之间的比值大于预设阈值。其中,预设阈值的取值需要结合训练图像集合中包括的图像数量、第二相似度矩阵中相似度的生成方式、第一相似度与第二相似度之间的差距的计算方式等因素确定,此处不做限定。作为示例,例如预设阈值的取值可以为0.2、0.3,或者,预设阈值的取值可以为1.1、1.2或其他数值等,具体要结合实际应用场景进行设定。本申请实施例中,将第一损失函数的目标设定为第一相似度与第二相似度之间的差距大于预设阈值,也即不仅需要测试图像的特征与正确分类类别的图节点中心之间的相似度大于测试图像的特征与错误分类类别的图节点中心之间的相似度,而且两者之间的差距要大于预设阈值,以进一步提高训练后的图神经网络的特征表达能力,进而提高训练后的图神经网络的处理结果的精度;用户可以结合实际情况灵活设定预设阈值的取值,提高了本方案的实现灵活性。此外,提供了第一相似度与第二相似度之间的差距的两种比较方式,提高了本方案的实现灵活性。
具体的,训练设备从第一相似度信息中获取第一相似度和第二相似度,并对第一相似度进行缩小处理。更具体的,训练设备将第一相似度与预设阈值相减,或者,训练设备将第一相似度与预设阈值相除,得到缩小后的第一相似度。进而训练设备根据第二相似度和缩小处理后的第一相似度,生成第一损失函数的函数值。本申请实施例中,先对第一相似度做缩小处理,再利用缩小处理后的第一相似度和第二相似度生成第一损失函数的函数值,提供了第一损失函数的函数值的一种生成方式,操作简单。
为进一步理解本方案,如下公开在第一损失函数为交叉熵损失函数,且第一相似度与第二相似度之间的差距通过第一相似度与第二相似度之间的差值来表示的情况下,与测试图像q对应的损失函数的函数值的计算公式的一个示例,测试图像q为训练图像集合包括的至少一个测试图像中任一个测试图像:
其中,代表与测试图像q对应的损失函数的函数值,m代表预设阈值,测试图像q与正确分类类别的训练图像的图节点中心的相似度越高,也即的取值越大,从而的取值越大,第一损失函数的函数值越小,式(6)中部分字母的含义可以参阅式(4)中的描述,此处不做赘述。需要说明的是,式(6)仅为一个示例,即使第一损失函数依旧选择交叉熵损失函数,在实际应用场景中,也可以做其他变形,且第一损失函数也可以选择三元组损失函数或其他类型的损失函数。
308、训练设备根据与测试图像对应的生成分类类别和第二损失函数,生成第二损失函数的函数值。
本申请实施例中,训练设备在通过步骤305获得与测试图像对应的生成分类类别之后,可以根据与测试图像对应的生成分类类别,生成第二损失函数的函数值。其中,生成分类类别的概念和具体表现形式在步骤305中已经进行了描述,此处不做赘述。第二损失函数的训练目标为拉近生成分类类别和第一类别的相似度,第一类别为N类中测试图像的正确分类类别。第二损失函数具体可以表现为交叉熵损失函数、三元组损失函数或其他类型的损失函数等,此处不做限定。
309、训练设备根据第一损失函数的函数值和第二损失函数的函数值,对图神经网络进行训练。
本申请实施例中,训练设备会利用第一损失函数的函数值和第二损失函数的函数值,对图神经网络进行训练。具体的,训练设备可以根据第一损失函数的函数值和第二损失函数的函数值,通过反向传播的方式对图神经网络的权重参数进行梯度更新,以完成对图神经网络的一次训练。其中,第二损失函数的函数值用于更新整个图神经网络的权重参数。第一损失函数用于更新图神经网络中特征提取网络和至少一个特征更新网络的权重参数。
进一步地,若第一损失函数的函数值是基于第l个特征更新网络生成的第二相似度信息生成的;也即训练设备获取图神经网络的第l个特征更新网络生成的一个第二相似度信息,根据前述一个第二相似度信息生成一个第一相似度信息,并根据前述一个第一相似度信息生成第一损失函数的函数值,则第一损失函数的函数值用于更新图神经网络中特征提取网络和第一个特征更新网络至第l个特征更新网络的权重参数。可选地,l的取值为1,也即训练设备根据第一损失函数的函数值对图神经网络中的特征提取网络和第一个特征更新网络进行训练。本申请实施例中,由于若第一个特征更新网络生成的图像的特征就存在误差,则在后续特征更新以及特征处理的过程中会将误差不断放大,利用第一损失函数的函数值针对性的训练特征提取网络和第一个特征更新网络的权重参数,有利于从源头处提高图神经网络的特征表达能力,以更大程度的提高整个图神经网络的特征表达能力,从而提高整个图神经网络的输出结果的精度。
本申请实施例中,在获取到训练图像集合之后,将训练图像集合输入图神经网络,以获取第一相似度信息和与测试图像对应的生成分类类别,第一相似度信息指示测试图像的特征与每类训练图像的图节点中心之间的相似度,一类训练图像的图节点中心指示一类训练图像的特征;进而利用第一相似度信息、生成分类类别、第一损失函数和第二损失函数,对图神经网络进行训练,第一损失函数的训练目标为提高测试图像的特征与第一类别的训练图像的图节点中心之间的第一相似度,第二损失函数的训练目标为拉近生成分类类别和第一类别的相似度,第一类别为测试图像的正确分类类别。本方案中在第二损失函数的基础上增加了第一损失函数,来进一步约束图神经网络的训练过程,可以更加充分利用训练阶段的样本中的信息;此外,由于若测试图像的特征与正确分类类别的特征的相似度越高,则证明图神经网络的特征表达能力越强,且整个图神经网络越容易将测试图像分类至正确类别,从而提高整个图神经网络输出的处理结果的精度。
本申请实施例还提供了一种图神经网络的训练方法,请参阅图7,图7为本申请实施例提供的图神经网络的训练方法的一种流程示意图,本申请实施例提供的图神经网络的训练方法可以包括:
701、训练设备获取训练样本集合,训练样本集合中包括测试样本和N类训练样本。
702、训练设备将训练样本集合输入图神经网络,并通过图神经网络生成每个样本的初始特征。
703、训练设备通过图神经网络计算第二相似度信息,第二相似度信息指示训练样本集合中任意两个样本的特征之间的相似度。
704、训练设备根据训练样本集合中每个样本的特征和第二相似度信息,生成训练样本集合中每个样本的更新后的特征。
705、训练设备通过图神经网络输出与测试样本对应的生成分类类别。
706、训练设备获取第一相似度信息。
707、训练设备根据第一相似度信息和第一损失函数,生成第一损失函数的函数值。
708、训练设备根据与测试样本对应的生成分类类别和第二损失函数,生成第二损失函数的函数值。
709、训练设备根据第一损失函数的函数值和第二损失函数的函数值,对图神经网络进行训练。
本申请实施例中,训练设备执行步骤701至709的具体实现方式可以参阅图3对应实施例中对步骤301至309的描述,此处不做赘述。区别在于,图3对应实施例中训练设备通过图神经网络进行处理的对象为图像,而图7对应实施例中训练设备通过图神经网络进行处理的对象包括但不限于图像样本、文本样本或声音样本。
对应的,图7对应的实施例中,在通过图神经网络进行处理的对象为文本样本的情况下,图结构数据中的节点数据可以指示训练样本集合中每个文本样本的特征;图结构数据中的邻接矩阵可以指示训练样本集合中任意两个文本样本的特征之间的相似度。在通过图神经网络进行处理的对象为声音样本的情况下,图结构数据中的节点数据可以指示训练样本集合中每个声音样本的特征;图结构数据中的邻接矩阵可以指示训练样本集合中任意两个声音样本的特征之间的相似度。
第一相似度信息指示测试样本的特征与所述N类训练样本中每类训练样本的图节点中心之间的相似度。第二相似度信息指示训练样本集合中任意两个样本的特征之间的相似度。第三相似度信息指示训练样本集合中任意测试样本与任意训练样本之间的相似度。第四相似度信息指示训练样本集合中任意样本与任意训练样本之间的相似度。第五相似度信息指示训练样本集合中每个样本的特征与N类训练样本中每类训练样本的图节点中心之间的相似度。在待处理对象为文本样本的情况下,第一相似度信息至第五相似度信息中的测试样本具体可以表现为测试文本,第一相似度信息至第五相似度信息中的训练样本具体可以表现为训练文本。在待处理对象为声音样本的情况下,第一相似度信息至第五相似度信息中的测试样本具体可以表现为测试声音,第一相似度信息至第五相似度信息中的训练样本具体可以表现为训练声音。
第一损失函数的训练目标为提高测试样本的特征与第一类别的训练样本的图节点中心之间的第一相似度,第一类别为N类中测试样本的正确分类类别;可选地,第一损失函数的训练目标为第一相似度与第二相似度之间的差距大于预设阈值。其中,第二相似度为测试样本的特征与第三类别的训练样本的图节点中心之间的相似度,第三类别为N类中测试样本的错误分类类别。第二损失函数的训练目标为拉近生成分类类别和第一类别的相似度。作为示例,通过图神经网络进行处理的对象为文本样本,整个图神经网络的任务为对整个文本进行类别标注,则输入至图神经网络的整个文本的原始表示可以为一个矩阵,与文本对应的类别可以为旅游、美食、购物、天气或其他类别等。作为另一示例,例如通过图神经网络进行处理的对象为语音文本,整个图神经网络的任务为对整个语音进行类别标注,则输入至图神经网络的整段语音的原始表示可以为一个矩阵,与语音对应的类别可以为会议、消费、诈骗或其他类别等,此处不做穷举。
本申请实施例中,在第二损失函数的基础上增加了第一损失函数,来进一步约束图神经网络的训练过程,可以更加充分利用训练阶段的样本中的信息;由于若测试样本的特征与正确分类类别的特征的相似度越高,则证明图神经网络的特征表达能力越强,且整个图神经网络越容易将测试样本分类至正确类别,从而提高整个图神经网络输出的处理结果的精度。此外,本申请实施例提供的训练方法不仅适用于进行图像处理的图神经网络,还适用于进行文本处理或语音处理的图神经网络,扩展了本方案的应用场景,提高了本方案的实现灵活性。
二、推理阶段
本申请实施例中,推理阶段指的是上述图2中执行设备210利用训练后的目标模型/规则201执行分类操作的过程。以下仅以待处理的样本为图像样本为例,对本申请实施例提供的图神经网络的训练方法进行介绍,应理解,当待处理的样本为文本样本或声音样本时,可类推适用,此处不再赘述。请参阅图8,图8为本申请实施例提供的图神经网络的训练方法的一种流程示意图,方法可以包括:
801、执行设备获取待处理数据,待处理数据中包括待分类图像、N类参考图像和N类参考图像中每个参考图像的正确分类类别。
本申请实施例中,执行设备在执行一次推理过程中会获取待处理数据,待处理数据中包括待分类图像、N类参考图像和N类参考图像中每个参考图像的正确分类类别。其中,待分类图像的数量可以为一个或多个,N类参考图像中每类参考图像的数量为一个或多个。参考图像相对于待分类图像的功能与图3对应实施例中训练图像相对于测试图像的功能类似,区别在于,参考图像和待分类图像这两个概念是在推理阶段使用的概念,训练图像和测试图像这两个概念是在训练阶段使用的概念,可参照图3对应实施例中的描述进行理解。
具体的,执行设备可以为接收其他通信设备发送的待分类图像和N类参考图像;也可以为用户从执行设备存储的图库中选取待分类图像和N类参考图像;还可以为执行设备上预先存储有N类参考图像,并实时采集待分类图像等,此处不做限定。
802、执行设备将待处理数据输入图神经网络,以得到待分类图像的特征和每个参考图像的特征。
本申请实施例中,执行设备将待处理数据输入图神经网络,以通过图神经网络的特征提取网络对待分类图像和参考图像进行特征提取,并通过图神经网络的特征更新网络对待分类图像和参考图像进行特征更新,得到待分类图像的更新后特征和每个参考图像的更新后特征。执行设备执行步骤802的具体实现方式,可以参阅图3对应实施例中步骤302至304的具体实现方式的描述,对于图神经网络的概念可以参考图3对应实施例中的描述,此处不做赘述。
803、执行设备根据待分类图像的特征、参考图像的特征和参考图像的正确分类类别,生成待分类图像的类别指示信息,类别指示信息指示待分类图像在N类中的生成分类类别,其中,图神经网络为根据第一损失函数和第二损失函数训练得到的,第一损失函数的训练目标为提高待分类图像的特征与第一类别的参考图像的图节点中心之间的第一相似度,第二损失函数的训练目标为拉近生成分类类别和第一类别的相似度,第一类别为N类中待分类图像的正确分类类别。
本申请实施例中,执行设备执行步骤803的具体实现方式,可以参阅图3对应实施例中步骤305的具体实现方式的描述,此处不做赘述。
其中,图8对应实施例中的图神经网络为通过图3对应实施例提供的图神经网络的训练方法得到的。可选地,第一损失函数的训练目标为第一相似度与第二相似度之间的差距大于预设阈值。其中,第二相似度为待分类图像的特征与第三类别的参考图像的图节点中心之间的相似度,第三类别为N类中待分类图像的错误分类类别。第一相似度与第二相似度之间的差距大于预设阈值为以下中的任一项:第一相似度与第二相似度之间的差值大于预设阈值和第一相似度与第二相似度之间的比值大于预设阈值。对于第一损失函数和第二损失函数的概念均可以参阅图3对应实施例中的描述,此处不做赘述。
本申请实施例中,在图神经网络的训练过程中,在第二损失函数的基础上增加了第一损失函数,来进一步约束图神经网络的训练过程,可以更加充分利用训练阶段的样本中的信息;此外,由于若测试图像的特征与正确分类类别的特征的相似度越高,则证明图神经网络的特征表达能力越强,且整个图神经网络越容易将测试图像分类至正确类别,从而提高整个图神经网络输出的处理结果的精度。
为了对有益效果有进一步了解,以下结合数据来展示本申请实施例所带来的效果。在公开图像集tieredImagenet上进行了验证,结果如下表1。
表1
训练方法 | 图神经网络类型 | 准确率 |
MetaOptNet-SVM | ResNet-12 | 81.56±0.53 |
本申请实施例(第一损失函数为式4) | ResNet-12 | 84.45±0.31 |
本申请实施例(第一损失函数为式6) | ResNet-12 | 84.53±0.29 |
LEO | WRN-28-10 | 81.44±0.09 |
本申请实施例(第一损失函数为式6) | WRN-28-10 | 85.54±0.26 |
其中,元学习优化网络-支持向量机(meta-learning with differentiableconvex optimization network-support vector machine,MetaOptNet-SVM)和隐表征优化(latent embedding optimization,LEO)为两种不同的训练方法,表1中的前三行以图神经网络中的特征提取网络为ResNet-12为例,利用MetaOptNet-SVM这一训练方法对图神经网络进行训练,训练后的图神经网络的准确率为81.56±0.53;采用本申请实施例提供的训练方法对进行训练,若采用的是式(4)这种类型的第二损失函数,训练后的图神经网络的准确率为84.45±0.31;若采用的是式(6)这种类型的第二损失函数,训练后的图神经网络的准确率为84.53±0.29。表1中的剩余两行数据,可类推理解。很明显,采用本申请实施例提供的训练方法得到的训练后图神经网络的处理结果的精度更高,且采用式(6)这种类型的第一损失函数进行训练,训练后的图神经网络的处理结果的精度更高。
为了对有益效果有更直观的了解,请参阅图9a,图9a为本申请实施例提供的对图像的特征进行可视化处理后的一种示意图。采用本申请实施例提供的训练方法对图神经网络进行训练,训练后的图神经网络的最后一个特征更新网络生成的特征进行可视化处理后如图9a上侧所示。采用普通小样本学习方法对图神经网络进行训练,训练后的图神经网络的最后一个特征更新网络生成的特征进行可视化处理后如图9a下侧所示。很明显,采用本申请实施例提供的训练方法进行训练后的图神经网络生成的特征形成了更加紧凑的类簇,证明了采用本申请实施例提供的训练方法进行训练后的图神经网络的特征表达能力更强。
此外,本申请实施例还提供了在每类训练图像中包括5个训练图像的情况下,对l分别取1、2和3的情况进行试验,也即第一损失函数的函数值分别为基于第一个特征更新网络、第二个特征更新网络和第三个特征更新网络生成的第二相似度信息获得这三种情况进行试验,试验结果如图9b所示,图9b为本申请实施例提供的图神经网络的训练方法的有益效果的一种对比示意图。图9b为图神经网络的特征提取网络为64-96-128-256,图神经网络的功能为图像分类,在公开图像集miniImagenet上,对于l取不同值的情况进行验证。图9b为采用本申请实施例提供的图神经网络的训练方法,针对l取1、2和3的情况,得到的训练后的神经网络的分类准确度,图9b中的纵坐标指的是分类准确度,很明显,当l取1时,所带来的效果最好。
在图1至图9b所对应的实施例的基础上,为了更好的实施本申请实施例的上述方案,下面还提供用于实施上述方案的相关设备。具体参阅图10,图10为本申请实施例提供的图神经网络的训练装置的一种结构示意图。图神经网络的训练装置1000可以包括获取模块1001、输入模块1002和训练模块1003。其中,获取模块1001,用于获取训练图像集合,训练图像集合中包括测试图像和N类训练图像,N为大于或等于1的整数;输入模块1002,用于将训练图像集合输入图神经网络,以获取第一相似度信息和与测试图像对应的生成分类类别,第一相似度信息指示训练图像集合中每个测试图像的特征与N类训练图像中每类训练图像的图节点中心之间的相似度,一类训练图像的图节点中心指示一类训练图像的特征;训练模块1003,用于根据第一相似度信息、第一损失函数、生成分类类别和第二损失函数,对图神经网络进行训练;其中,第一损失函数的训练目标为提高测试图像的特征与第一类别的训练图像的图节点中心之间的第一相似度,第二损失函数的训练目标为拉近生成分类类别和第一类别的相似度,第一类别为N类中测试图像的正确分类类别。
本申请实施例中,在第二损失函数的基础上增加了第一损失函数,来进一步约束图神经网络的训练过程,可以更加充分利用训练阶段的样本中的信息;此外,由于若测试图像的特征与正确分类类别的特征的相似度越高,则证明图神经网络的特征表达能力越强,且整个图神经网络越容易将测试图像分类至正确类别,从而提高整个图神经网络输出的处理结果的精度。
在一种可能的设计中,获取模块1001,具体用于:通过图神经网络计算第二相似度信息,第二相似度信息指示训练图像集合中任意两个图像的特征之间的相似度;根据第二相似度信息,生成第一相似度信息,其中,测试图像的特征与第二类别的训练图像的图节点中心之间的相似度为以下中的任一项:测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的平均值、测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的最大值和测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的最小值,第二类别为N类中的任一类。
本申请实施例中,提供了第一相似度信息的三种表达形式,提高了本方案的实现灵活性;且不需要实际计算每类训练图像的图节点中心,而是直接根据第二相似度信息来计算第一相似度信息,充分利用了图神经网络计算过程中的信息,有利于提高训练阶段的效率。
在一种可能的设计中,测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的平均值。获取模块1001,具体用于:从第二相似度信息中获取第三相似度信息,第三相似度信息指示训练图像集合中任意测试图像与任意训练图像之间的相似度;将第三相似度信息与第一矩阵相乘,得到第二矩阵,第一矩阵包括训练图像集合中所有训练图像的独热编码;将第二矩阵与N类中每类训练图像的个数相除,得到第一相似度信息。
本申请实施例中,公开了第一相似度信息的具体生成方式,提高了本方案与具体应用场景的结合程度;此外,一次性计算所有测试图像与N类中每类训练图像的图节点中心的相似度,也即并非逐个计算第一相似度信息中每个元素的数值,而是一次性计算整个第一相似度信息,提高了训练阶段的效率。
在一种可能的设计中,第一损失函数的训练目标为第一相似度与第二相似度之间的差距大于预设阈值,第二相似度为测试图像的特征与第三类别的训练图像的图节点中心之间的相似度,第三类别为N类中测试图像的错误分类类别。
本申请实施例中,将第一损失函数的目标设定为第一相似度与第二相似度之间的差距大于预设阈值,也即不仅需要测试图像的特征与正确分类类别的图节点中心之间的相似度大于测试图像的特征与错误分类类别的图节点中心之间的相似度,而且两者之间的差距要大于预设阈值,以进一步提高训练后的图神经网络的特征表达能力,进而提高训练后的图神经网络的处理结果的精度;用户可以结合实际情况灵活设定预设阈值的取值,提高了本方案的实现灵活性。
在一种可能的设计中,第一相似度与第二相似度之间的差距大于预设阈值为以下中的任一项:第一相似度与第二相似度之间的差值大于预设阈值和第一相似度与第二相似度之间的比值大于预设阈值。
本申请实施例中,提供了第一相似度与第二相似度之间的差距的两种比较方式,提高了本方案的实现灵活性。
在一种可能的设计中,请参阅图11,图11为本申请实施例提供的图神经网络的训练装置的一种结构示意图。装置还包括:缩小模块1004和生成模块1005。缩小模块1004,用于从第一相似度信息中获取第一相似度和第二相似度,并对第一相似度进行缩小处理;生成模块1005,用于根据第二相似度和缩小处理后的第一相似度,生成第一损失函数的函数值。
本申请实施例中,先对第一相似度做缩小处理,再利用缩小处理后的第一相似度和第二相似度生成第一损失函数的函数值,提供了第一损失函数的函数值的一种生成方式,操作简单。
在一种可能的设计中,图神经网络包括一个特征提取网络和至少一个特征更新网络,特征提取网络用于对输入的训练图像集合中的图像进行特征提取操作,每个特征更新网络,用于计算第二相似度信息,并根据每个图像的特征和第二相似度信息,进行特征更新操作。获取模块1001,具体用于通过至少一个特征更新网络中的第一个特征更新网络计算第二相似度信息;训练模块1003,具体用于根据第一相似度信息和第一损失函数,对图神经网络中的特征提取网络和第一个特征更新网络进行训练。
本申请实施例中,由于若第一个特征更新网络生成的图像的特征就存在误差,则在后续特征更新以及特征处理的过程中会将误差不断放大,利用第一损失函数的函数值针对性的训练特征提取网络和第一个特征更新网络的权重参数,有利于从源头处提高图神经网络的特征表达能力,以更大程度的提高整个图神经网络的特征表达能力,从而提高整个图神经网络的输出结果的精度。
在一种可能的设计中,图神经网络用于进行图像识别或者进行图像分类。
本申请实施例中,提供了图像分类和图像识别两个具体的应用场景,提高了本方案与应用场景的结合程度,也提高了本方案的实现灵活性。
需要说明的是,图神经网络的训练装置1000中各模块/单元之间的信息交互、执行过程等内容,与本申请中图3至图6对应的各个方法实施例基于同一构思,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
本申请实施例还提供一种图神经网络的训练装置,请参阅图12,图12为本申请实施例提供的图神经网络的训练装置的一种结构示意图。图神经网络的训练装置1200可以包括获取模块1201、输入模块1202和训练模块1203。其中,获取模块1201,用于获取训练样本集合,训练样本集合中包括测试样本和N类训练样本,N为大于或等于1的整数;输入模块1202,用于将训练样本集合输入图神经网络,以获取第一相似度信息和与测试样本对应的生成分类类别,第一相似度信息指示测试样本的特征与N类训练样本中每类训练样本的图节点中心之间的相似度,每类训练样本的图节点中心指示每类训练样本的特征;训练模块1203,用于根据第一相似度信息、第一损失函数、生成分类类别和第二损失函数,对图神经网络进行训练;其中,第一损失函数的训练目标为提高测试样本的特征与第一类别的训练样本的图节点中心之间的第一相似度,第二损失函数的训练目标为拉近生成分类类别和第一类别的相似度,第一类别为N类中测试样本的正确分类类别。
在一种可能的设计中,训练样本集合中的样本为以下中的任一种:图像样本、文本样本和语音样本。
在一种可能的设计中,获取模块1201,具体用于:通过图神经网络计算第二相似度信息,第二相似度信息指示训练样本集合中任意两个样本的特征之间的相似度;根据第二相似度信息,生成第一相似度信息,其中,测试样本的特征与第二类别的训练样本的图节点中心之间的相似度为以下中的任一项:测试样本的特征与第二类别的训练样本中每个训练样本的特征之间相似度的平均值、测试样本的特征与第二类别的训练样本中每个训练样本的特征之间相似度的最大值和测试样本的特征与第二类别的训练样本中每个训练样本的特征之间相似度的最小值,第二类别为N类中的任一类。
在一种可能的设计中,测试样本的特征与第二类别的训练样本中每个训练样本的特征之间相似度的平均值。获取模块1201,具体用于:从第二相似度信息中获取第三相似度信息,第三相似度信息指示训练样本集合中任意测试样本与任意训练样本之间的相似度;将第三相似度信息与第一矩阵相乘,得到第二矩阵,第一矩阵包括训练样本集合中所有训练样本的独热编码;将第二矩阵与N类中每类训练样本的个数相除,得到第一相似度信息。
在一种可能的设计中,第一损失函数的训练目标为第一相似度与第二相似度之间的差距大于预设阈值,第二相似度为测试样本的特征与第三类别的训练样本的图节点中心之间的相似度,第三类别为N类中测试样本的错误分类类别。
在一种可能的设计中,第一相似度与第二相似度之间的差距大于预设阈值为以下中的任一项:第一相似度与第二相似度之间的差值大于预设阈值和第一相似度与第二相似度之间的比值大于预设阈值。
在一种可能的设计中,请参阅图13,图13为本申请实施例提供的图神经网络的训练装置的一种结构示意图。装置还包括:缩小模块1204和生成模块1205。缩小模块1204,用于从第一相似度信息中获取第一相似度和第二相似度,并对第一相似度进行缩小处理;生成模块1205,用于根据第二相似度和缩小处理后的第一相似度,生成第一损失函数的函数值。
在一种可能的设计中,图神经网络包括一个特征提取网络和至少一个特征更新网络,特征提取网络用于对输入的训练样本集合中的样本进行特征提取操作,每个特征更新网络,用于计算第二相似度信息,并根据每个样本的特征和第二相似度信息,进行特征更新操作。获取模块1201,具体用于通过至少一个特征更新网络中的第一个特征更新网络计算第二相似度信息;训练模块1203,具体用于根据第一相似度信息和第一损失函数,对图神经网络中的特征提取网络和第一个特征更新网络进行训练。
在一种可能的设计中,图神经网络用于进行样本识别或者进行样本分类。
需要说明的是,图神经网络的训练装置1200中各模块/单元之间的信息交互、执行过程等内容,与本申请中图7对应的各个方法实施例基于同一构思,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
本申请实施例还提供一种图像处理装置,请参阅图14,图14为本申请实施例提供的图像处理的一种结构示意图。图像处理装置1400可以包括获取模块1401、输入模块1402和生成模块1403。其中,获取模块1401,用于获取待处理数据,待处理数据中包括待分类图像、N类参考图像和N类参考图像中每个参考图像的正确分类类别,N为大于或等于1的整数;输入模块1402,用于将待处理数据输入图神经网络,以得到待分类图像的特征和每个参考图像的特征;生成模块1403,用于根据待分类图像的特征、参考图像的特征和参考图像的正确分类类别,生成待分类图像的类别指示信息,类别指示信息指示待分类图像在N类中的生成分类类别。其中,图神经网络为根据第一损失函数和第二损失函数训练得到的,第一损失函数的训练目标为提高待分类图像的特征与第一类别的参考图像的图节点中心之间的第一相似度,第二损失函数的训练目标为拉近生成分类类别和第一类别的相似度,第一类别为N类中待分类图像的正确分类类别。
在一种可能的设计中,待分类图像的特征与第一类别的参考图像的图节点中心之间的第一相似度为以下中的任一项:待分类图像的特征与第一类别的参考图像中每个参考图像的特征之前相似度的平均值、待分类图像的特征与第一类别的参考图像中每个参考图像的特征之前相似度的最大值和待分类图像的特征与第一类别的参考图像中每个参考图像的特征之前相似度的最小值。
在一种可能的设计中,第一损失函数的训练目标为第一相似度与第二相似度之间的差距大于预设阈值。其中,第二相似度为待分类图像的特征与第三类别的参考图像的图节点中心之间的相似度,第三类别为N类中待分类图像的错误分类类别。
在一种可能的设计中,第一相似度与第二相似度之间的差距大于预设阈值为以下中的任一项:第一相似度与第二相似度之间的差值大于预设阈值和第一相似度与第二相似度之间的比值大于预设阈值。
需要说明的是,图像处理装置1400中各模块/单元之间的信息交互、执行过程等内容,与本申请中图8对应的各个方法实施例基于同一构思,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
本申请实施例还提供一种训练设备,请参阅图15,图15为本申请实施例提供的训练设备的一种结构示意图。训练设备1500上可以部署有图10和图11对应实施例中所描述的图神经网络的训练装置1000,用于实现图3至图6对应实施例中训练设备的功能。或者,训练设备1500上可以部署有图12和图13对应实施例中所描述的图神经网络的训练装置1200,用于实现图7对应实施例中训练设备的功能。具体的,训练设备1500由一个或多个服务器实现,训练设备1500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)1522(例如,一个或一个以上处理器)和存储器1532,一个或一个以上存储应用程序1542或数据1544的存储介质1530(例如一个或一个以上海量存储设备)。其中,存储器1532和存储介质1530可以是短暂存储或持久存储。存储在存储介质1530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对训练设备中的一系列指令操作。更进一步地,中央处理器1522可以设置为与存储介质1530通信,在训练设备1500上执行存储介质1530中的一系列指令操作。
训练设备1500还可以包括一个或一个以上电源1526,一个或一个以上有线或无线网络接口1550,一个或一个以上输入输出接口1558,和/或,一个或一个以上操作系统1541,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
本申请实施例中,在中央处理器1522用于执行图3对应实施例中的训练设备执行的图神经网络的训练方法的情况下,具体的,中央处理器1522,用于获取训练图像集合,训练图像集合中包括测试图像和N类训练图像,N为大于或等于1的整数;将训练图像集合输入图神经网络,以获取第一相似度信息和与测试图像对应的生成分类类别,第一相似度信息指示训练图像集合中每个测试图像的特征与N类训练图像中每类训练图像的图节点中心之间的相似度,一类训练图像的图节点中心指示一类训练图像的特征;根据第一相似度信息、第一损失函数、生成分类类别和第二损失函数,对图神经网络进行训练;其中,第一损失函数的训练目标为提高测试图像的特征与第一类别的训练图像的图节点中心之间的第一相似度,第二损失函数的训练目标为拉近生成分类类别和第一类别的相似度,第一类别为N类中测试图像的正确分类类别。
可选地,中央处理器1522具体用于:
通过图神经网络计算第二相似度信息,第二相似度信息指示训练图像集合中任意两个图像的特征之间的相似度;根据第二相似度信息,生成第一相似度信息,其中,测试图像的特征与第二类别的训练图像的图节点中心之间的相似度为以下中的任一项:测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的平均值、测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的最大值和测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的最小值,第二类别为N类中的任一类。
可选地,测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的平均值,中央处理器1522具体用于:
从第二相似度信息中获取第三相似度信息,第三相似度信息指示训练图像集合中任意测试图像与任意训练图像之间的相似度;将第三相似度信息与第一矩阵相乘,得到第二矩阵,第一矩阵包括训练图像集合中所有训练图像的独热编码;将第二矩阵与N类中每类训练图像的个数相除,得到第一相似度信息。
可选地,第一损失函数的训练目标为第一相似度与第二相似度之间的差距大于预设阈值,第二相似度为测试图像的特征与第三类别的训练图像的图节点中心之间的相似度,第三类别为N类中测试图像的错误分类类别。
可选地,第一相似度与第二相似度之间的差距大于预设阈值为以下中的任一项:第一相似度与第二相似度之间的差值大于预设阈值和第一相似度与第二相似度之间的比值大于预设阈值。
可选地,中央处理器1522还用于:
从第一相似度信息中获取第一相似度和第二相似度,并对第一相似度进行缩小处理;根据第二相似度和缩小处理后的第一相似度,生成第一损失函数的函数值。
可选地,图神经网络包括一个特征提取网络和至少一个特征更新网络,特征提取网络用于对输入的训练图像集合中的图像进行特征提取操作,每个特征更新网络,用于计算第二相似度信息,并根据每个图像的特征和第二相似度信息,进行特征更新操作;中央处理器1522具体用于通过至少一个特征更新网络中的第一个特征更新网络计算第二相似度信息;中央处理器1522具体用于根据第一相似度信息和第一损失函数,对图神经网络中的特征提取网络和第一个特征更新网络进行训练。
可选地,图神经网络用于进行图像识别或者进行图像分类。
需要说明的是,对于中央处理器1522执行图3对应实施例中图神经网络的训练方法的具体实现方式以及带来的有益效果,均可以参考图3对应的各个方法实施例中的叙述,此处不再一一赘述。
本申请实施例中,在中央处理器1522用于执行图7对应实施例中的训练设备执行的图神经网络的训练方法的情况下,具体的,中央处理器1522,用于获取训练样本集合,训练样本集合中包括测试样本和N类训练样本,N为大于或等于1的整数;将训练样本集合输入图神经网络,以获取第一相似度信息和与测试样本对应的生成分类类别,第一相似度信息指示测试样本的特征与N类训练样本中每类训练样本的图节点中心之间的相似度,每类训练样本的图节点中心指示每类训练样本的特征;根据第一相似度信息、第一损失函数、生成分类类别和第二损失函数,对图神经网络进行训练;其中,第一损失函数的训练目标为提高测试样本的特征与第一类别的训练样本的图节点中心之间的第一相似度,第二损失函数的训练目标为拉近生成分类类别和第一类别的相似度,第一类别为N类中测试样本的正确分类类别。
可选地,训练样本集合中的样本为以下中的任一种:图像样本、文本样本和语音样本。
需要说明的是,中央处理器1522还用于执行图7对应实施例中训练设备执行的其他步骤,对于中央处理器1522执行图7对应实施例中图神经网络的训练方法的具体实现方式以及带来的有益效果,均可以参考图7对应的各个方法实施例中的叙述,此处不再一一赘述。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有程序,当其在计算机上运行时,使得计算机执行如前述图3至图6所示实施例描述的方法中训练设备所执行的步骤;或者,使得计算机执行如前述图7所示实施例描述的方法中训练设备所执行的步骤。
本申请实施例中还提供一种包括计算机程序产品,当其在计算机上行驶时,使得计算机执行如前述图3至图6所示实施例描述的方法中训练设备所执行的步骤,或者,使得计算机执行如前述图7所示实施例描述的方法中训练设备所执行的步骤。
本申请实施例中还提供一种电路系统,所述电路系统包括处理电路,所述处理电路配置为执行如前述图3至图6所示实施例描述的方法中训练设备所执行的步骤,或者,所述处理电路配置为执行如前述图7所示实施例描述的方法中训练设备所执行的步骤。
本申请实施例提供的图神经网络的训练装置或执行设备具体可以为芯片,芯片包括:处理单元和通信单元,所述处理单元例如可以是处理器,所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令,以使训练设备内的芯片执行上述图3至图6所示实施例描述的图神经网络的训练方法,或者,以使训练设备内的芯片执行上述图7所示实施例描述的图神经网络的训练方法。可选地,所述存储单元为所述芯片内的存储单元,如寄存器、缓存等,所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元,如只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)等。
具体的,请参阅图16,图16为本申请实施例提供的芯片的一种结构示意图,所述芯片可以表现为神经网络处理器NPU 160,NPU 160作为协处理器挂载到主CPU(Host CPU)上,由Host CPU分配任务。NPU的核心部分为运算电路1603,通过控制器1604控制运算电路1603提取存储器中的矩阵数据并进行乘法运算。
在一些实现中,运算电路1603内部包括多个处理单元(Process Engine,PE)。在一些实现中,运算电路1603是二维脉动阵列。运算电路1603还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中,运算电路1603是通用的矩阵处理器。
举例来说,假设有输入矩阵A,权重矩阵B,输出矩阵C。运算电路从权重存储器1602中取矩阵B相应的数据,并缓存在运算电路中每一个PE上。运算电路从输入存储器1601中取矩阵A数据与矩阵B进行矩阵运算,得到的矩阵的部分结果或最终结果,保存在累加器(accumulator)1608中。
统一存储器1606用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller,DMAC)1605,DMAC被搬运到权重存储器1602中。输入数据也通过DMAC被搬运到统一存储器1606中。
BIU为Bus Interface Unit即,总线接口单元1610,用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer,IFB)1609的交互。
总线接口单元1610(Bus Interface Unit,简称BIU),用于取指存储器1609从外部存储器获取指令,还用于存储单元访问控制器1605从外部存储器获取输入矩阵A或者权重矩阵B的原数据。
DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1606或将权重数据搬运到权重存储器1602中或将输入数据数据搬运到输入存储器1601中。
向量计算单元1607包括多个运算处理单元,在需要的情况下,对运算电路的输出做进一步处理,如向量乘,向量加,指数运算,对数运算,大小比较等等。主要用于神经网络中非卷积/全连接层网络计算,如Batch Normalization(批归一化),像素级求和,对特征平面进行上采样等。
在一些实现中,向量计算单元1607能将经处理的输出的向量存储到统一存储器1606。例如,向量计算单元1607可以将线性函数和/或非线性函数应用到运算电路1603的输出,例如对卷积层提取的特征平面进行线性插值,再例如累加值的向量,用以生成激活值。在一些实现中,向量计算单元1607生成归一化的值、像素级求和的值,或二者均有。在一些实现中,处理过的输出的向量能够用作到运算电路1603的激活输入,例如用于在神经网络中的后续层中的使用。
控制器1604连接的取指存储器(instruction fetch buffer)1609,用于存储控制器1604使用的指令;
统一存储器1606,输入存储器1601,权重存储器1602以及取指存储器1609均为On-Chip存储器。外部存储器私有于该NPU硬件架构。
其中,循环神经网络中各层的运算可以由运算电路1603或向量计算单元1607执行。
其中,上述任一处提到的处理器,可以是一个通用中央处理器,微处理器,ASIC,或一个或多个用于控制上述第一方面方法的程序执行的集成电路。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本申请提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CLU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
Claims (23)
1.一种图神经网络的训练方法,其特征在于,所述方法包括:
获取训练图像集合,所述训练图像集合中包括测试图像和N类训练图像,所述N为大于或等于1的整数;
将所述训练图像集合输入所述图神经网络,以获取第一相似度信息和与测试图像对应的生成分类类别,所述第一相似度信息指示所述训练图像集合中每个测试图像的特征与所述N类训练图像中每类训练图像的图节点中心之间的相似度,一类训练图像的图节点中心指示一类训练图像的特征;
根据所述第一相似度信息、第一损失函数、所述生成分类类别和第二损失函数,对所述图神经网络进行训练;
其中,所述第一损失函数的训练目标为提高测试图像的特征与第一类别的训练图像的图节点中心之间的第一相似度,所述第二损失函数的训练目标为拉近所述生成分类类别和所述第一类别的相似度,所述第一类别为所述N类中测试图像的正确分类类别。
2.根据权利要求1所述的方法,其特征在于,所述获取所述第一相似度信息,包括:
通过所述图神经网络计算第二相似度信息,所述第二相似度信息指示所述训练图像集合中任意两个图像的特征之间的相似度;
根据所述第二相似度信息,生成所述第一相似度信息,其中,测试图像的特征与第二类别的训练图像的图节点中心之间的相似度为以下中的任一项:测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的平均值、测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的最大值和测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的最小值,所述第二类别为所述N类中的任一类。
3.根据权利要求2所述的方法,其特征在于,测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的平均值,所述根据所述第二相似度信息,生成所述第一相似度信息,包括:
从所述第二相似度信息中获取第三相似度信息,所述第三相似度信息指示所述训练图像集合中任意测试图像与任意训练图像之间的相似度;
将所述第三相似度信息与第一矩阵相乘,得到第二矩阵,所述第一矩阵包括所述训练图像集合中所有训练图像的独热编码;
将所述第二矩阵与所述N类中每类训练图像的个数相除,得到所述第一相似度信息。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述第一损失函数的训练目标为所述第一相似度与第二相似度之间的差距大于预设阈值,所述第二相似度为测试图像的特征与第三类别的训练图像的图节点中心之间的相似度,所述第三类别为所述N类中测试图像的错误分类类别。
5.根据权利要求4所述的方法,其特征在于,所述第一相似度与所述第二相似度之间的差距大于预设阈值为以下中的任一项:所述第一相似度与所述第二相似度之间的差值大于预设阈值和所述第一相似度与所述第二相似度之间的比值大于预设阈值。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
从所述第一相似度信息中获取所述第一相似度和所述第二相似度,并对所述第一相似度进行缩小处理;
根据所述第二相似度和缩小处理后的第一相似度,生成所述第一损失函数的函数值。
7.根据权利要求2所述的方法,其特征在于,所述图神经网络包括一个特征提取网络和至少一个特征更新网络,所述特征提取网络用于对输入的训练图像集合中的图像进行特征提取操作,每个特征更新网络,用于计算所述第二相似度信息,并根据所述每个图像的特征和所述第二相似度信息,进行特征更新操作;
所述通过所述图神经网络计算第二相似度信息,包括:
通过所述至少一个特征更新网络中的第一个特征更新网络计算所述第二相似度信息;
所述根据所述第一相似度信息和第一损失函数,对所述图神经网络进行训练,包括:
根据所述第一相似度信息和第一损失函数,对所述图神经网络中的所述特征提取网络和所述第一个特征更新网络进行训练。
8.根据权利要求1至3任一项所述的方法,其特征在于,所述图神经网络用于进行图像识别或者进行图像分类。
9.一种图像处理方法,其特征在于,所述方法包括:
获取待处理数据,所述待处理数据中包括待分类图像、N类参考图像和所述N类参考图像中每个参考图像的正确分类类别,所述N为大于或等于1的整数;
将所述待处理数据输入图神经网络,以得到所述待分类图像的特征和每个所述参考图像的特征;
根据所述待分类图像的特征、所述参考图像的特征和所述参考图像的正确分类类别,生成所述待分类图像的类别指示信息,所述类别指示信息指示所述待分类图像在所述N类中的生成分类类别;
其中,所述图神经网络为根据第一损失函数和第二损失函数训练得到的,所述第一损失函数的训练目标为提高所述待分类图像的特征与第一类别的参考图像的图节点中心之间的第一相似度,所述第二损失函数的训练目标为拉近所述生成分类类别和所述第一类别的相似度,所述第一类别为所述N类中所述待分类图像的正确分类类别。
10.根据权利要求9所述的方法,其特征在于,待分类图像的特征与第一类别的参考图像的图节点中心之间的第一相似度为以下中的任一项:待分类图像的特征与第一类别的参考图像中每个参考图像的特征之前相似度的平均值、待分类图像的特征与第一类别的参考图像中每个参考图像的特征之前相似度的最大值和待分类图像的特征与第一类别的参考图像中每个参考图像的特征之前相似度的最小值。
11.一种图神经网络的训练装置,其特征在于,所述装置包括:
获取模块,用于获取训练图像集合,所述训练图像集合中包括测试图像和N类训练图像,所述N为大于或等于1的整数;
输入模块,用于将所述训练图像集合输入所述图神经网络,以获取第一相似度信息和与测试图像对应的生成分类类别,所述第一相似度信息指示所述训练图像集合中每个测试图像的特征与所述N类训练图像中每类训练图像的图节点中心之间的相似度,一类训练图像的图节点中心指示一类训练图像的特征;
训练模块,用于根据所述第一相似度信息、第一损失函数、所述生成分类类别和第二损失函数,对所述图神经网络进行训练;
其中,所述第一损失函数的训练目标为提高测试图像的特征与第一类别的训练图像的图节点中心之间的第一相似度,所述第二损失函数的训练目标为拉近所述生成分类类别和所述第一类别的相似度,所述第一类别为所述N类中测试图像的正确分类类别。
12.根据权利要求11所述的装置,其特征在于,所述获取模块,具体用于:
通过所述图神经网络计算第二相似度信息,所述第二相似度信息指示所述训练图像集合中任意两个图像的特征之间的相似度;
根据所述第二相似度信息,生成所述第一相似度信息,其中,测试图像的特征与第二类别的训练图像的图节点中心之间的相似度为以下中的任一项:测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的平均值、测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的最大值和测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的最小值,所述第二类别为所述N类中的任一类。
13.根据权利要求12所述的装置,其特征在于,测试图像的特征与第二类别的训练图像中每个训练图像的特征之间相似度的平均值,所述获取模块,具体用于:
从所述第二相似度信息中获取第三相似度信息,所述第三相似度信息指示所述训练图像集合中任意测试图像与任意训练图像之间的相似度;
将所述第三相似度信息与第一矩阵相乘,得到第二矩阵,所述第一矩阵包括所述训练图像集合中所有训练图像的独热编码;
将所述第二矩阵与所述N类中每类训练图像的个数相除,得到所述第一相似度信息。
14.根据权利要求11至13任一项所述的装置,其特征在于,所述第一损失函数的训练目标为所述第一相似度与第二相似度之间的差距大于预设阈值,所述第二相似度为测试图像的特征与第三类别的训练图像的图节点中心之间的相似度,所述第三类别为所述N类中测试图像的错误分类类别。
15.根据权利要求14所述的装置,其特征在于,所述第一相似度与所述第二相似度之间的差距大于预设阈值为以下中的任一项:所述第一相似度与所述第二相似度之间的差值大于预设阈值和所述第一相似度与所述第二相似度之间的比值大于预设阈值。
16.根据权利要求14所述的装置,其特征在于,所述装置还包括:
缩小模块,用于从所述第一相似度信息中获取所述第一相似度和所述第二相似度,并对所述第一相似度进行缩小处理;
生成模块,用于根据所述第二相似度和缩小处理后的第一相似度,生成所述第一损失函数的函数值。
17.根据权利要求12所述的装置,其特征在于,所述图神经网络包括一个特征提取网络和至少一个特征更新网络,所述特征提取网络用于对输入的训练图像集合中的图像进行特征提取操作,每个特征更新网络,用于计算所述第二相似度信息,并根据所述每个图像的特征和所述第二相似度信息,进行特征更新操作;
所述获取模块,具体用于通过所述至少一个特征更新网络中的第一个特征更新网络计算所述第二相似度信息;
所述训练模块,具体用于根据所述第一相似度信息和第一损失函数,对所述图神经网络中的所述特征提取网络和所述第一个特征更新网络进行训练。
18.根据权利要求11至13任一项所述的装置,其特征在于,所述图神经网络用于进行图像识别或者进行图像分类。
19.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取待处理数据,所述待处理数据中包括待分类图像、N类参考图像和所述N类参考图像中每个参考图像的正确分类类别,所述N为大于或等于1的整数;
输入模块,用于将所述待处理数据输入图神经网络,以得到所述待分类图像的特征和每个所述参考图像的特征;
生成模块,用于根据所述待分类图像的特征、所述参考图像的特征和所述参考图像的正确分类类别,生成所述待分类图像的类别指示信息,所述类别指示信息指示所述待分类图像在所述N类中的生成分类类别;
其中,所述图神经网络为根据第一损失函数和第二损失函数训练得到的,所述第一损失函数的训练目标为提高所述待分类图像的特征与第一类别的参考图像的图节点中心之间的第一相似度,所述第二损失函数的训练目标为拉近所述生成分类类别和所述第一类别的相似度,所述第一类别为所述N类中所述待分类图像的正确分类类别。
20.根据权利要求19所述的装置,其特征在于,待分类图像的特征与第一类别的参考图像的图节点中心之间的第一相似度为以下中的任一项:待分类图像的特征与第一类别的参考图像中每个参考图像的特征之前相似度的平均值、待分类图像的特征与第一类别的参考图像中每个参考图像的特征之前相似度的最大值和待分类图像的特征与第一类别的参考图像中每个参考图像的特征之前相似度的最小值。
21.一种训练设备,其特征在于,包括处理器,所述处理器和存储器耦合,所述存储器存储有程序指令,当所述存储器存储的程序指令被所述处理器执行时实现权利要求1至8中任一项所述的方法,或者,实现权利要求9或10所述的方法。
22.一种计算机可读存储介质,其特征在于,包括程序,当其在计算机上运行时,使得计算机执行如权利要求1至8中任一项所述的方法,或者,使得计算机执行如权利要求9或10所述的方法。
23.一种电路系统,其特征在于,所述电路系统包括处理电路,所述处理电路配置为执行如权利要求1至8中任一项所述的方法,或者,所述处理电路配置为执行如权利要求9或10所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010538179.1A CN111860588B (zh) | 2020-06-12 | 2020-06-12 | 一种用于图神经网络的训练方法以及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010538179.1A CN111860588B (zh) | 2020-06-12 | 2020-06-12 | 一种用于图神经网络的训练方法以及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111860588A true CN111860588A (zh) | 2020-10-30 |
CN111860588B CN111860588B (zh) | 2024-06-21 |
Family
ID=72986827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010538179.1A Active CN111860588B (zh) | 2020-06-12 | 2020-06-12 | 一种用于图神经网络的训练方法以及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111860588B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112364747A (zh) * | 2020-11-04 | 2021-02-12 | 重庆高新区飞马创新研究院 | 一种有限样本下的目标检测方法 |
CN112365352A (zh) * | 2020-11-30 | 2021-02-12 | 西安四叶草信息技术有限公司 | 一种基于图神经网络的反套现方法及装置 |
CN112381147A (zh) * | 2020-11-16 | 2021-02-19 | 虎博网络技术(上海)有限公司 | 动态图片相似度模型建立、相似度计算方法和装置 |
CN112419303A (zh) * | 2020-12-09 | 2021-02-26 | 上海联影医疗科技股份有限公司 | 神经网络训练方法、系统、可读存储介质和设备 |
CN112446505A (zh) * | 2020-11-25 | 2021-03-05 | 创新奇智(广州)科技有限公司 | 一种元学习建模方法及装置、电子设备、存储介质 |
CN112508121A (zh) * | 2020-12-22 | 2021-03-16 | 南京大学 | 一种工业机器人感知外界的方法和系统 |
CN113065634A (zh) * | 2021-02-26 | 2021-07-02 | 华为技术有限公司 | 一种图像处理方法、神经网络的训练方法以及相关设备 |
CN113544700A (zh) * | 2020-12-31 | 2021-10-22 | 商汤国际私人有限公司 | 神经网络的训练方法和装置、关联对象的检测方法和装置 |
CN113627421A (zh) * | 2021-06-30 | 2021-11-09 | 华为技术有限公司 | 一种图像处理方法、模型的训练方法以及相关设备 |
CN113821622A (zh) * | 2021-09-29 | 2021-12-21 | 平安银行股份有限公司 | 基于人工智能的答案检索方法、装置、电子设备及介质 |
CN113849648A (zh) * | 2021-09-28 | 2021-12-28 | 平安科技(深圳)有限公司 | 分类模型训练方法、装置、计算机设备和存储介质 |
CN114511737A (zh) * | 2022-01-24 | 2022-05-17 | 北京建筑大学 | 图像识别域泛化模型的训练方法 |
CN114547308A (zh) * | 2022-02-28 | 2022-05-27 | 腾讯科技(深圳)有限公司 | 文本处理的方法、装置、电子设备及存储介质 |
WO2022204867A1 (zh) * | 2021-03-29 | 2022-10-06 | 华为技术有限公司 | 一种车道线检测方法及装置 |
CN115294402A (zh) * | 2022-08-24 | 2022-11-04 | 合肥市正茂科技有限公司 | 一种基于去冗余多阶混合训练的半监督车辆分类方法 |
CN117932314A (zh) * | 2024-03-25 | 2024-04-26 | 腾讯科技(深圳)有限公司 | 模型训练方法、装置、电子设备、存储介质及程序产品 |
CN118277873A (zh) * | 2024-06-03 | 2024-07-02 | 深圳康普盾科技股份有限公司 | 一种电池管理系统的监测数据分析方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103177414A (zh) * | 2013-03-27 | 2013-06-26 | 天津大学 | 一种基于结构的图节点相似度并行计算方法 |
CA2929180A1 (en) * | 2013-11-04 | 2015-05-07 | Beijing Jingdong Century Trading Co., Ltd. | Image object category recognition method and device |
CN106469376A (zh) * | 2015-08-20 | 2017-03-01 | 阿里巴巴集团控股有限公司 | 一种风险控制方法和设备 |
CN108229532A (zh) * | 2017-10-30 | 2018-06-29 | 北京市商汤科技开发有限公司 | 图像识别方法、装置和电子设备 |
CN110188223A (zh) * | 2019-06-06 | 2019-08-30 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置及计算机设备 |
CN110209867A (zh) * | 2019-06-05 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 图像检索模型的训练方法、装置、设备及存储介质 |
CN110532956A (zh) * | 2019-08-30 | 2019-12-03 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111061890A (zh) * | 2019-12-09 | 2020-04-24 | 腾讯云计算(北京)有限责任公司 | 一种标注信息验证的方法、类别确定的方法及装置 |
CN111259967A (zh) * | 2020-01-17 | 2020-06-09 | 北京市商汤科技开发有限公司 | 图像分类及神经网络训练方法、装置、设备及存储介质 |
-
2020
- 2020-06-12 CN CN202010538179.1A patent/CN111860588B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103177414A (zh) * | 2013-03-27 | 2013-06-26 | 天津大学 | 一种基于结构的图节点相似度并行计算方法 |
CA2929180A1 (en) * | 2013-11-04 | 2015-05-07 | Beijing Jingdong Century Trading Co., Ltd. | Image object category recognition method and device |
US20160267359A1 (en) * | 2013-11-04 | 2016-09-15 | Beijing Jingdong Shangke Information Technology Co., Ltd. | Image object category recognition method and device |
CN106469376A (zh) * | 2015-08-20 | 2017-03-01 | 阿里巴巴集团控股有限公司 | 一种风险控制方法和设备 |
CN108229532A (zh) * | 2017-10-30 | 2018-06-29 | 北京市商汤科技开发有限公司 | 图像识别方法、装置和电子设备 |
CN110209867A (zh) * | 2019-06-05 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 图像检索模型的训练方法、装置、设备及存储介质 |
CN110188223A (zh) * | 2019-06-06 | 2019-08-30 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置及计算机设备 |
CN110532956A (zh) * | 2019-08-30 | 2019-12-03 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111061890A (zh) * | 2019-12-09 | 2020-04-24 | 腾讯云计算(北京)有限责任公司 | 一种标注信息验证的方法、类别确定的方法及装置 |
CN111259967A (zh) * | 2020-01-17 | 2020-06-09 | 北京市商汤科技开发有限公司 | 图像分类及神经网络训练方法、装置、设备及存储介质 |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112364747A (zh) * | 2020-11-04 | 2021-02-12 | 重庆高新区飞马创新研究院 | 一种有限样本下的目标检测方法 |
CN112364747B (zh) * | 2020-11-04 | 2024-02-27 | 重庆高新区飞马创新研究院 | 一种有限样本下的目标检测方法 |
CN112381147A (zh) * | 2020-11-16 | 2021-02-19 | 虎博网络技术(上海)有限公司 | 动态图片相似度模型建立、相似度计算方法和装置 |
CN112381147B (zh) * | 2020-11-16 | 2024-04-26 | 虎博网络技术(上海)有限公司 | 动态图片相似度模型建立、相似度计算方法和装置 |
CN112446505A (zh) * | 2020-11-25 | 2021-03-05 | 创新奇智(广州)科技有限公司 | 一种元学习建模方法及装置、电子设备、存储介质 |
CN112446505B (zh) * | 2020-11-25 | 2023-12-29 | 创新奇智(广州)科技有限公司 | 一种元学习建模方法及装置、电子设备、存储介质 |
CN112365352A (zh) * | 2020-11-30 | 2021-02-12 | 西安四叶草信息技术有限公司 | 一种基于图神经网络的反套现方法及装置 |
CN112419303B (zh) * | 2020-12-09 | 2023-08-15 | 上海联影医疗科技股份有限公司 | 神经网络训练方法、系统、可读存储介质和设备 |
CN112419303A (zh) * | 2020-12-09 | 2021-02-26 | 上海联影医疗科技股份有限公司 | 神经网络训练方法、系统、可读存储介质和设备 |
CN112508121A (zh) * | 2020-12-22 | 2021-03-16 | 南京大学 | 一种工业机器人感知外界的方法和系统 |
CN112508121B (zh) * | 2020-12-22 | 2024-03-22 | 南京大学 | 一种工业机器人感知外界的方法和系统 |
CN113544700A (zh) * | 2020-12-31 | 2021-10-22 | 商汤国际私人有限公司 | 神经网络的训练方法和装置、关联对象的检测方法和装置 |
CN113065634A (zh) * | 2021-02-26 | 2021-07-02 | 华为技术有限公司 | 一种图像处理方法、神经网络的训练方法以及相关设备 |
CN113065634B (zh) * | 2021-02-26 | 2024-07-09 | 华为技术有限公司 | 一种图像处理方法、神经网络的训练方法以及相关设备 |
WO2022204867A1 (zh) * | 2021-03-29 | 2022-10-06 | 华为技术有限公司 | 一种车道线检测方法及装置 |
CN113627421A (zh) * | 2021-06-30 | 2021-11-09 | 华为技术有限公司 | 一种图像处理方法、模型的训练方法以及相关设备 |
CN113627421B (zh) * | 2021-06-30 | 2024-09-06 | 华为技术有限公司 | 一种图像处理方法、模型的训练方法以及相关设备 |
CN113849648B (zh) * | 2021-09-28 | 2024-09-20 | 平安科技(深圳)有限公司 | 分类模型训练方法、装置、计算机设备和存储介质 |
CN113849648A (zh) * | 2021-09-28 | 2021-12-28 | 平安科技(深圳)有限公司 | 分类模型训练方法、装置、计算机设备和存储介质 |
CN113821622B (zh) * | 2021-09-29 | 2023-09-15 | 平安银行股份有限公司 | 基于人工智能的答案检索方法、装置、电子设备及介质 |
CN113821622A (zh) * | 2021-09-29 | 2021-12-21 | 平安银行股份有限公司 | 基于人工智能的答案检索方法、装置、电子设备及介质 |
CN114511737A (zh) * | 2022-01-24 | 2022-05-17 | 北京建筑大学 | 图像识别域泛化模型的训练方法 |
CN114511737B (zh) * | 2022-01-24 | 2022-09-09 | 北京建筑大学 | 图像识别域泛化模型的训练方法 |
CN114547308A (zh) * | 2022-02-28 | 2022-05-27 | 腾讯科技(深圳)有限公司 | 文本处理的方法、装置、电子设备及存储介质 |
CN114547308B (zh) * | 2022-02-28 | 2024-08-23 | 腾讯科技(深圳)有限公司 | 文本处理的方法、装置、电子设备及存储介质 |
CN115294402B (zh) * | 2022-08-24 | 2023-08-11 | 合肥市正茂科技有限公司 | 一种基于去冗余多阶混合训练的半监督车辆分类方法 |
CN115294402A (zh) * | 2022-08-24 | 2022-11-04 | 合肥市正茂科技有限公司 | 一种基于去冗余多阶混合训练的半监督车辆分类方法 |
CN117932314A (zh) * | 2024-03-25 | 2024-04-26 | 腾讯科技(深圳)有限公司 | 模型训练方法、装置、电子设备、存储介质及程序产品 |
CN118277873A (zh) * | 2024-06-03 | 2024-07-02 | 深圳康普盾科技股份有限公司 | 一种电池管理系统的监测数据分析方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111860588B (zh) | 2024-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111860588B (zh) | 一种用于图神经网络的训练方法以及相关设备 | |
CN111797893B (zh) | 一种神经网络的训练方法、图像分类系统及相关设备 | |
CN112183577A (zh) | 一种半监督学习模型的训练方法、图像处理方法及设备 | |
Singh et al. | Image classification: a survey | |
CN111950596B (zh) | 一种用于神经网络的训练方法以及相关设备 | |
CN111507378A (zh) | 训练图像处理模型的方法和装置 | |
CN110659723B (zh) | 基于人工智能的数据处理方法、装置、介质及电子设备 | |
CN112651511A (zh) | 一种训练模型的方法、数据处理的方法以及装置 | |
CN112418392A (zh) | 一种神经网络构建方法以及装置 | |
CN111079658B (zh) | 基于视频的多目标连续行为分析方法、系统、装置 | |
CN111797589B (zh) | 一种文本处理网络、神经网络训练的方法以及相关设备 | |
CN111368656A (zh) | 一种视频内容描述方法和视频内容描述装置 | |
CN111931002B (zh) | 一种匹配方法以及相关设备 | |
EP4322056A1 (en) | Model training method and apparatus | |
CN111695596A (zh) | 一种用于图像处理的神经网络以及相关设备 | |
US20240135174A1 (en) | Data processing method, and neural network model training method and apparatus | |
CN112883149A (zh) | 一种自然语言处理方法以及装置 | |
EP4293628A1 (en) | Image processing method and related apparatus | |
CN113191241A (zh) | 一种模型训练方法及相关设备 | |
EP4273754A1 (en) | Neural network training method and related device | |
WO2020171904A1 (en) | Human body part segmentation with real and synthetic images | |
CN111738403A (zh) | 一种神经网络的优化方法及相关设备 | |
CN114091554A (zh) | 一种训练集处理方法和装置 | |
CN114821096A (zh) | 一种图像处理方法、神经网络的训练方法以及相关设备 | |
CN115238909A (zh) | 一种基于联邦学习的数据价值评估方法及其相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |