CN117315316A - 确定图像分类网络的方法、装置、设备、介质及产品 - Google Patents
确定图像分类网络的方法、装置、设备、介质及产品 Download PDFInfo
- Publication number
- CN117315316A CN117315316A CN202310780884.6A CN202310780884A CN117315316A CN 117315316 A CN117315316 A CN 117315316A CN 202310780884 A CN202310780884 A CN 202310780884A CN 117315316 A CN117315316 A CN 117315316A
- Authority
- CN
- China
- Prior art keywords
- image
- class
- classification network
- classification
- unknown
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000012549 training Methods 0.000 claims abstract description 148
- 238000003860 storage Methods 0.000 claims description 26
- 230000004044 response Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种确定图像分类网络的方法,该方法包括:首先对图像分类网络进行批次训练,以得到第一分类网络和预测的图像类别值,以及第二分类网络和预测的图像类别值;然后根据图像类别值之间的差异来确定每个未知类别的图像样本的不确定性程度;以及根据图像类别值来更新每个未知类别的图像样本的标签;再然后基于每个未知类别的图像样本的不确定性程度和经更新的标签,对第一分类网络进行批次训练;最后基于第一分类网络的参数,确定图像分类网络的参数。根据本申请确定的图像分类网络具有良好的分类能力。
Description
技术领域
本申请涉及计算机技术领域,特别涉及确定图像分类网络的方法和装置、图像分类的方法和装置、计算设备、计算机可读存储介质及计算机程序产品。
背景技术
目前,互联网技术的发展导致图像数据的爆发式增长,这些图像数据可以用作图像样本来训练图像分类网络,使得图像分类网络能够对图像数据进行分类。目前常常遇到这样一种场景,因为人力等因素的局限性,只能从这些图像样本中识别出一部分图像样本的类别为正类别,其他大量图像样本的类别无法知悉,并且不适合用于训练的不良图像样本无法被排除。因此,如何在知道部分正类别的图像样本,且不知道其他大量图像样本的类别的情况下来训练图像分类网络,使其具备良好的分类能力,是需要解决的问题。
在相关技术中,一种解决办法是将未知类别的图像样本默认为负类别,然后使用正类别的图像样本和被默认为负类别的图像样本训练图像分类网络。由于被默认为负类别的图像样本中的一些图像样本的标签存在噪声(即其标签应该是正类别),这种解决方案训练出来的图像分类网络准确性不高。另一种解决办法是两步法,首先利用正类别的图像样本,从未知类别的图像样本中识别负类别的图像样本,然后使用监督学习技术基于正类别的图像样本和负类别的图像样本训练图像分类网络。这种解决办法无法充分利用未知类别的图像样本的价值,导致用于训练的图像样本较少,图像分类网络的分类能力不够高。
发明内容
鉴于此,本申请提供了一种确定图像分类网络的方法和装置、图像分类的方法和装置、计算设备、计算机可读存储介质及计算机程序产品,期望缓解或克服上面提到的部分或全部缺陷以及其他可能的缺陷。
根据本申请的第一方面,提供了一种确定图像分类网络的方法,所述图像分类网络基于图像样本集合而确定,所述图像样本集合包括正类别的图像样本集合和未知类别的图像样本集合,所述方法包括:将每个正类别的图像样本的标签设定为正类别,每个未知类别的图像样本的标签设定为负类别,并且基于每个图像样本的标签,以所述图像样本集合为一个批次对所述图像分类网络进行批次训练,以得到第一分类网络和所述第一分类网络针对每个未知类别的图像样本预测的图像类别值,以及第二分类网络和所述第二分类网络针对每个未知类别的图像样本预测的图像类别值,其中所述第一分类网络为经过第一数量的批次训练得到的,所述第二分类网络为经过第二数量的批次训练得到的,所述第一数量与所述第二数量不同,并在所述批次训练中根据所述图像样本集合的分类损失来调整所述图像分类网络的参数;根据所述第一分类网络和所述第二分类网络分别针对所述未知类别的图像样本集合中每个未知类别的图像样本预测的图像类别值间的差异来确定所述每个未知类别的图像样本的不确定性程度;根据所述第一分类网络针对每个未知类别的图像样本预测的图像类别值来更新所述每个未知类别的图像样本的标签;基于每个未知类别的图像样本的不确定性程度和经更新的标签,以所述未知类别的图像样本集合为一个批次对所述第一分类网络进行批次训练,以得到经训练的第一分类网络;基于所述经训练的第一分类网络的参数,确定所述图像分类网络的参数。
在根据本申请的一些确定图像分类网络的方法的实施例中,所述根据所述第一分类网络针对每个未知类别的图像样本预测的图像类别值来更新所述每个未知类别的图像样本的标签,包括:对于所述未知类别的图像样本集合中的每个未知类别的图像样本,执行下述步骤:响应于所述第一分类网络针对所述未知类别的图像样本预测的图像类别值大于正类别阈值,将所述未知类别的图像样本的标签更新为正类别;响应于所述第一分类网络针对所述未知类别的图像样本预测的图像类别值小于或等于所述正类别阈值,将所述未知类别的图像样本的标签更新为负类别。
在根据本申请的一些确定图像分类网络的方法的实施例中,所述基于每个未知类别的图像样本的不确定性程度和经更新的标签,以所述未知类别的图像样本集合为一个批次对所述第一分类网络进行批次训练,包括:根据每个未知类别的图像样本的不确定性程度确定每个未知类别的图像样本的影响权重,所述影响权重与所述不确定性程度成反比关系;循环执行下述步骤直到所述第一分类网络收敛:使用所述第一分类网络确定每个未知类别的图像样本的分类值;根据每个未知类别的图像样本的标签和分类值确定每个未知样本的分类损失;基于每个未知类别的图像样本的分类损失和影响权重,确定所述未知类别的图像样本集合的分类损失;根据所述未知类别的图像样本集合的分类损失调整所述第一分类网络的参数。
在根据本申请的一些确定图像分类网络的方法的实施例中,每个未知类别的图像样本的不确定性程度大于等于0,并且所述根据每个未知类别的图像样本的不确定性程度确定每个未知类别的图像样本的影响权重,包括:将每个未知类别的图像样本的不确定性程度的负值与第一预设参数的商,作为自然常数的幂,来确定每个未知类别的图像样本的影响权重。
在根据本申请的一些确定图像分类网络的方法的实施例中,所述基于每个未知类别的图像样本的分类损失和影响权重,确定所述未知类别的图像样本集合的分类损失,包括:根据第一集合中每个未知类别的图像样本的影响权重和分类损失来确定所述第一集合的平均分类损失,作为第一分类损失,其中所述第一集合包括所述未知类别的图像样本集合中由所述第一分类网络预测的图像类别值大于所述正类别阈值的未知类别的图像样本;根据第二集合中每个未知类别的图像样本的影响权重和分类损失来确定所述第二集合的平均分类损失,作为第二分类损失,其中所述第二集合包括所述未知类别的图像样本集合中由所述第一分类网络预测的图像类别值小于负类别阈值的未知类别的图像样本;根据第三集合中每个未知类别的图像样本的分类损失来确定所述第三集合的平均分类损失,作为第三分类损失,其中所述第三集合包括所述未知类别的图像样本集合中由所述第一分类网络预测的图像类别值小于等于所述正类别阈值且大于等于所述负类别阈值的未知类别的图像样本;根据所述第一分类损失和所述第二分类损失以及所述第三分类损失的加权和来确定所述未知类别的图像样本集合的分类损失。
在根据本申请的一些确定图像分类网络的方法的实施例中,所述正类别阈值为所述未知类别的图像样本集合的未知类别的图像样本的图像类别值中,各个指示正类别的图像类别值的平均值;并且所述负类别阈值为所述未知类别的图像样本集合的未知类别的图像样本的图像类别值中,各个指示负类别的图像类别值的平均值。
在根据本申请的一些确定图像分类网络的方法的实施例中,所述基于每个图像样本的标签,以所述图像样本集合为一个批次对所述图像分类网络进行批次训练,以得到第一分类网络和所述第一分类网络针对每个未知类别的图像样本预测的图像类别值,以及第二分类网络和所述第二分类网络针对每个未知类别的图像样本预测的图像类别值,包括:在所述图像分类网络的所述第一数量的批次训练中,将最后一个批次训练的针对每个未知类别的图像样本的分类值作为所述第一分类网络针对每个未知类别的图像样本预测的图像类别值;在所述图像分类网络的所述第二数量的批次训练中,将最后一个批次训练的针对每个未知类别的图像样本的分类值作为所述第二分类网络针对每个未知类别的图像样本预测的图像类别值。
在根据本申请的一些确定图像分类网络的方法的实施例中,所述基于每个图像样本的标签,以所述图像样本集合为一个批次对所述图像分类网络进行批次训练,以得到第一分类网络和所述第一分类网络针对每个未知类别的图像样本预测的图像类别值,以及第二分类网络和所述第二分类网络针对每个未知类别的图像样本预测的图像类别值,包括:按照预设权重,确定所述图像分类网络针对每个未知类别的图像样本在所述第一数量的批次训练中输出的各个分类值的加权和,作为所述第一分类网络针对每个未知类别的图像样本预测的图像类别值;按照所述预设权重,确定所述图像分类网络针对每个未知类别的图像样本在所述第二数量的批次训练中输出的各个分类值的加权和,作为所述第二分类网络针对每个未知类别的图像样本预测的图像类别值。
在根据本申请的一些确定图像分类网络的方法的实施例中,所述基于每个图像样本的标签,以所述图像样本集合为一个批次对所述图像分类网络进行批次训练,以得到第一分类网络和所述第一分类网络针对每个未知类别的图像样本预测的图像类别值,以及第二分类网络和所述第二分类网络针对每个未知类别的图像样本预测的图像类别值,包括:对于每个未知类别的图像样本,执行下述步骤:将所述图像分类网络在第一批次训练中对所述未知类别的图像样本的分类值与第二预设参数的乘积作为所述未知类别的图像样本在所述图像分类网络的第一批次训练预测的图像类别值,所述第二预设参数大于0小于1;根据下述公式确定所述未知类别的图像样本在所述图像分类网络的其他批次训练预测的图像类别值:st(x)=(1-α)×st-1(x)+α×gt(x),其中x指示所述未知类别的图像样本,t指示批次训练的序数,st(x)为所述未知类别的图像样本在所述图像分类网络的第t批次训练预测的图像类别值,st-1(x)为所述未知类别的图像样本在所述图像分类网络的第t-1批次训练预测的图像类别值,α为所述第二预设参数,gt(x)为所述未知类别的图像样本在所述图像分类网络的第t批次训练的分类值;将所述未知类别的图像样本在所述图像分类网络的所述第一数量的批次训练的图像类别值,作为所述第一分类网络针对所述未知类别的图像样本预测的图像类别值;将所述未知类别的图像样本在所述图像分类网络的所述第二数量的批次训练的图像类别值,作为所述第二分类网络针对所述未知类别的图像样本预测的图像类别值。
在根据本申请的一些确定图像分类网络的方法的实施例中,所述根据所述第一分类网络和所述第二分类网络分别针对所述未知类别的图像样本集合中每个未知类别的图像样本预测的图像类别值之间的差异来确定所述每个未知类别的图像样本的不确定性程度,包括:确定第一分类网络和第二分类网络分别针对每个未知类别的图像样本预测的图像类别值之间的差值的绝对值,作为每个未知类别的图像样本的第一差异;确定第一分类网络和第二分类网络分别针对每个未知类别的图像样本预测的图像类别值之间的总和的绝对值,作为每个未知类别的图像样本的第二差异;确定每个未知类别的图像样本的不确定性程度,其中每个未知类别的图像样本的不确定性程度与所述每个未知类别的图像样本的第一差异成正比,且与所述每个未知类别的图像样本的第二差异成反比。
在根据本申请的一些确定图像分类网络的方法的实施例中,基于所述经训练的第一分类网络的参数,确定所述图像分类网络的参数,包括:将所述经训练的第一分类网络的参数,确定为所述图像分类网络的参数。
在根据本申请的一些确定图像分类网络的方法的实施例中,基于所述经训练的第一分类网络的参数,确定所述图像分类网络的参数,包括:根据所述第二分类网络针对每个未知类别的图像样本预测的图像类别值来更新所述每个未知类别的图像样本的标签;基于每个未知类别的图像样本的不确定性程度和经更新的标签,以所述未知类别的图像样本集合为一个批次对所述第二分类网络进行批次训练,以得到经训练的第二分类网络;对于所述经训练的第一分类网络的每个参数,确定所述参数与所述第二分类网络的对应参数之间的平均值,作为所述图像分类网络的对应参数。
根据本申请的第二方面,提供了一种图像分类方法,包括:获取待检测图像;使用根据本申请的第一方面提供的方法确定的图像分类网络来对所述待检测图像进行分类,以得到所述待检测图像的分类值。
根据本申请的第三方面,提供了一种确定图像分类网络的装置,所述图像分类网络基于图像样本集合而确定,所述图像样本集合包括正类别的图像样本集合和未知类别的图像样本集合,所述装置包括:预训练模块,配置为将每个正类别的图像样本的标签设定为正类别,每个未知类别的图像样本的标签设定为负类别,并且基于每个图像样本的标签,以所述图像样本集合为一个批次对所述图像分类网络进行批次训练,以得到第一分类网络和所述第一分类网络针对每个未知类别的图像样本预测的图像类别值,以及第二分类网络和所述第二分类网络针对每个未知类别的图像样本预测的图像类别值,其中所述第一分类网络为经过第一数量的批次训练得到的,所述第二分类网络为经过第二数量的批次训练得到的,所述第一数量与所述第二数量不同,并在所述批次训练中根据所述图像样本集合的分类损失来调整所述图像分类网络的参数;比较模块,配置为根据所述第一分类网络和所述第二分类网络分别针对所述未知类别的图像样本集合中每个未知类别的图像样本预测的图像类别值之间的差异来确定所述每个未知类别的图像样本的不确定性程度;标签更新模块,配置为根据所述第一分类网络针对每个未知类别的图像样本预测的图像类别值来更新所述每个未知类别的图像样本的标签;再训练模块,配置为基于每个未知类别的图像样本的不确定性程度和经更新的标签,以所述未知类别的图像样本集合为一个批次对所述第一分类网络进行批次训练,以得到经训练的第一分类网络;参数确定模块,配置为基于所述经训练的第一分类网络的参数,确定所述图像分类网络的参数。
根据本申请的第四方面,提供了一种图像分类装置,所述图像分类装置包括:获取模块,配置为获取待检测图像;分类模块,配置为使用前述实施例所述的图像分类网络来对所述待检测图像进行分类,以得到所述待检测图像的分类值。
根据本申请的第五方面,提供了一种计算设备,包括存储器和处理器,其中所述存储器中存储有计算机程序,所述计算机程序在被所述处理器执行时促使所述处理器执行根据本申请一些实施例的确定图像分类网络的方法的步骤。
根据本申请的第六方面,提供了一种计算机可读存储介质,其上存储计算机可读指令,所述计算机可读指令在被执行时实现根据本申请一些实施例的确定图像分类网络的方法。
根据本申请的第七方面,提供了一种计算机程序产品,包括计算机指令,计算机指令在被处理器执行时实现根据本申请一些实施例的确定图像分类网络的方法。
在根据本申请一些实施例的确定图像分类网络的方法和装置中,先基于正类别的图像样本和未知类别的图像样本对图像分类网络进行预训练以得到两个分类网络,使得这两个分类网络具有初步的分类能力,这有利于精确地计算不确定性程度和准确地更新标签;然后在第一层面,比较这两个分类网络针对同一个未知类别的图像样本得到的图像类别值,根据其差异来确定该未知类别的图像样本的不确定性程度,以确定该未知类别的图像样本在后续批次训练过程中的影响程度,减少不太适合用于训练的不良图像样本带来的噪声;在第二层面,根据图像类别值更新一部分未知类别的图像样本的标签,实现标签的校正,以减少各个未知类别的图像样本的标签中的噪声;进一步地,在第一分类网络的后续批次训练中,根据各个未知类别的图像样本的不确定性程度和更新的标签来调整各个未知类别的图像样本的分类损失,其中根据不确定性程度可以抑制不确定性程度较高的未知类别的图像样本对第一分类网络的参数调整的影响,这也意味着不确定性程度较低的未知类别的图像样本对第一分类网络的参数调整的影响被相对放大,再结合经更新的标签,因为各个未知类别的图像样本的标签中的噪声和不太适合用于训练的不良图像样本的噪声被抑制,这可以提高第一分类网络的分类能力;最后至少根据第一分类网络得到图像分类网络,因为第一分类网络的分类能力被提高,因此该图像分类网络也具有较高的分类能力。
根据下文描述的实施例,本申请的这些和其它优点将变得清楚,并且参考下文描述的实施例来阐明本申请的这些和其它优点。
附图说明
现在将更详细并且参考附图来描述本申请的实施例,其中:
图1是根据本申请的一些实施例的确定图像分类网络的方法的示例性应用场景;
图2是根据本申请的一些实施例的确定图像分类网络的方法的流程图;
图3是根据本申请的一些实施例的确定每个未知类别的图像样本的不确定性程度的流程图;
图4是根据本申请的一些实施例的第一分类网络的后续批次训练的流程图;
图5是根据本申请的一些实施例的确定未知类别的图像样本集合的分类损失的流程图;
图6是划分未知类别的图像样本集合的示意图;
图7是根据本申请的一些实施例的确定图像分类网络的参数的流程图;
图8是根据本申请的一些实施例的基于图像样本集合确定分类网络的示意图;
图9是根据本申请的一些实施例的图像分类方法的流程图;
图10是根据本申请的另外一些实施例的确定图像分类网络的装置的示例性结构框图;
图11是根据本申请的另外一些实施例的图像分类装置的示例性结构框图;
图12示出了一个示例系统,其包括代表可以实现本文描述的各种方法的一个或多个系统和/或设备的示例计算设备。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本申请将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本申请的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组件、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体,不必然与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应理解,虽然本文中可能使用术语第一、第二、第三等来描述各种组件,但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此,下文论述的第一组件可称为第二组件而不偏离本申请概念的教示。如本文中所使用,术语“和/或”及类似术语包括相关联的列出项目中的任一个、多个和全部的所有组合。
本领域技术人员可以理解,附图只是示例实施例的示意图,附图中的模块或流程并不一定是实施本申请所必须的,因此不能用于限制本申请的保护范围。
在详细介绍本申请的实施例之前,为了清楚起见,首先对一些相关的概念进行解释。
本申请涉及人工智能和机器学习,下面对相关技术进行简单介绍:
人工智能(Artificial Intelligence,AI):所谓AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
AI技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大应用程序的处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
正未标记学习(Positive-Unlabeled learning):在只有正类别的样本和未知类别的样本的情况下,训练人工神经网络的技术。未知类别的样本可能是正类别的样本,也可能是负类别的样本。因为不知悉未知类别的样本的标签,人工神经网络的训练中具有很多的噪声。
卷积神经网络(CNN,Convolutional Neural Networks):是一类包含卷积计算且具有深度结构的前馈神经网络(FNN,Feed forward Neural Networks),是深度学习(DeepLearning)的代表算法之一。卷积神经网络具有表征学习(Representation Learning)能力,能够按其阶层结构对输入的图像进行平移不变分类(Shift-InvariantClassification)。
卷积层:卷积神经网络中每层卷积层(Convolutional Layer)由若干卷积单元组成,每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征,第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级,更多层的网路能从低级特征中迭代提取更复杂的特征。
风险函数:又称期望损失,是损失函数的期望值,度量平均意义下人工神经网络预测的好坏。
图1A示出了根据本申请的一些实施例的确定图像分类网络的系统100的架构示意图。系统100中可以包括客户端101、网络102、服务单元103,服务单元103通过网络102与客户端101通信地耦合在一起。网络102例如可以是广域网(WAN)、局域网(LAN)、无线网络、公用电话网、内联网以及本领域的技术人员熟知的任何其它类型的网络。
在该实施例中,确定图像分类网络的方法由服务单元103执行。该图像样本集合包括正类别的图像样本集合和未知类别的图像样本集合,服务单元103执行的方法包括下述步骤。
首先将每个正类别的图像样本的标签设定为正类别,每个未知类别的图像样本的标签设定为负类别,并且基于每个图像样本的标签,以图像样本集合为一个批次对图像分类网络进行批次训练,以得到第一分类网络和第一分类网络针对每个未知类别的图像样本预测的图像类别值,以及第二分类网络和第二分类网络针对每个未知类别的图像样本预测的图像类别值,其中第一分类网络为经过第一数量的批次训练得到的,第二分类网络为经过第二数量的批次训练得到的,第一数量与第二数量不同,并在批次训练中根据图像样本集合的分类损失来调整图像分类网络的参数。在该实施例中,服务单元103可以预先存储有待确定的图像分类网络,在从客户端101获取图像样本集合后,实现该步骤的内容。
其次根据第一分类网络和第二分类网络分别针对未知类别的图像样本集合中每个未知类别的图像样本预测的图像类别值之间的差异来确定每个未知类别的图像样本的不确定性程度。每个未知类别的图像样本预测的图像类别值都是服务单元103计算得到的,因此可以直接在服务单元103的本地执行比较图像类别值之间的差异的步骤。
然后根据第一分类网络针对每个未知类别的图像样本预测的图像类别值来更新每个未知类别的图像样本的标签。服务单元103可以直接在本地执行更新每个未知类别的图像样本的标签的步骤。
再然后基于每个未知类别的图像样本的不确定性程度和经更新的标签,以未知类别的图像样本集合为一个批次对第一分类网络进行批次训练,以得到经训练的第一分类网络。服务单元103可以预先将每个未知类别的图像样本存储在本地,然后使用这些图像样本来不断对第一分类网络进行批次训练,也可以在每个批次训练中,单独从客户端101再获取这些图像样本,从而不断对第一分类网络进行批次训练。
最后基于经训练的第一分类网络的参数,确定图像分类网络的参数。服务单元103接下来例如可以使用网络102来向客户端101传送该图像分类网络的参数,从而实现在不同的终端使用所确定的图像分类网络。
在图1A所示的系统100中,根据本申请的一些实施例的确定图像分类网络的方法在服务单元103上实施,但这仅仅是示意性的而非限制性的,根据本申请的一些实施例的确定图像分类网络的方法还可以在其他具有具备充分的计算资源和计算能力的主体上实施,例如可以在具备充分的计算资源和计算能力的客户端101上实施等。当然,也可以部分在服务单元103上实施,部分在客户端101上实施,这不是限制性的。
图1B示出了根据本申请的一些实施例的图像分类系统110的架构示意图。系统110中可以包括客户端111、网络112、服务单元113,服务单元113通过网络112与客户端111通信地耦合在一起。网络112例如可以是广域网(WAN)、局域网(LAN)、无线网络、公用电话网、内联网以及本领域的技术人员熟知的任何其它类型的网络。
在该实施例中,服务单元113中预先存储有如图1A所示的在服务单元103中确定的图像分类网络,图像分类方法由服务单元113执行。
首先获取待检测图像。该待检测图像可以是从客户端111中获得的。或者,服务单元113可以从客户端111中获得可拆分为图像的其他数据(例如视频数据),然后在服务单元113处将其拆分成图像数据,从中获取待检测图像。
然后使用权利要求1的图像分类网络来对待检测图像进行分类,以得到待检测图像的分类值。分类值指图像样本被输入到图像分类网络后,该图像分类网络所输出的值。因为服务单元113中预先存储的图像分类网络已经经过训练,具备了良好的分类能力,因此可以直接输入到该图像分类网络来得到该待检测图像的分类值,从而获知其图像类别。
在图1B所示的系统110中,根据本申请的一些实施例的确定图像分类网络的方法在服务单元113上实施,但这仅仅是示意性的而非限制性的,根据本申请的一些实施例的确定图像分类网络的方法还可以在其他具有具备充分的计算资源和计算能力的主体上实施,例如可以在具备充分的计算资源和计算能力的客户端111上实施等。当然,也可以部分在服务单元113上实施,部分在客户端111上实施,这不是限制性的。
本领域普通技术人员所理解的,服务单元103和服务单元113的实例可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
客户端101和客户端111可以是任何类型的移动计算设备,包括移动计算机(例如,个人数字助理(PDA)、膝上型计算机、笔记本计算机、平板计算机、上网本等)、移动电话(例如,蜂窝电话、智能手机等)、可穿戴式计算设备(例如智能手表、头戴式设备,包括智能眼镜等)或其他类型的移动设备。在一些实施例中,客户端101和客户端111也可以是固定式计算设备,例如台式计算机、游戏机、智能电视等。
如图1所示,客户端101和客户端111可以包括显示屏以及可以经由显示屏与终端用户交互的终端应用。终端应用可以为本地应用程序、网页(Web)应用程序或者作为轻量化应用的小程序(Lite App,例如手机小程序、微信小程序)。在终端应用为需要安装的本地应用程序的情况下,可以将终端应用安装在客户端101和客户端111中。在终端应用为Web应用程序的情况下,可以通过浏览器访问终端应用。在终端应用为小程序的情况下,可以通过搜索终端应用的相关信息(如终端应用的名称等)、扫描终端应用的图形码(如条形码、二维码等)等方式来在客户端101和客户端111上直接打开终端应用,而无需安装终端应用。
接下来对本申请实施例提供的确定图像分类网络的方法的不同应用场景进行示例性说明。
作为一个示例,本申请实施例的应用场景可以是检测视频中是否包含伪造的人脸的应用场景。在申请中所处理的人脸信息具备合法性基础,包括但不限于获取人脸信息主体的告知同意、订立履行合同所必需、实施人力资源管理所必需、为履行法定职责或者法定义务所必需等(具体参见《个人信息保护法》第十三条)。
一个视频由多个视频帧组成,每个视频帧都可以作为一个图像样本。在该应用场景中,可以预先将一个包含伪造的人脸的视频处理成多个视频帧,作为图像样本集合,其中预先识别的包含伪造的人脸的一个或多个视频帧构成正类别的图像样本集合,其余的视频帧构成未知类别的图像样本集合。在该图像样本集合中,将正类别的图像样本的标签设定为正类别(即包含伪造的人脸的类别),将未知类别的图像样本的标签设定为负类别(即不包含伪造的人脸的类别)。基于每个图像样本的标签,以图像样本集合为一个批次对图像分类网络进行批次训练。可选地,为了较好地提取图像样本的特征,该图像分类网络可以使用卷积神经网络来提取图像样本中的人脸特征,使用全连接网络来判断所提取的人脸特征是否是伪造的人脸。该图像分类网络经过第一数量的批次训练得到第一分类网络和第一分类网络针对每个未知类别的图像样本预测的图像类别值,该图像分类网络经过第二数量的批次训练得到第二分类网络和第二分类网络针对每个未知类别的图像样本预测的图像类别值。然后根据第一分类网络和第二分类网络分别针对每个未知类别的图像样本预测的图像类别值之间的差异来确定每个未知类别的图像样本的不确定性程度。再然后根据第一分类网络针对每个未知类别的图像样本预测的图像类别值来更新每个未知类别的图像样本的标签。接下来基于每个未知类别的图像样本的不确定性程度和经更新的标签,以未知类别的图像样本集合为一个批次对第一分类网络进行批次训练,以得到经训练的第一分类网络。最后基于经训练的第一分类网络的参数,确定图像分类网络的参数。
作为另一个示例,本申请实施例的应用场景可以是向终端推荐感兴趣图像的应用场景。该终端可以是图1B中的客户端111。
在诸多购物平台中,一般通过图像来展示商品,一个图像可以指代一个商品。现有的多个商品的图像中,其中只有少量商品的图像是预先识别的该终端的用户感兴趣的商品的图像(例如用户曾使用该终端选中该商品的图像)。在该应用场景中,可以将该多个商品的图像作为图像样本集合,其中该终端的用户感兴趣的商品的图像构成正类别的图像样本集合,其余的商品的图像构成未知类别的图像样本集合。在该图像样本集合中,将正类别的图像样本的标签设定为正类别(即该终端的用户感兴趣的商品的类别),将未知类别的图像样本的标签设定为负类别(即该终端的用户不感兴趣的商品的类别)。基于每个图像样本的标签,以图像样本集合为一个批次对图像分类网络进行批次训练。可选地,为了较好地提取图像样本的特征,该图像分类网络可以使用卷积神经网络来提取图像样本中的商品特征,使用全连接网络来判断所提取的商品特征是否是终端的用户感兴趣的商品。该图像分类网络经过第一数量的批次训练得到第一分类网络和第一分类网络针对每个未知类别的图像样本预测的图像类别值,该图像分类网络经过第二数量的批次训练得到第二分类网络和第二分类网络针对每个未知类别的图像样本预测的图像类别值。然后根据第一分类网络和第二分类网络分别针对每个未知类别的图像样本预测的图像类别值之间的差异来确定每个未知类别的图像样本的不确定性程度。再然后根据第一分类网络针对每个未知类别的图像样本预测的图像类别值来更新每个未知类别的图像样本的标签。接下来基于每个未知类别的图像样本的不确定性程度和经更新的标签,以未知类别的图像样本集合为一个批次对第一分类网络进行批次训练,以得到经训练的第一分类网络。最后基于经训练的第一分类网络的参数,确定图像分类网络的参数。
图2是根据本申请的一些实施例的确定图像分类网络的方法的流程图。所示方法200可以在服务单元(例如可以在图1A所示的服务单元103)上实施。在一些实施例中,在图1A所示的客户端101具备充分的计算资源和计算能力的情况下,可以直接在客户端101上执行根据本申请的一些实施例的确定图像分类网络的方法。在另一些实施例中,根据本申请的一些实施例的确定图像分类网络的方法也可以由服务单元103、客户端101相组合地执行。如图2所示,根据本申请一些实施例的确定图像分类网络的方法可以包括步骤S201-S205,其中图像样本集合包括正类别的图像样本集合和未知类别的图像样本集合。
在步骤S201,将每个正类别的图像样本的标签设定为正类别,每个未知类别的图像样本的标签设定为负类别,并且基于每个图像样本的标签,以图像样本集合为一个批次对图像分类网络进行批次训练,以得到第一分类网络和第一分类网络针对每个未知类别的图像样本预测的图像类别值,以及第二分类网络和第二分类网络针对每个未知类别的图像样本预测的图像类别值,其中第一分类网络为经过第一数量的批次训练得到的,第二分类网络为经过第二数量的批次训练得到的,第一数量与第二数量不同,并在批次训练中根据图像样本集合的分类损失来调整图像分类网络的参数。正类别可以是图像样本的所有类别中任何指定的类别,例如可以是指示包含伪造的人脸或者指示终端的用户的感兴趣等图像的类别。相应的,负类别可以是不属于正类别的类别,例如可以是指示不包含伪造的人脸或者指示用户不感兴趣等图像的类别。在该实施例中,每个图像样本都具有一个标签,在批次训练中,每个图像样本的分类损失根据该图像样本的标签和图像分类网络针对该图像样本预测的分类值来确定,即该步骤的训练是对图像分类网络进行的有监督的训练,其中分类值指图像样本被输入到图像分类网络后,该图像分类网络所输出的值。在批次训练中,图像样本集合的分类损失是根据该图像样本集合中所有图像样本的分类损失综合确定的,例如可以根据常用的风险函数来确定。
第一分类网络与第二分类网络是对同一个图像分类网络训练得到的,只是两者进行的批次训练的数量不同。第一分类网络可以进行了100个批次训练,第二分类网络可以进行了110个批次训练。另外,第一分类网络与第二分类网络的获取有不同的实现方式。例如,针对同一初始化后的图像分类网络,第一分类网络可以是基于每个图像样本的标签,以图像样本集合为一个批次对该图像分类网络(其具有初始化时的参数)进行100个批次训练得到的,第二分类网络可以是基于每个图像样本的标签,以图像样本集合为一个批次对该图像分类网络(其具有初始化时的参数)进行110个批次训练得到的。替代地,为了方便起见,第一分类网络可以是基于每个图像样本的标签,以图像样本集合为一个批次对该图像分类网络(其具有初始化时的参数)进行100个批次训练得到的,第二分类网络可以是基于每个图像样本的标签,以图像样本集合为一个批次对第一分类网络(其具有将图像分类网络进行100个批次训练时的参数)再进行10个批次训练得到的。第一分类网络和第二分类网络针对图像样本所输出的是分类值,而图像类别值是根据所预测的分类值统计得到的,其指示第一分类网络或第二分类网络针对该图像样本的预测的分类值的整体情况。
步骤S201是对图像分类网络的预训练步骤,经过预训练得到两个分类网络。由于用于批次训练的图像样本集合中包括正类别的图像样本及准确的标签,所以经过有监督的训练,第一分类网络和第二分类网络都具有初步的预测能力。之所以预训练两个分类网络,是因为发明人意识到:由于该预训练可以让第一分类网络和第二分类网络具有初步的预测能力,所以对于未知类别的图像样本中那些可以明显判断出来是正类别或负类别的图像样本,这两个分类网络针对该图像样本应当预测出接近的图像类别值,如果预测出的图像类别值不接近,意味着该图像样本的类别仍具有较大的不确定性,是不太适合用于训练的不良的图像样本,根据该图像样本得到的分类损失容易给后续批次训练的第一分类网络带来较大的噪声,在步骤S201中训练两个分类网络可以实现针对同一图像样本的两个图像类别值之间的比较。
在步骤S202,根据第一分类网络和第二分类网络分别针对未知类别的图像样本集合中每个未知类别的图像样本预测的图像类别值之间的差异来确定每个未知类别的图像样本的不确定性程度。在该步骤中,第一分类网络和第二分类网络针对每个未知类别的图像样本预测的图像类别值之间的差异是指,对于每个未知类别的图像样本,第一分类网络和第二分类网络针对该单个图像样本预测的两个图像类别值之间的差异。例如针对未知类别的图像样本A,根据第一分类网络针对未知类别的图像样本A预测的图像类别值A1,与第二分类网络针对未知类别的图像样本A预测的图像类别值A2之间的差异来确定未知类别的图像样本A的不确定性程度。计算该差异的方式可以有多种,例如将单个图像样本被预测的两个图像类别值之间的差值的绝对值确定两者之间的差异,并作为该图像样本的不确定性程度。
在正未标记学习中,由于未知类别的图像样本非常多,所以如何根据这些未知类别的图像样本所带来的分类损失将显著影响所训练的第一分类网络的分类能力。如上所述,该差异体现了未知类别的图像样本的类别是否具有较大的不确定性,以及其分类损失是否容易给被训练的第一分类网络带来较大的噪声。如果差异较大,则该图像样本的类别具有较大的不确定性,其标签所指示的类别很可能不准确,具有很大的风险,该图像样本不太适合用于训练,容易给被训练的第一分类网络带来较大的噪声;如果差异较小,则该图像样本的类别具有较小的不确定性,其由第一分类网络或者第二分类网络预测的图像类别值所指示的类别很有可能是准确的,具有很大的风险,该图像样本较适合用于训练,基本没有噪声,因此基于不确定程度小的图像样本的分类损失来调整第一分类网络的参数是可靠且有益的。鉴于此,不确定性程度可以用于确定对应的未知类别的图像样本在后续批次训练过程中的影响程度。
在步骤S203,根据第一分类网络针对每个未知类别的图像样本预测的图像类别值来更新每个未知类别的图像样本的标签。在该实施例中,因为要基于第一分类网络来确定图像分类网络,所以对未知类别的图像样本的标签的更新是根据从第一分类网络得到的未知类别的图像样本预测的图像类别值进行的。例如第一类网络针对未知类别的图像样本A预测的图像类别值是0.7,其中1代表正类别,-1代表负类别,则可以将未知类别的图像样本A的标签更新为正类别。
如在步骤S201所描述的,未知类别的图像样本的标签被设定为负类别,但这与实际情况并不相符,这是因为掺杂在其中的正类别的图像样本的标签也被设定为负类别,因此未知类别的图像样本集合中的标签存在噪声。在步骤S203中,因为图像类别值指示第一分类网络针对一个图像样本的预测的各个分类值的整体情况,以代表第一分类网络在批次训练中对该图像样本的类别的判断,所以按照图像类别值来更新标签可以一定程度上减少后续批次训练中未知类别的图像样本集合中的标签的噪声,从而提高第一分类网络的分类能力。
在步骤S204,基于每个未知类别的图像样本的不确定性程度和经更新的标签,以未知类别的图像样本集合为一个批次对第一分类网络进行批次训练,以得到经训练的第一分类网络。在每个批次训练中,针对任一未知类别的图像样本,根据第一分类网络针对未知类别的图像样本预测的分类值与该未知类别的图像样本的经更新的标签来计算该未知类别的图像样本的分类损失,该未知类别的图像样本的不确定性程度用于调整该未知类别的图像样本对应的分类损失,例如放大、缩小该分类损失或者保持不变,以计算该未知类别的图像样本集合的分类损失,从而调整该第一分类网络的参数。
在步骤S205,基于经训练的第一分类网络的参数,确定图像分类网络的参数。该第一分类网络已经具备良好的分类能力,所以基于该经训练的第一分类网络而确定的图像分类网络也就良好的分类能力。作为示例,可以将该经训练的第一分类网络的参数确定为图像分类网络的参数,即两者的参数可以相同。
在根据本申请一些实施例的确定图像分类网络的方法中,先基于正类别的图像样本和未知类别的图像样本对图像分类网络进行预训练以得到两个分类网络,使得这两个分类网络具有初步的分类能力,这有利于精确地计算不确定性程度和准确地更新标签;然后在第一层面,比较这两个分类网络针对同一个未知类别的图像样本得到的图像类别值,根据其差异来确定该未知类别的图像样本的不确定性程度,以确定该未知类别的图像样本在后续批次训练过程中的影响程度,减少不太适合用于训练的不良图像样本带来的噪声;在第二层面,根据图像类别值更新一部分未知类别的图像样本的标签,实现标签的校正,以减少各个未知类别的图像样本的标签中的噪声;进一步地,在第一分类网络的后续批次训练中,根据各个未知类别的图像样本的不确定性程度和更新的标签来调整各个未知类别的图像样本的分类损失,其中根据不确定性程度可以抑制不确定性程度较高的未知类别的图像样本对第一分类网络的参数调整的影响,这也意味着不确定性程度较低的未知类别的图像样本对第一分类网络的参数调整的影响被相对放大,再结合经更新的标签,因为各个未知类别的图像样本的标签中的噪声和不太适合用于训练的不良图像样本的噪声被抑制,这可以提高第一分类网络的分类能力;最后至少根据第一分类网络得到图像分类网络,因为第一分类网络的分类能力被提高,因此该图像分类网络也具有较高的分类能力。
下面从各个角度提供更为详细的实施例。
针对步骤S201中的批次训练,可以根据公式(1)中的损失函数来确定每个批次训练中,图像样本集合的分类损失。
其中L0是图像样本集合的分类损失,i是正整数,为预设参数,指示未知类别的图像样本中正类别的图像样本的比例的估计值,np为正类别的图像样本的数量,nu为未知类别的图像样本的数量,/>是正类别的图像样本中的第i个样本,/>是未知类别的图像样本中的第i个样本,/>是第i个正类别的图像样本的分类值,/>是按照标签为正类别来确定第i个正类别的图像样本的分类损失,/>是第i个未知类别的图像样本的分类值,/>是按照标签为负类别来确定第i个未知类别的图像样本的分类损失,是按照标签为负类别来确定第i个正类别的图像样本的分类损失,max()是取括号内各个值中的最大值的函数,例如max(0,1)=1,max(0,-1)=0。
在每个批次训练中,根据公式(1)确定图像样本集合的分类损失后,根据该分类损失来调整图像分类网络的参数。
针对步骤S201中第一分类网络针对每个未知类别的图像样本预测的图像类别值,可以具有多个具体的实施方式。
在一个实施例中,第一分类网络针对每个未知类别的图像样本预测的图像类别值,根据下述方式确定:在图像分类网络的第一数量的批次训练中,将最后一个批次训练的针对每个未知类别的图像样本的分类值作为第一分类网络针对每个未知类别的图像样本预测的图像类别值。类似地,第二分类网络针对每个未知类别的图像样本预测的图像类别值,根据下述方式确定:在图像分类网络的第二数量的批次训练中,将最后一个批次训练的针对每个未知类别的图像样本的分类值作为第二分类网络针对每个未知类别的图像样本预测的图像类别值。
因为在步骤S201的预训练过程中,正类别的图像样本集合也用于训练图像分类网络,所以第一分类网络和第二分类网络在批次训练过程中,逐渐掌握一定的分类能力,进而第一和第二分类网络的最后一个批次训练的分别针对每个未知类别的图像样本输出的分类值可以分别作为第一和第二分类网络分别针对每个未知类别的图像样本预测的图像类别值。这种方式的优点是比较简便。
替代地,在一个实施例中,第一分类网络针对每个未知类别的图像样本预测的图像类别值,根据下述方式确定:按照预设权重,确定图像分类网络针对每个未知类别的图像样本在第一数量的批次训练中输出的各个分类值的加权和,作为第一分类网络针对每个未知类别的图像样本预测的图像类别值。类似地,第二分类网络针对每个未知类别的图像样本预测的图像类别值,根据下述方式确定:按照该预设权重,确定图像分类网络针对每个未知类别的图像样本在第二数量的批次训练中输出的各个分类值的加权和,作为第二分类网络针对每个未知类别的图像样本预测的图像类别值。加权和指对各个分类值加权求和后得到的结果。因为未知类别的图像样本的标签被设定为负类别,该图像样本集合的图像样本的标签中存在噪声,导致存在这样一种情况:在各个批次训练中,图像分类网络预测的分类值都有一定的价值,最后一个批次训练得到的分类值不一定是最准确的预测。所以对各个分类值进行加权求和,将加权和作为图像类别值具有更好的准确性。
替代地,在一个实施例中,第一分类网络针对每个未知类别的图像样本预测的图像类别值和第二分类网络针对每个未知类别的图像样本预测的图像类别值,可以根据下述方式确定。
首先,根据公式(2)确定每个未知类别的图像样本在图像分类网络的各个批次训练中预测的图像类别值:
st(x)=(1-α)×st-1(x)+α×gt(x) 公式(2)。
其中x指示未知类别的图像样本,t指示批次训练的序数,st(x)为未知类别的图像样本x在图像分类网络的第t批次训练预测的图像类别值,设定s0(x)=0,α为大于0且小于1的第二预设参数,gt(x)为未知类别的图像样本在图像分类网络的第t批次训练的分类值。由公式(2)可知,每个批次训练中预测的图像类别值均取决于该批次训练中的分类值和上一个批次训练中预测的图像类别值。
然后,将未知类别的图像样本在图像分类网络的第一数量的批次训练的图像类别值,作为第一分类网络针对未知类别的图像样本预测的图像类别值。此外,将未知类别的图像样本在图像分类网络的第二数量的批次训练的图像类别值,作为第二分类网络针对未知类别的图像样本预测的图像类别值。例如,在第一数量为100,第二数量为150的情况下,s100(x)为第一分类网络针对未知类别的图像样本x预测的图像类别值,s150(x)为第一分类网络针对未知类别的图像样本x预测的图像类别值。
作为示例,当t=100,α=0.1时,根据该公式(2)可以得出:
s100(x)=0.1*g100(x)+0.1*0.9*0.1*g99(x)+0.1*0.92*0.1*g98(x)+0.1*0.93*0.1*g97(x)++0.1*0.94*0.1*g96(x)++0.1*0.95*0.1*g95(x)+......
从该示例中可以看出,根据公式(2)所确定的图像类别值可以累积所有在先批次训练中得到的分类值,这可以提高第一分类网络和第二分类网络针对每个未知类别的图像样本预测的图像类别值的准确性。
图3是根据本申请的一些实施例的确定每个未知类别的图像样本的不确定性程度的流程图。如图3所示,根据第一分类网络和第二分类网络分别针对未知类别的图像样本集合中每个未知类别的图像样本预测的图像类别值之间的差异来确定每个未知类别的图像样本的不确定性程度,包括步骤S301-S303。
在步骤S301,确定第一分类网络和第二分类网络分别针对每个未知类别的图像样本预测的图像类别值之间的差值的绝对值,作为每个未知类别的图像样本的第一差异。例如,第一分类网络针对未知类别的图像样本A预测的图像类别值为A1,第二分类网络针对未知类别的图像样本A预测的图像类别值为A2,则未知类别的图像样本A的第一差异为|A1-A2|。
在步骤S302,确定第一分类网络和第二分类网络分别针对每个未知类别的图像样本预测的图像类别值之间的总和的绝对值,作为每个未知类别的图像样本的第二差异。例如,第一分类网络针对未知类别的图像样本A预测的图像类别值为A1,第二分类网络针对未知类别的图像样本A预测的图像类别值为A2,则未知类别的图像样本A的第二差异为|A1+A2|。
在步骤S303,确定每个未知类别的图像样本的不确定性程度,其中每个未知类别的图像样本的不确定性程度与每个未知类别的图像样本的第一差异成正比,且与每个未知类别的图像样本的第二差异成反比。
在该实施例中,针对同一未知类别的图像样本,因为无论该图像样本对应的两个图像类别值都是正值或者都是负值或者一个是正值一个是负值,第一差异都可以表示这两个图像类别值之间的差异的绝对大小,所以第一差异越大,说明第一分类网络和第二分类网络针对该未知类别的图像样本的分类值的预测差异较大,该图像样本的分类值的不确定性较大,因此要求该未知类别的图像样本的不确定性程度与该未知类别的图像样本的第一差异成正比,可以让不确定程度更准确。
而对于第二差异,如果该图像样本对应的两个图像类别值都是正值或者负值,这意味着第一分类网络与第二分类网络对该图像样本的类别的判断是一致的,都是正类别或者都是负类别,此时该图像样本对应的两个图像类别值之间的总和的绝对值大于这两个图像类别值的任何一个,该总和的绝对值可以体现第一分类网络和第二分类网络对该未知类别的图像样本的类别的预测的一致性。如果该图像样本对应的两个图像类别值一个是正值,另一个是负值,这意味着第一分类网络与第二分类网络对该图像样本的类别的判断是不一致的,此时该图像样本对应的两个图像类别值之间的总和存在对这两个图像类别值进行抵消的关系,该总和的绝对值可以体现第一分类网络和第二分类网络对该未知类别的图像样本的类别的预测的不一致性,所以让该未知类别的图像样本的不确定性程度与该未知类别的图像样本的第二差异成反比,可以实现这种一种效果:当第一分类网络和第二分类网络在类别上预测一致时,不确定性程度较小,当第一分类网络和第二分类网络在类别上预测不一致时,不确定性程度较大。显然,在该实施例中不确定性程度的实施方式可以准确确定每个未知类别的图像样本的不确定性程度,这有助于在后续批次训练中提高第一分类网络的分类能力。
在一些实施例中,可以根据公式(3)确定每个未知类别的图像样本的不确定性程度。
其中x指示未知类别的图像样本,u(x)指示未知类别的图像样本x的不确定性程度,sm(x)为第一分类网络针对未知类别的图像样本x预测的图像类别值,sn(x)为第二分类网络针对未知类别的图像样本x预测的图像类别值,∈为极小值,用于防止分母出现0的情况。在公式(3)中,分子为未知类别的图像样本x的第一差异,分母为未知类别的图像样本x的第二差异。
在一些实施例中,根据第一分类网络针对每个未知类别的图像样本预测的图像类别值来更新每个未知类别的图像样本的标签,包括对于未知类别的图像样本集合中的每个未知类别的图像样本,执行下述步骤:响应于第一分类网络针对未知类别的图像样本预测的图像类别值大于正类别阈值,将未知类别的图像样本的标签更新为正类别;以及响应于第一分类网络针对未知类别的图像样本预测的图像类别值小于或等于正类别阈值,将未知类别的图像样本的标签更新为负类别。
在该实施例中,这两个步骤没有先后顺序之分。正类别阈值是预设的阈值,其起到筛选的作用。例如在检测视频是否包括伪造的人脸的应用场景中,可以将正阈值设置为0.8,这时对应于第一分类网络的图像类别值大于0.8的图像样本往往是可靠的正类别的图像样本,将这些图像样本的标签更新为正类别是比较准确的。其他图像样本包括两类,第一类是仍然无法确定的未知类别的图像样本,第二类是较可能是负类别的图像样本。在后续的批次训练中,将第二类图像样本的标签更新为负类别符合事实,使用第二类图像样本进行后续批次训练有利于提高第一分类网络的分类能力,将第一类图像样本的标签更新为负类别适合于正未标记学习的特点(负类别的图像样本居多,正类别的图像样本较少),也一定程度上有利于提高第一分类网络的分类能力。
图4是根据本申请的一些实施例的第一分类网络的后续批次训练的流程图。如图4所示,基于每个未知类别的图像样本的不确定性程度和经更新的标签,以未知类别的图像样本集合为一个批次对第一分类网络进行批次训练,包括步骤S401-S407。
在步骤S401,根据每个未知类别的图像样本的不确定性程度确定每个未知类别的图像样本的影响权重,影响权重与不确定性程度成反比关系。不确定性程度指示图像样本的类别不确定的程度,具有高不确定性程度的图像样本,其类别的不确定的程度较大,其标签存在噪声的可能性较大,不太适合用来调整第一分类网络的参数,因此具有高不确定性程度的图像样本的影响权重应该较小。类似地,具有低不确定性程度的图像样本的影响权重应该较大。这有利于提高第一分类网络的分类能力。
在一些实施例中,每个未知类别的图像样本的不确定性程度大于等于0,并且其中根据每个未知类别的图像样本的不确定性程度确定每个未知类别的图像样本的影响权重,包括:将每个未知类别的图像样本的不确定性程度的负值与第一预设参数的商,作为自然常数的幂,来确定每个未知类别的图像样本的影响权重。例如,可以根据公式(4)确定每个未知类别的图像样本的影响权重。
其中x指示未知类别的图像样本,w(x)指示未知类别的图像样本x的影响权重,u(x)指示未知类别的图像样本x的不确定性程度,h为大于0的预设参数,e为自然常数。
在步骤S402,判断第一分类网络是否收敛,没有收敛则循环执行后续步骤,收敛则在S407处结束批次训练。
在步骤S403,使用第一分类网络确定每个未知类别的图像样本的分类值。未知类别的图像样本的分类值指在一次预测中,将该未知类别的图像样本输入到第一分类网络后,第一分类网络所输出的值。例如,如果1表示正类别,-1表示负类别,则该未知类别的图像样本被输入到第一分类网络后,可能得到-1到1之间的任何值,作为该未知类别的图像样本的分类值。
在步骤S404,根据每个未知类别的图像样本的标签和分类值确定每个未知样本的分类损失。在该实施例中,针对第一分类网络进行的是有监督的训练,所以需要根据输入的图像样本的标签和分类值,使用损失函数来确定其分类损失。
在步骤S405,基于每个未知类别的图像样本的分类损失和影响权重,确定未知类别的图像样本集合的分类损失。在一个批次训练中,根据该未知类别的图像样本集合中的全部图像样本的分类损失来确定该未知类别的图像样本集合的分类损失。通过每个未知类别的图像样本的影响权重来调节每个未知类别的图像样本的分类损失,可以起到优化作用,有利于提高第一分类网络的分类能力。
在步骤S406,根据未知类别的图像样本集合的分类损失调整第一分类网络的参数。例如,可以使用反向传播算法来调节该第一分类网络的参数。在该实施例中,未知类别的图像样本集合的分类损失是根据各个未知类别的图像样本的分类损失综合确定的,例如可以根据常用的风险函数来确定。
图5是根据本申请的一些实施例的确定未知类别的图像样本集合的分类损失的流程图。如图5所示,基于每个未知类别的图像样本的分类损失和影响权重,确定未知类别的图像样本集合的分类损失,包括步骤S501-S504。
在步骤S501,根据第一集合中每个未知类别的图像样本的影响权重和分类损失来确定第一集合的平均分类损失,作为第一分类损失,其中第一集合包括未知类别的图像样本集合中由第一分类网络预测的图像类别值大于正类别阈值的未知类别的图像样本。经过标签的更新后,在未知类别的图像样本集合中,有的图像样本的标签为正类别,有的图像样本的标签为负类别。在计算平均分类损失时,需要将标签不同的图像样本分开处理,否则其中标签为正类别的图像样本的分类损失和标签为负类别的图像样本的分类损失可能会产生分类损失的相互抵消,导致平均分类损失计算不准确。所以在该步骤将标签为正类别的图像样本纳入第一集合,统计第一集合中各个图像样本的平均分类损失。
例如可以根据公式(5)来确定第一集合的平均分类损失。
其中L1是第一集合的平均分类损失,n1是第一集合中图像样本的数量,j是正整数,xj是第一集合中的第j个图像样本,w(xj)是第j个图像样本的影响权重,g(xj)是第j个图像样本的分类值,l(g(xj),+1)是按照标签为正类别确定第j个图像样本的分类损失。
在步骤S502,根据第二集合中每个未知类别的图像样本的影响权重和分类损失来确定第二集合的平均分类损失,作为第二分类损失,其中第二集合包括未知类别的图像样本集合中由第一分类网络预测的图像类别值小于负类别阈值的未知类别的图像样本。在一些实施例中,由第一分类网络预测的图像类别值小于或等于正类别阈值的未知类别的图像样本的标签被更新为负类别,这些图像样本被进一步划分为两个集合,由第一分类网络预测的图像类别值小于负类别阈值的未知类别的图像样本被纳入第二集合,另一部分被纳入步骤S503中的第三集合,在该步骤统计第二集合中各个图像样本的平均分类损失。根据步骤S501中陈述的原因,第二集合的平均分类损失也应当单独计算。例如可以根据公式(6)来确定第二集合的平均分类损失。
其中L2是第二集合的平均分类损失,n2是第二集合中图像样本的数量,j是正整数,xj是第二集合中的第j个图像样本,w(xj)是第j个图像样本的影响权重,g(xj)是第j个图像样本的分类值,l(g(xj),-1)是按照标签为负类别确定第j个图像样本的分类损失。
在步骤S503,根据第三集合中每个未知类别的图像样本的分类损失来确定第三集合的平均分类损失,作为第三分类损失,其中第三集合包括未知类别的图像样本集合中由第一分类网络预测的图像类别值小于等于正类别阈值且大于等于负类别阈值的未知类别的图像样本。在该步骤将标签为负类别且由第一分类网络预测的图像类别值小于等于正类别阈值且大于等于负类别阈值的图像样本纳入第三集合,统计第三集合中各个图像样本的平均分类损失。
因为第三集合中可能存在真实类别为正类别的图像样本的标签被更新为负类别,从而导致第一分类网络不准确。为了平衡标签中的噪声,发明人认识到,(1)将正类别的图像样本对应的分类值按照标签为负类别计算分类损失时,各个正类别的图像样本应该具有接近的分类损失;(2)第三集合中,真实类别为负类别的图像样本在确定分类损失时,由于标签被更新为负类别,其分类损失应该趋近于0,真实类别为正类别的图像样本在确定分类损失时,由于标签被更新为负类别,其分类损失应该较大,在计算第三集合的平均损失时,这些真实类别为正类别的图像样本的分类损失被分摊到第三集合中的各个图像样本的分类损失上。鉴于这两方面,可以在使用第三集合的图像样本对第一分类网络进行批次训练时,将正类别的图像样本集合中的图像样本也输入到第一分类网络中来调整第三集合的平均分类损失。例如可以根据公式(7)来确定第三集合的平均分类损失。
其中L3是第三集合的平均分类损失,n3是第三集合中图像样本的数量,j是正整数,xj是第三集合中的第j个图像样本,g(xj)是第j个图像样本的分类值,l(g(xj),-1)是按照标签为负类别来确定第三集合中第j个图像样本的分类损失,为预设参数,指示未知类别的图像样本中正类别的图像样本的比例的估计值,np为正类别的图像样本的数量,/>是正类别的图像样本中的第j个样本,/>是j个正类别的图像样本的分类值,/>是按照标签为负类别来确定第i个正类别的图像样本的分类损失。根据公式(7)确定的第三集合的平均分类损失能较好地减少第三集合中的图像样本的标签中的噪声。
在步骤S504,根据第一分类损失和第二分类损失以及第三分类损失的加权和来确定未知类别的图像样本集合的分类损失。一般地,因为第一分类损失和第二分类损失都是根据标签较为准确的图像样本而确定的,所以第一分类损失的权重和第二分类损失的权重可以相对较大,因为第三分类损失的是根据标签不太准确(即噪声较多)的图像样本而确定的,所以第三分类损失的权重可以相对较小。例如可以使用公式(8)来确定未知类别的图像样本集合的分类损失。
L=L1+L2+β*L3 公式(8)。
其中L是未知类别的图像样本集合的分类损失,L1是第一分类损失,L2是第二分类损失,L3是第三分类损失,β是大于0且小于1的预设参数。可选地,β等于0.5。
图6是划分未知类别的图像样本集合的示意图。在该实施例中确定未知类别的图像样本集合的分类损失时,将未知类别的图像样本集合601分成三个集合,分别是第一集合602、第二集合603、第三集合604,如图6所示。针对这三个集合,结合其特点分别计算各个集合的平均分类损失,并根据这三个平均分类损失来确定未知类别的图像样本集合的分类损失,这可以很好地提高训练精度,使得经过第一分类网络具有良好的分类能力。
在一些实施例中,正类别阈值为未知类别的图像样本集合的未知类别的图像样本的图像类别值中,各个指示正类别的图像类别值的平均值;并且负类别阈值为未知类别的图像样本集合的未知类别的图像样本的图像类别值中,各个指示负类别的图像类别值的平均值。例如,未知类别的图像样本集合总共有8个图像样本,其中有3个图像样本的图像类别值指示正类别,分别为0.1、0.5、0.4,有5个图像样本的图像类别值指示负类别,分别为-0.2、-0.2、-0.3、-0.6、-0.7,则正类别阈值可以为(0.3+0.5+0.4)/3=0.4,负类别阈值可以为(-0.2-0.2-0.3-0.6-0.7)/5=-0.4。
上述实施例给出了如何提高第一分类网络的分类能力,从而提高图像分类网络的分类能力。此外,还可以对第二分类网络进行类似的批次训练,使得第二分类网络也具有较高的分类能力,然后根据第一分类网络的参数和第二分类网络的参数共同确定图像分类网络的参数。
图7是根据本申请的一些实施例的确定图像分类网络的参数的流程图。如图7所示,基于经训练的第一分类网络的参数,确定图像分类网络的参数,包括步骤S701-S703。
在步骤S701,根据第二分类网络针对每个未知类别的图像样本预测的图像类别值来更新每个未知类别的图像样本的标签。该步骤与步骤S203类似,区别在于图像类别值对应于第二分类网络。
在步骤S702,基于每个未知类别的图像样本的不确定性程度和经更新的标签,以未知类别的图像样本集合为一个批次对第二分类网络进行批次训练,以得到经训练的第二分类网络。该步骤与步骤S204类似,经过批次训练,第二分类网络同样具有提高的分类能力。此外,上述针对步骤S204的具体实施方式,可以按照相似的方式应用在第二分类网络上,以使得第二分类网络具有更好的分类能力。
在步骤S703,对于经训练的第一分类网络的每个参数,确定参数与第二分类网络的对应参数之间的平均值,作为图像分类网络的对应参数。例如第一分类网络的第一个参数是10,第二分类网络的第一个参数也是10,则可以将图像分类网络的第一个参数设置为10。该步骤对第一分类网络的参数和第二分类网络的参数进行综合处理,所得到的图像分类网络也具有较好的分类能力。
图8是根据本申请的一些实施例的基于图像样本集合确定分类网络的示意图。如图8所示,用卷积神经网络802指代图像分类网络,卷积神经网络802用于提取图像样本的特征。图像样本集合801包括正类别的图像样本集合和未知类别的图像样本集合。
首先设定图像样本集合801中各个图像样本的标签,其中正类别的图像样本的标签被设定为正类别,未知类别的图像样本的标签被设定为负类别。然后开始对图像分类网络进行预训练。具体而言,在每个批次训练中,将图像样本集合801中的各个图像样本输入到卷积神经网络802中分别进行特征提取操作,并根据所提取的特征判断图像样本的类别。基于各个图像样本的分类值及其标签,计算该图像样本集合的分类损失L0 803,例如通过公式(1)来计算分类损失L0 803。基于分类损失L0 803来调整卷积神经网络802的参数,至此完成一个批次训练。
如此进行m1个批次训练后,该参数经调整的卷积神经网络802被确定为第一分类网络804,同时记录这m1个批次训练中得到的每个未知类别的图像样本的m1个分类值805,根据每个未知类别的图像样本的m1个分类值805确定第一分类网络804针对每个未知类别的图像样本预测的图像类别值806。然后根据第一分类网络804针对每个未知类别的图像样本预测的图像类别值806,将图像类别值806大于正类别阈值的图像样本的标签更新为正类别。
如此进行m2个批次训练后,该参数经调整的卷积神经网络802被确定为第二分类网络810,,同时记录这m2个批次训练中得到的每个未知类别的图像样本的m2个分类值811,根据每个未知类别的图像样本的m2个分类值811确定第一分类网络针对每个未知类别的图像样本预测的图像类别值812。然后根据第二分类网络810针对每个未知类别的图像样本预测的图像类别值812,将图像类别值大于正类别阈值的图像样本的标签更新为正类别。比较图像类别值806和图像类别值812,得到未知类别的图像样本的不确定性程度,根据该不确定性程度816确定每个未知类别的图像样本的影响权重817。
接下来,根据各个图像类别值806,将未知类别的图像样本集合分成三个集合,分别是第一集合807、第二集合808、第三集合809,其中第一集合807包括未知类别的图像样本集合中由第一分类网络804预测的图像类别值大于正类别阈值的未知类别的图像样本,第二集合808包括未知类别的图像样本集合中由第一分类网络804预测的图像类别值小于负类别阈值的未知类别的图像样本,第三集合809包括未知类别的图像样本集合中由第一分类网络804预测的图像类别值小于等于正类别阈值且大于等于负类别阈值的未知类别的图像样本。最后基于第一集合807、第二集合808、第三集合809,对第一分类网络804进行后续的批次训练,以得到经训练的第一分类网络804,其中在每个批次训练中,第一集合807的第一分类损失818根据公式(5)来确定,第二集合808的第二分类损失819根据公式(6)来确定,第三集合809的第三分类损失820根据公式(7)来确定,未知类别的图像样本集合的分类损失821根据公式(8)来确定。在每个批次训练中,第一分类网络的参数根据未知类别的图像样本集合的分类损失821来调整。
另一方面,根据各个图像类别值812,将未知类别的图像样本集合分成三个集合,分别是第四集合813、第五集合814、第六集合815,其中第四集合813包括未知类别的图像样本集合中由第二分类网络810预测的图像类别值大于正类别阈值的未知类别的图像样本,第五集合814包括未知类别的图像样本集合中由第二分类网络810预测的图像类别值小于负类别阈值的未知类别的图像样本,第六集合815包括未知类别的图像样本集合中由第二分类网络810预测的图像类别值小于等于正类别阈值且大于等于负类别阈值的未知类别的图像样本。最后基于第四集合813、第五集合814、第六集合815,对第二分类网络810进行后续的批次训练,以得到经训练的第二分类网络810,其中在每个批次训练中,第四集合813的第四分类损失822根据公式(5)来确定,第五集合814的第五分类损失823根据公式(6)来确定,第六集合815的第六分类损失824根据公式(7)来确定,未知类别的图像样本集合的分类损失825根据公式(8)来确定。在每个批次训练中,第二分类网络的参数根据未知类别的图像样本集合的分类损失825来调整。
在确定图像分类网络的参数时,可以直接将经训练的第一分类网络804的参数确定为图像分类网络的参数,也可以直接将经训练的第二分类网络810的参数确定为图像分类网络的参数,还可以对于经训练的第一分类网络804的每个参数,确定参数与第二分类网络810的对应参数之间的平均值,作为图像分类网络的对应参数。
在确定图像分类网络后,可以对图像进行准确的分类。图9是根据本申请的一些实施例的图像分类方法的流程图。如图9所示,在步骤S901,获取待检测图像;在步骤S902,使用所确定的图像分类网络来对待检测图像进行分类,以得到待检测图像的分类值。该所确定的图像分类网络指根据前述实施例确定的图像分类网络。根据该分类值即可得到待检测图像的类别。
图10是根据本申请的一些实施例的确定图像分类网络的装置1000的示例性结构框图。所述确定图像分类网络的装置1000包括:预训练模块1001、比较模块1002、标签更新模块1003、再训练模块1004、参数确定模块1005。预训练模块1001配置为将每个正类别的图像样本的标签设定为正类别,每个未知类别的图像样本的标签设定为负类别,并且基于每个图像样本的标签,以所述图像样本集合为一个批次对所述图像分类网络进行批次训练,以得到第一分类网络和所述第一分类网络针对每个未知类别的图像样本预测的图像类别值,以及第二分类网络和所述第二分类网络针对每个未知类别的图像样本预测的图像类别值,其中所述第一分类网络为经过第一数量的批次训练得到的,所述第二分类网络为经过第二数量的批次训练得到的,所述第一数量与所述第二数量不同,并在所述批次训练中根据所述图像样本集合的分类损失来调整所述图像分类网络的参数。比较模块1002配置为根据所述第一分类网络和所述第二分类网络分别针对所述未知类别的图像样本集合中每个未知类别的图像样本预测的图像类别值之间的差异来确定所述每个未知类别的图像样本的不确定性程度。标签更新模块1003配置为根据所述第一分类网络针对每个未知类别的图像样本预测的图像类别值来更新所述每个未知类别的图像样本的标签。再训练模块1004配置为基于每个未知类别的图像样本的不确定性程度和经更新的标签,以所述未知类别的图像样本集合为一个批次对所述第一分类网络进行批次训练,以得到经训练的第一分类网络。参数确定模块1005,其配置为基于所述经训练的第一分类网络的参数,确定所述图像分类网络的参数。
应注意,上述各种模块可以以软件或硬件或两者的组合来实现。多个不同模块可以在同一软件或硬件结构中实现,或者一个模块可以由多个不同的软件或硬件结构实现。
在根据本申请一些实施例的确定图像分类网络的装置中,先基于正类别的图像样本和未知类别的图像样本对图像分类网络进行预训练以得到两个分类网络,使得这两个分类网络具有初步的分类能力,这有利于精确地计算不确定性程度和准确地更新标签;然后在第一层面,比较这两个分类网络针对同一个未知类别的图像样本得到的图像类别值,根据其差异来确定该未知类别的图像样本的不确定性程度,以确定该未知类别的图像样本在后续批次训练过程中的影响程度,减少不太适合用于训练的不良图像样本带来的噪声;在第二层面,根据图像类别值更新一部分未知类别的图像样本的标签,实现标签的校正,以减少各个未知类别的图像样本的标签中的噪声;进一步地,在第一分类网络的后续批次训练中,根据各个未知类别的图像样本的不确定性程度和更新的标签来调整各个未知类别的图像样本的分类损失,其中根据不确定性程度可以抑制不确定性程度较高的未知类别的图像样本对第一分类网络的参数调整的影响,这也意味着不确定性程度较低的未知类别的图像样本对第一分类网络的参数调整的影响被相对放大,再结合经更新的标签,因为各个未知类别的图像样本的标签中的噪声和不太适合用于训练的不良图像样本的噪声被抑制,这可以提高第一分类网络的分类能力;最后至少根据第一分类网络得到图像分类网络,因为第一分类网络的分类能力被提高,因此该图像分类网络也具有较高的分类能力。
图11是根据本申请的一些实施例的图像分类装置1100的示例性结构框图。所述图像分类装置1100包括:获取模块1101、分类模块1102。获取模块1101配置为获取待检测图像。分类模块1102配置为使用前述实施例所确定的图像分类网络来对所述待检测图像进行分类,以得到所述待检测图像的分类值。
应注意,上述各种模块可以以软件或硬件或两者的组合来实现。多个不同模块可以在同一软件或硬件结构中实现,或者一个模块可以由多个不同的软件或硬件结构实现。
图12图示了示例系统1200,其包括代表可以实现本文描述的各种方法的一个或多个系统和/或设备的示例计算设备1210。计算设备1210可以是例如服务提供商的服务器、与服务器相关联的设备、片上系统、和/或任何其它合适的计算设备或计算系统。上面参照图10描述的确定图像分类网络的装置1000可以采取计算设备1210的形式。替换地,确定图像分类网络的装置1000可以以应用1216的形式被实现为计算机程序。
如图示的示例计算设备1210包括彼此通信耦合的处理系统1211、一个或多个计算机可读介质1212以及一个或多个I/O接口1213。尽管未示出,但是计算设备1210还可以包括系统总线或其他数据和命令传送系统,其将各种组件彼此耦合。系统总线可以包括不同总线结构的任何一个或组合,总线结构诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线架构中的任何一种的处理器或局部总线。还构思了各种其他示例,诸如控制和数据线。
处理系统1211代表使用硬件执行一个或多个操作的功能。因此,处理系统1211被图示为包括可被配置成处理器、功能块等的硬件元件1214。这可以包括在硬件中实现为专用集成电路或使用一个或多个半导体形成的其它逻辑器件。硬件元件1214不受其形成的材料或其中采用的处理机构的限制。例如,处理器可以由(多个)半导体和/或晶体管(例如,电子集成电路(IC))组成。在这样的上下文中,处理器可执行指令可以是电子可执行指令。
计算机可读介质1212被图示为包括存储器/存储装置1215。存储器/存储装置1215表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储装置1215可以包括易失性介质(诸如随机存取存储器(RAM))和/或非易失性介质(诸如只读存储器(ROM)、闪存、光盘、磁盘等)。存储器/存储装置1215可以包括固定介质(例如,RAM、ROM、固定硬盘驱动器等)以及可移动介质(例如,闪存、可移动硬盘驱动器、光盘等)。计算机可读介质1212可以以下面进一步描述的各种其他方式进行配置。
一个或多个I/O接口1213代表允许用户使用各种输入设备向计算设备1210输入命令和信息并且可选地还允许使用各种输出设备将信息呈现给用户和/或其他组件或设备的功能。输入设备的示例包括键盘、光标控制设备(例如,鼠标)、麦克风(例如,用于语音输入)、扫描仪、触摸功能(例如,被配置成检测物理触摸的容性或其他传感器)、相机(例如,可以采用可见或不可见的波长(诸如红外频率)将不涉及触摸的运动检测为手势)等等。输出设备的示例包括显示设备、扬声器、打印机、网卡、触觉响应设备等。因此,计算设备1210可以以下面进一步描述的各种方式进行配置以支持用户交互。
计算设备1210还包括应用1216。应用1216可以例如是确定图像分类网络的装置800的软件实例,并且与计算设备1210中的其他元件相组合地实现本文描述的技术。
本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。一般地,这些模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元素、组件、数据结构等。本文所使用的术语“模块”,“功能”和“组件”一般表示软件、固件、硬件或其组合。本文描述的技术的特征是与平台无关的,意味着这些技术可以在具有各种处理器的各种计算平台上实现。
所描述的模块和技术的实现可以存储在某种形式的计算机可读介质上或者跨某种形式的计算机可读介质传输。计算机可读介质可以包括可由计算设备1210访问的各种介质。作为示例而非限制,计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。
与单纯的信号传输、载波或信号本身相反,“计算机可读存储介质”是指能够持久存储信息的介质和/或设备,和/或有形的存储装置。因此,计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括诸如易失性和非易失性、可移动和不可移动介质和/或以适用于存储信息(诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他数据)的方法或技术实现的存储设备之类的硬件。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储装置、硬盘、盒式磁带、磁带,磁盘存储装置或其他磁存储设备,或其他存储设备、有形介质或适于存储期望信息并可以由计算机访问的制品。
“计算机可读信号介质”是指被配置成诸如经由网络将指令发送到计算设备1210的硬件的信号承载介质。信号介质典型地可以将计算机可读指令、数据结构、程序模块或其他数据体现在诸如载波、数据信号或其它传输机制的调制数据信号中。信号介质还包括任何信息传递介质。术语“调制数据信号”是指这样的信号,该信号的特征中的一个或多个被设置或改变,从而将信息编码到该信号中。作为示例而非限制,通信介质包括诸如有线网络或直接连线的有线介质以及诸如声、RF、红外和其它无线介质的无线介质。
如前,硬件元件1214和计算机可读介质1212代表以硬件形式实现的指令、模块、可编程器件逻辑和/或固定器件逻辑,其在一些实施例中可以用于实现本文描述的技术的至少一些方面。硬件元件可以包括集成电路或片上系统、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)以及硅中的其它实现或其他硬件设备的组件。在这种上下文中,硬件元件可以作为执行由硬件元件所体现的指令、模块和/或逻辑所定义的程序任务的处理设备,以及用于存储用于执行的指令的硬件设备,例如,先前描述的计算机可读存储介质。
前述的组合也可以用于实现本文的各种技术和模块。因此,可以将软件、硬件或程序模块和其它程序模块实现为在某种形式的计算机可读存储介质上和/或由一个或多个硬件元件1214体现的一个或多个指令和/或逻辑。计算设备1210可以被配置成实现与软件和/或硬件模块相对应的特定指令和/或功能。因此,例如通过使用处理系统的计算机可读存储介质和/或硬件元件1214,可以至少部分地以硬件来实现将模块实现为可由计算设备1210作为软件执行的模块。指令和/或功能可以由一个或多个制品(例如,一个或多个计算设备1210和/或处理系统1211)可执行/可操作以实现本文所述的技术、模块和示例。
在各种实施方式中,计算设备1210可以采用各种不同的配置。例如,计算设备1210可以被实现为包括个人计算机、台式计算机、多屏幕计算机、膝上型计算机、上网本等的计算机类设备。计算设备1210还可以被实现为包括诸如移动电话、便携式音乐播放器、便携式游戏设备、平板计算机、多屏幕计算机等移动设备的移动装置类设备。计算设备1210还可以实现为电视类设备,其包括具有或连接到休闲观看环境中的一般地较大屏幕的设备。这些设备包括电视、机顶盒、游戏机等。
本文描述的技术可以由计算设备1210的这些各种配置来支持,并且不限于本文所描述的技术的具体示例。功能还可以通过使用分布式系统、诸如通过如下所述的平台1222而在“云”1220上全部或部分地实现。
云1220包括和/或代表用于资源1224的平台1222。平台1222抽象云1220的硬件(例如,服务器)和软件资源的底层功能。资源1224可以包括在远离计算设备1210的服务器上执行计算机处理时可以使用的应用和/或数据。资源1224还可以包括通过因特网和/或通过诸如蜂窝或Wi-Fi网络的订户网络提供的服务。
平台1222可以抽象资源和功能以将计算设备1210与其他计算设备连接。平台1222还可以用于抽象资源的分级以提供遇到的对于经由平台1222实现的资源1224的需求的相应水平的分级。因此,在互连设备实施例中,本文描述的功能的实现可以分布在整个系统1200内。例如,功能可以部分地在计算设备1210上以及通过抽象云1220的功能的平台1222来实现。
应当理解,为清楚起见,参考不同的功能单元对本申请的实施例进行了描述。然而,将明显的是,在不偏离本申请的情况下,每个功能单元的功能性可以被实施在单个单元中、实施在多个单元中或作为其它功能单元的一部分被实施。例如,被说明成由单个单元执行的功能性可以由多个不同的单元来执行。因此,对特定功能单元的参考仅被视为对用于提供所描述的功能性的适当单元的参考,而不是表明严格的逻辑或物理结构或组织。因此,本申请可以被实施在单个单元中,或者可以在物理上和功能上被分布在不同的单元和电路之间。
尽管已经结合一些实施例描述了本申请,但是其不旨在被限于在本文中所阐述的特定形式。相反,本申请的范围仅由所附权利要求来限制。附加地,尽管单独的特征可以被包括在不同的权利要求中,但是这些可以可能地被有利地组合,并且包括在不同权利要求中不暗示特征的组合不是可行的和/或有利的。特征在权利要求中的次序不暗示特征必须以其工作的任何特定次序。此外,在权利要求中,词“包括”不排除其它元件,并且术语“一”或“一个”不排除多个。权利要求中的附图标记仅作为明确的例子被提供,不应该被解释为以任何方式限制权利要求的范围。
在本申请中,涉及到人脸的特征提取技术,在本申请以上实施例运用到具体产品或技术中时,相关数据收集、使用和处理过程应该遵守国家法律法规要求,收集人脸信息前应该告知信息处理规则并征求目标对象的单独同意并严格遵照法律法规要求和个人信息处理规则处理人脸信息,采取技术措施保障相关数据安全。
Claims (18)
1.一种确定图像分类网络的方法,其特征在于,所述图像分类网络基于图像样本集合确定,所述图像样本集合包括正类别的图像样本集合和未知类别的图像样本集合,所述方法包括:
将每个正类别的图像样本的标签设定为正类别,每个未知类别的图像样本的标签设定为负类别,并且基于每个图像样本的标签,以所述图像样本集合为一个批次对所述图像分类网络进行批次训练,以得到第一分类网络和所述第一分类网络针对每个未知类别的图像样本预测的图像类别值,以及第二分类网络和所述第二分类网络针对每个未知类别的图像样本预测的图像类别值,其中所述第一分类网络为经过第一数量的批次训练得到的,所述第二分类网络为经过第二数量的批次训练得到的,所述第一数量与所述第二数量不同,并在所述批次训练中根据所述图像样本集合的分类损失来调整所述图像分类网络的参数;
根据所述第一分类网络和所述第二分类网络分别针对所述未知类别的图像样本集合中每个未知类别的图像样本预测的图像类别值间的差异来确定所述每个未知类别的图像样本的不确定性程度;
根据所述第一分类网络针对每个未知类别的图像样本预测的图像类别值来更新所述每个未知类别的图像样本的标签;
基于每个未知类别的图像样本的不确定性程度和经更新的标签,以所述未知类别的图像样本集合为一个批次对所述第一分类网络进行批次训练,以得到经训练的第一分类网络;
基于所述经训练的第一分类网络的参数,确定所述图像分类网络的参数。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一分类网络针对每个未知类别的图像样本预测的图像类别值来更新所述每个未知类别的图像样本的标签,包括:
对于所述未知类别的图像样本集合中的每个未知类别的图像样本,执行下述步骤:
响应于所述第一分类网络针对所述未知类别的图像样本预测的图像类别值大于正类别阈值,将所述未知类别的图像样本的标签更新为正类别;
响应于所述第一分类网络针对所述未知类别的图像样本预测的图像类别值小于或等于所述正类别阈值,将所述未知类别的图像样本的标签更新为负类别。
3.根据权利要求2所述的方法,其特征在于,所述基于每个未知类别的图像样本的不确定性程度和经更新的标签,以所述未知类别的图像样本集合为一个批次对所述第一分类网络进行批次训练,包括:
根据每个未知类别的图像样本的不确定性程度确定每个未知类别的图像样本的影响权重,所述影响权重与所述不确定性程度成反比关系;
循环执行下述步骤直到所述第一分类网络收敛:
使用所述第一分类网络确定每个未知类别的图像样本的分类值;
根据每个未知类别的图像样本的标签和分类值确定每个未知样本的分类损失;
基于每个未知类别的图像样本的分类损失和影响权重,确定所述未知类别的图像样本集合的分类损失;
根据所述未知类别的图像样本集合的分类损失调整所述第一分类网络的参数。
4.根据权利要求3所述的方法,其特征在于,每个未知类别的图像样本的不确定性程度大于等于0,并且所述根据每个未知类别的图像样本的不确定性程度确定每个未知类别的图像样本的影响权重,包括:
将每个未知类别的图像样本的不确定性程度的负值与第一预设参数的商,作为自然常数的幂,来确定每个未知类别的图像样本的影响权重。
5.根据权利要求3所述的方法,其特征在于,所述基于每个未知类别的图像样本的分类损失和影响权重,确定所述未知类别的图像样本集合的分类损失,包括:
根据第一集合中每个未知类别的图像样本的影响权重和分类损失来确定所述第一集合的平均分类损失,作为第一分类损失,其中所述第一集合包括所述未知类别的图像样本集合中由所述第一分类网络预测的图像类别值大于所述正类别阈值的未知类别的图像样本;
根据第二集合中每个未知类别的图像样本的影响权重和分类损失来确定所述第二集合的平均分类损失,作为第二分类损失,其中所述第二集合包括所述未知类别的图像样本集合中由所述第一分类网络预测的图像类别值小于负类别阈值的未知类别的图像样本;
根据第三集合中每个未知类别的图像样本的分类损失来确定所述第三集合的平均分类损失,作为第三分类损失,其中所述第三集合包括所述未知类别的图像样本集合中由所述第一分类网络预测的图像类别值小于等于所述正类别阈值且大于等于所述负类别阈值的未知类别的图像样本;
根据所述第一分类损失和所述第二分类损失以及所述第三分类损失的加权和来确定所述未知类别的图像样本集合的分类损失。
6.根据权利要求5所述的方法,其特征在于,所述正类别阈值为所述未知类别的图像样本集合的未知类别的图像样本的图像类别值中,各个指示正类别的图像类别值的平均值;并且所述负类别阈值为所述未知类别的图像样本集合的未知类别的图像样本的图像类别值中,各个指示负类别的图像类别值的平均值。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述基于每个图像样本的标签,以所述图像样本集合为一个批次对所述图像分类网络进行批次训练,以得到第一分类网络和所述第一分类网络针对每个未知类别的图像样本预测的图像类别值,以及第二分类网络和所述第二分类网络针对每个未知类别的图像样本预测的图像类别值,包括:
在所述图像分类网络的所述第一数量的批次训练中,将最后一个批次训练的针对每个未知类别的图像样本的分类值作为所述第一分类网络针对每个未知类别的图像样本预测的图像类别值;
在所述图像分类网络的所述第二数量的批次训练中,将最后一个批次训练的针对每个未知类别的图像样本的分类值作为所述第二分类网络针对每个未知类别的图像样本预测的图像类别值。
8.根据权利要求1-6中任一项所述的方法,其特征在于,所述基于每个图像样本的标签,以所述图像样本集合为一个批次对所述图像分类网络进行批次训练,以得到第一分类网络和所述第一分类网络针对每个未知类别的图像样本预测的图像类别值,以及第二分类网络和所述第二分类网络针对每个未知类别的图像样本预测的图像类别值,包括:
按照预设权重,确定所述图像分类网络针对每个未知类别的图像样本在所述第一数量的批次训练中输出的各个分类值的加权和,作为所述第一分类网络针对每个未知类别的图像样本预测的图像类别值;
按照所述预设权重,确定所述图像分类网络针对每个未知类别的图像样本在所述第二数量的批次训练中输出的各个分类值的加权和,作为所述第二分类网络针对每个未知类别的图像样本预测的图像类别值。
9.根据权利要求1-6中任一项所述的方法,其特征在于,所述基于每个图像样本的标签,以所述图像样本集合为一个批次对所述图像分类网络进行批次训练,以得到第一分类网络和所述第一分类网络针对每个未知类别的图像样本预测的图像类别值,以及第二分类网络和所述第二分类网络针对每个未知类别的图像样本预测的图像类别值,包括:
对于每个未知类别的图像样本,执行下述步骤:
将所述图像分类网络在第一批次训练中对所述未知类别的图像样本的分类值与第二预设参数的乘积作为所述未知类别的图像样本在所述图像分类网络的第一批次训练预测的图像类别值,所述第二预设参数大于0小于1;
根据下述公式确定所述未知类别的图像样本在所述图像分类网络的其他批次训练预测的图像类别值:
st(x)=(1-α)×st-1(x)+α×gt(x),
其中x指示所述未知类别的图像样本,t指示批次训练的序数,st(x)为所述未知类别的图像样本在所述图像分类网络的第t批次训练预测的图像类别值,st-1(x)为所述未知类别的图像样本在所述图像分类网络的第t-1批次训练预测的图像类别值,α为所述第二预设参数,gt(x)为所述未知类别的图像样本在所述图像分类网络的第t批次训练的分类值;
将所述未知类别的图像样本在所述图像分类网络的所述第一数量的批次训练的图像类别值,作为所述第一分类网络针对所述未知类别的图像样本预测的图像类别值;
将所述未知类别的图像样本在所述图像分类网络的所述第二数量的批次训练的图像类别值,作为所述第二分类网络针对所述未知类别的图像样本预测的图像类别值。
10.根据权利要求1-6中任一项所述的方法,其特征在于,所述根据所述第一分类网络和所述第二分类网络分别针对所述未知类别的图像样本集合中每个未知类别的图像样本预测的图像类别值之间的差异来确定所述每个未知类别的图像样本的不确定性程度,包括:
确定第一分类网络和第二分类网络分别针对每个未知类别的图像样本预测的图像类别值之间的差值的绝对值,作为每个未知类别的图像样本的第一差异;
确定第一分类网络和第二分类网络分别针对每个未知类别的图像样本预测的图像类别值之间的总和的绝对值,作为每个未知类别的图像样本的第二差异;
确定每个未知类别的图像样本的不确定性程度,其中每个未知类别的图像样本的不确定性程度与所述每个未知类别的图像样本的第一差异成正比,且与所述每个未知类别的图像样本的第二差异成反比。
11.根据权利要求1-6中任一项所述的方法,其特征在于,所述基于所述经训练的第一分类网络的参数,确定所述图像分类网络的参数,包括:
将所述经训练的第一分类网络的参数,确定为所述图像分类网络的参数。
12.根据权利要求1-6中任一项所述的方法,其特征在于,所述基于所述经训练的第一分类网络的参数,确定所述图像分类网络的参数,包括:
根据所述第二分类网络针对每个未知类别的图像样本预测的图像类别值来更新所述每个未知类别的图像样本的标签;
基于每个未知类别的图像样本的不确定性程度和经更新的标签,以所述未知类别的图像样本集合为一个批次对所述第二分类网络进行批次训练,以得到经训练的第二分类网络;
对于所述经训练的第一分类网络的每个参数,确定所述参数与所述第二分类网络的对应参数之间的平均值,作为所述图像分类网络的对应参数。
13.一种图像分类方法,其特征在于,所述方法包括:
获取待检测图像;
使用权利要求1所述的图像分类网络来对所述待检测图像进行分类,以得到所述待检测图像的分类值。
14.一种确定图像分类网络的装置,其特征在于,所述图像分类网络基于图像样本集合而确定,所述图像样本集合包括正类别的图像样本集合和未知类别的图像样本集合,所述装置包括:
预训练模块,配置为将每个正类别的图像样本的标签设定为正类别,每个未知类别的图像样本的标签设定为负类别,并且基于每个图像样本的标签,以所述图像样本集合为一个批次对所述图像分类网络进行批次训练,以得到第一分类网络和所述第一分类网络针对每个未知类别的图像样本预测的图像类别值,以及第二分类网络和所述第二分类网络针对每个未知类别的图像样本预测的图像类别值,其中所述第一分类网络为经过第一数量的批次训练得到的,所述第二分类网络为经过第二数量的批次训练得到的,所述第一数量与所述第二数量不同,并在所述批次训练中根据所述图像样本集合的分类损失来调整所述图像分类网络的参数;
比较模块,配置为根据所述第一分类网络和所述第二分类网络分别针对所述未知类别的图像样本集合中每个未知类别的图像样本预测的图像类别值之间的差异来确定所述每个未知类别的图像样本的不确定性程度;
标签更新模块,配置为根据所述第一分类网络针对每个未知类别的图像样本预测的图像类别值来更新所述每个未知类别的图像样本的标签;
再训练模块,配置为基于每个未知类别的图像样本的不确定性程度和经更新的标签,以所述未知类别的图像样本集合为一个批次对所述第一分类网络进行批次训练,以得到经训练的第一分类网络;
参数确定模块,配置为基于所述经训练的第一分类网络的参数,确定所述图像分类网络的参数。
15.一种图像分类装置,其特征在于,所述装置包括:
获取模块,配置为获取待检测图像;
分类模块,配置为使用权利要求1所述的图像分类网络来对所述待检测图像进行分类,以得到所述待检测图像的分类值。
16.一种计算设备,其特征在于,所述计算设备包括:
存储器,其被配置成存储计算机可执行指令;
处理器,其被配置成当所述计算机可执行指令被处理器执行时执行如权利要求1-13中的任一项所述的方法。
17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,当所述计算机可执行指令被执行时,执行如权利要求1-13中的任一项所述的方法。
18.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机可执行指令,计算机可执行指令在被执行时实现根据权利要求1至13中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310780884.6A CN117315316A (zh) | 2023-06-28 | 2023-06-28 | 确定图像分类网络的方法、装置、设备、介质及产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310780884.6A CN117315316A (zh) | 2023-06-28 | 2023-06-28 | 确定图像分类网络的方法、装置、设备、介质及产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117315316A true CN117315316A (zh) | 2023-12-29 |
Family
ID=89285512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310780884.6A Pending CN117315316A (zh) | 2023-06-28 | 2023-06-28 | 确定图像分类网络的方法、装置、设备、介质及产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117315316A (zh) |
-
2023
- 2023-06-28 CN CN202310780884.6A patent/CN117315316A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111279362B (zh) | 胶囊神经网络 | |
US9807473B2 (en) | Jointly modeling embedding and translation to bridge video and language | |
US9965717B2 (en) | Learning image representation by distilling from multi-task networks | |
US10635858B2 (en) | Electronic message classification and delivery using a neural network architecture | |
GB2547068B (en) | Semantic natural language vector space | |
US9811765B2 (en) | Image captioning with weak supervision | |
EP3547155A1 (en) | Entity representation learning for improving digital content recommendations | |
US20170200066A1 (en) | Semantic Natural Language Vector Space | |
WO2018126325A1 (en) | Learning document embeddings with convolutional neural network architectures | |
US20160253597A1 (en) | Content-aware domain adaptation for cross-domain classification | |
US11562203B2 (en) | Method of and server for training a machine learning algorithm for estimating uncertainty of a sequence of models | |
US20200167690A1 (en) | Multi-task Equidistant Embedding | |
Dou et al. | Remote sensing imagery classification using AdaBoost with a weight vector (WV AdaBoost) | |
WO2021262399A1 (en) | Task-based image masking | |
CN111667024B (zh) | 内容推送方法、装置、计算机设备和存储介质 | |
CN112749737A (zh) | 图像分类方法及装置、电子设备、存储介质 | |
CN114707041A (zh) | 消息推荐方法、装置、计算机可读介质及电子设备 | |
CN108304568B (zh) | 一种房地产公众预期大数据处理方法及系统 | |
CN112131884B (zh) | 用于实体分类的方法和装置、用于实体呈现的方法和装置 | |
Tang et al. | A multi-view SAR target recognition method using feature fusion and joint classification | |
US20230368003A1 (en) | Adaptive sparse attention pattern | |
CN117315316A (zh) | 确定图像分类网络的方法、装置、设备、介质及产品 | |
CN114241411A (zh) | 基于目标检测的计数模型处理方法、装置及计算机设备 | |
Pankaja et al. | A hybrid approach combining CUR matrix decomposition and weighted kernel sparse representation for plant leaf recognition | |
CA3066337A1 (en) | Method of and server for training a machine learning algorithm for estimating uncertainty of a sequence of models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |