CN108664989B - 图像标签确定方法、装置及终端 - Google Patents

图像标签确定方法、装置及终端 Download PDF

Info

Publication number
CN108664989B
CN108664989B CN201810260522.3A CN201810260522A CN108664989B CN 108664989 B CN108664989 B CN 108664989B CN 201810260522 A CN201810260522 A CN 201810260522A CN 108664989 B CN108664989 B CN 108664989B
Authority
CN
China
Prior art keywords
label
image
classifier
classification task
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810260522.3A
Other languages
English (en)
Other versions
CN108664989A (zh
Inventor
张志伟
杨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kwai Technology Co.,Ltd.
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201810260522.3A priority Critical patent/CN108664989B/zh
Publication of CN108664989A publication Critical patent/CN108664989A/zh
Priority to PCT/CN2018/122540 priority patent/WO2019184471A1/zh
Application granted granted Critical
Publication of CN108664989B publication Critical patent/CN108664989B/zh
Priority to US17/035,235 priority patent/US11436449B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种图像标签确定方法、装置及终端，其中所述方法包括：将图像输入卷积神经网络中，确定所述图像的特征图；将所述特征图输入分类器中；其中，所述分类器中包含多个分类任务，每个分类任务为多标签分类任务或单标签分类任务；通过所述分类器中的各分类任务，分别预测所述特征图对应的标签；其中，每个标签对应一个概率值；依据概率值从预测得到的各标签中筛选所述图像的标签。本发明提供的图像标签确定方法，能够根据图像类型适应性调整图像分类方式，灵活性强且能够提升标签预测结果的准确性。

Description

图像标签确定方法、装置及终端
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像标签确定方法、装置及终端。
背景技术
深度学习在视频图像、语音识别、自然语言处理等相关领域得到了广泛应用。卷积神经网络作为深度学习的一个重要分支，由于其超强的拟合能力以及端到端的全局优化能力，使得其在目标检测、分类等计算机视觉任务中所得预测结果的精度大幅提升。虽然在标准数据集上的基于卷积神经网络的算法已经超过了人类的识别能力，但是这些算法仅能为图像给出一个标签。
然而在真实的应用场景中，一般图像包括多个物体，用户往往期望能够对输入图像给出多个分类标签，这时使用单标签的分类技术就不能解决这个问题，所以本领域技术人员根据需求设置了多标签的分类方法。但是多标签分类的技术存在如下不足：
第一、在真实的应用场景中，不是所有的任务都是需要多个标签，例如游戏或者场景分类这样的任务，仅有一个标签，完全应用多标签的算法就会对预测精度产生影响。
第二、同时不同的任务之间，执行效率各不相同，处理时间依赖于最慢的模型，对图像标签进行预测时耗时长；不仅如此，由于多个模型并行运行，需要占用大量的计算资源。
可见，无论是单标签分类方法还多标签分类方法，均不够灵活，无法根据待预测图像类型适应性调整标签分类方式。
发明内容
本发明实施例提供一种图像标签确定方法、装置及终端，以解决现有技术中存在的单标签分类方法以及多标签分类方法，进行图像标签预测时灵活性差的问题。
依据本发明的一个方面，提供了一种图像标签确定方法，所述方法包括：将图像输入卷积神经网络中，确定所述图像的特征图；将所述特征图输入分类器中；其中，所述分类器中包含多个分类任务，每个分类任务为多标签分类任务或单标签分类任务；通过所述分类器中的各分类任务，分别预测所述特征图对应的标签；其中，每个标签对应一个概率值；依据概率值从预测得到的各标签中筛选所述图像的标签。
可选地，所述通过所述分类器中的各分类任务，分别预测所述特征图对应的标签的步骤，包括：通过所述分类器将所述特征图进行降维处理，得到中间特征图；通过所述分类器将所述中间特征图平均池化，得到所述中间特征图在各分类任务下对应的特征向量；其中，所述每个分类任务下的特征向量中包含多个点，每个点对应一个所述分类任务中的标签以及一个概率值。
可选地，在所述将图像输入卷积神经网络中，确定所述图像的特征图的步骤之前，所述方法还包括：构建各分类任务对应的样本图像；初始化图像标签分类模型；基于各分类任务对应的样本图像，对所述图像标签分类模型中的分类器进行训练。
可选地，所述构建各分类任务对应的样本图像的步骤，包括：针对每个样本图像，确定所述样本图像所属的分类任务，以及所述样本图像在所述分类任务下对应的目标标签；将所述样本图像在所述目标标签位置处的概率值设置为1，将所述样本图像在所述各分类任务下除所述目标标签外的标签位置处的概率值设置为0，其中，每个标签在所属分类任务中对应一个位置。
可选地，所述基于各分类任务对应的样本图像，对所述图像标签分类模型中的分类器进行训练的步骤，包括：将样本图像输入卷积神经网络中，确定所述样本图像的第一特征图；将所述第一特征图输入所述分类器中进行降维处理，得到第二特征图；将所述第二特征图进行平均池化，得到所述第二特征图对应的第一特征向量；其中，所述第一特征向量中包括多个点，每个点对应一个所述分类器中包含的标签以及一个概率值；计算所述分类器的目标损失函数，在所述第一特征向量中各点的偏导数得到梯度值；其中，所述分类器中包含每个分类任务对应一个损失函数，各所述损失函数加权之和为所述目标损失函数；依据所述梯度值对所述分类器对应的模型参数进行更新。
可选地，所述依据概率值从预测得到的各标签中筛选所述图像的标签的步骤，包括：从预测得到的各标签中，筛选概率值高于预设概率阈值的第一标签；将所述第一标签确定为所述图像的标签。
根据本发明的另一方面，提供了一种图像标签确定装置，所述装置包括确定模块，被配置为将图像输入卷积神经网络中，确定所述图像的特征图；输入模块，被配置为将所述特征图输入分类器中；其中，所述分类器中包含多个分类任务，每个分类任务为多标签分类任务或单标签分类任务；预测模块，被配置为通过所述分类器中的各分类任务，分别预测所述特征图对应的标签；其中，每个标签对应一个概率值；标签确定模块，被配置为依据概率值从预测得到的各标签中筛选所述图像的标签。
可选地，所述预测模块包括：降维子模块，被配置为通过所述分类器将所述特征图进行降维处理，得到中间特征图；处理子模块，被配置为通过所述分类器将所述中间特征图平均池化，得到所述中间特征图在各分类任务下对应的特征向量；其中，所述每个分类任务下的特征向量中包含多个点，每个点对应一个所述分类任务中的标签以及一个概率值。
可选地，所述装置还包括：构建模块，被配置为在所述确定模块将图像输入卷积神经网络中，确定所述图像的特征图之前，构建各分类任务对应的样本图像；初始化模块，被配置为初始化图像标签分类模型；训练模块，被配置为基于各分类任务对应的样本图像，对所述图像标签分类模型中的分类器进行训练。
可选地，所述构建模块包括：分类确定子模块，被配置为针对每个样本图像，确定所述样本图像所属的分类任务，以及所述样本图像在所述分类任务下对应的目标标签；设置子模块，被配置为将所述样本图像在所述目标标签位置处的概率值设置为1，将所述样本图像在所述各分类任务下除所述目标标签外的标签位置处的概率值设置为0，其中，每个标签在所属分类任务中对应一个位置。
可选地，所述训练模块包括：第一输入子模块，被配置为将样本图像输入卷积神经网络中，确定所述样本图像的第一特征图；第二输入子模块，被配置为将所述第一特征图输入所述分类器中进行降维处理，得到第二特征图；向量确定子模块，被配置为将所述第二特征图进行平均池化，得到所述第二特征图对应的第一特征向量；其中，所述第一特征向量中包括多个点，每个点对应一个所述分类器中包含的标签以及一个概率值；梯度值确定子模块，被配置为计算所述分类器的目标损失函数，在所述第一特征向量中各点的偏导数得到梯度值；其中，所述分类器中包含每个分类任务对应一个损失函数，各所述损失函数加权之和为所述目标损失函数；参数更新子模块，被配置为依据所述梯度值对所述分类器对应的模型参数进行更新。
可选地，所述标签确定模块具体被配置为：从预测得到的各标签中，筛选概率值高于预设概率阈值的第一标签；将所述第一标签确定为所述图像的标签。
根据本发明的再一方面，提供了一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像标签确定程序，所述图像标签确定程序被所述处理器执行时实现本发明中所述的任意一种图像标签确定方法的步骤。
根据本发明的又一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像标签确定程序，所述图像标签确定程序被处理器执行时实现本发明中所述的任意一种图像标签确定方法的步骤。
与现有技术相比，本发明具有以下优点：
本发明实施例提供的图像标签确定方案，预先训练出包含多个分类任务的分类器，将图像输入卷积神经网络中确定图像的特征图，将特征图输入分类器中预测特征图对应的标签，由于分类器中包含多个分类任务，并且分类任务可以为多标签分类任务也可为单标签分类任务，因此在进行预测时根据图像类型适应性调动相应分类任务进行标签预测，从而达到根据图像类型适应性调整图像分类方式的目的，灵活性强且能够提升标签预测结果的准确性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是根据本发明实施例一的一种图像标签确定方法的步骤流程图；
图2是根据本发明实施例二的一种图像标签确定方法的步骤流程图；
图3是根据本发明实施例三的一种图像标签确定装置的结构框图；
图4是根据本发明实施例四的一种终端的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
参照图1，示出了本发明实施例一的一种图像标签确定方法的步骤流程图。
本发明实施例的图像标签确定方法可以包括以下步骤：
步骤101：将图像输入卷积神经网络中，确定图像的特征图。
本发明实施例中图像可以为视频中的单帧图像，也可以仅为一个多媒体图像。一张图像输入到卷积神经网络中，经过卷积层或者池化层之后会得到特征图。
对于将图像输入卷积神经网络中，得到特征图的具体处理方式，参照现有相关技术即可，本发明实施例中对此不作具体限制。
步骤102：将特征图输入分类器中。
其中，分类器为图像标签分类模型的一部分，包含多个分类任务，每个分类任务为多标签分类任务或单标签分类任务。单标签任务对图像进行标签预测后，预测结果为单个标签；多标签任务对图像进行标签预测后，预测结果为多个标签。
在具体实现过程中分类器中包含的分类任务的具体个数、以及每个分类任务的具体类型均可以由本领域技术人员根据实际需求进行设置，本发明实施例中对此不作具体限制。例如：将分类器中分类任务个数设置为2、3、4或者5等。
步骤103：通过分类器中的各分类任务，分别预测特征图对应的标签。
每个分类任务对该特征图进行标签预测，可得到标签预测结果。在标签预测结果中，有些分类任务输出的标签为空，有些分类任务输出单个标签，有些分类任务输出多个标签，输出的每个标签对应一个概率值。
步骤104：依据概率值从预测得到的各标签中筛选图像的标签。
依据概率值筛选输出的各标签时，可以从预测得到的各标签中，筛选概率值高于预设概率阈值的第一标签；将第一标签确定为图像的标签。筛选得到的第一标签可以为一个、多个或者0个。预设概率阈值可以由本领域技术人员根据实际需求进行设置，预设概率阈值越大，则所得标签准确度越高。
例如：分类器中包含游戏分类任务、真实场景分类任务以及物体分类任务，前两个分类任务为单标签分类任务，物体分类任务为多标签分类任务。向分类器中输入一张泰迪的图像，分类器对该张图像进行标签识别后，得到游戏分类任务下的各标签对应的概率值均为0该分类任务的输出结果为空，真实场景分类任务下的各标签对应的概率值也均为0则该分类任务输出的结果亦为空，物体分类任务下的“动物”、“狗”以及“泰迪”三个标签概率值非0，物体分类任务下的其他标签概率值为0，则该分类任务输出的标签为“动物”、“狗”以及“泰迪”。最后，依据概率值从输出的各标签中筛选图像的标签。在筛选时，可以预设概率阈值，仅将概率值高于预设概率阈值的标签作为图像的最终标签。
同理，若输入的一张游戏类图像，则分类器对该张图像进行标签识别后，得到游戏分类任务下的某一标签的概率值非0，该分类下的其他标签概率值为0，则该分类任务输出一个标签；真实场景分类任务下的各标签对应的概率值均为0，该分类任务输出的标签为空；物体分类任务下的各标签对应的概率值也为0，该分类任务输出的标签亦为空。
本发明实施例提供的图像标签确定方法，预先训练出包含多个分类任务的分类器，将图像输入卷积神经网络中确定图像的特征图，将特征图输入分类器中预测特征图对应的标签，由于分类器中包含多个分类任务，并且分类任务可以为多标签分类任务也可为单标签分类任务，因此在进行预测时根据图像类型适应性调动相应分类任务进行标签预测，从而达到根据图像类型适应性调整图像分类方式的目的，灵活性强且能够提升标签预测结果的准确性。
实施例二
参照图2，示出了本发明实施例二的一种图像标签确定方法的步骤流程图。
本发明实施例的图像标签确定方法具体可以包括以下步骤：
步骤201：构建各分类任务对应的样本图像。
构建各分类任务对应的样本图像的时，采集各分类任务下的样本图像，并对各样本图像进行标签标记。具体地，在对样本图像进行标签标记时，针对每个样本图像，确定样本图像所属的分类任务，以及样本图像在分类任务下对应的目标标签；将样本图像在目标标签位置处的概率值设置为1，将样本图像在各分类任务下除目标标签外的标签位置处的概率值设置为0。其中，每个分类任务下包含多个标签，每个标签在所属分类任务中对应一个位置。
所构建的样本图像，不仅包含样本图像自身，还包含样本图像在各分类任务下的各标签位置处的概率值。
步骤202：初始化图像标签分类模型。
图像标签分类模型初始化，首先是根据需求在分类器下创建各分类任务，分类任务可以为单标签任务，也可以为多标签任务。
单标签分类任务下，若某图像属于该分类任务，则仅有一个标签对应的位置处的概率值为1，其余标签位置处的概率值为0；多标签分类任务下，若某图像属于该分类任务，则可能有多个标签对应的位置处的概率值为1，其余标签位置处的概率值为0。在单标签或者多标签任务中，某图像可能不属于某个标签任务，则该图像在该标签任务中所有标签对应的位置处的概率值均为0。
步骤203：基于各分类任务对应的样本图像，对图像标签分类模型中的分类器进行训练。
在创建完图像标签分类模型后，需要对图像标签分类模型中的分类器进行训练，直至分类器收敛到预设标准后即可进行图像标签预测，本发明实施例中将卷积神经网络作为训练图像标签分类模型的主干网络。
一种优选地对分类器进行训练流程包括如下子步骤：
子步骤一：将样本图像输入卷积神经网络中，确定样本图像的第一特征图。
子步骤二：将第一特征图输入分类器中进行降维处理，得到第二特征图。
子步骤三：将第二特征图进行平均池化，得到第二特征图对应的第一特征向量。
其中，第一特征向量中包括多个点，每个点对应一个分类器中的标签以及一个概率值。分类器中包含多个分类任务，每个分类任务下包含多个标签，因此分类器中包含多个标签，概率值为图像与标签匹配度。
子步骤四：计算分类器的目标损失函数，在第一特征向量中各点的偏导数得到梯度值。
其中，分类器中包含每个分类任务对应一个损失函数，各损失函数加权之和为目标损失函数。例如：分类器中包含A、B以及C三个分类任务，A对应的损失函数为loss1，B对应的损失函数为loss2，C对应的损失函数为loss3，A的权重为X1、B的权重为X2、C的权重为X3，则目标损失函数如下：
loss＝X1×loss1+X2×loss2+X3×loss3
子步骤五：依据梯度值对分类器对应的模型参数进行更新。
对分类器的训练实质上是对模型参数的不断更新，直至分类器收敛到预设标准后即可进行图像标签预测。具体地，如何判断分类器是否收敛到预设标准的方式如子步骤六至子步骤八中所示。
子步骤六：通过目标损失函数计算第一向量中各点对应的损失值。
子步骤七：计算各点对应的损失值的均值，得到平均损失值。
子步骤八：判断平均损失值是否小于预设损失值；若是，则对分类器的训练结束；若否，则返回执行步骤一继续向卷积神经网络中输入样本图像，对分类器进行训练，直至平均损失值小于预设损失值。
平均损失值小于预设损失值则可确定分类器收敛到预设标准。预设损失值可以由本领域技术人员根据实际需求进行设置，本发明实施例中对此不作具体限制。预设损失值越小，则训练完成后的分类器的收敛性越好；预设损失值越大，则分类器的训练越容易。
步骤204：将图像输入卷积神经网络中，确定图像的特征图。
步骤201至步骤203为对图像标签分类模型的训练过程，在具体实现过程中，若图像标签分类模型已训练完成则无需再执行步骤201至步骤203，直接通过训练好的图像标签分类模型执行图像标签预测即可。具体地预测流程如步骤204至步骤208中所示。
步骤205：将特征图输入分类器中。
其中，卷积神经网络为图像标签分类模型的主干网络，图像标签分类模型中包含分类器，分类器中包含多个分类任务，每个分类任务为多标签分类任务或单标签分类任务。
步骤206：通过分类器将特征图进行降维处理，得到中间特征图。
步骤207：通过分类器将所得到的中间特征图平均池化，得到中间特征图在各分类任务下对应的特征向量。
其中，每个分类任务下的特征向量中包含多个点，每个点对应一个该分类任务中的标签以及一个概率值。特征向量中的非零概率值对应的标签则可作为预测得到的标签。
步骤208：依据概率值从预测得到的各标签中筛选图像的标签。
一种优选地从预测得到的各标签中筛选图像标签的方式为：从预测得到的各标签中，筛选概率值高于预设概率阈值的第一标签；将第一标签确定为图像的标签。
本发明实施例提供的图像标签确定方法，构造并训练图像标签分类模型，图像标签分类模型中包含分类器且分类器中包含多个分类任务，在进行图像标签预测时，将图像输入卷积神经网络中确定图像的特征图，将特征图输入分类器中预测特征图对应的标签，由于分类器中包含多个分类任务，并且分类任务可以为多标签分类任务也可为单标签分类任务，因此在进行预测时根据图像类型适应性调动相应分类任务进行标签预测，从而达到根据图像类型适应性调整图像分类方式的目的，灵活性强且能够提升标签预测结果的准确性。本发明实施例提供的图像标签确定方法，以卷积神经网络为基础，作为训练图像标签分类模型的主干网络，同时向分类器重引入任意多个不同的分类任务，端到端融合不同任务，可以在不同的网络分支中对图像进行单标签预测以及多标签预测。
实施例三
参照图3，示出了本发明实施例三的一种图像标签确定装置的结构框图。
本发明实施例的图像标签确定装置可以包括：确定模块301，被配置为将图像输入卷积神经网络中，确定所述图像的特征图；输入模块302，被配置为将所述特征图输入分类器中；其中，所述分类器中包含多个分类任务，每个分类任务为多标签分类任务或单标签分类任务；预测模块303，被配置为通过所述分类器中的各分类任务，分别预测所述特征图对应的标签；其中，每个标签对应一个概率值；标签确定模块304，被配置为依据概率值从预测得到的各标签中筛选所述图像的标签。
优选地，所述预测模块303可以包括：降维子模块3031，被配置为通过所述分类器将所述特征图进行降维处理，得到中间特征图；处理子模块3032，被配置为通过所述分类器将所述中间特征图平均池化，得到所述中间特征图在各分类任务下对应的特征向量；其中，所述每个分类任务下的特征向量中包含多个点，每个点对应一个所述分类任务中的标签以及一个概率值。
优选地，所述装置还包括：构建模块305，被配置为在所述确定模块将图像输入卷积神经网络中，确定所述图像的特征图之前，构建各分类任务对应的样本图像；初始化模块306，被配置为初始化图像标签分类模型；训练模块307，被配置为基于各分类任务对应的样本图像，对所述图像标签分类模型中的分类器进行训练。
优选地，所述构建模块305可以包括：分类确定子模块3051，被配置为针对每个样本图像，确定所述样本图像所属的分类任务，以及所述样本图像在所述分类任务下对应的目标标签；设置子模块3052，被配置为将所述样本图像在所述目标标签位置处的概率值设置为1，将所述样本图像在所述各分类任务下除所述目标标签外的标签位置处的概率值设置为0，其中，每个标签在所属分类任务中对应一个位置。
优选地，所述训练模块307可以包括：第一输入子模块3071，被配置为将样本图像输入卷积神经网络中，确定所述样本图像的第一特征图；第二输入子模块3072，被配置为将所述第一特征图输入所述分类器中进行降维处理，得到第二特征图；向量确定子模块3073，被配置为将所述第二特征图进行平均池化，得到所述第二特征图对应的第一特征向量；其中，所述第一特征向量中包括多个点，每个点对应一个所述分类器中包含的标签以及一个概率值；梯度值确定子模块3074，被配置为计算所述分类器的目标损失函数，在所述第一特征向量中各点的偏导数得到梯度值；其中，所述分类器中包含每个分类任务对应一个损失函数，各所述损失函数加权之和为所述目标损失函数；参数更新子模块3075，被配置为依据所述梯度值对所述分类器对应的模型参数进行更新。
优选地，所述标签确定模块具体被配置为：从预测得到的各标签中，筛选概率值高于预设概率阈值的第一标签；将所述第一标签确定为所述图像的标签。
本发明实施例的图像标签确定装置用于实现前述实施例一、实施例二中相应的图像标签确定方法，并具有与方法实施例相应的有益效果，在此不再赘述。
实施例四
参照图4，示出了本发明实施例四的一种用于图像标签确定的终端的结构框图。
本发明实施例的终端可以包括：存储器、处理器及存储在存储器上并可在处理器上运行的图像标签确定程序，图像标签确定程序被处理器执行时实现本发明中所述的任意一种图像标签确定方法的步骤。
图4是根据一示例性实施例示出的一种图像标签确定终端600的框图。例如，终端600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图4，终端600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。
处理组件602通常控制装置600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理部件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在终端600的操作。这些数据的示例包括用于在终端600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件606为终端600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为终端600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述终端600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当终端600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当终端600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为终端600提供各个方面的状态评估。例如，传感器组件614可以检测到终端600的打开/关闭状态，组件的相对定位，例如所述组件为终端600的显示器和小键盘，传感器组件614还可以检测终端600或终端600一个组件的位置改变，用户与终端600接触的存在或不存在，装置600方位或加速/减速和终端600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件616被配置为便于终端600和其他设备之间有线或无线方式的通信。终端600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，终端600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行图像标签确定方法，具体地图像标签确定方法包括：将图像输入卷积神经网络中，确定所述图像的特征图；将所述特征图输入分类器中；其中，所述分类器中包含多个分类任务，每个分类任务为多标签分类任务或单标签分类任务；通过所述分类器中的各分类任务，分别预测所述特征图对应的标签；其中，每个标签对应一个概率值；依据概率值从预测得到的各标签中筛选所述图像的标签。
优选地，所述通过所述分类器中的各分类任务，分别预测所述特征图对应的标签的步骤，包括：通过所述分类器将所述特征图进行降维处理，得到中间特征图；通过所述分类器将所述中间特征图平均池化，得到所述中间特征图在各分类任务下对应的特征向量；其中，所述每个分类任务下的特征向量中包含多个点，每个点对应一个所述分类任务中的标签以及一个概率值。
优选地，在所述将图像输入卷积神经网络中，确定所述图像的特征图的步骤之前，所述方法还包括：构建各分类任务对应的样本图像；初始化图像标签分类模型；基于各分类任务对应的样本图像，对所述图像标签分类模型中的分类器进行训练。
优选地，所述构建各分类任务对应的样本图像的步骤，包括：针对每个样本图像，确定所述样本图像所属的分类任务，以及所述样本图像在所述分类任务下对应的目标标签；将所述样本图像在所述目标标签位置处的概率值设置为1，将所述样本图像在所述各分类任务下除所述目标标签外的标签位置处的概率值设置为0，其中，每个标签在所属分类任务中对应一个位置。
优选地，所述基于各分类任务对应的样本图像，对所述图像标签分类模型中的分类器进行训练的步骤，包括：将样本图像输入卷积神经网络中，确定所述样本图像的第一特征图；将所述第一特征图输入所述分类器中进行降维处理，得到第二特征图；将所述第二特征图进行平均池化，得到所述第二特征图对应的第一特征向量；其中，所述第一特征向量中包括多个点，每个点对应一个所述分类器中包含的标签以及一个概率值；计算所述分类器的目标损失函数，在所述第一特征向量中各点的偏导数得到梯度值；其中，所述分类器中包含每个分类任务对应一个损失函数，各所述损失函数加权之和为所述目标损失函数；依据所述梯度值对所述分类器对应的模型参数进行更新。
优选地，所述依据概率值从预测得到的各标签中筛选所述图像的标签的步骤，包括：从预测得到的各标签中，筛选概率值高于预设概率阈值的第一标签；将所述第一标签确定为所述图像的标签。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由终端600的处理器620执行以完成上述图像标签确定方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。当存储介质中的指令由终端的处理器执行时，使得终端能够执行本发明中所述的任意一种图像标签确定方法的步骤。
本发明实施例提供的终端，预先训练出包含多个分类任务的分类器，将图像输入卷积神经网络中确定图像的特征图，将特征图输入分类器中预测特征图对应的标签，由于分类器中包含多个分类任务，并且分类任务可以为多标签分类任务也可为单标签分类任务，因此在进行预测时根据图像类型适应性调动相应分类任务进行标签预测，从而达到根据图像类型适应性调整图像分类方式的目的，灵活性强且能够提升标签预测结果的准确性。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在此提供的图像标签确定方案不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的图像标签确定方案中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (12)

1.一种图像标签确定方法，其特征在于，所述方法包括：
将图像输入卷积神经网络中，确定所述图像的特征图；
将所述特征图输入分类器中；其中，所述分类器中包含多个分类任务，每个分类任务为多标签分类任务或单标签分类任务；其中，具有多标签分类任务的分类任务和具有单标签分类任务的分类任务同时存在；
通过所述分类器中的各分类任务，分别预测所述特征图对应的标签；其中，每个标签对应一个概率值；
依据概率值从预测得到的各标签中筛选所述图像的标签；
其中，所述通过所述分类器中的各分类任务，分别预测所述特征图对应的标签的步骤，包括：
通过所述分类器将所述特征图进行降维处理，得到中间特征图；
通过所述分类器将所述中间特征图平均池化，得到所述中间特征图在各分类任务下对应的特征向量；其中，所述每个分类任务下的特征向量中包含多个点，每个点对应一个所述分类任务中的标签以及一个概率值。
2.根据权利要求1所述的方法，其特征在于，在所述将图像输入卷积神经网络中，确定所述图像的特征图的步骤之前，所述方法还包括：
构建各分类任务对应的样本图像；
初始化图像标签分类模型；
基于各分类任务对应的样本图像，对所述图像标签分类模型中的分类器进行训练。
3.根据权利要求2所述的方法，其特征在于，所述构建各分类任务对应的样本图像的步骤，包括：
针对每个样本图像，确定所述样本图像所属的分类任务，以及所述样本图像在所述分类任务下对应的目标标签；
将所述样本图像在所述目标标签位置处的概率值设置为1，将所述样本图像在所述各分类任务下除所述目标标签外的标签位置处的概率值设置为0，其中，每个标签在所属分类任务中对应一个位置。
4.根据权利要求2所述的方法，其特征在于，所述基于各分类任务对应的样本图像，对所述图像标签分类模型中的分类器进行训练的步骤，包括：
将样本图像输入卷积神经网络中，确定所述样本图像的第一特征图；
将所述第一特征图输入所述分类器中进行降维处理，得到第二特征图；
将所述第二特征图进行平均池化，得到所述第二特征图对应的第一特征向量；其中，所述第一特征向量中包括多个点，每个点对应一个所述分类器中包含的标签以及一个概率值；
计算所述分类器的目标损失函数，在所述第一特征向量中各点的偏导数得到梯度值；其中，所述分类器中包含每个分类任务对应一个损失函数，各所述损失函数加权之和为所述目标损失函数；
依据所述梯度值对所述分类器对应的模型参数进行更新。
5.根据权利要求1所述的方法，其特征在于，所述依据概率值从预测得到的各标签中筛选所述图像的标签的步骤，包括：
从预测得到的各标签中，筛选概率值高于预设概率阈值的第一标签；
将所述第一标签确定为所述图像的标签。
6.一种图像标签确定装置，其特征在于，所述装置包括：
确定模块，被配置为将图像输入卷积神经网络中，确定所述图像的特征图；
输入模块，被配置为将所述特征图输入分类器中；其中，所述分类器中包含多个分类任务，每个分类任务为多标签分类任务或单标签分类任务；其中，具有多标签分类任务的分类任务和具有单标签分类任务的分类任务同时存在；
预测模块，被配置为通过所述分类器中的各分类任务，分别预测所述特征图对应的标签；其中，每个标签对应一个概率值；
标签确定模块，被配置为依据概率值从预测得到的各标签中筛选所述图像的标签；
其中，所述预测模块包括：
降维子模块，被配置为通过所述分类器将所述特征图进行降维处理，得到中间特征图；
处理子模块，被配置为通过所述分类器将所述中间特征图平均池化，得到所述中间特征图在各分类任务下对应的特征向量；其中，所述每个分类任务下的特征向量中包含多个点，每个点对应一个所述分类任务中的标签以及一个概率值。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
构建模块，被配置为在所述确定模块将图像输入卷积神经网络中，确定所述图像的特征图之前，构建各分类任务对应的样本图像；
初始化模块，被配置为初始化图像标签分类模型；
训练模块，被配置为基于各分类任务对应的样本图像，对所述图像标签分类模型中的分类器进行训练。
8.根据权利要求7所述的装置，其特征在于，所述构建模块包括：
分类确定子模块，被配置为针对每个样本图像，确定所述样本图像所属的分类任务，以及所述样本图像在所述分类任务下对应的目标标签；
设置子模块，被配置为将所述样本图像在所述目标标签位置处的概率值设置为1，将所述样本图像在所述各分类任务下除所述目标标签外的标签位置处的概率值设置为0，其中，每个标签在所属分类任务中对应一个位置。
9.根据权利要求7所述的装置，其特征在于，所述训练模块包括：
第一输入子模块，被配置为将样本图像输入卷积神经网络中，确定所述样本图像的第一特征图；
第二输入子模块，被配置为将所述第一特征图输入所述分类器中进行降维处理，得到第二特征图；
向量确定子模块，被配置为将所述第二特征图进行平均池化，得到所述第二特征图对应的第一特征向量；其中，所述第一特征向量中包括多个点，每个点对应一个所述分类器中包含的标签以及一个概率值；
梯度值确定子模块，被配置为计算所述分类器的目标损失函数，在所述第一特征向量中各点的偏导数得到梯度值；其中，所述分类器中包含每个分类任务对应一个损失函数，各所述损失函数加权之和为所述目标损失函数；
参数更新子模块，被配置为依据所述梯度值对所述分类器对应的模型参数进行更新。
10.根据权利要求6所述的装置，其特征在于，所述标签确定模块具体被配置为：从预测得到的各标签中，筛选概率值高于预设概率阈值的第一标签；将所述第一标签确定为所述图像的标签。
11.一种终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像标签确定程序，所述图像标签确定程序被所述处理器执行时实现如权利要求1至5中任一项所述的图像标签确定方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像标签确定的序，所述图像标签确定程序被处理器执行时实现如权利要求1至5中任一项所述的图像标签确定方法的步骤。
CN201810260522.3A 2018-03-27 2018-03-27 图像标签确定方法、装置及终端 Active CN108664989B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810260522.3A CN108664989B (zh) 2018-03-27 2018-03-27 图像标签确定方法、装置及终端
PCT/CN2018/122540 WO2019184471A1 (zh) 2018-03-27 2018-12-21 图像标签确定方法、装置及终端
US17/035,235 US11436449B2 (en) 2018-03-27 2020-09-28 Method and electronic apparatus for processing image and training image tag classification model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810260522.3A CN108664989B (zh) 2018-03-27 2018-03-27 图像标签确定方法、装置及终端

Publications (2)

Publication Number Publication Date
CN108664989A CN108664989A (zh) 2018-10-16
CN108664989B true CN108664989B (zh) 2019-11-01

Family

ID=63782608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810260522.3A Active CN108664989B (zh) 2018-03-27 2018-03-27 图像标签确定方法、装置及终端

Country Status (3)

Country Link
US (1) US11436449B2 (zh)
CN (1) CN108664989B (zh)
WO (1) WO2019184471A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664989B (zh) 2018-03-27 2019-11-01 北京达佳互联信息技术有限公司 图像标签确定方法、装置及终端
EP3608701A1 (de) * 2018-08-09 2020-02-12 Olympus Soft Imaging Solutions GmbH Verfahren zur bereitstellung wenigstens einer auswertemethode für proben
CN109657710B (zh) * 2018-12-06 2022-01-21 北京达佳互联信息技术有限公司 数据筛选方法、装置、服务器及存储介质
CN109635868B (zh) * 2018-12-10 2021-07-20 百度在线网络技术（北京）有限公司 障碍物类别的确定方法、装置、电子设备及存储介质
CN109740019A (zh) * 2018-12-14 2019-05-10 上海众源网络有限公司 一种对短视频打标签的方法、装置及电子设备
CN109886934B (zh) * 2019-01-28 2020-12-18 厦门理工学院 碳化竹片缺陷检测方法及系统
CN110473186B (zh) * 2019-02-14 2021-02-09 腾讯科技（深圳）有限公司 一种基于医学图像的检测方法、模型训练的方法及装置
CN111666960B (zh) * 2019-03-06 2024-01-19 南京地平线机器人技术有限公司 图像识别方法、装置、电子设备及可读存储介质
CN110163115B (zh) * 2019-04-26 2023-10-13 腾讯科技（深圳）有限公司 一种视频处理方法、装置和计算机可读存储介质
CN110738267B (zh) * 2019-10-18 2023-08-22 北京达佳互联信息技术有限公司 图像分类方法、装置、电子设备及存储介质
WO2021115115A1 (en) * 2019-12-09 2021-06-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Zero-shot dynamic embeddings for photo search
CN111209867A (zh) * 2020-01-08 2020-05-29 上海商汤临港智能科技有限公司 一种表情识别方法及装置
CN111310794B (zh) * 2020-01-19 2021-04-20 北京字节跳动网络技术有限公司 目标对象的分类方法、装置和电子设备
CN111291688B (zh) * 2020-02-12 2023-07-14 咪咕文化科技有限公司 视频标签的获取方法及装置
CN113312430B (zh) * 2020-02-27 2024-09-20 北京京东振世信息技术有限公司 物品的标签序列确定方法、装置、服务器及存储介质
CN111340131B (zh) * 2020-03-09 2023-07-14 北京字节跳动网络技术有限公司 图像的标注方法、装置、可读介质和电子设备
CN111611805B (zh) * 2020-04-24 2023-04-07 平安科技（深圳）有限公司 一种基于图像的辅助写作方法、装置、介质及设备
CN113627449A (zh) * 2020-05-07 2021-11-09 阿里巴巴集团控股有限公司 模型训练方法及装置、标签确定方法及装置
CN111626202B (zh) * 2020-05-27 2023-08-29 北京百度网讯科技有限公司 用于识别视频的方法及装置
CN112287994B (zh) * 2020-10-26 2024-09-24 北京嘀嘀无限科技发展有限公司 伪标签处理方法、装置、设备及计算机可读存储介质
CN112764700A (zh) * 2020-12-31 2021-05-07 维沃移动通信有限公司 图像显示处理方法、装置、电子设备和存储介质
CN112766330B (zh) * 2021-01-07 2022-06-28 山东浪潮科学研究院有限公司 图像多标签分类方法和装置
CN113297382B (zh) * 2021-06-21 2023-04-25 西南大学 仪器设备功能标签化处理方法
CN113792617B (zh) * 2021-08-26 2023-04-18 电子科技大学 一种结合图像信息和文本信息的图像解译方法
CN115553730B (zh) * 2022-10-10 2024-05-28 强联智创（北京）科技有限公司 对缺血性脑卒中的预后效果进行预测的方法和相关产品
CN117036343B (zh) * 2023-10-07 2024-01-16 北京大学人民医院 用于识别腋窝淋巴结转移癌的ffoct图像分析方法和装置
CN117271819B (zh) * 2023-11-17 2024-03-01 上海闪马智能科技有限公司 图像数据的处理方法和装置、存储介质及电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN106951911A (zh) * 2017-02-13 2017-07-14 北京飞搜科技有限公司 一种快速的多标签图片检索系统及实现方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8254670B2 (en) * 2009-02-25 2012-08-28 Toyota Motor Engineering & Manufacturing North America, Inc. Self-learning object detection and classification systems and methods
US9996768B2 (en) * 2014-11-19 2018-06-12 Adobe Systems Incorporated Neural network patch aggregation and statistics
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
CN105678309B (zh) * 2016-02-03 2019-01-01 山东工商学院 一种基于多示例包特征学习的图像多标签标注算法
CN107239785A (zh) * 2016-03-29 2017-10-10 北京市商汤科技开发有限公司 一种在智能设备中对图片进行分类的方法和系统
EP3291146A1 (en) * 2016-09-05 2018-03-07 Fujitsu Limited Knowledge extraction from a convolutional neural network
CN107220667B (zh) * 2017-05-24 2020-10-30 北京小米移动软件有限公司 图像分类方法、装置及计算机可读存储介质
CN108664989B (zh) * 2018-03-27 2019-11-01 北京达佳互联信息技术有限公司 图像标签确定方法、装置及终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN106951911A (zh) * 2017-02-13 2017-07-14 北京飞搜科技有限公司 一种快速的多标签图片检索系统及实现方法

Also Published As

Publication number Publication date
CN108664989A (zh) 2018-10-16
WO2019184471A1 (zh) 2019-10-03
US11436449B2 (en) 2022-09-06
US20210056344A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
CN108664989B (zh) 图像标签确定方法、装置及终端
CN108399409B (zh) 图像分类方法、装置及终端
CN110210535B (zh) 神经网络训练方法及装置以及图像处理方法及装置
CN108256549B (zh) 图像分类方法、装置及终端
CN108171254A (zh) 图像标签确定方法、装置及终端
CN109117862B (zh) 图像标签识别方法、装置及服务器
CN108595497B (zh) 数据筛选方法、装置及终端
CN109389162B (zh) 样本图像筛选方法和装置、电子设备及存储介质
CN108256555A (zh) 图像内容识别方法、装置及终端
CN109902738B (zh) 网络模块和分配方法及装置、电子设备和存储介质
CN110909815B (zh) 神经网络训练、图像处理方法、装置及电子设备
CN108614858B (zh) 图像分类模型优化方法、装置及终端
CN108960283B (zh) 分类任务增量处理方法及装置、电子设备和存储介质
CN109145970B (zh) 基于图像的问答处理方法和装置、电子设备及存储介质
CN113269307B (zh) 神经网络训练方法以及目标重识别方法
CN107527024A (zh) 人脸颜值评估方法及装置
CN108133217B (zh) 图像特征确定方法、装置及终端
CN109977860A (zh) 图像处理方法及装置、电子设备和存储介质
CN107194464A (zh) 卷积神经网络模型的训练方法及装置
CN108108738B (zh) 图像处理方法、装置及终端
CN109784537A (zh) 广告点击率的预估方法、装置及服务器和存储介质
CN108984628A (zh) 内容描述生成模型的损失值获取方法及装置
CN107992894A (zh) 图像识别方法、装置及计算机可读存储介质
CN112259122A (zh) 音频类型识别方法、装置及存储介质
CN108629377A (zh) 一种分类模型的损失值获取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211014

Address after: B2201, 20 / F, building 8, yard 1, Zhongguancun East Road, Haidian District, Beijing 100084

Patentee after: Beijing Dajia Internet Information Technology Co.,Ltd.

Patentee after: Beijing Kwai Technology Co.,Ltd.

Address before: B2201, 20 / F, building 8, yard 1, Zhongguancun East Road, Haidian District, Beijing 100084

Patentee before: Beijing Dajia Internet Information Technology Co.,Ltd.

TR01 Transfer of patent right