CN108399409A - 图像分类方法、装置及终端 - Google Patents

图像分类方法、装置及终端 Download PDF

Info

Publication number
CN108399409A
CN108399409A CN201810055063.5A CN201810055063A CN108399409A CN 108399409 A CN108399409 A CN 108399409A CN 201810055063 A CN201810055063 A CN 201810055063A CN 108399409 A CN108399409 A CN 108399409A
Authority
CN
China
Prior art keywords
vector
image
feature vector
character features
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810055063.5A
Other languages
English (en)
Other versions
CN108399409B (zh
Inventor
张志伟
杨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201810055063.5A priority Critical patent/CN108399409B/zh
Publication of CN108399409A publication Critical patent/CN108399409A/zh
Priority to PCT/CN2018/122432 priority patent/WO2019141042A1/zh
Application granted granted Critical
Publication of CN108399409B publication Critical patent/CN108399409B/zh
Priority to US16/932,599 priority patent/US11048983B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/158—Segmentation of character regions using character size, text spacings or pitch estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2528—Combination of methods, e.g. classifiers, working on the same input data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种图像分类方法、装置及终端，其中所述方法包括：通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；通过嵌入网络对所述文字描述信息进行处理，得到文字特征向量；将所述图像特征向量和文字特征向量拼接，得到图文特征向量；调用深度神经网络，根据所述深度神经网络依据所述图像特征向量、文字特征向量以及所述图文特征向量，确定所述图像对应的分类。通过本发明实施例提供的图像分类方法，能够提升图像分类的准确性。

Description

图像分类方法、装置及终端
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像分类方法、装置及终端。
背景技术
深度学习在视频图像、语音识别、自然语言处理等相关领域得到了广泛应用。卷积神经网络作为深度学习的一个重要分支，由于其超强的拟合能力以及端到端的全局优化能力，使得其在目标检测、分类等计算机视觉任务中所得预测结果的精度大幅提升。
目前对图像进行分类时，依据图像自身的特征在预定的标签体系下匹配得到图像对应的标签，依据标签确定图像所属的分类，所得分类结果准确性差。而在实际应用场景中，用户在上传一个图像之后，还会为该图像追加一段简单的文字描述，而这段文字描述对图像的分类而言，也具有一定的参考价值。可见，如何获取图像的全面信息，依据所获取的全面信息对图像进行分类以提升图像分类的准确性，是目前本领域技术人员成为待解决的问题。
发明内容
本发明实施例提供一种图像分类方法、装置及终端，以解决现有技术中存在图像分类结果准确性差的问题。
依据本发明的一个方面，提供了一种图像分类方法，其中所述方法包括：通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；通过嵌入网络对所述文字描述信息进行处理，得到文字特征向量；将所述图像特征向量和文字特征向量拼接，得到图文特征向量；调用深度神经网络，根据所述深度神经网络依据所述图像特征向量、文字特征向量以及所述图文特征向量，确定所述图像对应的分类。
可选地，所述通过嵌入网络对所述文字描述信息进行处理，得到文字特征向量的步骤，包括：去除所述文字描述信息中的停用词，得到多个分词；针对每个所述分词，确定所述分词在文字特征集合中的位置信息；依据所述位置信息生成分词对应的索引数值；其中，所述文字特征集合通过对样本图像对应的文字描述信息训练得到；调用嵌入网络，由所述嵌入网络依据各所述分词对应的索引数值确定各分词对应的描述向量；将各分词对应的描述向量同维度加权平均，得到文字特征向量。
可选地，所述将所述图像特征向量和文字特征向量拼接，得到图文特征向量的步骤，包括：将所述文字特征向量和所述图像特征向量，映射为维度相同的向量；将映射后的文字特征向量和图像特征向量进行维度拼接，生成图文特征向量。
可选地，在所述通过卷积神经网络确定图像对应的图像特征向量的步骤之前，所述方法还包括：获取各样本图像；针对每个样本图像，确定所述样本图像是否对应文字描述信息；若否，确定所述样本图像对应的文字特征子集合为空；若是，去除所述文字描述信息中的停用词得到包含多个分词的描述集合；基于预设的标签体系从所述描述集合中提取出文字特征子集合；将各样本图像对应的文字特征子集合求并集，得到文字特征集合。
可选地，所述调用深度神经网络，根据所述深度神经网络依据所述图像特征向量、文字特征向量以及所述图文特征向量，确定所述图像对应的分类的步骤，包括：分别将所述图像特征向量、文字特征向量以及所述图文特征向量输入所述深度神经网络，得到与所述图像特征向量对应的第一分类结果向量，与所述文字特征向量对应的第二分类结果向量，与所述图文特征向量对应的第三分类结果向量；将所述第一分类结果向量、第二分类结果向量以及所述第三分类结果向量进行加权求和，得到目标结果向量；依据所述目标结果向量，确定所述图像对应的分类。
依据本发明的另一个方面，提供了一种图像分类装置，其中所述装置包括：确定模块，被配置为通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；向量生成模块，被配置为通过嵌入网络对所述文字描述信息进行处理，得到文字特征向量；拼接模块，被配置为将所述图像特征向量和文字特征向量拼接，得到图文特征向量；分类模块，被配置为调用深度神经网络，由所述深度神经网络依据所述图像特征向量、文字特征向量以及所述图文特征向量，确定所述图像对应的分类。
可选地，所述向量生成模块包括：分词子模块，被配置为去除所述文字描述信息中的停用词，得到多个分词；位置确定子模块，被配置为针对每个所述分词，确定所述分词在文字特征集合中的位置信息；索引值生成子模块，被配置为依据所述位置信息生成分词对应的索引数值；其中，所述文字特征集合通过对样本图像对应的文字描述信息训练得到；第一调用子模块，被配置为调用嵌入网络，由所述嵌入网络依据各所述分词对应的索引数值确定各分词对应的描述向量；第二调用子模块，被配置为将各分词对应的描述向量同维度加权平均，得到文字特征向量。
可选地，所述拼接模块包括：映射子模块，被配置为将所述文字特征向量和所述图像特征向量，映射为维度相同的向量；拼接子模块，被配置为将映射后的文字特征向量和图像特征向量进行维度拼接，生成图文特征向量。
可选地，所述装置还包括：获取模块，被配置为在所述确定模块通过卷积神经网络确定图像对应的图像特征向量之前，获取各样本图像；子集合确定模块，被配置为针对每个样本图像，确定所述样本图像是否对应文字描述信息；若否，确定所述样本图像对应的文字特征子集合为空；若是，去除所述文字描述信息中的停用词得到包含多个分词的描述集合；提取子模块，被配置为基于预设的标签体系从所述描述集合中提取出文字特征子集合；特征集合确定模块，被配置为将各样本图像对应的文字特征子集合求并集，得到文字特征集合。
可选地，所述分类模块包括：输入子模块，被配置为分别将所述图像特征向量、文字特征向量以及所述图文特征向量输入所述深度神经网络，得到与所述图像特征向量对应的第一分类结果向量，与所述文字特征向量对应的第二分类结果向量，与所述图文特征向量对应的第三分类结果向量；处理子模块，被配置为将所述第一分类结果向量、第二分类结果向量以及所述第三分类结果向量进行加权求和，得到目标结果向量；结果确定子模块，被配置为依据所述目标结果向量，确定所述图像对应的分类。
根据本发明的再一方面，提供了一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像分类程序，所述图像分类程序被所述处理器执行时实现本发明中所述的任意一种图像分类方法的步骤。
根据本发明的又一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像分类程序，所述图像分类程序被处理器执行时实现本发明中所述的任意一种图像分类方法的步骤。
与现有技术相比，本发明具有以下优点：
本发明实施例提供的图像分类方案，以卷积神经网络为基础作为图像特征提取的主干网络得到图像对应的图像特征向量，以嵌入网络为基础作为文字特征提取的主干网络得到图像所对应的文字描述信息的文字特征向量，将图像特征向量和文字特征向量拼接得到图文特征向量，以深度神经网络作为主干网络，依据图像特征向量、文字特征向量以及图文特征向量确定图像在不同标签下的权重从而确定图像对应的分类，能够提升图像分类的准确性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是根据本发明实施例一的一种图像分类方法的步骤流程图；
图2是根据本发明实施例二的一种图像分类方法的步骤流程图；
图3是根据本发明实施例三的一种图像分类装置的结构框图；
图4是根据本发明实施例四的一种终端的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
参照图1，示出了本发明实施例一的一种图像分类方法的步骤流程图。
本发明实施例的图像分类方法可以包括以下步骤：
步骤101：通过卷积神经网络确定图像对应的图像特征向量。
其中，图像对应有文字描述信息。文字描述信息可以为用户在上传该图像之后，追加上传的文字描述信息，也可以为图像中包含的文字描述信息。
本发明实施例中图像可以为视频中的单帧图像，也可以仅为一个多媒体图像。一张图像输入到卷积神经网络中，经过卷积层或者池化层之后会得到图像特征图向量，图像特征向量中包含多个点，每个点对应一张特征图以及一个权重值。对于将图像输入卷积神经网络中，得到图像对应的图像特征向量的具体处理方式，参照现有相关技术即可，本发明实施例中对此不作具体限制。
步骤102：通过嵌入网络对文字描述信息进行处理，得到文字特征向量。
在具体实现过程中，对文字描述信息进行处理时先将文字信息进行分词得到多个分词，基于预设的文字特征集合确定各分词对应的描述向量，最终将各分词对应的描述向量同维度加权平均，得到文字特征向量。所得到的文字特征向量中包含多个点，每个点对应一个文字特征集合中的文字特征。
需要说明的是，步骤102并不局限于在步骤101之后执行，还可以与步骤101并行执行或者在步骤101之前执行。
步骤103：将图像特征向量和文字特征向量拼接，得到图文特征向量。
图像特征向量和文字特征向量分别包含多个维度，每个维度在向量上对应一个点，将两个特征向量进行拼接所得图文特征向量中的各维度既可提现图像特征又可提现文字特征。例如：图像特征向量包含十个维度即十个点，文字特征向量包含十个维度，则拼接后的图文特征向量包含二十个维度。
步骤104：调用深度神经网络，根据深度神经网络依据图像特征向量、文字特征向量以及图文特征向量，确定图像对应的分类。
深度神经网络分别确定图像特征向量、文字特征向量和图文特征向量中各点对应的概率值，得到三个分类结果向量。将三个分类结果向量进行加权平均，得到目标结果向量。从目标结果向量中将概率值最高的该点对应的特征标签确定为该图像的标签，确定标签后即可依据标签确定图像所属的分类。当然，也可直接将该标签作为图像所属的分类。
本发明实施例提供的图像分类方法，以卷积神经网络为基础作为图像特征提取的主干网络得到图像对应的图像特征向量，以嵌入网络为基础作为文字特征提取的主干网络得到图像所对应的文字描述信息的文字特征向量，将图像特征向量和文字特征向量拼接得到图文特征向量，以深度神经网络作为主干网络，依据图像特征向量、文字特征向量以及图文特征向量确定图像在不同标签下的权重从而确定图像对应的分类，能够提升图像分类的准确性。
实施例二
参照图2，示出了本发明实施例二的一种图像分类方法的步骤流程图。
本发明实施例的图像分类方法具体可以包括以下步骤：
步骤201：通过卷积神经网络确定图像对应的图像特征向量。
图像对应有文字描述信息。文字描述信息可以为用户在上传该图像之后，追加上传的文字描述信息，也可以为图像中包含的文字描述信息。
对于通过卷积神经网络确定图像对应的图像特征向量的具体方式，参照现有相关技术即可，本发明实施例中对此不作具体限定。
步骤202：去除文字描述信息中的停用词，得到多个分词。
系统中预设有停用词表，在对文字描述信息进行处理时，将文字描述信息中词组分别与停用词表匹配，若匹配成功则将该词组确定为停用词将其从文字描述信息中去除，最终将文字描述信息中的各停用词去除，得到多个分词。其中，停用词为无实际涵义的词语，停用词表可以由本领域技术人员根据实际需求进行设置，本发明实施例中对此不作具体限制。
步骤203：针对每个分词，确定分词在文字特征集合中的位置信息，依据位置信息生成分词对应的索引数值。
文字特征集合通过对样本图像对应的文字描述信息训练得到，一种优选地训练文字描述信息的方式如下：
首先，获取各样本图像；
样本图像可以对应有文字描述信息，也可以无对应的文字描述信息。样本图像的数量以及选取可以由本领域技术人员根据实际需求进行设置，本发明实施例中对此不作具体限制。样本数量越多则所训练得到的文字特征集合中包含的文字特征越全面。
其次，针对每个样本图像，确定样本图像是否对应文字描述信息；若否，确定样本图像对应的文字特征子集合为空；若是，去除文字描述信息中的停用词得到包含多个分词的描述集合；其中，单个样本图像对应的文字特征子集合可以用Su表示；基于预设的标签体系从描述集合中提取出文字特征子集合，其中，单个样本图像对应的文字特征子集合可以用Si表示，空集合则用null表示。
最后，将各样本图像对应的文字特征子集合求并集，得到文字特征集合。
文字特征集合其中，X表示全部训练样本图像。
例如，一个用户在上传一个美食教程时，同时输入“糖醋里脊教程，喜欢的朋友点赞”文字信息，具体处理过程如下。
通过对文字信息进行分词，得到描述集合：
Su＝{糖醋里脊，教程，喜欢，朋友，点赞}
由于描述的是“美食教程”在这个样本中，仅有“糖醋里脊”“教程”可以作为描述标签，故从描述集合中提取“糖醋里脊”“教程”这两个描述标签组成集合，作为该样本图像对应的文字特征子集合：
Si＝{糖醋里脊，教程}
步骤204：调用嵌入网络，由嵌入网络依据各分词对应的索引数值确定各分词对应的描述向量。
文字特征集合中包含多个文字特征，各文字特征在文字特征集合中分别对应一个位置，每个位置对应一个索引数值，具体地，可以将位置标号作为索引数值。在将图像对应的文字描述信息处理提取出多个分词后，每个分词将作为一个文字特征，分别确定各分词在文字特征集合中的位置，进一步依据位置与索引数值的对应关系，确定各分词对应的索引数值。
将各分词对应的索引数值输入嵌入网络，嵌入网络依据各分词对应的索引数值确定各分词对应的描述向量Wi。
步骤205：将各分词对应的描述向量同维度加权平均，得到文字特征向量。
通过将待预测图像的文本信息进行分词，得到多个分词。针对每个分词，确定预先训练得到的文字特征集合中是否包含该分词，若是则进一步确定该分词对应的描述向量，反之，则确定该分词无对应的描述向量。也即，分词为描述标签则为该分词生成描述向量，反之，分词不是描述标签则不为该分词生成描述向量。
各分词对应的权重可以相同也可以不同，若各分词对应的权重相同时，在可通过如下公式对各分词对应的描述向量同维度加权平均，得到文字特征向量。
其中，Ftext为文字特征向量，N为当前图像包含的文字信息中描述标签的个数。
步骤206：将文字特征向量和图像特征向量，映射为维度相同的向量。
由于图像特征向量与文字特征向量在分别经过卷积神经网络与循环神经网络输出之后，二者并不在同一个空间即二者维度不同；此时需要分别将这两个特征向量进行空间映射，使其映射到同一空间即影射为维度相同的向量。具体地，可以使用全连接对文字特征向量、图像特征向量中的特征进行空间映射。
步骤207：将映射后的文字特征向量和图像特征向量进行纬度拼接，生成图文特征向量。
例如：映射后的文字特征向量包含1-5五个维度，图像特征向量包含1-5五个维度，可以将图像特征向量的第一个维度拼接到文字特征向量的第五个维度后，生成包含十个维度的图文特征向量，图文特征向量中每个维度对应特征标签。
步骤208：调用深度神经网络，根据深度神经网络依据图像特征向量、文字特征向量以及图文特征向量，确定图像对应的分类。
具体实现过程中，可以首先分别将图像特征向量、文字特征向量以及图文特征向量输入深度神经网络，得到与图像特征向量对应的第一分类结果向量，与文字特征向量对应的第二分类结果向量，与图文特征向量对应的第三分类结果向量。各分类结果向量中均包含多个点，每个点对应一个特征标签，每个点对应一个概率值。
其次，将第一分类结果向量、第二分类结果向量以及第三分类结果向量进行加权求和，得到目标结果向量。
具体地，可以通过如下公式得到目标结果向量P：
P＝WtextPtext+WimagePimage+Wtext-imagePtext-image
其中，Wimage、Wtext以及Wtext-image分别为第一分类结果向量、第二分类结果向量以及第三分类结果向量的权重；Pimage、Ptext以及Ptext-image分别为第一分类结果向量、第二分类结果向量以及第三分类结果向量。
最后，依据目标结果向量，确定图像对应的分类。
依据目标结果向量确定图像对应的特征标签，其中特征标签为目标特征向量中概率值最高的点对应的特征标签，依据特征标签确定图像所属的分类。
本发明实施例提供的图像分类方法，以卷积神经网络为基础作为图像特征提取的主干网络得到图像对应的图像特征向量，以嵌入网络为基础作为文字特征提取的主干网络得到图像所对应的文字描述信息的文字特征向量，将图像特征向量和文字特征向量拼接得到图文特征向量，以深度神经网络作为主干网络，依据图像特征向量、文字特征向量以及图文特征向量确定图像在不同标签下的权重从而确定图像对应的分类，能够提升图像分类的准确性。
实施例三
参照图3，示出了本发明实施例三的一种图像分类装置的结构框图。
本发明实施例的图像分类装置可以包括：确定模块301，被配置为通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；向量生成模块302，被配置为通过嵌入网络对所述文字描述信息进行处理，得到文字特征向量；拼接模块303，被配置为将所述图像特征向量和文字特征向量拼接，得到图文特征向量；分类模块304，被配置为调用深度神经网络，根据所述深度神经网络依据所述图像特征向量、文字特征向量以及所述图文特征向量，确定所述图像对应的分类。
优选地，所述向量生成模块302可以包括：分词子模块3021，被配置为去除所述文字描述信息中的停用词，得到多个分词；位置确定子模块3022，被配置为针对每个所述分词，确定所述分词在文字特征集合中的位置信息，索引值生成子模块3023，被配置为依据所述位置信息生成分词对应的索引数值；其中，所述文字特征集合通过对样本图像对应的文字描述信息训练得到；第一调用子模块3024，被配置为调用嵌入网络，由所述嵌入网络依据各所述分词对应的索引数值确定各分词对应的描述向量；第二调用子模块3025，被配置为将各分词对应的描述向量同维度加权平均，得到文字特征向量。
优选地，所述拼接模块303可以包括：映射子模块3031，被配置为将所述文字特征向量和所述图像特征向量，映射为维度相同的向量；拼接子模块3032，被配置为将映射后的文字特征向量和图像特征向量进行维度拼接，生成图文特征向量。
优选地，所述装置还可以包括：获取模块305，被配置为在所述确定模块301通过卷积神经网络确定图像对应的图像特征向量之前，获取各样本图像；子集合确定模块306，被配置为针对每个样本图像，确定所述样本图像是否对应文字描述信息；若否，确定所述样本图像对应的文字特征子集合为空；若是，去除所述文字描述信息中的停用词得到包含多个分词的描述集合；提取模块307，被配置为基于预设的标签体系从所述描述集合中提取出文字特征子集合；特征集合确定模块308，被配置为将各样本图像对应的文字特征子集合求并集，得到文字特征集合。
优选地，所述分类模块304可以包括：输入子模块3041，被配置为分别将所述图像特征向量、文字特征向量以及所述图文特征向量输入所述深度神经网络，得到与所述图像特征向量对应的第一分类结果向量，与所述文字特征向量对应的第二分类结果向量，与所述图文特征向量对应的第三分类结果向量；处理子模块3042，被配置为将所述第一分类结果向量、第二分类结果向量以及所述第三分类结果向量进行加权求和，得到目标结果向量；结果确定子模块3043，被配置为依据所述目标结果向量，确定所述图像对应的分类。
本发明实施例的图像分类装置用于实现前述实施例一、实施例二中相应的图像分类方法，并具有与方法实施例相应的有益效果，在此不再赘述。
实施例四
参照图4，示出了本发明实施例四的一种用于图像分类的终端的结构框图。
本发明实施例的终端可以包括：存储器、处理器及存储在存储器上并可在处理器上运行的图像分类程序，图像标签确定程序被处理器执行时实现本发明中所述的任意一种图像分类方法的步骤。
图4是根据一示例性实施例示出的一种图像分类终端600的框图。例如，终端600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图4，终端600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。
处理组件602通常控制装置600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理部件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在终端600的操作。这些数据的示例包括用于在终端600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件606为终端600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为终端600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述终端600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当终端600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当终端600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为终端600提供各个方面的状态评估。例如，传感器组件614可以检测到终端600的打开/关闭状态，组件的相对定位，例如所述组件为终端600的显示器和小键盘，传感器组件614还可以检测终端600或终端600一个组件的位置改变，用户与终端600接触的存在或不存在，装置600方位或加速/减速和终端600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件616被配置为便于终端600和其他设备之间有线或无线方式的通信。终端600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，终端600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行图像分类方法，具体地图像分类方法包括：通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；通过嵌入网络对所述文字描述信息进行处理，得到文字特征向量；将所述图像特征向量和文字特征向量拼接，得到图文特征向量；调用深度神经网络，根据所述深度神经网络依据所述图像特征向量、文字特征向量以及所述图文特征向量，确定所述图像对应的分类。
优选地，所述通过嵌入网络对所述文字描述信息进行处理，得到文字特征向量的步骤，包括：去除所述文字描述信息中的停用词，得到多个分词；针对每个所述分词，确定所述分词在文字特征集合中的位置信息；依据所述位置信息生成分词对应的索引数值；其中，所述文字特征集合通过对样本图像对应的文字描述信息训练得到；调用嵌入网络，由所述嵌入网络依据各所述分词对应的索引数值确定各分词对应的描述向量；将各分词对应的描述向量同维度加权平均，得到文字特征向量。
优选地，所述将所述图像特征向量和文字特征向量拼接，得到图文特征向量的步骤，包括：将所述文字特征向量和所述图像特征向量，映射为维度相同的向量；将映射后的文字特征向量和图像特征向量进行维度拼接，生成图文特征向量。
优选地，在所述通过卷积神经网络确定图像对应的图像特征向量的步骤之前，所述方法还包括：获取各样本图像；针对每个样本图像，确定所述样本图像是否对应文字描述信息；若否，确定所述样本图像对应的文字特征子集合为空；若是，去除所述文字描述信息中的停用词得到包含多个分词的描述集合；基于预设的标签体系从所述描述集合中提取出文字特征子集合；将各样本图像对应的文字特征子集合求并集，得到文字特征集合。
优选地，所述调用深度神经网络，根据所述深度神经网络依据所述图像特征向量、文字特征向量以及所述图文特征向量，确定所述图像对应的分类的步骤，包括：分别将所述图像特征向量、文字特征向量以及所述图文特征向量输入所述深度神经网络，得到与所述图像特征向量对应的第一分类结果向量，与所述文字特征向量对应的第二分类结果向量，与所述图文特征向量对应的第三分类结果向量；将所述第一分类结果向量、第二分类结果向量以及所述第三分类结果向量进行加权求和，得到目标结果向量；依据所述目标结果向量，确定所述图像对应的分类。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由终端600的处理器620执行以完成上述图像分类方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。当存储介质中的指令由终端的处理器执行时，使得终端能够执行本发明中所述的任意一种图像分类方法的步骤。
本发明实施例提供的终端，以卷积神经网络为基础作为图像特征提取的主干网络得到图像对应的图像特征向量，以嵌入网络为基础作为文字特征提取的主干网络得到图像所对应的文字描述信息的文字特征向量，将图像特征向量和文字特征向量拼接得到图文特征向量，以深度神经网络作为主干网络，依据图像特征向量、文字特征向量以及图文特征向量确定图像在不同标签下的权重从而确定图像对应的分类，能够提升图像分类的准确性。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在此提供的图像分类方案不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的图像分类方案中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (12)

1.一种图像分类方法，其特征在于，所述方法包括：
通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；
通过嵌入网络对所述文字描述信息进行处理，得到文字特征向量；
将所述图像特征向量和文字特征向量拼接，得到图文特征向量；
调用深度神经网络，根据所述深度神经网络依据所述图像特征向量、文字特征向量以及所述图文特征向量，确定所述图像对应的分类。
2.根据权利要求1所述的方法，其特征在于，所述通过嵌入网络对所述文字描述信息进行处理，得到文字特征向量的步骤，包括：
去除所述文字描述信息中的停用词，得到多个分词；
针对每个所述分词，确定所述分词在文字特征集合中的位置信息；
依据所述位置信息生成分词对应的索引数值；其中，所述文字特征集合通过对样本图像对应的文字描述信息训练得到；
调用嵌入网络，由所述嵌入网络依据各所述分词对应的索引数值确定各分词对应的描述向量；
将各分词对应的描述向量同维度加权平均，得到文字特征向量。
3.根据权利要求1所述的方法，其特征在于，所述将所述图像特征向量和文字特征向量拼接，得到图文特征向量的步骤，包括：
将所述文字特征向量和所述图像特征向量，映射为维度相同的向量；
将映射后的文字特征向量和图像特征向量进行维度拼接，生成图文特征向量。
4.根据权利要求1所述的方法，其特征在于，在所述通过卷积神经网络确定图像对应的图像特征向量的步骤之前，所述方法还包括：
获取各样本图像；
针对每个样本图像，确定所述样本图像是否对应文字描述信息；若否，确定所述样本图像对应的文字特征子集合为空；若是，去除所述文字描述信息中的停用词得到包含多个分词的描述集合；
基于预设的标签体系从所述描述集合中提取出文字特征子集合；
将各样本图像对应的文字特征子集合求并集，得到文字特征集合。
5.根据权利要求1所述的方法，其特征在于，所述调用深度神经网络，根据所述深度神经网络依据所述图像特征向量、文字特征向量以及所述图文特征向量，确定所述图像对应的分类的步骤，包括：
分别将所述图像特征向量、文字特征向量以及所述图文特征向量输入所述深度神经网络，得到与所述图像特征向量对应的第一分类结果向量，与所述文字特征向量对应的第二分类结果向量，与所述图文特征向量对应的第三分类结果向量；
将所述第一分类结果向量、第二分类结果向量以及所述第三分类结果向量进行加权求和，得到目标结果向量；
依据所述目标结果向量，确定所述图像对应的分类。
6.一种图像分类装置，其特征在于，所述装置包括：
确定模块，被配置为通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；
向量生成模块，被配置为通过嵌入网络对所述文字描述信息进行处理，得到文字特征向量；
拼接模块，被配置为将所述图像特征向量和文字特征向量拼接，得到图文特征向量；
分类模块，被配置为调用深度神经网络，由所述深度神经网络依据所述图像特征向量、文字特征向量以及所述图文特征向量，确定所述图像对应的分类。
7.根据权利要求6所述的装置，其特征在于，所述向量生成模块包括：
分词子模块，被配置为去除所述文字描述信息中的停用词，得到多个分词；
位置确定子模块，被配置为针对每个所述分词，确定所述分词在文字特征集合中的位置信息；
索引值生成子模块，被配置为依据所述位置信息生成分词对应的索引数值；其中，所述文字特征集合通过对样本图像对应的文字描述信息训练得到；
第一调用子模块，被配置为调用嵌入网络，由所述嵌入网络依据各所述分词对应的索引数值确定各分词对应的描述向量；
第二调用子模块，被配置为将各分词对应的描述向量同维度加权平均，得到文字特征向量。
8.根据权利要求6所述的装置，其特征在于，所述拼接模块包括：
映射子模块，被配置为将所述文字特征向量和所述图像特征向量，映射为维度相同的向量；
拼接子模块，被配置为将映射后的文字特征向量和图像特征向量进行维度拼接，生成图文特征向量。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：
获取模块，被配置为在所述确定模块通过卷积神经网络确定图像对应的图像特征向量之前，获取各样本图像；
子集合确定模块，被配置为针对每个样本图像，确定所述样本图像是否对应文字描述信息；若否，确定所述样本图像对应的文字特征子集合为空；若是，去除所述文字描述信息中的停用词得到包含多个分词的描述集合；
提取模块，被配置为基于预设的标签体系从所述描述集合中提取出文字特征子集合；
特征集合确定模块，被配置为将各样本图像对应的文字特征子集合求并集，得到文字特征集合。
10.根据权利要求6所述的装置，其特征在于，所述分类模块包括：
输入子模块，被配置为分别将所述图像特征向量、文字特征向量以及所述图文特征向量输入所述深度神经网络，得到与所述图像特征向量对应的第一分类结果向量，与所述文字特征向量对应的第二分类结果向量，与所述图文特征向量对应的第三分类结果向量；
处理子模块，被配置为将所述第一分类结果向量、第二分类结果向量以及所述第三分类结果向量进行加权求和，得到目标结果向量；
结果确定子模块，被配置为依据所述目标结果向量，确定所述图像对应的分类。
11.一种终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像分类程序，所述图像分类程序被所述处理器执行时实现如权利要求1至5中任一项所述的图像分类方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像分类程序，所述图像分类程序被处理器执行时实现如权利要求1至5中任一项所述的图像分类方法的步骤。
CN201810055063.5A 2018-01-19 2018-01-19 图像分类方法、装置及终端 Active CN108399409B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810055063.5A CN108399409B (zh) 2018-01-19 2018-01-19 图像分类方法、装置及终端
PCT/CN2018/122432 WO2019141042A1 (zh) 2018-01-19 2018-12-20 图像分类方法、装置及终端
US16/932,599 US11048983B2 (en) 2018-01-19 2020-07-17 Method, terminal, and computer storage medium for image classification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810055063.5A CN108399409B (zh) 2018-01-19 2018-01-19 图像分类方法、装置及终端

Publications (2)

Publication Number Publication Date
CN108399409A true CN108399409A (zh) 2018-08-14
CN108399409B CN108399409B (zh) 2019-06-18

Family

ID=63095037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810055063.5A Active CN108399409B (zh) 2018-01-19 2018-01-19 图像分类方法、装置及终端

Country Status (3)

Country Link
US (1) US11048983B2 (zh)
CN (1) CN108399409B (zh)
WO (1) WO2019141042A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213862A (zh) * 2018-08-21 2019-01-15 北京京东尚科信息技术有限公司 物体识别方法和装置、计算机可读存储介质
CN109543714A (zh) * 2018-10-16 2019-03-29 北京达佳互联信息技术有限公司 数据特征的获取方法、装置、电子设备及存储介质
CN109871896A (zh) * 2019-02-26 2019-06-11 北京达佳互联信息技术有限公司 数据分类方法、装置、电子设备及存储介质
CN110019882A (zh) * 2019-03-18 2019-07-16 星潮闪耀移动网络科技（中国）有限公司 一种广告创意分类方法及系统
WO2019141042A1 (zh) * 2018-01-19 2019-07-25 北京达佳互联信息技术有限公司 图像分类方法、装置及终端
CN110781925A (zh) * 2019-09-29 2020-02-11 支付宝(杭州)信息技术有限公司 软件页面的分类方法、装置、电子设备及存储介质
CN110808019A (zh) * 2019-10-31 2020-02-18 维沃移动通信有限公司 一种歌曲生成方法及电子设备
CN111755118A (zh) * 2020-03-16 2020-10-09 腾讯科技（深圳）有限公司 医疗信息处理方法、装置、电子设备及存储介质
CN111832082A (zh) * 2020-08-20 2020-10-27 支付宝(杭州)信息技术有限公司 图文完整性检测方法及装置
CN111832581A (zh) * 2020-09-21 2020-10-27 平安科技（深圳）有限公司 肺部特征识别方法、装置、计算机设备及存储介质
CN112149653A (zh) * 2020-09-16 2020-12-29 北京达佳互联信息技术有限公司 信息处理方法、装置、电子设备及存储介质
WO2021104274A1 (zh) * 2019-11-29 2021-06-03 智慧芽信息科技(苏州)有限公司 图文联合表征的搜索方法、系统、服务器和存储介质
US11887201B2 (en) 2019-07-03 2024-01-30 Aon Risk Services, Inc. Of Maryland Analysis of intellectual-property data in relation to products and services
US11941714B2 (en) 2019-07-03 2024-03-26 Aon Risk Services, Inc. Of Maryland Analysis of intellectual-property data in relation to products and services

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11803927B2 (en) * 2019-07-03 2023-10-31 Aon Risk Services, Inc. Of Maryland Analysis of intellectual-property data in relation to products and services
US11816909B2 (en) 2021-08-04 2023-11-14 Abbyy Development Inc. Document clusterization using neural networks

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760507A (zh) * 2016-02-23 2016-07-13 复旦大学 基于深度学习的跨模态主题相关性建模方法
US20170317983A1 (en) * 2016-04-28 2017-11-02 Xerox Corporation Image document processing in a client-server system including privacy-preserving text recognition
CN107392109A (zh) * 2017-06-27 2017-11-24 南京邮电大学 一种基于深度神经网络的新生儿疼痛表情识别方法
CN108256549A (zh) * 2017-12-13 2018-07-06 北京达佳互联信息技术有限公司 图像分类方法、装置及终端

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106358444B (zh) * 2014-04-11 2019-07-30 北京市商汤科技开发有限公司 用于面部验证的方法和系统
US9484022B2 (en) * 2014-05-23 2016-11-01 Google Inc. Training multiple neural networks with different accuracy
US9514391B2 (en) * 2015-04-20 2016-12-06 Xerox Corporation Fisher vectors meet neural networks: a hybrid visual classification architecture
US10095950B2 (en) * 2015-06-03 2018-10-09 Hyperverge Inc. Systems and methods for image processing
US9501724B1 (en) * 2015-06-09 2016-11-22 Adobe Systems Incorporated Font recognition and font similarity learning using a deep neural network
US10068171B2 (en) * 2015-11-12 2018-09-04 Conduent Business Services, Llc Multi-layer fusion in a convolutional neural network for image classification
GB2547712A (en) * 2016-02-29 2017-08-30 Fujitsu Ltd Method and apparatus for generating time series data sets for predictive analysis
US9830526B1 (en) * 2016-05-26 2017-11-28 Adobe Systems Incorporated Generating image features based on robust feature-learning
US9767557B1 (en) * 2016-06-23 2017-09-19 Siemens Healthcare Gmbh Method and system for vascular disease detection using recurrent neural networks
US10140515B1 (en) * 2016-06-24 2018-11-27 A9.Com, Inc. Image recognition and classification techniques for selecting image and audio data
US10503775B1 (en) * 2016-12-28 2019-12-10 Shutterstock, Inc. Composition aware image querying
CN107145484A (zh) * 2017-04-24 2017-09-08 北京邮电大学 一种基于隐多粒度局部特征的中文分词方法
US10089556B1 (en) * 2017-06-12 2018-10-02 Konica Minolta Laboratory U.S.A., Inc. Self-attention deep neural network for action recognition in surveillance videos
CN108399409B (zh) * 2018-01-19 2019-06-18 北京达佳互联信息技术有限公司 图像分类方法、装置及终端
US10706545B2 (en) * 2018-05-07 2020-07-07 Zebra Medical Vision Ltd. Systems and methods for analysis of anatomical images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760507A (zh) * 2016-02-23 2016-07-13 复旦大学 基于深度学习的跨模态主题相关性建模方法
US20170317983A1 (en) * 2016-04-28 2017-11-02 Xerox Corporation Image document processing in a client-server system including privacy-preserving text recognition
CN107392109A (zh) * 2017-06-27 2017-11-24 南京邮电大学 一种基于深度神经网络的新生儿疼痛表情识别方法
CN108256549A (zh) * 2017-12-13 2018-07-06 北京达佳互联信息技术有限公司 图像分类方法、装置及终端

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019141042A1 (zh) * 2018-01-19 2019-07-25 北京达佳互联信息技术有限公司 图像分类方法、装置及终端
US11048983B2 (en) 2018-01-19 2021-06-29 Beijing Dajia Internet Information Technology Co., Ltd. Method, terminal, and computer storage medium for image classification
CN109213862A (zh) * 2018-08-21 2019-01-15 北京京东尚科信息技术有限公司 物体识别方法和装置、计算机可读存储介质
CN109543714A (zh) * 2018-10-16 2019-03-29 北京达佳互联信息技术有限公司 数据特征的获取方法、装置、电子设备及存储介质
CN109871896A (zh) * 2019-02-26 2019-06-11 北京达佳互联信息技术有限公司 数据分类方法、装置、电子设备及存储介质
CN110019882A (zh) * 2019-03-18 2019-07-16 星潮闪耀移动网络科技（中国）有限公司 一种广告创意分类方法及系统
CN110019882B (zh) * 2019-03-18 2022-01-28 新浪网技术(中国)有限公司 一种广告创意分类方法及系统
US11887201B2 (en) 2019-07-03 2024-01-30 Aon Risk Services, Inc. Of Maryland Analysis of intellectual-property data in relation to products and services
US11941714B2 (en) 2019-07-03 2024-03-26 Aon Risk Services, Inc. Of Maryland Analysis of intellectual-property data in relation to products and services
CN110781925B (zh) * 2019-09-29 2023-03-10 支付宝(杭州)信息技术有限公司 软件页面的分类方法、装置、电子设备及存储介质
CN110781925A (zh) * 2019-09-29 2020-02-11 支付宝(杭州)信息技术有限公司 软件页面的分类方法、装置、电子设备及存储介质
CN110808019A (zh) * 2019-10-31 2020-02-18 维沃移动通信有限公司 一种歌曲生成方法及电子设备
WO2021104274A1 (zh) * 2019-11-29 2021-06-03 智慧芽信息科技(苏州)有限公司 图文联合表征的搜索方法、系统、服务器和存储介质
CN111755118B (zh) * 2020-03-16 2024-03-08 腾讯科技（深圳）有限公司 医疗信息处理方法、装置、电子设备及存储介质
CN111755118A (zh) * 2020-03-16 2020-10-09 腾讯科技（深圳）有限公司 医疗信息处理方法、装置、电子设备及存储介质
CN111832082A (zh) * 2020-08-20 2020-10-27 支付宝(杭州)信息技术有限公司 图文完整性检测方法及装置
CN111832082B (zh) * 2020-08-20 2023-02-24 支付宝(杭州)信息技术有限公司 图文完整性检测方法及装置
CN112149653A (zh) * 2020-09-16 2020-12-29 北京达佳互联信息技术有限公司 信息处理方法、装置、电子设备及存储介质
CN112149653B (zh) * 2020-09-16 2024-03-29 北京达佳互联信息技术有限公司 信息处理方法、装置、电子设备及存储介质
WO2022057309A1 (zh) * 2020-09-21 2022-03-24 平安科技（深圳）有限公司 肺部特征识别方法、装置、计算机设备及存储介质
CN111832581B (zh) * 2020-09-21 2021-01-29 平安科技（深圳）有限公司 肺部特征识别方法、装置、计算机设备及存储介质
CN111832581A (zh) * 2020-09-21 2020-10-27 平安科技（深圳）有限公司 肺部特征识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
US11048983B2 (en) 2021-06-29
US20200356821A1 (en) 2020-11-12
WO2019141042A1 (zh) 2019-07-25
CN108399409B (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
CN108399409B (zh) 图像分类方法、装置及终端
CN108256549B (zh) 图像分类方法、装置及终端
CN108664989B (zh) 图像标签确定方法、装置及终端
CN109117862B (zh) 图像标签识别方法、装置及服务器
CN108171254A (zh) 图像标签确定方法、装置及终端
CN108256555A (zh) 图像内容识别方法、装置及终端
CN109859096A (zh) 图像风格迁移方法、装置、电子设备及存储介质
CN110443280A (zh) 图像检测模型的训练方法、装置及存储介质
CN109614613A (zh) 图像的描述语句定位方法及装置、电子设备和存储介质
CN109543714A (zh) 数据特征的获取方法、装置、电子设备及存储介质
CN106548468B (zh) 图像清晰度的判别方法及装置
CN110909815B (zh) 神经网络训练、图像处理方法、装置及电子设备
CN107992812A (zh) 一种唇语识别方法及装置
CN107193983A (zh) 图像搜索方法及装置
CN108536669B (zh) 文字信息处理方法、装置及终端
CN109871843A (zh) 字符识别方法和装置、用于字符识别的装置
CN108595497A (zh) 数据筛选方法、装置及终端
CN110175223A (zh) 一种实现问题生成的方法及装置
CN115100472B (zh) 展示对象识别模型的训练方法、装置和电子设备
CN109615006A (zh) 文字识别方法及装置、电子设备和存储介质
CN110399934A (zh) 一种视频分类方法、装置及电子设备
CN108833991A (zh) 视频字幕显示方法及装置
CN108563683A (zh) 标签添加方法、装置及终端
CN107133354A (zh) 图像描述信息的获取方法及装置
CN108960283A (zh) 分类任务增量处理方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant