CN111046949A - 一种图像分类方法、装置及设备 - Google Patents

一种图像分类方法、装置及设备 Download PDF

Info

Publication number
CN111046949A
CN111046949A CN201911261582.8A CN201911261582A CN111046949A CN 111046949 A CN111046949 A CN 111046949A CN 201911261582 A CN201911261582 A CN 201911261582A CN 111046949 A CN111046949 A CN 111046949A
Authority
CN
China
Prior art keywords
neural network
classification
image
preset
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911261582.8A
Other languages
English (en)
Inventor
顾文剑
崔朝辉
赵立军
张霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Corp
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Priority to CN201911261582.8A priority Critical patent/CN111046949A/zh
Publication of CN111046949A publication Critical patent/CN111046949A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Abstract

本申请实施例公开了一种图像分类方法、装置及设备,对目标图像的图像特征进行处理,可以得到分别与多个预设类别对应的多个第一分类结果,将多个第一分类结果输入训练完成的循环神经网络中,可以得到分别与多个预设类别对应的多个第二分类结果。由于循环神经网络是一种以序列数据作为输入,在序列的演进方向进行递归的神经网络,因此在利用第一分类结果计算第二分类结果时的过程中,会结合多个输入数据从而得到最终结果,因此最终结果能够体现不同预设类别之间的关联性,在一定程度上减少通过图像特征处理实现图像分类的不合理因素,提高了图像分类的合理性和准确性。

Description

一种图像分类方法、装置及设备
技术领域
本申请涉及计算机领域,尤其涉及一种图像分类方法、装置及设备。
背景技术
随着电子技术以及人工智能的不断发展,通常需要对图像进行分类,例如可以利用对应有预设类别的标签的图像进行卷积神经网络的训练,从而使训练后的卷积神经网络具有识别图像的功能,而对图像进行分类。随着图像中内容的多元化,需要对图像进行多标签分类,多标签分类方法可以确定出同一张图像与多个标签对应的类别的归属关系,具有较低的计算成本和较高的图像理解能力,从而得到广泛的使用。
然而,目前的多标签分类通常通过并行的单标签分类方法实现,得到的分类结果往往不够准确。
发明内容
为了解决现有技术中多标签分类不够准确的问题,本申请实施例提供了一种图像分类方法、装置及设备,用于提高图像分类的准确性。
第一方面,本申请实施例提供了一种图像分类方法,所述方法包括:
对目标图像的图像特征进行处理,得到分别与多个预设类别对应的多个第一分类结果;
将所述多个第一分类结果输入训练完成的循环神经网络中,得到分别与所述多个预设类别对应的多个第二分类结果;所述循环神经网络利用训练图像的分别与多个预设类别对应的多个原始分类结果和为所述训练图像预先设置的类别标签训练得到,所述原始分类结果通过对所述训练图像的图像特征进行处理得到。
可选的,所述对目标图像的图像特征进行处理,得到分别与多个预设类别对应的多个第一分类结果,包括:
将所述目标图像输入所述训练完成的卷积神经网络中,得到所述卷积神经网络的输出结果,所述输出结果包括多个尺度的图像特征对应的多个尺度分类结果,每个尺度分类结果包括分别与预设类别对应的多个子分类结果;
将对应相同预设类别的多个子分类结果进行拼接,得到所述多个第一分类结果。
可选的,所述卷积神经网络和所述循环神经网络通过以下方式训练得到:
将所述训练图像输入卷积神经网络,得到分别与所述多个预设类别对应的多个原始分类结果;
将所述多个原始分类结果输入循环神经网络,得到分别与所述多个预设类别对应的多个修正分类结果;
根据所述多个原始分类结果和所述类别标签得到第一损失函数,根据所述多个修正分类结果和所述类别标签得到第二损失函数;
基于所述第一损失函数和所述第二损失函数,调整所述卷积神经网络和所述循环神经网络的参数。
可选的,所述基于第一损失函数和所述第二损失函数,调整所述卷积神经网络和所述循环神经网络的参数,包括:
基于所述类别标签和所述多个修正分类结果,确定所述预设类别的关联损失函数;
基于所述第一损失函数、所述第二损失函数和所述关联损失函数调整所述卷积神经网络和所述循环神经网络的参数。
可选的,所述基于所述第一损失函数、所述第二损失函数和所述关联损失函数调整所述卷积神经网络和所述循环神经网络的参数,包括:
将所述第一损失函数、第二损失函数和关联损失函数的和作为总损失函数,调整所述卷积神经网络和所述循环神经网络的参数,以最小化所述总损失函数直至所述总损失函数停止收敛。
可选的,所述多个第一分类结果利用训练完成的决策树、随机森林或支持向量基得到。
可选的,所述循环神经网络包括前向的循环神经网络,所述预设类别中的目标类别对应的第二分类结果与所述目标类别之前的预设类别对应的第一分类结果相关;和/或,所述循环神经网络包括后向的循环神经网络,所述预设类别中的目标类别对应的第二分类结果与所述目标类别之后的预设类别对应的第一分类结果相关。
第二方面,本申请实施例还提供了一种图像分类装置,所述装置包括:
第一分类结果获取单元,用于对目标图像的图像特征进行处理,得到分别与多个预设类别对应的多个第一分类结果;
第二分类结果获取单元,用于将所述多个第一分类结果输入训练完成的循环神经网络中,得到分别与所述多个预设类别对应的多个第二分类结果;所述循环神经网络利用训练图像的分别与多个预设类别对应的多个原始分类结果和为所述训练图像预先设置的类别标签训练得到,所述原始分类结果通过对所述训练图像的图像特征进行处理得到。
可选的,所述第一分类结果获取单元,包括:
输出结果获取单元,用于将所述目标图像输入所述训练完成的卷积神经网络中,得到所述卷积神经网络的输出结果,所述输出结果包括多个尺度的图像特征对应的多个尺度分类结果,每个尺度分类结果包括分别与预设类别对应的多个子分类结果;
拼接单元,用于将对应相同预设类别的多个子分类结果进行拼接,得到所述多个第一分类结果。
可选的,所述装置还包括训练单元,用于:
原始分类结果获取单元,用于将所述训练图像输入卷积神经网络,得到分别与所述多个预设类别对应的多个原始分类结果;
修正分类结果获取单元,用于将所述多个原始分类结果输入循环神经网络,得到分别与所述多个预设类别对应的多个修正分类结果;
损失函数确定单元,用于根据所述多个原始分类结果和所述类别标签得到第一损失函数,根据所述多个修正分类结果和所述类别标签得到第二损失函数;
参数调整单元,用于基于所述第一损失函数和所述第二损失函数,调整所述卷积神经网络和所述循环神经网络的参数。
可选的,所述参数调整单元,包括:
关联损失函数确定单元,用于基于所述类别标签和所述多个修正分类结果,确定所述预设类别的关联损失函数;
参数调整子单元,用于基于所述第一损失函数、所述第二损失函数和所述关联损失函数调整所述卷积神经网络和所述循环神经网络的参数。
可选的,所述参数调整子单元具体用于:
将所述第一损失函数、第二损失函数和关联损失函数的和作为总损失函数,调整所述卷积神经网络和所述循环神经网络的参数,以最小化所述总损失函数直至所述总损失函数停止收敛。
可选的,所述多个第一分类结果利用训练完成的决策树、随机森林或支持向量基得到。
可选的,所述循环神经网络包括前向的循环神经网络,所述预设类别中的目标类别对应的第二分类结果与所述目标类别之前的预设类别对应的第一分类结果相关;和/或,所述循环神经网络包括后向的循环神经网络,所述预设类别中的目标类别对应的第二分类结果与所述目标类别之后的预设类别对应的第一分类结果相关。
第三方面,本申请实施例还提供了一种图像分类设备,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行本申请实施例提供的一种图像分类方法。
第四方面,本申请实施例还提供了一种存储介质,所述存储介质用于存储程序代码,所述程序代码用于执行本申请实施例提供的一种图像分类的方法。
本申请实施例提供了一种图像分类方法、装置及设备,对目标图像的图像特征进行处理,可以得到分别与多个预设类别对应的多个第一分类结果,将多个第一分类结果输入训练完成的循环神经网络中,可以得到分别与多个预设类别对应的多个第二分类结果,循环神经网络利用训练图像的分别与多个预设类别对应的多个原始分类结果和为训练图像预先设置的类别标签训练得到,训练图像的原始分类结果通过对训练图像的图像特征进行处理得到。
由于循环神经网络是一种以序列数据作为输入,在序列的演进方向进行递归的神经网络,因此在利用第一分类结果计算第二分类结果时的过程中,会结合多个输入数据从而得到最终结果,因此最终结果能够体现不同预设类别之间的关联性,在一定程度上减少通过图像特征处理实现图像分类的不合理因素,由于第一分类结果是和图像特征相关的,则利用循环神经网络得到的第二分类结果是与图像特征相关的,且能够与体现多个预设类别的关联关系相关的结果,因此本申请实施例提高了图像分类的合理性和准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种图像分类方法的流程图;
图2为本申请实施例提供的一种卷积神经网络的示意图;
图3为本申请实施例提供的另一种神经网络的示意图;
图4为本申请实施例提供的一种循环神经网络的示意图;
图5为本申请实施例提供的另一种循环神经网络的示意图;
图6为本申请实施例提供的又一种循环神经网络的示意图;
图7为本申请实施例提供的一种图像分类装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
随着图像中内容的多元化,需要对图像进行多标签分类,得到各个标签对应的分类结果,实现对图像的识别,然而目前的多标签分类通常通过并行的单标签分类方法实现,得到各个标签对应的分类结果,例如在利用卷积神经网络进行多标签分类时,可以将最后一个全连接层的输出项修改为14,从而实现14个标签对应的类别的分类,得到14个类别对应的概率。
然而这种多标签分类方法并未考虑标签之间的相关性,即未考虑多个类别之间的相关性,导致得到的分类结果存在一定的不合理因素。例如第一类别对应的概率较大时,第三类别对应的概率通常也很大,则第一类别和第三类别之间存在一定的正相关关联,因此在第一类别对应的概率较大时,若第三类别对应的概率较小,说明分类结果不合理;例如第一类别对应的概率较大时,第二类别对应的概率通常很小或几乎为零,则可以认为第一类别和第二类别互斥,二者存在一定的负相关关联,因此在第一类别对应的概率较大时,若第二类别对应的概率也较大,说明分类结果不合理。
基于以上技术问题,本申请实施例提供了一种多标签分类方法、装置及设备,对目标图像的图像特征进行处理,可以得到分别与多个预设类别对应的多个第一分类结果,将多个第一分类结果输入训练完成的循环神经网络中,可以得到分别与多个预设类别对应的多个第二分类结果,循环神经网络利用训练图像的分别与多个预设类别对应的多个原始分类结果和为训练图像预先设置的类别标签训练得到,训练图像的原始分类结果通过对训练图像的图像特征进行处理得到。
由于循环神经网络是一种以序列数据作为输入,在序列的演进方向进行递归的神经网络,因此在利用第一分类结果计算第二分类结果时的过程中,会结合多个输入数据从而得到最终结果,因此最终结果能够体现不同预设类别之间的关联性,在一定程度上减少通过图像特征处理实现图像分类的不合理因素,由于第一分类结果是和图像特征相关的,则利用循环神经网络得到的第二分类结果是与图像特征相关的,且能够与体现多个预设类别的关联关系相关的结果,因此本申请实施例提高了图像分类的合理性和准确性。
参见图1所示,该图为本申请实施例提供的一种图像分类方法的流程图。本实施例提供的图像分类方法包括如下步骤:
S101,对目标图像的图像特征进行处理,得到分别与多个预设类别对应的多个第一分类结果。
本申请实施例中,可以对图像进行多标签分类,因此可以将需要进行多标签分类的图像作为目标图像,通过对目标图像进行解析,可以得到对目标对象的分类结果。其中,目标图像可以是医疗影像,目标图像中可以包括至少一个对象,这样通过对目标图像中的至少一个对象进行解析可以实现对目标图像的分类,例如可以识别医疗影像中的至少一个部位;目标图像中也可以具有至少一个属性,这样利用目标图像的至少一个属性可以实现对目标图像的分类,例如可以识别医疗影像中人体部位所具有的属性,从而对该医疗影像进行分类。目标图像可以是经过预处理的图像,例如经过归一化的图像。
为了便于对目标图像进行分类,可以预先设定一些类别,在分类过程中可以确定这些预设类别对应的分类结果。具体实施时,预设类别可以具有类别标签,用于表征不同类别,进而对应目标图像具有的属性或包括的对象,举例来说,第一类别可以对应类别标签1,属于第一类别的图像具有属性A,第二类别可以对应类别标签2,属于第二类别的图像具有属性B,第三类别可以对应类别标签3,属于第三类别的图形具有属性C。
在对目标图像进行分类的过程中,可以先对目标图像中的图像特征进行处理,从而得到与多个预设类别对应的第一分类结果。这样,第一分类结果体现的目标图像本身与预设类别之间的相关性,得到的分别与多个预设类别对应的多个第一分类结果是与图像特征相关的。
其中,分别与多个预设类别对应的多个第一分类结果表征的是目标图像是否属于这些预设类别,或者属于这些预设类别的概率。具体的,第一分类结果可以是判断结果,例如某预设类别对应的第一分类结果为“0”或“否”时表示目标图像不属于该类别,为“1”或“是”时表示目标图像属于该预设类别。或者,多个第一分类结果也可以是多个分别与多个预设类别对应的第一概率,表征目标图像属于这些预设类别的概率,例如第一类别对应的第一概率为80%,表征目标图像具有第一类别对应的属性A的概率为80%。
具体实施时,可以对目标图像的图像特征进行提取,可以采用不同的提取方式,从而得到不同尺度的图像特征,这样可以利用多个图像特征得到第一分类结果,得到的第一分类结果可以包括不同尺度的图像特征对应的多个尺度分类结果。例如可以得到大尺度的图像特征和小尺度的图像特征,这样大尺度的图像特征可以对应大尺度的尺度分类结果,小尺度的图像特征可以对应小尺度的尺度分类结果。
本申请实施例中,可以利用训练完成的卷积神经网络(Convolutional NeuralNetwork,CNN)得到分别与多个预设类别对应的多个第一分类结果。具体的,可以将目标图像输入训练完成的卷积神经网络中,得到卷积神经网络的输出结果,根据输出结果可以得到分别与多个预设类别对应的多个第一分类结果。当然,本申请实施例中,还可以利用训练完成的决策树、随机森林和支持向量基等得到第一分类结果,以下实施例将重点以卷积神经网络为例,可以理解的是,以下示例性的说明不应构成对本申请保护范围的限制。
参考图2所示,为本申请实施例中一种卷积神经网络的示意图,卷积神经网络可以包括多个卷积层,每层卷积层包括多个神经元,每个神经元仅与输入卷积神经网络的图像的局部区域有关联,该区域被称作神经元的感受野。感受野的值越大意味着该神经元关联的图像范围越大,也代表该神经元蕴含着更高语义层次的特征,因此感受野大小可用来判断每一层的抽象度。多个卷积层可以对目标图像的图像特征进行提取,不同卷积深度的卷积层可以基于不同感受野提取不同尺度的图像特征,随着网络深度的增加,神经元感受野也会逐渐增大,让网络学习到更高层次的语义特征。
其中,神经元F11、F12和F13为第一层的卷积层,其卷积核尺寸可以为16*16,第一层卷积层具有较低的深度,该层的神经元在目标图像中关联的区域较小,得到的特征图像具有较小的感受野;第二层卷积层包括神经元F21、F22、F23、F24、F25、F26、F27,第二层卷积层的卷积核尺寸可以为8*8,第二层卷积层具有较高的深度,该层的神经元在目标图像中关联的区域较大,得到的特征图像具有较大的感受野。
当然,卷积神经网络还可以包括池化层和全连接层,卷积层提取到的图像特征经过池化层和全连接层的处理后输出,作为卷积神经网络的输出结果。其中,由于卷积层提取到的图像特征数量较大,因此池化层可以采用全局平均池化的方法,将图像特征降为一维,再作为全连接层的输入。
在将目标图像输入卷积神经网络后,卷积层可以提取得到目标图像的图像特征,基于池化层和全连接层的处理,得到卷积神经网络的输出结果,输出结果可以分别对应于多个预设类别。其中,最后一层全连接层的数量与预设类别的数量相同,这样最后一层全连接层可以对应输出每个预设类别对应的分类结果,例如每个预设类别对应的概率。
在分类过程中,也可以利用不同深度的中间卷积层得到的图像特征进行分类,从而得到不同尺度的图像特征对应的尺度分类结果。以上述两层卷积层为例,可以利用第一层卷积层得到的小尺度的图像特征进行分类,以及利用第二层卷积层得到的大尺度的图像特征进行分类,这样可以得到不同尺度对应的多个尺度分类结果。其中,大尺度的尺度分类结果对小尺度的特征不敏感,而小尺度的尺度分类结果不拥有全局信息,这样综合考虑大尺度的尺度分类结果和小尺度的尺度分类结果,可以同时保证对小尺度的特征的敏感度,又可以拥有全局信息。
也就是说,卷积神经网络的输出结果中,可以包括不同尺度对应的多个尺度分类结果,而每个尺度分类结果中又可以包括对应多个预设类别的多个子分类结果。以两个尺度对应的尺度分类结果为例,参考图2和图3所示,图3为本申请实施例提供的另一种神经网络的示意图,卷积神经网络的输出结果中,可包括大尺度的尺度分类结果和小尺度的尺度分类结果,而大尺度的尺度分类结果中包括对应于第一类别的大尺度的子分类结果Large-scale L1和对应于第二类别的大尺度的子分类结果Large-scale L2,小尺度的尺度分类结果中包括对应于第一类别的小尺度的子分类结果Mini-scale L对应于第二类别的小尺度的子分类结果Mini-scale L2。
本申请实施例中,卷积神经网络对目标图像的处理,相当于并行对相同的输入值进行处理,从而并行使用多个分类器执行分类任务。卷积神经网络的训练过程可以参考后续说明。
在得到卷积神经网络输出的输出结果后,可以基于卷积神经网络的输出结果确定分别与多个预设类别对应的多个第一分类结果。具体的,在输出结果为同一个尺度的分类结果时,可以将输出结果作为第一分类结果;在输出结果为不同尺度的多个尺度分类结果时,由于每个尺度分类结果中可以包括分别与预设类别对应的多个子分类结果,因此可以将对应同一预设类别对应的不同尺度的多个子分类结果进行融合,得到该预设类别对应的第一分类结果,例如可以将对应于第一类别的大尺度的尺度分类结果和小尺度的子尺度分类结果进行拼接,得到第一类别对应的第一分类结果,从而得到包括分别与多个预设类别对应的多个第一分类结果。
基于卷积神经网络的输出结果确定多个预设类别对应的第一分类结果,可以通过功能模块实现,也可以通过程序实现。
S102,将多个第一分类结果输入训练完成的循环神经网络中,得到分别与多个预设类别对应的多个第二分类结果。
本申请实施例中,预设类别之间可以具有关联关系,关联关系可以利用相关度来表示,相关度可以体现预设类别之间的关联关系的强弱,也可以体现预设类别之间的共存或互斥关系。例如第一类别的图像,往往也同时属于第三类别,则可以认为第一类别和第三类别之间具有强的正相关关系,即具有共存关系,例如相关度可以为80%,而第一类别的图像,往往不会同时属于第二类别,则可以认为第一类别和第二类别之间具有强的负相关关系,即具有互斥关系,例如其相关度可以为-80%。
也就是说,预设类别之间的关联关系实际上在一定程度上会对目标图像的分类结果造成影响,而多个预设类别对应的第一分类结果与预设类别之间的关联关系无关,存在分类结果不合理的可能。例如第一类别对应的概率为90%,而与该第一类别互斥的第二类别对应的概率为80%,这很显然不符合常理,或者与第一类别具有较高的正相关关联的第三类别对应的概率为10%,这显然也是不合常理的。
因此在得到分别与多个预设类别对应的多个第一分类结果后,可以基于多个预设类别的关联关系对第一分类结果进行处理,得到分别与多个预设类别对应的多个第二分类结果。
与第一分类结果类似,分别与预设类别对应的多个第二分类结果表征的是目标图像是否属于这些预设类别,或者属于这些预设类别的概率。具体的,第二分类结果可以是判断结果,例如某预设类别对应的第二分类结果为“0”或“否”时表示目标图像不属于该类别,为“1”或“是”时表示目标图像属于该预设类别。或者,第一分类结果也可以是多个分别与多个预设类别对应的第二概率,表征目标图像属于这些预设类别的概率,例如第一类别对应的第二概率为80%,表征目标图像具有第一类别对应的属性A的概率为80%。
具体的,对于预设类别中的目标类别,可以根据目标类别对应的第一分类结果、预设类别中除目标类别之外的其他类别对应的第一分类结果、目标类别与其他类别的相关度确定预设类别对应的第二分类结果,也就是说,本申请实施例中得到的分别与多个预设类别对应的多个第二分类结果,是与多个预设类别之间的关联关系相关的,具有更高的合理性。
本申请实施例中,可以利用训练完成的循环神经网络(Recurrent neuralNetwork,RNN)得到多个预设类别对应的第二分类结果。具体的,可以将分别与多个预设类别对应的多个第一分类结果输入训练完成的循环神经网络,根据循环神经网络的输出结果得到分别与多个预设类别的多个第二分类结果,通常来说,可以将循环神经网络的输出结果作为第二分类结果,也可以对循环神经网络的输出结果进行处理得到第二分类结果。
参考图4所示,为本申请实施例提供的一种循环神经网络的示意图,循环神经网络是一种以序列数据作为输入,在序列的演进方向进行递归的神经网络,其中的多个神经元可以基于输入的序列数据得到输出结果,其中,Xt为第t个神经元的输入数据,ht为第t个神经元的隐状态,Ot为第t个神经元的输出数据,其中,ht可以基于以下公式确定:
Figure BDA0002311740020000111
其中,
Figure BDA0002311740020000112
为Xt的函数,
Figure BDA0002311740020000113
为ht-1的函数,f()为第t个神经元的非线性的激活函数,事实上,各个神经元可以共用激活函数,而
Figure BDA0002311740020000121
Figure BDA0002311740020000122
为ht的函数,这样可以得到与第t-1个神经元的隐状态和第t个神经元的输入数据相关的输出结果,因此第t个神经元的输出结果与第t个神经元的输入数据以及第t个神经元的输入数据之前的至少一个神经元的输入数据相关,同理,第t+1个神经元的输出结果与第t+1个神经元的输入数据以及第t+1个神经元的输入数据之前的至少一个神经元的输入数据相关。
对于循环神经网络而言,分别与多个预设类别对应的第一分类结果可以构成序列数据,循环神经网络中的不同神经元可以分别对不同的第一分类结果进行处理,由于第一分类结果具有一定的顺序,因此不同的神经元可以具有一定的顺序,一个神经元可以结合自身的输入数据以及其他神经元的输入数据得到输出结果。这样预设类别中的目标类别对应的第二分类结果与目标类别之前的其他预设类别的第一分类结果相关,从而可以得到分别对应多个目标类别的多个第二分类结果。
在本申请实施例中,循环神经网络可以是前向的循环神经网络,在后的神经元可以利用在先的神经元的隐状态以及在后的神经元的输入数据,得到输出结果,这样目标类别对应的第二分类结果与目标类别对应的第一分类结果相关,同时与目标类别之前的其他预设类别的第一分类结果相关,其中目标类别和之前的其他预设类别之间的相关度,可以通过前向的循环神经网络的内部函数的参数体现。
在本申请实施例中,循环神经网络还可以是后向的循环神经网络,在先的神经元可以利用在后的神经元的隐状态以及在先的神经元的输入数据,得到输出结果,这样目标类别对应的第二分类结果与目标类别对应的第一分类结果相关,同时与目标类别之后的其他预设类别的第一分类结果相关,其中目标类别和其后的其他预设类别之间的相关度,可以通过后向的循环神经网络的内部函数的参数体现。
实际上,多个预设类别本身没有顺序关系,为了降低神经元的顺序对输出结果的影响,本申请实施例中,循环神经网络可以同时包括前向的循环神经网络和后向的循环神经网络,这样预设类别对应的第二分类结果与目标类别对应的第一分类结果相关,同时与目标类别之前的其他预设类别对应的第一分类结果相关,与目标类别之后的其他预设类别对应的第一分类结果也相关,充分考虑了目标类别与目标类别之外的各个其他预设类别的关联性。其中,目标类别与其他预设类别之间的相关度可以通过前向的循环神经网络和后向的循环神经网络的内部函数的参数体现。
前向的循环神经网络和后向的循环神经网络可以是并行的两个循环神经网络,最终的第二分类结果可以基于这两个循环神经网络的输出结果计算得到;前向的循环神经网络和后向的循环神经网络也可以是合成在一起的,二者共用全连接层,输出结果为基于这两个循环神经网络的数据处理结果得到的,可以直接作为第二分类结果。
参考图5所示,为本申请实施例提供的另一种循环神经网络的示意图,其中,c1、c3和c5为前向的循环神经网络中的三个神经元,c2、c4和c6为后向神经网络中的神经元。其中,对于前向的循环神经网络,c1可以基于输入数据x1得到c1的隐状态,c3可以根据c1的隐状态以及输入数据x2,得到c3的隐状态,c3的隐状态与输入数据x1、x2相关,c5可以根据c3的隐状态和输入数据x3得到c5的隐状态,c5的隐状态与输入数据x1、x2和x3均相关;对于后向的循环神经网络,c6可以基于输入数据x3得到c6的隐状态,c4可以基于c6的隐状态和输入数据x2得到c4的隐状态,c4的隐状态与输入数据x3、x2相关,c2可以基于c4的隐状态和输入数据x1得到c2的隐状态,c2的隐状态与输入数据x3、x2、x1均相关。
这样,将x1输入c1和c3后,基于c1和c3的隐状态可以确定输出结果y1,输出结果y1与输入数据x1、x2和x3均相关;将x2输入c3和c4后,可以基于c3和c4的隐状态确定输出结果y2,输出结果y2与输入数据x1、x2和x3均相关;将x3输入c5和c6后,可以根据c5和c6的隐状态确定输出结果y3,输出结果与输入数据x1、x2和x3均相关。从而输出结果y1、y2和y3可以结合多个输入数据得到,而不仅仅是与输入该神经元的输出数据相关,从而有更准确的输出结果。
在第一分类结果包括不同尺度的图像特征对应的多个尺度分类结果时,每个尺度分类结果可以包括分别与多个预设类别对应的多个第一子结果,利用循环神经网络可以对各个不同尺度的图像特征对应的子分类结果进行融合,考虑了不同尺度的图像特征,同时考虑不同预设类别之间的关联关系,从而使得到的目标图像的第二分类结果更加准确。
参考图6所示,为本申请实施例提供的又一种循环神经网络的示意图,其中,第一类别对应的第一分类结果L1为第一类别对应的大尺度的子分类结果Large-scale L1和小尺度的子分类结果Mini-scale L1拼接而成的,第二类别对应的第一分类结果L2为第二类别对应的大尺度的子分类结果Large-scale L2和小尺度的子分类结果Mini-scale L2拼接而成。
循环神经网络包括前向的循环神经网络和后向神经网络,前向的循环神经网络包括神经元c1和c3,c1的隐状态为Forward-F1,c3的隐状态为Forward-F2,后向神经网络包括神经元c2和c4,c2的隐状态为Backward-F1,c4的隐状态为Backward-F2。基于c1的隐状态Forward-F1和c2的隐状态Backward-F1,可以确定与第一类别对应的第二分类结果为Secondary-L1,基于c3的隐状态Forward-F2和c4的隐状态Backward-F2,可以确定与第二类别对应的第二分类结果为Secondary-L2。
本申请实施例中,循环神经网络可以利用训练图像的分别与多个预设类别对应的多个原始分类结果,以及为训练图像预先设置的类别标签训练得到,其中原始分类结果通过训练图像的图像特征进行处理得到。对循环神经网络的训练过程可以参考后续说明。
可以理解的是,由于第一分类结果L1包括大尺度的尺度分类结果和小尺度的尺度分类结果,因此得到的第二分类结果Secondary-L1也结合了大尺度特征和小尺度特征;同理,由于第一分类结果L2包括大尺度的尺度分类结果和小尺度的尺度分类结果,因此得到的第二分类结果Secondary-L2也结合了大尺度特征和小尺度特征。
本申请实施例中,可以结合预设类别之间的关联关系对目标图像的分类结果进行调整,使其更加合理并准确。实际上,若与目标类别共存的其他类别的第一概率较高,说明目标类别的第一概率也应该较高,在目标类别的第一概率较低时,通常会适当提高第一概率以得到第二概率;若与目标类别互斥的其他类别的第一概率较高,说明目标类别的第一概率也应该较低,在目标类别的第一概率较高时,通常会适当降低第一概率以得到第二概率。
举例来说,第一类别对应的第一概率为90%,第二类别对应的第一概率为50%,第三类别对应的第一概率为100%,第一类别和第二类别之间的相关度为-80%,第一类别和第三类别之间的相关度为80%。则,可以根据第二类别对应的第一概率,以及第一类别和第二类别之间的相关度,对第一类别对应的第一概率进行调整,得到第一类别的第二概率为90%;或者根据第三类别对应的第一概率,以及第一类别和第二类别之间的相关度,对第一类别对应的第一概率进行调整,得到第一类别的第二概率为95%;或者同时根据第二类别和第三类别的第一概率,以及第二类别与第一类别的相关度,以及第三类别与第一类别的相关度,对第一类别对应的第一概率进行调整,得到第一类别的第二概率为85%。
本申请实施例提供了一种图像分类方法,由于循环神经网络是一种以序列数据作为输入,在序列的演进方向进行递归的神经网络,因此在利用第一分类结果计算第二分类结果时的过程中,会结合多个输入数据从而得到最终结果,因此最终结果能够体现不同预设类别之间的关联性,在一定程度上减少通过图像特征处理实现图像分类的不合理因素,由于第一分类结果是和图像特征相关的,则利用循环神经网络得到的第二分类结果是与图像特征相关的,且能够与体现多个预设类别的关联关系相关的结果,因此本申请实施例提高了图像分类的合理性和准确性。
下面对卷积神经网络和循环神经网络构成的网络系统的训练进行介绍,本申请实施例中,卷积神经网络和循环神经网络可以连接在一起,在将目标图像输入卷积神经网络中后,根据卷积神经网络的输出结果得到第一分类结果,第一分类结果可以作为循环神经网络的输入,根据循环神经网络的输出结果可以得到对应于预设类别的第二分类结果,这样实现了目标图像和第二分类结果的端对端处理。也就是说,卷积神经网络和循环神经网络可以作为一个整体进行训练。
在训练过程中,可以先获取训练图像,训练图像可以对应有预先设置的类别标签,这些预先设置的类别标签可以体现训练图像实际属于的类别,类别标签可以是人工设置的,具有较高的准确性。
将训练图像输入卷积神经网络,利用卷积神经网络对训练图像的图像特征进行处理,基于卷积神经网络的输出结果,可以得到分别与多个预设类别对应的多个原始分类结果。利用卷积神经网络得到多个原始分类结果的过程可以参考利用卷积神经网络得到多个第一分类结果的过程,在此不做赘述。
可以理解的是,在理想状态下,原始分类结果体现的训练图像的类别与训练图像的类别标签体现的类别一致,说明卷积神经网络具有理想的分类能力,然而事实上,原始分类结果体现的训练图像的类别与训练图像的类别标签体现的类别往往有一定的差距,二者的差距越小,说明卷积神经网络的分类准确性越高。因此可以根据多个原始分类结果和训练图像的类别标签得到第一损失函数,用于表征卷积神经网络的分类准确性。第一损失函数通过卷积神经网络的损失函数(CNN Loss)表示。
在利用卷积神经网络得到原始分类结果后,可以将原始分类结果输入循环神经网络,基于循环神经网络的输出结果得到分别与多个预设类别对应的多个修正第六分类结果。利用循环神经网络得到多个修正分类结果的过程可以参考利用循环神经网络得到多个第二分类结果的过程,在此不做赘述。
可以理解的是,在理想状态下,修正分类结果体现的训练图像的类别与训练图像的类别标签体现的类别一致,说明卷积神经网络和循环神经网络构成的网络系统具有理想的分类能力,然而事实上,修正分类结果体现的训练图像的类别与训练图像的类别标签体现的类别往往具有一定的差距,二者差距越小,说明网络系统的图像分类准确性越高。因此可以根据多个修正分类结果和训练图像的类别标签得到第二损失函数,用于表征网络系统的分类准确性。第一损失函数通过循环神经网络的损失函数(RNN Loss)表示。
至此,得到了第一损失函数和第二损失函数,因此可以基于第一损失函数、第二损失函数调整卷积神经网络和循环神经网络的参数。具体的,可以将卷积神经网络的损失函数与循环神经网络的损失函数的和作为总损失函数,调整卷积神经网络和循环神经网络的参数以最小化总损失函数直至总损失函数停止收敛,从而实现对卷积神经网络和循环神经网络的优化。
通常来说,多个第六分类结果是体现了预设标签的之间的关联关系后的分类结果,然而由于循环神经网络的特点,目标类别对应的第六分类结果通常与和目标类别较近的其他预设类别的关联度较高,而与和目标类别较远的其他预设类别的关联度较低,也就是说,RNN Loss是考虑了预设类别的顺序后在预设类别的关联方面的损失。
本申请实施例中,还可以基于类别标签和原始分类结果确定预设类别的关联损失函数,关联损失函数可以利用生成对抗网络损失(GAN Loss)表示,这里的关联损失函数可以根据原始分类结果中体现的多个预设类别之间的关联关系,以及训练图像的类别标签体现的多个预设类别之间的关联关系确定。对抗网络损失可考虑各个预设类别之间的关联关系,从整体的角度去判断卷积神经网络在预设类别的关联方面的损失,与预设类别的顺序无关,体现卷积神经网络基于预设类别进行图像分类的综合能力。这样,基于RNN Loss和GAN Loss可以从顺序角度和整体角度确定预设类别的关联方面的损失。
因此,可以基于第一损失函数、第二损失函数和关联损失函数调整卷积神经网络和循环神经网络的参数。具体的,可以将卷积神经网络的损失函数、生成对抗网络的损失函数与循环神经网络的损失函数的和作为总损失函数,调整卷积神经网络和循环神经网络的参数以最小化总损失函数直至总损失函数停止收敛,从而从更全面的角度实现对卷积神经网络和循环神经网络的优化。
基于以上实施例提供的一种图像分类方法,本申请实施例还提供了一种图像分类装置,下面结合附图来详细说明其工作原理。
参见图7,该图为本申请实施例提供的一种图像分类装置的结构框图。
本实施例提供的图像分类装置包括:
第一分类结果获取单元110,用于对目标图像的图像特征进行处理,得到分别与多个预设类别对应的多个第一分类结果;
第二分类结果获取单元120,用于将所述多个第一分类结果输入训练完成的循环神经网络中,得到分别与所述多个预设类别对应的多个第二分类结果;所述循环神经网络利用训练图像的分别与多个预设类别对应的多个原始分类结果和为所述训练图像预先设置的类别标签训练得到,所述原始分类结果通过对所述训练图像的图像特征进行处理得到。
可选的,所述第一分类结果获取单元,包括:
输出结果获取单元,用于将所述目标图像输入所述训练完成的卷积神经网络中,得到所述卷积神经网络的输出结果,所述输出结果包括多个尺度的图像特征对应的多个尺度分类结果,每个尺度分类结果包括分别与预设类别对应的多个子分类结果;
拼接单元,用于将对应相同预设类别的多个子分类结果进行拼接,得到所述多个第一分类结果。
可选的,所述装置还包括训练单元,用于:
原始分类结果获取单元,用于将所述训练图像输入卷积神经网络,得到分别与所述多个预设类别对应的多个原始分类结果;
修正分类结果获取单元,用于将所述多个原始分类结果输入循环神经网络,得到分别与所述多个预设类别对应的多个修正分类结果;
损失函数确定单元,用于根据所述多个原始分类结果和为所述训练图像预先设置的类别标签得到第一损失函数,根据所述多个修正分类结果和为所述训练图像预先设置的类别标签得到第二损失函数;
参数调整单元,用于基于所述第一损失函数和所述第二损失函数,调整所述卷积神经网络和所述循环神经网络的参数。
可选的,所述参数调整单元,包括:
关联损失函数确定单元,用于基于所述类别标签和所述多个修正分类结果,确定所述预设类别的关联损失函数;
参数调整子单元,用于基于所述第一损失函数、所述第二损失函数和所述关联损失函数调整所述卷积神经网络和所述循环神经网络的参数。
可选的,所述参数调整子单元具体用于:
将所述第一损失函数、第二损失函数和关联损失函数的和作为总损失函数,调整所述卷积神经网络和所述循环神经网络的参数,以最小化所述总损失函数直至所述总损失函数停止收敛。
可选的,所述多个第一分类结果利用训练完成的决策树、随机森林或支持向量基得到。
可选的,所述循环神经网络包括前向的循环神经网络,所述预设类别中的目标类别对应的第二分类结果与所述目标类别之前的预设类别对应的第一分类结果相关;和/或,所述循环神经网络包括后向的循环神经网络,所述预设类别中的目标类别对应的第二分类结果与所述目标类别之后的预设类别对应的第一分类结果相关。
第三方面,本申请实施例还提供了一种图像分类设备,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行本申请实施例提供的一种图像分类方法。
第四方面,本申请实施例还提供了一种存储介质,所述存储介质用于存储程序代码,所述程序代码用于执行本申请实施例提供的一种图像分类的方法。
本申请实施例提供了一种图像分类方法、装置及设备,对目标图像的图像特征进行处理,可以得到分别与多个预设类别对应的多个第一分类结果,将多个第一分类结果输入训练完成的循环神经网络中,可以得到分别与多个预设类别对应的多个第二分类结果,循环神经网络利用训练图像的分别与多个预设类别对应的多个原始分类结果和为训练图像预先设置的类别标签训练得到,训练图像的原始分类结果通过对训练图像的图像特征进行处理得到。
由于循环神经网络是一种以序列数据作为输入,在序列的演进方向进行递归的神经网络,因此在利用第一分类结果计算第二分类结果时的过程中,会结合多个输入数据从而得到最终结果,因此最终结果能够体现不同预设类别之间的关联性,在一定程度上减少通过图像特征处理实现图像分类的不合理因素,由于第一分类结果是和图像特征相关的,则利用循环神经网络得到的第二分类结果是与图像特征相关的,且能够与体现多个预设类别的关联关系相关的结果,因此本申请实施例提高了图像分类的合理性和准确性。
基于以上图像分类方法及装置,本申请实施例还提供了一种图像分类设备,所述设备包括处理器以及存储器;
其中,所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器,用于根据所述程序代码中的指令执行本申请实施例提供的一种图像分类方法。
本申请实施例还提供了一种计算机可读存储介质,所述存储介质用于存储程序代码,所述程序代码用于执行本申请实施例提供的一种图像分类方法。
本申请实施例还提供了一种计算机程序产品,所述计算机程序产品在终端设备上运行时,使得所述终端设备执行所述的图像分类方法。
当介绍本申请的各种实施例的元件时,冠词“一”、“一个”、“这个”和“所述”都意图表示有一个或多个元件。词语“包括”、“包含”和“具有”都是包括性的并意味着除了列出的元件之外,还可以有其它元件。
需要说明的是,本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccess Memory,RAM)等。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元及模块可以是或者也可以不是物理上分开的。另外,还可以根据实际的需要选择其中的部分或者全部单元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本申请的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种图像分类方法,其特征在于,所述方法包括:
对目标图像的图像特征进行处理,得到分别与多个预设类别对应的多个第一分类结果;
将所述多个第一分类结果输入训练完成的循环神经网络中,得到分别与所述多个预设类别对应的多个第二分类结果;所述循环神经网络利用训练图像的分别与多个预设类别对应的多个原始分类结果和为所述训练图像预先设置的类别标签训练得到,所述原始分类结果通过对所述训练图像的图像特征进行处理得到。
2.根据权利要求1所述的方法,其特征在于,所述对目标图像的图像特征进行处理,得到分别与多个预设类别对应的多个第一分类结果,包括:
将所述目标图像输入所述训练完成的卷积神经网络中,得到所述卷积神经网络的输出结果,所述输出结果包括多个尺度的图像特征对应的多个尺度分类结果,每个尺度分类结果包括分别与预设类别对应的多个子分类结果;
将对应相同预设类别的多个子分类结果进行拼接,得到所述多个第一分类结果。
3.根据权利要求2所述的方法,其特征在于,所述卷积神经网络和所述循环神经网络通过以下方式训练得到:
将所述训练图像输入卷积神经网络,得到分别与所述多个预设类别对应的多个原始分类结果;
将所述多个原始分类结果输入循环神经网络,得到分别与所述多个预设类别对应的多个修正分类结果;
根据所述多个原始分类结果和所述类别标签得到第一损失函数,根据所述多个修正分类结果和所述类别标签得到第二损失函数;
基于所述第一损失函数和所述第二损失函数,调整所述卷积神经网络和所述循环神经网络的参数。
4.根据权利要求3所述的方法,其特征在于,所述基于第一损失函数和所述第二损失函数,调整所述卷积神经网络和所述循环神经网络的参数,包括:
基于所述类别标签和所述多个修正分类结果,确定所述预设类别的关联损失函数;
基于所述第一损失函数、所述第二损失函数和所述关联损失函数调整所述卷积神经网络和所述循环神经网络的参数。
5.根据权利要求4所述的方法,其特征在于,所述基于所述第一损失函数、所述第二损失函数和所述关联损失函数调整所述卷积神经网络和所述循环神经网络的参数,包括:
将所述第一损失函数、第二损失函数和关联损失函数的和作为总损失函数,调整所述卷积神经网络和所述循环神经网络的参数,以最小化所述总损失函数直至所述总损失函数停止收敛。
6.根据权利要求1所述的方法,其特征在于,所述多个第一分类结果利用训练完成的决策树、随机森林或支持向量基得到。
7.根据权利要求1-6任意一项所述的方法,其特征在于,所述循环神经网络包括前向的循环神经网络,所述预设类别中的目标类别对应的第二分类结果与所述目标类别之前的预设类别对应的第一分类结果相关;和/或,所述循环神经网络包括后向的循环神经网络,所述预设类别中的目标类别对应的第二分类结果与所述目标类别之后的预设类别对应的第一分类结果相关。
8.一种图像分类装置,其特征在于,所述装置包括:
第一分类结果获取单元,用于对目标图像的图像特征进行处理,得到分别与多个预设类别对应的多个第一分类结果;
第二分类结果获取单元,用于将所述多个第一分类结果输入训练完成的循环神经网络中,得到分别与所述多个预设类别对应的多个第二分类结果;所述循环神经网络利用训练图像的分别与多个预设类别对应的多个原始分类结果和为所述训练图像预先设置的类别标签训练得到,所述原始分类结果通过对所述训练图像的图像特征进行处理得到。
9.一种图像分类设备,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1至7任一项所述的图像分类方法。
10.一种存储介质,所述存储介质用于存储程序代码,所述程序代码用于执行权利要求1至7任一项所述的图像分类方法。
CN201911261582.8A 2019-12-10 2019-12-10 一种图像分类方法、装置及设备 Pending CN111046949A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911261582.8A CN111046949A (zh) 2019-12-10 2019-12-10 一种图像分类方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911261582.8A CN111046949A (zh) 2019-12-10 2019-12-10 一种图像分类方法、装置及设备

Publications (1)

Publication Number Publication Date
CN111046949A true CN111046949A (zh) 2020-04-21

Family

ID=70235459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911261582.8A Pending CN111046949A (zh) 2019-12-10 2019-12-10 一种图像分类方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111046949A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626193A (zh) * 2020-05-26 2020-09-04 北京嘀嘀无限科技发展有限公司 一种面部识别方法、面部识别装置及可读存储介质
CN111709371A (zh) * 2020-06-17 2020-09-25 腾讯科技(深圳)有限公司 基于人工智能的分类方法、装置、服务器和存储介质
CN111737521A (zh) * 2020-08-04 2020-10-02 北京微播易科技股份有限公司 一种视频分类方法和装置
CN112676376A (zh) * 2020-12-30 2021-04-20 南通铭泰机床有限公司 一种提高数字控制的卷板机的控制精度的方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874921A (zh) * 2015-12-11 2017-06-20 清华大学 图像分类方法和装置
CN108171268A (zh) * 2018-01-02 2018-06-15 联想(北京)有限公司 一种图像处理方法及电子设备
CN109086811A (zh) * 2018-07-19 2018-12-25 南京旷云科技有限公司 多标签图像分类方法、装置及电子设备
CN109522942A (zh) * 2018-10-29 2019-03-26 中国科学院深圳先进技术研究院 一种图像分类方法、装置、终端设备和存储介质
CN109685110A (zh) * 2018-11-28 2019-04-26 北京陌上花科技有限公司 图像分类网络的训练方法、图像分类方法及装置、服务器
CN109740657A (zh) * 2018-12-27 2019-05-10 郑州云海信息技术有限公司 一种用于图像数据分类的神经网络模型的训练方法与设备
CN110210515A (zh) * 2019-04-25 2019-09-06 浙江大学 一种图像数据多标签分类方法
CN110442720A (zh) * 2019-08-09 2019-11-12 中国电子技术标准化研究院 一种基于lstm卷积神经网络的多标签文本分类方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874921A (zh) * 2015-12-11 2017-06-20 清华大学 图像分类方法和装置
CN108171268A (zh) * 2018-01-02 2018-06-15 联想(北京)有限公司 一种图像处理方法及电子设备
CN109086811A (zh) * 2018-07-19 2018-12-25 南京旷云科技有限公司 多标签图像分类方法、装置及电子设备
CN109522942A (zh) * 2018-10-29 2019-03-26 中国科学院深圳先进技术研究院 一种图像分类方法、装置、终端设备和存储介质
CN109685110A (zh) * 2018-11-28 2019-04-26 北京陌上花科技有限公司 图像分类网络的训练方法、图像分类方法及装置、服务器
CN109740657A (zh) * 2018-12-27 2019-05-10 郑州云海信息技术有限公司 一种用于图像数据分类的神经网络模型的训练方法与设备
CN110210515A (zh) * 2019-04-25 2019-09-06 浙江大学 一种图像数据多标签分类方法
CN110442720A (zh) * 2019-08-09 2019-11-12 中国电子技术标准化研究院 一种基于lstm卷积神经网络的多标签文本分类方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626193A (zh) * 2020-05-26 2020-09-04 北京嘀嘀无限科技发展有限公司 一种面部识别方法、面部识别装置及可读存储介质
CN111709371A (zh) * 2020-06-17 2020-09-25 腾讯科技(深圳)有限公司 基于人工智能的分类方法、装置、服务器和存储介质
CN111709371B (zh) * 2020-06-17 2023-12-22 腾讯科技(深圳)有限公司 基于人工智能的分类方法、装置、服务器和存储介质
CN111737521A (zh) * 2020-08-04 2020-10-02 北京微播易科技股份有限公司 一种视频分类方法和装置
CN112676376A (zh) * 2020-12-30 2021-04-20 南通铭泰机床有限公司 一种提高数字控制的卷板机的控制精度的方法及系统
CN112676376B (zh) * 2020-12-30 2021-12-14 南通铭泰机床有限公司 一种提高数字控制的卷板机的控制精度的方法及系统

Similar Documents

Publication Publication Date Title
CN111079639B (zh) 垃圾图像分类模型构建的方法、装置、设备及存储介质
CN112052787B (zh) 基于人工智能的目标检测方法、装置及电子设备
CN109740534B (zh) 图像处理方法、装置及处理设备
CN111046949A (zh) 一种图像分类方法、装置及设备
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
CN107683469A (zh) 一种基于深度学习的产品分类方法及装置
CN110348437B (zh) 一种基于弱监督学习与遮挡感知的目标检测方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN111340195B (zh) 网络模型的训练方法及装置、图像处理方法及存储介质
CN105426356A (zh) 一种目标信息识别方法和装置
KR101802500B1 (ko) 영상 인식을 위한 학습 장치 및 그 학습 방법
CN111738070A (zh) 一种多个小目标的自动准确检测方法
CN111723841A (zh) 文本检测方法、装置、电子设备及存储介质
CN112395466A (zh) 一种基于图嵌入表示和循环神经网络的欺诈节点识别方法
WO2021262399A1 (en) Task-based image masking
CN110163206B (zh) 车牌识别方法、系统、存储介质和装置
Kwon Multi-model selective backdoor attack with different trigger positions
CN112270671B (zh) 图像检测方法、装置、电子设备及存储介质
CN113139052B (zh) 基于图神经网络特征聚合的谣言检测方法及装置
CN113033689A (zh) 图像分类方法、装置、电子设备及存储介质
CN111353577B (zh) 基于多任务的级联组合模型的优化方法、装置及终端设备
CN111652181A (zh) 目标跟踪方法、装置及电子设备
CN111626291A (zh) 一种图像视觉关系检测方法、系统及终端
CN112801045B (zh) 一种文本区域检测方法、电子设备及计算机存储介质
Jiang et al. High precision deep learning-based tabular position detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination