CN111709479B - 一种图像分类方法和装置 - Google Patents

一种图像分类方法和装置 Download PDF

Info

Publication number
CN111709479B
CN111709479B CN202010554323.0A CN202010554323A CN111709479B CN 111709479 B CN111709479 B CN 111709479B CN 202010554323 A CN202010554323 A CN 202010554323A CN 111709479 B CN111709479 B CN 111709479B
Authority
CN
China
Prior art keywords
classification
model
data set
classification result
judgment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010554323.0A
Other languages
English (en)
Other versions
CN111709479A (zh
Inventor
邢玛丽
刘德城
李攀硕
张斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202010554323.0A priority Critical patent/CN111709479B/zh
Publication of CN111709479A publication Critical patent/CN111709479A/zh
Application granted granted Critical
Publication of CN111709479B publication Critical patent/CN111709479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像分类方法和装置,用于解决无法对较为相似的图像进行准确分类的问题。本发明包括:将预设分类图像输入所述主模型得到第一分类结果;将所述第一分类结果输入所述条件判断模型,得到判断参数;当所述判断参数大于或等于预设阈值时,输出所述第一分类结果;当所述判断参数小于预设阈值时,将所述预设分类图像输入所述纠错模型得到第二分类结果,并输出所述第二分类结果。在本发明实施例中,由于引入条件判断来对主模型的分类结果进行纠错,降低了分类错误的概率,提高了图像分类的准确性。

Description

一种图像分类方法和装置
技术领域
本发明涉及图像分类技术领域,尤其涉及一种图像分类方法和装置。
背景技术
近年来图像分类引起了人们极大的研究兴趣,并同时在许多应用产品中成功部署,例如手机、个人计算机等终端设备,智能化地解决了许多实际图像处理问题。
随着深度学习技术的快速发展,深度学习已成为图像分类中的先进技术。然而,现有的图像分类方法,通常是使用深度学习提取整幅图像的全局特征进行图像分类,对于一些类别之间较为相似的图像,无法准确地进行分类。
目前已有很多图像分类模型在包含1000个类的ImageNet数据库的分类错误率在20%附近,然而对于一些错误代价比较高的图像分类应用环境,如手写识别软件识别邮寄地址,一旦出错,则可能会寄错地方,浪费了很多的资源,因此进一步提高图像分类的精度,也意味着对资源的节约。
发明内容
本发明提供了一种图像分类方法和装置,用于解决无法对较为相似的图像进行准确分类的问题。
本发明提供的一种图像分类方法,应用于图像分类模型;所述图像分类模型包括主模型、纠错模型和条件判断模型;包括:
将预设分类图像输入所述主模型得到第一分类结果;
将所述第一分类结果输入所述条件判断模型,得到判断参数;
当所述判断参数大于或等于预设阈值时,输出所述第一分类结果;
当所述判断参数小于预设阈值时,将所述预设分类图像输入所述纠错模型得到第二分类结果,并输出所述第二分类结果。
可选地,所述初始数据集包括多个数据样本;所述方法还包括:
将所述多个数据样本输入所述主模型进行分类,得到每个数据样本对应的第三分类结果,并根据所述第三分类结果将所述初始数据集分为分类成功数据集和分类失败数据集;
获取所述主模型的网络结构和底层特征参数,采用所述网络结构和所述底层特征参数构建初始纠错模型,并采用所述分类失败数据集训练所述初始纠错模型,得到所述纠错模型。
可选地,还包括:
构建初始条件判断模型,采用所述第三分类结果训练所述初始条件判断模型,得到条件判断模型。
可选地,每个数据样本具有对应的标签;所述根据所述第三分类结果将所述初始数据集分为分类成功数据集和分类失败数据集的步骤,包括:
判断所述第三分类结果与所述标签是否相同;
采用所述第三分类结果与所述标签相同的数据样本生成分类成功数据集;
采用所述第三分类结果与所述标签不相同的数据样本生成分类失败数据集。
可选地,所述采用所述第三分类结果训练所述初始条件判断模型,得到条件判断模型的步骤,包括:
确定所述第三分类结果的标注信息,采用所述第三分类结果和所述标注信息训练所述初始条件判断模型,得到条件判断模型。
可选地,所述条件判断模型包括多层全连接隐藏层;所述将所述第一分类结果输入所述条件判断模型,得到判断参数的步骤,包括:
获取所述全连接隐藏层的连接权重矩阵和偏置矩阵,采用所述连接权重矩阵和所述偏置矩阵计算所述判断参数。
本发明提供的一种图像分类装置,所述装置包括:
第一分类结果生成模块,用于将预设分类图像输入所述主模型得到第一分类结果;
判断参数生成模块,用于将所述第一分类结果输入所述条件判断模型,得到判断参数;
第一分类结果输出模块,用于当所述判断参数大于或等于预设阈值时,输出所述第一分类结果;
第二分类结果输出模块,用于当所述判断参数小于预设阈值时,将所述预设分类图像输入所述纠错模型得到第二分类结果,并输出所述第二分类结果。
可选地,所述初始数据集包括多个数据样本;所述装置还包括:
分类成功数据集和分类失败数据集生成模块,用于将所述多个数据样本输入所述主模型进行分类,得到每个数据样本对应的第三分类结果,并根据所述第三分类结果将所述初始数据集分为分类成功数据集和分类失败数据集;
纠错模型生成模块,用于获取所述主模型的网络结构和底层特征参数,采用所述网络结构和所述底层特征参数构建初始纠错模型,并采用所述分类失败数据集训练所述初始纠错模型,得到所述纠错模型。
可选地,还包括:
条件判断模型生成模块,用于构建初始条件判断模型,采用所述第三分类结果训练所述初始条件判断模型,得到条件判断模型。
可选地,每个数据样本具有对应的标签;所述分类成功数据集和分类失败数据集生成模块,包括:
判断子模块,用于判断所述第三分类结果与所述标签是否相同;
分类成功数据集生成子模块,用于采用所述第三分类结果与所述标签相同的数据样本生成分类成功数据集;
分类失败数据集生成子模块,用于采用所述第三分类结果与所述标签不相同的数据样本生成分类失败数据集。
可选地,所述条件判断模型生成模块,包括:
条件判断模型生成子模块,用于确定所述第三分类结果的标注信息,采用所述第三分类结果和所述标注信息训练所述初始条件判断模型,得到条件判断模型。
可选地,所述条件判断模型包括多层全连接隐藏层;所述判断参数生成模块,包括:
判断参数生成子模块,用于获取所述全连接隐藏层的连接权重矩阵和偏置矩阵,采用所述连接权重矩阵和所述偏置矩阵计算所述判断参数。
从以上技术方案可以看出,本发明具有以下优点:本发明将预设分类图像输入主模型得到第一分类结果;然后将第一分类结果输入条件判断模型得到判断参数,以根据判断参数判断是否对主模型的输出结果进行纠错;当所述判断参数小于预设阈值时,则进行纠错,采用纠错模型对预设分类图像进行分类预测得到第二分类结果,并输出第二分类结果,反之,则输出第一分类结果。在本发明实施例中,由于引入条件判断来对主模型的分类结果进行纠错,降低了分类错误的概率,提高了图像分类的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种图像分类方法的步骤流程图;
图2为本发明另一实施例提供的一种图像分类方法的步骤流程图;
图3为本发明实施例一种主模型的结构示意图;
图4为本发明实施例纠错模型和条件判断模型的训练过程示意图;
图5为本发明实施例一种条件判断模型的结构示意图;
图6为本发明实施例一种图像分类方法的分类流程图;
图7为本发明实施例一种多条件选择形成的分类方法流程图;
图8为本发明实施例一种图像分类装置的结构框图。
具体实施方式
本发明实施例提供了一种图像分类方法和装置,用于解决无法对较为相似的图像进行准确分类的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,图1为本发明实施例提供的一种图像分类方法的步骤流程图。
本发明提供的一种图像分类方法,包括:
步骤101,将预设分类图像输入所述主模型得到第一分类结果;
本发明的主模型是一个已有的训练好的,且最后一层为激励函数softmax层的卷积神经网络分类模型。
在本发明实施例中,当需要对图像进行分类时,将图像输入主模型中,图片在主模型的最后一层全连接层的输出结果进行softmax逻辑回归处理后,转为分类概率,该分类概率即为针对该图像的第一分类结果。
步骤102,将所述第一分类结果输入所述条件判断模型,得到判断参数;
在本发明实施例中,条件判断模型是一个有四层全连接隐藏层,且最后层为使用sigmoid激活函数的神经单元的全连接神经网络。
将第一分类结果输入条件判断模型中,条件判断模型的最后一层的输出结果经过sigmoid函数处理后生成判断参数。该判断参数可用于判断是否对主模型的输出结果进行纠错。
步骤103,当所述判断参数大于或等于预设阈值时,输出所述第一分类结果;
sigmoid函数的值域为(0,1),基于对称原理,本发明实施例将判断参数的预设阈值设置为0.5,当判断参数大于或等于0.5时,判定主模型输出的第一分类结果是准确的,此时可以以第一分类结果作为最终的分类结果。
步骤104,当所述判断参数小于预设阈值时,将所述预设分类图像输入所述纠错模型得到第二分类结果,并输出所述第二分类结果。
当判断参数小于0.5时,表征主模型输出的第一分类结果与图像的实际类别不一致,此时需要进行纠错,具体方法是采用纠错模型对预设分类图像进行分类预测,并以纠错模型输出的第二分类结果作为最终的分类结果。
本发明将预设分类图像输入主模型得到第一分类结果;然后将第一分类结果输入条件判断模型得到判断参数,以根据判断参数判断是否对主模型的输出结果进行纠错;当所述判断参数小于预设阈值时,则进行纠错,采用纠错模型对预设分类图像进行分类预测得到第二分类结果,并输出第二分类结果,反之,则输出第一分类结果。在本发明实施例中,由于引入条件判断来对主模型的分类结果进行纠错,降低了分类错误的概率,提高了图像分类的准确性。
请参阅图2,图2为本发明另一实施例提供的一种图像分类方法的步骤流程图。
本发明提供的一种图像分类方法,应用于图像分类模型;所述图像分类模型包括主模型,纠错模型和条件判断模型;其中,主模型是一个已有的训练好的,且最后一层为softmax层的卷积神经网络分类模型,其可以对图像进行分类,但其对图像的分类会存在一定的错误概率。纠错模型是一个与主模型网络结构一致的模型,其可以对主模型的输出结果进行纠错;条件判断模型是一个有四层全连接隐藏层,且最后层为使用sigmoid激活函数的神经单元的全连接神经网络,其可以判断是否需要对主模型的输出结果进行纠错。
具体包括:
步骤201,将所述多个数据样本输入所述主模型进行分类,得到每个数据样本对应的第三分类结果,并根据所述第三分类结果将所述初始数据集分为分类成功数据集和分类失败数据集;
在本发明实施例中,主模型的错误数据可以作为纠错模型的训练集。因此在本发明实施例中,可以使用主模型对已知分类结果的初始数据集进行预测,以采集主模型的分类错误数据。该初始数据集中包括多个数据样本,每个数据样本均为带有标签的图像。将预测结果与初始数据集的标签进行比对,如果某一个数据样本的预测结果与它的标签相同,则将其索引添加至列表1中;如果某一个数据样本的预测结果与它的标签不同,则将其索引添加至列表2中。例如,初始数据集中有10个样本数据,第0个,第2至8个的样本数据是可以被主模型成功预测类别的数据样本,其他样本数据不能被主模型成功预测类别,则列表1:[0,2,3,4,5,6,7,8];列表2:[1,9]。用上述两个记录索引的列表将数据集分成两个数据集,包括分类成功数据集合分类失败数据集。
在一个示例中,可以采用cifar10数据集作为初始数据集,该数据集共包含10个类别,分别为飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车,为了叙述方便,本发明实施例选取其中4种类别,分别为猫、狗、鸟、马,将初始数据集放进主模型进行预测,之后将预测结果与数据集的标签进行比对,如果某一个数据样本的预测结果与它的标签相同,则将其索引添加至列表1中,如果某一个数据样本的预测结果与它的标签不同,则将其索引添加至列表2中。用上述两个记录索引的列表将数据集分成两个数据集,分类失败的数据集作为数据集0,将分类成功的数据集作为数据集1。
因此,最后数据集1的数据内容为标签为猫,且在主模型分类结果也为猫的图片;标签为狗,且在主模型分类结果也为狗的图片等;标签内容保持不变,即原本是猫的图片,标签内容也是猫;数据集0的内容为标签为猫,且在主模型分类结果不为猫的图片,标签为狗,且在主模型分类结果不为狗的图片等,标签内容保持不变。
在一个示例中,可以使用如图3所示的卷积神经网络分类模型作为本发明实施例的主模型。
如图3所示模型总共分6层,第一层为输入层,即输入为一张32*32*3的图片,32*32分别是该图宽和高的像素数量,3是该图像的通道。接下来描述每一层,分别用W*H*C,W为该层的宽,H为该层的高,C为该层的通道数。通过步长为1,kernel为3*3,填充为1的卷积核进行卷积,保持宽高,对通道数加倍,再通过过滤器为2*2,步长为2池化,使宽高减半,保持通道数,因此可以看到该图下一层为16*16*6,接着,类似用卷积核保持宽高,加倍通道数,但使用过滤器为4*4,步长为4的池化,对宽高缩小四倍,得到该图下一层4*4*32,接着,类似用卷积核保持宽高,加倍通道数,过滤器为2*2,步长为2,对宽高缩小2倍,得到该图下一层2*2*64,接着进行全连接,得到下一层1*1*4,图中省略了池化层和softmax层。通过该卷积神经网络可以完成对图像的分类。
步骤202,获取所述主模型的网络结构和底层特征参数,采用所述网络结构和所述底层特征参数构建初始纠错模型,并采用所述分类失败数据集训练所述初始纠错模型,得到所述纠错模型;
本发明实施例的纠错模型是一个与主模型网络结构一致的模型,将主模型训练好的底层特征的参数迁移至纠错模型。冻结纠错模型的底层特征,即不对纠错模型的底层进行反向传播修改,从而减少需要修改的参数量,进而可以加速模型的训练过程。使用主模型输出的分类失败数据集训练纠错模型,可以得到训练完成的纠错模型。
在一个示例中,本发明实施例的纠错模型在训练过程中的初始学习率α=0.01,根据批尺寸和数据集的大小,为训练过程选择合适的迭代次数,当纠错模型的训练误差与验证误差都呈下降趋势并趋于稳定时,模型训练完成。
需要说明的是,由于分类失败数据集的数据量可能较少,所以可以通过数据增强,如图片左右镜像翻转,色相、对比度随机调整等方法,来扩充数据集。
步骤203,构建初始条件判断模型,采用所述第三分类结果训练所述初始条件判断模型,得到条件判断模型;
在本发明实施例中,可以使用条件判断模型来确定是否使用纠错模型对主模型进行纠错。条件判断模型可以是一个有四层全连接隐藏层,且最后层为一个使用sigmoid激活函数的神经单元的全连接神经网络。
在一个示例中,步骤203可以包括:确定所述第三分类结果的标注信息,采用所述第三分类结果和所述标注信息训练所述初始条件判断模型,得到条件判断模型。
具体地,主模型输出的每一个第三分类结果对应的样本数据具有对应的标注信息,在本发明实施例中,可以将初始数据集在主模型的softmax层的所有的第三分类结果作为条件训练数据集,并利用基于深度学习框架pytorch的标注方式来对第三分类结果进行标注。例如,当图像为用主模型进行分类结果为成功的图像标注为1;当图像为用主模型进行分类结果为失败的图像则标注为0。此时,条件训练数据集中就包括若干组数据和标注,数据内容为将图像放入主模型后,主模型的softmax层处理后,转为分类相对概率所获得的结果,标注内容为基于上述标注方式所得到的标注内容。
在本发明实施例中,softmax的计算公式如下:
D=max(V)
Figure BDA0002543735510000091
其中,C为种类的个数,若预分类的种类有4种,则C=4。V是主模型最后一层softmax层的输入,是包含了C个值的向量。Vi是V中第i个值。D是V中所有值的最大值。Si是softmax层输出的值,是预分类图片相对于各个类的相对概率。softmax层的作用是将多分类的输出数值转换为相对概率。
条件训练数据集的一组内容示例为:data:0.2 0.3 0.4 0.1label:0;其中数据data表示不同类别的概率。如图像在主模型的最后softmax层的分类结果为猫的概率为0.2,狗的概率为0.3,鸟的概率为0.4,马的概率为0.1,由于标签label为0,所以这样的分类预测结果为错误的。
条件训练数据集可以用来训练条件判断模型,更新每一层的参数,包括权重参数和偏差参数。
为使本领域技术人员充分理解本发明实施例,下面通过具体示例对本发明实施例纠错模型和条件判断模型的训练过程进行描述。
请参阅图4,图4为本发明实施例纠错模型和条件判断模型的训练过程示意图,具体包括以下步骤:
a,将带有标签的数据集输入至主模型中,生成分类成功数据集合分类失败数据集,并经由softmax层输出条件训练数据集;
b,采用分类失败数据集训练纠错模型;
c,采用分类成功数据集和分类失败数据集将条件训练数据集中的样本数据进行标注,将条件训练数据集中与分类成功数据集匹配的样本数据的标签设置为1,将条件训练数据集中与分类失败数据集匹配的样本数据设置为0;采用条件训练数据集和对应的标注生成带标注的条件训练数据集;
d,采用带标注的条件训练数据集训练条件判断模型。
步骤204,将预设分类图像输入所述主模型得到第一分类结果;
在本发明实施例中,当需要对图像进行分类时,将图像输入主模型中,图片在主模型的最后一层全连接层的输出结果进行softmax逻辑回归处理后,转为分类概率,该分类概率即为针对该图像的第一分类结果。
步骤205,将所述第一分类结果输入所述条件判断模型,得到判断参数;
将第一分类结果输入条件判断模型中,条件判断模型的最后一层的输出结果经过sigmoid函数处理后生成判断参数。该判断参数可用于判断是否对主模型的输出结果进行纠错。
在本发明实施例中,步骤205可以包括:获取所述全连接隐藏层的连接权重矩阵和偏置矩阵,采用所述连接权重矩阵和所述偏置矩阵计算所述判断参数。
请参阅图5,图5为本发明实施例一种条件判断模型的结构示意图。
如图5所示,构建一个具有四层全连接隐藏层,最后层为一个使用sigmoid激活函数的神经单元的全连接神经网络作为条件判断模型。图中input层是该条件判断模型的输入,即主模型的最后softmax层的分类结果,hidden1~4这四层均为5个神经元,output为该条件判断模型的输出。在本发明实施例中,output输出的即为判断参数。每一层具体的数据流转过程如下:
Y1=relu(w1*x+b1)
Y2=relu(w2*Y1+b2)
Y3=relu(w3*Y2+b3)
Y4=relu(w4*Y3+b4)
Y5=sigmoid(w5*Y4+b5)
其中,relu(x)=max(x,0),wi是第i-1层神网络层连接至第i层神经网络层的连接权重矩阵,bi是第i层神经网络的偏置矩阵。Yi是第i层神经网络的输出(从第一层隐藏层算起,包含输出层),最终输出为Y5,Y5即为判断参数。
在本发明实施例中,sigmoid函数的计算公式为如下:
Figure BDA0002543735510000101
其中,e为纳皮尔常数,其值为2.7182…,z为sigmoid函数的输入,即(w5*Y4+b5),j为判断参数。由sigmoid函数的计算公式可知,当z为0时,j值为0.5,随着z的不断增大,对应的j值将无限逼近与1,随着z的不断减小,对应的j值将无限逼近与0,所以j的值域在(0,1)之间。在本发明实施例中,取j值为0.5作为阈值,来判断是否对主模型的输出结果进行纠错。
步骤206,当所述判断参数大于或等于预设阈值时,输出所述第一分类结果;
sigmoid函数的值域为(0,1),基于对称原理,本发明实施例将判断参数的预设阈值设置为0.5,当判断参数大于或等于0.5时,判定主模型输出的第一分类结果是准确的,此时可以以第一分类结果作为最终的分类结果。
步骤207,当所述判断参数小于预设阈值时,将所述预设分类图像输入所述纠错模型得到第二分类结果,并输出所述第二分类结果。
当判断参数小于0.5时,表征主模型输出的第一分类结果与图像的实际类别不一致,此时需要进行纠错,具体方法是采用纠错模型对预设分类图像进行分类预测,并以纠错模型输出的第二分类结果作为最终的分类结果。
为使本领域技术人员充分理解本发明实施例,下面通过具体示例对本发明实施例图像分类过程进行描述。
请参阅图6,图6为本发明实施例一种图像分类方法的分类流程图。
如图6所示,在进行图像分类时,将预设分类图像输入主模型中生成第一分类结果;采用条件判断模型中对第一分类结果进行判断,当条件判断模型输出的判断参数大于或等于0.5时,输出第一分类结果;当条件判断模型输出的判断参数小于0.5时,采用纠错模型对预设分类图像进行分类,并输出第二分类结果。
需要说明的是,在一个示例中,如图7所示,图7为本发明实施例一种多条件选择形成的分类方法流程图。为了进一步增强图像分类的准确性,可以将纠错模型当做主模型来处理,构造纠错模型的条件判断模型2和纠错模型2,进行二次纠错,以此类推,甚至可以无限次纠错。
本发明将预设分类图像输入主模型得到第一分类结果;然后将第一分类结果输入条件判断模型得到判断参数,以根据判断参数判断是否对主模型的输出结果进行纠错;当所述判断参数小于预设阈值时,则进行纠错,采用纠错模型对预设分类图像进行分类预测得到第二分类结果,并输出第二分类结果,反之,则输出第一分类结果。在本发明实施例中,由于引入条件判断来对主模型的分类结果进行纠错,降低了分类错误的概率,提高了图像分类的准确性。
请参阅图8,图8为本发明实施例一种图像分类装置的结构框图。
本发明提供的一种图像分类装置,包括:
第一分类结果生成模块801,用于将预设分类图像输入所述主模型得到第一分类结果;
判断参数生成模块802,用于将所述第一分类结果输入所述条件判断模型,得到判断参数;
第一分类结果输出模块803,用于当所述判断参数大于或等于预设阈值时,输出所述第一分类结果;
第二分类结果输出模块804,用于当所述判断参数小于预设阈值时,将所述预设分类图像输入所述纠错模型得到第二分类结果,并输出所述第二分类结果。
在本发明实施例中,所述初始数据集包括多个数据样本;所述装置还包括:
分类成功数据集和分类失败数据集生成模块,用于将所述多个数据样本输入所述主模型进行分类,得到每个数据样本对应的第三分类结果,并根据所述第三分类结果将所述初始数据集分为分类成功数据集和分类失败数据集;
纠错模型生成模块,用于获取所述主模型的网络结构和底层特征参数,采用所述网络结构和所述底层特征参数构建初始纠错模型,并采用所述分类失败数据集训练所述初始纠错模型,得到所述纠错模型。
在本发明实施例中,还包括:
条件判断模型生成模块,用于构建初始条件判断模型,采用所述第三分类结果训练所述初始条件判断模型,得到条件判断模型。
在本发明实施例中,每个数据样本具有对应的标签;所述分类成功数据集和分类失败数据集生成模块,包括:
判断子模块,用于判断所述第三分类结果与所述标签是否相同;
分类成功数据集生成子模块,用于采用所述第三分类结果与所述标签相同的数据样本生成分类成功数据集;
分类失败数据集生成子模块,用于采用所述第三分类结果与所述标签不相同的数据样本生成分类失败数据集。
在本发明实施例中,所述条件判断模型生成模块,包括:
条件判断模型生成子模块,用于确定所述第三分类结果的标注信息,采用所述第三分类结果和所述标注信息训练所述初始条件判断模型,得到条件判断模型。
在本发明实施例中,所述条件判断模型包括多层全连接隐藏层;所述判断参数生成模块802,包括:
判断参数生成子模块,用于获取所述全连接隐藏层的连接权重矩阵和偏置矩阵,采用所述连接权重矩阵和所述偏置矩阵计算所述判断参数。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种图像分类方法,其特征在于,应用于图像分类模型;所述图像分类模型包括主模型、纠错模型和条件判断模型;所述方法包括:
将预设分类图像输入所述主模型得到第一分类结果;
将所述第一分类结果输入所述条件判断模型,得到判断参数;
当所述判断参数大于或等于预设阈值时,输出所述第一分类结果;
当所述判断参数小于预设阈值时,将所述预设分类图像输入所述纠错模型得到第二分类结果,并输出所述第二分类结果;
其中,所述条件判断模型包括多层全连接隐藏层;所述将所述第一分类结果输入所述条件判断模型,得到判断参数的步骤,包括:
获取所述全连接隐藏层的连接权重矩阵和偏置矩阵,采用所述连接权重矩阵和所述偏置矩阵,结合sigmoid函数计算判断参数;
其中,所述sigmoid函数的计算公式如下:
Figure FDA0003536320360000011
其中,e为纳皮尔常数;z为sigmoid函数的输入,由所述连接权重矩阵和所述偏置矩阵组成;j为所述判断参数。
2.根据权利要求1所述的方法,其特征在于,训练所述纠错模型的初始数据集包括多个数据样本;所述方法还包括:
将所述多个数据样本输入所述主模型进行分类,得到每个数据样本对应的第三分类结果,并根据所述第三分类结果将所述初始数据集分为分类成功数据集和分类失败数据集;
获取所述主模型的网络结构和底层特征参数,采用所述网络结构和所述底层特征参数构建初始纠错模型,并采用所述分类失败数据集训练所述初始纠错模型,得到所述纠错模型。
3.根据权利要求2所述的方法,其特征在于,还包括:
构建初始条件判断模型,采用所述第三分类结果训练所述初始条件判断模型,得到所述条件判断模型。
4.根据权利要求2所述的方法,其特征在于,每个数据样本具有对应的标签;所述根据所述第三分类结果将所述初始数据集分为分类成功数据集和分类失败数据集的步骤,包括:
判断所述第三分类结果与所述标签是否相同;
采用所述第三分类结果与所述标签相同的数据样本生成分类成功数据集;
采用所述第三分类结果与所述标签不相同的数据样本生成分类失败数据集。
5.根据权利要求3所述的方法,其特征在于,所述采用所述第三分类结果训练所述初始条件判断模型,得到条件判断模型的步骤,包括:
确定所述第三分类结果的标注信息,采用所述第三分类结果和所述标注信息训练所述初始条件判断模型,得到所述条件判断模型。
6.一种图像分类装置,其特征在于,所述装置包括:
第一分类结果生成模块,用于将预设分类图像输入主模型得到第一分类结果;
判断参数生成模块,用于将所述第一分类结果输入条件判断模型,得到判断参数;
第一分类结果输出模块,用于当所述判断参数大于或等于预设阈值时,输出所述第一分类结果;
第二分类结果输出模块,用于当所述判断参数小于预设阈值时,将所述预设分类图像输入纠错模型得到第二分类结果,并输出所述第二分类结果;
其中,所述条件判断模型包括多层全连接隐藏层;所述判断参数生成模块,包括:
判断参数生成子模块,用于获取所述全连接隐藏层的连接权重矩阵和偏置矩阵,采用所述连接权重矩阵和所述偏置矩阵,结合sigmoid函数计算所述判断参数;
其中,所述sigmoid函数的计算公式如下:
Figure FDA0003536320360000021
其中,e为纳皮尔常数;z为sigmoid函数的输入,由所述连接权重矩阵和所述偏置矩阵组成;j为所述判断参数。
7.根据权利要求6所述的装置,其特征在于,训练所述纠错模型的初始数据集包括多个数据样本;所述装置还包括:
分类成功数据集和分类失败数据集生成模块,用于将所述多个数据样本输入所述主模型进行分类,得到每个数据样本对应的第三分类结果,并根据所述第三分类结果将所述初始数据集分为分类成功数据集和分类失败数据集;
纠错模型生成模块,用于获取所述主模型的网络结构和底层特征参数,采用所述网络结构和所述底层特征参数构建初始纠错模型,并采用所述分类失败数据集训练所述初始纠错模型,得到所述纠错模型。
8.根据权利要求7所述的装置,其特征在于,还包括:
条件判断模型生成模块,用于构建初始条件判断模型,采用所述第三分类结果训练所述初始条件判断模型,得到所述条件判断模型。
9.根据权利要求7所述的装置,其特征在于,每个数据样本具有对应的标签;所述分类成功数据集和分类失败数据集生成模块,包括:
判断子模块,用于判断所述第三分类结果与所述标签是否相同;
分类成功数据集生成子模块,用于采用所述第三分类结果与所述标签相同的数据样本生成分类成功数据集;
分类失败数据集生成子模块,用于采用所述第三分类结果与所述标签不相同的数据样本生成分类失败数据集。
CN202010554323.0A 2020-06-17 2020-06-17 一种图像分类方法和装置 Active CN111709479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010554323.0A CN111709479B (zh) 2020-06-17 2020-06-17 一种图像分类方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010554323.0A CN111709479B (zh) 2020-06-17 2020-06-17 一种图像分类方法和装置

Publications (2)

Publication Number Publication Date
CN111709479A CN111709479A (zh) 2020-09-25
CN111709479B true CN111709479B (zh) 2022-05-10

Family

ID=72541146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010554323.0A Active CN111709479B (zh) 2020-06-17 2020-06-17 一种图像分类方法和装置

Country Status (1)

Country Link
CN (1) CN111709479B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482313B2 (en) * 2015-09-30 2019-11-19 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks
CN107066995A (zh) * 2017-05-25 2017-08-18 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN109271885A (zh) * 2018-08-29 2019-01-25 广东工业大学 一种基于宽度学习的鸟巢识别方法
CN109558838B (zh) * 2018-11-29 2021-02-02 北京经纬恒润科技股份有限公司 一种物体识别方法及系统
CN109753580A (zh) * 2018-12-21 2019-05-14 Oppo广东移动通信有限公司 一种图像分类方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN111709479A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN109934293B (zh) 图像识别方法、装置、介质及混淆感知卷积神经网络
EP3227836B1 (en) Active machine learning
WO2019089578A1 (en) Font identification from imagery
CN109919252B (zh) 利用少数标注图像生成分类器的方法
CN111091175A (zh) 神经网络模型训练方法、分类方法、装置和电子设备
CN111914085A (zh) 文本细粒度情感分类方法、系统、装置及存储介质
US11429810B2 (en) Question answering method, terminal, and non-transitory computer readable storage medium
CN113657425A (zh) 基于多尺度与跨模态注意力机制的多标签图像分类方法
CN112199536A (zh) 一种基于跨模态的快速多标签图像分类方法和系统
CN110598869B (zh) 基于序列模型的分类方法、装置、电子设备
CN110705489B (zh) 目标识别网络的训练方法、装置、计算机设备和存储介质
US20200218932A1 (en) Method and system for classification of data
CN113435499B (zh) 标签分类方法、装置、电子设备和存储介质
CN111639607A (zh) 模型训练、图像识别方法和装置、电子设备及存储介质
CN111783688B (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN112966754A (zh) 样本筛选方法、样本筛选装置及终端设备
CN113139612A (zh) 图像分类方法、分类网络的训练方法和相关产品
CN111709479B (zh) 一种图像分类方法和装置
CN114170484B (zh) 图片属性预测方法、装置、电子设备和存储介质
CN113592045B (zh) 从印刷体到手写体的模型自适应文本识别方法和系统
CN115063374A (zh) 模型训练、人脸图像质量评分方法、电子设备及存储介质
CN115170838A (zh) 一种数据筛选方法及装置
CN114898184A (zh) 模型训练方法、数据处理方法、装置及电子设备
CN114373097A (zh) 一种基于无监督的图像分类方法、终端设备及存储介质
CN113312445A (zh) 数据处理方法、模型构建方法、分类方法及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant