CN110533074B - 一种基于双深度神经网络的图片类别自动标注方法及系统 - Google Patents

一种基于双深度神经网络的图片类别自动标注方法及系统 Download PDF

Info

Publication number
CN110533074B
CN110533074B CN201910694450.8A CN201910694450A CN110533074B CN 110533074 B CN110533074 B CN 110533074B CN 201910694450 A CN201910694450 A CN 201910694450A CN 110533074 B CN110533074 B CN 110533074B
Authority
CN
China
Prior art keywords
network
classification
picture
training
depth neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910694450.8A
Other languages
English (en)
Other versions
CN110533074A (zh
Inventor
彭德智
唐珩膑
舒琳
邢晓芬
巫朝政
张国雄
王岽然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910694450.8A priority Critical patent/CN110533074B/zh
Publication of CN110533074A publication Critical patent/CN110533074A/zh
Application granted granted Critical
Publication of CN110533074B publication Critical patent/CN110533074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于双深度神经网络的图片类别自动标注方法及系统，所述方法包括：S1、准备已经标注完成的图片及需要进行自动标注的未标注图片，将已经标注完成的图片分为分别用于训练分类网络和判别网络的两部分图片；S2、搭建包含分类网络和判别网络的双深度神经网络模型；S3、使用已经标注完成的图片训练双深度神经网络模型；S4、使用已训练的双深度神经网络模型对未标注图片的类别进行预测；S5、对未标注图片的预测结果进行处理并选择开启下一次迭代或者结束自动标注。本发明基于双深度神经网络模型，通过判别模型对分类模型的输出进一步优化，实现了低成本、高质量的数据标注，具有广阔的应用前景。

Description

一种基于双深度神经网络的图片类别自动标注方法及系统
技术领域
本发明涉及图像处理和深度学习领域，具体涉及一种基于双深度神经网络的图片类别自动标注方法及系统。
背景技术
近年来，随着深度学习技术的迅速发展，深度神经网络模型被用于日常生活中的方方面面，比如车站的人脸识别、手机相机中的图像美化等。随着深度神经网络模型深度的日益增加，需要越来越多的数据对模型进行训练。但是人工数据标注的成本较高，一般的科研工作者和规模较小的公司难以承担，同时受限于标注者的能力和态度，人工标注的质量层次不齐。以上这些因素导致深度神经网络模型的实际应用成本增加，效果降低。与此同时，随着互联网的飞速发展，从互联网上可以较容易地获得大量的未标注数据。因此，一种基于部分已标注数据来自动标注未标注数据的方法及系统显得尤为重要。
较常见的分类数据自动标注方法通常是基于自训练的方法，首先根据有标注的数据训练出一个分类模型，再将无标注的数据输入到模型中进行预测，之后将一部分预测的标注数据加到有标注的数据中，再进行训练。所述方法缺少对分类模型分类正确性的评估和判断，自动标注的效果受限于分类模型的分类准确率。
发明内容
本发明的目的是针对现有技术的不足，提供了一种基于双深度神经网络的图片类别自动标注方法，所述方法将有标注的图片分为两部分，采用双深度神经网络结构，除训练出分类模型外，另外训练出一个判别模型用于预测分类模型分类的正确率，并且通过判别模型对分类模型的输出进行调整，对未标注图片进行更加准确的自动标注，弥补了人工标注数据成本高、质量层次不齐的不足。
本发明的另一目的在于提供一种基于双深度神经网络的图片类别自动标注系统。
本发明的目的可以通过如下技术方案实现：
一种基于双深度神经网络的图片类别自动标注方法，所述方法包括以下步骤：
S1、准备已经标注完成的图片及需要进行自动标注的未标注图片，将已经标注完成的图片分为分别用于训练分类网络和判别网络的两部分图片；
S2、搭建包含分类网络和判别网络的双深度神经网络模型；
S3、使用已经标注完成的图片训练双深度神经网络模型；
S4、使用已训练的双深度神经网络模型对未标注图片的类别进行预测；
S5、对未标注图片的预测结果进行处理并选择开启下一次迭代或者结束自动标注。
进一步地，步骤S1中，所述已经标注完成的图片能够从公开的已标注数据集中直接获取或者人工标注部分未标注数据，所述需要进行自动标注的未标注图片Du能够从网络上爬取或者从实际场景中采集，然后将已经标注完成的图片分为两部分，一部分图片Dc用于训练双深度神经网络模型中的分类网络，一部分图片Dj用于训练双深度神经网络模型中的判别网络。
进一步地，所述步骤S2具体包括以下步骤：
S2-1、数据预处理：读取图片得到一个3×H×W的矩阵，其中3为图片的通道数，图片为RGB三通道的彩色图片；H为图片的高的像素数量；W为图片的宽的像素数量；将输入的图片大小进行统一调整，并读取图片得到图片矩阵后，对图片矩阵进行归一化操作；
S2-2、搭建分类网络：分类网络用于对输入的图片进行分类，分类网络的输入为归一化后的图片矩阵i3×H×W，输出为一个长度为C的向量Oc，C为分类类别的数量：
Oc＝[o1,o2,…,oC]
对向量Oc进行Softmax操作得到分类概率向量Pc，分类概率向量Pc中所有元素的数值总和为1，第i个元素
Figure BDA0002148922380000021
即为对应的第i类ci的概率，如下式所示：
Figure BDA0002148922380000022
Figure BDA0002148922380000023
分类网络由多个卷积层、激活层ReLU、最大池化层、全连接层和Dropout层组成，分类网络分别在第二、四、八、十二、十六层卷积后通过最大池化层进行下采样，得到的特征图
Figure BDA0002148922380000024
相对于输入图像大小的步长分别为2,4,8,16,32；
S2-3、搭建判别网络：判别网络用于对分类网络的输出结果的正确性进行判别，判别网络的输入为归一化后的图片矩阵i3×H×W，输出为分类网络分类正确的概率pj，pj在[0,1]的范围内，pj的值越大，则分类网络分类正确的概率越高；反之，pj的值越小，则分类网络分类错误的概率越高；
判别网络由多个卷积层、激活层ReLU、最大池化层、全连接层、Dropout层和Sigmoid层组成，判别网络分别在第二、四、八、十二、十六层卷积后通过最大池化层进行下采样，得到的特征图
Figure BDA0002148922380000025
相对于输入图像大小的步长分别为2,4,8,16,32；为了能够结合分类网络的信息来判断分类网络分类的正确性，在特征图
Figure BDA0002148922380000031
输入到下一层之前，分别与分类网络对应的
Figure BDA0002148922380000032
相加，如下式所示：
Figure BDA0002148922380000033
Figure BDA0002148922380000034
Figure BDA0002148922380000035
Figure BDA0002148922380000036
Figure BDA0002148922380000037
进一步地，所述步骤S3具体包括以下步骤：
S3-1、训练分类网络：使用用于训练分类网络的图片Dc训练分类网络，训练分类网络时，仅对分类网络的参数进行更新而不更新判别网络的参数；
分类网络的输出Oc＝[o1,o2,…,oC]，标注lc＝i为对应的类别ci在C个类别中的索引，则对应的交叉熵损失为：
Figure BDA0002148922380000038
使用上式所示的交叉熵损失作为损失函数，优化方法采用随机梯度下降；
S3-2、训练判别网络：使用用于训练判别网络的图片Dj训练判别网络，对于训练图片Dj中的每一个样本(i3×H×W,lc)，首先输入到分类网络中，得到分类网络不同深度上提取的特征图
Figure BDA0002148922380000039
及输出Oc，再将这个样本输入到判别网络并将分类网络中的特征图与判别网络中对应的特征图相加，训练判别网络时，仅对判别网络的参数进行更新而不更新分类网络中的参数；
分类网络预测的类别为ci，其中：
i＝argmax(Oc)＝argmax([o1,o2,…,oC])
则判别网络中该样本的标注：
Figure BDA00021489223800000310
判别网络的输出为分类网络分类正确的概率pj，则二元交叉熵损失为：
LossBCE＝-[ljln(pj)+(1-lj)ln1-pj)]
使用上式所示的二元交叉熵损失作为损失函数，优化方法采用随机梯度下降。
进一步地，所述步骤S4具体包括以下步骤：
S4-1、分类网络对未标注图片的预测：对于未标注图片Du的每一个样本，通过分类网络预测其类别，得到分类概率向量
Figure BDA0002148922380000041
以及特征图
Figure BDA0002148922380000042
S4-2、判别网络对未标注图片的预测：对于未标注图片Du的每一个样本，通过判别网络，结合分类网络特征图
Figure BDA0002148922380000043
来预测分类网络分类正确的概率pj。
进一步地，所述步骤S5具体包括以下步骤：
S5-1、调整分类置信度：对于未标注图片Du，通过步骤S4得到对应的分类概率向量
Figure BDA0002148922380000044
和分类网络分类正确的概率，即判别网络的分类置信度pj，则调整后的分类置信度如下：
Figure BDA0002148922380000045
Figure BDA0002148922380000046
最终分类结果为ci′，其中i′＝argmax(P’c)，对应的分类置信度p′＝max(P’c)；
S5-2、迭代地自动标注：设定最大的自动标注迭代次数，则有以下两种情况：(1)未达到最大迭代次数:对于未标注图片，如果分类置信度p′大于设定的阈值，则将对应的样本标注为预测类别ci′，得的新标注的数据D+，将D+按照一定比例分为两份，分别添加到Dc和Dj，并且将D+从未标注图片Du中删除，然后返回步骤S3-1；(2)达到最大迭代次数：对于所有未标注图片，将预测的类别ci′作为对应图片的标注。
本发明的另一目的可以通过如下技术方案实现：
一种基于双深度神经网络的图片类别自动标注系统，所述系统包括双深度神经网络子系统、模型训练子系统、模型预测子系统和迭代标注子系统，其中，所述双深度神经网络子系统由包含分类网络和判别网络的双深度神经网络构成，分类网络用于对输入图片进行分类，判别网络用于判别分类的正确性；所述模型训练子系统通过已标注及自动标注的图片对双深度神经网络进行训练；所述模型预测子系统用于对未标注图片的类别进行预测；所述迭代标注子系统在模型预测子系统的基础上，对未标注图片进行自动标注，并将自动标注的图片用于双深度神经网络的下一轮迭代训练。
进一步地，所述系统使用Python语言，采用PyTorch框架实现，运行于ubuntu系统环境中，使用GPU加速双深度神经网络模型的训练和测试。
进一步地，所述模型训练子系统包括分类网络训练模块、判别网络训练模块、模型参数保存模块、超参数设定模块和模型训练信息记录模块；所述模型预测子系统包括分类网络预测模块、判别网络预测模块、模型参数加载模块和预测结果记录模块；所述迭代标注子系统包括概率调整模块、预测结果筛选模块、预测结果记录模块、新增标注记录模块、新增标注数据分配模块和迭代模块。
本发明与现有技术相比，具有如下优点和有益效果：
本发明提供的一种基于双深度神经网络的图片类别自动标注方法，提出了一种双深度神经网络模型，包括分类模型和判别模型，通过判别模型对分类模型的输出进一步优化，针对人工标注数据成本高、质量参差不齐的问题，实现了低成本、高质量的数据标注。
附图说明
图1为本发明实施例基于双深度神经网络的图片类别自动标注系统的整体结构图。
图2为本发明实施例双深度神经网络的结构示意图，其中conv表示卷积层，relu表示激活层(ReLU)，max pool表示最大池化层，linear表示全连接层。
图3为本发明实施例迭代标注子系统的实施流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例：
本实施例提供了一种基于双深度神经网络的图片类别自动标注系统，所述系统整体结构如图1所示，包括双深度神经网络子系统、模型训练子系统、模型预测子系统和迭代标注子系统，其中，所述双深度神经网络子系统由包含分类网络和判别网络的双深度神经网络构成，分类网络用于对输入图片进行分类，判别网络用于判别分类的正确性；所述模型训练子系统通过已标注及自动标注的图片对双深度神经网络进行训练；所述模型预测子系统用于对未标注图片的类别进行预测；所述迭代标注子系统在模型预测子系统的基础上，对未标注图片进行自动标注，并将自动标注的图片用于双深度神经网络的下一轮迭代训练。
基于上述系统对图片类别进行自动标注，包括以下步骤：
S1、准备已经标注完成的图片及需要进行自动标注的未标注图片，将已经标注完成的图片分为分别用于训练分类网络和判别网络的两部分图片；具体地，已经标注完成的图片从公开数据集Large-scale CelebFaces Attributes(CelebA)中直接获取，CelebA包含202599张面部图片，每张面部图片有对应的40种属性标注，本实施例仅采用性别属性标注，从202599张面部图片及其性别标注中随机选取100000个样本作为已经标注完成的图片；为了便于计算自动标注的准确率，选取CelebA数据集202599张面部图片中除去随机选取的100000张图片外的102599张图片作为需要进行自动标注的未标注图片；然后将已经标注完成的图片按照1:1分为两部分，一部分图片Dc用于训练双深度神经网络模型中的分类网络，一部分图片Dj用于训练双深度神经网络模型中的判别网络；
S2、搭建包含分类网络和判别网络的双深度神经网络模型；具体步骤如下：
S2-1、数据预处理：图片以jpg的格式存储在硬盘中，读取图片得到一个3×H×W的矩阵，其中3为图片的通道数，图片为RGB三通道的彩色图片；H为图片的高的像素数量；W为图片的宽的像素数量；本实施例将输入的图片大小统一调整为256×256，即H＝256，W＝256；读取图片得到图片矩阵，图片矩阵中的值为[0,255]范围内的整数，对图片矩阵进行归一化操作，使矩阵中的数值在[0.0,1.0]范围内，即归一化前的矩阵I3×H×w与归一化后的矩阵i3×H×w的关系如下：
i3×H×W＝I3×H×W/255；
S2-2、搭建分类网络：分类网络用于对输入的图片进行分类，分类网络的输入为归一化后的图片矩阵i3×H×W，输出为一个长度为C的向量Oc，C为分类类别的数量，本实施例中，C2，即分类男性和女性两个类别：
Oc＝[o1,o2,…,oC]
对向量Oc进行Softmax操作得到分类概率向量Pc，分类概率向量Pc中所有元素的数值总和为1，第i个元素
Figure BDA0002148922380000061
即为对应的第i类ci的概率，如下式所示：
Figure BDA0002148922380000062
Figure BDA0002148922380000063
如图2中所示，分类网络由多个卷积层、激活层ReLU、最大池化层、全连接层和Dropout层组成，分类网络分别在第二、四、八、十二、十六层卷积后通过最大池化层进行下采样，得到的特征图
Figure BDA0002148922380000064
相对于输入图像大小的步长分别为2,4,8,16,32；
S2-3、搭建判别网络：判别网络用于对分类网络的输出结果的正确性进行判别，判别网络的输入为归一化后的图片矩阵i3×H×W，输出为分类网络分类正确的概率pj，pj在[0,1]的范围内，pj的值越大，则分类网络分类正确的概率越高；反之，pj的值越小，则分类网络分类错误的概率越高；
如图2中所示，判别网络由多个卷积层、激活层ReLU、最大池化层、全连接层、Dropout层和Sigmoid层组成，判别网络分别在第二、四、八、十二、十六层卷积后通过最大池化层进行下采样，得到的特征图
Figure BDA0002148922380000065
相对于输入图像大小的步长分别为2,4,8,16,32；为了能够结合分类网络的信息来判断分类网络分类的正确性，在特征图
Figure BDA0002148922380000066
输入到下一层之前，分别与分类网络对应的
Figure BDA0002148922380000067
相加，如下式所示：
Figure BDA0002148922380000068
Figure BDA0002148922380000071
Figure BDA0002148922380000072
Figure BDA0002148922380000073
Figure BDA0002148922380000074
S3、使用已经标注完成的图片训练双深度神经网络模型；具体包括以下步骤：
S3-1、训练分类网络：使用用于训练分类网络的图片Dc训练分类网络，训练分类网络时，仅对分类网络的参数进行更新而不更新判别网络的参数；
分类网络的输出Oc＝[o1,o2,…,oC]，标注lc＝i为对应的类别ci在C个类别中的索引，则对应的交叉熵损失为：
Figure BDA0002148922380000075
使用上式所示的交叉熵损失作为损失函数，优化方法采用随机梯度下降(SGD)，动量(momentum)设置为0.9，权重衰减(weight decay)设置为0.0005，在第一次自动标注迭代中，训练3个epoch，每个epoch的学习率分别为0.01、0.01、0.001，在后续的自动标注迭代中，分别训练1个epoch，学习率为0.001；
S3-2、训练判别网络：使用用于训练判别网络的图片Dj训练判别网络，对于训练图片Dj中的每一个样本(i3×H×w,lc)，首先输入到分类网络中，得到分类网络不同深度上提取的特征图
Figure BDA0002148922380000076
及输出Oc，再将这个样本输入到判别网络并将分类网络中的特征图与判别网络中对应的特征图相加，训练判别网络时，仅对判别网络的参数进行更新而不更新分类网络中的参数；
分类网络预测的类别为ci，其中：
i＝argmax(Oc)＝argmax([o1,o2,…,oC])
则判别网络中该样本的标注：
Figure BDA0002148922380000077
判别网络的输出为分类网络分类正确的概率pj，则二元交叉熵损失为：
LossBCE＝-[ljln(pj)+(1-lj)ln1-pj)]
使用上式所示的二元交叉熵损失作为损失函数，优化方法采用随机梯度下降(SGD)，动量(momentum)设置为0.9，权重衰减(weight decay)设置为0.0005，在第一次自动标注迭代中，训练3个epoch，每个epoch的学习率分别为0.01、0.01、0.001，在后续的自动标注迭代中，分别训练1个epoch，学习率为0.001；
S4、如图3所示，在迭代标注子系统中，使用已训练的双深度神经网络模型对未标注图片的类别进行预测；具体包括以下步骤：
S4-1、分类网络对未标注图片的预测：对于未标注图片Du的每一个样本，通过分类网络预测其类别，得到分类概率向量
Figure BDA0002148922380000081
以及特征图
Figure BDA0002148922380000082
S4-2、判别网络对未标注图片的预测：对于未标注图片Du的每一个样本，通过判别网络，结合分类网络特征图
Figure BDA0002148922380000083
来预测分类网络分类正确的概率pj；
S5、对未标注图片的预测结果进行处理并选择开启下一次迭代或者结束自动标注，具体包括以下步骤：
S5-1、调整分类置信度：对于未标注图片Du，通过步骤S4得到对应的分类概率向量
Figure BDA0002148922380000084
和分类网络分类正确的概率，即判别网络的分类置信度pj，则调整后的分类置信度如下：
Figure BDA0002148922380000085
Figure BDA0002148922380000086
最终分类结果为ci′，其中i′＝argmax(P’c)，对应的分类置信度p′＝max(P’c)；
S5-2、迭代地自动标注：设定最大的自动标注迭代次数为30次，则有以下两种情况：(1)未达到最大迭代次数:对于未标注图片，如果分类置信度p′大于设定的阈值(本实施例中，该阈值设定为0.99)，则将对应的样本标注为预测类别ci′，得的新标注的数据D+，将D+按照1:1分为两份，分别添加到Dc和Dj，并且将D+从未标注图片Du中删除，然后返回步骤S3-1；(2)达到最大迭代次数：对于所有未标注图片，将预测的类别ci′作为对应图片的标注。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (7)

1.一种基于双深度神经网络的图片类别自动标注方法，其特征在于，所述方法包括以下步骤：
S1、准备已经标注完成的图片及需要进行自动标注的未标注图片，将已经标注完成的图片分为分别用于训练分类网络和判别网络的两部分图片；
S2、搭建包含分类网络和判别网络的双深度神经网络模型；
S3、使用已经标注完成的图片训练双深度神经网络模型；
S4、使用已训练的双深度神经网络模型对未标注图片的类别进行预测；
S5、对未标注图片的预测结果进行处理并选择开启下一次迭代或者结束自动标注；
步骤S1中，所述已经标注完成的图片能够从公开的已标注数据集中直接获取或者人工标注部分未标注数据，所述需要进行自动标注的未标注图片Du能够从网络上爬取或者从实际场景中采集，然后将已经标注完成的图片分为两部分，一部分图片Dc用于训练双深度神经网络模型中的分类网络，一部分图片Dj用于训练双深度神经网络模型中的判别网络；
所述步骤S2具体包括以下步骤：
S2-1、数据预处理：读取图片得到一个3×H×W的矩阵，其中3为图片的通道数，图片为RGB三通道的彩色图片；H为图片的高的像素数量；W为图片的宽的像素数量；将输入的图片大小进行统一调整，并读取图片得到图片矩阵后，对图片矩阵进行归一化操作；
S2-2、搭建分类网络：分类网络用于对输入的图片进行分类，分类网络的输入为归一化后的图片矩阵i3×H×W，输出为一个长度为C的向量Oc，C为分类类别的数量：
Oc＝[o1,o2，…，oC]
对向量Oc进行Softmax操作得到分类概率向量Pc，分类概率向量Pc中所有元素的数值总和为1，第i个元素
Figure FDA0003346325000000011
即为对应的第i类ci的概率，如下式所示：
Figure FDA0003346325000000012
Figure FDA0003346325000000013
分类网络由多个卷积层、激活层ReLU、最大池化层、全连接层和Dropout层组成，分类网络分别在第二、四、八、十二、十六层卷积后通过最大池化层进行下采样，得到的特征图
Figure FDA0003346325000000021
相对于输入图像大小的步长分别为2,4,8,16,32；
S2-3、搭建判别网络：判别网络用于对分类网络的输出结果的正确性进行判别，判别网络的输入为归一化后的图片矩阵i3×H×W，输出为分类网络分类正确的概率pj，pj在[0，1]的范围内，pj的值越大，则分类网络分类正确的概率越高；反之，pj的值越小，则分类网络分类错误的概率越高；
判别网络由多个卷积层、激活层ReLU、最大池化层、全连接层、Dropout层和Sigmoid层组成，判别网络分别在第二、四、八、十二、十六层卷积后通过最大池化层进行下采样，得到的特征图
Figure FDA0003346325000000022
相对于输入图像大小的步长分别为2,4,8,16,32；为了能够结合分类网络的信息来判断分类网络分类的正确性，在特征图
Figure FDA0003346325000000023
输入到下一层之前，分别与分类网络对应的
Figure FDA0003346325000000024
相加，如下式所示：
Figure FDA0003346325000000025
Figure FDA0003346325000000026
Figure FDA0003346325000000027
Figure FDA0003346325000000028
Figure FDA0003346325000000029
2.根据权利要求1所述的一种基于双深度神经网络的图片类别自动标注方法，其特征在于，所述步骤S3具体包括以下步骤：
S3-1、训练分类网络：使用用于训练分类网络的图片Dc训练分类网络，训练分类网络时，仅对分类网络的参数进行更新而不更新判别网络的参数；
分类网络的输出Oc＝[o1，o2，…,oC]，标注lc＝i为对应的类别ci在C个类别中的索引，则对应的交叉熵损失为：
Figure FDA00033463250000000210
使用上式所示的交叉熵损失作为损失函数，优化方法采用随机梯度下降；
S3-2、训练判别网络：使用用于训练判别网络的图片Dj训练判别网络，对于训练图片Dj中的每一个样本(i3×H×W，lc)，首先输入到分类网络中，得到分类网络不同深度上提取的特征图
Figure FDA00033463250000000211
及输出Oc，再将这个样本输入到判别网络并将分类网络中的特征图与判别网络中对应的特征图相加，训练判别网络时，仅对判别网络的参数进行更新而不更新分类网络中的参数；
分类网络预测的类别为ci，其中：
i＝argmax(Oc)＝argmax([o1,o2,…,oC])
则判别网络中该样本的标注：
Figure FDA0003346325000000031
判别网络的输出为分类网络分类正确的概率pj，则二元交叉熵损失为：
LossBcE＝-[ljln(pj)+(1-lj)ln(1-pj)]
使用上式所示的二元交叉熵损失作为损失函数，优化方法采用随机梯度下降。
3.根据权利要求2所述的一种基于双深度神经网络的图片类别自动标注方法，其特征在于，所述步骤S4具体包括以下步骤：
S4-1、分类网络对未标注图片的预测：对于未标注图片Du的每一个样本，通过分类网络预测其类别，得到分类概率向量
Figure FDA0003346325000000032
以及特征图
Figure FDA0003346325000000033
S4-2、判别网络对未标注图片的预测：对于未标注图片Du的每一个样本，通过判别网络，结合分类网络特征图
Figure FDA0003346325000000034
来预测分类网络分类正确的概率pj。
4.根据权利要求3所述的一种基于双深度神经网络的图片类别自动标注方法，其特征在于，所述步骤S5具体包括以下步骤：
S5-1、调整分类置信度：对于未标注图片Du，通过步骤S4得到对应的分类概率向量
Figure FDA0003346325000000035
和分类网络分类正确的概率，即判别网络的分类置信度pj，则调整后的分类置信度如下：
Figure FDA0003346325000000036
Figure FDA0003346325000000037
最终分类结果为ci′，其中i′＝argmax(P’c)，对应的分类置信度p′＝max(P’c)；
S5-2、迭代地自动标注：设定最大的自动标注迭代次数，则有以下两种情况：(1)未达到最大迭代次数:对于未标注图片，如果分类置信度p′大于设定的阈值，则将对应的样本标注为预测类别ci′，得的新标注的数据D+，将D+按照一定比例分为两份，分别添加到Dc和Dj，并且将D+从未标注图片Du中删除，然后返回步骤S3-1；(2)达到最大迭代次数：对于所有未标注图片，将预测的类别ci′作为对应图片的标注。
5.实现权利要求1～4任一所述图片类别自动标注方法的基于双深度神经网络的图片类别自动标注系统，其特征在于：所述系统包括双深度神经网络子系统、模型训练子系统、模型预测子系统和迭代标注子系统，其中，所述双深度神经网络子系统由包含分类网络和判别网络的双深度神经网络构成，分类网络用于对输入图片进行分类，判别网络用于判别分类的正确性；所述模型训练子系统通过已标注及自动标注的图片对双深度神经网络进行训练；所述模型预测子系统用于对未标注图片的类别进行预测；所述迭代标注子系统在模型预测子系统的基础上，对未标注图片进行自动标注，并将自动标注的图片用于双深度神经网络的下一轮迭代训练。
6.根据权利要求5所述的基于双深度神经网络的图片类别自动标注系统，其特征在于：所述系统使用Python语言，采用PyTorch框架实现，运行于ubuntu系统环境中，使用GPU加速双深度神经网络模型的训练和测试。
7.根据权利要求5所述的基于双深度神经网络的图片类别自动标注系统，其特征在于：所述模型训练子系统包括分类网络训练模块、判别网络训练模块、模型参数保存模块、超参数设定模块和模型训练信息记录模块；所述模型预测子系统包括分类网络预测模块、判别网络预测模块、模型参数加载模块和预测结果记录模块；所述迭代标注子系统包括概率调整模块、预测结果筛选模块、预测结果记录模块、新增标注记录模块、新增标注数据分配模块和迭代模块。
CN201910694450.8A 2019-07-30 2019-07-30 一种基于双深度神经网络的图片类别自动标注方法及系统 Active CN110533074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910694450.8A CN110533074B (zh) 2019-07-30 2019-07-30 一种基于双深度神经网络的图片类别自动标注方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910694450.8A CN110533074B (zh) 2019-07-30 2019-07-30 一种基于双深度神经网络的图片类别自动标注方法及系统

Publications (2)

Publication Number Publication Date
CN110533074A CN110533074A (zh) 2019-12-03
CN110533074B true CN110533074B (zh) 2022-03-29

Family

ID=68661103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910694450.8A Active CN110533074B (zh) 2019-07-30 2019-07-30 一种基于双深度神经网络的图片类别自动标注方法及系统

Country Status (1)

Country Link
CN (1) CN110533074B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116012B (zh) * 2020-09-23 2024-03-19 大连海事大学 一种基于深度学习的手指静脉即时注册、识别方法及系统
CN113449632B (zh) * 2021-06-28 2023-04-07 重庆长安汽车股份有限公司 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330444A (zh) * 2017-05-27 2017-11-07 苏州科技大学 一种基于生成对抗网络的图像自动文本标注方法
CN107622104A (zh) * 2017-09-11 2018-01-23 中央民族大学 一种文字图像识别标注方法及系统
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN108961272A (zh) * 2018-07-02 2018-12-07 浙江工业大学 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法
CN109389080A (zh) * 2018-09-30 2019-02-26 西安电子科技大学 基于半监督wgan-gp的高光谱图像分类方法
CN109657675A (zh) * 2018-12-06 2019-04-19 广州景骐科技有限公司 图像标注方法、装置、计算机设备和可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330444A (zh) * 2017-05-27 2017-11-07 苏州科技大学 一种基于生成对抗网络的图像自动文本标注方法
CN107622104A (zh) * 2017-09-11 2018-01-23 中央民族大学 一种文字图像识别标注方法及系统
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN108961272A (zh) * 2018-07-02 2018-12-07 浙江工业大学 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法
CN109389080A (zh) * 2018-09-30 2019-02-26 西安电子科技大学 基于半监督wgan-gp的高光谱图像分类方法
CN109657675A (zh) * 2018-12-06 2019-04-19 广州景骐科技有限公司 图像标注方法、装置、计算机设备和可读存储介质

Also Published As

Publication number Publication date
CN110533074A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN110909820B (zh) 基于自监督学习的图像分类方法及系统
CN110516095B (zh) 基于语义迁移的弱监督深度哈希社交图像检索方法和系统
CN110852347B (zh) 采用改进YOLO v3的火灾检测方法
CN108229589B (zh) 一种基于迁移学习的地基云图分类方法
CN110796143A (zh) 一种基于人机协同的场景文本识别方法
CN108133235B (zh) 一种基于神经网络多尺度特征图的行人检测方法
CN114092832A (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN112801182B (zh) 一种基于困难样本感知的rgbt目标跟踪方法
CN112036447A (zh) 零样本目标检测系统及可学习语义和固定语义融合方法
CN109948696A (zh) 一种多语言场景字符识别方法及系统
CN110533074B (zh) 一种基于双深度神经网络的图片类别自动标注方法及系统
CN113420775A (zh) 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法
CN112507904B (zh) 一种基于多尺度特征的教室人体姿态实时检测方法
CN112700476A (zh) 一种基于卷积神经网络的红外船视频跟踪方法
CN111079543B (zh) 一种基于深度学习的高效车辆颜色识别方法
CN115546553A (zh) 一种基于动态特征抽取和属性修正的零样本分类方法
CN111507416A (zh) 一种基于深度学习的吸烟行为实时检测方法
CN111126155A (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN110717068B (zh) 一种基于深度学习的视频检索方法
CN116363532A (zh) 基于注意力机制和重参数化的无人机图像交通目标检测方法
CN116310407A (zh) 一种面向配用电多维业务的异构数据语义提取方法
CN112579813A (zh) 一种基于知识图谱的遥感图像检索方法及其装置
CN116384439B (zh) 一种基于自蒸馏的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant