CN105631479A - 基于非平衡学习的深度卷积网络图像标注方法及装置 - Google Patents

基于非平衡学习的深度卷积网络图像标注方法及装置 Download PDF

Info

Publication number
CN105631479A
CN105631479A CN201511021328.2A CN201511021328A CN105631479A CN 105631479 A CN105631479 A CN 105631479A CN 201511021328 A CN201511021328 A CN 201511021328A CN 105631479 A CN105631479 A CN 105631479A
Authority
CN
China
Prior art keywords
image
layer
degree
neural networks
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201511021328.2A
Other languages
English (en)
Other versions
CN105631479B (zh
Inventor
张文生
杨阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN201511021328.2A priority Critical patent/CN105631479B/zh
Publication of CN105631479A publication Critical patent/CN105631479A/zh
Application granted granted Critical
Publication of CN105631479B publication Critical patent/CN105631479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for recognising patterns
    • G06K9/62Methods or arrangements for pattern recognition using electronic means
    • G06K9/6217Design or setup of recognition systems and techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06K9/6256Obtaining sets of training patterns; Bootstrap methods, e.g. bagging, boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Computing arrangements based on biological models using neural network models
    • G06N3/08Learning methods
    • G06N3/084Back-propagation

Abstract

本发明公开了一种基于非平衡学习的深度卷积网络图像标注方法及装置,该方法包括:步骤1、对于待识别图像做预处理,以获得待识别图像的原始像素;步骤2、将所述待识别图像的原始像素输入至深度卷积神经网络中,得到所述待识别图像的深度特征表示信息;步骤3、利用所述深度特征表示信息预测所述待识别图像的标注信息。本发明所述的图像标注方法,不仅考虑到了图像字典词汇的分布,而且通过深度卷积网络对图像的原始像素进行逐层提取,比传统的标注方法更加精确。

Description

基于非平衡学习的深度卷积网络图像标注方法及装置
技术领域
[0001] 本发明设及图像标注技术领域,尤其设及一种基于非平衡学习的深度卷积网络图 像标注方法。
背景技术
[0002] 大数据时代,人们可W访问获取的信息资源呈现出爆炸式的增长,互联网上每天 都诞生海量的图像和视频信息。为了有效地组织、查询与浏览如此大规模的图像资源,图像 检索技术应运而生。基于文本的图像检索(Text-Based Image Retrieval,TBIR)是一种重 要的图像检索方法。对TBIR来说,它要求用户提交文本作为查询,因此,图像检索需要事先 获取图像的文本语义信息。图像的标签是一种有效获取图像的语义信息的方法,它应用广 泛,例如在社交媒体中大量的图像被用户标记信息。然而互联网上同时存在大量的图像未 被标记信息,因此人们期望利用含有标签图像通过某种算法自动生成缺失信息图像的标 签。因此如何对海量的社交图像进行标注成为网络多媒体领域重要的研究内容。
[0003] 目前主流的图像标注方法主要集中在基于视觉信息的方法,该类方法首先进行底 层特征提取,如图像的SIFT特征,然后利用机器学习模型(聚类,支撑向量机等)来对基于特 征表示的图像进行分类。虽然该类方法在一定程度上取得了较好的效果,然而当前图像标 注方法依旧存在两个不足。首先,图像标注的效果强烈的依赖于人工特征提取的特征表示 能力。图像标注是通过特定的方法图像的底层特征与高层语义特征的映射关系,当获取的 图像底层特征表示能力不足时,无法准确的建立上述映射关系。其次,图像的标注词汇通常 是分布不均匀的,一些通用词汇如"动物"或者"植物"等出现的频率较高,而一些抽象的词 汇如"倒影"或者"打架"等出现频率较低。传统的图像标注算法在标注过程中容易忽略低频 词汇而造成对图像的描述不完备。
[0004] 图像标注的核屯、在于如何提取图像的更本质的特征表示,图像的更本质的特征拥 有更强的表示能力的图像特征,对社交图像的理解有重要的促进作用。然而,如何设计更强 大的图像特征,并考虑到图像类别标签的分布非均匀性,一直是图像标注领域的难点。本发 明提出的基于非平衡学习的深度卷积网络图像标注方法,通过逐层特征提取的方法从图像 的原始像素信息获得图像的深度特征,同时依据图像标签的词频解决了图像标签的分布非 均匀性,对互联网图像标注有着重要作用。
发明内容
[0005] 针对上述问题,为了解决现有技术中存在的上述问题,本发明提出了一种基于非 平衡学习的深度卷积网络图像标注方法及装置。本发明主要解决了现有技术中的两个难 题:特征提取与词汇非均匀分布。
[0006] 根据本发明一方面,提供了一种基于非平衡学习的深度卷积网络图像标注方法, 该方法包括W下步骤:
[0007] 步骤1、对于待识别图像做预处理,W获得待识别图像的原始像素;
[0008] 步骤2、将所述待识别图像的原始像素输入至深度卷积神经网络中,得到所述待识 别图像的深度特征表示信息;
[0009] 步骤3、利用所述深度特征表示信息预测所述待识别图像的标注信息;
[0010] 其中,步骤2中所述深度卷积神经网络为预先训练好的,其通过下述方式训练得 到:
[0011] 步骤201、对于训练集中的训练图像做预处理;
[0012] 步骤202、对于所述训练集中所述训练图像对应的标签计算词频,依据词频获取每 幅训练图像所对应标签的监督信息;
[0013] 步骤203、构建深度卷积神经网络,所述深度卷积神经网络包括多个隐层,所述隐 层包括卷积层、降采样层和全连接层;
[0014] 步骤204、将所述训练集中的训练图像作为所述深度卷积神经网络的输入,通过反 向传播算法有监督的学习所述深度卷积神经网络的网络模型参数;
[0015] 其中,所述网络模型参数包括所述深度卷积神经网络中每层的网络权重和偏置参 数,所述网络权重和所述偏置参数根据每次训练得到的深度卷积神经网络预测的标签分布 和本次训练输入的训练图像所对应标签的监督信息确定的目标函数迭代更新。
[0016] 根据本发明另一方面,提供了一种基于非平衡学习的深度卷积网络图像标注装 置,包括:
[0017] 预处理模块,对于待识别图像做预处理,W获得待识别图像的原始像素;
[0018] 识别模块,将所述待识别图像的原始像素输入至深度卷积神经网络中,得到所述 待识别图像的深度特征表示信息;
[0019] 标注信息输出模块,利用所述深度特征表示信息预测所述待识别图像的标注信 息;
[0020] 其中,识别模块中所述深度卷积神经网络为预先训练好的,其通过下述方式训练 得到:
[0021] 对于训练集中的训练图像做预处理;
[0022] 对于所述训练集中所述训练图像对应的标签计算词频,依据词频获取每幅训练图 像所对应标签的监督信息;
[0023] 构建深度卷积神经网络,所述深度卷积神经网络包括多个隐层,所述隐层包括卷 积层、降采样层和全连接层;
[0024] 将所述训练集中的训练图像作为所述深度卷积神经网络的输入,通过反向传播算 法有监督的学习所述深度卷积神经网络的网络模型参数;
[0025] 其中,所述网络模型参数包括所述深度卷积神经网络中每层的网络权重和偏置参 数,所述网络权重和所述偏置参数根据每次训练得到的深度卷积神经网络预测的标签分布 和本次训练输入的训练图像所对应标签的监督信息确定的目标函数迭代更新。
[0026] 互联网图像标注在很多重要的相关领域已经有了广泛的应用。由于视觉顶层信息 与高层语义之间的语义鸿沟的存在,基于视觉的图像标注是一个具有挑战性的难题。本发 明提出的上述基于非平衡学习的深度卷积网络图像标注方法能够自动对社交图像进行标 注,另外本发明的标注方法比传统的标注方法更加精确。通过逐层特征提取的方法从图像 的原始像素信息获得图像的深度特征,同时依据图像标签的词频解决了图像标签的分布非 均匀性,对互联网图像标注有着重要作用。
附图说明
[0027] 图1是根据本发明一实施例的基于非平衡学习的深度卷积网络图像标注方法的流 程图;
[0028] 图2是根据本发明一实施例的深度卷积网络的模型结构图;
[0029] 图3是根据本发明一实施例的降采样池化过程图。
具体实施方式
[0030] 为使本发明的目的、技术方案和优点更加清楚明白,W下结合具体实施例,并参照 附图1,对本发明进一步详细说明。
[0031] 本发明提出了一种基于非平衡学习的深度卷积网络图像标注方法及装置。
[0032] 首先,本发明构建深度卷积网络提取图像的深度特征。深度卷积网络主要包括Ξ 个组成部分:卷积层,降采样层和全连接层。卷积层用可训练的卷积核去卷积输入的图像 (第一阶段是输入的图像,后面的阶段就是特征图了),然后加一个偏置,得到卷积层。卷积 层在同一特征映射面上的神经元权值相同,降低了网络的复杂性。降采样层将每邻域η个像 素通过池化(pooling)步骤变为一个像素。降采样可W获得某种程度的位移、尺度、形变鲁 棒性。通过全连接层的非线性变换,可W对图像的特征做进一步的抽取。最后考虑到图像标 注词汇之间的相关性,选用Logistic分类器预测图像标签的概率分布。深度卷积网络避免 了对图像显式的特征提取,通过训练数据隐式的学习图像特征。同时深度卷积网络的结构 与图像的拓扑结构相吻合,在处理图像问题上有着独特的优势。
[0033] 其次,本发明利用图像的标签词汇的频率优化卷积神经网络的目标函数。传统图 像标注方法对不同词频的词汇同等对待,造成低频词汇在标注过程中容易丢失。本发明通 过计算图像标签词典中所有词汇的出现频率,优化深度卷积网络的目标函数,对低频的词 汇给予更大的损失权重。运样保证了在整个训练集中,不同词频的词汇造成的损失是平衡 的。
[0034] 本发明所提出的方法所设及的相关数据集包括:1)训练集,其中包括图像W及该 图像所对应的社交标签;2)测试集,仅包括待标注的测试图像,而没有标签信息。
[0035] 考虑到图像底层视觉信息和社交标签信息的异构性,本发明提出了一种基于逐层 标签融合深度网络的图像标注方法。该方法的核屯、思想是在深度网络的框架下,逐层地进 行标签信息和视觉信息的融合,从而学习图像的层级特征,为图像的标注提供特征表示。
[0036] 图1示出了本发明提出的基于非平衡学习的深度卷积网络图像标注方法的流程 图,如图1所示,所述方法包括:
[0037] 步骤1、对于待识别图像做预处理,W获得待识别图像的原始像素;所述预处理包 括尺度变换和标准化,用于提取图像的底层像素特征;其中,所述训练集中包括多个训练图 像W及所述多个训练图像对应的标签;所述底层像素特征包括:图像的灰度值或者RGBS通 道数值等;
[0038] 步骤2、将所述待识别图像的原始像素输入至深度卷积神经网络中,得到所述待识 别图像的深度特征表示信息;
[0039] 步骤3、利用所述深度特征表示信息预测所述待识别图像的标注信息。
[0040] 其中,步骤2中所述深度卷积神经网络为预先训练好的,其包括卷积层、降采样层 和全连接层,其中所述深度卷积神经网络通过下述方式获得:
[0041] 步骤201、对于训练集中的训练图像做预处理,所述预处理包括尺度变换和标准 化,用于提取图像的底层像素特征;其中,所述训练集中包括多个训练图像W及所述多个训 练图像对应的标签;所述底层像素特征包括:图像的灰度值或者RGB^通道数值等;
[0042] 步骤202、对于所述训练集中所述训练图像对应的标签计算词频,依据词频获取每 幅训练图像所对应标签的监督信息;
[0043] 步骤203、构建深度卷积神经网络,所述深度卷积神经网络包括多个隐层,所述隐 层包括卷积层、降采样层和全连接层;
[0044] 步骤204、将所述训练集图像中的训练图像作为所述深度卷积神经网络,通过反向 传播算法学习所述深度卷积神经网络的网络模型参数。
[0045] 下面详细介绍上述步骤的具体执行过程。
[0046] 对于步骤1和201中,对待识别图像和训练集中的训练图像进行同样的预处理。优 选地。所述预处理包括:对图像进行尺度变换和标准化处理,可尺度变换和标准化要求将图 像的尺度变换为标准尺度(如256X256),和对图像的像素值做标准化(训练集中的每幅图 像像素值减去所有图像的均值并除W方差)。本发明优选图像的原始像素点作为所述深度 卷积神经网络的输入,保存了图像最完整的信息,图像的像素特征用X表示。
[0047] 步骤202中,对训练集中的训练图像对应的所有标签构成的标签字典统计词频。 [004引假设训练集中图像数目为N,图像标签字典的长度为M,定义Tl,パi = l,2,...,N;j =1,2,...,M)为第i幅图像的标签信息,其中Τι,j = l表示第i幅图像包含图像标签字典中第 j个标签。第j个标签的出现次数夫
Figure CN105631479AD00081
,那么第i幅图像的监督信息,可由下式计算
[0049]
Figure CN105631479AD00082
[0050] 其中在训练深度卷积网络的时候,监督信息用来计算网络输出与监督信息的偏 差。
[0051] 所述步骤203为利用训练图像,训练深度卷积神经网络的模型参数。
[0052] 步骤203中,构建包含L层隐藏层的深度卷积神经网络,其中包括Lc层卷积层,Ls层 降采样层和Lf层全连接层,一般的Lc = Ls且L = Lc+Ls+Lf。然后,使步骤203中的监督信息对应 为深度卷积网络的监督层(此处所谓的对应指的是将监督信息赋值到监督层上,计算监督 信息¥与网络输出1^1的偏差)。设深度卷积网络各层的变量表示为11=化<\111...北北"}, 其中11<^表示输入图像的底层视觉特征乂,即获取的图像原始像素特征,^(/人...方''''|"";}表示矩 阵特征,Λ...,矿}表示一维向量特征,hW表示深度卷积网络输出的图像标签信息。
[0053] 该步骤是本发明的重要组成部分,图2为根据本发明实施的逐层特征提取的深度 卷积网络的模型结构图,参照图2,图2为卷积神经网络的通用示意图,所述步骤203包括W 下步骤
[0054] 步骤3.1:通过卷积计算提取输入图像的局部特征。所述卷积神经网络中,从hi层 向上到友•,层,在h2k与h2k"层之间构建一个卷积层,其中k = 0, . . .,Lc-l。通过所述卷积变 换可由下层的表示得到上一层表示的映射。
[005引比如,基于h2k与h2k"层之间的卷积变换,由h2k层表示可映射得到h 2k"层的表示:
[0化6]
Figure CN105631479AD00091
[0化7]其中,巧苗+ 1为第化+1层第j个卷积核矩阵(C2k+iXC2k+i的方阵),b2k+i,j为第化+1层 第j个偏置参数,Nk表示第2k+l层卷积核的个数。〇()表示ReLU函数,形式为〇(x)=max(0, X) 〇
[005引运样由h2k层的表示通过映射就可W得到h2k+l的表示。
[0059] 步骤3.2:通过池化对图像的局部特征做降采样。所述卷积神经网络总从h2层向上 到护。-W。'层,在h2k+i与h2k+2层之间构建有一个降采样层,其中k = 〇, . . .,Ls-l。通过所述池化 变换可由下层的表示得到上一层表示的映射。
[0060] 比如,基于h2k+l与h2k+2层之间的池化变换。设池化步长为S2k+2,如图所示,对输入矩 阵h2k"(假定维数为B X C),每隔S2k+2个元素选取S2k+2 X S2k+2区域内的最大值为该区域的输 出,那么输出矩阵h2k"的维数为「6化**2>「(:/&邮1,其中「]表示向上取整。
[0061] 运样由h2k+i层表示可映射得到h2k+2层的表示。具体如图3所示,图3为根据本发明实 施例的降采样池化过程实例示意图。
[0062] 重复执行步骤3.1和3.2中的所述卷积操作和降采样操作,最终输出输入图像的局 部特征;
[0063] 步骤3.3:通过全连接层对所提取的局部特征做进一步的逐层特征提取。所述卷积 神经网络从沁cA,层到层,在每相邻两层之间构建一个非线性变换,通过所述非线 性变换可由下一层的表示得到上一层表示的映射;
[0064] 比如,基于沪心*和於-心*"层之间的非线性变换,由於心4层的表示可映射得 到於。+WW层的表示:
[00 化]
Figure CN105631479AD00092
[0066] 其中,化心A-+1为第Lc+Ls+k+1层的变换权重,-心h-1为第Lc+Ls+k+1层的偏置参 数,0 0表示ReLU函数,形式如步骤3.2所示。
[0067] 运样由妒层的表示通过映射就可W得到於Ww+w的表示。
[0068] 步骤3.4:通过分类器层预测图像的标签分布。从l·/层到hW层构建一个logistic (逻辑斯蒂克)分类器,通过所述分类器可W得到网络的输出hW:
[0069] hL" = f(hLXWL+l+bL+l)
[0070] 其中,Wl+1为第L+1层的变换权重,bw为第L+1层的偏置参数,f()表示logistic函 数,具体形式为f(x) = l/(l+e-〇
[0071] 运样hW层网络可W看出图像标签的分布概率。
[0072] 所述步骤204中定义深度卷积网络的目标函数J,并通过反向传播算法有监督的最 小化该目标函数,即利用前面得到的监督信息来最小化所述目标函数,从而整体优化整个 卷积网络的参数。
[0073]网络的目标函数J定义为步骤202中计算得到的监督信息Y与深度卷积网络预测的 标签分布hW的交叉赌:
[0074] J = -[(Y l0g(hL")) + (l-Y)l0g(l-hL")]
[0075]其中,利用梯度下降算法来最小化目标函数J,从而W迭代的方式对(W,b)进行调 整:
Figure CN105631479AD00101
[0078] 其中,λ为参数更新的学习率,Wi为卷积层和全连接层中的权重,bi为卷积层和全连 接层中的偏置。对于上式的求解方法在Rume化art等人1986年发表在化ture上的文章" Le曰rning representations by b曰ck-prop曰g曰ting errors"中有具体介绍。
[0079] 步骤2中,利用训练好的深度卷积神经网络,获得待识别图像的深度特征表示信息 化 1,...北)。
[0080] 步骤3中,利用所述深度卷积神经网络得到的待识别图像的深度特征表示信息,作 为分类器的输出得到测试图像的标签信息的分布:hL" = f化Lxww+bw)。
[0081] 之后对待识别图像的标签信息的概率分布护1进行排序,将前K个且《的词 汇作为待识别图像的标签,其中,ξ为标签生成的概率阔值,一般设为0.1。
[0082] W上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详 细说明,应理解的是,W上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在 本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护 范围之内。

Claims (8)

1. 一种基于非平衡学习的深度卷积网络图像标注方法,其特征在于,该方法包括以下 步骤: 步骤1、对于待识别图像做预处理,以获得待识别图像的原始像素; 步骤2、将所述待识别图像的原始像素输入至深度卷积神经网络中,得到所述待识别图 像的深度特征表示信息; 步骤3、利用所述深度特征表示信息预测所述待识别图像的标注信息; 其中,步骤2中所述深度卷积神经网络为预先训练好的,其通过下述方式训练得到: 步骤201、对于训练集中的训练图像做预处理; 步骤202、对于所述训练集中所述训练图像对应的标签计算词频,依据词频获取每幅训 练图像所对应标签的监督信息; 步骤203、构建深度卷积神经网络,所述深度卷积神经网络包括多个隐层,所述隐层包 括卷积层、降采样层和全连接层; 步骤204、将所述训练集中的训练图像作为所述深度卷积神经网络的输入,通过反向传 播算法有监督的学习所述深度卷积神经网络的网络模型参数; 其中,所述网络模型参数包括所述深度卷积神经网络中每层的网络权重和偏置参数, 所述网络权重和所述偏置参数根据每次训练得到的深度卷积神经网络预测的标签分布和 本次训练输入的训练图像所对应标签的监督信息确定的目标函数迭代更新。
2. 如权利要求1所述的方法,其中步骤202中每幅训练图像所对应标签的监督信息如下 计算: 假设训练集中训练图像数目为N,图像标签字典的长度为M,定义Tlu(i = l,2,...,N;j =1,2,. . .,M)为第i幅图像的标签信息,其中T1U = 1表示第i幅图像包含标图像标签字典中 第j个标签,第j个标签的出现次数为,那么第i幅图像的监督信息,可由下式计 算: 、 J
Figure CN105631479AC00021
'
3. 如权利要求1所述的方法,其中,步骤203中所构建的深度卷积神经网络包括Lc层卷积 层,Ls层降采样层和Lf层全连接层,其中Lc = Ls,所构建的深度卷积神经网络的中间层数L = Lc+Ls+Lf;深度卷积网络各层的变量表示为hzlh'h1. . .,h、hU1},其中#表示输入图像的 图像原始像素特征,表示矩阵特征,^表示一维向量特征,hl+1表 示深度卷积神经网络输出的图像标签信息。
4. 如权利要求3所述的方法,其中,步骤203具体包括: 步骤2031:在h24h2k+1层之间构建卷积映射,其中k = 0,. . .,Lc-l,所述卷积映射如下表 示:
Figure CN105631479AC00022
其中,为第2k+l层第j个卷积核矩阵,b2k+1,j为第2k+l层第j个偏置参数,Nk表示第 2k+l层卷积核的个数;σ ()表示ReLU函数,形式为σ (X) =max(0,X); 步骤2032:在h2k+1与h2k+2层之间构建池化映射,以将h2k+1层表示映射得到h 2k+2层的表示, 其中k = 0, · · ·,Ls_l; 步骤2033:从/^~层到~层,在每相邻两层之间构建一个非线性变换,通过所述 非线性变换由/产心+<层的表示得到/产·~"的表示,其中k = 0,. . .,LS-1; 步骤2034:从层到hl+1层构建一个分类器,通过所述分类器得到深度卷积神经网络的 输出hul: hL+1 = f(hLXffL+i+bL+i) 其中,WL+1为第L+1层的变换权重,bL+1为第L+1层的偏置参数,f(X) = l/(l+erx)。
5. 如权利要求1所述的方法,其中,步骤2中所述深度卷积神经网络对所输入的待识别 图像进行如下的识别过程: 利用所述深度卷积神经网络中的卷积层和降采样层对所输入的待识别图像逐层提取 输入图像的局部特征; 步骤2032;将所提取的局部特征利用所述深度卷积神经网络中的多个全连接层做进一 步的特征提取; 步骤2033:将最后一个全连接层输出的特征作为所述深度卷积神经网络的输出,即所 述待识别图像的深度特征表示信息。
6. 如权利要求1所述的方法,其中,所述步骤204包括: 步骤2041:应用所述深度卷积神经网络输出的预测标签与训练图像的真实标签之间的 交叉熵损失来定义所述深度卷积神经网络的目标函数; 步骤2042:通过反向传播算法,最小化所述深度卷积神经网络的目标函数,更新网络模 型参数。
7. 如权利要求6所述的方法,其中,步骤2014中所述目标函数定义为所述监督信息与所 述深度卷积神经网络输出的预测标签的交叉墒: J = -[(Y log(hL+1)) + (l-Y)log(l-hL+1)] 其中,J为目标函数,hl+1为所述深度卷积神经网络输出的预测标签,Y为所述监督信息; 步骤2042中利用梯度下降算法最小化所述目标函数,从而迭代的方式对所述网络模型 参数进行如下更新:
Figure CN105631479AC00031
其中,λ为参数更新的学习率为所述深度卷积神经网络中卷积层和全连接层中的权 重,匕为所述深度卷积神经网络中卷积层和全连接层中的偏置。
8. -种基于非平衡学习的深度卷积网络图像标注装置,其特征在于,包括: 预处理模块,对于待识别图像做预处理,以获得待识别图像的原始像素; 识别模块,将所述待识别图像的原始像素输入至深度卷积神经网络中,得到所述待识 别图像的深度特征表示信息; 标注信息输出模块,利用所述深度特征表示信息预测所述待识别图像的标注信息; 其中,识别模块中所述深度卷积神经网络为预先训练好的,其通过下述方式训练得到: 对于训练集中的训练图像做预处理; 对于所述训练集中所述训练图像对应的标签计算词频,依据词频获取每幅训练图像所 对应标签的监督信息; 构建深度卷积神经网络,所述深度卷积神经网络包括多个隐层,所述隐层包括卷积层、 降采样层和全连接层; 将所述训练集中的训练图像作为所述深度卷积神经网络的输入,通过反向传播算法有 监督的学习所述深度卷积神经网络的网络模型参数; 其中,所述网络模型参数包括所述深度卷积神经网络中每层的网络权重和偏置参数, 所述网络权重和所述偏置参数根据每次训练得到的深度卷积神经网络预测的标签分布和 本次训练输入的训练图像所对应标签的监督信息确定的目标函数迭代更新。
CN201511021328.2A 2015-12-30 2015-12-30 基于非平衡学习的深度卷积网络图像标注方法及装置 Active CN105631479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511021328.2A CN105631479B (zh) 2015-12-30 2015-12-30 基于非平衡学习的深度卷积网络图像标注方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511021328.2A CN105631479B (zh) 2015-12-30 2015-12-30 基于非平衡学习的深度卷积网络图像标注方法及装置

Publications (2)

Publication Number Publication Date
CN105631479A true CN105631479A (zh) 2016-06-01
CN105631479B CN105631479B (zh) 2019-05-17

Family

ID=56046391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511021328.2A Active CN105631479B (zh) 2015-12-30 2015-12-30 基于非平衡学习的深度卷积网络图像标注方法及装置

Country Status (1)

Country Link
CN (1) CN105631479B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295547A (zh) * 2016-08-05 2017-01-04 深圳市商汤科技有限公司 一种图像比对方法及图像比对装置
CN106650813A (zh) * 2016-12-27 2017-05-10 华南理工大学 一种基于深度残差网络和lstm的图像理解方法
CN106778682A (zh) * 2017-01-11 2017-05-31 厦门中控生物识别信息技术有限公司 一种卷积神经网络模型的训练方法及其设备
CN107203598A (zh) * 2017-05-08 2017-09-26 广州智慧城市发展研究院 一种实现图像转换标签的方法及系统
CN107463960A (zh) * 2017-08-07 2017-12-12 石林星 一种图像识别方法及装置
CN107729992A (zh) * 2017-10-27 2018-02-23 深圳市未来媒体技术研究院 一种基于反向传播的深度学习方法
CN107833209A (zh) * 2017-10-27 2018-03-23 浙江大华技术股份有限公司 一种x光图像检测方法、装置、电子设备及存储介质
CN107862387A (zh) * 2017-12-05 2018-03-30 深圳地平线机器人科技有限公司 训练有监督机器学习的模型的方法和装置
CN107909114A (zh) * 2017-11-30 2018-04-13 深圳地平线机器人科技有限公司 训练有监督机器学习的模型的方法和装置
CN108805196A (zh) * 2018-06-05 2018-11-13 西安交通大学 用于图像识别的自动增量学习方法
CN109086463A (zh) * 2018-09-28 2018-12-25 武汉大学 一种基于区域卷积神经网络的问答社区标签推荐方法
CN109191515A (zh) * 2018-07-25 2019-01-11 北京市商汤科技开发有限公司 一种图像视差估计方法及装置、存储介质
CN109299291A (zh) * 2018-09-28 2019-02-01 武汉大学 一种基于卷积神经网络的问答社区标签推荐方法
CN109472360A (zh) * 2018-10-30 2019-03-15 北京地平线机器人技术研发有限公司 神经网络的更新方法、更新装置和电子设备
CN110163208A (zh) * 2019-05-22 2019-08-23 长沙学院 一种基于深度学习的场景文字检测方法和系统
CN110794254A (zh) * 2018-08-01 2020-02-14 北京映翰通网络技术股份有限公司 一种基于强化学习的配电网故障预测方法及系统
US10685263B2 (en) 2018-02-26 2020-06-16 Industrial Technology Research Institute System and method for object labeling
WO2021128230A1 (zh) * 2019-12-27 2021-07-01 上海昕健医疗技术有限公司 基于深度学习的医学图像处理方法、系统以及计算机设备
US11328180B2 (en) 2018-10-30 2022-05-10 Beijing Horizon Robotics Technology Research And Development Co., Ltd. Method for updating neural network and electronic device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021224A (zh) * 2014-06-25 2014-09-03 中国科学院自动化研究所 基于逐层标签融合深度网络的图像标注方法
CN104361363A (zh) * 2014-11-25 2015-02-18 中国科学院自动化研究所 深度反卷积特征学习网络、生成方法及图像分类方法
US20150139485A1 (en) * 2013-11-15 2015-05-21 Facebook, Inc. Pose-aligned networks for deep attribute modeling
CN105046272A (zh) * 2015-06-29 2015-11-11 电子科技大学 一种基于简洁非监督式卷积网络的图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150139485A1 (en) * 2013-11-15 2015-05-21 Facebook, Inc. Pose-aligned networks for deep attribute modeling
CN104021224A (zh) * 2014-06-25 2014-09-03 中国科学院自动化研究所 基于逐层标签融合深度网络的图像标注方法
CN104361363A (zh) * 2014-11-25 2015-02-18 中国科学院自动化研究所 深度反卷积特征学习网络、生成方法及图像分类方法
CN105046272A (zh) * 2015-06-29 2015-11-11 电子科技大学 一种基于简洁非监督式卷积网络的图像分类方法

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295547A (zh) * 2016-08-05 2017-01-04 深圳市商汤科技有限公司 一种图像比对方法及图像比对装置
CN106650813A (zh) * 2016-12-27 2017-05-10 华南理工大学 一种基于深度残差网络和lstm的图像理解方法
CN106778682B (zh) * 2017-01-11 2019-07-09 厦门中控智慧信息技术有限公司 一种卷积神经网络模型的训练方法及其设备
CN106778682A (zh) * 2017-01-11 2017-05-31 厦门中控生物识别信息技术有限公司 一种卷积神经网络模型的训练方法及其设备
CN107203598A (zh) * 2017-05-08 2017-09-26 广州智慧城市发展研究院 一种实现图像转换标签的方法及系统
CN107463960A (zh) * 2017-08-07 2017-12-12 石林星 一种图像识别方法及装置
CN107729992B (zh) * 2017-10-27 2020-12-29 深圳市未来媒体技术研究院 一种基于反向传播的深度学习方法
CN107729992A (zh) * 2017-10-27 2018-02-23 深圳市未来媒体技术研究院 一种基于反向传播的深度学习方法
CN107833209A (zh) * 2017-10-27 2018-03-23 浙江大华技术股份有限公司 一种x光图像检测方法、装置、电子设备及存储介质
CN107833209B (zh) * 2017-10-27 2020-05-26 浙江大华技术股份有限公司 一种x光图像检测方法、装置、电子设备及存储介质
CN107909114B (zh) * 2017-11-30 2020-07-17 深圳地平线机器人科技有限公司 训练有监督机器学习的模型的方法和装置
CN107909114A (zh) * 2017-11-30 2018-04-13 深圳地平线机器人科技有限公司 训练有监督机器学习的模型的方法和装置
CN107862387A (zh) * 2017-12-05 2018-03-30 深圳地平线机器人科技有限公司 训练有监督机器学习的模型的方法和装置
US10685263B2 (en) 2018-02-26 2020-06-16 Industrial Technology Research Institute System and method for object labeling
CN108805196A (zh) * 2018-06-05 2018-11-13 西安交通大学 用于图像识别的自动增量学习方法
CN109191515A (zh) * 2018-07-25 2019-01-11 北京市商汤科技开发有限公司 一种图像视差估计方法及装置、存储介质
CN110794254A (zh) * 2018-08-01 2020-02-14 北京映翰通网络技术股份有限公司 一种基于强化学习的配电网故障预测方法及系统
CN110794254B (zh) * 2018-08-01 2022-04-15 北京映翰通网络技术股份有限公司 一种基于强化学习的配电网故障预测方法及系统
CN109086463B (zh) * 2018-09-28 2022-04-29 武汉大学 一种基于区域卷积神经网络的问答社区标签推荐方法
CN109299291A (zh) * 2018-09-28 2019-02-01 武汉大学 一种基于卷积神经网络的问答社区标签推荐方法
CN109086463A (zh) * 2018-09-28 2018-12-25 武汉大学 一种基于区域卷积神经网络的问答社区标签推荐方法
CN109299291B (zh) * 2018-09-28 2022-04-29 武汉大学 一种基于卷积神经网络的问答社区标签推荐方法
CN109472360A (zh) * 2018-10-30 2019-03-15 北京地平线机器人技术研发有限公司 神经网络的更新方法、更新装置和电子设备
CN109472360B (zh) * 2018-10-30 2020-09-04 北京地平线机器人技术研发有限公司 神经网络的更新方法、更新装置和电子设备
US11328180B2 (en) 2018-10-30 2022-05-10 Beijing Horizon Robotics Technology Research And Development Co., Ltd. Method for updating neural network and electronic device
CN110163208A (zh) * 2019-05-22 2019-08-23 长沙学院 一种基于深度学习的场景文字检测方法和系统
WO2021128230A1 (zh) * 2019-12-27 2021-07-01 上海昕健医疗技术有限公司 基于深度学习的医学图像处理方法、系统以及计算机设备

Also Published As

Publication number Publication date
CN105631479B (zh) 2019-05-17

Similar Documents

Publication Publication Date Title
CN105631479A (zh) 基于非平衡学习的深度卷积网络图像标注方法及装置
CN108182295A (zh) 一种企业知识图谱属性抽取方法及系统
CN107908671A (zh) 基于法律数据的知识图谱构建方法及系统
CN103440287B (zh) 一种基于产品信息结构化的Web问答检索系统
CN105117429A (zh) 基于主动学习和多标签多示例学习的场景图像标注方法
CN104318340A (zh) 基于文本履历信息的信息可视化方法及智能可视分析系统
CN110110080A (zh) 文本分类模型训练方法、装置、计算机设备及存储介质
CN107832458B (zh) 一种字符级的基于嵌套深度网络的文本分类方法
CN103778407A (zh) 一种迁移学习框架下基于条件随机场的手势识别算法
CN108197294A (zh) 一种基于深度学习的文本自动生成方法
CN107346327A (zh) 基于监督转移的零样本哈希图片检索方法
CN107729312A (zh) 基于序列标注建模的多粒度分词方法及系统
CN103324954A (zh) 一种基于树结构的图像分类方法及其系统
CN112733866A (zh) 一种提高可控图像文本描述正确性的网络构建方法
CN107239532B (zh) 数据挖掘方法及装置
CN108629367A (zh) 一种基于深度网络增强服装属性识别精度的方法
CN107590262A (zh) 大数据分析的半监督学习方法
CN111209362A (zh) 基于深度学习的地址数据解析方法
CN103440651B (zh) 一种基于秩最小化的多标签图像标注结果融合方法
CN104331717A (zh) 一种整合特征字典结构与视觉特征编码的图像分类方法
CN102034102B (zh) 图像显著对象提取方法、互补显著度图学习方法及系统
CN113128233A (zh) 一种心理疾病知识图谱的构建方法及系统
CN111026880B (zh) 基于联合学习的司法知识图谱构建方法
CN104809105A (zh) 基于最大熵的事件论元及论元角色的识别方法及系统
CN111523420A (zh) 基于多任务深度神经网络的表头分类与表头列语义识别方法

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
GR01 Patent grant