CN110490236A - 基于神经网络的自动图像标注方法、系统、装置和介质 - Google Patents

基于神经网络的自动图像标注方法、系统、装置和介质 Download PDF

Info

Publication number
CN110490236A
CN110490236A CN201910690299.0A CN201910690299A CN110490236A CN 110490236 A CN110490236 A CN 110490236A CN 201910690299 A CN201910690299 A CN 201910690299A CN 110490236 A CN110490236 A CN 110490236A
Authority
CN
China
Prior art keywords
image
label
neighborhood
marked
labels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910690299.0A
Other languages
English (en)
Other versions
CN110490236B (zh
Inventor
陈灯
吴琼
魏巍
张彦铎
吴云韬
李晓林
于宝成
鞠剑平
刘玮
段功豪
彭丽
周华兵
唐剑影
李迅
徐文霞
王逸文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Chuang Yi Ling Technology Co Ltd
Wuhan Yin Hang Science And Technology Ltd
Wuhan Institute of Technology
Original Assignee
Wuhan Chuang Yi Ling Technology Co Ltd
Wuhan Yin Hang Science And Technology Ltd
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Chuang Yi Ling Technology Co Ltd, Wuhan Yin Hang Science And Technology Ltd, Wuhan Institute of Technology filed Critical Wuhan Chuang Yi Ling Technology Co Ltd
Priority to CN201910690299.0A priority Critical patent/CN110490236B/zh
Publication of CN110490236A publication Critical patent/CN110490236A/zh
Application granted granted Critical
Publication of CN110490236B publication Critical patent/CN110490236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于神经网络的自动图像标注方法、系统、装置和介质，利用预先训练好的卷积神经网络模型提取实验数据集的图像特征；根据图像特征，在训练集中计算得到待标注图像的邻域图像集和对应的第一标签域；构建第一标签域与训练集对应的第二标签域之间的标签语义关联模型，根据标签语义关联模型，在第二标签域中计算得到与每个第一标签相关联的第三标签域；计算待标注图像与每个邻域图像之间的相似度，根据所有相似度得到每个第一标签成为目标标签的第一概率，并根据所有第一概率和标签语义关联模型得到每个第三标签成为目标标签的第二概率；根据所有相似度、所有第一概率和所有第二概率，得到目标标签，并根据目标标签完成标注。

Description

基于神经网络的自动图像标注方法、系统、装置和介质
技术领域
本发明涉及计算机视觉和人工智能技术领域，尤其涉及一种基于神经网 络的自动图像标注方法、系统、装置和介质。
背景技术
自动图像标注方法被认为是解决原始图像及其语义信息之间语义鸿沟 问题的一种有效方案，它是通过利用已经标注好关键词的训练集图像自动学 习语义概念空间与视觉特征空间之间的潜在对应关系或映射模型，然后可以 通过构造的映射模型来预测未标注的图像的语义信息。
现有的一些方法都是通过传统的机器学习算法来构建语义概念空间到 视觉特征空间的映射，例如，通过利用改进的FCM聚类算法将不同语义的 图像数据集划分为不同的类，然后通过计算找到图像到类中聚类中心距离最 近的一个类，统计类中出现次数最多的标注词即为图像的标注词；再例如， 通过卷积神经网络提取图像特征，然后根据视觉距离计算邻域图像各个标签 的贡献值并排序得到语义的关键词。
但是上述这些通过机器学习的模型来解决原始图像及其语义信息之间 鸿沟问题的方法，都有一定的缺陷。通过聚类的方法选取与聚类中心近的图 像的标签，通过传递最近邻的图像的标签来实现图像标注，这些聚类和最近 邻的方法虽然可以实现自动图像标注，但是都只考虑了图像与图像之间的关 系，而没有考虑到标签与标签之间的关系，且缺少对标签数量的预测，然而 在实际中，标签之间的关系也是预测图像的语义信息中的一个很重要的因 素。因此，上述两种利用聚类和最近邻的方法实现自动图像标注的方法，虽 然一定程度解决了原始图像及其语义信息之间的鸿沟问题，但是其标注准确 率不高，标注效果不佳。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于 神经网络的自动图像标注方法、系统、装置和介质，不仅考虑了图像与图像 之间的关系，还考虑到标签与标签之间的关系，有效提高了标注准确率，标 注效果好。
本发明解决上述技术问题的技术方案如下：
一种基于神经网络的自动图像标注方法，包括以下步骤：
获取实验数据集，并利用预先训练好的卷积神经网络模型提取所述实验 数据集的图像特征；
从所述实验数据集的测试集中获取待标注图像，并根据所述图像特征， 在所述实验数据集的训练集中，采用k近邻方法计算得到所述待标注图像的 邻域图像集和与所述邻域图像集对应的第一标签域；
构建所述第一标签域与所述训练集对应的第二标签域之间的标签语义 关联模型，根据所述标签语义关联模型，在所述第二标签域中计算得到与所 述第一标签域中每个第一标签相关联的第三标签域；
计算所述待标注图像与所述邻域图像集中每个邻域图像之间的相似度， 根据所有相似度得到所述第一标签域中每个第一标签成为所述待标注图像 的目标标签的第一概率，并根据所有第一概率和所述标签语义关联模型得到 所述第三标签域中每个第三标签成为所述待标注图像的所述目标标签的第 二概率；
根据所有相似度、所有第一概率和所有第二概率，得到所述待标注图像 的所述目标标签，并根据所述目标标签完成自动图像标注。
本发明的有益效果是：首先利用训练好的卷积深度网络模型提取实验数 据集的深层次的图像特征，充分利用了图像与图像之间的关系；实验数据集 分为训练集和测试集，由于k近邻方法使用的模型对应于特征空间的划分， 因此再根据图像特征，利用k近邻方法，可以在训练集的特征空间中，将与 待标注图像具有相同特征的图像划分在一个类别中，即得到待标注图像的邻 域图像集及其对应的第一标签域，充分了考虑图像与标签之间的关系；再通 过第一标签域与训练集对应的第二标签域之间的标签语义关联模型，得到与第一标签域中每个第一标签相关联的第三标签域，则充分考虑了标签与标签 之间的关系；再结合相似度(即每个邻域图像与所述待标注图像之间的相似 度)和概率模型(即每个第一标签成为目标标签的第一概率以及每个第三标 签成为目标标签的第二概率)，对待标注图像的目标标签进行预测；由于第 一标签域为待标注图像的邻域图像集对应的标签域，则训练集对应的第二标 签域包含第一标签域，而由于第三标签域为第二标签域中与第一标签域有关 联的标签组成的集合，则第二标签域也包含第三标签域且第三标签域与第一 标签域有紧密的语义关联关系，因此结合相似度和概率模型对待标注图像的 目标标签进行预测的准确率得到了显著提高，从而大大提高了标注的准确 率，使得自动图像标注的效果更佳，更好地解决了图像及其语义信息之间的 鸿沟问题。
在上述技术方案的基础上，本发明还可以做如下改进：
进一步：在获取所述实验数据集之后还包括以下步骤：
获取ImageNet数据集，对所述ImageNet数据集进行训练，得到训练模 型；
利用所述训练模型对所述实验数据集进行迁移学习，得到训练好的所述 卷积神经网络模型。
进一步：得到所述邻域图像集和与所述邻域图像集对应的所述第一标签 域的具体步骤包括：
根据所述图像特征，计算所述待标注图像与所述训练集中每个训练图像 之间的欧式距离；
将所有欧式距离按照从小到大的顺序排序，得到距离序列，并从所述距 离序列的前端开始连续选取k个欧式距离，根据k个欧式距离一一对应的训 练图像得到所述邻域图像集；
根据所述邻域图像集得到与所述邻域图像集对应的第一标签域。
进一步：所述第二标签域中的第i个第二标签与所述第一标签域中的第 j个第一标签之间的所述标签语义关联模型具体为：
其中，wi为所述第二标签域中的第i个第二标签，wj为所述第一标签域 中的第j个第一标签，I(wi)为在所述训练集中，出现第i个第二标签的第二 图像集合，I(wj)为在所述邻域图像集中，出现第j个第一标签的第一图像集 合，p1(wi|wj)为第i个第二标签与第j个第一标签之间的标签语义关联概率；
在所述第二标签域中，计算与所述第一标签域中的第j个第一标签相关 联的第三标签的具体公式为：
进一步：计算所述待标注图像与所述邻域图像集中第t个邻域图像之间 的相似度的具体公式为：
其中，smr(·)为相似度函数，f为所述待标注图像，ft为所述邻域图像 集中第t个邻域图像，为欧式距离对相似度的影响系数，dis(f,ft)为所述待 标注图像与第t个邻域图像之间的欧式距离；
计算所述第一标签域中的第j个第一标签成为所述待标注图像的所述目 标标签的第一概率的具体公式为：
其中，
其中，p1(wj|f)为第j个第一标签成为所述目标标签的第一概率， p1(f|wj)为第一概率的倒数，W1为所述第一标签域，G为所述邻域图像集， p2(wj|ft)为第j个第一标签相对于第t个邻域图像的贡献值控制函数，当第t 个邻域图像中包含第j个第一标签时，p2(wj|ft)＝1，当第t个邻域图像中不 包含第j个第一标签时，p2(wj|ft)＝0；
计算所述第三标签域中的第r个第三标签成为所述待标注图像的所述目 标标签的第二概率的具体公式为：
其中，wr为所述第三标签域中的第r个第三标签，p2(wr|f)为第r个第 三标签成为所述待标注图像的目标标签的第二概率。
进一步：得到所述待标注图像的所述目标标签的具体步骤包括：
将所有相似度按照从大到小的顺序排序，得到相似度序列，从所述相似 度序列的前端开始连续选取预设数量的相似度，并根据预设数量的相似度一 一对应的邻域图像得到相似图像集；
根据所述相似图像集中的所有邻域图像分别与所述待标注图像之间的 相似度，以及所有邻域图像一一对应的第一标签数量，计算得到所述待标注 图像的目标标签数量；
将所有第一概率和所有第二概率按照从大到小的顺序排序，得到概率序 列，从所述概率序列的前端开始，按照所述目标标签数量连续选取对应个数 的概率，并将选取的所有概率一一对应的第一标签或/和第二标签均作为所述 目标标签。
进一步：当从所述相似度序列的前端开始选取两个相似度时，计算所述 待标注图像的目标标签数量的具体公式为：
其中，n为所述目标标签数量，f1和f2分别为所述相似图像集中的两个 邻域图像，smr(f,f1)和smr(f,f2)分别为所述相似图像集中的两个邻域图像分 别与所述待标注图像之间的相似度，x1和x2分别为所述相似图像集中的两个 邻域图像一一对应的第一标签数量；
当从所述相似度序列的前端开始选取a个相似度时，计算所述待标注图 像的目标标签数量的具体公式为：
其中，fa别为所述相似图像集中的第a个邻域图像，smr(f,fa)为所述相 似图像集中的第a个邻域图像与所述待标注图像之间的相似度，xa为所述相 似图像集中的第a个邻域图像对应的第一标签数量。
依据本发明的另一方面，提供了一种基于神经网络的自动图像标注系 统，包括获取模块、提取模块、计算模块和标注模块：
所述获取模块用于获取实验数据集；
所述提取模块用于利用预先训练好的卷积神经网络模型提取所述实验 数据集的图像特征；
所述获取模块还用于从所述实验数据集的测试集中获取待标注图像；
所述计算模块用于根据所述图像特征，在所述实验数据集的训练集中， 采用k近邻方法计算得到所述待标注图像的邻域图像集和与所述邻域图像集 对应的第一标签域；
所述计算模块还用于构建所述第一标签域与所述训练集对应的第二标 签域之间的标签语义关联模型，根据所述标签语义关联模型，在所述第二标 签域中计算得到与所述第一标签域中每个第一标签相关联的第三标签域；
所述计算模块还用于计算所述待标注图像与所述邻域图像集中每个邻 域图像之间的相似度，根据所有相似度得到所述第一标签域中每个第一标签 成为所述待标注图像的目标标签的第一概率，并根据所有第一概率和所述标 签语义关联模型得到所述第三标签域中每个第三标签成为所述待标注图像 的所述目标标签的第二概率；
所述计算模块还用于根据所有相似度、所有第一概率和所有第二概率， 得到所述待标注图像的所述目标标签；
所述标注模块，用于所述目标标签完成自动图像标注。
本发明的有益效果是：通过获取模块获取实验数据集，将实验数据集分 为训练集和测试集中，再通过获取模块在测试集中获取待标注图像，通过提 取模块利用训练好的卷积深度网络模型提取实验数据集的深层次的图像特 征，充分利用了图像与图像之间的关系；再通过计算模块根据图像特征，利 用k近邻方法，可以在训练集的特征空间中，将与待标注图像具有相同特征 的图像划分在一个类别中，即得到待标注图像的邻域图像集及其对应的第一 标签域，充分了考虑图像与标签之间的关系；通过计算模块根据第一标签域与训练集对应的第二标签域之间的标签语义关联模型，得到与第一标签域中 每个第一标签相关联的第三标签域，则充分考虑了标签与标签之间的关系； 最后再通过计算模块结合相似度和概率模型对待标注图像的目标标签进行 预测，预测准确率得到了显著提高，从而大大提高了标注的准确率，使得自 动图像标注的效果更佳，更好地解决了图像及其语义信息之间的鸿沟问题。
在上述技术方案的基础上，本发明还可以做如下改进：
进一步：还包括训练模块，所述训练模块具体用于：
获取ImageNet数据集，对所述ImageNet数据集进行训练，得到训练模 型；
利用所述训练模型对所述实验数据集进行迁移学习，得到训练好的所述 卷积神经网络模型。
进一步：所述计算模块具体用于：
根据所述图像特征，计算所述待标注图像与所述训练集中每个训练图像 之间的欧式距离；
将所有欧式距离按照从小到大的顺序排序，得到距离序列，并从所述距 离序列的前端开始连续选取k个欧式距离，根据k个欧式距离一一对应的训 练图像得到所述邻域图像集；
根据所述邻域图像集得到与所述邻域图像集对应的第一标签域。
进一步：所述第二标签域中的第i个第二标签与所述第一标签域中的第 j个第一标签之间的所述标签语义关联模型具体为：
其中，wi为所述第二标签域中的第i个第二标签，wj为所述第一标签域 中的第j个第一标签，I(wi)为在所述训练集中，出现第i个第二标签的第二 图像集合，I(wj)为在所述邻域图像集中，出现第j个第一标签的第一图像集 合，p1(wi|wj)为第i个第二标签与第j个第一标签之间的标签语义关联概率；
在所述第二标签域中，计算与所述第一标签域中的第j个第一标签相关 联的第三标签的具体公式为：
进一步：计算所述待标注图像与所述邻域图像集中第t个邻域图像之间 的相似度的具体公式为：
其中，smr(·)为相似度函数，f为所述待标注图像，ft为所述邻域图像 集中第t个邻域图像，为欧式距离对相似度的影响系数，dis(f,ft)为所述待 标注图像与第t个邻域图像之间的欧式距离；
计算所述第一标签域中的第j个第一标签成为所述待标注图像的所述目 标标签的第一概率的具体公式为：
其中，
其中，p1(wj|f)为第j个第一标签成为所述目标标签的第一概率， p1(f|wj)为第一概率的倒数，W1为所述第一标签域，G为所述邻域图像集， p2(wj|ft)为第j个第一标签相对于第t个邻域图像的贡献值控制函数，当第t 个邻域图像中包含第j个第一标签时，p2(wj|ft)＝1，当第t个邻域图像中不 包含第j个第一标签时，p2(wj|ft)＝0；
计算所述第三标签域中的第r个第三标签成为所述待标注图像的所述目 标标签的第二概率的具体公式为：
其中，wr为所述第三标签域中的第r个第三标签，p2(wr|f)为第r个第 三标签成为所述待标注图像的目标标签的第二概率。
进一步：所述计算模块还具体用于：
将所有相似度按照从大到小的顺序排序，得到相似度序列，从所述相似 度序列的前端开始连续选取预设数量的相似度，并根据预设数量的相似度一 一对应的邻域图像得到相似图像集；
根据所述相似图像集中的所有邻域图像分别与所述待标注图像之间的 相似度，以及所有邻域图像一一对应的第一标签数量，计算得到所述待标注 图像的目标标签数量；
将所有第一概率和所有第二概率按照从大到小的顺序排序，得到概率序 列，从所述概率序列的前端开始，按照所述目标标签数量连续选取对应个数 的概率，并将选取的所有概率一一对应的第一标签或/和第二标签均作为所述 目标标签。
进一步：当从所述相似度序列的前端开始选取两个相似度时，计算所述 待标注图像的目标标签数量的具体公式为：
其中，n为所述目标标签数量，f1和f2分别为所述相似图像集中的两个 邻域图像，smr(f,f1)和smr(f,f2)分别为所述相似图像集中的两个邻域图像分 别与所述待标注图像之间的相似度，x1和x2分别为所述相似图像集中的两个 邻域图像一一对应的第一标签数量；
当从所述相似度序列的前端开始选取a个相似度时，计算所述待标注图 像的目标标签数量的具体公式为：
其中，fa别为所述相似图像集中的第a个邻域图像，smr(f,fa)为所述相 似图像集中的第a个邻域图像与所述待标注图像之间的相似度，xa为所述相 似图像集中的第a个邻域图像对应的第一标签数量。
依据本发明的另一方面，提供了一种基于卷积神经网络的自动图像标注 装置，包括处理器、存储器和存储在所述存储器中且可运行在所述处理器上 的计算机程序，所述计算机程序运行时实现本发明的一种基于神经网络的自 动图像标注方法中的步骤。
本发明的有益效果是：通过存储在存储器上的计算机程序，并运行在处 理器上，实现本发明的自动图像标注，基于卷积神经网络，充分考虑了的图 像与图像的关系、图像与标签的关系以及标签与标签的关系，结合相似度和 概率模型对待标注图像的目标标签进行预测，预测准确率得到了显著提高， 从而大大提高了标注的准确率，使得自动图像标注的效果更佳，更好地解决 了图像及其语义信息之间的鸿沟问题。
依据本发明的另一方面，提供了一种计算机存储介质，所述计算机存储 介质包括：至少一个指令，在所述指令被执行时实现本发明的一种基于神经 网络的自动图像标注方法中的步骤。
本发明的有益效果是：通过执行包含至少一个指令的计算机存储介质， 实现本发明的自动图像标注，基于卷积神经网络，充分考虑了的图像与图像 的关系、图像与标签的关系以及标签与标签的关系，结合相似度和概率模型 对待标注图像的目标标签进行预测，预测准确率得到了显著提高，从而大大 提高了标注的准确率，使得自动图像标注的效果更佳，更好地解决了图像及 其语义信息之间的鸿沟问题。
附图说明
图1为本发明实施例一中基于神经网络的自动图像标注方法的流程示意 图；
图2为本发明实施例一中卷积神经网络模型的结构示意图；
图3为本发明实施例一中得到邻域图像集和对应的第一标签域的流程示 意图；
图4为本发明实施例一中得到待标注图像的目标标签的流程示意图；
图5为本发明实施例二中基于神经网络的自动图像标注系统的结构示意 图一；
图6为本发明实施例二中基于神经网络的自动图像标注系统的结构示意 图二。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本 发明，并非用于限定本发明的范围。
下面结合附图，对本发明进行说明。
实施例一、如图1所示，一种基于神经网络的自动图像标注方法，包括 以下步骤：
S1：获取实验数据集，并利用预先训练好的卷积神经网络模型提取所述 实验数据集的图像特征；
S2：从所述实验数据集的测试集中获取待标注图像，并根据所述图像特 征，在所述实验数据集的训练集中，采用k近邻方法计算得到所述待标注图 像的邻域图像集和与所述邻域图像集对应的第一标签域；
S3：构建所述第一标签域与所述训练集对应的第二标签域之间的标签语 义关联模型，根据所述标签语义关联模型，在所述第二标签域中计算得到与 所述第一标签域中每个第一标签相关联的第三标签域；
S4：计算所述待标注图像与所述邻域图像集中每个邻域图像之间的相似 度，根据所有相似度得到所述第一标签域中每个第一标签成为所述待标注图 像的目标标签的第一概率，并根据所有第一概率和所述标签语义关联模型得 到所述第三标签域中每个第三标签成为所述待标注图像的所述目标标签的 第二概率；
S5：根据所有相似度、所有第一概率和所有第二概率，得到所述待标注 图像的所述目标标签，并根据所述目标标签完成自动图像标注。
首先利用训练好的卷积深度网络模型提取实验数据集的深层次的图像 特征，充分利用了图像与图像之间的关系；实验数据集分为训练集和测试集， 由于k近邻方法使用的模型对应于特征空间的划分，因此再根据图像特征， 利用k近邻方法，可以在训练集的特征空间中，将与待标注图像具有相同特 征的图像划分在一个类别中，即得到待标注图像的邻域图像集及其对应的第 一标签域，充分了考虑图像与标签之间的关系；再通过第一标签域与训练集 对应的第二标签域之间的标签语义关联模型，得到与第一标签域中每个第一标签相关联的第三标签域，则充分考虑了标签与标签之间的关系；再结合相 似度(即每个邻域图像与所述待标注图像之间的相似度)和概率模型(即每 个第一标签成为目标标签的第一概率以及每个第三标签成为目标标签的第 二概率)，对待标注图像的目标标签进行预测；由于第一标签域为待标注图 像的邻域图像集对应的标签域，则训练集对应的第二标签域包含第一标签 域，而由于第三标签域为第二标签域中与第一标签域有关联的标签组成的集 合，则第二标签域也包含第三标签域且第三标签域与第一标签域有紧密的语 义关联关系，因此结合相似度和概率模型对待标注图像的目标标签进行预测 的准确率得到了显著提高，从而大大提高了标注的准确率，使得自动图像标 注的效果更佳，更好地解决了图像及其语义信息之间的鸿沟问题。
应理解，本发明中每个图像(实验数据集中的图像)都可以标注多个标 签，通过这些标签可以解决图像及其语义信息之间的鸿沟问题，可以反映每 个图像所包含的真实内容。
优选地，在S1中，获取所述实验数据集之后还包括以下步骤：
获取ImageNet数据集，对所述ImageNet数据集进行训练，得到训练模 型；
利用所述训练模型对所述实验数据集进行迁移学习，得到训练好的所述 卷积神经网络模型。
首先对ImageNet数据集进行训练，当训练输出结果达到稳定后得到训 练模型，再利用训练模型对实验数据集进行迁移学习，得到训练好的卷积神 经网络模型，基于迁移学习得到的训练好的卷积神经网络模型，一方面维持 了训练模型对图像特征的准确和高效的提取效果，另一方面使得后续对实验 数据集的图像特征的提取更加方便快捷，并减小了运算量和运算时间，提高 了整个自动图像标注过程的效率。
具体地，本实施例中首先建立一个VGG-NET模型，如图2所示，其中， VGG-NET模型采用多个小卷积核代替一个大的卷积核，比如：一个7x7的 卷积层和3个重叠的3x3的卷积层(层与层之间有非线性激活函数)有同样 大小的视野，多个卷积层与非线性的激活层交替的结构，比单一层的结构更 能提取出深层的更好的特征，而且其参数也更少；当搭建好网络后，使用 ImageNet数据集对其进行训练直到模型稳定，得到一个训练好的VGG-NET 模型；然后利用该训练好的VGG-NET模型对所述实验数据集进行迁移学习， 即得到本实施例中最终的训练好的卷积神经网络模型。
具体地，本实施例中实验数据集分为训练集和测试集，然后分别将训练 集和测试集中的每个图像大小调到227x277以满足训练好的卷积神经网络模 型的输入层，将每个图像输入卷积神经网络模型中，忽略最后一个有1000 个神经元的完整连接层，将第二个FC层的输出作为每个图像的图像特征 (CNN特征)。
优选地，如图3所示，在S2中，得到所述邻域图像集和与所述邻域图 像集对应的所述第一标签域的具体步骤包括：
S2.1：根据所述图像特征，计算所述待标注图像与所述训练集中每个训 练图像之间的欧式距离；
S2.2：将所有欧式距离按照从小到大的顺序排序，得到距离序列，并从 所述距离序列的前端开始连续选取k个欧式距离，根据k个欧式距离一一对 应的训练图像得到所述邻域图像集；
S2.3：根据所述邻域图像集得到与所述邻域图像集对应的第一标签域。
物以类聚，通过计算欧式距离，并将离待标注图像的欧式距离最近的连 续k个训练图像作为邻域图像集，可以较好地将与待标注图像具有相同特征 的图像划分到同一个类别，划分效果较好，便于后续根据邻域图像集计算每 个邻域图像与待标注图像的相似度，并便于后续根据邻域图像集对应的第一 标签域与训练集对应的第二标签域之间的关系，建立概率模型，充分考虑了 图像与图像之间的关系、图像与标签之间的关系以及标签与标签之间的关 系。
具体地，本实施例中待标注图像f与第t个邻域图像之间的欧式距离为 dis(f,ft)，按照欧式距离从小到大的顺序，在训练集中连续选出k张训练图 像形成待标注图像的邻域图像集为G＝{f1,f2,…,fk}，其对应的第一标签域为 W1＝{W1,W2,…,Wk}，其中，Wt＝{w1,w2,…,wm}∈W1为第t个邻域图像对应的标 签集合，其中，邻域图像的总数为k，第t个邻域图像的标签总数为m；其中， 当k过大时，分类效果不佳，从而会导致后续的标注效果不佳，当k过小时， 易出现过拟合的情况，也不利于后续的标注效果，因此k的取值可根据实际情况选择和调整；其中，计算欧式距离的公式为现有技术，此处不再赘述。
优选地，所述第二标签域中的第i个第二标签与所述第一标签域中的第 j个第一标签之间的所述标签语义关联模型具体为：
其中，wi为所述第二标签域中的第i个第二标签，wj为所述第一标签域 中的第j个第一标签，I(wi)为在所述训练集中，出现第i个第二标签的第二 图像集合，I(wj)为在所述邻域图像集中，出现第j个第一标签的第一图像集 合，p1(wi|wj)为第i个第二标签与第j个第一标签之间的标签语义关联概率；
在所述第二标签域中，计算与所述第一标签域中的第j个第一标签相关 联的第三标签的具体公式为：
由于标签与标签之间存在紧密的联系，例如出现“白云”的标签，那么 “天空”的标签也可能出现，因此上述建立的标签语义关联模型，充分描述 了第二标签域中的第二标签与第一标签域中的第一标签之间的关系，便于后 续根据该标签语义关联模型计算每个第二标签与每个第一标签之间的标签 语义关联概率，当第i个第二标签与第j个第一标签之间的标签语义关联概 率为最大值时，说明训练集中的第i个第二标签与第j个第一标签最有可能 同时出现，即为与第j个第一标签有关联的标签，称为第三标签，通过上述 方法可以在训练集对应的第二标签域中获得多个与第j个第一标签有关联的 第三标签，这些第三标签构成了第三标签域，为待标注图像最有可能的稀缺 标签；由于通过k近邻方法获得的第一标签域会增加稀有标签的缺失，因此 通过上述步骤，对邻域图像对应的第一标签域进行了扩展，增加了稀有标签 被选中的概率，从而使可以使得最终的标注结果中稀有标签的缺失率降低， 提高标注准确率和标注效果。
具体地，本实施例中计算得到的第三标签域为W2。
优选地，计算所述待标注图像与所述邻域图像集中第t个邻域图像之间 的相似度的具体公式为：
其中，smr(·)为相似度函数，f为所述待标注图像，ft为所述邻域图像 集中第t个邻域图像，为欧式距离对相似度的影响系数，dis(f,ft)为所述待 标注图像与第t个邻域图像之间的欧式距离；
计算所述第一标签域中的第j个第一标签成为所述待标注图像的所述目 标标签的第一概率的具体公式为：
其中，
其中，p1(wj|f)为第j个第一标签成为所述目标标签的第一概率， p1(f|wj)为第一概率的倒数，W1为所述第一标签域，G为所述邻域图像集， p2(wj|ft)为第j个第一标签相对于第t个邻域图像的贡献值控制函数，当第t 个邻域图像中包含第j个第一标签时，p2(wj|ft)＝1，当第t个邻域图像中不 包含第j个第一标签时，p2(wj|ft)＝0；
计算所述第三标签域中的第r个第三标签成为所述待标注图像的所述目 标标签的第二概率的具体公式为：
其中，wr为所述第三标签域中的第r个第三标签，p2(wr|f)为第r个第 三标签成为所述待标注图像的目标标签的第二概率。
为便于获得第一标签域中最有可能成为待标注图像的目标标签的第一 标签，构建概率模型，从贝叶斯定理的角度出发，最终的目标是求解 argmaxp1(W|f)，其中，argmax是一种求解最大值对应的自变量的函数， W＝{w1,w2,…,wk}为W1∪W2的子集，根据贝叶斯公式，可以得到：
上式中的先验概率p1(w1)、p1(w2)、…、p1(wk)和p1(f)为已知，因此 为了求出上式的最大值，只需要计算p1(f|w1)、p1(f|w2)…和p1(f|wk)；由 于上述概率与相似度有密切关系，因此首先计算出邻域图像集中每个邻域 图像与待标注图像的相似度，其中，在计算相似度的具体公式中，两张图 像的欧式距离越近，其相似度越高，反之，相似度越小；结合相似度，可 方便求出每个第一标签成为目标标签的第一概率；
对于第三标签域来说，它与第一标签域有重要的关联关系，第三标签 域中的第三标签，它们是假设为待标注图像的目标标签的前提下得来的， 根据标签语义关联模型计算得到，因此，结合标签语义关联模型中的标签 语义关联概率和第一概率，可方便获得第三标签成为目标标签的第二概率；
通过上述计算第一概率和第二概率的方法，便于获得第一标签域中和 第三标签域中最有可能成为待标注图像的目标标签，对目标标签的预测准 确率得到显著提高，从而提高标注准确率和标注效果。
优选地，如图4所示，在S4中，得到所述待标注图像的所述目标标签 的具体步骤包括：
S4.1：将所有相似度按照从大到小的顺序排序，得到相似度序列，从所 述相似度序列的前端开始连续选取预设数量的相似度，并根据预设数量的相 似度一一对应的邻域图像得到相似图像集；
S4.2：根据所述相似图像集中的所有邻域图像分别与所述待标注图像之 间的相似度，以及所有邻域图像一一对应的第一标签数量，计算得到所述待 标注图像的目标标签数量；
S4.3：将所有第一概率和所有第二概率按照从大到小的顺序排序，得到 概率序列，从所述概率序列的前端开始，按照所述目标标签数量连续选取对 应个数的概率，并将选取的所有概率一一对应的第一标签或/和第二标签均作 为所述目标标签。
上述通过将相似度按照从大到小选取预设数量的多个相似度，并根据 每个相似度一一对应的邻域图像得到与待标注图像最接近的相似图像集， 则该相似图像集中的每个邻域图像对应的第一标签数量就最有可能为待标 注图像的目标标签数量，因此通过计算可以得到目标标签数量，例如采用 加权平均的方法计算目标标签数量；当确定了目标标签数量后，再在最有 可能成为目标标签中的第一标签域中和第三标签域中去获取目标标签，通 过将所有第一概率和所有第二概率按照从大到小的顺序排列，按照目标标 签数量选出的概率最大的的第一标签或/和第三标签即为目标标签；
上述通过相似图像集计算得到目标标签数量的步骤，以及通过第一概 率和第二概率排序得到的概率序列，按照目标标签数量选取待标注图像的 目标标签的步骤，一方面保证了目标标签数量的准确性，另一方面又保证 了选取目标标签的准确性，还降低了稀缺标签的缺失率，基于相似度和概 率模型，大大提高了目标标签的准确性，从而便于提高图像标注的准确率， 提高标注效果，从而有利于人们更好地理解图像所包含的真实内容。
优选地，当从所述相似度序列的前端开始选取两个相似度时，计算所述 待标注图像的目标标签数量的具体公式为：
其中，n为所述目标标签数量，f1和f2分别为所述相似图像集中的两个 邻域图像，smr(f,f1)和smr(f,f2)分别为所述相似图像集中的两个邻域图像分 别与所述待标注图像之间的相似度，x1和x2分别为所述相似图像集中的两个 邻域图像一一对应的第一标签数量；
当从所述相似度序列的前端开始选取a个相似度时，计算所述待标注图 像的目标标签数量的具体公式为：
其中，fa别为所述相似图像集中的第a个邻域图像，smr(f,fa)为所述相 似图像集中的第a个邻域图像与所述待标注图像之间的相似度，xa为所述相 似图像集中的第a个邻域图像对应的第一标签数量。
当从相似度序列的前端开始选取两个相似度(即预设数量为2)时，即 在选取相似图像集时，只选取与待标注图像的相似度最大的两个邻域图像， 该相似度最大的两个邻域图像的第一标签数量分别为x1和x2，通过加权平 均的方法可以得到它们的平均标签数量，并将该平均标签数量作为待标注 图像的目标标签数量n；其中，在加权平均的计算过程中，它们的权重可分 别结合各自与待标注图像之间的相似度获得；而当从相似度序列的前端开 始选取a个相似度(即预设数量为a)时，同样通过加权平均方法计算这a 个相似度对应的邻域图像的平均标签数量，并将该平均标签数量作为待标 注图像的目标标签数量n；上述通过加权平均的方法获得目标标签数量的步 骤，可有效保证目标标签数量的准确性。
具体地，本实施例中n个目标标签构成了待标注图像的标签集合，根 据该标签集合对待标注图像进行标注，完成自动图像标注，其中，根据待 标注图像的标签集合对待标注图像进行标注的具体步骤为现有技术，此处 不再赘述。
实施例二、如图5所示，一种基于神经网络的自动图像标注系统，包括 获取模块、提取模块、计算模块和标注模块：
所述获取模块用于获取实验数据集；
所述提取模块用于利用预先训练好的卷积神经网络模型提取所述实验 数据集的图像特征；
所述获取模块还用于从所述实验数据集的测试集中获取待标注图像；
所述计算模块用于根据所述图像特征，在所述实验数据集的训练集中， 采用k近邻方法计算得到所述待标注图像的邻域图像集和与所述邻域图像集 对应的第一标签域；
所述计算模块还用于构建所述第一标签域与所述训练集对应的第二标 签域之间的标签语义关联模型，根据所述标签语义关联模型，在所述第二标 签域中计算得到与所述第一标签域中每个第一标签相关联的第三标签域；
所述计算模块还用于计算所述待标注图像与所述邻域图像集中每个邻 域图像之间的相似度，根据所有相似度得到所述第一标签域中每个第一标签 成为所述待标注图像的目标标签的第一概率，并根据所有第一概率和所述标 签语义关联模型得到所述第三标签域中每个第三标签成为所述待标注图像 的所述目标标签的第二概率；
所述计算模块还用于根据所有相似度、所有第一概率和所有第二概率， 得到所述待标注图像的所述目标标签；
所述标注模块，用于所述目标标签完成自动图像标注。
通过获取模块获取实验数据集，将实验数据集分为训练集和测试集中， 再通过获取模块在测试集中获取待标注图像，通过提取模块利用训练好的卷 积深度网络模型提取实验数据集的深层次的图像特征，充分利用了图像与图 像之间的关系；再通过计算模块根据图像特征，利用k近邻方法，可以在训 练集的特征空间中，将与待标注图像具有相同特征的图像划分在一个类别 中，即得到待标注图像的邻域图像集及其对应的第一标签域，充分了考虑图 像与标签之间的关系；通过计算模块根据第一标签域与训练集对应的第二标 签域之间的标签语义关联模型，得到与第一标签域中每个第一标签相关联的 第三标签域，则充分考虑了标签与标签之间的关系；最后再通过计算模块结 合相似度和概率模型对待标注图像的目标标签进行预测，预测准确率得到了 显著提高，从而大大提高了标注的准确率，使得自动图像标注的效果更佳， 更好地解决了图像及其语义信息之间的鸿沟问题。
优选地，如图6所示，还包括训练模块，所述训练模块具体用于：
获取ImageNet数据集，对所述ImageNet数据集进行训练，得到训练模 型；
利用所述训练模型对所述实验数据集进行迁移学习，得到训练好的所述 卷积神经网络模型。
通过上述训练模块，一方面维持了训练模型对图像特征的准确和高效的 提取效果，另一方面使得后续对实验数据集的图像特征的提取更加方便快 捷，并减小了运算量和运算时间，提高了整个自动图像标注过程的效率。
实施例三、基于实施例一和实施例二，本实施例还公开了一种基于神经 网络的自动图像标注装置，包括处理器、存储器和存储在所述存储器中且可 运行在所述处理器上的计算机程序，所述计算机程序运行时实现如图1所示 的S1至S5的具体步骤。
通过存储在存储器上的计算机程序，并运行在处理器上，实现本发明的 自动图像标注，基于卷积神经网络，充分考虑了的图像与图像的关系、图像 与标签的关系以及标签与标签的关系，结合相似度和概率模型对待标注图像 的目标标签进行预测，预测准确率得到了显著提高，从而大大提高了标注的 准确率，使得自动图像标注的效果更佳，更好地解决了图像及其语义信息之 间的鸿沟问题。
本实施例还提供一种计算机存储介质，所述计算机存储介质上存储有至 少一个指令，所述指令被执行时实现所述S1至S5的具体步骤。
通过执行包含至少一个指令的计算机存储介质，实现本发明的自动图像 标注，基于卷积神经网络，充分考虑了的图像与图像的关系、图像与标签的 关系以及标签与标签的关系，结合相似度和概率模型对待标注图像的目标标 签进行预测，预测准确率得到了显著提高，从而大大提高了标注的准确率， 使得自动图像标注的效果更佳，更好地解决了图像及其语义信息之间的鸿沟 问题。
本实施例中S1至S5的未尽细节，详见实施例一及图1至图4的内容， 具体不再赘述。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明 的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发 明的保护范围之内。

Claims (10)

1.一种基于神经网络的自动图像标注方法，其特征在于，包括以下步骤：
获取实验数据集，并利用预先训练好的卷积神经网络模型提取所述实验数据集的图像特征；
从所述实验数据集的测试集中获取待标注图像，并根据所述图像特征，在所述实验数据集的训练集中，采用k近邻方法计算得到所述待标注图像的邻域图像集和与所述邻域图像集对应的第一标签域；
构建所述第一标签域与所述训练集对应的第二标签域之间的标签语义关联模型，根据所述标签语义关联模型，在所述第二标签域中计算得到与所述第一标签域中每个第一标签相关联的第三标签域；
计算所述待标注图像与所述邻域图像集中每个邻域图像之间的相似度，根据所有相似度得到所述第一标签域中每个第一标签成为所述待标注图像的目标标签的第一概率，并根据所有第一概率和所述标签语义关联模型得到所述第三标签域中每个第三标签成为所述待标注图像的所述目标标签的第二概率；
根据所有相似度、所有第一概率和所有第二概率，得到所述待标注图像的所述目标标签，并根据所述目标标签完成自动图像标注。
2.根据权利要求1所述的基于神经网络的自动图像标注方法，其特征在于，在获取所述实验数据集之后还包括以下步骤：
获取ImageNet数据集，对所述ImageNet数据集进行训练，得到训练模型；
利用所述训练模型对所述实验数据集进行迁移学习，得到训练好的所述卷积神经网络模型。
3.根据权利要求1所述的基于神经网络的自动图像标注方法，其特征在于，得到所述邻域图像集和与所述邻域图像集对应的所述第一标签域的具体步骤包括：
根据所述图像特征，计算所述待标注图像与所述训练集中每个训练图像之间的欧式距离；
将所有欧式距离按照从小到大的顺序排序，得到距离序列，并从所述距离序列的前端开始连续选取k个欧式距离，根据k个欧式距离一一对应的训练图像得到所述邻域图像集；
根据所述邻域图像集得到与所述邻域图像集对应的第一标签域。
4.根据权利要求3所述的基于神经网络的自动图像标注方法，其特征在于，所述第二标签域中的第i个第二标签与所述第一标签域中的第j个第一标签之间的所述标签语义关联模型具体为：
其中，wi为所述第二标签域中的第i个第二标签，wj为所述第一标签域中的第j个第一标签，I(wi)为在所述训练集中，出现第i个第二标签的第二图像集合，I(wj)为在所述邻域图像集中，出现第j个第一标签的第一图像集合，p1(wi|wj)为第i个第二标签与第j个第一标签之间的标签语义关联概率；
在所述第二标签域中，计算与所述第一标签域中的第j个第一标签相关联的第三标签的具体公式为：
5.根据权利要求4所述的基于神经网络的自动图像标注方法，其特征在于，计算所述待标注图像与所述邻域图像集中第t个邻域图像之间的相似度的具体公式为：
其中，smr(·)为相似度函数，f为所述待标注图像，ft为所述邻域图像集中第t个邻域图像，为欧式距离对相似度的影响系数，dis(f,ft)为所述待标注图像与第t个邻域图像之间的欧式距离；
计算所述第一标签域中的第j个第一标签成为所述待标注图像的所述目标标签的第一概率的具体公式为：
其中，
其中，p1(wj|f)为第j个第一标签成为所述目标标签的第一概率，p1(f|wj)为第一概率的倒数，W1为所述第一标签域，G为所述邻域图像集，p2(wj|ft)为第j个第一标签相对于第t个邻域图像的贡献值控制函数，当第t个邻域图像中包含第j个第一标签时，p2(wj|ft)＝1，当第t个邻域图像中不包含第j个第一标签时，p2(wj|ft)＝0；
计算所述第三标签域中的第r个第三标签成为所述待标注图像的所述目标标签的第二概率的具体公式为：
其中，wr为所述第三标签域中的第r个第三标签，p2(wr|f)为第r个第三标签成为所述待标注图像的目标标签的第二概率。
6.根据权利要求5所述的基于神经网络的自动图像标注方法，其特征在于，得到所述待标注图像的所述目标标签的具体步骤包括：
将所有相似度按照从大到小的顺序排序，得到相似度序列，从所述相似度序列的前端开始连续选取预设数量的相似度，并根据预设数量的相似度一一对应的邻域图像得到相似图像集；
根据所述相似图像集中的所有邻域图像分别与所述待标注图像之间的相似度，以及所有邻域图像一一对应的第一标签数量，计算得到所述待标注图像的目标标签数量；
将所有第一概率和所有第二概率按照从大到小的顺序排序，得到概率序列，从所述概率序列的前端开始，按照所述目标标签数量连续选取对应个数的概率，并将选取的所有概率一一对应的第一标签或/和第二标签均作为所述目标标签。
7.根据权利要求6所述的基于神经网络的自动图像标注方法，其特征在于，当从所述相似度序列的前端开始选取两个相似度时，计算所述待标注图像的目标标签数量的具体公式为：
其中，n为所述目标标签数量，f1和f2分别为所述相似图像集中的两个邻域图像，smr(f,f1)和smr(f,f2)分别为所述相似图像集中的两个邻域图像分别与所述待标注图像之间的相似度，x1和x2分别为所述相似图像集中的两个邻域图像一一对应的第一标签数量；
当从所述相似度序列的前端开始选取a个相似度时，计算所述待标注图像的目标标签数量的具体公式为：
其中，fa别为所述相似图像集中的第a个邻域图像，smr(f,fa)为所述相似图像集中的第a个邻域图像与所述待标注图像之间的相似度，xa为所述相似图像集中的第a个邻域图像对应的第一标签数量。
8.一种基于神经网络的自动图像标注系统，其特征在于，包括获取模块、提取模块、计算模块和标注模块：
所述获取模块用于获取实验数据集；
所述提取模块用于利用预先训练好的卷积神经网络模型提取所述实验数据集的图像特征；
所述获取模块还用于从所述实验数据集的测试集中获取待标注图像；
所述计算模块用于根据所述图像特征，在所述实验数据集的训练集中，采用k近邻方法计算得到所述待标注图像的邻域图像集和与所述邻域图像集对应的第一标签域；
所述计算模块还用于构建所述第一标签域与所述训练集对应的第二标签域之间的标签语义关联模型，根据所述标签语义关联模型，在所述第二标签域中计算得到与所述第一标签域中每个第一标签相关联的第三标签域；
所述计算模块还用于计算所述待标注图像与所述邻域图像集中每个邻域图像之间的相似度，根据所有相似度得到所述第一标签域中每个第一标签成为所述待标注图像的目标标签的第一概率，并根据所有第一概率和所述标签语义关联模型得到所述第三标签域中每个第三标签成为所述待标注图像的所述目标标签的第二概率；
所述计算模块还用于根据所有相似度、所有第一概率和所有第二概率，得到所述待标注图像的所述目标标签；
所述标注模块，用于所述目标标签完成自动图像标注。
9.一种基于神经网络的自动图像标注装置，其特征在于，包括处理器、存储器和存储在所述存储器中且可运行在所述处理器上的计算机程序，所述计算机程序运行时实现如权利要求1至7任一项权利要求所述的方法步骤。
10.一种计算机存储介质，其特征在于，所述计算机存储介质包括：至少一个指令，在所述指令被执行时实现如权利要求1至7任一项所述的方法步骤。
CN201910690299.0A 2019-07-29 2019-07-29 基于神经网络的自动图像标注方法、系统、装置和介质 Active CN110490236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910690299.0A CN110490236B (zh) 2019-07-29 2019-07-29 基于神经网络的自动图像标注方法、系统、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910690299.0A CN110490236B (zh) 2019-07-29 2019-07-29 基于神经网络的自动图像标注方法、系统、装置和介质

Publications (2)

Publication Number Publication Date
CN110490236A true CN110490236A (zh) 2019-11-22
CN110490236B CN110490236B (zh) 2021-08-24

Family

ID=68547647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910690299.0A Active CN110490236B (zh) 2019-07-29 2019-07-29 基于神经网络的自动图像标注方法、系统、装置和介质

Country Status (1)

Country Link
CN (1) CN110490236B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028224A (zh) * 2019-12-12 2020-04-17 广西医准智能科技有限公司 数据标注、模型训练和图像处理方法、装置及存储介质
CN111709319A (zh) * 2020-05-28 2020-09-25 武汉工程大学 一种铁路工机具清点方法及装置
CN111738179A (zh) * 2020-06-28 2020-10-02 湖南国科微电子股份有限公司 一种人脸图像质量评估方法、装置、设备、介质
CN112766330A (zh) * 2021-01-07 2021-05-07 济南浪潮高新科技投资发展有限公司 图像多标签分类方法和装置
WO2021139191A1 (zh) * 2020-01-08 2021-07-15 华为技术有限公司 数据标注的方法以及数据标注的装置
CN113506075A (zh) * 2021-06-01 2021-10-15 大箴(杭州)科技有限公司 一种数据标注方法及装置、存储介质、计算机设备
WO2021238151A1 (zh) * 2020-05-28 2021-12-02 上海商汤智能科技有限公司 图像标注方法、装置、电子设备、存储介质及计算机程序
CN115985472A (zh) * 2022-12-01 2023-04-18 珠海全一科技有限公司 基于神经网络的眼底图像标注方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389584A (zh) * 2015-10-13 2016-03-09 西北工业大学 基于卷积神经网络与语义转移联合模型的街景语义标注方法
CN106250915A (zh) * 2016-07-22 2016-12-21 福州大学 一种融合深度特征和语义邻域的自动图像标注方法
CN106650775A (zh) * 2016-10-12 2017-05-10 南京理工大学 可同时挖掘视觉和语义相似性的图像标注方法
CN107122374A (zh) * 2016-12-08 2017-09-01 南京理工大学 可同时挖掘视觉和语义相似性的图像标注方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389584A (zh) * 2015-10-13 2016-03-09 西北工业大学 基于卷积神经网络与语义转移联合模型的街景语义标注方法
CN106250915A (zh) * 2016-07-22 2016-12-21 福州大学 一种融合深度特征和语义邻域的自动图像标注方法
CN106650775A (zh) * 2016-10-12 2017-05-10 南京理工大学 可同时挖掘视觉和语义相似性的图像标注方法
CN107122374A (zh) * 2016-12-08 2017-09-01 南京理工大学 可同时挖掘视觉和语义相似性的图像标注方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FENG TIAN 等: "Learning Label Set Relevance for Search Based Image Annotation", 《IEEE》 *
高耀东 等: "基于多标签学习的卷积神经网络的图像标注方法", 《计算机应用》 *
黎健成 等: "基于卷积神经网络的多标签图像自动标注", 《计算机科学》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028224A (zh) * 2019-12-12 2020-04-17 广西医准智能科技有限公司 数据标注、模型训练和图像处理方法、装置及存储介质
WO2021139191A1 (zh) * 2020-01-08 2021-07-15 华为技术有限公司 数据标注的方法以及数据标注的装置
CN111709319A (zh) * 2020-05-28 2020-09-25 武汉工程大学 一种铁路工机具清点方法及装置
WO2021238151A1 (zh) * 2020-05-28 2021-12-02 上海商汤智能科技有限公司 图像标注方法、装置、电子设备、存储介质及计算机程序
CN111738179A (zh) * 2020-06-28 2020-10-02 湖南国科微电子股份有限公司 一种人脸图像质量评估方法、装置、设备、介质
CN112766330A (zh) * 2021-01-07 2021-05-07 济南浪潮高新科技投资发展有限公司 图像多标签分类方法和装置
CN113506075A (zh) * 2021-06-01 2021-10-15 大箴(杭州)科技有限公司 一种数据标注方法及装置、存储介质、计算机设备
CN115985472A (zh) * 2022-12-01 2023-04-18 珠海全一科技有限公司 基于神经网络的眼底图像标注方法及系统
CN115985472B (zh) * 2022-12-01 2023-09-22 珠海全一科技有限公司 基于神经网络的眼底图像标注方法及系统

Also Published As

Publication number Publication date
CN110490236B (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN110490236A (zh) 基于神经网络的自动图像标注方法、系统、装置和介质
Radosavovic et al. Data distillation: Towards omni-supervised learning
Dong et al. Photo quality assessment with DCNN that understands image well
Donahue et al. Decaf: A deep convolutional activation feature for generic visual recognition
Liu et al. Incdet: In defense of elastic weight consolidation for incremental object detection
Yan et al. Ranking with uncertain labels
CN107358293A (zh) 一种神经网络训练方法及装置
CN109063719B (zh) 一种联合结构相似性和类信息的图像分类方法
CN104933428B (zh) 一种基于张量描述的人脸识别方法及装置
CN105005794B (zh) 融合多粒度上下文信息的图像像素语义标注方法
CN109344884A (zh) 媒体信息分类方法、训练图片分类模型的方法及装置
CN107463996B (zh) 一种进行人物重标记的自步-协同训练学习方法
Zhang et al. Data driven feature selection for machine learning algorithms in computer vision
CN110210538A (zh) 一种家居图像多目标识别方法及装置
CN102024030A (zh) 基于最大期望参数估计的多分类器集成方法
CN109815920A (zh) 基于卷积神经网络和对抗卷积神经网络的手势识别方法
Schinas et al. CERTH@ MediaEval 2012 Social Event Detection Task.
CN110008365A (zh) 一种图像处理方法、装置、设备及可读存储介质
CN109165698A (zh) 一种面向智慧交通的图像分类识别方法及其存储介质
CN110363156A (zh) 一种姿态无关的面部动作单元识别方法
CN106971201A (zh) 基于集成学习的多标签分类方法
CN109753962A (zh) 基于混合网络的自然场景图像中文本区域的处理方法
Hua et al. SHREC’17: RGB-D to CAD retrieval with ObjectNN dataset
Lee et al. Property-specific aesthetic assessment with unsupervised aesthetic property discovery
Tong et al. Adaptive weight based on overlapping blocks network for facial expression recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant