CN110069647B - 图像标签去噪方法、装置、设备及计算机可读存储介质 - Google Patents

图像标签去噪方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110069647B
CN110069647B CN201910376131.2A CN201910376131A CN110069647B CN 110069647 B CN110069647 B CN 110069647B CN 201910376131 A CN201910376131 A CN 201910376131A CN 110069647 B CN110069647 B CN 110069647B
Authority
CN
China
Prior art keywords
image
images
neighbor
labels
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910376131.2A
Other languages
English (en)
Other versions
CN110069647A (zh
Inventor
黄敏珍
谭台哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910376131.2A priority Critical patent/CN110069647B/zh
Publication of CN110069647A publication Critical patent/CN110069647A/zh
Application granted granted Critical
Publication of CN110069647B publication Critical patent/CN110069647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种图像标签去噪方法，该方法包括：利用树状结构语义词典计算待测标签分别与图像集合中除待测标签所在目标图像外其他各图像中标签的标签语义相似分值，利用双通道卷积神经网络深度学习算法计算目标图像分别与其他图像的图像相似分值，对各标签语义相似分值和分别对应的图像相似分值进行加权平均，得到加权平均相似分值，得到预设数量个目标图像的亲近邻居图像，计算邻居分值，根据邻居分值判断是否将待测标签去除。应用本发明实施例所提供的技术方案，较大地提升了计算邻居图像的精确度，提高了在原本标签错误率较高时标签去噪的准确率。本发明还公开了一种图像标签去噪装置、设备及存储介质，具有相应技术效果。

Description

图像标签去噪方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像标签去噪方法、装置、设备及计算机可读存储介质。
背景技术
随着信息日益多样化，图像作为信息之一，往往会带有一些标签，但标签往往是个性化添加的，标签存在一定的缺失和错误率，因此需要对图像进行标签去噪。由于人工主观判断删除标签的标签去噪方式耗费时间长，成本高，因此越来越多自动标签去噪的方法被研究出来。
邻居投票法(Learning Social Tag Relevance by Neighbor Voting)是研究图像标签相关性的经典算法，它对比图像间的特征，寻找每个图像的视觉邻居，然后统计每个标签在邻居中频率，得到相应得分值，最后依据该分值判断标签是否需要去除。虽然它在标签去噪上效果不错，但标签信息仅考虑了标签频率关系，在原本标签错误率较高时算法效果不明显，并且在计算邻居时图像信息采用简单的图像特征作对比，即计算图像相似的方法常常是通过对比图像间的像素、颜色、纹理等底层特征来判断图像是否相似，但对于图像与标签的联系而言，图像中的元素即使位置、形态、颜色等特征不同，也可能对应相同标签，而且这个可能并不少见(例如，哈士奇、金毛、柴犬都对应于狗标签)，计算邻居图像的精确度低。
综上所述，如何有效地解决在原本标签错误率较高时邻居投票法标签去噪效果差，通过简单的图像间底层特征对比计算邻居图像的精确度低等问题，是目前本领域技术人员急需解决的问题。
发明内容
本发明的目的是提供一种图像标签去噪方法，该方法较大地提升了计算邻居图像的精确度，提高了在原本标签错误率较高时标签去噪的准确率；本发明的另一目的是提供一种图像标签去噪装置、设备及计算机可读存储介质。
为解决上述技术问题，本发明提供如下技术方案：
一种图像标签去噪方法，包括：
将图像集合中各图像的标签均导入到树状结构语义词典中，分别计算待测标签分别与所述图像集合内除所述待测标签所在目标图像外其他各图像中标签的标签语义相似分值；
利用双通道卷积神经网络深度学习算法计算所述目标图像分别与所述图像集合中其他图像的图像相似分值；
对各所述标签语义相似分值和分别对应的图像相似分值进行加权平均，得到所述目标图像分别与所述图像集合中其他图像的加权平均相似分值；
将各所述加权平均相似分值进行大小排序，并根据排序结果从所述图像集合内除所述目标图像外其他各图像中确定预设数量个所述目标图像的亲近邻居图像；其中，所述加权平均相似分值由大到小对应的图像为所述目标图像由亲到远的邻居图像；
计算所述待测标签在各所述亲近邻居图像中的邻居分值；
当所述邻居分值小于预设邻居分值阈值时，去除所述待测标签。
在本发明的一种具体实施方式中，在将图像集合中各图像的标签均导入到树状结构语义词典中之前，还包括：
删除所述图像集合内同一图像中的冗余重复标签。
在本发明的一种具体实施方式中，计算所述待测标签在各所述亲近邻居图像中的邻居分值，包括：
计算所述目标图像和各所述亲近邻居图像的平均标签词频；
根据所述目标图像和各所述亲近邻居图像中标记有所述待测标签的图像数量与所述平均标签词频的大小关系，对所述目标图像和各所述亲近邻居图像的分值影响程度调节因子进行调整，得到调整后分值影响程度调节因子；
利用所述调整后分值影响程度调节因子计算所述待测标签在各所述亲近邻居中的邻居分值。
在本发明的一种具体实施方式中，对各所述标签语义相似分值和分别对应的图像相似分值进行加权平均，包括：
根据标签错误率越大图像相似分值权重因子越大的权重因子调节机制，分别对各标签语义相似分值权重因子和分别对应的图像相似分值权重因子进行调节，得到各调整后标签语义相似分值权重因子和分别对应的调整后图像相似分值权重因子；
利用各所述调整后标签语义相似分值权重因子和分别对应的调整后图像相似分值权重因子，对各所述标签语义相似分值和对应的图像相似分值进行加权平均。
一种图像标签去噪装置，包括：
语义相似分值计算模块，用于将图像集合中各图像的标签均导入到树状结构语义词典中，分别计算待测标签与所述图像集合内除所述待测标签所在目标图像外其他各图像中标签的标签语义相似分值；
图像相似分值计算模块，用于利用双通道卷积神经网络深度学习算法计算所述目标图像分别与所述图像集合中其他图像的图像相似分值；
加权平均相似分值获得模块，用于对各所述标签语义相似分值和分别对应的图像相似分值进行加权平均，得到所述目标图像分别与所述图像集合中其他图像的加权平均相似分值；
亲近邻居图像确定模块，用于将各所述加权平均相似分值进行大小排序，并根据排序结果从所述图像集合内除所述目标图像外其他各图像中确定预设数量个所述目标图像的亲近邻居图像；其中，所述加权平均相似分值由大到小对应的图像为所述目标图像由亲到远的邻居图像；
邻居分值计算模块，用于计算所述待测标签在各所述亲近邻居图像中的邻居分值；
标签去除模块，用于当所述邻居分值小于预设邻居分值阈值时，去除所述待测标签。
在本发明的一种具体实施方式中，还包括：
标签删除模块，用于在将图像集合中各图像的标签均导入到树状结构语义词典中之前，删除所述图像集合内同一图像中的冗余重复标签。
在本发明的一种具体实施方式中，所述邻居分值计算模块包括标签词频计算子模块、分值影响程度调整子模块及邻居分值计算子模块，
所述标签词频计算子模块，用于计算所述目标图像和各所述亲近邻居图像的平均标签词频；
所述分值影响程度调整子模块，用于根据所述目标图像和各所述亲近邻居图像中标记有所述待测标签的图像数量与所述平均标签词频的大小关系，对所述目标图像和各所述亲近邻居图像的分值影响程度调节因子进行调整，得到调整后分值影响程度调节因子；
所述邻居分值计算子模块，用于利用所述调整后分值影响程度调节因子计算所述待测标签在各所述亲近邻居中的邻居分值。
在本发明的一种具体实施方式中，所述加权平均相似分值获得模块包括语义及图像相似分值调节子模块和加权平均相似分值获得子模块，
所述语义及图像相似分值调节子模块，用于根据标签错误率越大图像相似分值权重因子越大的权重因子调节机制，分别对各标签语义相似分值权重因子和分别对应的图像相似分值权重因子进行调节，得到各调整后标签语义相似分值权重因子和分别对应的调整后图像相似分值权重因子；
所述加权平均相似分值获得子模块，用于利用各所述调整后标签语义相似分值权重因子和分别对应的调整后图像相似分值权重因子，对各所述标签语义相似分值和对应的图像相似分值进行加权平均。
一种图像标签去噪设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如前所述图像标签去噪方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述图像标签去噪方法的步骤。
应用本发明实施例所提供的方法，通过利用树状结构语义词典计算待测标签分别与图像集合中除待测标签所在目标图像外其他各图像中标签的标签语义相似分值，并利用双通道卷积神经网络深度学习算法计算目标图像分别与图像集合中其他图像的图像相似分值，并对各标签语义相似分值和分别对应的图像相似分值进行加权平均，得到目标图像分别与图像集合中其他图像的加权平均相似分值。通过对各加权平均相似分值排序得到预设数量个目标图像的亲近邻居图像，并计算待测标签在各亲近邻居图像中的邻居分值，将邻居分值与预设邻居分值阈值进行比较，判断是否将待测标签去除。本申请通过利用树状结构语义词典计算标签语义相似分值，充分考虑了标签间的相似语义，通过利用双通道卷积神经网络深度学习算法计算图像相似分值，充分考虑了图像间的高层特征，相较于现有的仅考虑标签频率和图像间底层特征的标签去噪方式，较大地提升了计算邻居图像的精确度，提高了在原本标签错误率较高时标签去噪的准确率。
相应的，本发明实施例还提供了与上述图像标签去噪方法相对应的图像标签去噪装置、设备和计算机可读存储介质，具有上述技术效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中图像标签去噪方法的一种实施流程图；
图2为本发明实施例中双通道卷积神经网络深度学习算法的网络结构示意图；
图3为本发明实施例中图像标签去噪方法的另一种实施流程图；
图4为本发明实施例中一种图像标签去噪装置的结构框图；
图5为本发明实施例中一种图像标签去噪设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
参见图1，图1为本发明实施例中图像标签去噪方法的一种实施流程图，该方法可以包括以下步骤：
S101：将图像集合中各图像的标签均导入到树状结构语义词典中，分别计算待测标签与图像集合内除待测标签所在目标图像外其他各图像中标签的标签语义相似分值。
当需要对图像集合中各图像进行标签去噪时，可以将图像集合中各图像的标签均导入到树状结构语义词典WordNet中，通过树状结构语义词典把各标签的关系表示在树状结构中，分别计算待测标签分别与图像集合内除待测标签所在目标图像外其他各图像中标签的标签语义相似分值。树状结构语义词典不依赖语料库，并且标签词语间关系表达清晰方便。
计算标签语义相似分值的过程可以包括利用如下公式计算待测标签分别与图像集合内除待测标签所在目标图像外其他各图像中标签的语义距离：
Figure BDA0002051737080000061
其中，m为目标图像的标签总数，n为图像集合中另一个其他图像的标签总数，mi为目标图像的其中一个待测标签，nj为图像集合中另一个其他图像的其中一个标签，Dit(mi,nj)为在树状结构语义词典中mi标签与nj标签的最短距离。
考虑到图像间含有相同标签的情况，可以对上式进行改进如下：
Figure BDA0002051737080000062
其中，t是两个图像间标签相同的数目，c是权重因子，一般c取值为0.5。
还可以将改进后的公式进行归一化为：
Figure BDA0002051737080000063
从而得到待测标签分别与图像集合内除待测标签所在目标图像外其他各图像中标签的标签语义相似分值aij。最终得到M×M的标签语义相似分值矩阵A，M为图像的个数，若行或列所表示的图像标签为空，则对应的aij的值为-1。
目标图像可以是图像集合中任意一个图像标签不为空且需要进行标签去噪的图像，待测标签可以是目标图像中任意一个标签。
S102：利用双通道卷积神经网络深度学习算法计算目标图像分别与图像集合中其他图像的图像相似分值。
可以利用双通道卷积神经网络深度学习算法2-channel Convolutional NeuralNetwork计算目标图像分别与图像集合中其他图像的图像相似分值。双通道卷积神经网络深度学习算法的网络结构如图2所示，在网络的顶层，可以由线性全连接和线性整流函数(Rectified Linear Unit，ReLU)构成输出层。池化层可以采用Spatial Pyramid Pooling(SPP)，输入的一张图像处理成两张图像，第一张从原图中心向四周扩散截取，第二张由原图随机采样获得，如图2中，图像X1被处理得到图像a和图像b，图像X2被处理得到图像c和图像d。卷积网络可以采用2-channel双通道网络结构，就相当于把输入的两张灰度图片看成是一张双通道的图片一样，卷积核可采用3*3。可以得到损失函数和相似度评价函数，损失函数如下式所示：
Figure BDA0002051737080000071
其中，公式第一部分为正则项，w'为权值(即卷积核参数)，第二部分误差损失部分yi'是网络第i对训练图像的输出神经元，yi的取值为-1或1，当两图像相似时为1，不相似为-1。λ取值为0.0005。
相似度评价函数如下式所示：
E12＝||Gw’(X1)-Gw’(X2)||；
其中，X1和X2为图像，Gw’(X)为网络映射函数。
对上式进行归一化得到：
Figure BDA0002051737080000081
根据以上深度学习网络得出结果做进一步处理得到一个M×M的图像相似分值矩阵B，M为图像个数。
S103：对各标签语义相似分值和分别对应的图像相似分值进行加权平均，得到目标图像分别与图像集合中其他图像的加权平均相似分值。
在计算得到标签语义相似分值和图像相似分值之后，可以对各标签语义相似分值和分别对应的图像相似分值进行加权平均，得到目标图像分别与图像集合中其他图像的加权平均相似分值。
可以通过如下公式计算加权平均相似分值：
dij＝aaij+bbij；
其中，a为标签语义相似分值权重因子，b为图像相似分值权重因子。
S104：将各加权平均相似分值进行大小排序，并根据排序结果从图像集合内除目标图像外其他各图像中确定预设数量个目标图像的亲近邻居图像。
其中，加权平均相似分值由大到小对应的图像为目标图像由亲到远的邻居图像。
在得到目标图像分别与图像集合中其他图像的加权平均相似分值之后，可以将各加权平均相似分值dij进行大小排序，并根据排序结果从图像集合内除目标图像外其他各图像中确定预设数量个目标图像的亲近邻居图像。加权平均相似分值由大到小对应的图像为目标图像由亲到远的邻居图像，即选取预设数量个相对较大的加权平均相似分值对应的图像，作为目标图像的亲近邻居图像。
需要说明的是，预设数量可以根据实际情况进行设定和调整，如可以根据图像集合中图像数量的多少进行设定和调整，本发明实施例对此不做限定。
S105：计算待测标签在各亲近邻居图像中的邻居分值。
在得到预设数量个目标图像的亲近邻居图像，可以计算待测标签在各亲近邻居图像中的邻居分值。
可以通过如下公式计算标签在各亲近邻居图像中的邻居分值：
Figure BDA0002051737080000091
其中，q是每个图像的标签列表，qtf(w)是标签列表q中标记w的频率，tf(w)是目标图像X的标签中w的频率，l1是目标图像X的标签总数，lavg是目标图像和各亲近邻居图像中l1的平均值，k’是用于规范标签频率的影响的正参数，k’一般取值为2，idf(w)是标签词频对分值影响的程度，b2是归一化后的图像标签数，0≤b2≤1，间隔为0.1。
S106：当邻居分值小于预设邻居分值阈值时，去除待测标签。
可以预先设置邻居分值阈值B，在得到待测标签在各亲近邻居图像中的邻居分值之后，将计算得到的邻居分值与预设邻居分值阈值进行对比，若邻居分值小于预设邻居分值阈值，即score(q,X)＜B，则说明待测标签对目标图像来说不正确，去除待测标签。本发明既考虑了标签语义，也考虑了图像的高层特征，增强了图像与相近图像的联系，更好的运用相近图像对自身标签判断。
应用本发明实施例所提供的方法，通过利用树状结构语义词典计算待测标签分别与图像集合中除待测标签所在目标图像外其他各图像中标签的标签语义相似分值，并利用双通道卷积神经网络深度学习算法计算目标图像分别与图像集合中其他图像的图像相似分值，并对各标签语义相似分值和分别对应的图像相似分值进行加权平均，得到目标图像分别与图像集合中其他图像的加权平均相似分值。通过对各加权平均相似分值排序得到预设数量个目标图像的亲近邻居图像，并计算待测标签在各亲近邻居图像中的邻居分值，将邻居分值与预设邻居分值阈值进行比较，判断是否将待测标签去除。本申请通过利用树状结构语义词典计算标签语义相似分值，充分考虑了标签间的相似语义，通过利用双通道卷积神经网络深度学习算法计算图像相似分值，充分考虑了图像间的高层特征，相较于现有的仅考虑标签频率和图像间底层特征的标签去噪方式，较大地提升了计算邻居图像的精确度，提高了在原本标签错误率较高时标签去噪的准确率。
需要说明的是，基于上述实施例一，本发明实施例还提供了相应的改进方案。在后续实施例中涉及与上述实施例一中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在下文的改进实施例中不再一一赘述。
实施例二：
参见图3，图3为本发明实施例中图像标签去噪方法的另一种实施流程图，该方法可以包括以下步骤：
S301：删除图像集合内同一图像中的冗余重复标签。
在对图像集合中个图像进行标签去噪时，可以先对图像集合中的所有图像标签进行预处理，删除图像集合内同一图像中的冗余重复标签，即将多个重复的标签只留其中一个，使得同一图像中各标签具有唯一性，从而使得计算过程得以简化。
S302：将图像集合中各图像的标签均导入到树状结构语义词典中，分别计算待测标签与图像集合内除待测标签所在目标图像外其他各图像中标签的标签语义相似分值。
S303：利用双通道卷积神经网络深度学习算法计算目标图像分别与图像集合中其他图像的图像相似分值。
S304：根据标签错误率越大图像相似分值权重因子越大的权重因子调节机制，分别对各标签语义相似分值权重因子和分别对应的图像相似分值权重因子进行调节，得到各调整后标签语义相似分值权重因子和分别对应的调整后图像相似分值权重因子。
在计算得到标签语义相似分值和图像相似分值之后，可以根据标签错误率越大图像相似权重因子越大的权重因子调节机制，分别对各标签语义相似分值权重因子和分别对应的图像相似分值权重因子进行调节，得到各调整后标签语义相似分值权重因子和分别对应的调整后图像相似分值权重因子。
对标签语义相似分值权重因子和图像相似分值权重因子进行调节的过程可以包括：先将图像集合中的图像根据图像相似分值bij聚成k1类，Ii表示第i类，假设目标图像X∈Ii。假设将目标图像X的标签根据归一化后的标签语义相似分值aij聚成3类(类的数目可以根据实际情况进行调整)，每类的聚类中心值分别为N1，N2，N3，运用向量[N1,N2,N3]表示目标图像X的标签语义信息，依据该向量结构把图像集合中的图像标签聚成k1类，Ti表示第i类。则权重因子的调节机制可表示为：
Figure BDA0002051737080000111
其中，m为某个图像的标签总数，t是两个图像间标签相同的数目，Q为Ti和Ii重叠的部分。
该机制思想是标签错误率越大，图像相似分值权重因子越大，即b越大，相似的图像往往有相似的标签，即可用根据目标图像自带标签与相似图像的标签差异调节权重，增强算法在标签错误率较高时的适用性。如果目标图像没有标签，则b＝1，a＝0。
S305：利用各调整后标签语义相似分值权重因子和分别对应的调整后图像相似分值权重因子，对各标签语义相似分值和对应的图像相似分值进行加权平均，得到目标图像分别与图像集合中其他图像的加权平均相似分值。
在得到各调整后标签语义相似分值权重因子和分别对应的调整后图像相似分值权重因子之后，可以利用各调整后标签语义相似分值权重因子和分别对应的调整后图像相似分值权重因子，对各标签语义相似分值和对应的图像相似分值进行加权平均，得到目标图像分别与图像集合中其他图像的加权平均相似分值。
在计算亲近邻居图像时，运用创新的调节机制调节标签语义相似分值与图像相似分值的权重，保留标签缺失的数据，提高了在标签错误率较高时算法的适用性。
S306：将各加权平均相似分值进行大小排序，并根据排序结果从图像集合内除目标图像外其他各图像中确定预设数量个目标图像的亲近邻居图像。
其中，加权平均相似分值由大到小对应的图像为目标图像由亲到远的邻居图像。
S307：计算目标图像和各亲近邻居图像的平均标签词频。
可以计算目标图像和各亲近邻居图像的平均标签词频，例如，目标图像和亲近邻居图像共三个图像，第一个图像的标签为a，b，c，第二个图像的标签为a，b，第三个图像的标签为c，d，m，在所有标签里a，b，c各有两个，d，m各有一个，那么图像集合的平均标签词频为(2+2+2+1+1)/5＝1.6。
S308：根据目标图像和各亲近邻居图像中标记有待测标签的图像数量与平均标签词频的大小关系，对目标图像和各亲近邻居图像的分值影响程度调节因子进行调整，得到调整后分值影响程度调节因子。
关于邻居分值
Figure BDA0002051737080000121
在计算得到目标图像和各亲近邻居图像的平均标签词频之后，可以根据目标图像和各亲近邻居图像中标记有待测标签的图像数量与平均标签词频的大小关系，对标签词频对分值影响的程度idf(w)中目标图像和各亲近邻居图像的分值影响程度调节因子进行调整，得到调整后分值影响程度调节因子。
标签词频对分值影响的程度idf(w)可表示为：
Figure BDA0002051737080000122
其中，N是目标图像和各亲近邻居图像中图像的数量，Lw是用标签w标记的图像的数量，a1是调节因子，当Lw大于平均标签词频时，f1为1，f2为0，否则f1为0，f2为1。
可以进行标签相关性tagRelevance计算，该值为目标图像X的k个最近邻居图像中的标签w的计数减去w的先前频率，即：
tag Relevance(w,X,k)＝nw[Nf(X,k)]-Prior(w,k)；
其中，w是目标图像X的标签，nw[Nf(X,k)]是包含标签w的邻居图像数，Prior(w,k)是标签w的频率近似，其中，Prior(w,k)为：
Figure BDA0002051737080000131
其中，k是目标图像X的邻居数，Lw是用标签w标记的图像的数量，
Figure BDA0002051737080000132
为由目标图像和各亲近邻居图像构成的整个图像集合的大小。
函数tagRelevance不一定获得肯定的结果，标签的相关性在绝大部分情况上大于等于1，当计算结果小于1时，把tagRelevance改为1才更贴近事实，即将标签相关性tagRelevance的最小值设置为1。换句话说，如果用户提供的标签的学习标签相关性值小于其在图像中的原始频率(即小于标签在图像中的占比)，则我们拒绝该图像的标签相关性学习结果。当函数tagRelevance为肯定的结果时，可以使用学习的标签相关性值作为更新的标签频率，即用tagRelevance代替tf(w)。
通过考虑标签关键字的整体词频对应用的影响，当词频较大时增加邻居对标签去噪的作用，减少图像本身标签出错时对标签去噪的影响，进一步提高标签去噪的准确度。
S309：利用调整后分值影响程度调节因子计算待测标签在各亲近邻居中的邻居分值。
在得到调整后分值影响程度调节因子之后，可以利用调整后分值影响程度调节因子计算待测标签在各亲近邻居中的邻居分值。
S310：当邻居分值小于预设邻居分值阈值时，去除待测标签。
相应于上面的方法实施例，本发明实施例还提供了一种图像标签去噪装置，下文描述的图像标签去噪装置与上文描述的图像标签去噪方法可相互对应参照。
参见图4，图4为本发明实施例中一种图像标签去噪装置的结构框图，该装置可以包括：
语义相似分值计算模块41，用于将图像集合中各图像的标签均导入到树状结构语义词典中，分别计算待测标签与图像集合内除待测标签所在目标图像外其他各图像中标签的标签语义相似分值；
图像相似分值计算模块42，用于利用双通道卷积神经网络深度学习算法计算目标图像分别与图像集合中其他图像的图像相似分值；
加权平均相似分值获得模块43，用于对各标签语义相似分值和分别对应的图像相似分值进行加权平均，得到目标图像分别与图像集合中其他图像的加权平均相似分值；
亲近邻居图像确定模块44，用于将各加权平均相似分值进行大小排序，并根据排序结果从图像集合内除目标图像外其他各图像中确定预设数量个目标图像的亲近邻居图像；其中，加权平均相似分值由大到小对应的图像为目标图像由亲到远的邻居图像；
邻居分值计算模块45，用于计算待测标签在各亲近邻居图像中的邻居分值；
标签去除模块46，用于当邻居分值小于预设邻居分值阈值时，去除待测标签。
应用本发明实施例所提供的装置，通过利用树状结构语义词典计算待测标签分别与图像集合中除待测标签所在目标图像外其他各图像中标签的标签语义相似分值，并利用双通道卷积神经网络深度学习算法计算目标图像分别与图像集合中其他图像的图像相似分值，并对各标签语义相似分值和分别对应的图像相似分值进行加权平均，得到目标图像分别与图像集合中其他图像的加权平均相似分值。通过对各加权平均相似分值排序得到预设数量个目标图像的亲近邻居图像，并计算待测标签在各亲近邻居图像中的邻居分值，将邻居分值与预设邻居分值阈值进行比较，判断是否将待测标签去除。本申请通过利用树状结构语义词典计算标签语义相似分值，充分考虑了标签间的相似语义，通过利用双通道卷积神经网络深度学习算法计算图像相似分值，充分考虑了图像间的高层特征，相较于现有的仅考虑标签频率和图像间底层特征的标签去噪方式，较大地提升了计算邻居图像的精确度，提高了在原本标签错误率较高时标签去噪的准确率。
在本发明的一种具体实施方式中，该装置还可以包括：
标签删除模块，用于在将图像集合中各图像的标签均导入到树状结构语义词典中之前，删除图像集合内同一图像中的冗余重复标签。
在本发明的一种具体实施方式中，邻居分值计算模块45包括标签词频计算子模块、分值影响程度调整子模块及邻居分值计算子模块，
标签词频计算子模块，用于计算目标图像和各亲近邻居图像的平均标签词频；
分值影响程度调整子模块，用于根据目标图像和各亲近邻居图像中标记有待测标签的图像数量与平均标签词频的大小关系，对目标图像和各亲近邻居图像的分值影响程度调节因子进行调整，得到调整后分值影响程度调节因子；
邻居分值计算子模块，用于利用调整后分值影响程度调节因子计算待测标签在各亲近邻居中的邻居分值。
在本发明的一种具体实施方式中，加权平均相似分值获得模块43包括语义及图像相似分值调节子模块和加权平均相似分值获得子模块，
语义及图像相似分值调节子模块，用于根据标签错误率越大图像相似分值权重因子越大的权重因子调节机制，分别对各标签语义相似分值权重因子和分别对应的图像相似分值权重因子进行调节，得到各调整后标签语义相似分值权重因子和分别对应的调整后图像相似分值权重因子；
加权平均相似分值获得子模块，用于利用各调整后标签语义相似分值权重因子和分别对应的调整后图像相似分值权重因子，对各标签语义相似分值和对应的图像相似分值进行加权平均。
相应于上面的方法实施例，参见图5，图5为本发明所提供的图像标签去噪设备的示意图，该设备可以包括：
存储器51，用于存储计算机程序；
处理器52，用于执行上述存储器51存储的计算机程序时可实现如下步骤：
将图像集合中各图像的标签均导入到树状结构语义词典中，分别计算待测标签分别与图像集合内除待测标签所在目标图像外其他各图像中标签的标签语义相似分值；利用双通道卷积神经网络深度学习算法计算目标图像分别与图像集合中其他图像的图像相似分值；对各标签语义相似分值和分别对应的图像相似分值进行加权平均，得到目标图像分别与图像集合中其他图像的加权平均相似分值；将各加权平均相似分值进行大小排序，并根据排序结果从图像集合内除目标图像外其他各图像中确定预设数量个目标图像的亲近邻居图像；其中，加权平均相似分值由大到小对应的图像为目标图像由亲到远的邻居图像；计算待测标签在各亲近邻居图像中的邻居分值；当邻居分值小于预设邻居分值阈值时，去除待测标签。
对于本发明提供的设备的介绍请参照上述方法实施例，本发明在此不做赘述。
相应于上面的方法实施例，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：
将图像集合中各图像的标签均导入到树状结构语义词典中，分别计算待测标签分别与图像集合内除待测标签所在目标图像外其他各图像中标签的标签语义相似分值；利用双通道卷积神经网络深度学习算法计算目标图像分别与图像集合中其他图像的图像相似分值；对各标签语义相似分值和分别对应的图像相似分值进行加权平均，得到目标图像分别与图像集合中其他图像的加权平均相似分值；将各加权平均相似分值进行大小排序，并根据排序结果从图像集合内除目标图像外其他各图像中确定预设数量个目标图像的亲近邻居图像；其中，加权平均相似分值由大到小对应的图像为目标图像由亲到远的邻居图像；计算待测标签在各亲近邻居图像中的邻居分值；当邻居分值小于预设邻居分值阈值时，去除待测标签。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种图像标签去噪方法，其特征在于，包括：
将图像集合中各图像的标签均导入到树状结构语义词典中，分别计算待测标签与所述图像集合内除所述待测标签所在目标图像外其他各图像中标签的标签语义相似分值；
利用双通道卷积神经网络深度学习算法计算所述目标图像分别与所述图像集合中其他图像的图像相似分值；
对各所述标签语义相似分值和分别对应的图像相似分值进行加权平均，得到所述目标图像分别与所述图像集合中其他图像的加权平均相似分值；
将各所述加权平均相似分值进行大小排序，并根据排序结果从所述图像集合内除所述目标图像外其他各图像中确定预设数量个所述目标图像的亲近邻居图像；其中，所述加权平均相似分值由大到小对应的图像为所述目标图像由亲到远的邻居图像；
计算所述待测标签在各所述亲近邻居图像中的邻居分值；
当所述邻居分值小于预设邻居分值阈值时，去除所述待测标签；
计算所述待测标签在各所述亲近邻居图像中的邻居分值，包括：
计算所述目标图像和各所述亲近邻居图像的平均标签词频；
根据所述目标图像和各所述亲近邻居图像中标记有所述待测标签的图像数量与所述平均标签词频的大小关系，对所述目标图像和各所述亲近邻居图像的分值影响程度调节因子进行调整，得到调整后分值影响程度调节因子；
利用所述调整后分值影响程度调节因子计算所述待测标签在各所述亲近邻居中的邻居分值。
2.根据权利要求1所述的图像标签去噪方法，其特征在于，在将图像集合中各图像的标签均导入到树状结构语义词典中之前，还包括：
删除所述图像集合内同一图像中的冗余重复标签。
3.根据权利要求1或2所述的图像标签去噪方法，其特征在于，对各所述标签语义相似分值和分别对应的图像相似分值进行加权平均，包括：
根据标签错误率越大图像相似分值权重因子越大的权重因子调节机制，分别对各标签语义相似分值权重因子和分别对应的图像相似分值权重因子进行调节，得到各调整后标签语义相似分值权重因子和分别对应的调整后图像相似分值权重因子；
利用各所述调整后标签语义相似分值权重因子和分别对应的调整后图像相似分值权重因子，对各所述标签语义相似分值和对应的图像相似分值进行加权平均。
4.一种图像标签去噪装置，其特征在于，包括：
语义相似分值计算模块，用于将图像集合中各图像的标签均导入到树状结构语义词典中，分别计算待测标签与所述图像集合内除所述待测标签所在目标图像外其他各图像中标签的标签语义相似分值；
图像相似分值计算模块，用于利用双通道卷积神经网络深度学习算法计算所述目标图像分别与所述图像集合中其他图像的图像相似分值；
加权平均相似分值获得模块，用于对各所述标签语义相似分值和分别对应的图像相似分值进行加权平均，得到所述目标图像分别与所述图像集合中其他图像的加权平均相似分值；
亲近邻居图像确定模块，用于将各所述加权平均相似分值进行大小排序，并根据排序结果从所述图像集合内除所述目标图像外其他各图像中确定预设数量个所述目标图像的亲近邻居图像；其中，所述加权平均相似分值由大到小对应的图像为所述目标图像由亲到远的邻居图像；
邻居分值计算模块，用于计算所述待测标签在各所述亲近邻居图像中的邻居分值；
标签去除模块，用于当所述邻居分值小于预设邻居分值阈值时，去除所述待测标签；
所述邻居分值计算模块包括标签词频计算子模块、分值影响程度调整子模块及邻居分值计算子模块，
所述标签词频计算子模块，用于计算所述目标图像和各所述亲近邻居图像的平均标签词频；
所述分值影响程度调整子模块，用于根据所述目标图像和各所述亲近邻居图像中标记有所述待测标签的图像数量与所述平均标签词频的大小关系，对所述目标图像和各所述亲近邻居图像的分值影响程度调节因子进行调整，得到调整后分值影响程度调节因子；
所述邻居分值计算子模块，用于利用所述调整后分值影响程度调节因子计算所述待测标签在各所述亲近邻居中的邻居分值。
5.根据权利要求4所述的图像标签去噪装置，其特征在于，还包括：
标签删除模块，用于在将图像集合中各图像的标签均导入到树状结构语义词典中之前，删除所述图像集合内同一图像中的冗余重复标签。
6.根据权利要求4或5所述的图像标签去噪装置，其特征在于，所述加权平均相似分值获得模块包括语义及图像相似分值调节子模块和加权平均相似分值获得子模块，
所述语义及图像相似分值调节子模块，用于根据标签错误率越大图像相似分值权重因子越大的权重因子调节机制，分别对各标签语义相似分值权重因子和分别对应的图像相似分值权重因子进行调节，得到各调整后标签语义相似分值权重因子和分别对应的调整后图像相似分值权重因子；
所述加权平均相似分值获得子模块，用于利用各所述调整后标签语义相似分值权重因子和分别对应的调整后图像相似分值权重因子，对各所述标签语义相似分值和对应的图像相似分值进行加权平均。
7.一种图像标签去噪设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述图像标签去噪方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述图像标签去噪方法的步骤。
CN201910376131.2A 2019-05-07 2019-05-07 图像标签去噪方法、装置、设备及计算机可读存储介质 Active CN110069647B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910376131.2A CN110069647B (zh) 2019-05-07 2019-05-07 图像标签去噪方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910376131.2A CN110069647B (zh) 2019-05-07 2019-05-07 图像标签去噪方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110069647A CN110069647A (zh) 2019-07-30
CN110069647B true CN110069647B (zh) 2023-05-09

Family

ID=67370146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910376131.2A Active CN110069647B (zh) 2019-05-07 2019-05-07 图像标签去噪方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110069647B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711578B (zh) * 2020-12-30 2021-09-21 深圳市全景网络有限公司 用于云计算业务的大数据去噪方法及云计算金融服务器
CN113158982A (zh) * 2021-05-17 2021-07-23 广东中卡云计算有限公司 一种半介入式的目标关键点标注方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014190265A1 (en) * 2013-05-24 2014-11-27 Google Inc. Community detection in weighted graphs

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8909563B1 (en) * 2011-06-17 2014-12-09 Google Inc. Methods, systems, and programming for annotating an image including scoring using a plurality of trained classifiers corresponding to a plurality of clustered image groups associated with a set of weighted labels
CN102880612B (zh) * 2011-07-14 2015-05-06 富士通株式会社 图像标注方法及其装置
US9607014B2 (en) * 2013-10-31 2017-03-28 Adobe Systems Incorporated Image tagging
CN103810274B (zh) * 2014-02-12 2017-03-29 北京联合大学 基于WordNet语义相似度的多特征图像标签排序方法
EP2963564A1 (en) * 2014-07-04 2016-01-06 Gottfried Wilhelm Leibniz Universität Hannover Method for determining the relevance of a tag
US9704054B1 (en) * 2015-09-30 2017-07-11 Amazon Technologies, Inc. Cluster-trained machine learning for image processing
CN107122374A (zh) * 2016-12-08 2017-09-01 南京理工大学 可同时挖掘视觉和语义相似性的图像标注方法
US20180300315A1 (en) * 2017-04-14 2018-10-18 Novabase Business Solutions, S.A. Systems and methods for document processing using machine learning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014190265A1 (en) * 2013-05-24 2014-11-27 Google Inc. Community detection in weighted graphs

Also Published As

Publication number Publication date
CN110069647A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN112597941B (zh) 一种人脸识别方法、装置及电子设备
CN109189991A (zh) 重复视频识别方法、装置、终端及计算机可读存储介质
CN109993040A (zh) 文本识别方法及装置
CN102144231A (zh) 用于基于文本的图像搜索结果重新排序的自适应视觉相似性
CN107665261A (zh) 视频查重的方法及装置
CN109829065B (zh) 图像检索方法、装置、设备及计算机可读存储介质
CN111931505A (zh) 一种基于子图嵌入的跨语言实体对齐方法
CN112069884A (zh) 一种暴力视频分类方法、系统和存储介质
Wang et al. Aspect-ratio-preserving multi-patch image aesthetics score prediction
CN110069647B (zh) 图像标签去噪方法、装置、设备及计算机可读存储介质
CN111523421A (zh) 基于深度学习融合各种交互信息的多人行为检测方法及系统
CN114358188A (zh) 特征提取模型处理、样本检索方法、装置和计算机设备
CN102385592A (zh) 图像概念的检测方法和装置
CN111639230B (zh) 一种相似视频的筛选方法、装置、设备和存储介质
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN116612324A (zh) 基于语义自适应融合机制的小样本图像分类方法及装置
CN114841974A (zh) 一种水果内部结构无损检测方法、系统、电子设备及介质
CN113918744A (zh) 相似图像检索方法、装置、存储介质及计算机程序产品
CN113971644A (zh) 基于数据增强策略选择的图像识别方法及装置
CN111144469B (zh) 基于多维关联时序分类神经网络的端到端多序列文本识别方法
CN117058235A (zh) 跨多种室内场景的视觉定位方法
CN116051924B (zh) 一种图像对抗样本的分治防御方法
CN116935057A (zh) 目标评价方法、电子设备和计算机可读存储介质
CN114168780A (zh) 多模态数据处理方法、电子设备及存储介质
CN115761888A (zh) 基于nl-c3d模型的塔吊操作人员异常行为检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant