CN108268510A - 一种图像标注方法和装置 - Google Patents

一种图像标注方法和装置 Download PDF

Info

Publication number
CN108268510A
CN108268510A CN201611262818.6A CN201611262818A CN108268510A CN 108268510 A CN108268510 A CN 108268510A CN 201611262818 A CN201611262818 A CN 201611262818A CN 108268510 A CN108268510 A CN 108268510A
Authority
CN
China
Prior art keywords
image
label
marked
text
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611262818.6A
Other languages
English (en)
Other versions
CN108268510B (zh
Inventor
冯柏岚
姚春凤
李德丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201611262818.6A priority Critical patent/CN108268510B/zh
Publication of CN108268510A publication Critical patent/CN108268510A/zh
Application granted granted Critical
Publication of CN108268510B publication Critical patent/CN108268510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information

Abstract

本申请公开了一种图像标注方法和装置,在待标注图像为弱标注图像的情况下,根据待标注图像的文本和内容从优质标注数据集中筛选出候选图像,根据候选图像中各个图像的标签的分布情况,将满足标签迁移条件的标签添加到待标注图像上,自动将弱标注图像转换为强标注图像,提升图像标注的效率和准确度。

Description

一种图像标注方法和装置
技术领域
本发明涉及图像处理领域,尤其涉及一种图像标注方法和装置。
背景技术
随着计算机网络和多媒体技术的发展,互联网上可获取的多媒体信息的数量也得到非常快速的增长。多媒体信息的激增给用户提供丰富资源的同时,如何从海量的信息中快速有效地获得感兴趣的资源也给研究人员带来巨大的挑战。由此,图像分类和检索技术日益得到重视。
基于内容的图像检索(CBIR,Content-Based Image Retrieval)技术自上世纪九十年代提出以来得到了广泛的研究。通过将图像自身的视觉内容特征(例如颜色、纹理、形状和空间层次等底层特征)作为其索引,可以检索视觉特征上相似的其他图像。从而可以根据图像低级特征计算的视觉相似度来直接比较和检索图像。
但是,由于使用了图像的底层视觉特征来描述图像,而这些特征与人们对图像高层语义的主观判断没有统一规则的相关性。当完全不同类型的图像有可能具有类似的底层特征时,根据视觉相似度直接比较的方法往往不能得到准确的检索结果。
另一方面,出现了一些通过基于文本的图像检索(TBIR,Text-Based ImageRetrieval)技术对图像进行标注的方法。通过低级特征寻找待标注图像的相似图像,将相似图像的标签分配给待标注图像,从而可以将图像视觉和相关文本信息结合进行检索。
但是在实现本发明的过程中,发明人发现现有技术的缺陷在于:目前由于图像的低级特征和高级语义之间存在距离,图像标注的准确度低;而如果仅利用人机交互或者手工方式对图像进行标注,则效率低且用户负担重。
发明内容
本发明实施例所要解决的技术问题在于,提供一种图像标注方法。能根据文本和内容,将弱标注图像自动转换为强标注图像,提升图像标注的准确性和效率。
为了解决上述技术问题,本发明实施例提供了一种图像标注方法,包括:获取待标注图像,识别待标注图像的标注类型,图像的标注类型分为无标注图像、强标注图像和弱标注图像,无标注图像表示图像的标签的数量为0,弱标识图像表示图像的标签的数量大于0但是小于某个预设值,强标注图像表示图像的标签的数量大于或等于该预设值,图像标注装置可根据待标注图像的标签的数量来识别待标注图像的标注类型。在待标注图像为弱标注图像的情况下,确定待标注图像的标签的文本,根据标签的文本在预设的优质标注数据集中进行基于文本的图像检索TBIR(Text Based Image Retrieval,基于文本的图像检索),根据检索到的图像得到第一图像集,其中,优质数据集中的图像均为强标注图像,且各个图像的标签的准确度高。根据待标注图像的内容在第一图像集合中进行基于内容的图像检索CBIR(Content Based Image Retrieval,基于内容的图像检索),图像的内容包括但不限于颜色、纹理、形状和空间关系中的一种或多种,根据检索到的图像得到第二图像集。在本实施例中待标注图像为行人图像,优质数据集为行人数据集,根据图像的行人身份信息、标签的语义和图像内容采用指定的网络传播方法计算第二图像集中的各个图像的融合相似度值,融合相似度的计算方法可采用网络传播方法,例如:随机游走算法进行计算。图像标注装置从第二图像集中选择融合相似度大于预设的第一阈值的图像,两个图像之间的相似程度与融合相似度呈正比,融合相似度越大,两个图像之间的相似程度越大,反之两个图像之间的相似程度越小;图像标注装置根据选择出的图像得到第一候选图像集,统计第一候选图像集中各个图像的标签的出现频率,根据标签的出现频率判断标签是否满足预设的标签迁移条件,将满足标签迁移条件的标签迁移到待标注图像上,由于待标注图像为弱标注图像,添加标签后得到强标注图像。
实施上述实施例,在待标注图像为弱标注图像的情况下,根据待标注图像的文本和内容从优质标注数据集中筛选出候选图像,根据候选图像中各个图像的标签的分布情况,将满足标签迁移条件的标签添加到待标注图像上,自动将弱标注图像转换为强标注图像,提升图像标注的效率和准确度。
在本方面的一种可能的实施方式中,在待标注图像的标签的数量等于0的情况下,待标注图像为无标注图像,图像标注装置根据待标注图像的内容在预设的优质标注数据集中进行基于内容的图像检索,根据检索到的图像得到第三图像集,计算第三图像集中各个图像与待标注图像之间的视觉相似度,从第三图像集中选择视觉相似度大于第二阈值的图像,根据选择的图像生成第四图像集;统计第四图像集中各个图像的标签的出现频率,根据标签的出现频率判断标签是否满足预设的标签迁移条件,将满足标签迁移条件的标签添加到待标注图像上。实施上述实施例,在图像为无标注图像的情况下,根据图像的内容从优质数据集中筛选出候选图像,根据后续图像中各个图像的标签的分布情况,将符合标签迁移条件的标签添加到待标注图像上,自动将无标注图像转换为弱标注图像,提升图像标注的效率和准确度。
在本方面的一种可能的实施方式中,在无标注图像添加标签后生成已标注图像,识别已标注图像是否为强标注图像,若为否,确定已标注图像的标签的文本,根据已标注图像的文本在优质标注数据集中进行基于文本的图像检索,根据检索到的图像得到第五图像集,根据已标注图像的内容在第五图像集中进行基于内容的图像检索,根据检索到的图像得到第六图像集,根据图像的行人身份信息,标签的文本和图像的内容对第六图像集中各个图像进行融合计算得到融合相似度,从第六图像集中选择出融合相似度大于第一阈值的图像,根据选择的图像得到第二候选图像集,统计第二候选图像集中各个图像的标签的出现频率,根据标签的出现频率判断标签是否满足预设的标签迁移条件,以及将满足标签迁移条件的标签添加到已标注图像上,得到强标注图像。
在本方面的一种可能的实施方式中,标签的出现频率与候选图像集中的图像的数量相除得到比例值,标签迁移条件为:该比例值大于预设比例值。
在本方面的一种可能的实施方式中,获取第二图像中各个图像的行人身份信息、标签的文本和图像内容采用随机游走算法计算图像的融合相似度值。
第二方面,本申请还提供了一种图像标注装置,包括处理器和存储器,存储器中存储有程序代码,处理器调用该程序代码用于执行第一方面和第一方面的第一至第四方面的任意一种所述的图像标注方法。
第三方面,本申请还提供了一种存储介质,用于控制计算机设备执行第一方面和第一方面至第四方面的任意一种所述的图像标注方法。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像标注方法的流程示意图;
图2是本发明实施例提供的一种图像标注方法的另一流程示意图;
图3是本发明实施例提供的一种图像标注装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
参见图1,为本发明实施例提供的一种图像标注方法的流程示意图,在本发明实施例中,所述方法包括:
S101、在待标注图像为弱标注图像的情况下,确定待标注图像的标签的文本。
具体的,识别待标注图像的标注类型,图像标注装置可根据待标注图像的标签的数量来识别待标注图像的标注类型,在待标注图像的标签的数量为0的情况下,待标注图像为无标注图像;在待标注图像的标签的数量大于0且小于预设值的情况下,待标注图像为弱标注图像;在待标注图像的标签的数量大于或等于预设值的情况下,待标注图像为强标注图像。图像的标签用来描述图片的语义,文本用来描述图像的语义的文本,例如:某个图像的标签的文本为男性、帽子、眼镜、长发。
S102、根据标签的文本在预设的优质标注数据集中进行基于文本的图像检索,根据检索到的图像得到第一图像集。
具体的,在待标注图像的标签的数量为多个的情况下,图像标注装置依次根据每个标签的文本在预设的优质标注数据集中进行基于文本的图像检索,然后根据检索到的图像生成第一图像集,基于文本的图像检索算法可以采用现有技术中的任意算法,本实施例不作限制。优质标注数据集中包括多个强标注图像,且每个强标注图像的标签能准确的描述图像的语义。例如,在行人图像识别领域,优质标注数据集包括但不限于RAP(RichlyAnnotated Pedestrian Dataset,富标注行人数据集)、PETA(large-scale PEdestrianAttribute dataset,大规模行人属性数据集)或APiS(Attribute Pedestrian inSurveillance dataset,行人属性监控数据集)。
例如:待标注图像的标签为标签1、标签2、标签3,图像标注装置分别根据标签1的文本在优质图像数据集进行基于文本的图像检索,根据标签2的文本在优质图像数据集合中进行基于文本的图像检索,根据标签3的文本在优质图像数据集中进行基于文本的图像检索,将三次检索到的图像进行合并得到第一图像集。
S103、根据待标注图像的内容在第一图像集中进行基于内容的图像检索,根据检索到的图像得到第二图像集。
具体的,图像的内容包括颜色、纹理和形状,基于内容的图像检索的算法可以是现有技术中的任意一种算法,本实施例不作限制,图像标注装置在第一图像集合中根据待标签图像的内容进行基于内容的图像检索,根据检索到的图像得到第二图像集。
S104、根据图像的行人身份信息、标签的文本和图像的内容对第二图像集中各个图像进行融合计算得到融合相似度。
在本实施例中待标注图像为行人图像,优质数据集为行人数据集,根据图像的行人身份信息、标签的语义和图像内容采用指定的网络传播方法计算第二图像集中的各个图像的融合相似度值,融合相似度的计算方法可采用网络传播方法,例如:随机游走算法进行计算。
S105、从第二图像集中选择出融合相似度大于预设的第一阈值的图像,根据选择的图像得到第一候选图像集。
具体的,图像标注装置从第二图像集中选择融合相似度大于预设的第一阈值的图像,两个图像之间的相似程度与融合相似度呈正比,融合相似度越大,两个图像之间的相似程度越大,反之两个图像之间的相似程度越小;图像标注装置根据选择出的图像得到第一候选图像集。
S106、统计第一候选图像集中各个图像的标签的出现频率,根据标签的出现频率判断标签是否满足预设的标签迁移条件,以及将满足标签迁移条件的标签添加到待标注图像上。
具体的,统计第一候选图像集中各个图像的标签的出现频率,根据标签的出现频率判断该标签是否满足预设的标签迁移条件,将满足标签迁移条件的标签添加到待标注图像上,生成强标注图像。
示例性的,第一候选图像集中包括图像1、图像2、图像3、图像4,图像1携带4个标签:男性、帽子、长发、眼镜,图像2携带4个标签:男性、无帽子、短发、无眼镜,图像3携带4个标签:女性、围巾、短发、眼镜,图像4携带4个标签男性、帽子、短发、眼镜。图像标注装置统计第一候选集合中男性的出现频率为3,帽子的出现频率为2,图像标注装置将标签“帽子”与第一候选图像中图像的数量的比值为0.75,假设预收的标签迁移条件为比值大于0.5,则将标签帽子添加到待标注图像上。
实施上述实施例,在待标注图像为弱标注图像的情况下,根据待标注图像的文本和内容从优质标注数据集中筛选出候选图像,根据候选图像中各个图像的标签的分布情况,将满足标签迁移条件的标签添加到待标注图像上,自动将弱标注图像转换为强标注图像,提升图像标注的效率和准确度。
参见图2,为本发明实施例提供的一种图像标注方法的另一流程示意图,在本发明实施例中,所述方法包括:
S201、在识别出待标注图像为无标注图像的情况下,根据待标注图像的内容从优质标注数据集中进行基于内容的图像检索,根据检索结果生成第三图像集。
具体的,识别待标注图像的标注类型,图像标注装置可根据待标注的标签的数量来识别待标注图像的标注类型,在待标注图像的标签的数量为0的情况下,识别出待标注图像为无标注图像。图像的标签用来描述图片的语义。文本用来描述图像的语义的文本,例如:某个图像的标签的文本为男性、围巾、眼镜、长发。
S202、计算第三图像集中各个图像与待标注图像之间的视觉相似度。
具体的,计算两个图像的视觉相似度的方法可以是将两个图像的特征映射到空间向量上,计算两个空间向量之间的距离,距离越小相似度越大,越大越大相似度越小,视觉相似度的算法包括但不限于颜色直方图匹配、矩阵分解和特征点匹配。图像标注装置依次将待标注图像和第三图像集合中的各个图像计算视觉相似度,视觉相似度越大两个图像的相似程度越高,视觉相似度越小两个图像的相似程度越低。
S203、从第三图像集中选择视觉相似度大于预设的第二阈值的图像,根据选择的图像生成第四图像集。
其中,预设的第二阈值可根据需要进行设置,本实施例不作限制。
S204、统计第四图像集中各个图像的标签的出现频率,根据标签的出现频率判断标签是否满足标签迁移条件,以及将满足标签迁移条件的标签迁移到待标注图像上。
具体的,统计第四图像集中各个图像的标签的出现频率,根据标签的出现频率判断该标签是否满足预设的标签迁移条件,将满足标签迁移条件的标签添加到待标注图像上,生成强标注图像。
示例性的,第四像集中包括图像1、图像2、图像3、图像4,图像1携带4个标签:男性、帽子、长发、眼镜,图像2携带4个标签:男性、无帽子、短发、无眼镜,图像3携带4个标签:女性、围巾、短发、眼镜,图像4携带4个标签男性、帽子、短发、眼镜。图像标注装置统计第一候选集合中男性的出现频率为3,帽子的出现频率为2,图像标注装置将标签“帽子”与第一候选图像中图像的数量的比值为0.75,假设预收的标签迁移条件为比值大于0.5,则将标签帽子添加到待标注图像上。
实施上述实施例,在图像为无标注图像的情况下,根据图像的内容从优质数据集中筛选出候选图像,根据后续图像中各个图像的标签的分布情况,将符合标签迁移条件的标签添加到待标注图像上,自动将无标注图像转换为弱标注图像,提升图像标注的效率和准确度。
可选的,识别已标注图像是否为强标注图像;
若为否,确定所述已标注图像的标签的文本;
根据所述已标注图像的标签的的文本在所述优质标注数据集中进行基于文本的图像检索,根据检索到的图像得到第五图像集;
根据所述已标注图像的内容在所述第五图像集进行基于内容的图像检索,根据检索到的图像得到第六图像集;
根据图像的行人身份信息、标签的文本和图像的内容对所述第六图像集中各个图像进行融合计算得到融合相似度;
从所述第六图像集中选择出融合相似度大于所述第一阈值的图像,根据选择的图像得到第二候选图像集;
统计所述第二候选图像集中各个图像的标签的出现频率,根据标签的出现频率判断标签是否满足预设的标签迁移条件,以及将满足所述标签迁移条件的标签添加到所述已标注图像上。
其中,在无标注图像进行S201~S204的处理后生成已标注图像,在生成的已标注图像为弱标注图像的情况下,可以根据S101~S106的处理过程将弱标注图像转换为强标注图像,具体过程可参照图1的描述,此处不再赘述。
需要说明的是,将本实施例转换得到的强标注图像加入到扩展数据集中,在扩展数据集中图像的数量大于预设数量的情况下,将扩展数据集联合优质标注数据集,基于预设的训练算法对模型进行重训练,迭代优化模型性能及初始文本标签的精度。
参见图3,图3为本发明实施例提供的一种图像标注装置的结构示意图,在本发明实施例中,图像标注装置3包括处理器30、存储器31和通信接口32。通信接口32用于与外部设备之间收发数据。图像标注装置3中的处理器30的数量可以是一个或多个。本发明的一些实施例中,处理器30、存储器31和收发器32可通过总线系统或其他方式连接。图像标注装置3可以用于执行图1和图2所示的方法。关于本实施例涉及的术语的含义以及举例,可以参考图1和图2对应的实施例。此处不再赘述。
其中,存储器31中存储程序代码。处理器30用于调用存储器31中存储的程序代码,用于执行以下操作:
获取待标注图像;
识别所述待标注图像的标注类型;
若所述待标注图像为弱标注图像,确定所述待标注图像的标签的文本;
根据所述标签的文本在预设的优质标注数据集中进行基于文本的图像检索,根据检索到的图像得到第一图像集;
根据所述待标注图像的内容在所述第一图像集进行基于内容的图像检索,根据检索到的图像得到第二图像集;
根据图像的行人身份信息、标签的语义和图像内容对所述第二图像集中各个图像进行融合计算得到融合相似度;
从所述第二图像集中选择出融合相似度大于预设的第一阈值的图像,根据选择的图像得到第一候选图像集;
统计所述第一候选图像集中各个图像的标签的出现频率,根据标签的出现频率判断标签是否满足预设的标签迁移条件,以及将满足所述标签迁移条件的标签添加到所述待标注图像上。
在一种可能的实施方式中,处理器31还用于执行:
在识别出所述待标注图像为无标注图像的情况下,根据所述待标注图像的内容从所述优质标注数据集中进行基于内容的图像检索,根据检索结果生成第三图像集;
计算所述第三图像集中各个图像的与所述待标注图像之间的视觉相似度;
从所述第三图像集中选择视觉相似度大于预设的第二阈值的图像,根据选择的图像生成第四图像集;
统计所述第四图像集中各个图像的标签的出现频率,根据标签的出现频率判断标签是否满足所述标签迁移条件,以及将满足所述标签迁移条件的标签迁移到所述待标注图像上。
在一种可能的实施方式中,处理器31还用于执行:
识别已标注图像是否为强标注图像;
若为否,确定所述已标注图像的标签的文本;
根据所述已标注图像的标签的的文本在所述优质标注数据集中进行基于文本的图像检索,根据检索到的图像得到第五图像集;
根据所述已标注图像的内容在所述第五图像集进行基于内容的图像检索,根据检索到的图像得到第六图像集;
根据图像的行人身份信息、标签的文本和图像的内容对所述第六图像集中各个图像进行融合计算得到融合相似度;
从所述第六图像集中选择出融合相似度大于所述第一阈值的图像,根据选择的图像得到第二候选图像集;
统计所述第二候选图像集中各个图像的标签的出现频率,根据标签的出现频率判断标签是否满足预设的标签迁移条件,以及将满足所述标签迁移条件的标签添加到所述已标注图像上。
在一种可能的实施方式中,所述标签迁移条件为:标签的出现频率与所述第一候选图像集中图像的数量的比例值大于预设比例值。
在一种可能的实施方式中,处理器31执行所述根据图像的行人身份信息、标签的文本和图像内容对所述第二图像集中各个图像进行融合计算得到融合相似度包括:
基于随机游走算法根据图像的行人身份信息、标签的语义和图像的内容对所述第二图像集中各个图像进行融合计算得到融合相似度值
实施上述实施例,在待标注图像为弱标注图像或无标注图像的情况下,根据待标注图像的文本和内容从优质标注数据集中筛选出候选图像,根据候选图像中各个图像的标签的分布情况,将满足标签迁移条件的标签添加到待标注图像上,自动将弱标注图像和无标注图像转换为强标注图像,提升图像标注的效率和准确度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明一种可选实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (10)

1.一种图像标注方法,其特征在于,包括:
获取待标注图像;
识别所述待标注图像的标注类型;
若所述待标注图像为弱标注图像,确定所述待标注图像的标签的文本;
根据所述标签的文本在预设的优质标注数据集中进行基于文本的图像检索,根据检索到的图像得到第一图像集;
根据所述待标注图像的内容在所述第一图像集进行基于内容的图像检索,根据检索到的图像得到第二图像集;
根据图像的行人身份信息、标签的语义和图像内容对所述第二图像集中各个图像进行融合计算得到融合相似度;
从所述第二图像集中选择出融合相似度大于预设的第一阈值的图像,根据选择的图像得到第一候选图像集;
统计所述第一候选图像集中各个图像的标签的出现频率,根据标签的出现频率判断标签是否满足预设的标签迁移条件,以及将满足所述标签迁移条件的标签添加到所述待标注图像上。
2.如权利要求1所述的方法,其特征在于,还包括:
在识别出所述待标注图像为无标注图像的情况下,根据所述待标注图像的内容从所述优质标注数据集中进行基于内容的图像检索,根据检索结果生成第三图像集;
计算所述第三图像集中各个图像的与所述待标注图像之间的视觉相似度;
从所述第三图像集中选择视觉相似度大于预设的第二阈值的图像,根据选择的图像生成第四图像集;
统计所述第四图像集中各个图像的标签的出现频率,根据标签的出现频率判断标签是否满足所述标签迁移条件,以及将满足所述标签迁移条件的标签迁移到所述待标注图像上。
3.如权利要求2所述的方法,其特征在于,还包括:
识别已标注图像是否为强标注图像;
若为否,确定所述已标注图像的标签的文本;
根据所述已标注图像的标签的的文本在所述优质标注数据集中进行基于文本的图像检索,根据检索到的图像得到第五图像集;
根据所述已标注图像的内容在所述第五图像集进行基于内容的图像检索,根据检索到的图像得到第六图像集;
根据图像的行人身份信息、标签的文本和图像的内容对所述第六图像集中各个图像进行融合计算得到融合相似度;
从所述第六图像集中选择出融合相似度大于所述第一阈值的图像,根据选择的图像得到第二候选图像集;
统计所述第二候选图像集中各个图像的标签的出现频率,根据标签的出现频率判断标签是否满足预设的标签迁移条件,以及将满足所述标签迁移条件的标签添加到所述已标注图像上。
4.如权利要求1所述的方法,其特征在于,所述标签迁移条件为:标签的出现频率与所述第一候选图像集中图像的数量的比例值大于预设比例值。
5.如权利要求1所述的方法,其特征在于,所述根据图像的行人身份信息、标签的文本和图像内容对所述第二图像集中各个图像进行融合计算得到融合相似度包括:
基于随机游走算法根据图像的行人身份信息、标签的语义和图像的内容对所述第二图像集中各个图像进行融合计算得到融合相似度值。
6.一种图像标注装置,其特征在于,包括处理器和存储器,所述存储器中存储一组程序代码,所述处理器调用所述存储器中存储的程序代码,用于执行以下操作:
获取待标注图像;
识别所述待标注图像的标注类型;
若所述待标注图像为弱标注图像,确定所述待标注图像的标签的文本;
根据所述标签的文本在预设的优质标注数据集中进行基于文本的图像检索,根据检索到的图像得到第一图像集;
根据所述待标注图像的内容在所述第一图像集进行基于内容的图像检索,根据检索到的图像得到第二图像集;
根据图像的行人身份信息、标签的语义和图像内容对所述第二图像集中各个图像进行融合计算得到融合相似度;
从所述第二图像集中选择出融合相似度大于预设的第一阈值的图像,根据选择的图像得到第一候选图像集;
统计所述第一候选图像集中各个图像的标签的出现频率,根据标签的出现频率判断标签是否满足预设的标签迁移条件,以及将满足所述标签迁移条件的标签添加到所述待标注图像上。
7.如权利要求6所述的装置,其特征在于,所述处理器还用于执行:
在识别出所述待标注图像为无标注图像的情况下,根据所述待标注图像的内容从所述优质标注数据集中进行基于内容的图像检索,根据检索结果生成第三图像集;
计算所述第三图像集中各个图像的与所述待标注图像之间的视觉相似度;
从所述第三图像集中选择视觉相似度大于预设的第二阈值的图像,根据选择的图像生成第四图像集;
统计所述第四图像集中各个图像的标签的出现频率,根据标签的出现频率判断标签是否满足所述标签迁移条件,以及将满足所述标签迁移条件的标签迁移到所述待标注图像上。
8.如权利要求7所述的装置,其特征在于,所述处理器还用于执行:
识别已标注图像是否为强标注图像;
若为否,确定所述已标注图像的标签的文本;
根据所述已标注图像的标签的的文本在所述优质标注数据集中进行基于文本的图像检索,根据检索到的图像得到第五图像集;
根据所述已标注图像的内容在所述第五图像集进行基于内容的图像检索,根据检索到的图像得到第六图像集;
根据图像的行人身份信息、标签的文本和图像的内容对所述第六图像集中各个图像进行融合计算得到融合相似度;
从所述第六图像集中选择出融合相似度大于所述第一阈值的图像,根据选择的图像得到第二候选图像集;
统计所述第二候选图像集中各个图像的标签的出现频率,根据标签的出现频率判断标签是否满足预设的标签迁移条件,以及将满足所述标签迁移条件的标签添加到所述已标注图像上。
9.如权利要求6所述的装置,其特征在于,所述标签迁移条件为:标签的出现频率与所述第一候选图像集中图像的数量的比例值大于预设比例值。
10.如权利要求6所述的装置,其特征在于,所述处理器执行所述根据图像的行人身份信息、标签的文本和图像内容对所述第二图像集中各个图像进行融合计算得到融合相似度包括:
基于随机游走算法根据图像的行人身份信息、标签的语义和图像的内容对所述第二图像集中各个图像进行融合计算得到融合相似度值。
CN201611262818.6A 2016-12-30 2016-12-30 一种图像标注方法和装置 Active CN108268510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611262818.6A CN108268510B (zh) 2016-12-30 2016-12-30 一种图像标注方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611262818.6A CN108268510B (zh) 2016-12-30 2016-12-30 一种图像标注方法和装置

Publications (2)

Publication Number Publication Date
CN108268510A true CN108268510A (zh) 2018-07-10
CN108268510B CN108268510B (zh) 2022-01-28

Family

ID=62755274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611262818.6A Active CN108268510B (zh) 2016-12-30 2016-12-30 一种图像标注方法和装置

Country Status (1)

Country Link
CN (1) CN108268510B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859184A (zh) * 2019-01-29 2019-06-07 牛旗 一种连续扫描乳腺超声图像的实时检测与决策融合方法
CN110516092A (zh) * 2019-09-02 2019-11-29 中国矿业大学(北京) 一种基于k近邻和随机游走算法的图像自动标注方法
CN112214627A (zh) * 2019-07-12 2021-01-12 上海赜睿信息科技有限公司 搜索方法、可读存储介质和电子设备
CN113646800A (zh) * 2018-09-27 2021-11-12 株式会社OPTiM 物体状况判断系统、物体状况判断方法以及程序
CN117407557A (zh) * 2023-12-13 2024-01-16 江西云眼视界科技股份有限公司 零样本实例分割方法、系统、可读存储介质及计算机

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101587478A (zh) * 2008-05-20 2009-11-25 株式会社理光 图像训练、自动标注、检索方法及装置
US20090313294A1 (en) * 2008-06-11 2009-12-17 Microsoft Corporation Automatic image annotation using semantic distance learning
US8873867B1 (en) * 2012-07-10 2014-10-28 Google Inc. Assigning labels to images
US20150169641A1 (en) * 2012-05-30 2015-06-18 Google Inc. Refining image annotations
CN104899253A (zh) * 2015-05-13 2015-09-09 复旦大学 面向社会图像的跨模态图像-标签相关度学习方法
CN105100894A (zh) * 2014-08-26 2015-11-25 Tcl集团股份有限公司 面部自动标注方法及系统
CN105205501A (zh) * 2015-10-04 2015-12-30 北京航空航天大学 一种多分类器联合的弱标注图像对象检测方法
US20160125274A1 (en) * 2014-10-31 2016-05-05 Bolei Zhou Discovering visual concepts from weakly labeled image collections
CN105793867A (zh) * 2013-12-20 2016-07-20 西-奥特有限公司 图像搜索方法及设备
CN105808752A (zh) * 2016-03-10 2016-07-27 大连理工大学 一种基于cca和2pknn的自动图像标注方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101587478A (zh) * 2008-05-20 2009-11-25 株式会社理光 图像训练、自动标注、检索方法及装置
US20090313294A1 (en) * 2008-06-11 2009-12-17 Microsoft Corporation Automatic image annotation using semantic distance learning
US20150169641A1 (en) * 2012-05-30 2015-06-18 Google Inc. Refining image annotations
US8873867B1 (en) * 2012-07-10 2014-10-28 Google Inc. Assigning labels to images
CN105793867A (zh) * 2013-12-20 2016-07-20 西-奥特有限公司 图像搜索方法及设备
CN105100894A (zh) * 2014-08-26 2015-11-25 Tcl集团股份有限公司 面部自动标注方法及系统
US20160125274A1 (en) * 2014-10-31 2016-05-05 Bolei Zhou Discovering visual concepts from weakly labeled image collections
CN104899253A (zh) * 2015-05-13 2015-09-09 复旦大学 面向社会图像的跨模态图像-标签相关度学习方法
CN105205501A (zh) * 2015-10-04 2015-12-30 北京航空航天大学 一种多分类器联合的弱标注图像对象检测方法
CN105808752A (zh) * 2016-03-10 2016-07-27 大连理工大学 一种基于cca和2pknn的自动图像标注方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孔祥南等: "一种针对弱标记的直推式多标记分类方法", 《计算机研究与发展》 *
张志武等: "基于语义学习的自动图像标注技术研究述评", 《情报学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113646800A (zh) * 2018-09-27 2021-11-12 株式会社OPTiM 物体状况判断系统、物体状况判断方法以及程序
CN109859184A (zh) * 2019-01-29 2019-06-07 牛旗 一种连续扫描乳腺超声图像的实时检测与决策融合方法
CN112214627A (zh) * 2019-07-12 2021-01-12 上海赜睿信息科技有限公司 搜索方法、可读存储介质和电子设备
CN110516092A (zh) * 2019-09-02 2019-11-29 中国矿业大学(北京) 一种基于k近邻和随机游走算法的图像自动标注方法
CN117407557A (zh) * 2023-12-13 2024-01-16 江西云眼视界科技股份有限公司 零样本实例分割方法、系统、可读存储介质及计算机
CN117407557B (zh) * 2023-12-13 2024-05-07 江西云眼视界科技股份有限公司 零样本实例分割方法、系统、可读存储介质及计算机

Also Published As

Publication number Publication date
CN108268510B (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN108268510A (zh) 一种图像标注方法和装置
CN109189991B (zh) 重复视频识别方法、装置、终端及计算机可读存储介质
CN110263659B (zh) 一种基于三元组损失和轻量级网络的指静脉识别方法及系统
Torralba et al. Labelme: Online image annotation and applications
US9460518B2 (en) Visual clothing retrieval
CN110825899A (zh) 融合颜色特征和残差网络深度特征的服装图像检索方法
US20140140610A1 (en) Unsupervised Object Class Discovery via Bottom Up Multiple Class Learning
CN102332034B (zh) 一种人像图片检索方法和装置
CN110325983A (zh) 图像检索装置和图像检索方法
CN106844518B (zh) 一种基于子空间学习的不完整跨模态检索方法
CN107203775B (zh) 一种图像分类的方法、装置和设备
CN108288208B (zh) 基于图像内容的展示对象确定方法、装置、介质及设备
CN109376796A (zh) 基于主动半监督学习的图像分类方法
CN108804516A (zh) 相似用户查找装置、方法及计算机可读存储介质
CN112085072B (zh) 基于时空特征信息的草图检索三维模型的跨模态检索方法
CN106933867A (zh) 一种图像查询方法和装置
CN106651978A (zh) 人脸图像预测方法及系统
CN112948575B (zh) 文本数据处理方法、装置和计算机可读存储介质
CN106855851A (zh) 知识抽取方法及装置
CN110232131A (zh) 基于创意标签的创意素材搜索方法及装置
CN110956213A (zh) 遥感影像特征库生成、遥感影像检索方法及装置
Mishra et al. Medical image retrieval using self-organising map on texture features
Zhang et al. Context-based sketch classification
CN110245310A (zh) 一种对象的行为分析方法、装置及存储介质
CN109145140A (zh) 一种基于手绘轮廓图匹配的图像检索方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant