CN111090763B - 一种图片自动标签方法及装置 - Google Patents
一种图片自动标签方法及装置 Download PDFInfo
- Publication number
- CN111090763B CN111090763B CN201911157849.9A CN201911157849A CN111090763B CN 111090763 B CN111090763 B CN 111090763B CN 201911157849 A CN201911157849 A CN 201911157849A CN 111090763 B CN111090763 B CN 111090763B
- Authority
- CN
- China
- Prior art keywords
- picture
- label
- pictures
- data
- keywords
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 37
- 239000013598 vector Substances 0.000 claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000000007 visual effect Effects 0.000 claims abstract description 32
- 238000012216 screening Methods 0.000 claims abstract description 26
- 238000012163 sequencing technique Methods 0.000 claims abstract description 12
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000013139 quantization Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种图片自动标签方法及装置，涉及图片处理技术领域，能够实现对图片的多标签同时标记，在保证标签效率的同时提高标签的准确率。该方法包括：基于图库数据训练多模态的特征提取模型；根据每张图片与标签组及分类的对应关系，构建图片与标签组的视觉语义相似最近邻索引；通过特征提取模型提取待检图片的特征得到特征向量，并基于所述特征向量与视觉语义相似最近邻索引从图库数据中匹配出相似图片；根据相似图片对应标签组中关键词的频率及权重，从中筛选出待检图片的初始标签；采用预先训练的词向量模型对初始标签进行标签过滤和权重排序，得到待检图片的最终标签组。该装置应用有上述方案所提的方法。
Description
技术领域
本发明涉及图片处理技术领域，尤其涉及一种图片自动标签方法及装置。
背景技术
近年来随着摄像终端的极度普及、自媒体的蓬勃发展以及互联网资源的极大丰富，图库行业如何有效审核、检索、抽取和组织版权媒体内容成为一大挑战。图像元数据中的关键词标签对海量图像的审核、检索和组织起到关键作用，但是，人工生产标签的过程繁琐复杂，因此自动标签的生成一直是计算机视觉和人工智能的重点研究领域，图像标签的自动生成有广泛的应用场景，可高效提升图像编审人工效率，并可优化自媒体原创图片生产数据的结构化。
现有的图片自动标签技术多基于单一标签模型训练而成，若要实现对图片的多标签标记，则需训练多种类型的标签模型分别标记，显然现有的图片自动标签技术存在标签效率低和准确率差的缺陷。
发明内容
本发明的目的在于提供一种图片自动标签方法及装置，能够实现对图片的多标签同时标记，在保证标签效率的同时提高标签的准确率。
为了实现上述目的，本发明的一方面提供一种图片自动标签方法，包括：
基于图库数据训练多模态的特征提取模型，所述图库数据包括多张图片以及每张图片对应的标签组及分类；
根据每张图片与标签组及分类的对应关系，构建图片与标签组的视觉语义相似最近邻索引；
通过特征提取模型提取待检图片的特征得到特征向量，并基于所述特征向量与视觉语义相似最近邻索引从图库数据中匹配出相似图片；
根据相似图片对应标签组中关键词的频率及权重，从中筛选出待检图片的初始标签；
采用预先训练的词向量模型对初始标签进行标签过滤和权重排序，得到待检图片的最终标签组。
优选地，所述词向量模型的训练方法为：
采集用户的关键词搜索数据及对应下载的图片数据；
统计被下载图片数据与关键词搜索数据的对应关系，数据清洗后根据关键词的搜索次数为被下载图片的关键词配置权重，以构建训练数据库；
基于训练数据库采用Word2Vec模型和/或TF-IDF模型训练所述词向量模型。
优选地，基于图库数据训练多模态的特征提取模型的方法包括：
将图片对应标签组中各关键词的权重作为每张图片的多标签分类真值；
利用深度学习框架对多个多标签分类真值训练得到特征提取模型。
优选地，根据每张图片与标签组及分类的对应关系，构建图片与标签组的视觉语义相似最近邻索引的方法包括：
基于图库数据中每张图片与标签组及分类的对应关系，构建高维特征向量；
通过基于图片和基于量化相结合的方式为高维特征向量建立距离度量的视觉语义相似最近邻索引。
优选地，基于所述特征向量与视觉语义相似最近邻索引从图库数据中筛选出相似图片的方法包括：
将待检图片的特征向量通过乘积量化法转化为哈希值；
基于哈希值通过HNSW近邻图从图库数据中找到最近邻特征对应的相似图片。
优选地，根据相似图片对应标签组中关键词的频率及权重，从中筛选出待检图片的初始标签的方法包括：
汇总相似图片对应标签组中的关键词，同时针对每个关键词出现的频率及权重进行加权平均计算，得到关键词排序；
根据预设阈值对上述排序的关键词进行截断筛选，将保留下的关键词作为待检图片的初始标签。
与现有技术相比，本发明提供的图片自动标签方法具有以下有益效果：
本发明提供的图片自动标签方法中，由于图库数据中包括多张图片以及与每张图片对应的标签组及分类数据，且每张图片的标签组又由多个不同权重的关键词构成，然后基于上述历史图库中的数据训练得到多任务、多模态的特征提取模型，接着根据每张图片与标签组及分类的对应关系，构建图片与标签组的视觉语义相似最近邻索引，在获取到待检图片后利用特征提取模型提取其中的特征向量，并结合视觉语义相似最近邻索引从图库数据中匹配出相似图片，在对相似图片对应标签组中关键词的频率及权重计算分析后得到待检图片的初始标签，最后利用词向量模型对初始标签进行标签过滤和权重排序，使得初始标签组中的互斥词被过滤掉，而保留下的相似词根据词频的不同赋予相应的权重并排序，最终得到待检图片的最终标签组。
可见，使用本发明提供的图片自动标签方法，能够实现对图片的多标签自动标注，提升了标签的效率，而通过将特征提取模型、词向量模型、视觉语义相似最近邻索引技术的结合应用能够保证标签的准确率。
本发明的另一方面提供一种图片自动标签装置，应用于上述技术方案提到的图片自动标签方法中，该装置包括:
特征提取模型训练单元，用于基于图库数据训练多模态的特征提取模型，所述图库数据包括多张图片以及每张图片对应的标签组及分类；
最近邻索引构建单元，用于根据每张图片与标签组及分类的对应关系，构建图片与标签组的视觉语义相似最近邻索引；
筛选单元，用于通过特征提取模型提取待检图片的特征得到特征向量，并基于所述特征向量与视觉语义相似最近邻索引从图库数据中匹配出相似图片；
初始标签识别单元，用于根据相似图片对应标签组中关键词的频率及权重，从中筛选出待检图片的初始标签；
标签组生成单元，采用预先训练的词向量模型对初始标签进行标签过滤和权重排序，得到待检图片的最终标签组。
优选地，还包括词向量模型训练单元，所述词向量模型训练单元包括：
数据采集模块，用于采集用户的关键词搜索数据及对应下载的图片数据；
数据处理模块，用于统计被下载图片数据与关键词搜索数据的对应关系，数据清洗后根据关键词的搜索次数为被下载图片的关键词配置权重，以构建训练数据库；
训练模块，基于训练数据库采用Word2Vec模型和/或TF-IDF模型训练所述词向量模型。
优选地，所述初始标签识别单元包括：
排序模块，用于汇总相似图片对应标签组中的关键词，同时针对每个关键词出现的频率及权重进行加权平均计算，得到关键词排序；
初始标签筛选模块，用于根据预设阈值对上述排序的关键词进行截断筛选，将保留下的关键词作为待检图片的初始标签。
与现有技术相比，本发明提供的图片自动标签装置的有益效果与上述技术方案提供的图片自动标签方法的有益效果相同，在此不做赘述。
本发明的第三方面提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述图片自动标签方法的步骤。
与现有技术相比，本发明提供的计算机可读存储介质的有益效果与上述技术方案提供的图片自动标签方法的有益效果相同，在此不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例一中图片自动标签方法的流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
实施例一
请参阅图1，本实施例提供一种图片自动标签方法，包括：基于图库数据训练多模态的特征提取模型，图库数据包括多张图片以及每张图片对应的标签组及分类；根据每张图片与标签组及分类的对应关系，构建图片与标签组的视觉语义相似最近邻索引；通过特征提取模型提取待检图片的特征得到特征向量，并基于特征向量与视觉语义相似最近邻索引从图库数据中匹配出相似图片；根据相似图片对应标签组中关键词的频率及权重，从中筛选出待检图片的初始标签；采用预先训练的词向量模型对初始标签进行标签过滤和权重排序，得到待检图片的最终标签组。
本实施例提供的图片自动标签方法中，由于图库数据中包括多张图片以及与每张图片对应的标签组及分类数据，且每张图片的标签组又由多个不同权重的关键词构成，然后基于上述历史图库中的数据训练得到多任务、多模态的特征提取模型，接着根据每张图片与标签组及分类的对应关系，构建图片与标签组的视觉语义相似最近邻索引，在获取到待检图片后利用特征提取模型提取其中的特征向量，并结合视觉语义相似最近邻索引从图库数据中匹配出相似图片，在对相似图片对应标签组中关键词的频率及权重计算分析后得到待检图片的初始标签，最后利用词向量模型对初始标签进行标签过滤和权重排序，使得初始标签组中的互斥词被过滤掉，而保留下的相似词根据词频的不同赋予相应的权重并排序，最终得到待检图片的最终标签组。
可见，使用本实施例提供的图片自动标签方法，能够实现对图片的多标签自动标注，提升了标签的效率，而通过将特征提取模型、词向量模型、视觉语义相似最近邻索引技术的结合应用能够保证标签的准确率。
上述实施例中词向量模型的训练方法为：
采集用户的关键词搜索数据及对应下载的图片数据；统计被下载图片数据与关键词搜索数据的对应关系，数据清洗后根据关键词的搜索次数为被下载图片的关键词配置权重，以构建训练数据库；基于训练数据库采用Word2Vec模型和/或TF-IDF模型训练所述词向量模型。
具体实施时，一张被下载图片可以对应多个关键词搜索数据，数据清洗后去掉明显无关的关键词搜索数据，之后统计保留下的每个关键词的搜索次数为各关键词配置权重，例如，某一关键词搜索到被下载图片的次数越多则该关键词对应的权重配置越高，反之亦然，最终形成带有关键词权重的训练图片数据库，通过采用Word2Vec模型和/或TF-IDF模型训练得到可识别语义关联和词频的词向量模型。需要说明的是，实际应用中为关键词配置权重还可参考其他维度，如，关键词的搜索点赞次数、收藏次数等，本实施例对此不做限制。
上述实施例中基于图库数据训练多模态的特征提取模型的方法包括：
将图片对应标签组中各关键词的权重作为每张图片的多标签分类真值；利用深度学习框架对多个多标签分类真值训练得到特征提取模型。
具体实施时，将各图片对应关键词的列表作为多标签模型的分类，同时将训练数据库中对应图片的关键词的权重作为每张图片的多标签分类真值，选用任一种深度学习框架进行特征提取模型的训练。同时，为了进一步增强特征提取能力，对重要性较高的类别需增加单独的模型训练，如单独训练人脸识别模型和人脸特征识别模型等。
进一步地，上述实施例中根据每张图片与标签组及分类的对应关系，构建图片与标签组的视觉语义相似最近邻索引的方法包括：
基于图库数据中每张图片与标签组及分类的对应关系，构建高维特征向量；通过基于图片和基于量化相结合的方式为高维特征向量建立距离度量的视觉语义相似最近邻索引。
具体实施时，通过基于图和基于量化的方式为特征提取模型产生的高维特征向量建立距离度量的视觉语义相似最近邻索引。例如，使用HNSW近邻图技术结合乘积量化方法OPQ，先通过OPQ将高维特征转化为低维量化哈希值，再构建近邻图进行近似搜索加速得到视觉语义相似最近邻索引。
上述实施例中基于所述特征向量与视觉语义相似最近邻索引从图库数据中筛选出相似图片的方法包括：
将待检图片的特征向量通过乘积量化法转化为哈希值；基于哈希值通过HNSW近邻图从图库数据中找到最近邻特征对应的相似图片。
具体实施时，通过特征提取模型提取待检图片的特征得到特征向量，通过视觉语义相似最近邻索引和图像特征比对算法进行近似值计算，计算过程为先将待检图片的特征向量通过OPQ转化为哈希值，然后通过HNSW近邻图找到最近邻特征，最终从图库数据中筛选出相似图片。
进一步地，上述实施例中根据相似图片对应标签组中关键词的频率及权重，从中筛选出待检图片的初始标签的方法包括：
汇总相似图片对应标签组中的关键词，同时针对每个关键词出现的频率及权重进行加权平均计算，得到关键词排序；根据预设阈值对上述排序的关键词进行截断筛选，将保留下的关键词作为待检图片的初始标签。其中，截断筛选的目的是为了去燥，以剔除明显无关的关键词。上述频率及权重加权平均计算的方法为本领域技术人员熟知的算法，本实施例对此不做赘述，预设的阈值大小可根据关键词的识别准确度灵活调节，本实施例对此不做限制。
具体地，上述实施例中采用预先训练的词向量模型对初始标签进行标签过滤和权重排序，得到待检图片的最终标签组的方法包括：
利用词向量模型将初始标签中的每个关键词标签转化为特征向量，通过对特征向量计算距离，并结合词典信息得到相似词和互斥词，实现对初始标签中相似关键词的保留以及对互斥关键词剔除，达到标签过滤的目的；同时，利用词向量模型识别关键词的词频，将词频高的关键词权重升高，词频低的关键词权重降低，实现对关键词的权重排序，最终得到待检图片的最终标签组。通过此步骤能够确保对图像自动标签的准确性。
实施例二
本实施例提供一种图片自动标签装置，包括：
特征提取模型训练单元，用于基于图库数据训练多模态的特征提取模型，图库数据包括多张图片以及每张图片对应的标签组及分类；
最近邻索引构建单元，用于根据每张图片与标签组及分类的对应关系，构建图片与标签组的视觉语义相似最近邻索引；
筛选单元，用于通过特征提取模型提取待检图片的特征得到特征向量，并基于特征向量与视觉语义相似最近邻索引从图库数据中匹配出相似图片；
初始标签识别单元，用于根据相似图片对应标签组中关键词的频率及权重，从中筛选出待检图片的初始标签；
标签组生成单元，采用预先训练的词向量模型对初始标签进行标签过滤和权重排序，得到待检图片的最终标签组。
优选地，还包括词向量模型训练单元，词向量模型训练单元包括：
数据采集模块，用于采集用户的关键词搜索数据及对应下载的图片数据；
数据处理模块，用于统计被下载图片数据与关键词搜索数据的对应关系，数据清洗后根据关键词的搜索次数为被下载图片的关键词配置权重，以构建训练数据库；
训练模块，基于训练数据库采用Word2Vec模型和/或TF-IDF模型训练词向量模型。
优选地，初始标签识别单元包括：
排序模块，用于汇总相似图片对应标签组中的关键词，同时针对每个关键词出现的频率及权重进行加权平均计算，得到关键词排序；
初始标签筛选模块，用于根据预设阈值对上述排序的关键词进行截断筛选，将保留下的关键词作为待检图片的初始标签。
与现有技术相比，本发明实施例提供的图片自动标签装置的有益效果与上述实施例一提供的图片自动标签方法的有益效果相同，在此不做赘述。
实施例三
本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述图片自动标签方法的步骤。
与现有技术相比，本实施例提供的计算机可读存储介质的有益效果与上述技术方案提供的图片自动标签方法的有益效果相同，在此不做赘述。
本领域普通技术人员可以理解，实现上述发明方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，上述程序可以存储于计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (6)
1.一种图片自动标签方法，其特征在于，包括：
基于图库数据训练多模态的特征提取模型，所述图库数据包括多张图片以及每张图片对应的标签组及分类；
根据每张图片与标签组及分类的对应关系，构建图片与标签组的视觉语义相似最近邻索引；
通过特征提取模型提取待检图片的特征得到特征向量，并基于所述特征向量与视觉语义相似最近邻索引从图库数据中匹配出相似图片；
根据相似图片对应标签组中关键词的频率及权重，从中筛选出待检图片的初始标签；
采用预先训练的词向量模型对初始标签进行标签过滤和权重排序，得到待检图片的最终标签组；
所述词向量模型的训练方法为：
采集用户的关键词搜索数据及对应下载的图片数据；
统计被下载图片数据与关键词搜索数据的对应关系，数据清洗后根据关键词的搜索次数为被下载图片的关键词配置权重，以构建训练数据库；
基于训练数据库采用Word2Vec模型和/或TF-IDF模型训练所述词向量模型；
所述根据相似图片对应标签组中关键词的频率及权重，从中筛选出待检图片的初始标签的方法包括：
汇总相似图片对应标签组中的关键词，同时针对每个关键词出现的频率及权重进行加权平均计算，得到关键词排序；
根据预设阈值对上述排序的关键词进行截断筛选，将保留下的关键词作为待检图片的初始标签。
2.根据权利要求1所述的图片自动标签方法，其特征在于，基于图库数据训练多模态的特征提取模型的方法包括：
将图片对应标签组中各关键词的权重作为每张图片的多标签分类真值；
利用深度学习框架对多个多标签分类真值训练得到特征提取模型。
3.根据权利要求1所述的图片自动标签方法，其特征在于，根据每张图片与标签组及分类的对应关系，构建图片与标签组的视觉语义相似最近邻索引的方法包括：
基于图库数据中每张图片与标签组及分类的对应关系，构建高维特征向量；
通过基于图片和基于量化相结合的方式为高维特征向量建立距离度量的视觉语义相似最近邻索引。
4.根据权利要求1所述的图片自动标签方法，其特征在于，基于所述特征向量与视觉语义相似最近邻索引从图库数据中筛选出相似图片的方法包括：
将待检图片的特征向量通过乘积量化法转化为哈希值；
基于哈希值通过HNSW近邻图从图库数据中找到最近邻特征对应的相似图片。
5.一种图片自动标签装置，其特征在于，包括：
特征提取模型训练单元，用于基于图库数据训练多模态的特征提取模型，所述图库数据包括多张图片以及每张图片对应的标签组及分类；
最近邻索引构建单元，用于根据每张图片与标签组及分类的对应关系，构建图片与标签组的视觉语义相似最近邻索引；
筛选单元，用于通过特征提取模型提取待检图片的特征得到特征向量，并基于所述特征向量与视觉语义相似最近邻索引从图库数据中匹配出相似图片；
初始标签识别单元，用于根据相似图片对应标签组中关键词的频率及权重，从中筛选出待检图片的初始标签；
标签组生成单元，采用预先训练的词向量模型对初始标签进行标签过滤和权重排序，得到待检图片的最终标签组；
还包括词向量模型训练单元，所述词向量模型训练单元包括：
数据采集模块，用于采集用户的关键词搜索数据及对应下载的图片数据；
数据处理模块，用于统计被下载图片数据与关键词搜索数据的对应关系，数据清洗后根据关键词的搜索次数为被下载图片的关键词配置权重，以构建训练数据库；
训练模块，基于训练数据库采用Word2Vec模型和/或TF-IDF模型训练所述词向量模型；
所述初始标签识别单元包括：
排序模块，用于汇总相似图片对应标签组中的关键词，同时针对每个关键词出现的频率及权重进行加权平均计算，得到关键词排序；
初始标签筛选模块，用于根据预设阈值对上述排序的关键词进行截断筛选，将保留下的关键词作为待检图片的初始标签。
6.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至4任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911157849.9A CN111090763B (zh) | 2019-11-22 | 2019-11-22 | 一种图片自动标签方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911157849.9A CN111090763B (zh) | 2019-11-22 | 2019-11-22 | 一种图片自动标签方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111090763A CN111090763A (zh) | 2020-05-01 |
| CN111090763B true CN111090763B (zh) | 2024-04-05 |
Family
ID=70393721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911157849.9A Active CN111090763B (zh) | 2019-11-22 | 2019-11-22 | 一种图片自动标签方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111090763B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111666438A (zh) * | 2020-05-22 | 2020-09-15 | 东华大学 | 一种云相册文本关键词模糊搜索系统及使用方法 |
| CN111651674B (zh) * | 2020-06-03 | 2023-08-25 | 北京妙医佳健康科技集团有限公司 | 双向搜索方法、装置及电子设备 |
| CN111966850A (zh) * | 2020-07-21 | 2020-11-20 | 珠海格力电器股份有限公司 | 一种图片筛选方法、装置、电子设备及存储介质 |
| CN112347290B (zh) * | 2020-10-12 | 2024-04-23 | 北京有竹居网络技术有限公司 | 识别标签的方法、装置、设备以及介质 |
| CN112135334B (zh) * | 2020-10-27 | 2023-07-14 | 上海连尚网络科技有限公司 | 一种用于确定无线接入点的热点类型的方法与设备 |
| CN113535963B (zh) * | 2021-09-13 | 2021-12-21 | 深圳前海环融联易信息科技服务有限公司 | 一种长文本事件抽取方法、装置、计算机设备及存储介质 |
| CN114329016B (zh) * | 2022-01-04 | 2023-04-25 | 北京百度网讯科技有限公司 | 图片标签生成方法和文字配图方法 |
| CN114494817A (zh) * | 2022-01-26 | 2022-05-13 | 北京百度网讯科技有限公司 | 图像处理方法、模型训练方法、相关装置及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9443314B1 (en) * | 2012-03-29 | 2016-09-13 | Google Inc. | Hierarchical conditional random field model for labeling and segmenting images |
| CN106250915A (zh) * | 2016-07-22 | 2016-12-21 | 福州大学 | 一种融合深度特征和语义邻域的自动图像标注方法 |
| CN107766873A (zh) * | 2017-09-06 | 2018-03-06 | 天津大学 | 基于排序学习的多标签零样本分类方法 |
| CN109783818A (zh) * | 2019-01-17 | 2019-05-21 | 上海三零卫士信息安全有限公司 | 一种企业行业多标签分类方法 |
| CN110188209A (zh) * | 2019-05-13 | 2019-08-30 | 山东大学 | 基于层次标签的跨模态哈希模型构建方法、搜索方法及装置 |
-
2019
- 2019-11-22 CN CN201911157849.9A patent/CN111090763B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9443314B1 (en) * | 2012-03-29 | 2016-09-13 | Google Inc. | Hierarchical conditional random field model for labeling and segmenting images |
| CN106250915A (zh) * | 2016-07-22 | 2016-12-21 | 福州大学 | 一种融合深度特征和语义邻域的自动图像标注方法 |
| CN107766873A (zh) * | 2017-09-06 | 2018-03-06 | 天津大学 | 基于排序学习的多标签零样本分类方法 |
| CN109783818A (zh) * | 2019-01-17 | 2019-05-21 | 上海三零卫士信息安全有限公司 | 一种企业行业多标签分类方法 |
| CN110188209A (zh) * | 2019-05-13 | 2019-08-30 | 山东大学 | 基于层次标签的跨模态哈希模型构建方法、搜索方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111090763A (zh) | 2020-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111090763B (zh) | 一种图片自动标签方法及装置 | |
| Zheng et al. | SIFT meets CNN: A decade survey of instance retrieval | |
| CN109325148A (zh) | 生成信息的方法和装置 | |
| Papadopoulos et al. | Cluster-based landmark and event detection for tagged photo collections | |
| CN107562742B (zh) | 一种图像数据处理方法及装置 | |
| CN109117777A (zh) | 生成信息的方法和装置 | |
| CN110083729B (zh) | 一种图像搜索的方法及系统 | |
| WO2014092908A1 (en) | Techniques for spatial semantic attribute matching for location identification | |
| Gordo et al. | LEWIS: latent embeddings for word images and their semantics | |
| CN112738556A (zh) | 视频处理方法及装置 | |
| Abdul-Rashid et al. | Shrec’18 track: 2d image-based 3d scene retrieval | |
| CN105095468A (zh) | 一种新型的图像检索方法及系统 | |
| CN115187910A (zh) | 视频分类模型训练方法、装置、电子设备及存储介质 | |
| CN110287369A (zh) | 一种基于语义的视频检索方法及系统 | |
| Jishan et al. | Hybrid deep neural network for bangla automated image descriptor | |
| CN113992944A (zh) | 视频编目方法、装置、设备、系统及介质 | |
| de Boer et al. | Automatic analysis of online image data for law enforcement agencies by concept detection and instance search | |
| CN102331989A (zh) | 基于内容排序的图像、视频搜索引擎 | |
| Rajkumar et al. | Content based image retrieval system using combination of color and shape features, and siamese neural network | |
| Manzo et al. | FastGCN+ ARSRGemb: a novel framework for object recognition | |
| Devareddi et al. | An edge clustered segmentation based model for precise image retrieval | |
| Zhao et al. | Relevance topic model for unstructured social group activity recognition | |
| Parra et al. | Automatic gang graffiti recognition and interpretation | |
| CN114842301A (zh) | 一种图像注释模型的半监督训练方法 | |
| Hua et al. | Cross-modal correlation learning with deep convolutional architecture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |