CN112818151A - 一种交互式素材图片分类方法及装置、存储介质 - Google Patents

一种交互式素材图片分类方法及装置、存储介质 Download PDF

Info

Publication number
CN112818151A
CN112818151A CN202110174735.6A CN202110174735A CN112818151A CN 112818151 A CN112818151 A CN 112818151A CN 202110174735 A CN202110174735 A CN 202110174735A CN 112818151 A CN112818151 A CN 112818151A
Authority
CN
China
Prior art keywords
pictures
classification
classified
similarity
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110174735.6A
Other languages
English (en)
Inventor
万林
张百灵
邓虎斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Changzuichu Software Co ltd
Original Assignee
Suzhou Changzuichu Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Changzuichu Software Co ltd filed Critical Suzhou Changzuichu Software Co ltd
Priority to CN202110174735.6A priority Critical patent/CN112818151A/zh
Publication of CN112818151A publication Critical patent/CN112818151A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种交互式素材图片分类方法及装置、存储介质，所述方法包括：随机选取部分素材图片进行分类，分类结果存储入素材库；根据三元组网络Triple Network训练所述素材库中的素材图片，得到已分类的素材向量；将未分类的所述素材图片根据三元组网络Triple Network计算素材向量；计算所述素材向量与所述已分类的素材向量的相似度；根据所述相似度确定所述素材向量对应的素材图片的分类。本申请实施例能够快速的对素材图片进行整理归类，减少人工成本和时间成本，不同的用户可以根据自己的需求来确定素材类型，不需要标注大量的数据，来训练模型。

Description

一种交互式素材图片分类方法及装置、存储介质
技术领域
本申请实施例涉及图像分类技术领域，尤其涉及一种交互式素材图片分类方法及装置、存储介质。
背景技术
近年来，随着大数据时代的到来和计算机硬件的发展，人工智能在我们的生活中越来越普及。其中，深度学习技术在计算机视觉得到了广泛的应用，而图像分类识别是应用最广泛的技术之一，如拍照识物、人脸识别、交通标志识别、手势识别、垃圾分类等。这些技术在电子商务行业、汽车工业、游戏产业、制造业得到了相应的应用。
对于界面设计师、室内设计师、游戏原画师等各行各业的设计师，通常都会储备大量的素材图像，对这些素材图片进行归类整理存档，有助于使用的时候快速的找到想要的类型图像。而对大量的素材图像进行人工分类，是非常耗时费力的。如果能有效的结合深度学习中的图像分类技术来对素材图像进行分类归档，将会大量节省人力和时间成本。
发明内容
有鉴于此，本申请实施例提供一种交互式素材图片分类方法及装置、存储介质。
根据本申请的第一方面，提供一种交互式素材图片分类方法，包括：
随机选取部分素材图片进行分类，分类结果存储入素材库；
根据三元组网络Triple Network训练所述素材库中的素材图片，得到已分类的素材向量；
将未分类的所述素材图片根据三元组网络Triple Network计算素材向量；
计算所述素材向量与所述已分类的素材向量的相似度；根据所述相似度确定所述素材向量对应的素材图片的分类。
作为一种实现方式，所述方法还包括：
所述随机选取部分素材图片进行分类，分类结果存储入素材库，包括：
在待分类素材图片中选取少量素材图片进行人工分类；
所述素材库中按照分类结果分别存储素材图片。
作为一种实现方式，所述根据三元组网络Triple Network训练所述素材库中的素材图片，包括：
三元组网络Triple Network每次输入三个素材图片，分别是候选素材x、候选素材的同类素材x+、候选素材的异类素材x-；
通过欧氏距离计算x分别与x+、x-的距离；
使用损失函数、Adam优化器优化模型参数，最小化同类素材的差异和最大化异类素材的差异，得到所述素材图片对应的素材向量。
作为一种实现方式，所述计算所述素材向量与所述已分类的素材向量的相似度，包括：
分别获取素材向量与已分类的素材向量；
根据欧氏距离公式计算素材向量与已分类的素材向量的欧氏距离；
根据欧氏距离大小确定素材向量与已分类的素材向量的相似度。
作为一种实现方式，所述方法还包括：
根据所述素材图片与素材库中的素材图片分别计算所述相似度；
按照相似度由大到小进行排序，根据softmax方法计算相似度最大的k个相似度的权重；
根据所述权重对对应的素材图片的类别进行加权统计计算，取权重最大的类别为所述素材图片的类别。
作为一种实现方式，所述方法还包括：
若分类前的素材图片数量与分类后剩余的无法分类的素材图片数量变化明显，则继续在所述剩余的无法分类的素材图片中选取少量素材图片进行人工分类并存储入素材库；重新对剩余的无法分类的素材图片进行分类；
否则，将剩余的无法分类的素材图片进行人工分类。
根据本申请的第二方面，提供一种交互式素材图片分类装置，包括：
人工分类单元，用于随机选取部分素材图片进行分类，分类结果存储入素材库；
分类素材训练单元，用于根据三元组网络Triple Network训练所述素材库中的素材图片，得到已分类的素材向量；
未分类素材计算单元，用于将未分类的所述素材图片根据三元组网络TripleNetwork计算素材向量；
归类单元，用于计算所述素材向量与所述已分类的素材向量的相似度；根据所述相似度确定所述素材向量对应的素材图片的分类。
作为一种实现方式，所述装置还包括：
素材库单元，用于按照分类结果分别存储人工分类后的素材图片。
作为一种实现方式，所述分类素材训练单元，具体用于：
三元组网络Triple Network每次输入三个素材图片，分别是候选素材x、候选素材的同类素材x+、候选素材的异类素材x-；通过欧氏距离计算x分别与x+、x-的距离；使用损失函数、Adam优化器优化模型参数，最小化同类素材的差异和最大化异类素材的差异，得到所述素材图片对应的素材向量。
作为一种实现方式，所述归类单元，具体用于：
分别获取素材向量与已分类的素材向量；根据欧氏距离公式计算素材向量与已分类的素材向量的欧氏距离；根据欧氏距离大小确定素材向量与已分类的素材向量的相似度。
作为一种实现方式，所述归类单元，具体用于：
根据所述素材图片与素材库中的素材图片分别计算所述相似度；按照相似度由大到小进行排序，根据softmax方法计算相似度最大的k个相似度的权重；根据所述权重对对应的素材图片的类别进行加权统计计算，取权重最大的类别为所述素材图片的类别。
作为一种实现方式，所述系统还包括：
循环分类单元，用于若分类前的素材图片数量与分类后剩余的无法分类的素材图片数量变化明显，则继续在所述剩余的无法分类的素材图片中选取少量素材图片进行人工分类并存储入素材库；重新对剩余的无法分类的素材图片进行分类；否则，将剩余的无法分类的素材图片进行人工分类。
根据本申请的第三方面，提供一种存储介质，其上存储由可执行程序，所述可执行程序被处理器执行时实现所述的交互式素材图片分类方法的步骤。
本申请实施例提供的交互式素材图片分类方法及装置、存储介质，随机选取部分素材图片进行分类，分类结果存储入素材库；根据三元组网络Triple Network训练所述素材库中的素材图片，得到分类的素材向量；将未分类的所述素材图片根据三元组网络Triple Network计算素材向量；计算所述素材向量与所述已分类的素材向量的相似度；根据所述相似度确定所述素材向量对应的素材图片的分类。本申请实施例能够快速的对素材图片进行整理归类，减少人工成本和时间成本，不同的用户可以根据自己的需求来确定素材类型，不需要标注大量的数据，来训练模型。
附图说明
图1为本申请实施例提供的交互式素材图片分类方法流程示意图；
图2为本申请实施例提供的交互式素材图片分类方法的一具体示例流程图；
图3为本申请实施例提供的模块一实现流程图；
图4为本申请实施例提供的模块二实现流程图；
图5为本申请实施例提供的Triple Network网络体系示意图；
图6为本申请实施例提供的Triple Network中backbone网络结构示意图；
图7为本申请实施例提供的素材的度量空间示意图；
图8为本申请实施例提供的用户交互方式流程图；
图9为本申请实施例提供的交互式素材图片分类装置的组成结构示意图。
具体实施方式
以下结合示例，详细阐明本申请实施例的技术方案的实质。
图像分类技术的应用非常广泛，但很多场景下，很难收集带有大量标注的数据来训练模型，并且，当有新的类别的时候，网络需要重新训练或者微调。因此，对于素材管理系统中素材种类多，每类素材数量和素材种类都不确定的情况下，如何对素材图像进行快速分类归档显的尤为重要。
本申请实施例通过交互式的方式对素材进行快速分类，该方法仅需用户对少量素材进行分类，便可实现素材图像的自动分类。能有效的对素材进行快速分类，方法有效可靠。
图1为本申请实施例提供的交互式素材图片分类方法流程示意图，如图1所示，本申请实施例的交互式素材图片分类方法包括以下处理步骤：
步骤101，随机选取部分素材图片进行分类，分类结果存储入素材库。
本申请实施例中，在待分类素材图片中选取少量素材图片进行人工分类。素材库中按照分类结果分别存储素材图片。
本申请实施例中，大量的待分类素材图片中，首先需要少量的训练数据，也就是选取少量的素材图片进行人工分类，依靠人工方式对选取的少量素材图片进行分类后，存储在素材库中。少量的素材图片可以是5个或者更少。
步骤102，根据三元组网络Triple Network训练所述素材库中的素材图片，得到分类的素材向量。
本申请实施例中，三元组网络Triple Network每次输入三个素材图片，分别是候选素材x、候选素材的同类素材x+、候选素材的异类素材x-；通过欧氏距离公式计算x分别与x+、x-的距离；使用损失函数、Adam优化器优化模型参数，最小化同类素材的差异和最大化异类素材的差异，得到所述素材图片对应的素材向量。
步骤103，将未分类的所述素材图片根据三元组网络Triple Network计算素材向量。
本申请实施例中，对于未分类的素材图片同样根据Triple Network计算素材向量，进而可以进行后续的比较。
步骤104，计算所述素材向量与所述已分类的素材向量的相似度；根据所述相似度确定所述素材向量对应的素材图片的分类。
本申请实施例中，分别获取素材向量与已分类的素材向量；根据欧氏距离公式计算素材向量与已分类的素材向量的欧氏距离；根据欧氏距离大小确定素材向量与已分类的素材向量的相似度。
根据所述素材图片与素材库中的素材图片分别计算所述相似度；按照相似度由大到小进行排序，根据softmax方法计算相似度最大的k个像素的相似度的权重；根据所述权重对对应的素材图片的类别进行加权统计计算，取权重最大的类别为所述素材图片的类别。
本申请实施例中，在前述步骤的基础上，还包括：若分类前的素材图片数量与分类后剩余的无法分类的素材图片数量变化明显，则继续在所述剩余的无法分类的素材图片中选取少量素材图片进行人工分类并存储入素材库；重新对剩余的无法分类的素材图片进行分类；否则，将剩余的无法分类的素材图片进行人工分类。
下面结合具体示例，对本申请实施例作进一步详细说明。
本申请实施例以素材图片为例进行说明，需要说明的是，其他图片或者图像等如截屏、图片等文本一样可以使用本申请实施例的技术手段。
图2为本申请实施例提供的交互式素材图片分类方法的一具体示例流程图，图3为本申请实施例提供的模块一实现流程图，图4为本申请实施例提供的模块二实现流程图，具体步骤如下：
首先，用户从待归档的素材集S1中选取少量的素材进行分类，放入素材库中，如类别1,2,...,N，剩余素材为素材集S2。
系统使用素材库中的图像训练Triple Network网络，并从素材库中，每类抽取m个素材，例如，可以是3<＝m<＝5，如素材集D{d11，d12,...,d15,...,dn1,dn2,..,dn5}。
对于剩余未归档的素材集S(不知道类别)，分别与素材集D中的素材进行相似度计算。本实施例使用的是Triple Network网络来得到素材向量，使用欧氏距离公式计算素材s(S集中的素材)与素材集D中的素材的向量的相似度，按照相似度由大到小进行排序。取前k个向量欧氏距离，例如，k可以取10。如果前k个相似度中的前最大的2个相似度值score都大于等于预设阈值thresh，在本实施例中，thresh可以取0.7。
使用softmax方法计算素材s与D中相似度前k的素材相似权重，相似度越大，权重越大。softmax计算权重如下：
Figure BDA0002939467610000071
其中，si为第i个节点的输出值，也就是前k个相似度中的第i个相似度；j为输出节点，k为输出节点的总数，即相似度个数k；wi为当前输出节点，也就是前k个相似度中第i个相似度对应素材的权重。通过softmax函数就可以将相似度的权重值转换为范围在[0,1]，和为1的概率分布。
对该k个相似度对应的素材的类别进行加权统计计算，取权重最大的类别为该素材的类别，并将该素材放到对应类别的素材库中。否则如果小于thresh,则认为该素材不属于已有素材库中的任一类，将该素材放在待处理的素材集S3中。
如果S2到S3的数量变化明显，本实施例中，当S2与S3的数量差值大于等于S2数量1/10，则认为数量变化明显。此时，用户需要在S3中挑选少量素材归类到素材库中，系统会重新使用素材库数据微调Triple Network网络，并对用户挑选后剩余的素材进行模块二。
如此循环，直至S2到S3的数量变化不明显时，即S2与S3的数量差值小于S2数量1/10，用户需要对剩余素材S3全部标注，结束整个过程。
如图5所示，为本申请实施例提供的Triple Network网络体系示意图，图6为本申请实施例提供的Triple Network中的backbone网络结构示意图，图7为素材的度量空间示意图，其中，
Triple Network网络由三个相同的network(共享权重)组成，本实施例中network选择的是残差神经网络Resnet50,去掉最后的pooling、fc和softmax，并加上新的全连接层和激活层，具体参见图6所示。
训练时Resnet50会预先加载ImageNet预训练参数。每次输入三个素材，分别是候选素材x、候选素材的同类素材x+、候选素材的异类素材x-，network输出是素材的向量，向量维度是128。
通过欧氏距离公式计算x分别与x+、x-的距离，使用损失函数L＝max(d(x，x+)-d(x，x-)+margin，0)，Adam优化器来优化模型参数，本实施例中取margin＝1。
Triple Network会最小化同类素材的差异和最大化异类素材的差异，得到素材的度量空间。
图8为本申请实施例提供的用户交互方式流程图，其中，系统会在每个步骤完成后，提示用户对素材进行选取归类和对剩余素材进行全部归类。
图9为本申请实施例提供的交互式素材图片分类装置的组成结构示意图，如图9所示，本申请实施例的交互式素材图片分类装置包括：
人工分类单元91，用于随机选取部分素材图片进行分类，分类结果存储入素材库；
分类素材训练单元92，用于根据三元组网络Triple Network训练所述素材库中的素材图片，得到分类的素材向量；
未分类素材计算单元93，用于将未分类的所述素材图片根据三元组网络TripleNetwork计算素材向量；
归类单元94，用于计算所述素材向量与所述分类的素材向量的相似度；根据所述相似度确定所述素材向量对应的素材图片的分类。
所述装置还包括：素材库单元95，用于按照分类结果分别存储人工分类后的素材图片。
所述分类素材训练单元92，具体用于：
三元组网络Triple Network每次输入三个素材图片，分别是候选素材x、候选素材的同类素材x+、候选素材的异类素材x-；通过欧氏距离计算x分别与x+、x-的距离；使用损失函数、Adam优化器优化模型参数，最小化同类素材的差异和最大化异类素材的差异，得到所述素材图片对应的素材向量。
所述归类单元94，具体用于：
分别获取素材向量与已分类的素材向量；根据欧氏距离计算素材向量与已分类的素材向量的欧氏距离；根据欧氏距离大小确定素材向量与已分类的素材向量的相似度。
所述归类单元94，具体用于：
根据所述素材图片与素材库中的素材图片分别计算所述相似度；按照相似度由大到小进行排序，根据softmax方法计算相似度最大的k个相似度的权重；根据所述权重对对应的素材图片的类别进行加权统计计算，取权重最大的类别为所述素材图片的类别。
所述系统还包括：循环分类单元96，用于若分类前的素材图片数量与分类后剩余的无法分类的素材图片数量变化明显，则继续在所述剩余的无法分类的素材图片中选取少量素材图片进行人工分类并存储入素材库；重新对剩余的无法分类的素材图片进行分类；否则，将剩余的无法分类的素材图片进行人工分类。
在示例性实施例中，本申请实施例的交互式素材图片分类装置的上述各处理单元可以被一个或多个中央处理器(CPU，Central Processing Unit)、图形处理器(GPU，Graphics Processing Unit)、基带处理器(BP，Base Processor)、应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现。
在本公开实施例中，图9示出的交互式素材图片分类装置中各个处理单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请实施例还记载了一种存储介质，存储介质上存储由可执行程序，所述可执行程序被处理器执行时实现所述实施例的交互式素材图片分类方法的步骤。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本发明的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种交互式素材图片分类方法，其特征在于，所述方法包括：
随机选取部分素材图片进行分类，分类结果存储入素材库；
根据三元组网络Triple Network训练所述素材库中的素材图片，得到已分类的素材向量；
将未分类的所述素材图片根据三元组网络Triple Network计算素材向量；
计算所述样素材量与所述已分类的素材向量的相似度；根据所述相似度确定所述样素材量对应的素材图片的分类。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述随机选取部分素材图片进行分类，分类结果存储入素材库，包括：
在待分类的素材图片中选取少量素材图片进行人工分类；
所述素材库中按照分类结果分别存储素材图片。
3.根据权利要求1所述的方法，其特征在于，所述根据三元组网络Triple Network训练所述素材库中的素材图片，包括：
三元组网络Triple Network输入三个素材图片，分别是候选素材x、候选素材的同类素材x+、候选素材的异类素材x-；
通过欧氏距离计算x分别与x+、x-的距离；
使用损失函数、Adam优化器优化模型参数，最小化同类素材的差异和最大化异类素材的差异，得到所述素材图片对应的素材向量。
4.根据权利要求3所述的方法，其特征在于，所述计算所述素材向量与所述已分类的素材向量的相似度，包括：
分别获取素材向量与已分类的素材向量；
根据欧氏距离计算素材向量与已分类的素材向量的欧氏距离；
根据欧氏距离大小确定素材向量与已分类的素材向量的相似度。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据所述素材图片与素材库中的素材图片分别计算所述相似度；
按照相似度由大到小进行排序，根据softmax方法计算相似度最大的k个相似度的权重；
根据所述权重对对应的素材图片的类别进行加权统计计算，取权重最大的类别为所述素材图片的类别。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若分类前的素材图片数量与分类后剩余的无法分类的素材图片数量变化明显，则继续在所述剩余的无法分类的素材图片中选取少量素材图片进行人工分类并存储入素材库；重新对剩余的无法分类的素材图片进行分类；
否则，将剩余的无法分类的素材图片进行人工分类。
7.一种交互式素材图片分类装置，其特征在于，所述装置包括：
人工分类单元，用于随机选取部分素材图片进行分类，分类结果存储入素材库；
分类素材训练单元，用于根据三元组网络Triple Network训练所述素材库中的素材图片，得到分已类的素材向量；
未分类素材计算单元，用于将未分类的所述素材图片根据三元组网络Triple Network计算素材向量；
归类单元，用于计算所述素材向量与所述已分类的素材向量的相似度；根据所述相似度确定所述素材向量对应的素材图片的分类。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
素材库单元，用于按照分类结果分别存储人工分类后的素材图片。
9.根据权利要求7所述的装置，其特征在于，所述分类素材训练单元，具体用于：
三元组网络Triple Network每次输入三个素材图片，分别是候选素材x、候选素材的同类素材x+、候选素材的异类素材x-；通过欧氏距离计算x分别与x+、x-的距离；使用损失函数、Adam优化器优化模型参数，最小化同类素材的差异和最大化异类素材的差异，得到所述素材图片对应的素材向量。
10.根据权利要求7所述的装置，其特征在于，所述归类单元，具体用于：
分别获取素材向量与已分类的素材向量；计算素材向量与已分类的素材向量的欧氏距离；根据欧氏距离大小确定素材向量与已分类的素材向量的相似度。
11.根据权利要求10所述的装置，其特征在于，所述归类单元，具体用于：
根据所述素材图片与素材库中的素材图片分别计算所述相似度；按照相似度由大到小进行排序，根据softmax方法计算相似度最大的k个相似度的权重；根据所述权重对对应的素材图片的类别进行加权统计计算，取权重最大的类别为所述素材图片的类别。
12.根据权利要求7所述的装置，其特征在于，所述系统还包括：
循环分类单元，用于若分类前的素材图片数量与分类后剩余的无法分类的素材图片数量变化明显，则继续在所述剩余的无法分类的素材图片中选取少量素材图片进行人工分类并存储入素材库；重新对剩余的无法分类的素材图片进行分类；否则，将剩余的无法分类的素材图片进行人工分类。
13.一种存储介质，其上存储有可执行程序，所述可执行程序被处理器执行时实现如求1至6任一项所述的交互式素材图片分类方法的步骤。
CN202110174735.6A 2021-02-08 2021-02-08 一种交互式素材图片分类方法及装置、存储介质 Pending CN112818151A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110174735.6A CN112818151A (zh) 2021-02-08 2021-02-08 一种交互式素材图片分类方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110174735.6A CN112818151A (zh) 2021-02-08 2021-02-08 一种交互式素材图片分类方法及装置、存储介质

Publications (1)

Publication Number Publication Date
CN112818151A true CN112818151A (zh) 2021-05-18

Family

ID=75864357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110174735.6A Pending CN112818151A (zh) 2021-02-08 2021-02-08 一种交互式素材图片分类方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN112818151A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090499A (zh) * 2017-11-13 2018-05-29 中国科学院自动化研究所 基于最大信息三元组筛选网络的数据主动标注方法和系统
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN108960289A (zh) * 2018-06-08 2018-12-07 清华大学 医用图像分类装置及方法
CN111639540A (zh) * 2020-04-30 2020-09-08 中国海洋大学 基于相机风格和人体姿态适应的半监督人物重识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090499A (zh) * 2017-11-13 2018-05-29 中国科学院自动化研究所 基于最大信息三元组筛选网络的数据主动标注方法和系统
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN108960289A (zh) * 2018-06-08 2018-12-07 清华大学 医用图像分类装置及方法
CN111639540A (zh) * 2020-04-30 2020-09-08 中国海洋大学 基于相机风格和人体姿态适应的半监督人物重识别方法

Similar Documents

Publication Publication Date Title
CN110619369B (zh) 基于特征金字塔与全局平均池化的细粒度图像分类方法
CN111079639B (zh) 垃圾图像分类模型构建的方法、装置、设备及存储介质
CN109472232B (zh) 基于多模态融合机制的视频语义表征方法、系统及介质
US10846566B2 (en) Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks
Endres et al. Category-independent object proposals with diverse ranking
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
Kao et al. Visual aesthetic quality assessment with a regression model
CN105701502B (zh) 一种基于蒙特卡罗数据均衡的图像自动标注方法
Kae et al. Augmenting CRFs with Boltzmann machine shape priors for image labeling
CN107683469A (zh) 一种基于深度学习的产品分类方法及装置
CN108345850B (zh) 基于超像素的笔画特征变换和深度学习的区域分类的场景文本检测方法
CN109919252B (zh) 利用少数标注图像生成分类器的方法
CN110781897B (zh) 一种基于深度学习的语义边缘检测方法
US20110091105A1 (en) Bags of visual context-dependent words for generic visual categorization
CN108875076B (zh) 一种基于Attention机制和卷积神经网络的快速商标图像检索方法
CN110222686B (zh) 物体检测方法、装置、计算机设备和存储介质
CN108009560B (zh) 商品图像相似类别判定方法及装置
CN109472209A (zh) 一种图像识别方法、装置和存储介质
CN111340213B (zh) 神经网络的训练方法、电子设备、存储介质
Lee et al. Property-specific aesthetic assessment with unsupervised aesthetic property discovery
Nemade et al. Image segmentation using convolutional neural network for image annotation
CN114817633A (zh) 视频分类方法、装置、设备及存储介质
Meng et al. Merged region based image retrieval
CN113837236B (zh) 图像中目标对象的识别方法、装置、终端设备及存储介质
CN112818151A (zh) 一种交互式素材图片分类方法及装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination