CN117392684B - 奢侈品鉴定模型训练方法、奢侈品鉴定方法及其装置 - Google Patents

奢侈品鉴定模型训练方法、奢侈品鉴定方法及其装置 Download PDF

Info

Publication number
CN117392684B
CN117392684B CN202311452889.2A CN202311452889A CN117392684B CN 117392684 B CN117392684 B CN 117392684B CN 202311452889 A CN202311452889 A CN 202311452889A CN 117392684 B CN117392684 B CN 117392684B
Authority
CN
China
Prior art keywords
luxury
task
character
data set
main task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311452889.2A
Other languages
English (en)
Other versions
CN117392684A (zh
Inventor
杨榆
杨耀田
邹积鑫
周琳娜
郭信生
雷敏
陈秀波
李志豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202311452889.2A priority Critical patent/CN117392684B/zh
Publication of CN117392684A publication Critical patent/CN117392684A/zh
Application granted granted Critical
Publication of CN117392684B publication Critical patent/CN117392684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种奢侈品鉴定模型训练方法、奢侈品鉴定方法及装置，模型训练方法包括：获取主任务数据集，基于主任务数据集生成辅助任务数据集；主任务数据集和辅助任务数据集合并形成含奢侈品字符区域图像和对应两类标签的训练集，一类标签标识字符真假，另一类标识字符形态是否变化；基于训练集对奢侈品鉴定模型进行训练，得到训练好的奢侈品鉴定模型，该模型采用包含一主一辅两个分支的多任务学习机制，主任务分支用于鉴别字符真伪，辅助任务分支用于鉴别字符形态是否变化，两个分支共享同一个特征提取和凝练模块。在训练过程中，辅助任务分支可以引导主任务分支更加关注字符特征，从而提高主任务性能，最终通过识别字符真假来鉴别奢侈品真伪。

Description

奢侈品鉴定模型训练方法、奢侈品鉴定方法及其装置
技术领域
本发明涉及深度学习技术领域，尤其涉及一种奢侈品鉴定模型训练方法、奢侈品鉴定方法及其装置。
背景技术
在基于深度学习的奢侈品鉴伪领域中，如何实现对奢侈品的精准鉴定是一项具有挑战性的任务。目前市场上的奢侈品鉴别系统通常采用AlexNet等现有的分类网络进行奢侈品鉴别，且这些网络均为单任务学习机制。但是随着造假技术的不断提升，以上分类网络在奢侈品鉴别方面存在以下几点不足：
首先，由于假冒伪劣产品的仿造技术日益提升，仿品制作较精细，需要对各种复杂的材质、工艺和设计进行极其准确的辨识，包括Logo、五金、印花等，才能达到有效鉴伪的目的。而现有的分类网络已经不足以对仿品进行有效识别，无法对这些细微差别进行灵敏感知和准确识别。
其次，奢侈品市场的快速变化和多样性也增加了鉴伪的难度，每个品牌都有自己独特的设计风格和特点，而且不同的系列和季度也会有不同的变化，这就要求鉴别系统能够从不同的奢侈品风格系列中获取共同的通用特征。而现有的分类网络面对这种变化时往往无法适应，导致鉴伪结果不可信。
综上所述，使用比现有的分类网络更先进的人工智能技术对奢侈品进行鉴伪是一个值得研究的任务，从而为奢侈品市场提供更加准确和可靠的鉴伪手段。这将有助于保护消费者的权益，减少假冒伪劣产品的流通，维护奢侈品品牌的声誉。
发明内容
鉴于此，本发明实施例提供了一种奢侈品鉴定模型训练方法、奢侈品鉴定方法及其装置，以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种奢侈品鉴定模型训练方法，包括：
获取主任务数据集，所述主任务数据集包括奢侈品字符区域图像和对应的真假标签，基于所述主任务数据集生成辅助任务数据集，所述辅助任务数据集包括将所述主任务数据集中奢侈品字符区域图像的字符形态改变后得到的奢侈品字符区域图像；
将所述主任务数据集和所述辅助任务数据集进行合并，形成训练集，所述训练集包括奢侈品字符区域图像和对应的两类标签，其中一类标签用于标识奢侈品字符的真假，另一类标签用于标识奢侈品字符的形态是否变化；
基于所述训练集对预设的奢侈品鉴定模型进行训练，得到训练好的奢侈品鉴定模型，所述奢侈品鉴定模型包括特征提取模块、特征凝练模块和多个任务分支网络，所述多个任务分支网络包括主任务分类模块和辅助任务分类模块，所述特征提取模块用于提取奢侈品字符的高维特征，所述特征凝练模块用于提取所述高维特征的空间特征信息，所述主任务分类模块用于根据所述空间特征信息输出表示奢侈品字符真伪的分类结果，所述辅助任务分类模块用于根据所述空间特征信息输出表示奢侈品字符形态是否变化的分类结果。
在本发明的一些实施例中，所述基于所述主任务数据集生成辅助任务数据集的步骤，包括：
针对所述主任务数据集的每个奢侈品字符区域图像，预设置换块和所述置换块的尺寸；
基于所述置换块的尺寸按行列依次将所述奢侈品字符区域图像划分为若干个待置换的像素块；
将所述奢侈品字符区域图像中每两个相邻的待置换的像素块进行随机置换，使得所述奢侈品字符区域图像的字符形态发生改变；
字符形态发生改变的所有奢侈品字符区域图像形成辅助任务数据集。
在本发明的一些实施例中，所述将所述主任务数据集和所述辅助任务数据集进行合并，形成训练集的步骤，还包括：
对所述主任务数据集中标签为真的奢侈品字符区域图像进行数据增强，扩充所述训练集中标签为真的图像数据，使得所述训练集中标签为真的图像数据和标签为假的图像数据达到平衡，所述数据增强的方式至少包括随机旋转、随机翻转和随机色度变换。
在本发明的一些实施例中，所述基于所述训练集对预设的奢侈品鉴定模型进行训练的步骤中，通过计算所述主任务分类模块和所述辅助任务分类模块的分类损失的加权和结果并将该加权和结果作为总损失，对所述奢侈品鉴定模型进行训练和优化。
在本发明的一些实施例中，所述特征提取模块包括五个阶段，其中每个阶段至少由至少一个卷积层、至少一个批规范化层、至少一个激活层和至少一个池化层组成；
所述特征凝练模块包括多个不同尺寸的池化操作，所述多个不同尺寸的池化操作用于输出多个不同尺寸的高维空间特征图，所述多个不同尺寸的高维空间特征图构成空间特征向量。
在本发明的一些实施例中，所述主任务分类模块和所述辅助任务分类模块采用同一种分类器，所述分类器包括第一线性层、激活函数ReLU层、第二线性层和激活函数softmax输出层，
所述第一线性层用于将奢侈品字符的高维特征的空间特征信息的维度降低；
所述激活函数ReLU层用于进行非线性激活；
所述第二线性层用于分类并输出各个分类结果和对应类别的概率；
所述激活函数softmax输出层用于输出最终的分类结果和对应类别的概率。
在本发明的一些实施例中，所述奢侈品字符区域图像中的字符区域至少包括皮签、圆标和五金标志(五金Logo)。
本发明的另一方面提供了一种奢侈品鉴定方法，包括：
获取测试集，所述测试集包括奢侈品字符区域图像；
将所述奢侈品字符区域图像输入利用如前所述奢侈品鉴定模型训练方法训练好的奢侈品鉴定模型中，由所述奢侈品鉴定模型输出所述奢侈品字符区域图像中字符真伪的鉴别结果。
本发明的又一方面提供了一种奢侈品鉴定模型训练装置，该装置包括：计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述奢侈品鉴定模型训练方法的步骤。
本发明的又一方面提供了一种奢侈品鉴定装置，该装置包括：计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述奢侈品鉴定方法的步骤。
本发明的又一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前所述奢侈品鉴定模型训练方法和所述奢侈品鉴定方法的步骤。
本发明的奢侈品鉴定模型训练方法、奢侈品鉴定方法、奢侈品鉴定模型训练装置、奢侈品鉴定装置及计算机可读存储介质中，奢侈品鉴定模型采用包含一主一辅两个任务分支的多任务学习架构，两个任务分支共享同一个特征提取、凝练模块，主任务为对奢侈品字符真假进行鉴别，辅助任务为对奢侈品字符的形态是否发生变化进行判别。对应的，用于训练奢侈品鉴定模型的训练集中包含主任务数据集和基于主任务数据集生成的辅助任务数据集，可以增强任务之间的相关性。通过使用训练集和多任务机制对奢侈品鉴定模型进行训练，使该鉴定模型同时对主任务和辅助任务进行有效学习，并且在学习过程中，该鉴定模型对辅助任务的学习有助于主任务更加关注不同奢侈品存在细微差异的关键鉴伪特征—字符特征，从而提升主任务的性能。最终通过训练好的奢侈品鉴定模型可以获得精准的奢侈品字符真伪的结果，进而通过字符的差异实现奢侈品真伪的高精度鉴别。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1为本发明的奢侈品鉴定模型训练方法一种实施方式的流程示意图；
图2为本发明的奢侈品鉴定模型的网络结构示意图；
图3为本发明的奢侈品鉴定模型中特征提取模块的网络结构示意图；
图4为本发明的奢侈品鉴定模型中特征凝练模块的网络结构示意图；
图5为本发明的奢侈品鉴定模型中主任务分类模块和辅助任务分类模块的网络结构示意图；
图6为本发明的奢侈品鉴定方法一种实施方式的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
在传统单任务学习架构中，神经网络模型专注于学习一个特定的任务，并在这个特定任务上实现最佳性能。尽管单任务学习架构可以在某个鉴伪任务上实现高精度的判别与鉴定，但难以适用到模型未见过或学习过的数据上，一旦奢侈品的风格、系列发生变化，模型的判别精度会大大下降。在传统多任务学习架构中，神经网络模型将多个任务放在一起学习，旨在同时优化该模型在多个任务上的判别性能，然而如果各个任务之间的差异较大，则会导致模型参数出现震荡现象，导致模型无法有效学习，对任务之间的相关性难以平衡。
为了有效应对如今伪劣奢侈品的制作越来越精细的情况并灵活适应于奢侈品品牌的设计风格系列快速变化且种类繁多的现状，本发明实施例提供一种奢侈品鉴定模型训练方法、奢侈品鉴定方法、奢侈品鉴定模型训练装置、奢侈品鉴定装置及计算机可读存储介质，首次将一种与上述传统单任务学习架构、传统多任务学习架构均不同的新型的多任务学习架构应用于奢侈品鉴定领域。其中，奢侈品鉴定模型采用该种新型的多任务学习架构，具有强大的特征提取能力，通过对奢侈品的五金Logo(奢侈品品牌的金属商标标志)、印花等字符区域内字符的细微差别进行高度敏感的感知和精准识别，实现奢侈品的精准鉴伪。其中，将对奢侈品字符真假的鉴别作为主任务，将对奢侈品字符的形态是否发生变化的判别作为辅助任务。
图1是本发明实施例的一种奢侈品鉴定模型训练方法的流程示意图。请参见图1，本发明实施例提供的奢侈品鉴定模型训练方法的步骤包括如下：
步骤S110，获取主任务数据集，所述主任务数据集包括奢侈品字符区域图像和对应的真假标签，基于所述主任务数据集生成辅助任务数据集，所述辅助任务数据集包括将所述主任务数据集中奢侈品字符区域图像的字符形态改变后得到的奢侈品字符区域图像。
本发明实施例中，由于奢侈品鉴定模型采用的是包含一主一辅两个任务的多任务学习架构，因此在模型训练的过程中，步骤S110先针对性的获取用于多任务学习的主任务数据集和辅助任务数据集(与传统的多任务学习架构不同)。为了识别不同品牌设计风格、不同系列的奢侈品上字符的真伪，即对主任务的学习，对应获取主任务数据集，且该数据集包含真实的各种品牌及其不同系列的奢侈品的字符区域图像以及这些图像对应的标签，例如，奢侈品上的字符可以是皮签、圆标和五金Logo等区域内的字符(也可以是其他区域的字符，并不局限于这里列举出的几种字符区域)，则对应的标签为真皮签、假皮签、真圆标、假圆标、真五金Logo、假五金Logo等。同时，为了在鉴伪过程中能够帮助主任务更加关注于字符特征的细微差别，即对辅助任务的学习，基于主任务数据集生成包含字符形态发生变化的奢侈品字符区域图像的辅助任务数据集。辅助任务数据集在主任务数据集的基础上生成，可以增强主任务和辅助任务之间的相关性，使得奢侈品鉴定模型更加关注奢侈品的字符特征。
作为本发明可选的实施例，步骤S110中基于所述主任务数据集生成辅助任务数据集的具体步骤，包括：
针对所述主任务数据集的每个奢侈品字符区域图像，预设置换块和置换块的尺寸；
基于所述置换块的尺寸按行列依次将所述奢侈品字符区域图像划分为若干个待置换的像素块；
将所述奢侈品字符区域图像中每两个相邻的待置换的像素块进行随机置换，使得所述奢侈品字符区域图像的字符形态发生改变；
字符形态发生改变的所有奢侈品字符区域图像形成辅助任务数据集。
本发明实施例中，置换块的尺寸可以设置为某一张原奢侈品字符区域图像的1/n。上述基于主任务数据集生成辅助任务数据集的过程其实是对主任务数据集中的每一张奢侈品字符区域图像按照以上步骤经过像素块的随机置换进行字符形态的随机更改和变换，字符形态改变的程度可以是明显的改变，也可以说是细微不明显的改变，即通过以下公式一一映射到辅助任务数据集中，从而构成辅助任务数据集：
A＝F(M)
其中，M表示主任务数据集，A表示辅助任务数据集。通过以上步骤生成的辅助任务数据集和主任务数据集的相关性较强，可以使奢侈品鉴定模型在后续训练的过程中能在这两个任务中进行稳定训练，从而实现对主任务和辅助任务的有效学习。
步骤S120，将所述主任务数据集和所述辅助任务数据集进行合并，形成训练集，所述训练集包括奢侈品字符区域图像和对应的两类标签，其中一类标签用于标识奢侈品字符的真假，另一类标签用于标识奢侈品字符的形态是否变化。
本发明实施例中，将主任务数据集和基于该主任务数据集生成的辅助任务数据集进行合并，形成用于后续训练奢侈品鉴定模型的训练集。该训练集中包含的奢侈品字符区域特征及其对应的用于判断奢侈品字符真假的第一类标签，该第一类标签例如为真皮签、假皮签、真圆标、假圆标、真五金Logo、假五金Logo等，可以训练奢侈品鉴定模型对主任务进行学习。该训练集中包含的奢侈品字符区域特征及其对应的用于判断奢侈品字符形态是否发生变化的第二类标签，该第二类标签包含字符形态发生变化和未发生变化两种标签，可以训练奢侈品鉴定模型对辅助任务进行学习。
由于辅助任务数据集中包含的奢侈品字符区域图像是主任务数据集中的字符区域图像经过字符形态发生变化的图像，也就是说，主任务数据集中作为真品的奢侈品字符特征遭到破坏，因此，辅助任务数据集中的所有字符区域图像对应的奢侈品均被视为仿品，即，这些图像对应的标签为假皮签、假圆标、假五金Logo等。由于主任务数据集包含的数据有正样本(标签为真的图像)和负样本(标签为假的图像)，而辅助任务数据集包含的数据都是负样本，这两个数据集合并后形成的训练集就会产生正负样本的数量不均衡的问题，因此，在步骤S120中，还需要对训练集中的正样本进行数据增广，弥补正样本数据的数量，以使得训练集包含的正样本和负样本数量达到均衡状态。
进一步的，作为本发明可选的实施例，步骤S120中将所述主任务数据集和所述辅助任务数据集进行合并，形成训练集的具体步骤，还包括：
对所述主任务数据集中标签为真的奢侈品字符区域图像进行数据增强，扩充所述训练集中标签为真的图像数据，使得所述训练集中标签为真的图像数据和标签为假的图像数据达到平衡，所述数据增强的方式至少包括随机旋转、随机翻转和随机色度变换。
上述数据增强的过程为本发明实施例可选的数据增广的其中一种方式。具体来说，对主任务数据集中包含的图像数据进行循环遍历，将其中真皮签、真圆标、真五金Logo等标签所对应的每个奢侈品字符区域图像进行数据增强，生成新图像，将生成的所有新图像添加到训练集中，使标签为真皮签、真圆标、真五金Logo等和标签为假皮签、假圆标、假五金Logo等的图像数量达到平衡。
步骤S130，基于所述训练集对预设的奢侈品鉴定模型进行训练，得到训练好的奢侈品鉴定模型，所述奢侈品鉴定模型包括特征提取模块、特征凝练模块和多个任务分支网络，所述多个任务分支网络包括主任务分类模块和辅助任务分类模块，所述特征提取模块用于提取奢侈品字符的高维特征，所述特征凝练模块用于提取所述高维特征的空间特征信息，所述主任务分类模块用于根据所述空间特征信息输出表示奢侈品字符真伪的分类结果，所述辅助任务分类模块用于根据所述空间特征信息输出表示奢侈品字符的形态是否变化的分类结果。
本发明实施例中，请参见图2，奢侈品鉴定模型采用包含一主一辅两个任务分支的多任务学习架构，该架构采用硬参数共享机制，顶层的主任务分支和辅助任务分支共享使用底层的特征提取模块和特征凝练模块。其中，主任务分支和辅助任务分支独立采用各自的主任务分类模块和辅助任务分类模块，分别对奢侈品字符真伪和奢侈品字符形态的变化进行学习。在奢侈品鉴定模型的训练过程中，通过多任务学习机制提升奢侈品鉴定模型的泛化能力。相对而言，字符形态的变化是更加明显的，所以辅助任务更容易学习且会先于主任务得到充分学习。由于用于训练主任务分类模块的主任务数据集和用于训练辅助任务分类模块的辅助任务数据集之间的相关性以及主任务分类模块和辅助任务分类模块共享使用同一个特征提取模块、同一个特征凝练模块，对辅助任务的充分学习可以引导底层的共享网络更加关注奢侈品的字符区域而提取有效的关键鉴伪特征，进而促使主任务的学习过程更加关注字符本身，增强主任务分支的性能，使得奢侈品鉴定模型聚焦于字符本身从而排除图像背景区域的干扰。
进一步的，作为本发明可选的实施例，步骤S130中的特征提取模块包括五个阶段，其中每个阶段至少由至少一个卷积层、至少一个批规范化层、至少一个激活层和至少一个池化层组成。其中，卷积层从残差网络中选取，可以从奢侈品字符区域图像中提取出有效且具有高判别性的字符特征，可以精准体现出奢侈品不同品牌设计风格以及不同系列等的细节和纹理。
示例性的，请参见图3，特征提取模块的五个阶段为STAGE 0-4，其中第二阶段至第五阶段STAGE 1-4中的第一类型Type1和第二类型Type2均为不同数量的卷积层Conv、批规范化层BN、激活层ReLU和池化层MaxPool的不同组合。将训练集中的奢侈品字符区域图像输入特征提取模块中，例如向特征提取模块中输入一张三通道的224×224图像，通过五个阶段的卷积层、批规范化层、激活层、池化层等操作，最终可以提取出一个2048维的7×7的奢侈品字符特征图(即2048张尺寸为7×7的特征图，每张特征图表示提取出的字符特征的一个维度)，这些特征图代表了奢侈品字符区域图像的高维特征，高维特征可以提供更丰富的信息，有利于奢侈品鉴定模型对输入图像的分类。
作为本发明可选的实施例，特征凝练模块包括多个不同尺寸的池化操作，所述多个不同尺寸的池化操作用于输出多个不同尺寸的高维空间特征图，所述多个不同尺寸的高维空间特征图构成空间特征向量。
本发明实施例中，由于特征提取出的奢侈品字符高维特征图不仅包含字符特征，还包含其他背景部分，在鉴伪过程中需要聚焦于奢侈品字符区域图像的关键鉴伪区域—字符特征，其他背景区域被视为噪声，然而这些噪声信息带来的较大差异会掩盖关键鉴伪区域—字符特征的微小差异，从而干扰模型的判别，因此需要对特征提取模块提取出的奢侈品字符的高维特征(即奢侈品字符高维特征图)进一步进行多尺度的凝练处理。上述特征凝练模块通过空间金字塔池化(SPP)对提取出的奢侈品字符高维特征图进行多尺度的凝练，可以提取不同尺寸的空间特征信息，获得了信息丰富、不冗余且有区分度的有效空间特征向量，进而提高模型对于字符特征空间布局的鲁棒性，同时该模块可以固定输出的尺寸，使鉴定模型可以输入任意尺寸的图像，增强了鉴定模型的通用性。其中，空间特征信息包含字符特征之间的相对位置、形状、大小和布局等信息。
示例性的，请参见图4，特征凝练模块包括三个不同尺寸的池化操作，池化窗口和池化步长分别根据如下公式进行计算，
其中，windowSize表示池化窗口，stride表示池化步长，W表示奢侈品字符特征图的宽度，H表示奢侈品字符特征图的高度，level表示经过池化操作后输出的空间特征图的尺寸。例如，将2048张C×W×H为3×7×7的奢侈品字符特征图输入特征凝练模块，对于任意一张特征图，将该图划分为1×1、2×2、4×4三种区域，对每一个小区域进行池化操作，使池化后的特征图尺寸分别变为1×1、2×2、4×4的空间特征图，即池化窗口分别为(W/1,H/1)、(W/2,H/2)、(W/4,H/4)，池化步长分别为(W/1,H/1)、(W/2,H/2)、(W/4,H/4)，如此，2048张3×7×7的奢侈品字符特征图最后变为43008张尺寸为1×1、2×2、4×4的空间特征图。最后再将这些尺寸的空间特征图连接而构成空间特征向量。
作为本发明可选的实施例，请参见图5，主任务分类模块和辅助任务分类模块采用同一种分类器，所述分类器包括第一线性层FC1、激活函数ReLU层、第二线性层FC2和激活函数softmax输出层，所述第一线性层用于将奢侈品字符的高维特征的空间特征信息的维度降低；所述激活函数ReLU层用于进行非线性激活；所述第二线性层用于分类并输出各个分类结果和对应类别的概率；所述激活函数softmax输出层用于输出最终的分类结果和对应类别的概率。
本发明实施例中，上述第一线性层中的输入单元的数量大于输出单元的数量，可以将输入的高维空间特征图变为输出的低维空间特征图，有利于节省大量计算开销，并且减少冗余信息。主任务分类模块的第二线性层输出的分类结果包括真皮签、假皮签、真圆标、假圆标、真五金Logo、假五金Logo等，也可以包括其他字符的真假标签，并不局限于此处列出的这几种，激活函数softmax输出层输出的最终分类结果为该奢侈品的字符为真或假，即该奢侈品为正品或仿品。辅助任务分类模块的第二线性层输出的分类结果包括奢侈品字符的形态发生变化和奢侈品字符的形态未发生变化，激活函数softmax输出层输出的最终分类结果为该奢侈品字符的形态发生变化或未发生变化。
示例性的，将由43008张尺寸为1×1、2×2、4×4的空间特征图拼接而成的空间特征向量分别输入主任务分类模块和辅助任务分类模块中，两个分类模块的第一线性层FC1将43008张空间特征图变换为2048张空间特征图。
进一步的，步骤S130中通过计算所述主任务分类模块和所述辅助任务分类模块的分类损失的加权和结果并将该加权和结果作为总损失，对所述奢侈品鉴定模型进行训练和优化。
具体的，主任务分类模块最终输出该奢侈品的字符为真(该奢侈品为正品)及其概率，或者输出该奢侈品的字符为假(该奢侈品为仿品)及其概率。辅助任务分类模块最终输出字符形态发生变化及其概率，或者输出字符形态未发生变化及其概率。根据主任务分类模块和辅助任务分类模块的输出结果按照如下公式分别计算各自的分类损失，分类损失通过交叉熵损失实现：
Lossmain＝-[y1·log(p1)+(1-y1)·log(1-p1)]
Lossassist＝-[y2·log(p2)+(1-y2)·log(1-p2)]
其中，Lossmain表示主任务分类模块的分类损失，Lossassist表示辅助任务分类模块的分类损失，y1表示主任务数据集中标签的值，p1表示该奢侈品为正品的概率，y2表示辅助任务数据集中标签的值，p2表示字符形态发生变化的概率。
再根据如下公式对主任务分类模块和辅助任务分类模块的分类损失进行加权计算，将两者的加权和结果作为总损失，对奢侈品鉴定模型的参数进行优化：
lossTotal＝λ·Lossmain+(1-λ)·Lossassist
其中，lossTotal表示总损失，λ表示主任务的权重参数，λ>0.5。由于总损失融合了主任务的损失和辅助任务的损失，所以在奢侈品鉴定模型训练优化过程中，该模型会从两个任务中同时进行学习。主任务的权重参数大于辅助任务的权重参数，以表明主次之分。
进一步的，所述奢侈品字符区域图像中的字符区域至少包括皮签、圆标和五金Logo。对应的，主任务数据集中的标签和训练集中用于判断奢侈品字符真假的第一类标签至少包括真皮签、假皮签、真圆标、假圆标和真五金Logo、假五金Logo。
图5是本发明实施例提供的一种奢侈品鉴定方法的示意图。请参见图5，本发明实施例的一种奢侈品鉴定方法的步骤包括：
步骤S210，获取测试集，所述测试集包括奢侈品字符区域图像。
本发明实施例中，测试集中的奢侈品字符区域图像为从真实世界中收集到的各种品牌及其不同系列的奢侈品上的字符区域的图像。
步骤S220，将所述测试集中的奢侈品字符区域图像输入利用如前所述奢侈品鉴定模型训练方法训练好的奢侈品鉴定模型中，由所述奢侈品鉴定模型输出所述奢侈品字符区域图像中字符真伪的鉴别结果。
本发明实施例中，训练好的奢侈品鉴定模型对测试集中的奢侈品字符区域图像进行识别判断，输出该图像中字符为真或假的结果。由此进一步获得该奢侈品是正品或仿品的精准鉴别结果。在此鉴别过程中，该奢侈品鉴定模型优先关注图像上的关键鉴伪特征，即字符本身，通过对字符区域细微差异的识别来判断奢侈品的真伪，实现对奢侈品真伪的高精度鉴别，具有良好性能。
与上述方法相应地，本发明实施例的一种奢侈品鉴定模型训练装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述奢侈品鉴定模型训练方法的步骤。
与上述方法相应地，本发明实施例的一种奢侈品鉴定装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述奢侈品鉴定方法的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述奢侈品鉴定模型训练方法和奢侈品鉴定方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种奢侈品鉴定模型训练方法，其特征在于，包括：
获取主任务数据集，所述主任务数据集包括奢侈品字符区域图像和对应的真假标签，基于所述主任务数据集生成辅助任务数据集，所述辅助任务数据集包括将所述主任务数据集中奢侈品字符区域图像的字符形态改变后得到的奢侈品字符区域图像；
将所述主任务数据集和所述辅助任务数据集进行合并，形成训练集，所述训练集包括奢侈品字符区域图像和对应的两类标签，其中一类标签用于标识奢侈品字符的真假，另一类标签用于标识奢侈品字符的形态是否变化；
基于所述训练集对预设的奢侈品鉴定模型进行训练，得到训练好的奢侈品鉴定模型，所述奢侈品鉴定模型包括特征提取模块、特征凝练模块和多个任务分支网络，所述多个任务分支网络包括主任务分类模块和辅助任务分类模块，所述特征提取模块用于提取奢侈品字符的高维特征，所述特征凝练模块用于提取所述高维特征的空间特征信息，所述主任务分类模块用于根据所述空间特征信息输出表示奢侈品字符真伪的分类结果，所述辅助任务分类模块用于根据所述空间特征信息输出表示奢侈品字符形态是否变化的分类结果，以及引导所述主任务分类模块的注意力更加关注所述空间特征信息中的奢侈品字符区域，使所述主任务分类模块基于奢侈品字符形态是否变化的分类结果判断奢侈品的真伪；
所述基于所述训练集对预设的奢侈品鉴定模型进行训练的步骤中，通过计算所述主任务分类模块和所述辅助任务分类模块的分类损失的加权和结果并将该加权和结果作为总损失，对所述奢侈品鉴定模型进行训练和优化，其中，根据主任务分类模块和辅助任务分类模块的输出结果按照如下公式分别计算各自的分类损失，分类损失通过交叉熵损失实现：
Lossmain＝-[y1·log(p1)+(1-y1)·log(1-p1)]
Lossassist＝-[y2·log(p2)+(1-y2)·log(1-p2)]
其中，Lossmain表示主任务分类模块的分类损失，Lossassist表示辅助任务分类模块的分类损失，y1表示主任务数据集中标签的值，p1表示该奢侈品为正品的概率，y2表示辅助任务数据集中标签的值，p2表示字符形态发生变化的概率。
2.根据权利要求1所述的方法，其特征在于，所述基于所述主任务数据集生成辅助任务数据集的步骤，包括：
针对所述主任务数据集的每个奢侈品字符区域图像，预设置换块和所述置换块的尺寸；
基于所述置换块的尺寸按行列依次将所述奢侈品字符区域图像划分为若干个待置换的像素块；
将所述奢侈品字符区域图像中每两个相邻的待置换的像素块进行随机置换，使得所述奢侈品字符区域图像的字符形态发生改变；
字符形态发生改变的所有奢侈品字符区域图像形成辅助任务数据集。
3.根据权利要求1所述的方法，其特征在于，所述将所述主任务数据集和所述辅助任务数据集进行合并，形成训练集的步骤，还包括：
对所述主任务数据集中标签为真的奢侈品字符区域图像进行数据增强，扩充所述训练集中标签为真的图像数据，使得所述训练集中标签为真的图像数据和标签为假的图像数据达到平衡，所述数据增强的方式至少包括随机旋转、随机翻转和随机色度变换。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述特征提取模块包括五个阶段，其中每个阶段至少由至少一个卷积层、至少一个批规范化层、至少一个激活层和至少一个池化层组成；
所述特征凝练模块包括多个不同尺寸的池化操作，所述多个不同尺寸的池化操作用于输出多个不同尺寸的高维空间特征图，所述多个不同尺寸的高维空间特征图构成空间特征向量。
5.根据权利要求1-3中任一项所述的方法，其特征在于，所述主任务分类模块和所述辅助任务分类模块采用同一种分类器，所述分类器包括第一线性层、激活函数ReLU层、第二线性层和激活函数softmax输出层，
所述第一线性层用于将奢侈品字符的高维特征的空间特征信息的维度降低；
所述激活函数ReLU层用于进行非线性激活；
所述第二线性层用于分类并输出各个分类结果和对应类别的概率；
所述激活函数softmax输出层用于输出最终的分类结果和对应类别的概率。
6.根据权利要求1-3中任一项所述的方法，其特征在于，所述奢侈品字符区域图像中的字符区域至少包括皮签、圆标和五金标志。
7.一种奢侈品鉴定方法，其特征在于，包括：
获取测试集，所述测试集包括奢侈品字符区域图像；
将所述奢侈品字符区域图像输入利用如权利要求1-6中任一项所述的方法训练好的奢侈品鉴定模型中，由所述奢侈品鉴定模型输出所述奢侈品字符区域图像中字符真伪的鉴别结果。
8.一种奢侈品鉴定模型训练装置，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求1至6中任一项所述方法的步骤。
9.一种奢侈品鉴定装置，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求7所述方法的步骤。
CN202311452889.2A 2023-11-02 2023-11-02 奢侈品鉴定模型训练方法、奢侈品鉴定方法及其装置 Active CN117392684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311452889.2A CN117392684B (zh) 2023-11-02 2023-11-02 奢侈品鉴定模型训练方法、奢侈品鉴定方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311452889.2A CN117392684B (zh) 2023-11-02 2023-11-02 奢侈品鉴定模型训练方法、奢侈品鉴定方法及其装置

Publications (2)

Publication Number Publication Date
CN117392684A CN117392684A (zh) 2024-01-12
CN117392684B true CN117392684B (zh) 2024-05-14

Family

ID=89471787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311452889.2A Active CN117392684B (zh) 2023-11-02 2023-11-02 奢侈品鉴定模型训练方法、奢侈品鉴定方法及其装置

Country Status (1)

Country Link
CN (1) CN117392684B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520196A (zh) * 2018-02-01 2018-09-11 平安科技（深圳）有限公司 奢侈品辨别方法、电子装置及存储介质
CN112651410A (zh) * 2019-09-25 2021-04-13 图灵深视(南京)科技有限公司 用于鉴别的模型的训练、鉴别方法、系统、设备及介质
CN116433925A (zh) * 2023-04-18 2023-07-14 同济大学 一种基于深度学习的箱包鉴定方法、系统及存储介质
CN116863218A (zh) * 2023-07-03 2023-10-10 西安建筑科技大学 一种基于关键鉴定部位的商品真伪鉴定方法及系统
CN116935140A (zh) * 2023-08-04 2023-10-24 北京邮电大学 基于油墨的奢侈品鉴定模型训练方法、鉴定方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520196A (zh) * 2018-02-01 2018-09-11 平安科技（深圳）有限公司 奢侈品辨别方法、电子装置及存储介质
CN112651410A (zh) * 2019-09-25 2021-04-13 图灵深视(南京)科技有限公司 用于鉴别的模型的训练、鉴别方法、系统、设备及介质
CN116433925A (zh) * 2023-04-18 2023-07-14 同济大学 一种基于深度学习的箱包鉴定方法、系统及存储介质
CN116863218A (zh) * 2023-07-03 2023-10-10 西安建筑科技大学 一种基于关键鉴定部位的商品真伪鉴定方法及系统
CN116935140A (zh) * 2023-08-04 2023-10-24 北京邮电大学 基于油墨的奢侈品鉴定模型训练方法、鉴定方法及装置

Also Published As

Publication number Publication date
CN117392684A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
Yang et al. Constrained R-CNN: A general image manipulation detection model
CN109815976A (zh) 一种证件信息识别方法、装置及设备
Türkyılmaz et al. License plate recognition system using artificial neural networks
CN108681735A (zh) 基于卷积神经网络深度学习模型的光学字符识别方法
CN116664961B (zh) 基于信码的防伪标签智能识别方法及系统
CN108875727B (zh) 图文标识的检测方法及装置、存储介质、处理器
CN114821198B (zh) 基于自监督和小样本学习的跨域高光谱图像分类方法
CN118135641B (zh) 基于局部伪造区域检测的人脸伪造检测方法
CN108268641A (zh) 发票信息识别方法及发票信息识别装置、设备和存储介质
CN112381086A (zh) 一种结构化输出图像文字识别结果的方法及装置
CN114882599A (zh) 基于双分支神经网络的离线手写签名分割系统和方法
Gautam Indian currency detection using image recognition technique
CN117558011B (zh) 基于自一致性矩阵和多尺度损失的图像文本篡改检测方法
CN113537173A (zh) 一种基于面部补丁映射的人脸图像真伪识别方法
Chen et al. Page segmentation for historical handwritten document images using conditional random fields
CN117392684B (zh) 奢侈品鉴定模型训练方法、奢侈品鉴定方法及其装置
Abad et al. SoK: A Systematic Evaluation of Backdoor Trigger Characteristics in Image Classification
Li et al. Image Forgery Detection Using Tamper‐Guided Dual Self‐Attention Network with Multiresolution Hybrid Feature
Zhang et al. Learning spatial-context-aware global visual feature representation for instance image retrieval
CN112070116A (zh) 一种基于支持向量机的艺术画作自动分类系统及方法
CN115100128A (zh) 一种基于伪影噪声的深度伪造检测方法
Alzamil Image Forgery Detection with Machine Learning
Aminu et al. General Purpose Image Tampering Detection Using Convolutional Neural Network and Local Optimal Oriented Pattern (LOOP)
Aminu et al. Detection of image manipulation with convolutional neural network and local feature descriptors
CN117611883B (zh) 一种基于本质因果推理的细粒度分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant