CN112699726A - 图像增强方法、真伪商品鉴别方法及设备 - Google Patents

图像增强方法、真伪商品鉴别方法及设备 Download PDF

Info

Publication number
CN112699726A
CN112699726A CN202011251301.3A CN202011251301A CN112699726A CN 112699726 A CN112699726 A CN 112699726A CN 202011251301 A CN202011251301 A CN 202011251301A CN 112699726 A CN112699726 A CN 112699726A
Authority
CN
China
Prior art keywords
image
biased
computer program
data set
enhancement method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011251301.3A
Other languages
English (en)
Other versions
CN112699726B (zh
Inventor
曹娟
高科
李蕾
夏博洋
谢添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zhongke Ruijian Technology Co ltd
Institute Of Digital Economy Industry Institute Of Computing Technology Chinese Academy Of Sciences
Original Assignee
Hangzhou Zhongke Ruijian Technology Co ltd
Institute Of Digital Economy Industry Institute Of Computing Technology Chinese Academy Of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhongke Ruijian Technology Co ltd, Institute Of Digital Economy Industry Institute Of Computing Technology Chinese Academy Of Sciences filed Critical Hangzhou Zhongke Ruijian Technology Co ltd
Priority to CN202011251301.3A priority Critical patent/CN112699726B/zh
Publication of CN112699726A publication Critical patent/CN112699726A/zh
Application granted granted Critical
Publication of CN112699726B publication Critical patent/CN112699726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图像增强方法、真伪商品鉴别方法及设备。本发明的目的是提供一种图像增强方法、真伪商品鉴别方法及设备，以避免数据集有偏导致分类模型过拟合到无关因子。本发明的技术方案是：一种图像增强方法，其特征在于：S01、对于具体的图像分类任务分析其中分类无关的有偏因子，控制有偏因子对应的属性为唯一变量，摄取图像作为源域数据集；S02、通过GAN网络结构训练有偏因子对应属性迁移模型，学习一个生成器G，x’＝G(x,a)；S03、在目标数据集上，应用经训练的生成器G扩充样本，对于目标数据集上的每一个样本，通过遍历有偏因子对应属性所有的取值a，得到无偏的生成样本。本发明适用于计算机视觉领域。

Description

图像增强方法、真伪商品鉴别方法及设备
技术领域
本发明涉及一种图像增强方法、真伪商品鉴别方法及设备。适用于计算机视觉领域。
背景技术
当前大多数的赝品商品检测方案都是主动式，这类技术一般是在商品制造过程中，在原始商品上嵌入额外的内容，比如条形码、防伪油墨、防伪标签等等。这类技术往往成本昂贵，并且防伪作用有限。
目前，在深度学习之父LeCun的支持下，Entrupy公司提出一种基于图像进行包包真假鉴定的方法，然而该方法需要配备专用的显微镜头来拍摄图像，并且需要在特定外界光照条件下采集数以百万计的图像来训练模型，这些条件限制了他们的方法在日常应用中的可行性。
在当前海量带标签数据集(比如图像分类数据集Imagenet)的支持下，深度学习在图像分类领域取得了巨大突破，然而对海量样本的依赖也限制了深度学习技术在有限样本数据集分类任务上的进一步突破，于是数据增强技术被提出以提升有限样本数据的利用率。传统的数据增强方法主要包括旋转、平移、随机颜色、Mixup等手段来扩增样本，可以在一定程度上对模型进行正则，减小过拟合风险。
现有主流的深度分类模型的性能都依赖于海量无偏的训练数据，当现实场景无法提供大量无偏的训练样本时，深度学习容易过拟合到分类无关的有偏属性上，而现有的数据增强技术并不能解决由于数据集有偏导致模型过拟合的问题。
发明内容
本发明要解决的技术问题是：针对上述存在的问题，提供一种图像增强方法、真伪商品鉴别方法及设备，以避免数据集有偏导致分类模型过拟合到无关因子。
本发明所采用的技术方案是：一种图像增强方法，其特征在于：
S01、对于具体的图像分类任务分析其中分类无关的有偏因子，控制有偏因子对应的属性为唯一变量，摄取图像作为源域数据集；
S02、通过GAN网络结构训练有偏因子对应属性迁移模型，学习一个生成器G，x’＝G(x,a)；
其中x表示输入图像，取至源域数据集；a表示目标属性，为有偏因子对应属性；x’表示生成的图像，图像x’和x有相同的语义内容，x’的属性风格由a指定；
生成器G在训练过程中，约束生成图像x’真实，约束生成图像x’具有a指定的属性；
S03、在目标数据集上，应用经训练的生成器G扩充样本，对于目标数据集上的每一个样本，通过遍历有偏因子对应属性所有的取值a，得到无偏的生成样本。
步骤S02包括：
计算图像x和x’之间的细节保持得分s；
在生成器G在训练过程中约束生成图像x’保持x中的高频细节成分。
采用细节保持模块计算图像x和x’之间的细节保持得分s；
所述细节保持模块包含一个不可学习的卷积层，卷积核为laplacian滤波核，Laplacian核对x和x’滤波之后得到对应的高频分量，统计高频分量的距离计算得到s。
一种存储介质，其上存储有可被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述图像增强方法的步骤。
一种真伪商品鉴别方法，其特征在于：具有通过所述图像增强方法得到的无偏生成样本训练而成的分类器。
一种存储介质，其上存储有可被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述真伪商品鉴别方法的步骤。
一种真伪商品鉴别设备，具有处理器和存储器，存储器上存储有可被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述真伪商品鉴别方法的步骤。
还具有用于摄取待鉴别商品图像的摄像模块。
本发明的有益效果是：本发明基于图像生成技术对数据集中有偏的属性进行均匀无偏的样本生成，从而得到相对无偏的增强数据集，利用该增强数据集训练的模型能避免过拟合到有偏属性。
本发明通过局部细节保持模块比较生成器生成的图像和原始图像之间的、对于真假商品的鉴定更加重要微观细节，以确保生成的图像和原始图像的细节成分具有一定的相似度。
附图说明
图1为实施例的框图。
图2为实施例中的测试结果对比图。
图3为实施例中不同规模的训练数据集条件下的测试结果对比图。
具体实施方式
本实施例为一种真伪商品鉴别方法，具有用于商品真伪分类的分类器，该分类器经海量样本训练而成，海量样本通过基于生成对抗网络的真伪商品图像增强方法生成。
本例中基于生成对抗网络的真伪商品图像增强方法的具体步骤如下：
S01、对于具体的分类任务分析其中分类无关的有偏因子(无关因子)，控制控制无关因子对应的属性为唯一变量，拍摄图像作为源域数据集。
本实施例以LV棋盘格真假包包分类为例进行分析，光照条件是分类无关的无关因子，控制光照为唯一变量，拍摄图像作为源域数据集。
S02、通过GAN网络结构训练有偏因子对应属性迁移模型，学习一个生成器G，x’＝G(x,a)；
其中x表示输入图像，取至源域数据集；a表示目标属性，无关属性的取值标签(光照条件1、光照条件2…)；x’表示生成的图像，图像x’和x有相同的语义内容，x’的属性风格由a指定。
通过细节保持模块s＝E(x,x’)计算这两幅图像之间的细节保持得分，如果两个图像的细节成分越相似，这个得分越小。
细节保持模块包含一个不可学习的卷积层，卷积核为laplacian滤波核，Laplacian核对x和x’滤波之后得到对应的高频分量，直接统计高频分量的距离计算得到s。
生成器G在训练过程中，需要优化3个loss：1)约束生成图像x’真实；2)约束生成图像x’具有a指定的属性；3)约束生成图像x’保持x中的高频细节成分。
S03、在目标数据集(LV棋盘格真假分类)上，应用步骤S02训练的生成器G扩充更多的样本，对于目标数据集上的每一个样本，通过遍历无关属性所有的取值a，得到用于训练分类器的、无偏的生成样本。
本实施例提出了一种针对有限有偏数据集的无偏数据增强算法(CGUDA)，并在LV棋盘格真假包包识别数据集上进行了测试，同时与目前深度学习中主流的数据增强方法进行比较，结果如图2所示，本实施例在性能上超越了深度学习中主流的数据增强方法。如图3所示，在不同规模的训练数据集条件下，本实施例的数据增强方法都由于传统的数据增强方法。
本实施例还提供一种存储介质，其上存储有可被处理器执行的计算机程序，计算机程序被执行时实现本实施例基于生成对抗网络的真伪商品图像增强方法的步骤。
本实施例还提供一种存储介质，其上存储有可被处理器执行的计算机程序，计算机程序被执行时实现本实施例真伪商品鉴别方法的步骤。
本实施例还提供一种真伪商品鉴别设备，具有摄像模块、处理器和存储器，存储器上存储有可被处理器执行的计算机程序，计算机程序被执行时实现本实施例真伪商品鉴别方法的步骤，摄像模块用于摄取待鉴别商品图像。
本例中真伪商品鉴别设备可为智能手机，在鉴别商品真伪时，通过设备的摄像模块摄取待鉴别商品图像，用于真伪商品鉴别的计算机程序对待鉴别商品图像进行鉴别，输出真伪鉴别结果。

Claims (8)

1.一种图像增强方法，其特征在于：
S01、对于具体的图像分类任务分析其中分类无关的有偏因子，控制有偏因子对应的属性为唯一变量，摄取图像作为源域数据集；
S02、通过GAN网络结构训练有偏因子对应属性迁移模型，学习一个生成器G，x’＝G(x,a)；
其中x表示输入图像，取至源域数据集；a表示目标属性，为有偏因子对应属性；x’表示生成的图像，图像x’和x有相同的语义内容，x’的属性风格由a指定；
生成器G在训练过程中，约束生成图像x’真实，约束生成图像x’具有a指定的属性；
S03、在目标数据集上，应用经训练的生成器G扩充样本，对于目标数据集上的每一个样本，通过遍历有偏因子对应属性所有的取值a，得到无偏的生成样本。
2.根据权利要求1所述的图像增强方法，其特征在于，步骤S02包括：
计算图像x和x’之间的细节保持得分s；
在生成器G在训练过程中约束生成图像x’保持x中的高频细节成分。
3.根据权利要求2所述的图像增强方法，其特征在于：采用细节保持模块计算图像x和x’之间的细节保持得分s；
所述细节保持模块包含一个不可学习的卷积层，卷积核为laplacian滤波核，Laplacian核对x和x’滤波之后得到对应的高频分量，统计高频分量的距离计算得到s。
4.一种存储介质，其上存储有可被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现权利要求1或2或3所述图像增强方法的步骤。
5.一种真伪商品鉴别方法，其特征在于：具有通过权利要求1或2或3所述图像增强方法得到的无偏生成样本训练而成的分类器。
6.一种存储介质，其上存储有可被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现权利要求5所述真伪商品鉴别方法的步骤。
7.一种真伪商品鉴别设备，具有处理器和存储器，存储器上存储有可被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现权利要求5所述真伪商品鉴别方法的步骤。
8.根据权利要求7所述的真伪商品鉴别设备，其特征在于：还具有用于摄取待鉴别商品图像的摄像模块。
CN202011251301.3A 2020-11-11 2020-11-11 图像增强方法、真伪商品鉴别方法及设备 Active CN112699726B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011251301.3A CN112699726B (zh) 2020-11-11 2020-11-11 图像增强方法、真伪商品鉴别方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011251301.3A CN112699726B (zh) 2020-11-11 2020-11-11 图像增强方法、真伪商品鉴别方法及设备

Publications (2)

Publication Number Publication Date
CN112699726A true CN112699726A (zh) 2021-04-23
CN112699726B CN112699726B (zh) 2023-04-07

Family

ID=75505875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011251301.3A Active CN112699726B (zh) 2020-11-11 2020-11-11 图像增强方法、真伪商品鉴别方法及设备

Country Status (1)

Country Link
CN (1) CN112699726B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935140A (zh) * 2023-08-04 2023-10-24 北京邮电大学 基于油墨的奢侈品鉴定模型训练方法、鉴定方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543742A (zh) * 2018-11-16 2019-03-29 聚时科技(上海)有限公司 一种基于GAN和Self-Attention的图像局部信息迁移方法
CN109816048A (zh) * 2019-02-15 2019-05-28 聚时科技(上海)有限公司 一种基于属性迁移的图像合成方法
US20190197368A1 (en) * 2017-12-21 2019-06-27 International Business Machines Corporation Adapting a Generative Adversarial Network to New Data Sources for Image Classification
CN110263192A (zh) * 2019-06-06 2019-09-20 西安交通大学 一种基于条件生成对抗网络的磨粒形貌数据库创建方法
CN110363060A (zh) * 2019-04-04 2019-10-22 杭州电子科技大学 基于特征子空间生成对抗网络的小样本目标识别方法
WO2019221654A1 (en) * 2018-05-17 2019-11-21 Tobii Ab Autoencoding generative adversarial network for augmenting training data usable to train predictive models
CN110598759A (zh) * 2019-08-23 2019-12-20 天津大学 一种基于多模态融合的生成对抗网络的零样本分类方法
CN111260584A (zh) * 2020-01-17 2020-06-09 北京工业大学 基于gan网络的水下退化图像增强的方法
CN111276119A (zh) * 2020-01-17 2020-06-12 平安科技（深圳）有限公司 语音生成方法、系统和计算机设备
CN111539467A (zh) * 2020-04-17 2020-08-14 北京工业大学 基于生成对抗网络为医疗影像数据集做数据增广的gan网络架构及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190197368A1 (en) * 2017-12-21 2019-06-27 International Business Machines Corporation Adapting a Generative Adversarial Network to New Data Sources for Image Classification
WO2019221654A1 (en) * 2018-05-17 2019-11-21 Tobii Ab Autoencoding generative adversarial network for augmenting training data usable to train predictive models
CN109543742A (zh) * 2018-11-16 2019-03-29 聚时科技(上海)有限公司 一种基于GAN和Self-Attention的图像局部信息迁移方法
CN109816048A (zh) * 2019-02-15 2019-05-28 聚时科技(上海)有限公司 一种基于属性迁移的图像合成方法
CN110363060A (zh) * 2019-04-04 2019-10-22 杭州电子科技大学 基于特征子空间生成对抗网络的小样本目标识别方法
CN110263192A (zh) * 2019-06-06 2019-09-20 西安交通大学 一种基于条件生成对抗网络的磨粒形貌数据库创建方法
CN110598759A (zh) * 2019-08-23 2019-12-20 天津大学 一种基于多模态融合的生成对抗网络的零样本分类方法
CN111260584A (zh) * 2020-01-17 2020-06-09 北京工业大学 基于gan网络的水下退化图像增强的方法
CN111276119A (zh) * 2020-01-17 2020-06-12 平安科技（深圳）有限公司 语音生成方法、系统和计算机设备
CN111539467A (zh) * 2020-04-17 2020-08-14 北京工业大学 基于生成对抗网络为医疗影像数据集做数据增广的gan网络架构及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JUAN CAO等: "Exploring the Role of Visual Content in Fake News Detection", 《ARXIV》 *
SONGYAO JIANG等: "Segmentation Guided Image-to-Image Translation with Adversarial Networks", 《ARXIV》 *
TAEKSOO KIM等: "Unsupervised Visual Attribute Transfer with Reconfigurable Generative Adversarial Networks", 《ARXIV》 *
尤鸣宇等: "基于样本扩充的小样本车牌识别", 《南京师大学报( 自然科学版)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935140A (zh) * 2023-08-04 2023-10-24 北京邮电大学 基于油墨的奢侈品鉴定模型训练方法、鉴定方法及装置
CN116935140B (zh) * 2023-08-04 2024-04-16 北京邮电大学 基于油墨的奢侈品鉴定模型训练方法、鉴定方法及装置

Also Published As

Publication number Publication date
CN112699726B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Mahmood et al. Copy‐move forgery detection technique for forensic analysis in digital images
Goel et al. Dual branch convolutional neural network for copy move forgery detection
Sun et al. A face spoofing detection method based on domain adaptation and lossless size adaptation
Cozzolino et al. Towards universal gan image detection
Agarwal et al. Deepfake detection using svm
Zhang et al. Face spoofing video detection using spatio-temporal statistical binary pattern
CN112699726B (zh) 图像增强方法、真伪商品鉴别方法及设备
Simanjuntak et al. Face spoofing detection using color distortion features and principal component analysis
Le et al. Exploring the asynchronous of the frequency spectra of gan-generated facial images
Gani et al. A novel method for digital image copy-move forgery detection and localization using evolving cellular automata and local binary patterns
Xu et al. Facial depth forgery detection based on image gradient
Pandey et al. Detecting and localizing copy-move and image-splicing forgery
Zainal Recognition of Copy Move Forgeries in Digital Images using Hybrid Optimization and Convolutional Neural Network Algorithm
Li et al. A novel iris texture extraction scheme for iris presentation attack detection
Rana et al. Use of image enhancement techniques for improving real time face recognition efficiency on wearable gadgets
CN115100128A (zh) 一种基于伪影噪声的深度伪造检测方法
Prabakar et al. Hybrid deep learning model for copy move image forgery detection
Rusia et al. A Color-Texture-Based Deep Neural Network Technique to Detect Face Spoofing Attacks
Raswa et al. Fingerprint liveness detection using denoised-bayes shrink wavelet and aggregated local spatial and frequency features
Nandre et al. Comparative Analysis of Transfer Learning CNN for Face Recognition
Lalli et al. Detecting Copy Move Image Forgery using a Deep Learning Model: A Review
Shukla et al. A survey on digital image forensic methods based on blind forgery detection
Diwan et al. CNN-Keypoint Based Two-Stage Hybrid Approach for Copy-Move Forgery Detection
Chougala et al. A REVIEW ON COPY MOVE FORGERY DETECTION IN DOCUMENT IMAGES
Una et al. Classification technique for face-spoof detection in artificial neural networks using concepts of machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant