CN116229205A - 基于小样本特征迁移的口红产品表面缺陷数据增广方法 - Google Patents

基于小样本特征迁移的口红产品表面缺陷数据增广方法 Download PDF

Info

Publication number
CN116229205A
CN116229205A CN202310071828.5A CN202310071828A CN116229205A CN 116229205 A CN116229205 A CN 116229205A CN 202310071828 A CN202310071828 A CN 202310071828A CN 116229205 A CN116229205 A CN 116229205A
Authority
CN
China
Prior art keywords
defect
lipstick
image
paste
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310071828.5A
Other languages
English (en)
Inventor
黄鹏
王海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Keming Technology Co ltd
Original Assignee
Shanghai Keming Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Keming Technology Co ltd filed Critical Shanghai Keming Technology Co ltd
Priority to CN202310071828.5A priority Critical patent/CN116229205A/zh
Publication of CN116229205A publication Critical patent/CN116229205A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于小样本特征迁移的口红产品表面缺陷数据增广方法，包括以下步骤：将原始口红图像和标注的原始缺陷区域作为原始训练集分别输入膏体图像预处理模块和缺陷纹理合成模块中；对原始口红图像灰度化处理，并划分感兴趣区域；对纹理特征进行特征变换，生成增广缺陷纹理；将增广缺陷特征迁移至其他膏体图像的特定位置；根据原始训练集的规模及样本类别数量，自适应地对罕见不均衡样本进行缺陷合成与迁移，生成增广缺陷口红图像。本发明方法提升了缺陷样本的规模，平衡了各类别缺陷区域的数量，扩展了不同膏体间缺陷特征的分布，并实现了自适应的增广缺陷数据集生成，为口红生产实践提供了有效的自动化标注数据增广方案。

Description

基于小样本特征迁移的口红产品表面缺陷数据增广方法
方法领域
本发明属于图像处理方法领域，特别涉及基于小样本特征迁移的口红产品表面缺陷数据增广方法。
背景方法
表面缺陷检测是口红产品质量检测的重要环节之一。在口红产品的生产中，需要检测产品是否含有明显的外观瑕疵，如刮擦、划痕、孔洞等。传统口红产品表面缺陷检测采用人工目视的方法。然而，人工检测往往存在检测效率低、检测成本高、存在误检漏检、难以统一标准等诸多问题。随着计算机视觉相关方法的发展，基于数字图像处理的机器视觉检测方法能够有效克服人工检测抽检率低、成本高、实时性差的缺点。但由于表面缺陷种类繁多，被检测对象类型多样，机器视觉方法往往存在缺陷特征描述不充分、缺陷目标难以分割的问题。近年来，基于卷积神经网络的深度学习方法在计算机视觉领域不断取得突破。此类方法利用卷积核描述图像的潜在特征，通过多层网络间的参数传递不断强化图像的相关特征因素，提取高级特征，进而实现对原始图像的抽象表达与分类，具有更高的检测准确性和检测效率。
面向工业生产实践，现有的基于计算机视觉的缺陷检测解决方案通常采用传统数字图像方法进行特征预处理，并通过监督学习训练检测模型。此类方法依赖于预先经质检员人工标注的大量缺陷图像作为训练样本，因此，标注样本的规模、质量以及缺陷多样性都将直接影响检测算法的性能。具体的，现有解决方案存在以下方面的问题：
(1)高质量缺陷样本标注数据的规模有限。缺陷样品的标注依赖于质检专家的专业领域知识，由于高质量缺陷区域标注需要较高的时间和人工成本，口红产品生产实践中往往难以为各个产线收集大量可用的标注数据，进而限制了缺陷算法检测模型的性能；
(2)在生产实践中，缺陷次品率相对较低且不同种类缺陷的出现概率有所差异，因此会导致不同类别缺陷样本不均衡的问题，影响算法模型的训练；
(3)为了扩增并平衡不同类别的样本数量，常采用数据增强的手段扩增数据集规模，但常规的数据增强方法仅对原始图像单独施加图像特征变换，因此难以在小样本数据集上扩充样本特征的分布。同时，增强策略往往需要有经验的算法工程师通过实验制定，当训练集样本分布较为复杂或更换产品数据时需要重新设计增强策略。
现有方法公开了一种基于数据增强的水下电缆视觉检测方法。该方法通过训练生成对抗网络以生成接近真实数据的伪图像，建立深度学习水下电缆数据集并用于水下电缆的目标识别。此类方法需要一定规模的缺陷数据训练生成对抗网络，不适用于原始缺陷样本数较少的场景。现有方法还公开了一种基于非局部均值滤波的图像增强方法，用于扩增工业纺织品纹理图像数据。该方法能够较好地增强结构化纹理的图像特征，但不适用于非结构化的离散形态缺陷。
中国专利(申请号：CN202210285578.0)公开了一种金属工业产品表面缺陷数据增强方法。该方法利用泊松图像拼接算法实现材质纹理的自适应迁移，进而解决罕见缺陷类别在训练集中出现次数较少的问题。该方法能够合成与源纹理具有较高视觉一致性的相似纹理，在纹理特征水平提出了针对样本数量不足的解决方案，但仍然缺少针对非连续纹理缺陷样本的数据集扩增与类别平衡策略。
发明内容
针对上述现有方法存在的问题，本发明的目的在于提供了一种基于小样本特征迁移的口红表面缺陷数据增广方法，以用于自适应地生成海量规模增广缺陷口红图像。
为了实现上述目的，本发明采用了以下方法方案：
本发明的第一方面提供了基于小样本特征迁移的口红表面缺陷数据增广系统，包括：膏体图像预处理模块、缺陷纹理合成模块、缺陷特征迁移模块以及自适应数据集增广模块，其中，所述膏体图像预处理模块的输入端输入作为原始训练集的口红图像，所述膏体图像预处理模块和缺陷纹理合成模块的输出端均与缺陷特征迁移模块的输入端连接，由所述缺陷特征迁移模块的输出端输出作为增广训练集的增广口红图像，由所述自适应数据集增广模块的输入端输入作为原始训练集的口红图像和缺陷区域，所述自适应数据集增广模块的输出端输出增广缺陷区域和增广口红图像；其中，
所述膏体图像预处理模块，用于对原始口红图像进行图像灰度化处理，并划分膏体不同结构的感兴趣区域；
所述缺陷纹理合成模块，用于从灰度特征和几何特征两个角度变换原始缺陷区域的纹理特征，并生成全新的缺陷纹理，即得到增广缺陷纹理；
所述缺陷特征迁移模块，用于通过识别膏体轮廓关键点定位图像的空间关联位置，并将增广缺陷特征迁移至其他膏体图像的特定位置，输出增广缺陷口红图像；
所述自适应数据集增广模块，用于根据输入的原始训练集的规模以及样本类别数量，通过计算统计学分布调整各个样本的分布权重，从而自适应地对罕见不均衡样本进行缺陷合成与迁移，生成增广缺陷口红图像。
优选地，所述膏体图像预处理模块包括：灰度化单元、前景阈值分割单元和膏体分割单元；其中，所述灰度化单元用于对原始口红图像进行灰度化处理，将原始口红的彩色图像转换为灰度图像；所述前景阈值分割单元用于设置前景分割阈值范围参数，并将该范围内的前景像素分割为口红膏体前景区域，进一步计算前景连通域，对孤立的非最大连通域予以剔除，以消除背景中的额外光照；所述膏体分割单元用于将获得的口红膏体区域划分感兴趣区域，即为脸部、膏身和底座。
优选地，所述缺陷纹理合成模块包括：特征变换单元和纹理合成单元，其中，所述特征变换单元用于对缺陷标记掩码内的像素进行灰度特征变换和几何特征变换，生成纹理特征相似而结构形态不同的缺陷区域图像；所述纹理合成单元，用于组合缺陷图像样本的局部结构化纹理，并生成新缺陷区域，从而将不同类别的结构化纹理特征组合为不同规模的新纹理缺陷图像。
优选地，所述缺陷特征迁移模块包括：关键点识别单元、多尺寸特征迁移单元和平滑后处理单元；其中，所述关键点识别单元用于定位单支膏体图像中的若干处轮廓点位坐标，为不同尺寸的口红产品提供相对位置度量，便于在特定目标位置生成缺陷纹理；所述多尺寸特征迁移单元用于将源缺陷纹理添加至目标图像的指定范围内的区域；所述平滑后处理单元用于通过灰度重映射实现边缘非目标区域的模糊处理，实现目标增广图像缺陷区域的全局平滑过渡；
所述自适应数据集增广模块包括：缺陷特征向量化单元、自适应缺陷增广单元以及自适应缺陷迁移单元；其中，所述缺陷特征向量化单元用于分析原始口红标注数据集的类别分布特点，并将与缺陷纹理合成相关的特征参数向量化，实现对缺陷图像变换规则的特征化表示；所述自适应缺陷增广单元用于基于数据集分析的结果在N维特征空间中均衡地生成增广样本；所述自适应缺陷迁移单元用于计算增广口红图像目标样本数，并将各类别的增广缺陷纹理迁移至不同的样本个体。
本发明的第二方面提供了利用上述系统进行的基于小样本特征迁移的口红表面缺陷数据增广方法，包括以下步骤：
S1、将原始口红图像和(人工标注)的原始缺陷区域作为原始训练集分别输入膏体图像预处理模块和缺陷纹理合成模块中；
S2、膏体图像预处理模块对原始口红图像进行灰度化处理，并划分原始口红图像中不同膏体结构的感兴趣区域；
S3、缺陷纹理合成模块对(人工标注)的原始缺陷区域的纹理特征进行灰度特征变换和几何特征变换，然后通过纹理合成方法生成全新的缺陷纹理，即增广缺陷纹理；
S4、缺陷特征迁移模块通过识别膏体轮廓关键点定位图像的空间关联位置，并将增广缺陷特征迁移至其他膏体图像的特定位置，从而生成增广缺陷口红图像；
S5、自适应数据集增广模块根据训练集规模以及样本类别数量，通过计算统计学分布调整各个样本的分布权重，自适应地对罕见不均衡样本进行缺陷合成与迁移，生成增广缺陷口红图像。
优选地，步骤S2中，所述膏体图像预处理模块对原始口红图像进行灰度化处理，并划分原始口红图像中不同膏体结构的感兴趣区域，具体步骤为：
S21、灰度化处理单元对原始口红图像进行灰度化处理，将原始口红的彩色图像转换为灰度图像，并对口红膏体区域进行定位，根据暗光环境下前景区域和背景区域的灰度差异，计算原始图像的灰度直方图，其中具有较高像素数的灰度范围设置为前景像素；
S22、前景阈值分割单元设置前景分割阈值范围参数，并将该范围内的前景像素分割为口红膏体前景区域，进一步计算前景连通域，对孤立的非最大连通域予以剔除，以消除背景中的额外光照；
S33、膏体分割单元将得到的口红膏体前景区域进一步划分为脸部感兴趣区域、膏身感兴趣区域和底座感兴趣区域。
优选地，步骤S23中，所述膏体分割单元将得到的口红膏体前景区域进一步划分为脸部感兴趣区域、膏身感兴趣区域和底座感兴趣区域，具体步骤为：
S231、对于口红前景膏体区域，膏体分割单元先分割出口红底座，并通过节点间的边值描述口红膏体前景区域中的每个像素点均被视为网络流中的节点，像素点与像素点间、像素点与前景或背景的相似程度；
S232、针对底座目标区域和背景区域分别建立高斯混合模型并分类标记，膏体分割单元通过多次迭代更新高斯混合模型的参数，计算Gibbs能量函数最小值，最终通过结果参数完成对底座区域的分割；
S233、膏体分割单元通过漫水填充法寻找脸部区域，根据经验判定种子点邻域的灰度像素差值，具体见下式所示，进行迭代更新：
t1＜Ineighbor-Iseed＜t2
其中，Ineighbor表示邻域像素灰度值，Iseed表示种子点像素灰度值，t1、t2分别为上下阈值；若种子点邻域像素与种子点的灰度差值在阈值范围内，则将其加入连通区域；然后将更新后的连通区域的边界点作为新的种子点，重复这一过程直到连通区域不再增长，即得到由原始种子点生成的最终连通区域，对填充得到的结果进行一次额外的形态学闭合操作，即得到完整的口红脸部区域对应的掩码图像。
优选地，步骤S3中，所述缺陷纹理合成模块对(人工)标注的原始缺陷区域的纹理特征进行灰度特征变换和几何特征变换，然后通过纹理合成方法生成全新的缺陷纹理，具体步骤为：
S31、特征变换单元对原始缺陷标记掩码内的像素进行灰度特征变换和几何特征变换，生成纹理特征相似而结构形态不同的缺陷区域图像；其中，所述灰度特征变换包括：对数变换、指数变换、伽马变换和直方图均衡化变换；所述几何特征变换包括：旋转变换、翻转变换、缩放变换和透视变换；
S32、纹理合成单元组合缺陷区域图像的局部结构化纹理，并生成一定规模的新缺陷区域，从而将不同类别的结构化纹理特征组合为不同规模的新纹理缺陷图像。
优选地，步骤S4中，所述缺陷特征迁移模块通过识别膏体轮廓关键点定位图像的空间关联位置，并将增广缺陷特征迁移至其他膏体图像的特定位置，从而生成增广缺陷口红图像，具体步骤为：
S41、关键点识别单元识别膏体区域的轮廓关键点，并定位单支膏体图像中的若干处轮廓点位坐标，为不同尺寸的口红产品提供相对位置度量，从而在目标图像的特定目标位置生成缺陷纹理；
S42、多尺寸特征迁移单元将增广缺陷特征添加至目标图像的指定范围内的区域，输出增广缺陷口红图像；
所述增广缺陷特征包括非连续性纹理、局部连续纹理和多尺度缺陷纹理；对于非连续性纹理，所述多尺寸特征迁移单元直接在目标区域叠加经特征变换后的纹理缺陷特征：记源缺陷纹理特征为R，候选目标迁移区域为T，所述纹理缺陷特征的叠加过程表示为：
Figure BDA0004073591520000061
对于局部连续纹理，所述多尺寸特征迁移单元对源缺陷纹理施加金字塔尺度放缩并多次重复不同尺度特征的迁移过程，通过最小化当前尺度的源缺陷纹理和当前已迁移目标区域的相似性测度以及一致性测度来迭代计算最优迁移策略；所述多尺度特征迁移单元在每一次多尺度迁移过程中采用以下总测度评价特征迁移的质量：
L＝λLs+(1-λ)Lc
其中，λ为权重参数；
对于多尺度缺陷纹理，所述多尺寸特征迁移单元迭代计算不同迁移位置处的总测度直到其低于预设阈值参数，即在该位置进行纹理特征值的叠加，直至处理完毕所有尺度的缺陷纹理，输出叠加了多尺度缺陷纹理的目标口红图像。
S43、平滑后处理单元通过灰度重映射对边缘非目标区域模糊处理，实现目标增广图像缺陷区域的全局平滑过渡。
优选地，步骤S5中，步骤S5中，所述自适应数据集增广模块根据原始训练集的规模以及样本类别数量，通过计算统计学分布调整各个样本的分布权重，自适应地对罕见不均衡样本进行缺陷合成与迁移，生成增广缺陷口红图像，具体步骤为：
S51、缺陷特征向量化单元分析由口红图像和缺陷区域标注构成的原始数据集的类别分布特点，并统计每一个缺陷区域的变换特征并组合为N维分布特征归一化向量；
S52、自适应缺陷增广单元基于数据集分析的结果在N维特征空间中均衡地生成增广样本；
S53、自适应缺陷迁移单元计算增广口红图像目标样本数，并将各类别的增广缺陷纹理迁移至不同的样本个体，生成与原始训练集样本具有相同类别分布的增广缺陷口红图像。
优选地，所述自适应缺陷增广单元基于数据集分析的结果在N维特征空间中均衡地生成增广样本，具体步骤为：记Dt包含的缺陷类别数为k，统计第i个类别缺陷区域的总数量为ni，所述自适应缺陷增广单元首先计算其类别不均衡度：
Figure BDA0004073591520000071
若εi小于设定的阈值参数ε，则该类别缺陷区域需要被扩增，扩增的数量Δi计算为：
Figure BDA0004073591520000072
其中，α∈[0,1]为权重因子，其取值越高，类别比重越均衡；在N维空间内，计算每一个缺陷区域B的特征归一化向量υ(B)的K个最近邻向量，统计这些向量中不均衡度大于阈值参数ε的数目eB，则该缺陷区域对应的均衡密度为：
Figure BDA0004073591520000073
然后，所述自适应缺陷增广单元计算各个类别的平均均衡密度。对于第i个类别，其所有缺陷区域的平均均衡密度ρi计算为：
Figure BDA0004073591520000081
均摊至每个缺陷区域，其需要扩增的样本数为：
ΔB＝ρiΔi，B∈Yi
至此，自适应缺陷增广单元确定了每个缺陷区域需要被扩增的数量，通过计算其t个最近邻同类别缺陷区域的特征归一化向量，即可通过计算向量平均差分生成增广缺陷特征对应的归一化向量：
Figure BDA0004073591520000082
根据得到的增广缺陷特征对应的归一化向量，自适应地生成近似于向量特征值的缺陷区域。
本发明具备如下有益效果：
(1)本发明中，为了提升口红缺陷标注图像的规模，首先通过纹理特征变换以及纹理特征合成对小样本口红图像进行数据增广，将有限的缺陷区域扩充为不同形态、不同规模的增广缺陷纹理。为了进一步生成(可用于监督训练的)增广数据集，本发明通过图像特征迁移将增广纹理合成至无缺陷的膏体，形成人工合成的增广缺陷样本。同时，针对不同规模的原始数据集，本发明提出了自适应数据集增广方法，通过分析缺陷样本的统计学分布特点自适应地计算样本增广策略，以降低类别不均衡导致的数据分布偏差，提升各类样本的特征表达能力。
(2)本发明中，针对口红表面缺陷图像的数据增广，在对缺陷区域进行图像特征变换的基础上，通过纹理合成方法生成全新的缺陷特征，并利用特征迁移方法将不同的缺陷特征迁移到不同的口红膏体，实现具有不同形态缺陷的口红样本图像增广，提升数据集特征分布范围，增强算法模型训练过程的泛化能力。同时，针对数据集样本类别而不平衡且规模差异大的问题，本发明提出了自适应数据增广方法，通过分析现有数据集中的样本类别分布自动生成样本增强策略，实现数据集缺陷特征分布的平衡，降低数据增强调参难度，最大程度提升增强数据的效用。
(3)本发明方法提升了缺陷样本的规模，平衡了各类别缺陷区域的数量，扩展了不同膏体间缺陷特征的分布，并实现了自适应的增广缺陷数据集生成，为口红生产实践提供了有效的自动化标注数据增广方案，提升缺陷检测算法对标注数据的利用能力。
附图说明
为了更清楚地说明本发明实施例中的方法方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通方法人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于小样本特征迁移的口红表面缺陷数据增广方法的流程图；
图2为本发明提供的一种基于小样本特征迁移的口红表面缺陷数据增广平台的结构框架图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、方法之类的具体细节，以便透彻理解本发明实施例。然而，本领域的方法人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。
实施例1
本实施例提供了基于小样本特征迁移的口红表面缺陷数据增广系统，包括膏体图像预处理模块、缺陷纹理合成模块、缺陷特征迁移模块以及自适应数据集增广模块，膏体图像预处理模块的输入端输入作为原始训练集的口红图像，膏体图像预处理模块和缺陷纹理合成模块的输出端均与缺陷特征迁移模块的输入端连接，由缺陷特征迁移模块的输出端输出作为增广训练集的增广口红图像，由自适应数据集增广模块的输入端输入原始缺陷区域，自适应数据集增广模块的输出端输出作为增广训练集的增广缺陷口红图像；其中，
膏体图像预处理模块，用于对原始口红图像进行图像灰度化处理，并划分膏体不同结构的感兴趣区域；膏体图像预处理模块包括灰度化单元、前景阈值分割单元和膏体分割单元；其中，灰度化单元用于对原始口红图像进行灰度化处理，将原始口红的彩色图像转换为灰度图像；前景阈值分割单元用于设置前景分割阈值范围参数，并将该范围内的前景像素分割为口红膏体前景区域，进一步计算前景连通域，对孤立的非最大连通域予以剔除，以消除背景中的额外光照；膏体分割单元用于将获得的口红膏体区域划分感兴趣区域，即为脸部、膏身和底座。
缺陷纹理合成模块，用于从灰度特征和几何特征两个角度变换原始缺陷区域的纹理特征，并生成全新的缺陷纹理，即得到增广缺陷纹理；缺陷纹理合成模块包括：特征变换单元和纹理合成单元，其中，特征变换单元用于对原始缺陷标记掩码内的像素进行多种可配置的灰度特征变换和几何特征变换，生成纹理特征相似而结构形态不同的缺陷区域图像。
缺陷特征迁移模块，用于通过识别膏体轮廓关键点定位图像的空间关联位置，并将增广缺陷特征迁移至其他膏体图像的特定位置，输出增广缺陷口红图像；缺陷特征迁移模块包括：关键点识别单元、多尺寸特征迁移单元和平滑后处理单元；其中，关键点识别单元用于定位单支膏体图像中的若干处轮廓点位坐标，为不同尺寸的口红产品提供相对位置度量，便于在特定目标位置生成缺陷纹理；多尺寸特征迁移单元用于将源缺陷纹理添加至目标图像的指定范围内的区域；平滑后处理单元用于通过灰度重映射实现边缘非目标区域的模糊处理，实现目标增广图像缺陷区域的全局平滑过渡。
自适应数据集增广模块，用于根据输入的原始训练集的规模以及样本类别数量，通过计算统计学分布调整各个样本的分布权重，从而自适应地对罕见不均衡样本进行缺陷合成与迁移，生成增广缺陷口红图像。自适应数据集增广模块包括：缺陷特征向量化单元、自适应缺陷增广单元以及自适应缺陷迁移单元；其中，缺陷特征向量化单元用于分析原始口红标注数据集的类别分布特点，并将与缺陷纹理合成相关的特征参数向量化，实现对缺陷图像变换规则的特征化表示；自适应缺陷增广单元用于基于数据集分析的结果在N维特征空间中均衡地生成增广样本；自适应缺陷迁移单元用于计算增广口红图像目标样本数，并将各类别的增广缺陷纹理迁移至不同的样本个体。
实施例2
参照图1，本实施例提供了一种利用上述系统进行的基于小样本特征迁移的口红表面缺陷数据增广方法，包括以下步骤：
S1、将原始口红图像和(人工)标注的原始缺陷区域作为原始训练集分别输入膏体图像预处理模块和缺陷纹理合成模块中；
S2、膏体图像预处理模块对原始口红图像进行灰度化处理，并划分原始口红图像中不同膏体结构的感兴趣区域；具体地，包括以下步骤：
S11、灰度化处理单元对原始口红图像进行灰度化处理，将原始口红的彩色图像转换为灰度图像，并对口红膏体区域进行定位，根据暗光环境下前景区域和背景区域的灰度差异，计算原始图像的灰度直方图，其中具有较高像素数的灰度范围设置为前景像素；
由于来自成像设备的口红图像为三通道彩色图像，为了降低运算复杂度同时保留原始图像的空间特征信息，由于原始口红图像为三通道彩色图像，为了降低运算复杂度同时保留原始图像的空间特征信息，所述图像灰度化单元采用以下加权公式(1)计算图像灰度值：
I＝0.072169B(I0)+0.715160G(I0)+0.212671R(I0) (1)
其中，I0表示原始输入图像，B、G、R分别表示输入图像的蓝色、绿色、红色的通道分量，I表示转换后的灰度图像。
S12、前景阈值分割单元设置前景分割阈值范围参数，并将该范围内的前景像素分割为口红膏体前景区域，进一步计算前景连通域，对孤立的非最大连通域予以剔除，以消除背景中的额外光照；
受成像系统中的载物台底座旋转的影响，采集到的原始图像中口红膏体所在的位置并不固定，因此，前景阈值分割单元随后对口红膏体区域进行定位。根据暗光环境下前景区域和背景区域的灰度差异，计算原始图像的灰度直方图，其中具有较高像素数的灰度范围即为前景像素。因此，设置前景分割阈值范围参数，并将此范围内的灰度像素将被分割为口红膏体前景，为了进一步消除部分背景光照的影响，图像标准化单元进一步计算前景连通域，对孤立的非最大连通域予以剔除。
S13、膏体分割单元将得到的口红膏体前景区域进一步划分为脸部感兴趣区域、膏身感兴趣区域和底座感兴趣区域。
由于底座和脸部截面的存在，口红样品中的不同区域间的纹理表现略有差异。为了尽可能减小这种差异对特征提取算法的影响，膏体分割单元将口红膏体前景区域进一步划分为脸部、膏身和底座等感兴趣区域，以便于后续处理步骤对不同部位选用不同的处理算法。具体步骤为：
S231、对于口红前景膏体区域，膏体分割单元首先分割出口红底座。前景区域中的每个像素点均被视为网络流中的节点，像素点与像素点间、像素点与前景或背景的相似程度通过节点间的边值描述。
S232、针对底座区域和背景区域分别建立高斯混合模型(Gaussian MixtureModel，GMM)并分类标记，随后通过多次迭代更新GMM的参数，计算Gibbs能量函数最小值，最终通过结果参数完成对底座区域的分割。在同一摄像条件下得到的原始图像中，同一类产品的底座区域的高度也基本相同，通过设置经验值参数即可划定底座前景范围。
S233、膏体分割单元通过漫水填充法寻找脸部区域，根据判定经验种子点邻域的像素插值进行迭代更新：
t1＜Ielgdbor-Iseed＜t2
其中，Ineighbor表示邻域像素灰度值，Iseed表示种子点像素灰度值，t1、t2分别为上下阈值。若其邻域像素与种子点的差值在阈值范围内，则将其加入连通区域，随后将更新后的连通区域的边界点作为新的种子点，重复这一过程直到连通区域不再增长，即可得到由原始种子点生成的最终连通区域，对填充得到的结果进行一次额外的形态学闭合操作，即可得到完整的口红脸部区域对应的掩码图像。
S3、缺陷纹理合成模块对(人工)标注的原始缺陷区域的纹理特征进行灰度特征变换和几何特征变换，然后生成全新的缺陷纹理，即增广缺陷纹理；具体步骤为：
S31、特征变换单元对原始缺陷标记掩码内的像素进行灰度特征变换和几何特征变换，生成纹理特征相似而结构形态不同的缺陷区域图像；其中，灰度特征变换包括以下四种变换处理：(a)对数变换，用于提升低灰度暗区域的像素值，降低高灰度亮区域的像素值；(b)指数变换，用于降低灰度暗区域的像素值，提升高灰度亮区域的像素值；(c)伽马变换，用于自适应校正图像中灰度过高或过低的区域、以及增强对比度；(d)直方图均衡化变换，用于将原始图像的灰度图从比较集中的某个灰度区间均匀分布在整个灰度空间中，实现对图像的非线性拉伸。几何特征变换包括以下四种变换处理：(a)旋转变换，用于改变缺陷区域的角度；(b)翻转变换，用于轴对称镜像缺陷区域；(c)缩放变换，用于改变缺陷区域的相对大小；(d)透视变换，用于对不同关键点执行不同的非线性变换；
S32、纹理合成单元组合缺陷区域图像的局部结构化纹理，并生成一定规模的新缺陷区域，从而将不同类别的结构化纹理特征组合为不同规模的新纹理缺陷图像，即增广缺陷纹理。
纹理合成单元可用于针对刮膏、粘皮、油斑等具有局部连续纹理或大面积形变缺陷的增广，也可用于组合多个特征变换后的缺陷纹理。由于传统的纹理合成方法是简单地对不同纹理进行叠加组合，常存在连接区域过渡不自然的问题。鉴于此，本发明提出了优化的纹理合成算法：对于任意一对纹理区域图像Bi，Bj，记其宽高尺寸分别为Hi×Wj，Hj×Wi。纹理合成问题被定义为寻找Bj相对Bi的一组最优融合分割点映射，该融合分割点描述了两个纹理单元间在某一行的分割位置。对于简单的图层叠加方法，其所有行的融合点位置相同，因此难以动态根据局部纹理的相似性划定分割点。纹理合成单元迭代每一处合成位置，并计算一条连续的分割路径，路径上的每一个点都表示对应行的融合点，其计算公式如下式所示：
Figure BDA0004073591520000131
其中，Ei，j为融合分割路径相似性度量累加值，ei，j描述以(i，j)为分割对齐点时Bi，Bj交集区域的图像相关性，通过交集区域的欧几里得距离计算：ei，j＝||Oi-Oj||2，其中，Oi，Oj分别表示以(i，j)为分割对齐点Bi，Bj各自对应交集位置的像素区域；通过迭代每一处可形成交集的分割对齐点并按行计算融合分割路径相似性度量，纹理合成单元最终计算目标纹理对的全局最优融合分割映射P(Bi，Bj)：
Figure BDA0004073591520000132
其中，argmin计算各行的分割选点，其结果对应所有分割对齐点对应的最小相似性度量中的最小值。
本发明中特征变换单元能够生成纹理特征相似而结构形态不同的缺陷区域图像，而纹理合成单元则能够将不同类别的结构化纹理特征组合为不同规模的新纹理缺陷图像。
S4、缺陷特征迁移模块通过识别膏体轮廓关键点定位图像的空间关联位置，并将增广缺陷特征迁移至其他膏体图像的特定位置，从而生成增广缺陷口红样本；具体地，包括以下步骤：
S41、关键点识别单元识别膏体区域的轮廓关键点，并定位单支膏体图像中的若干处轮廓点位坐标，为不同尺寸的口红产品提供相对位置度量，从而在目标图像的特定目标位置生成缺陷纹理；候选的轮廓点位坐标包括脸部区域的顶部、底部中心端点以及与膏身轮廓的左右连接点，以及膏身区域的底部端点。
S42、多尺寸特征迁移单元将源缺陷纹理(增广缺陷特征)添加至目标图像的指定范围内的区域，输出增广缺陷口红图像；
对于刮擦、划痕、孔洞等非连续性纹理，其缺陷特征与无缺陷区域的区别相对显著，因此多尺寸特征迁移单元直接在目标区域叠加经特征变换后的纹理缺陷特征：记源缺陷纹理特征为R，候选目标迁移区域为T，由于源缺陷纹理已经过灰度和几何特征变换，因此纹理特征的叠加过程可直接表示为：
Figure BDA0004073591520000141
对于刮膏、粘皮、油斑等局部连续纹理，需要考虑迁移后的特征平滑过度，因此在简单叠加的基础上，多尺寸特征迁移单元采用进一步采用多尺度特征融合方法。具体地，多尺寸特征迁移单元对源纹理施加金字塔尺度放缩并多次重复不同尺度特征的迁移过程，通过最小化当前尺度的源缺陷纹理和当前已迁移目标区域的相似性测度Ls(R，T)以及一致性测度Ls(R，T)来迭代计算最优迁移策略。其中，纹理迁移的相似性用于度量迁移特征在目标图像区域的平滑过渡程度，可通过缺陷纹理合成模块中的分割路径相似性度量累加值计算，即Ls(R，T)＝E(R，T)；纹理迁移的一致性用于描述源缺陷特征和已迁移目标区域的观感匹配程度。对于首次迁移，源缺陷特征与待迁移目标区域存在较大的图像特征差异，因此其一致性度量相对较低。在多尺度特征融合过程中，多尺寸特征迁移单元逐渐降低源缺陷纹理的尺寸并进行迁移，其平滑过渡水平不断上升而图像特征差异不断下降，体现为相似性测度的不断下降以及一致性测度的不断上升。因此，多尺寸特征迁移单元在每一次多尺度迁移过程中采用以下总测度评价特征迁移的质量：
L＝λLs+(1-λ)Lc
其中λ为权重参数。针对多尺度缺陷纹理，特征迁移单元迭代计算不同迁移位置处的总测度直到其低于预设阈值参数，即可在该位置进行纹理特征值的叠加，直至处理完毕所有尺度的缺陷纹理，输出叠加了多尺度缺陷纹理的目标口红图像。
S5、为了在数据集水平上扩增训练样本规模并平衡缺陷特征的分布，本发明提出了自适应数据集增广模块，自适应数据集增广模块根据训练集规模以及样本类别数量，通过计算统计学分布调整各个样本的分布权重，自适应地对罕见不均衡样本进行缺陷合成与迁移，生成增广缺陷口红图像，具体步骤为：
S51、缺陷特征向量化单元分析由口红图像和缺陷区域标注构成的原始数据集的类别分布特点，并将与缺陷纹理合成相关的特征参数向量化，以实现对缺陷图像变换规则的特征化表示。
面向目标检测和语义分割任务，本发明统计缺陷样本的用于特征变换的相关典型图像特征，如坐标、面积、灰度等。给定输入训练集Dt＝{I1，I2，..，In}，其中Ii表示一个样本实例。每一个样本实例包含一个原始图像矩阵以及其对应的类别标签，其中类别标签Y包含一个以上的缺陷区域B，即Yi＝{B1，B2，...，Bm}。每一个样本实例可以包含多个缺陷区域，而每一个缺陷区域只对应唯一的类别。缺陷特征向量化单元统计每一个缺陷区域的变换特征并组合为N维分布特征归一化向量。
S52、自适应缺陷增广单元基于数据集分析的结果在N维特征空间中均衡地生成增广样本；具体的，记Dt包含的缺陷类别数为k，统计第i个类别缺陷区域的总数量为ni，所述自适应缺陷增广单元首先计算其类别不均衡度：
Figure BDA0004073591520000161
若εi小于设定的阈值参数ε，则该类别缺陷区域需要被扩增，扩增的数量Δi计算为：
Figure BDA0004073591520000162
其中，α∈[0,1]为权重因子，其取值越高，类别比重越均衡；在N维空间内，计算每一个缺陷区域B的特征归一化向量υ(B)的K个最近邻向量，统计这些向量中不均衡度大于阈值参数ε的数目eB，则该缺陷区域对应的均衡密度为：
Figure BDA0004073591520000163
随后，所述自适应缺陷增广单元计算各个类别的平均均衡密度。对于第i个类别，其所有缺陷区域的平均均衡密度ρi计算为
Figure BDA0004073591520000164
均摊至每个缺陷区域，其需要扩增的样本数为：
ΔB＝ρiΔi，B∈Yi
至此，自适应缺陷增广单元确定了每个缺陷区域需要被扩增的数量。通过计算其t个最近邻同类别缺陷区域的特征归一化向量，即可通过计算向量平均差分生成增广缺陷特征对应的归一化向量：
Figure BDA0004073591520000165
根据得到的增广缺陷特征对应的归一化向量，缺陷纹理合成模块能够自适应地生成近似于向量特征值的缺陷区域。在自动根据数据集分布生成增广特征区域后，自适应数据集增广模块需要将各个增广缺陷特征迁移至无缺陷膏体以形成完整的缺陷口红图像。
S53、自适应缺陷迁移单元计算增广口红图像目标样本数，并将各类别的增广缺陷纹理迁移至不同的样本个体，生成与原始训练集样本具有相同类别分布的增广缺陷口红图像。
由于单个口红样本图像可能包含多个不同类别的缺陷，自适应缺陷迁移单元首先计算增广口红图像目标样本数，并将各类别的增广缺陷纹理迁移至不同的样本个体。记输入训练集Dt包含的缺陷类别数为k，则其单个图像样本中存在的类别数最多为2k(包括无缺陷情况)。同时，自适应缺陷迁移单元计算Dt中的单样本最多缺陷数目为q，结合可能的样本类别情况，即可得到单一样本内的类别数-缺陷数矩阵Mp×q。为了与实际生产环境的样本分布匹配，自适应缺陷迁移单元依据类别数-缺陷数矩阵Mp×q分配含有特定类别和特定缺陷数的增广样本，并通过随机选择的方式将增广缺陷迁移至增广样本，重复这个过程直到所有的增广缺陷被分配完毕，即可生成与训练集样本具有相同类别分布的增广缺陷口红图像。
实施例3
参照图2，本发明实施例提供了基于小样本特征迁移的口红表面缺陷数据增广平台，包括：数据层、服务层和应用层，其中，数据层对接产线(品)图像采集终端，为数据增广服务提供数据持久化存储与管理；服务层对接膏体图像预处理模块、自适应数据集增广模块、缺陷纹理合成模块以及缺陷特征迁移模块，各个模块按功能划分，依次为图像预处理器、样本集特征分析器和缺陷样本增广器，以实现口红图像数据的增广；应用层为口红缺陷图像数据集增广提供服务调用接口。
本实施例中，服务层通过(实例化)图像预处理器、样本集特征分析器和缺陷样本增广器实现膏体图像预处理模块、自适应数据集增广模块、缺陷纹理合成模块以及缺陷特征迁移模块的相关功能。
具体地，图像预处理模块实现原始口红图像的像素灰度化、前景阈值分割以及膏体图像png分割，以及相关预处理参数以json配置文件的方式实现动态加载。该图像预处理模块包括灰度化单元、前景阈值分割单元以及膏体分割单元，其中，前景阈值分割单元设置灰度值15作为前景分割灰度阈值。膏体分割单元设置自底向上190像素作为底座定位高度。对于脸部区域的分割，选择漫水填充种子点为口红头部最高点向下75个像素，设置邻域像素灰度值为35、种子点像素灰度值为35进行多轮背景填充，并对面积小于100的空洞区域施加形态学开运算实现填充，最终计算完整的脸部、膏身感兴趣区域掩码，相关结果传入样本特征集分析器，然后提取缺陷特征向量并自适应生成数据增广策略。
自适应数据集增广模块接受经预处理后的膏体各区域图像及其对应的标注掩码，通过连通域分析分割出单一缺陷口红图像中的缺陷区域，对每一个区域通过缺陷特征向量化单元计算其对应的缺陷变换特征，默认配置的变换特征包括：坐标、面积、倾角、宽高比、灰度。对于每一项变换特征，均通过参数设置中的值域范围将取值归一化至[0,1]。具体地，空间正交坐标系中的位置将被转换为相同原点的极坐标表示，其极角最大范围90°，极径最大范围为对角线长度。由于口红图像缺陷为具有旋转不变性，因此倾角、宽高比可通过缺陷区域的最小外接矩形计算。自适应缺陷增广单元设置不均衡度权重因子α为0.9，最近邻向量计算数目K为10，并设置特征增广阶段的最近邻同类别缺陷区域数目t为5。
缺陷纹理合成模块包括：特征变换单元(包括灰度特征变换单元和几何特征变化单元)和纹理合成单元，其中，特征变换单元设置对数变换、指数变换、伽马变换、直方图均衡化变换、旋转变换、翻转变换、缩放变换和缩放变换作为缺陷区域的特征增强变换函数，通过OpenCV相关图像矩阵操作实现。对于刮膏、粘皮、油斑三类具有连续纹理特征的缺陷区域，通过纹理合成单元选择宽高低于20像素的变换特征作为源缺陷纹理特征的最低大小。缺陷特征迁移模块采用平均灰度值(亮度)作为多尺度缺陷特征的一致性度量信息，并设置迁移质量评价测度权重参数λ为0.8。平滑后处理单元设置边缘模糊的感兴趣区域轮廓扩展宽度为15像素。此外，本发明的增广平台实现提供了对已生成增广特征及增广图像样本的持久化存储，以及对已有增广特征及增广缺陷样本的检索，其检索键值为特征归一化向量值，通过向量空间的最近邻匹配即可得到最相似的增广缺陷特征向量及其对应的增广缺陷样本，从而避免对相似缺陷特征的重复生成，提升样本增广效率和增广缺陷特征图像利用率。
数据层基于MongoDB以存储原始口红图像数据、缺陷区域标注数据、增广缺陷纹理图像以及增广口红图像数据，同时以json文件的形式存储相关处理模块的配置参数。其中，来自产线图像采集终端的原始口红图像将被直接持久化至原始口红图像库，其中的部分数据将接受人工质检并标注缺陷区域，对应的缺陷区域掩码标注将被持久化至缺陷区域标注库。相关图像及标注数据将转换为png格式并编码为base64字符串流以供服务层调用。服务调用接口采用RESTful API处理数据资源的读取与存储操作。
应用层通过服务调用接口接受来自用户输入的原始训练数据集(包括口红图像和缺陷区域标注)索引json文件，经服务层相关流程的处理后生成增广(缺陷样本)数据集(包括增广口红图像和增广缺陷区域)，并返回其对应的索引json文件。服务调用接口通过迭代器遍历访问数据集索引文件中的膏体图像资源以及缺陷标注资源，并在数据集增广流程执行完毕后通过异步请求将结果返回至服务调用点。上述实施过程与国内外同类产品的技术参数比较见表1。
由表1结果可知，与现有方法相比，本发明提出了一种基于小样本特征迁移的口红表面缺陷自适应数据增广方法，该方法具有以下优势：(1)本发明能够利用纹理特征合成方法对将不同类别的结构化纹理特征组合为不同规模的增广缺陷特征，显著提升了缺陷特征分布的多样性；(2)本发明通过特征迁移方法将增广缺陷特征合成至特定的膏体图像，实现了小批量口红样本间的缺陷特征融合，具有良好的可解释性，有效解决了口红样本数据规模有限的问题；(3)本发明基于缺陷样本的统计学分布特点自动生成样本增广策略，解决了缺陷样本分布不均衡的问题，同时简化了额外的数据集人工分析与增广参数选取过程，具有良好的自适应性。另本发明支持添加自定义特征变换算法以及缺陷迁移策略，具有良好的扩展性；在系统实现方面，本发明还支持缺陷特征的向量化检索，通过对增广特征结果的持久化存储避免对相似缺陷特征的重复生成，具有良好的执行效率。
表1本发明与现有国内外同类产品(现有技术)的方法参数比较。
Figure BDA0004073591520000201
本发明不局限于上述具体的实施方式，本领域的普通方法人员从上述构思出发，不经过创造性的劳动，所做出的种种变换，均落在本发明的保护范围之内。

Claims (9)

1.基于小样本特征迁移的口红表面缺陷数据增广系统，其特征在于，包括：膏体图像预处理模块、缺陷纹理合成模块、缺陷特征迁移模块以及自适应数据集增广模块，其中，所述膏体图像预处理模块的输入端输入作为原始训练集的口红图像，所述膏体图像预处理模块和缺陷纹理合成模块的输出端均与缺陷特征迁移模块的输入端连接，由所述缺陷特征迁移模块的输出端输出作为增广训练集的增广口红图像，由所述自适应数据集增广模块的输入端输入作为原始训练集的口红图像和缺陷区域，所述自适应数据集增广模块的输出端输出增广缺陷区域和增广口红图像；其中，
所述膏体图像预处理模块，用于对原始口红图像进行图像灰度化处理，并划分膏体不同结构的感兴趣区域；
所述缺陷纹理合成模块，用于从灰度特征和几何特征两个角度变换原始缺陷区域的纹理特征，并生成全新的缺陷纹理，即得到增广缺陷纹理；
所述缺陷特征迁移模块，用于通过识别膏体轮廓关键点定位图像的空间关联位置，并将增广缺陷特征迁移至其他膏体图像的特定位置，输出增广缺陷口红图像；
所述自适应数据集增广模块，用于根据输入的原始训练集的规模以及样本类别数量，通过计算统计学分布调整各个样本的分布权重，从而自适应地对罕见不均衡样本进行缺陷合成与迁移，输出增广缺陷口红图像。
2.根据权利要求1所述的基于小样本特征迁移的口红表面缺陷数据增广系统，其特征在于，所述膏体图像预处理模块包括灰度化单元、前景阈值分割单元和膏体分割单元；所述缺陷纹理合成模块包括特征变换单元和纹理合成单元；所述缺陷特征迁移模块包括关键点识别单元、多尺寸特征迁移单元和平滑后处理单元；所述自适应数据集增广模块包括缺陷特征向量化单元、自适应缺陷增广单元以及自适应缺陷迁移单元。
3.一种利用如权利要求2所述系统进行的基于小样本特征迁移的口红表面缺陷数据增广方法，其特征在于，包括以下步骤：
S1、将原始口红图像和标注的原始缺陷区域作为原始训练集分别输入膏体图像预处理模块和缺陷纹理合成模块中；
S2、膏体图像预处理模块对原始口红图像进行灰度化处理，并划分原始口红图像中不同膏体结构的感兴趣区域；
S3、缺陷纹理合成模块对原始缺陷区域的纹理特征进行灰度特征变换和几何特征变换，然后通过纹理合成方法生成全新的缺陷纹理，即增广缺陷纹理；
S4、缺陷特征迁移模块通过识别膏体轮廓关键点定位图像的空间关联位置，并将增广缺陷特征迁移至其他膏体图像的特定位置，从而生成增广缺陷口红图像；
S5、自适应数据集增广模块根据原始训练集的规模以及样本类别数量，通过计算统计学分布调整各个样本的分布权重，自适应地对罕见不均衡样本进行缺陷合成与迁移，生成增广缺陷口红图像。
4.根据权利要求3所述的基于小样本特征迁移的口红表面缺陷数据增广方法，其特征在于，步骤S2中，所述膏体图像预处理模块对原始口红图像进行灰度化处理，并划分原始口红图像中不同膏体结构的感兴趣区域，具体步骤为：
S21、灰度化处理单元对原始口红图像进行灰度化处理，将原始口红的彩色图像转换为灰度图像，并对口红膏体区域进行定位，根据暗光环境下前景区域和背景区域的灰度差异，计算原始图像的灰度直方图，其中具有较高像素数的灰度范围设置为前景像素；
S22、前景阈值分割单元设置前景分割阈值范围参数，并将该范围内的前景像素分割为口红膏体前景区域，进一步计算前景连通域，对孤立的非最大连通域予以剔除，以消除背景中的额外光照；
S23、膏体分割单元将得到的口红膏体前景区域进一步划分为脸部感兴趣区域、膏身感兴趣区域和底座感兴趣区域。
5.根据权利要求4所述的基于小样本特征迁移的口红表面缺陷数据增广方法，其特征在于，步骤S23中，所述膏体分割单元将得到的口红膏体前景区域进一步划分为脸部感兴趣区域、膏身感兴趣区域和底座感兴趣区域，具体步骤为：
S231、对于口红前景膏体区域，膏体分割单元先分割出口红底座，并通过节点间的边值描述口红膏体前景区域中的每个像素点均被视为网络流中的节点，像素点与像素点间、像素点与前景或背景的相似程度；
S232、针对底座目标区域和背景区域分别建立高斯混合模型并分类标记，膏体分割单元通过多次迭代更新高斯混合模型的参数，计算Gibbs能量函数最小值，最终通过结果参数完成对底座区域的分割；
S233、膏体分割单元通过漫水填充法寻找脸部区域，根据经验判定种子点邻域的灰度像素差值，具体见下式所示，进行迭代更新：
t1＜Ineighbor-Iseed＜t2 (2)
其中，Ineighbor表示邻域像素灰度值，Iseed表示种子点像素灰度值，t1、t2分别为上下阈值；若种子点邻域像素与种子点的灰度差值在阈值范围内，则将其加入连通区域；然后将更新后的连通区域的边界点作为新的种子点，重复这一过程直到连通区域不再增长，即得到由原始种子点生成的最终连通区域，对填充得到的结果进行一次额外的形态学闭合操作，即得到完整的口红脸部区域对应的掩码图像。
6.根据权利要求3所述的基于小样本特征迁移的口红表面缺陷数据增广方法，其特征在于，步骤S3中，所述缺陷纹理合成模块对原始缺陷区域的纹理特征进行灰度特征变换和几何特征变换，然后通过纹理合成方法生成全新的缺陷纹理，具体步骤为：
S31、特征变换单元对原始缺陷标记掩码内的像素进行灰度特征变换和几何特征变换，生成纹理特征相似而结构形态不同的缺陷区域图像；其中，所述灰度特征变换包括：对数变换、指数变换、伽马变换和直方图均衡化变换；所述几何特征变换包括：旋转变换、翻转变换、缩放变换和透视变换；
S32、纹理合成单元组合缺陷区域图像的局部结构化纹理，并生成一定规模的新缺陷区域，从而将不同类别的结构化纹理特征组合为不同规模的新纹理缺陷图像。
7.根据权利要求3所述的小样本特征迁移的口红表面缺陷数据增广系统，其特征在于，步骤S4中，所述缺陷特征迁移模块通过识别膏体轮廓关键点定位图像的空间关联位置，并将增广缺陷特征迁移至其他膏体图像的特定位置，从而生成增广缺陷口红图像，具体步骤为：
S41、关键点识别单元识别膏体区域的轮廓关键点，并定位单支膏体图像中的若干处轮廓点位坐标，为不同尺寸的口红产品提供相对位置度量，从而在目标图像的特定目标位置生成缺陷纹理；
S42、多尺寸特征迁移单元将增广缺陷特征添加至目标图像的指定范围内的区域，输出增广缺陷口红图像；
S43、平滑后处理单元通过灰度重映射对边缘非目标区域模糊处理，实现目标增广图像缺陷区域的全局平滑过渡。
8.根据权利要求3所述的小样本特征迁移的口红表面缺陷数据增广系统，其特征在于，步骤S5中，所述自适应数据集增广模块根据原始训练集的规模以及样本类别数量，通过计算统计学分布调整各个样本的分布权重，自适应地对罕见不均衡样本进行缺陷合成与迁移，生成增广缺陷口红图像，具体步骤为：
S51、缺陷特征向量化单元分析由口红图像和缺陷区域标注构成的原始数据集的类别分布特点，并统计每一个缺陷区域的变换特征并组合为N维分布特征归一化向量；
S52、自适应缺陷增广单元基于数据集分析的结果在N维特征空间中均衡地生成增广样本；
S53、自适应缺陷迁移单元计算增广口红图像目标样本数，并将各类别的增广缺陷纹理迁移至不同的样本个体，生成与原始训练集样本具有相同类别分布的增广缺陷口红图像。
9.根据权利要求8所述的小样本特征迁移的口红表面缺陷数据增广系统，其特征在于，所述自适应缺陷增广单元基于数据集分析的结果在N维特征空间中均衡地生成增广样本，具体步骤为：记Dt包含的缺陷类别数为k，统计第i个类别缺陷区域的总数量为ni，所述自适应缺陷增广单元首先计算其类别不均衡度：
Figure FDA0004073591500000041
若εi小于设定的阈值参数ε，则该类别缺陷区域需要被扩增，扩增的数量Δi计算为：
Figure FDA0004073591500000042
其中，α∈[0,1]为权重因子，其取值越高，类别比重越均衡；在N维空间内，计算每一个缺陷区域B的特征归一化向量υ(B)的K个最近邻向量，统计这些向量中不均衡度大于阈值参数ε的数目eB，则该缺陷区域对应的均衡密度为：
Figure FDA0004073591500000051
然后，所述自适应缺陷增广单元计算各个类别的平均均衡密度；对于第i个类别，其所有缺陷区域的平均均衡密度ρi计算为：
Figure FDA0004073591500000052
均摊至每个缺陷区域，其需要扩增的样本数为：
ΔB＝ρiΔi，B∈Yi
至此，自适应缺陷增广单元确定了每个缺陷区域需要被扩增的数量，通过计算其t个最近邻同类别缺陷区域的特征归一化向量，即通过计算向量平均差分生成增广缺陷特征对应的归一化向量：
Figure FDA0004073591500000053
/>
根据得到的增广缺陷特征对应的归一化向量，自适应地生成近似于向量特征值的缺陷区域。
CN202310071828.5A 2023-01-13 2023-01-13 基于小样本特征迁移的口红产品表面缺陷数据增广方法 Pending CN116229205A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310071828.5A CN116229205A (zh) 2023-01-13 2023-01-13 基于小样本特征迁移的口红产品表面缺陷数据增广方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310071828.5A CN116229205A (zh) 2023-01-13 2023-01-13 基于小样本特征迁移的口红产品表面缺陷数据增广方法

Publications (1)

Publication Number Publication Date
CN116229205A true CN116229205A (zh) 2023-06-06

Family

ID=86572474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310071828.5A Pending CN116229205A (zh) 2023-01-13 2023-01-13 基于小样本特征迁移的口红产品表面缺陷数据增广方法

Country Status (1)

Country Link
CN (1) CN116229205A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333740A (zh) * 2023-12-01 2024-01-02 东声(苏州)智能科技有限公司 基于稳定扩散模型的缺陷图像样本生成方法和装置
CN117523345A (zh) * 2024-01-08 2024-02-06 武汉理工大学 一种目标检测数据平衡方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333740A (zh) * 2023-12-01 2024-01-02 东声(苏州)智能科技有限公司 基于稳定扩散模型的缺陷图像样本生成方法和装置
CN117333740B (zh) * 2023-12-01 2024-04-05 东声(苏州)智能科技有限公司 基于稳定扩散模型的缺陷图像样本生成方法和装置
CN117523345A (zh) * 2024-01-08 2024-02-06 武汉理工大学 一种目标检测数据平衡方法及装置
CN117523345B (zh) * 2024-01-08 2024-04-23 武汉理工大学 一种目标检测数据平衡方法及装置

Similar Documents

Publication Publication Date Title
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN107452010B (zh) 一种自动抠图算法和装置
CN111723860B (zh) 一种目标检测方法及装置
CN109154978B (zh) 用于检测植物疾病的系统和方法
JP4903854B2 (ja) デジタル画像におけるオブジェクト検出方法
CN110059586B (zh) 一种基于空洞残差注意力结构的虹膜定位分割系统
CN116229205A (zh) 基于小样本特征迁移的口红产品表面缺陷数据增广方法
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN108537239B (zh) 一种图像显著性目标检测的方法
US8594434B2 (en) Device, method, and computer-readable storage medium for segmentation of an image
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN109544681B (zh) 一种基于点云的果实三维数字化方法
CN111626993A (zh) 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统
CN113592911B (zh) 表观增强深度目标跟踪方法
CN112733614B (zh) 一种带有相似尺寸强化识别的害虫图像检测方法
CN111986125A (zh) 一种用于多目标任务实例分割的方法
CN110211127B (zh) 基于双相关性网络的图像分割方法
CN111310768B (zh) 基于鲁棒性背景先验和全局信息的显著性目标检测方法
CN113297988A (zh) 一种基于域迁移和深度补全的物体姿态估计方法
CN112819096A (zh) 一种基于复合卷积神经网络的化石图像分类模型的构建方法
CN113705579A (zh) 一种视觉显著性驱动的图像自动标注方法
CN115033721A (zh) 基于大数据的图像检索方法
CN117292217A (zh) 一种基于对抗生成网络的皮肤分型数据增广方法与系统
CN108765384B (zh) 一种联合流形排序和改进凸包的显著性检测方法
CN109299295B (zh) 蓝印花布图像数据库搜索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination