CN113870371B - 基于生成对抗网络的图片颜色变换装置、方法和存储介质 - Google Patents

基于生成对抗网络的图片颜色变换装置、方法和存储介质 Download PDF

Info

Publication number
CN113870371B
CN113870371B CN202111466370.0A CN202111466370A CN113870371B CN 113870371 B CN113870371 B CN 113870371B CN 202111466370 A CN202111466370 A CN 202111466370A CN 113870371 B CN113870371 B CN 113870371B
Authority
CN
China
Prior art keywords
picture
color
generator
block
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111466370.0A
Other languages
English (en)
Other versions
CN113870371A (zh
Inventor
张晓武
陈斌
李伟
顾诚淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Linyan Precision Technology Co ltd
Original Assignee
Zhejiang Linyan Precision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Linyan Precision Technology Co ltd filed Critical Zhejiang Linyan Precision Technology Co ltd
Priority to CN202111466370.0A priority Critical patent/CN113870371B/zh
Publication of CN113870371A publication Critical patent/CN113870371A/zh
Application granted granted Critical
Publication of CN113870371B publication Critical patent/CN113870371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于生成对抗网络的图片颜色变换装置、方法和存储介质，收集训练数据集，采用训练数据集训练网络模型得到训练后的网络模型，将待转换图片输入训练后的网络模型并输出颜色变换后的图片。所述网络模型包括生成器和判别器，所述生成器包括从前至后依次连接的前端生成块、后端生成块，所述前端生成块用于提取外部风格信息并形成特征图且经过上采样后输入后端生产块；所述后端生成块用于在特征图中注入颜色直方图信息，并完成着色、上采样后输出生成图片。本发明能够针对采样设备中的零件结构进行颜色域的迁移，生成结构相同但是颜色不同的零件图片，以提供给缺陷检测网络进行后续处理，具有较好的实用性。

Description

基于生成对抗网络的图片颜色变换装置、方法和存储介质
技术领域
本发明属于零件缺陷检测的技术领域，具体涉及基于生成对抗网络的图片颜色变换装置、方法和存储介质。
背景技术
在目前国内工业缺陷检测行业中，除了使用传统图形学的方法来进行缺陷检测之外，大部分具有竞争力的公司都想方设法在运用人工智能计算机视觉的方法来提高检测的精度。在人工智能时代到来之前，大部分的公司所使用的传统方法往往只对大型缺陷比较敏感，而小型的缺陷却难以识别。这种传统方法在大型工厂生产且模具精巧的国外比较流行，而对于国内多数小型厂家生产且模具粗糙的情况下却难以奏效。在此环境中诸多相对高效的人工智能检测算法随之出现，如faster-rcnn、yolo等。
但是这些算法都需要大量的缺陷数据，且对数据质量要求比较高，传统工业生产中，很少有工厂会做数据储备，留心在生产线中将缺陷件拍摄下来或者是留做样本，尽管有部分细心的公司这么做，但是他们保存下来的缺陷件数量也远远达不到能够训练出一个合格的检测模型出来。所以在生产工厂委托检测公司制作检测系统的时候，大量的金钱成本和时间成本都需要用在制造缺陷件上，导致交货周期长，且生产工厂多数不了解人工智能技术从而抱怨投诉之类的问题出现。
除了上述问题之外，有些生产公司生产的零件可能形状相同但是颜色不同，由于货期不同导致训练数据交付较晚，导致检测公司开发的检测系统是在零件颜色为①的数据上训练的，但是在同一型号但是零件颜色为②的零件图片上效果很差，必须要等到训练数据中有零件颜色为②的图片时才能有所改善，但是这个过程这将花费更多的人力物力和训练周期。
发明内容
本发明的目的在于提供一种基于生成对抗网络的图片颜色变换装置、方法和存储介质，旨在解决工业缺陷检测中缺陷样本少和样本同型号不同颜色检测效果差的问题，实现既能生成缺陷图片又能生成不同颜色的缺陷件图片。本发明使用生成对抗网络来实现图像颜色风格的转换，并且增加缺陷样本，使数据集能够更好适应缺陷检测的任务，一定程度上缓解了工业缺陷检测上对数据集数量的需求和直接生成多种颜色的缺陷件图片提供给后续的缺陷检测模型来提高鲁棒性。
本发明主要通过以下技术方案实现：
一种基于生成对抗网络的图片颜色变换装置，包括数据采集模块、训练模块、变换模块，所述数据采集模块用于收集零件图片数据，并形成训练数据集，所述训练数据集中添加了随机颜色噪声的训练图片；所述训练模块用于采用训练数据集训练网络模型得到训练后的网络模型；所述变换模块用于将待转换图片输入训练后的网络模型并输出颜色变换后的图片；
所述网络模型包括生成器和判别器，所述生成器用于生成符合训练数据分布的生成图片，所述判别器用于给生成图片打分，以进行梯度下降训练生成器；所述生成器包括从前至后依次连接的前端生成块、后端生成块，所述前端生成块包括干个依次串联的生成器块，所述后端生成块由依次串联的两个生成器块组成；随机噪声的信息以及随机样式信息分别输入到前端生成块的生成器块中，随机噪声的信息以及从训练数据集中提取合成的颜色直方图信息分别输入后端生成块的生成器块中；所述前端生成块用于提取外部风格信息并形成特征图且经过上采样后输入后端生产块；所述后端生成块用于在特征图中注入颜色直方图信息，并完成着色、上采样后输出生成图片。
所述随机噪声的信息以及随机样式信息均由pytorch深度学习框架随机函数生成，且为数字数据。这些数字数据通过模型的训练过程自动学习从数字信息转换为图片样式的模式，从而影响图片的生产。
为了更好地实现本发明，进一步地，所述前端生成块、后端生成块的生成器块包括从前至后依次设置的若干个特征生成层以及着色层，所述特征生成层分别包括从前至后依次连接的卷积层和LeakyRelu激活函数层，所述卷积层用于融合输入的和外部提取的风格信息，且着色层用于融合输入的和外部提取的颜色信息；上一个生成器块的特征生成层经过上采样后作为下一个生成器块的特征生成层的输入，后端生成块的最后的生成器块的着色层的输出与特征生成层的输出相加并经过上采样层后输出生成图片。
为了更好地实现本发明，进一步地，随机噪声依次经过平铺层、多全连接层组合块、全连接层处理后得到外部提取的风格信息；随机噪声经过全连接层处理后得到输入的风格信息。
为了更好地实现本发明，进一步地，后端生成块的最后的生成器块的着色层的输出上添加有图片掩码层，所述图片掩码层用于去除图片中生成的背景噪音，且掩码来自随意图片。
为了更好地实现本发明，进一步地，所述判别器包括从前至后依次串联设置的判别器块，所述判别器块包括若干层从前至后依次串联设置的残差块，所述残差块包括残差卷积和卷积块，所述残差卷积用于提取输入的残差信息，所述卷积块的输出与残差卷积的输出相加并输入下采样层得到残差块的输出。
为了更好地实现本发明，进一步地，所述卷积块由一个卷积层和一个LeakyRelu激活层的双重嵌套组成。
在训练过程中，提取训练数据集中两两数据样本颜色直方图并进行合并，合并是为了能够提供更多颜色信息，将提取到的颜色直方图信息添加到网络模型的中间层以强调颜色变化。其中需要特别注意的是，工业生产中某一批次生产的产品颜色都是相当单调的，一批产品中的颜色直方图可能相差无几，如果直接从中提取颜色直方图来训练模型的话会导致变色效果很差或者根本不能改变颜色，所以我们在添加了大量随机颜色噪声的训练图片中提取合成直方图，这样不仅解决了目标颜色单调的问题而且不需要接入外部颜色数据集。本发明进行了直方图融合，这样能够输入更加多样的颜色信息，公式如下：
Figure 240104DEST_PATH_IMAGE001
其中：Ht是将要注入的颜色直方图，H1为图片1的颜色直方图，H2为图片2的颜色直方图，δ∼U(0,1)。
所述网络模型包括生成器和判别器，所述生成器用来生成符合训练数据分布的生成图片，所述判别器用来判断生成图片的真假性，训练数据即真实图片，生成器的生成图片则为虚假图片。
所述生成器由多层生成器块组成，最初输入是常量，每个生成器块之间串联起来，在两个相邻生成器块中，上面的生成器块的输出是下面生成器块的输入，每个生成器块的结构都相似，都是由两组特征生成层和一组着色层组成。其中特征生成层由一个卷积层和一个LeakyRelu激活层组成，且卷积层用于融合输入和外部提取的风格信息，再传入激活层。所述着色层由一个卷积层组成，且用来融合输入和外部提供的颜色信息。上面的生成器块的特征生成层的输出经过上采样层后作为下面生成器块的特征生成层的输入，着色层的输出和上一个着色层的输出相加并经过上采样层后作为输出图片，特别在最后一层着色层的输出上添加一个图片掩码层，掩码层负责去除图片中生成的背景噪音，提高生成质量，其中掩码来自随意图片。
所述判别器负责识别来自生成器的生成图片，同时生成器负责生成能够以假乱真的图片来迷惑判别器，两者进行一个最大最小博弈过程，直到最后判别器无法分辨生成图片和真实图片，那么该生成器就拟合了。所述判别器包括从前至后依次串联设置的判别器块，所述判别器块由多层残差块组成，输入为规定大小的图片张量，每个残差块之间串联起来，两个相邻残差块中，上面的残差块的输出是下面残差块的输入。残差块中由残差卷积和卷积块组成，残差卷积由一个卷积层组成，负责提取输入的残差信息。卷积块由一个卷积层和一个LeakyRelu激活层的双重嵌套组成。卷积块的输出加上残差信息再经过一个下采样层后作为整个残差块的输出。
生成器的生成器块数量和判别器的判别器块数量由图片大小决定，其中的卷积层仅仅用来提取特征并不会改变输入的大小，只有上采样层和下采样层能够改变输入大小，具体需要多少层取决于输入大小和上下采样层的尺度参数。
本发明主要通过以下技术方案实现：
一种基于生成对抗网络的图片颜色变换方法，采用上述的变换装置进行，包括以下步骤：
步骤S100：收集包含随机颜色噪声的零件图片数据，并去除不需要的白边，形成训练数据集；
步骤S200：采用训练数据集对网络模型进行训练，每轮训练中首先训练判别器，然后将生成器输出的生成图片输入到判别器中，所述判别器给生成图片进行打分；
步骤S300：从添加了随机颜色噪声的训练数据集中提取颜色直方图信息，从没有添加随机颜色噪声的训练数据集中提取掩码信息；将颜色直方图信息和随机样式信息输入到生成器中并得到生成图片，所述生成图片的内容最后用掩码损失进行约束，使用优化器优化总损失值，直到训练迭代次数达到最大迭代次数，得到训练好的网络模型；
步骤S400：随机挑选目标图片，将图片裁剪成规定大小后，提取直方图颜色信息，将直方图颜色信息与随机生成的风格信息混合叠加，并输入训练后的生成器中，即可生成与目标图片颜色相近的零件图片。
为了更好地实现本发明，进一步地，所述步骤S300中，在提取颜色直方图信息时，将图片的颜色域转换到了对数色度空间，使用原本图像三通道中RGB中的某一通道作为基准，正则化其他两个通道，将RGB色度空间转换成了RGB-uv色度空间。
所述步骤S200中，需要在交替训练中先使用真实图片和生成图片来训练判别器，然后使用判别器给生成器生成的图片打出的分数来进行梯度下降训练生成器。生成器最后输入的两层的风格信息为从噪声样本中提取的颜色直方图信息，为了能够使得直方图信息更适合于梯度下降，我们将颜色域转换到了对数色度空间，使用原本图像三通道中RGB中的某一通道作为基准，正则化其他两个通道，将RGB色度空间转换成了RGB-uv色度空间。
例如，将R通道作为基准，那么像素x在对数色度空间中的u维度为：
Figure 100002_DEST_PATH_IMAGE002
像素x在对数色度空间中的v维度为：
Figure 19841DEST_PATH_IMAGE003
其中：IR(x)指像素x在R通道上的值，
IG(x)指像素x在G通道上的值，
IB(x)指像素x在B通道上的值，
Figure 100002_DEST_PATH_IMAGE004
为不小于0的微小常数，
直方图H为：
Figure 477368DEST_PATH_IMAGE005
其中，
Figure DEST_PATH_IMAGE006
其中：
Figure 104789DEST_PATH_IMAGE007
为以c（R,G,B）通道为基准的u维对数色度空间数据；
Figure DEST_PATH_IMAGE008
为以c（R,G,B）通道为基准的v维对数色度空间数据；
Figure 927252DEST_PATH_IMAGE009
为每个像素的强度；
c为通道；
k为核函数，且为高斯核。
为了更好地实现本发明，进一步地，所述步骤S200中，生成器的目标函数处理判别器给出的分数以外，还包括颜色损失C和mask损失M，其中颜色损失C的计算公式如下：
Figure DEST_PATH_IMAGE010
其中：Hg是生成图片直方颜色图信息，
Ht是目标图片直方图信息，
Hg与Ht做L2损失函数作为生成器的一项损失项；
mask损失M的计算公式如下：
Figure 256602DEST_PATH_IMAGE011
其中：mg是生成图像的掩码，
mt是目标图像的掩码，
L1为L1损失函数。
一种计算机可读存储介质，存储有计算机程序指令，所述程序指令被处理器执行时实现上述的图片颜色变换方法。
本发明将输入的风格信息通过线性层转换成隐性特征，再将训练图片和训练图片中提取的颜色直方图信息注入到生成器中，提供样式和颜色信息约束，然后通过输入判别器来识别训练图片和生成图片，重复以上过程直到判别器达到纳什均衡。本发明通过提取添加了随机颜色噪声的训练集中的颜色信息来注入到生成器中，设置相关的损失项，指导生成器来生成同一批零件不同颜色的图片，一定程度上缓解了工业生产中缺陷数据少的问题。
本发明的有益效果：
（1）本发明改善了工业检测行业中同型号但不同颜色零件样本数量不充足导致检测效率低下的问题；本发明利用将对数色度空间中的颜色信息注入生成对抗网络中，可以有效控制生成对抗网络生成数据的可控性；
（2）本发明能够针对采样设备中的零件结构进行颜色域的迁移，生成结构相同但是颜色不同的零件图片，生成的各种颜色的缺陷件样本供企业做缺陷件储备，降低开发人工成本和时间成本，同时一定程度上缓解了训练数据较少的问题，具有较好的实用性；
（3）本发明在添加了大量随机颜色噪声的训练图片中提取合成直方图，这样不仅解决了目标颜色单调的问题而且不需要接入外部颜色数据集，具有较好的实用性；
（4）本发明只将生成器的最后两个生成器块的风格输入信息替换为颜色直方图信息，不会影响生成图片的多样性，具有较好的实用性。
附图说明
图1为生成器块的结构示意图；
图2为判别器块的结构示意图；
图3为本发明网络模型的结构示意图；
图4为本发明网络模型的训练流程图。
具体实施方式
实施例1：
一种基于生成对抗网络的图片颜色变换装置，包括数据采集模块、训练模块、变换模块，所述数据采集模块用于收集零件图片数据，并形成训练数据集，所述训练数据集中添加了随机颜色噪声的训练图片；所述训练模块用于采用训练数据集训练网络模型得到训练后的网络模型；所述变换模块用于将待转换图片输入训练后的网络模型并输出颜色变换后的图片。
如图3所示，所述网络模型包括生成器和判别器，所述生成器用于生成符合训练数据分布的生成图片，将生成图片、真实图片分别输入判别器进行训练，所述判别器用于给生成图片打分，以进行梯度下降训练生成器；所述生成器包括从前至后依次连接的前端生成块、后端生成块，所述前端生成块包括干个依次串联的生成器块，所述后端生成块由依次串联的两个生成器块组成；随机噪声的信息以及随机样式信息分别输入到前端生成块的生成器块中，随机噪声的信息以及从训练数据集中提取合成的颜色直方图信息分别输入后端生成块的生成器块中；所述前端生成块用于提取外部风格信息并形成特征图且经过上采样后输入后端生产块；所述后端生成块用于在特征图中注入颜色直方图信息，并完成着色、上采样后输出生成图片。
本发明能够针对采样设备中的零件结构进行颜色域的迁移，生成结构相同但是颜色不同的零件图片，生成的各种颜色的缺陷件样本供企业做缺陷件储备，降低开发人工成本和时间成本，同时一定程度上缓解了训练数据较少的问题，具有较好的实用性。
实施例2：
本实施例是在实施例1的基础上进行优化，如图1所示，所述前端生成块、后端生成块的生成器块包括从前至后依次设置的若干个特征生成层以及着色层，所述特征生成层分别包括从前至后依次连接的卷积层和LeakyRelu激活函数层，所述卷积层用于融合输入的和外部提取的风格信息，且着色层用于融合输入的和外部提取的颜色信息；上一个生成器块的特征生成层经过上采样后作为下一个生成器块的特征生成层的输入，后端生成块的最后的生成器块的着色层的输出与特征生成层的输出相加并经过上采样层后输出生成图片。
进一步地，随机噪声依次经过平铺层、多全连接层组合块、全连接层处理后得到外部提取的风格信息；随机噪声经过全连接层处理后得到输入的风格信息。
进一步地，后端生成块的最后的生成器块的着色层的输出上添加有图片掩码层，所述图片掩码层用于去除图片中生成的背景噪音，且掩码来自随意图片。
本实施例的其他部分与实施例1相同，故不再赘述。
实施例3：
本实施例是在实施例1或2的基础上进行优化，如图2所示，所述判别器包括从前至后依次串联设置的判别器块，所述判别器块包括若干层从前至后依次串联设置的残差块，所述残差块包括残差卷积和卷积块，所述残差卷积用于提取输入的残差信息，所述卷积块的输出与残差卷积的输出相加并输入下采样层得到残差块的输出。
进一步地，所述卷积块由一个卷积层和一个LeakyRelu激活层的双重嵌套组成。
本实施例的其他部分与上述实施例1或2相同，故不再赘述。
实施例4：
一种基于生成对抗网络的图片颜色变换装置，如图3所示，包括生成器和判别器，所述生成器负责生成颜色变换后的图片，所述判别器负责甄别图片来自生成器或训练数据集。两者相互训练相互对抗，直到判别器无法甄别图片的来源。
如图1和图3所示，生成器由多个生成器块组成，每个生成器块都是由两个特征生成层、一个着色层组成，特征生成层由一个卷积层和一个LeakyRelu激活层组成，随机噪声通过展平之后输入到线性层转换后与特征生成层卷积的输出相加后通过激活层。着色层由一个卷积层组成。以上每个卷积都混合了一个通过线性层提取特征之后的外部风格信息，且卷积层不改变输入的大小。
如图3所示，每个生成器块负责读取一个风格信息，前面的风格信息都自由生成，生成器的最后两个生成器块的风格信息由从训练数据集中提取的颜色直方图信息来代替。生成器块由各个生成器块之间串行运行，每一个生成器块中第二个特征生成层的输出经过上采样后输入下一个生成器块，着色层的输出与上一个生成器块的输出相加后经过上采样作为图片输出。生成的图片输入到判别器中进行识别，判别器结构如图2所示，输出结果再利用梯度回传更新生成器的参数。
本发明从添加噪声的训练数据集中提取出颜色直方图信息，然后混合颜色直方图信息和随机风格信息，风格信息逐次注入到前面几个生成器块中，在前几层生成器块中提取外部风格信息后形成特征图后进行上采样，再将特征图输入到最后两个生成器块中，最后两个生成器块将会注入颜色直方图信息，在这两个生成器块中完成着色和上采样后输入生成图片。
本发明在实现过程中，首先使用初始化的生成器生成图片，然后混合训练图片输入判别器，进行判别器的训练。接着再把随机颜色直方图注入生成器来生成图片。生成器的损失函数中有三项，第一项是判别器给生成图片出的分数，第二项是生成图片颜色直方图和注入的随机颜色直方图的L2损失函数，第三项是生成图片掩码和随机训练图片掩码的L1损失函数。这些损失项能够约束该生成器生成逼真和高质量的颜色变换的零件图片。
训练好判别器和生成器后，随机挑选目标图片，将图片裁剪成规定大小后，提取对数色度空间的直方图颜色信息，将其与随机生成的风格信息混合叠加，输入生成器中，即可生成与目标图片颜色相近的零件图片。
在生成器中除了输入目标图片和噪声以外，不需要其他输入。目标图片是为了提供颜色信息，噪声是为了丰富图片细节。本发明旨在生成工业生产中同型号不同颜色的零件图片，方便检测模型的训练。本发明中生成图片具有由训练图片近似的结构，却带有不同颜色，为检测公司提供大量的数据储备。
实施例5：
一种基于生成对抗网络的图片颜色变换方法，如图4所示，采用上述的变换装置进行，包括以下步骤：
步骤S100：收集包含随机颜色噪声的零件图片数据，并去除不需要的白边，形成训练数据集；
步骤S200：采用训练数据集对网络模型进行训练，每轮训练中首先训练判别器，然后将生成器输出的生成图片输入到判别器中，所述判别器给生成图片进行打分；
步骤S300：从添加了随机颜色噪声的训练数据集中提取颜色直方图信息，从没有添加随机颜色噪声的训练数据集中提取掩码信息；将颜色直方图信息和随机样式信息输入到生成器中并得到生成图片，所述生成图片的内容最后用掩码损失进行约束，使用优化器优化总损失值，直到训练迭代次数达到最大迭代次数，得到训练好的网络模型；
步骤S400：随机挑选目标图片，将图片裁剪成规定大小后，提取直方图颜色信息，将直方图颜色信息与随机生成的风格信息混合叠加，并输入训练后的生成器中，即可生成与目标图片颜色相近的零件图片。
进一步地，所述步骤S300中，在提取颜色直方图信息时，将图片的颜色域转换到了对数色度空间，使用原本图像三通道中RGB中的某一通道作为基准，正则化其他两个通道，将RGB色度空间转换成了RGB-uv色度空间。
例如，将R通道作为基准，那么像素x在对数色度空间中的u维度为：
Figure DEST_PATH_IMAGE012
像素x在对数色度空间中的v维度为：
Figure 19284DEST_PATH_IMAGE013
其中：IR(x)指像素x在R通道上的值，
IG(x)指像素x在G通道上的值，
IB(x)指像素x在B通道上的值，
Figure 688163DEST_PATH_IMAGE004
为不小于0的微小常数，
直方图H为：
Figure 743843DEST_PATH_IMAGE005
其中，
Figure 498173DEST_PATH_IMAGE006
其中：
Figure 235184DEST_PATH_IMAGE007
为以c（R,G,B）通道为基准的u维对数色度空间数据；
Figure 571619DEST_PATH_IMAGE008
为以c（R,G,B）通道为基准的v维对数色度空间数据；
Figure DEST_PATH_IMAGE014
为每个像素的强度；
c为通道；
k为核函数，且为高斯核。
进一步地，所述步骤S200中，生成器的目标函数处理判别器给出的分数以外，还包括颜色损失C和mask损失M，其中颜色损失C的计算公式如下：
Figure 1463DEST_PATH_IMAGE015
其中：Hg是生成图片直方颜色图信息，Ht是目标图片直方图信息，两者做L2损失函数作为生成器的一项损失项。
mask损失M的计算公式如下，
Figure DEST_PATH_IMAGE016
其中mg是生成图像的掩码，mt是目标图像的掩码，L1为L1损失函数。由于以上提到的C损失项会让生成图片和训练图片的颜色相近，在工业图片中留白部分也会变色，为了提高生成图片的质量，我们使用mask损失函数规定了图片中颜色变化的范围。
本发明将输入的风格信息通过线性层转换成隐性特征，再将训练图片和训练图片中提取的颜色直方图信息注入到生成器中，提供样式和颜色信息约束，然后通过输入判别器来识别训练图片和生成图片，重复以上过程直到判别器达到纳什均衡。本发明通过提取添加了随机颜色噪声的训练集中的颜色信息来注入到生成器中，设置相关的损失项，指导生成器来生成同一批零件不同颜色的图片，一定程度上缓解了工业生产中缺陷数据少的问题。
本发明能够针对采样设备中的零件结构进行颜色域的迁移，生成结构相同但是颜色不同的零件图片，生成的各种颜色的缺陷件样本供企业做缺陷件储备，降低开发人工成本和时间成本，同时一定程度上缓解了训练数据较少的问题，具有较好的实用性。
实施例5：
一种基于生成对抗网络的图片颜色变换方法，采用上述的变换装置进行，如图4所示，包括以下步骤：
步骤1：收集零件图片数据，去除不需要的白边以提高训练速度，收集到的数据集不需要进行标注，但是需要统一大小尺寸，得到训练数据集。
步骤2：设置好训练相关的超参数。初始化生成器输入和权重参数。
步骤3：采用步骤1中收集到的训练数据集对网络模型行进训练，每轮训练中首先训练判别器，然后用生成器生成的图片输入到判别器中给出分数，从添加了随机颜色噪声的训练数据集中提取颜色直方图信息和从没有添加随机颜色噪声的训练数据集中提取掩码信息，将颜色直方图信息和随机样式信息输入到生成器中去生成图片，图片内容最后用掩码损失进行约束，使用优化器优化总损失值，直到训练迭代次数达到最大迭代次数。
步骤4：为了生成指定颜色的零件图片，将符合颜色要求的图片输入生成器，生成器转换图片为颜色直方图信息到网络中，最后输出生成图片。
本发明旨在解决工业检测行业中同型号但不同颜色零件样本数量不充足而导致检测效率低下的问题，普通RGB颜色空间的直方图难以使用神经网络进行梯度下降来训练，本发明将颜色直方图信息经过指数色度空间转换后注入到生成对抗网络中，用来进行注入的颜色直方图信息和最后生成图片中提取出来的颜色直方图信息应该相差无几，我们通过平方差损失来计算二者之间的距离，二者之间平方差越小说明二者的颜色信息越接近，通过生成器将颜色信息和风格信息混合，不仅改变了零件的颜色，而且通过生成器和判别器的对抗博弈，使得生成的图片难以分辨真假。同时有些零件在图片中像素占比可能仅仅只达到30%左右，存在大量留白，生成器为了满足颜色直方图损失，不得不将颜色留白转换为其他颜色，从而影响生成的质量，所以我们设置掩码损失来框定改变颜色的区域，通过梯度下降算法优化总的损失值。
本发明将输入的风格信息通过线性层转换成隐性特征，再将训练图片和训练图片中提取的颜色直方图信息注入到生成器中，提供样式和颜色信息约束，然后通过输入判别器来识别训练图片和生成图片，重复以上过程直到判别器达到纳什均衡。本发明通过提取添加了随机颜色噪声的训练集中的颜色信息来注入到生成器中，设置相关的损失项，指导生成器来生成同一批零件不同颜色的图片，一定程度上缓解了工业生产中缺陷数据少的问题。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (10)

1.一种基于生成对抗网络的图片颜色变换装置，其特征在于，包括数据采集模块、训练模块、变换模块，所述数据采集模块用于收集零件图片数据，并形成训练数据集，所述训练数据集中添加了随机颜色噪声的训练图片；所述训练模块用于采用训练数据集训练网络模型得到训练后的网络模型；所述变换模块用于将待转换图片输入训练后的网络模型并输出颜色变换后的图片；
所述网络模型包括生成器和判别器，所述生成器用于生成符合训练数据分布的生成图片，所述判别器用于给生成图片打分，以进行梯度下降训练生成器；所述生成器包括从前至后依次连接的前端生成块、后端生成块，所述前端生成块包括若干个依次串联的生成器块，所述后端生成块由依次串联的两个生成器块组成；随机噪声的信息以及随机样式信息分别输入到前端生成块的生成器块中，随机噪声的信息以及从训练数据集中提取合成的颜色直方图信息分别输入后端生成块的生成器块中；所述前端生成块用于提取随机样式信息并形成特征图且经过上采样后输入后端生产块；所述后端生成块用于在特征图中注入颜色直方图信息，并完成着色、上采样后输出生成图片。
2.根据权利要求1所述的一种基于生成对抗网络的图片颜色变换装置，其特征在于，所述前端生成块、后端生成块的生成器块包括从前至后依次设置的若干个特征生成层以及着色层，所述特征生成层分别包括从前至后依次连接的卷积层和LeakyRelu激活函数层，所述卷积层用于融合输入的和外部提取的随机样式信息，且着色层用于融合输入的和外部提取的颜色信息；上一个生成器块的特征生成层经过上采样后作为下一个生成器块的特征生成层的输入，后端生成块的最后的生成器块的着色层的输出与特征生成层的输出相加并经过上采样层后输出生成图片。
3.根据权利要求2所述的一种基于生成对抗网络的图片颜色变换装置，其特征在于，随机噪声依次经过平铺层、多全连接层组合块、全连接层处理后得到外部提取的随机样式信息；随机噪声经过全连接层处理后得到输入的随机样式信息。
4.根据权利要求2所述的一种基于生成对抗网络的图片颜色变换装置，其特征在于，后端生成块的最后的生成器块的着色层的输出上添加有图片掩码层，所述图片掩码层用于去除图片中生成的背景噪音，且掩码来自随意图片。
5.根据权利要求1-4任一项所述的一种基于生成对抗网络的图片颜色变换装置，其特征在于，所述判别器包括从前至后依次串联设置的判别器块，所述判别器块包括若干层从前至后依次串联设置的残差块，所述残差块包括残差卷积和卷积块，所述残差卷积用于提取输入的残差信息，所述卷积块的输出与残差卷积的输出相加并输入下采样层得到残差块的输出。
6.根据权利要求5所述的一种基于生成对抗网络的图片颜色变换装置，其特征在于，所述卷积块由一个卷积层和一个LeakyRelu激活层的双重嵌套组成。
7.一种基于生成对抗网络的图片颜色变换方法，采用权利要求1-6任一项所述的变换装置进行，其特征在于，包括以下步骤：
步骤S100：收集包含随机颜色噪声的零件图片数据，并去除不需要的白边，形成训练数据集；
步骤S200：采用训练数据集对网络模型进行训练，每轮训练中首先训练判别器，然后将生成器输出的生成图片输入到判别器中，所述判别器给生成图片进行打分；
步骤S300：从添加了随机颜色噪声的训练数据集中提取颜色直方图信息，从没有添加随机颜色噪声的训练数据集中提取掩码信息；将颜色直方图信息和随机样式信息输入到生成器中并得到生成图片，所述生成图片的内容最后用掩码损失进行约束，使用优化器优化总损失值，直到训练迭代次数达到最大迭代次数，得到训练好的网络模型；
步骤S400：随机挑选目标图片，将图片裁剪成规定大小后，提取直方图颜色信息，将直方图颜色信息与随机生成的随机样式信息混合叠加，并输入训练后的生成器中，即可生成与目标图片颜色相近的零件图片。
8.根据权利要求7所述的一种基于生成对抗网络的图片颜色变换方法，其特征在于，所述步骤S300中，在提取颜色直方图信息时，将图片的颜色域转换到了对数色度空间，使用原本图像三通道中RGB中的某一通道作为基准，正则化其他两个通道，将RGB色度空间转换成了RGB-uv色度空间。
9.根据权利要求7所述的一种基于生成对抗网络的图片颜色变换方法，其特征在于，所述步骤S200中，生成器的目标函数处理判别器给出的分数以外，还包括颜色损失C和mask损失M，其中颜色损失C的计算公式如下：
Figure DEST_PATH_IMAGE002
其中：Hg是生成图片直方颜色图信息，
Ht是目标图片直方图信息，
Hg与Ht做L2损失函数作为生成器的一项损失项；
mask损失M的计算公式如下：
Figure DEST_PATH_IMAGE004
其中：mg是生成图像的掩码，
mt是目标图像的掩码，
L1为L1损失函数。
10.一种计算机可读存储介质，存储有计算机程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求7-9任一项所述的图片颜色变换方法。
CN202111466370.0A 2021-12-03 2021-12-03 基于生成对抗网络的图片颜色变换装置、方法和存储介质 Active CN113870371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111466370.0A CN113870371B (zh) 2021-12-03 2021-12-03 基于生成对抗网络的图片颜色变换装置、方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111466370.0A CN113870371B (zh) 2021-12-03 2021-12-03 基于生成对抗网络的图片颜色变换装置、方法和存储介质

Publications (2)

Publication Number Publication Date
CN113870371A CN113870371A (zh) 2021-12-31
CN113870371B true CN113870371B (zh) 2022-02-15

Family

ID=78985710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111466370.0A Active CN113870371B (zh) 2021-12-03 2021-12-03 基于生成对抗网络的图片颜色变换装置、方法和存储介质

Country Status (1)

Country Link
CN (1) CN113870371B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187380B (zh) * 2022-02-17 2022-05-31 杭州并坚科技有限公司 基于视觉显著性和通道注意力机制的色彩传递方法
CN116797446A (zh) * 2022-03-17 2023-09-22 中国移动通信有限公司研究院 一种数据处理方法、装置及设备
CN115661134B (zh) * 2022-12-08 2023-03-21 浙江霖研精密科技有限公司 基于生成对抗网络的缺陷样本生成系统、方法和存储介质
CN116011556A (zh) * 2022-12-29 2023-04-25 南京硅基智能科技有限公司 一种训练音频编解码器的系统和方法
CN116822623B (zh) * 2023-08-29 2024-01-12 苏州浪潮智能科技有限公司 一种生成对抗网络联合训练方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020028382A1 (en) * 2018-07-30 2020-02-06 Memorial Sloan Kettering Cancer Center Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy
CN110853110A (zh) * 2019-09-20 2020-02-28 杭州火烧云科技有限公司 一种基于生成对抗网络的图片自动调色方法
CN112561782A (zh) * 2020-12-15 2021-03-26 哈尔滨工程大学 一种提高海上场景仿真图片真实度的方法
CN112862792A (zh) * 2021-02-21 2021-05-28 北京工业大学 一种用于小样本图像数据集的小麦白粉病孢子分割方法
CN112991371A (zh) * 2021-04-20 2021-06-18 云南大学 一种基于着色溢出约束的图像自动着色方法及系统
CN113112399A (zh) * 2021-05-06 2021-07-13 上海大学 一种服装换色方法
CN113222875A (zh) * 2021-06-01 2021-08-06 浙江大学 一种基于色彩恒常性的图像和谐化合成方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778928B (zh) * 2016-12-21 2020-08-04 广州华多网络科技有限公司 图像处理方法及装置
CN108830912B (zh) * 2018-05-04 2021-04-16 北京航空航天大学 一种深度特征对抗式学习的交互式灰度图像着色方法
CN108364270B (zh) * 2018-05-22 2020-11-06 北京理工大学 偏色图像颜色还原方法及装置
CN108711138B (zh) * 2018-06-06 2022-02-11 北京印刷学院 一种基于生成对抗网络的灰度图片彩色化方法
CN109859288B (zh) * 2018-12-25 2023-01-10 苏州飞搜科技有限公司 基于生成对抗网络的图像上色方法及装置
CN110223359B (zh) * 2019-05-27 2020-11-17 浙江大学 一种基于生成对抗网络的双阶段多配色线稿上色模型及其构建方法和应用
US11544928B2 (en) * 2019-06-17 2023-01-03 The Regents Of The University Of California Athlete style recognition system and method
CN110458906B (zh) * 2019-06-26 2024-03-15 广州大鱼创福科技有限公司 一种基于深度颜色迁移的医学图像着色方法
CN110675403B (zh) * 2019-08-30 2022-05-03 电子科技大学 一种基于编码辅助信息的多实例图像分割方法
CN112837215B (zh) * 2021-03-31 2022-10-18 电子科技大学 一种基于生成对抗网络的图像形状变换方法
CN113724354B (zh) * 2021-09-06 2023-10-13 浙江大学 基于参考图颜色风格的灰度图像着色方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020028382A1 (en) * 2018-07-30 2020-02-06 Memorial Sloan Kettering Cancer Center Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy
CN110853110A (zh) * 2019-09-20 2020-02-28 杭州火烧云科技有限公司 一种基于生成对抗网络的图片自动调色方法
CN112561782A (zh) * 2020-12-15 2021-03-26 哈尔滨工程大学 一种提高海上场景仿真图片真实度的方法
CN112862792A (zh) * 2021-02-21 2021-05-28 北京工业大学 一种用于小样本图像数据集的小麦白粉病孢子分割方法
CN112991371A (zh) * 2021-04-20 2021-06-18 云南大学 一种基于着色溢出约束的图像自动着色方法及系统
CN113112399A (zh) * 2021-05-06 2021-07-13 上海大学 一种服装换色方法
CN113222875A (zh) * 2021-06-01 2021-08-06 浙江大学 一种基于色彩恒常性的图像和谐化合成方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Corentin Hardy等.MD-GAN: Multi-Discriminator Generative Adversarial Networks for Distributed Datasets.《arXiv:1811.03850v2》.2019,第1-12页. *
Wei Li等.His-GAN: A histogram-based GAN model to improve data generation quality.《Neural Networks》.2019,第119卷第31-45页. *
肖雨璇.基于语义引导的循环一致对抗图像自动着色.《中国优秀硕士学位论文全文数据库 信息科技辑》.2020,(第（2020）12期),I138-335. *
马远博.基于生成对抗网络的零样本学习.《万方数据》.2021,第1-74页. *

Also Published As

Publication number Publication date
CN113870371A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
CN113870371B (zh) 基于生成对抗网络的图片颜色变换装置、方法和存储介质
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
WO2021134871A1 (zh) 基于局部二值模式和深度学习的合成人脸图像取证方法
CN113642621B (zh) 基于生成对抗网络的零样本图像分类方法
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN109741328A (zh) 一种基于生成式对抗网络的汽车表观质量检测方法
CN106127702A (zh) 一种基于深度学习的图像去雾算法
US20210065367A1 (en) Automatic abnormal cell recognition method based on image splicing
CN108108751A (zh) 一种基于卷积多特征和深度随机森林的场景识别方法
CN107016415A (zh) 一种基于全卷积网络的彩色图像色彩语义分类方法
CN108615228A (zh) 基于混合神经网络的人脸图像补全方法
CN113724354B (zh) 基于参考图颜色风格的灰度图像着色方法
CN109376753A (zh) 一种稠密连接的三维空谱分离卷积深度网络及构建方法
CN111311702B (zh) 一种基于BlockGAN的图像生成和识别模块及方法
CN112132196A (zh) 一种结合深度学习和图像处理的烟盒缺陷识别方法
CN112329771A (zh) 一种基于深度学习的建筑材料样本识别方法
CN116310548A (zh) 一种进口种子产品中的入侵植物种子检测方法
CN116912674A (zh) 基于改进的YOLOv5s网络模型复杂水环境下目标检测方法及系统
CN112598055B (zh) 头盔佩戴检测方法、计算机可读存储介质和电子设备
CN109902751A (zh) 一种融合卷积神经网络和半字模板匹配的表盘数字字符识别方法
CN116258917B (zh) 一种基于tf-idf转移熵的恶意软件分类方法及装置
CN116935043A (zh) 一种基于多任务生成对抗网络的典型地物遥感图像生成方法
Cui Research on garden landscape reconstruction based on geographic information system under the background of deep learning
CN115909405A (zh) 一种基于YOLOv5的人物交互检测方法
CN115018729A (zh) 一种面向内容的白盒图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant