CN114529788A - 工业检测中的样本生成方法、样本生成装置 - Google Patents

工业检测中的样本生成方法、样本生成装置 Download PDF

Info

Publication number
CN114529788A
CN114529788A CN202210436230.7A CN202210436230A CN114529788A CN 114529788 A CN114529788 A CN 114529788A CN 202210436230 A CN202210436230 A CN 202210436230A CN 114529788 A CN114529788 A CN 114529788A
Authority
CN
China
Prior art keywords
image
reward
foreground
background
cgan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210436230.7A
Other languages
English (en)
Inventor
张焱
张志琦
赵何
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zhiyun Tiangong Technology Co ltd
Original Assignee
Jiangsu Zhiyun Tiangong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Zhiyun Tiangong Technology Co ltd filed Critical Jiangsu Zhiyun Tiangong Technology Co ltd
Priority to CN202210436230.7A priority Critical patent/CN114529788A/zh
Publication of CN114529788A publication Critical patent/CN114529788A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/053—Detail-in-context presentations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及工业检测技术领域，提供一种工业检测中的样本生成方法、样本生成装置，所述方法包括：控制绘制工具在待绘制图像上以第一笔触绘制背景图像，以得到第一图像；获取目标图像的语义图，控制绘制工具根据语义图采用第二笔触在第一图像的基础上绘制前景图像，以得到第二图像；通过第一图像对第一CGAN网络进行训练，以输出背景奖励；通过第二图像对第二CGAN网络进行训练，以输出前景奖励；背景奖励与前景奖励满足设定要求，则完成智能体的训练；通过训练后的智能体生成样本。本发明通过不同的笔触分别绘制前景图像和背景图像，增强了前景中实例的关注，使每次绘制的结果更加接近真实的目标图像，进而可以准确生成所需的工业样本数据。

Description

工业检测中的样本生成方法、样本生成装置
技术领域
本发明涉及工业检测技术领域，具体涉及一种工业检测中的样本生成方法、一种工业检测中的样本生成装置。
背景技术
工业计算机视觉任务主要有：定位、检测、分割、分类，通常是软硬件相结合的方式。以工业质检为例，硬件部分通过机械臂或者其他抓取工具将待检测物体放在固定位置，然后通过光学相机进行图像采集，再通过训练后的模型进行目标识别。
其中，样本数量是整个模型训练中的关键问题，然而工业现场中样本的数量本身就少，且类型单一，从而导致训练后的模型识别效果不佳的问题，所以样本生成技术在工业质检领域也有广泛的应用。
相关技术中，样本生成技术一般采用人工伪造的方法，人工伪造就是利用工具，通过物理方法，去模拟生成带缺陷的样本，但这种方法，极大的消耗人力，物力，同时仿造出来的缺陷数量有限。另外，虽然有利用GAN（Generative Adversarial Networks，生成对抗网络）的方式进行样本生成，但是该方式生成的图像不够真实，从而带来工业质检效果差、准确度低的问题。
发明内容
为解决上述技术问题，本发明的第一个目的在于提出一种工业检测中的样本生成方法，在样本生成中使用语义图来区别前景和背景之间的特征，通过不同的笔触分别绘制前景图像和背景图像，为每个笔触分配一个特殊的奖励，每绘制一次都会受到CGAN（Conditional Generative Adversarial Networks，条件生成式对抗网络）的奖励与惩罚，增强了对每个前景中实例的关注，使每次绘制的结果更加接近真实的目标图像，进而可以高效地进行大规模的样本生成任务，有利于提高工业质检的准确度，保证质检效果。
本发明的第二个目的在于提出一种工业检测中的样本生成装置。
本发明采用的技术方案如下：
本发明第一方面的实施例提出了一种工业检测中的样本生成方法，包括以下步骤：步骤S1，输入待绘制图像和目标图像，所述待绘制图像初始状态为空白图像，所述目标图像包括标签和位置；步骤S2，控制绘制工具在所述待绘制图像上以第一笔触绘制背景图像，以得到第一图像；步骤S3，获取所述目标图像的语义图，控制所述绘制工具根据所述语义图采用第二笔触在所述第一图像的基础上绘制前景图像，以得到第二图像；步骤S4，根据所述第一图像对第一CGAN网络进行训练，以使所述第一CGAN网络根据第一奖惩机制输出所述第一图像与所述目标图像之间的背景奖励；步骤S5，根据所述第二图像对第二CGAN网络进行训练，以使所述第二CGAN网络根据第二奖惩机制输出所述第二图像与所述目标图像的语义图之间前景奖励；步骤S6，判断所述背景奖励与所述前景奖励是否满足设定要求；步骤S7，如果所述背景奖励与所述前景奖励满足设定要求，则完成所述绘制工具、所述第一CGAN网络和所述第二CGAN网络构成的智能体的训练；步骤S8，通过训练后的智能体生成样本。
本发明上述提出的工业检测中的样本生成方法还可以具有如下附加技术特征：
根据本发明的一个实施例，所述第二图像的表达式如下：
Figure 132774DEST_PATH_IMAGE001
Figure 198950DEST_PATH_IMAGE002
；
其中，
Figure 906199DEST_PATH_IMAGE003
表示第二图像的背景，
Figure 406843DEST_PATH_IMAGE004
表示所述第二图像的向量，
Figure 317293DEST_PATH_IMAGE005
表示目标图 像的语义图，
Figure 517768DEST_PATH_IMAGE006
表示第二笔触，
Figure 984915DEST_PATH_IMAGE007
表示采用第二笔触进行绘制，
Figure 949853DEST_PATH_IMAGE008
表示矩阵对应元素 相乘，
Figure 13229DEST_PATH_IMAGE009
表示彩色绘制，
Figure 306195DEST_PATH_IMAGE010
表示第一笔触，
Figure 161719DEST_PATH_IMAGE011
表示第一图像的向量，
Figure 325371DEST_PATH_IMAGE012
表示采用第一 笔触进行绘制。
根据本发明的一个实施例，所述背景奖励和所述前景奖励分别为：
Figure 125094DEST_PATH_IMAGE013
Figure 681188DEST_PATH_IMAGE014
；
其中，
Figure 772029DEST_PATH_IMAGE015
代表背景奖励，
Figure 898510DEST_PATH_IMAGE016
代表前景奖励，
Figure 998360DEST_PATH_IMAGE017
表示通过第一CGAN网络的判别 器分数计算奖励，
Figure 339DEST_PATH_IMAGE018
表示通过第二CGAN网络的判别器分数计算奖励，
Figure 347400DEST_PATH_IMAGE019
表示目标图 像。
根据本发明的一个实施例，上述的样本生成方法还包括：将所述目标图像的语义图和所述第二图像输入神经网络模型中，以提取第二图像的前景图像和目标图像的语义图的前景图像；将所述第二图像的前景图像、目标图像的语义图的前景图像输入所述第二CGAN网络进行训练，以使所述第二CGAN网络根据第二奖惩机制输出所述第二图像与所述目标图像的语义图之间前景奖励。
根据本发明的一个实施例，所述第一CGAN网络和所述第二CGAN网络通过反向传播算法进行梯度下降，且所述第二CGAN网络采用特征引导反向传播图缩放的方式进行反向传播。
本发明第二方面的实施例提出了一种工业检测中的样本生成装置，包括：绘制工具，所述绘制工具用于在待绘制图像上以第一笔触绘制背景图像，以得到第一图像，以及，根据目标图像的语义图采用第二笔触在所述第一图像的基础上绘制前景图像，以得到第二图像，所述待绘制图像初始状态为空白图像，所述目标图像包括标签和位置；第一CGAN网络，所述第一CGAN网络用于根据所述第一图像进行训练，以根据第一奖惩机制输出所述第一图像与所述目标图像之间的背景奖励；第二CGAN网络，所述第二CGAN网络用于根据所述第二图像进行训练，以根据第二奖惩机制输出所述第二图像与所述目标图像的语义图之间前景奖励；判断模块，所述判断模块用于判断所述背景奖励与所述前景奖励是否满足设定要求；生成模块，所述生成模块用于在所述背景奖励与所述前景奖励满足设定要求时，完成所述绘制工具、所述第一CGAN网络和所述第二CGAN网络构成的智能体的训练，并通过训练后的智能体生成样本。
本发明上述提出的工业检测中的样本生成装置还可以具有如下附加技术特征：
根据本发明的一个实施例，所述第二图像的表达式如下：
Figure 995898DEST_PATH_IMAGE020
Figure 825839DEST_PATH_IMAGE021
其中，
Figure 564381DEST_PATH_IMAGE003
表示第二图像的背景，
Figure 391830DEST_PATH_IMAGE022
表示所述第二图像的向量，
Figure 679854DEST_PATH_IMAGE023
表示目标图 像的语义图，
Figure 602067DEST_PATH_IMAGE024
表示第二笔触，
Figure 482034DEST_PATH_IMAGE025
表示采用第二笔触进行绘制，
Figure 108581DEST_PATH_IMAGE026
表示矩阵对应元素 相乘，
Figure 719953DEST_PATH_IMAGE027
表示彩色绘制，
Figure 348819DEST_PATH_IMAGE028
表示第一笔触，
Figure 576800DEST_PATH_IMAGE029
表示第一图像的向量，
Figure 538196DEST_PATH_IMAGE030
表示采用第一 笔触进行绘制。
根据本发明的一个实施例，第一CGAN网络和第二CGAN网络分别根据以下公式输出所述背景奖励和所述前景奖励：
Figure 313996DEST_PATH_IMAGE031
Figure 686334DEST_PATH_IMAGE032
；
其中，
Figure 637497DEST_PATH_IMAGE033
代表背景奖励，
Figure 597057DEST_PATH_IMAGE034
代表前景奖励，
Figure 368309DEST_PATH_IMAGE035
表示通过第一CGAN网络的判别 器分数计算奖励，
Figure 645969DEST_PATH_IMAGE036
表示通过第二CGAN网络的判别器分数计算奖励，
Figure 350007DEST_PATH_IMAGE037
表示目标图 像。
根据本发明的一个实施例，上述的样本生成装置还包括：神经网络模型，所述神经网络模型用于根据所述目标图像的语义图和所述第二图像，提取第二图像的前景图像和目标图像的语义图的前景图像，并将所述第二图像的前景图像、目标图像的语义图的前景图像输入所述第二CGAN网络进行训练，以使所述第二CGAN网络根据第二奖惩机制输出所述第二图像与所述目标图像的语义图之间前景奖励。
根据本发明的一个实施例，所述第一CGAN网络和所述第二CGAN网络通过反向传播算法进行梯度下降，且所述第二CGAN网络采用特征引导反向传播图缩放的方式进行反向传播。
本发明的有益效果：
1、本发明在样本生成中使用语义图来区别前景和背景之间的特征，通过不同的笔触分别绘制前景图像和背景图像，为每个笔触分配一个特殊的奖励，每绘制一次都会受到CGAN的奖励与惩罚，增强了对每个前景中实例的关注，使每次绘制的结果更加接近真实的目标图像，进而可以高效地进行大规模的样本生成任务，有利于提高工业质检的准确度，保证质检效果。
2、在绘制过程引入了神经网络模型来减少模型，该模型联合了目标位置和空间转换网络，将真实图像中的前景与绘制图像的前景提取出来进行计算相似程度，并计算相应前景奖励，从而为判别器提供更加标准化的输入，减少模型的计算量的同时增加了生成图像的精确度。
3、在反向传播过程中加入了特征导向反向传播，它可以更加关注前景实例和图像特征，使得智能体在提取全局信息的基础上更加注重局部信息，生成具有较强细节的图像。
附图说明
图1是根据本发明一个实施例的工业检测中的样本生成方法的流程图；
图2是根据本发明一个实施例的工业检测中的样本生成方法的原理示意图；
图3是根据本发明一个实施例的工业检测中的样本生成装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据本发明一个实施例的工业检测中的样本生成方法的流程图。如图1所示，该方法包括以下步骤：
步骤S1，输入待绘制图像和目标图像，待绘制图像初始状态为空白图像，目标图像包括标签和位置。
具体地，待绘制图像的初始状态为空白图像，目标图像为真实标签图像，为想要绘制成的图像。
步骤S2，控制绘制工具在待绘制图像上以第一笔触绘制背景图像，以得到第一图像。
步骤S3，获取目标图像的语义图，控制绘制工具根据语义图采用第二笔触在第一图像的基础上绘制前景图像，以得到第二图像。
根据本发明的一个实施例，第二图像的表达式如下：
Figure 2007DEST_PATH_IMAGE038
Figure 363849DEST_PATH_IMAGE039
其中，
Figure 641771DEST_PATH_IMAGE003
表示第二图像的背景，
Figure 82373DEST_PATH_IMAGE040
表示第二图像的向量，
Figure 873085DEST_PATH_IMAGE041
表示目标图像的 语义图，
Figure 168063DEST_PATH_IMAGE042
表示第二笔触，
Figure 397312DEST_PATH_IMAGE043
表示采用第二笔触进行绘制，
Figure 736328DEST_PATH_IMAGE044
表示矩阵对应元素相乘，
Figure 86056DEST_PATH_IMAGE045
表示彩色绘制，
Figure 639852DEST_PATH_IMAGE046
表示第一笔触，
Figure 243266DEST_PATH_IMAGE047
表示第一图像的向量，
Figure 600736DEST_PATH_IMAGE048
表示采用第一笔触进 行绘制。
步骤S4，根据第一图像对第一CGAN网络进行训练，以使第一CGAN网络根据第一奖惩机制输出第一图像与目标图像之间的背景奖励。
进一步地，在本发明的一个实施例中，背景奖励和前景奖励分别为：
Figure 721532DEST_PATH_IMAGE031
Figure 492566DEST_PATH_IMAGE049
其中，
Figure 278599DEST_PATH_IMAGE050
代表背景奖励，
Figure 164778DEST_PATH_IMAGE051
代表前景奖励，
Figure 682740DEST_PATH_IMAGE052
表示通过第一CGAN网络的判别 器分数计算奖励，
Figure 839440DEST_PATH_IMAGE053
表示通过第二CGAN网络的判别器分数计算奖励，
Figure 648303DEST_PATH_IMAGE054
表示目标图 像。
步骤S5，根据第二图像对第二CGAN网络进行训练，以使第二CGAN网络根据第二奖惩机制输出第二图像与目标图像的语义图之间前景奖励。
步骤S6，判断背景奖励与前景奖励是否满足设定要求。如果背景奖励与前景奖励满足设定要求，则执行步骤S7；如果背景奖励或前景奖励不满足设定要求，则返回步骤S2。
步骤S7，完成绘制工具、第一CGAN网络和第二CGAN网络构成的智能体的训练。
步骤S8，通过训练后的智能体生成样本。
具体地，如图2所示，输入一张待绘制图像和对应的目标图像，然后控制绘制工具 （网络
Figure 506931DEST_PATH_IMAGE055
）采取绘制动作（相当于一个action），绘制工具通过不同的笔触关注不同的语义区 域，用于绘制图像背景与前景的笔触会有不同的分布，笔触在网络是通过一个1*13的向量 实现的，前十个变量分别是位置、形状、透明度等，后三个变量表示rgb（红-绿-蓝）颜色信 息。
本发明中，先采用第一笔触
Figure 31847DEST_PATH_IMAGE056
在待绘制图像进行一次绘制动作绘制背景图像，待 绘制图像的背景图像的状态发生改变，待绘制图像变为第一图像，第一图像的状态（向量） 为
Figure 585930DEST_PATH_IMAGE057
，将第一图像输入第一CGAN网络，第一CGAN网络可以根据第一图像和目标图像进行训 练，第一CGAN网络的判别器根据第一奖惩机制计算目标图像与第一图像之间的相似程度以 输出第一图像与目标图像之间的背景奖励
Figure 265828DEST_PATH_IMAGE058
。
在采用第一笔触
Figure 678662DEST_PATH_IMAGE056
在待绘制图像进行一次绘制动作绘制背景图像后，还需控制 绘制工具在第一图像的基础上进行第二次绘制，具体先获取目标图像的语义图，以根据语 义图区别前景和背景之间的特征，然后根据目标图像的语义图在第一图像的基础上采用第 二笔触
Figure 256536DEST_PATH_IMAGE059
在第一图像上进行一次绘制动作绘制前景图像，第一图像的状态发生改变，生成 第二图像，第二图像的状态（向量）为
Figure 902675DEST_PATH_IMAGE060
，然后将第二图像输入至第二CGAN网络进行训练， 第二CGAN网络的判别器根据第二奖惩机制计算目标图像语义图的前景图像与第二图像之 间的相似程度以输出第二图像与目标图像的语义图之间前景奖励
Figure 155406DEST_PATH_IMAGE061
。
前景奖励
Figure 237894DEST_PATH_IMAGE062
与背景奖励
Figure 120924DEST_PATH_IMAGE063
可以为【0，10】之间的数值，每绘制一次，都会受到CGAN 的奖励与惩罚，并输出相应的奖励值。整个网络（绘制工具、第一CGAN网络和第二CGAN网络） 相当于一个智能体，深度强化学习在训练智能体的过程中学习的是policyπ函数，该函数可 以指导智能体在当前环境中做下一步动作，并与环境进行交互，得到下一步的奖励。训练停 止时间通常通过设置指定的步数来确定，当奖励最终收敛到一定程度也可以停止训练。
本发明的一个具体实施例中，根据背景奖励与前景奖励是否满足设定要求判断是否完成训练，如果背景奖励与前景奖励满足设定要求，说明绘制的图像与目标图像的相似度达到要求，完成智能体的训练，如果背景奖励或前景奖励不满足设定要求，则继续控制绘制工具进行双层绘制，直至达到设定要求。
完成智能体训练后，通过自然样本或者良品进行测试，即可生成所需的样本数据。对于工业检测中的缺陷样本生成，可以对收集的不均衡缺陷样本数据集进行智能体训练与测试，并通过得到的智能体推理出良品生成的缺陷样本结果。
由此，在样本生成中使用语义图来区别前景和背景之间的特征，通过不同的笔触分别绘制前景图像和背景图像，为每个笔触分配一个特殊的奖励，每绘制一次都会受到CGAN的奖励与惩罚，增强了对每个前景中实例的关注，使每次绘制的结果更加接近真实的目标图像，进而可以高效地进行大规模的样本生成任务，有利于提高工业质检的准确度，保证质检效果。
根据本发明的一个实施例，上述的工业检测中的样本生成方法还可以包括：将目标图像的语义图和第二图像输入神经网络模型中，以提取第二图像的前景图像和目标图像的语义图的前景图像；将第二图像的前景图像、目标图像的语义图的前景图像输入第二CGAN网络进行训练，以使第二CGAN网络根据第二奖惩机制输出第二图像与目标图像的语义图之间前景奖励。
具体地，在计算前景奖励
Figure 870836DEST_PATH_IMAGE064
时，其准确性在很大程度上取决于第二CGAN的判别器 获取目标图像的语义图中前景图像与当待绘制图像状态之间的相似程度。然而，输入到 CGAN判别器的标签位置和大小不同，那么判定的方差就会很大，对真实世界更为复杂的数 据集有更大的挑战。为此，本发明提出在智能体中加入一个神经网络模型，该模型联合了目 标位置和空间转换网络，将第二图像的前景图像和目标图像的语义图的前景图像提取出来 再计算相似程度，并计算相应前景奖励，从而为判别器提供更加标准化的输入，减少模型的 计算量的同时增加了生成图像的精确度。
根据本发明的一个实施例，第一CGAN网络和第二CGAN网络通过反向传播算法进行梯度下降，且第二CGAN网络采用特征引导反向传播图缩放的方式进行反向传播。
具体地，使用CGAN的奖惩机制会让生成的图像变得更加抽象，这是由于CGAN的分数由奖励功能训练引起的，而对面积较小且有区别的物体特征没有给予足够的注意。例如，当我们的笔触捕获到缺陷样本的全局特征时，如形状和颜色等，就会对重要的缺陷样本特征描绘的不充分，比如刮伤的深度信息，凹坑的凹陷感，以及砂痕印中每个小刮痕的细节信息等等。为了解决这一问题，本发明在反向传播算法的基础上，增加了特征引导反向传播图缩放的方式进行反向传播，以放大对每个前景实例显著特征的关注，可以引导反向传播图来缩放，体现出绘制过程中不同图像区域的相对重要性。因此，通过最大化奖励，让笔触在绘制过程中，可以增强对每个前景实例和背景特征的关注，从而来权衡绘画过程中不同图像区域特征的相对重要性。因此，智能体就会生成具有较强细节的图像。
综上，根据本发明实施例的工业检测中的样本生成方法，在样本生成中使用语义图来区别前景和背景之间的特征，通过不同的笔触分别绘制前景图像和背景图像，为每个笔触分配一个特殊的奖励，每绘制一次都会受到CGAN的奖励与惩罚，增强了对每个前景中实例的关注，使每次绘制的结果更加接近真实的目标图像，进而可以高效地进行大规模的样本生成任务，有利于提高工业质检的准确度，保证质检效果；在绘制过程引入了神经网络模型来减少模型，该模型联合了目标位置和空间转换网络，将真实图像中的前景与绘制图像的前景提取出来进行计算相似程度，并计算相应前景奖励，从而为判别器提供更加标准化的输入，减少模型的计算量的同时增加了生成图像的精确度；在反向传播过程中加入了特征导向反向传播，它可以更加关注前景实例和图像特征，使得智能体在提取全局信息的基础上更加注重局部信息，生成具有较强细节的图像。
与上述的工业检测中的样本生成方法相对应，本发明还提出一种工业检测中的样本生成装置。由于本发明的装置实施例与上述的方法实施例相对应，对于装置实施例中未披露的细节可参照上述的方法实施例，本发明中不再进行赘述。
图3是根据本发明一个实施例的工业检测中的样本生成装置的方框示意图，如图3所示，该装置包括：绘制工具1、第一CGAN网络2、第二CGAN网络3、判断模块4和生成模块5。
其中，绘制工具1用于在待绘制图像上以第一笔触绘制背景图像，以得到第一图像，以及，根据目标图像的语义图采用第二笔触在第一图像的基础上绘制前景图像，以得到第二图像，待绘制图像初始状态为空白图像，目标图像包括标签和位置；第一CGAN网络2用于根据第一图像进行训练，以根据第一奖惩机制输出第一图像与目标图像之间的背景奖励；第二CGAN网络3用于根据第二图像进行训练，以根据第二奖惩机制输出第二图像与目标图像的语义图之间前景奖励；判断模块4用于判断背景奖励与前景奖励是否满足设定要求；生成模块5用于在背景奖励与前景奖励满足设定要求时，完成绘制工具、第一CGAN网络和第二CGAN网络构成的智能体的训练，并通过训练后的智能体生成样本。
根据本发明的一个实施例，第二图像的表达式如下：
Figure 710180DEST_PATH_IMAGE065
Figure 296275DEST_PATH_IMAGE066
其中，
Figure 401240DEST_PATH_IMAGE003
表示第二图像的背景，
Figure 5659DEST_PATH_IMAGE067
表示第二图像的向量，
Figure 854053DEST_PATH_IMAGE068
表示目标图像的 语义图，
Figure 837098DEST_PATH_IMAGE069
表示第二笔触，
Figure 999613DEST_PATH_IMAGE070
表示采用第二笔触进行绘制，
Figure 865063DEST_PATH_IMAGE071
表示矩阵对应元素相乘，
Figure 427237DEST_PATH_IMAGE072
表示彩色绘制，
Figure 706034DEST_PATH_IMAGE073
表示目标图像的语义图，
Figure 468978DEST_PATH_IMAGE074
表示第一笔触，
Figure 396789DEST_PATH_IMAGE075
表示第一图像的向 量，
Figure 321408DEST_PATH_IMAGE076
表示采用第一笔触进行绘制。
根据本发明的一个实施例，第一CGAN网络2和第二CGAN网络3分别根据以下公式输出背景奖励和前景奖励：
Figure 244758DEST_PATH_IMAGE031
Figure 524909DEST_PATH_IMAGE077
其中，
Figure 600837DEST_PATH_IMAGE078
代表背景奖励，
Figure 278113DEST_PATH_IMAGE079
代表前景奖励，
Figure 32967DEST_PATH_IMAGE080
表示通过第一CGAN网络的判别 器分数计算奖励，
Figure 808154DEST_PATH_IMAGE081
表示通过第二CGAN网络的判别器分数计算奖励，
Figure 66485DEST_PATH_IMAGE082
表示目标图 像。
根据本发明的一个实施例，上述的样本生成装置还包括：神经网络模型，神经网络模型用于根据目标图像的语义图和第二图像，提取第二图像的前景图像和目标图像的语义图的前景图像，并将第二图像的前景图像、目标图像的语义图的前景图像输入第二CGAN网络3进行训练，以使第二CGAN网络3根据第二奖惩机制输出第二图像与目标图像的语义图之间前景奖励。
根据本发明的一个实施例，第一CGAN网络2和第二CGAN网络3通过反向传播算法进行梯度下降，且第二CGAN网络3采用特征引导反向传播图缩放的方式进行反向传播。
综上，根据本发明实施例的工业检测中的样本生成装置，在样本生成中使用语义图来区别前景和背景之间的特征，通过不同的笔触分别绘制前景图像和背景图像，为每个笔触分配一个特殊的奖励，每绘制一次都会受到CGAN的奖励与惩罚，增强了对每个前景中实例的关注，使每次绘制的结果更加接近真实的目标图像，进而可以高效地进行大规模的样本生成任务，有利于提高工业质检的准确度，保证质检效果；在绘制过程引入了神经网络模型来减少模型，该模型联合了目标位置和空间转换网络，将真实图像中的前景与绘制图像的前景提取出来进行计算相似程度，并计算相应前景奖励，从而为判别器提供更加标准化的输入，减少模型的计算量的同时增加了生成图像的精确度；在反向传播过程中加入了特征导向反向传播，它可以更加关注前景实例和图像特征，使得智能体在提取全局信息的基础上更加注重局部信息，生成具有较强细节的图像。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种工业检测中的样本生成方法，其特征在于，包括以下步骤：
步骤S1，输入待绘制图像和目标图像，所述待绘制图像初始状态为空白图像，所述目标图像包括标签和位置；
步骤S2，控制绘制工具在所述待绘制图像上以第一笔触绘制背景图像，以得到第一图像；
步骤S3，获取所述目标图像的语义图，控制所述绘制工具根据所述语义图采用第二笔触在所述第一图像的基础上绘制前景图像，以得到第二图像；
步骤S4，根据所述第一图像对第一CGAN网络进行训练，以使所述第一CGAN网络根据第一奖惩机制输出所述第一图像与所述目标图像之间的背景奖励；
步骤S5，根据所述第二图像对第二CGAN网络进行训练，以使所述第二CGAN网络根据第二奖惩机制输出所述第二图像与所述目标图像的语义图之间前景奖励；
步骤S6，判断所述背景奖励与所述前景奖励是否满足设定要求；
步骤S7，如果所述背景奖励与所述前景奖励满足设定要求，则完成所述绘制工具、所述第一CGAN网络和所述第二CGAN网络构成的智能体的训练；
步骤S8，通过训练后的智能体生成样本。
2.根据权利要求1所述的工业检测中的样本生成方法，其特征在于，所述第二图像的表达式如下：
Figure 637294DEST_PATH_IMAGE001
Figure 558588DEST_PATH_IMAGE002
；
其中，
Figure 356429DEST_PATH_IMAGE003
表示第二图像的背景，
Figure 559310DEST_PATH_IMAGE004
表示所述第二图像的向量，
Figure 238815DEST_PATH_IMAGE005
表示目标图像的 语义图，
Figure 409421DEST_PATH_IMAGE006
表示第二笔触，
Figure 950185DEST_PATH_IMAGE007
表示采用第二笔触进行绘制，
Figure 337566DEST_PATH_IMAGE008
表示矩阵对应元素相 乘，
Figure 853386DEST_PATH_IMAGE009
表示彩色绘制，
Figure 584889DEST_PATH_IMAGE010
表示第一笔触，
Figure 410019DEST_PATH_IMAGE011
表示第一图像的向量，
Figure 769849DEST_PATH_IMAGE012
表示采用第一笔 触进行绘制。
3.根据权利要求2所述的工业检测中的样本生成方法，其特征在于，所述背景奖励和所述前景奖励分别为：
Figure 525578DEST_PATH_IMAGE013
Figure 213653DEST_PATH_IMAGE014
；
其中，
Figure 740843DEST_PATH_IMAGE015
代表背景奖励，
Figure 165133DEST_PATH_IMAGE016
代表前景奖励，
Figure 948720DEST_PATH_IMAGE017
表示通过第一CGAN网络的判别器分 数计算奖励，
Figure 509276DEST_PATH_IMAGE018
表示通过第二CGAN网络的判别器分数计算奖励，
Figure 895783DEST_PATH_IMAGE019
表示目标图像。
4.根据权利要求1所述的工业检测中的样本生成方法，其特征在于，还包括：
将所述目标图像的语义图和所述第二图像输入神经网络模型中，以提取第二图像的前景图像和目标图像的语义图的前景图像；
将所述第二图像的前景图像、目标图像的语义图的前景图像输入所述第二CGAN网络进行训练，以使所述第二CGAN网络根据第二奖惩机制输出所述第二图像与所述目标图像的语义图之间前景奖励。
5.根据权利要求3所述的工业检测中的样本生成方法，其特征在于，所述第一CGAN网络和所述第二CGAN网络通过反向传播算法进行梯度下降，且所述第二CGAN网络采用特征引导反向传播图缩放的方式进行反向传播。
6.一种工业检测中的样本生成装置，其特征在于，包括：
绘制工具，所述绘制工具用于在待绘制图像上以第一笔触绘制背景图像，以得到第一图像，以及，根据目标图像的语义图采用第二笔触在所述第一图像的基础上绘制前景图像，以得到第二图像，所述待绘制图像初始状态为空白图像，所述目标图像包括标签和位置；
第一CGAN网络，所述第一CGAN网络用于根据所述第一图像进行训练，以根据第一奖惩机制输出所述第一图像与所述目标图像之间的背景奖励；
第二CGAN网络，所述第二CGAN网络用于根据所述第二图像进行训练，以根据第二奖惩机制输出所述第二图像与所述目标图像的语义图之间前景奖励；
判断模块，所述判断模块用于判断所述背景奖励与所述前景奖励是否满足设定要求；
生成模块，所述生成模块用于在所述背景奖励与所述前景奖励满足设定要求时，完成所述绘制工具、所述第一CGAN网络和所述第二CGAN网络构成的智能体的训练，并通过训练后的智能体生成样本。
7.根据权利要求6所述的工业检测中的样本生成装置，其特征在于，所述第二图像的表达式如下：
Figure 648449DEST_PATH_IMAGE020
Figure 247445DEST_PATH_IMAGE021
；
其中，
Figure 73626DEST_PATH_IMAGE003
表示第二图像的背景，
Figure 755667DEST_PATH_IMAGE022
表示所述第二图像的向量，
Figure 656015DEST_PATH_IMAGE023
表示目标图像的 语义图，
Figure 850846DEST_PATH_IMAGE024
表示第二笔触，
Figure 385995DEST_PATH_IMAGE025
表示采用第二笔触进行绘制，
Figure 442200DEST_PATH_IMAGE026
表示矩阵对应元素相 乘，
Figure 344691DEST_PATH_IMAGE027
表示彩色绘制，
Figure 460721DEST_PATH_IMAGE028
表示第一笔触，
Figure 522480DEST_PATH_IMAGE029
表示第一图像的向量，
Figure 839934DEST_PATH_IMAGE030
表示采用第一笔 触进行绘制。
8.根据权利要求7所述的工业检测中的样本生成装置，其特征在于，第一CGAN网络和第二CGAN网络分别根据以下公式输出所述背景奖励和所述前景奖励：
Figure 606552DEST_PATH_IMAGE013
Figure 339323DEST_PATH_IMAGE031
其中，
Figure 946933DEST_PATH_IMAGE032
代表背景奖励，
Figure 638551DEST_PATH_IMAGE033
代表前景奖励，
Figure 469628DEST_PATH_IMAGE034
表示通过第一CGAN网络的判别器分 数计算奖励，
Figure 133653DEST_PATH_IMAGE035
表示通过第二CGAN网络的判别器分数计算奖励，
Figure 718741DEST_PATH_IMAGE036
表示目标图像。
9.根据权利要求6所述的工业检测中的样本生成装置，其特征在于，还包括：
神经网络模型，所述神经网络模型用于根据所述目标图像的语义图和所述第二图像，提取第二图像的前景图像和目标图像的语义图的前景图像，并将所述第二图像的前景图像、目标图像的语义图的前景图像输入所述第二CGAN网络进行训练，以使所述第二CGAN网络根据第二奖惩机制输出所述第二图像与所述目标图像的语义图之间前景奖励。
10.根据权利要求8所述的工业检测中的样本生成装置，其特征在于，所述第一CGAN网络和所述第二CGAN网络通过反向传播算法进行梯度下降，且所述第二CGAN网络采用特征引导反向传播图缩放的方式进行反向传播。
CN202210436230.7A 2022-04-25 2022-04-25 工业检测中的样本生成方法、样本生成装置 Pending CN114529788A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210436230.7A CN114529788A (zh) 2022-04-25 2022-04-25 工业检测中的样本生成方法、样本生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210436230.7A CN114529788A (zh) 2022-04-25 2022-04-25 工业检测中的样本生成方法、样本生成装置

Publications (1)

Publication Number Publication Date
CN114529788A true CN114529788A (zh) 2022-05-24

Family

ID=81628252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210436230.7A Pending CN114529788A (zh) 2022-04-25 2022-04-25 工业检测中的样本生成方法、样本生成装置

Country Status (1)

Country Link
CN (1) CN114529788A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110868598A (zh) * 2019-10-17 2020-03-06 上海交通大学 基于对抗生成网络的视频内容替换方法及系统
CN112990078A (zh) * 2021-04-02 2021-06-18 深圳先进技术研究院 一种基于生成式对抗网络的人脸表情生成方法
CN113794682A (zh) * 2021-08-06 2021-12-14 成都墨甲信息科技有限公司 一种工业物联网入侵检测智能体训练方法、装置及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110868598A (zh) * 2019-10-17 2020-03-06 上海交通大学 基于对抗生成网络的视频内容替换方法及系统
CN112990078A (zh) * 2021-04-02 2021-06-18 深圳先进技术研究院 一种基于生成式对抗网络的人脸表情生成方法
CN113794682A (zh) * 2021-08-06 2021-12-14 成都墨甲信息科技有限公司 一种工业物联网入侵检测智能体训练方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JASKIRAT SINGH等: "Combining Semantic Guidance and Deep Reinforcement Learning For Generating Human Level Paintings", 《ARXIV:2011.12589V2》 *

Similar Documents

Publication Publication Date Title
Soomro et al. Deep learning models for retinal blood vessels segmentation: a review
CN109559300A (zh) 图像处理方法、电子设备及计算机可读存储介质
CN103415825A (zh) 用于手势识别的系统和方法
CN113326380B (zh) 基于深度神经网络的设备量测数据处理方法、系统及终端
CN109871792B (zh) 行人检测方法和装置
CN114387201A (zh) 一种基于深度学习和强化学习细胞病理图像辅助诊断系统
CN116702872A (zh) 基于离线预训练状态转移Transformer模型的强化学习方法和装置
CN117012373B (zh) 一种葡萄胎辅助检查模型的训练方法、应用方法及系统
CN112070080A (zh) 基于Faster R-CNN的戏曲卡通人物的分类方法
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
CN111461121A (zh) 一种基于yolov3网络的电表示数识别方法
CN114937182A (zh) 一种基于情感轮和卷积神经网络的图像情感分布预测方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
Azizah et al. Tajweed-YOLO: Object Detection Method for Tajweed by Applying HSV Color Model Augmentation on Mushaf Images
CN113283334A (zh) 一种课堂专注度分析方法、装置和存储介质
CN113378852A (zh) 关键点检测方法、装置、电子设备及存储介质
Shinde et al. Feedforward back propagation neural network (FFBPNN) based approach for the identification of handwritten math equations
CN114529788A (zh) 工业检测中的样本生成方法、样本生成装置
CN115393351B (zh) 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置
Ke et al. An automatic instrument recognition approach based on deep convolutional neural network
Saberironaghi Deep learning models for defect and anomaly detection on industrial surfaces
Sun et al. A Metaverse text recognition model based on character-level contrastive learning
CN116071825B (zh) 一种动作行为识别方法、系统、电子设备及存储介质
CN113096206B (zh) 基于注意力机制网络的人脸生成方法、装置、设备及介质
Praveen et al. Emoji creation with facial emotion detection using cnn

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220524