CN113240668A - 一种基于图像数字特征分布的生成熔池图像质量评估方法 - Google Patents

一种基于图像数字特征分布的生成熔池图像质量评估方法 Download PDF

Info

Publication number
CN113240668A
CN113240668A CN202110635237.7A CN202110635237A CN113240668A CN 113240668 A CN113240668 A CN 113240668A CN 202110635237 A CN202110635237 A CN 202110635237A CN 113240668 A CN113240668 A CN 113240668A
Authority
CN
China
Prior art keywords
molten pool
image
false
pool image
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110635237.7A
Other languages
English (en)
Other versions
CN113240668B (zh
Inventor
谢非
施梦臣
凌旭
杨继全
邢飞
锁红波
李宗安
唐文来
史建军
刘益剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Intelligent High End Equipment Industry Research Institute Co ltd
Nanjing Normal University
Nanjing Zhongke Raycham Laser Technology Co Ltd
Original Assignee
Nanjing Intelligent High End Equipment Industry Research Institute Co ltd
Nanjing Normal University
Nanjing Zhongke Raycham Laser Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Intelligent High End Equipment Industry Research Institute Co ltd, Nanjing Normal University, Nanjing Zhongke Raycham Laser Technology Co Ltd filed Critical Nanjing Intelligent High End Equipment Industry Research Institute Co ltd
Priority to CN202110635237.7A priority Critical patent/CN113240668B/zh
Publication of CN113240668A publication Critical patent/CN113240668A/zh
Application granted granted Critical
Publication of CN113240668B publication Critical patent/CN113240668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本发明公开了一种基于图像数字特征分布的生成熔池图像质量评估方法，包括：采集真实熔池图像，制作数据集；利用真实熔池图像，搭建并使用对抗生成网络生成虚假的熔池图像；同时利用生成图像空间特征提取方法，得到真实和虚假熔池图像的空间特征，并将其数字化，绘制其数字特征分布图；分析数字特征分布图，利用数字特征的四维图，依据基于四维图的质量评价算法评价虚假熔池图像和真实熔池图像的质量差异；对生成的虚假熔池图像按质量进行分类，得到高质量的虚假熔池图像，以制作数量更多的高质量的熔池图像数据集。本发明具有计算量极小、质量判别准确的优点。

Description

一种基于图像数字特征分布的生成熔池图像质量评估方法
技术领域
本发明涉及深度学习和机器视觉中的生成对抗网络以及图像质量评价领域，尤其涉及一种基于图像数字特征分布的生成熔池图像质量评估方法。
背景技术
随着深度学习和机器视觉的不断发展，越来越多的图像识别和特征提取采用深度神经网络来进行，电弧增材制造中熔池形貌的特征提取也是如此。但由于深度神经网络的训练需要大量的图像数据，数据集短缺的问题日益明显。
目前，解决方法主要有两种，一是采集更多的图像数据，但很多图像数据因为数据集类型或设备条件所限难以大量采集；二是利用生成对抗网络，即用少量的图像数据训练生成对抗网络，生成大量的虚假图像，虽然这种方法限制较小，但生成的虚假图像质量参差不齐且质量相较于真实图像偏差，而现有的图像质量评价方法主要集中于评价图像的真实性，且需要大量的人为注释标签，对这种质量相对较差的虚假图像难以精确的辨别评价，容易全部判断为低质量图像，对生成的虚假熔池图像也是如此。
发明内容
针对现有技术的不足，本发明提供了一种基于图像数字特征分布的生成熔池图像质量评估方法，包括如下步骤：
步骤1：采集真实熔池图像数据，经过处理后制作成真实熔池图像数据集；
步骤2：搭建生成对抗网络【可参考任盼飞，宋晓茹，陈超波，高嵩.基于改进DCGAN的水下图像生成方法研究[J].自动化与仪表.2021,36(02)：44-49】，利用真实熔池图像训练，生成虚假的熔池图像；
步骤3：利用生成图像空间特征提取方法，得到真实和虚假熔池图像的空间特征，并将其数字化，同时绘制真实和虚假熔池图像的数字特征分布图；
步骤4：分析真实和虚假熔池图像的数字特征分布图，依据基于四维图的质量评价算法评价生成的虚假熔池图像质量，取出高质量的虚假熔池图像，制作成高质量熔池图像数据集。
进一步地，所述步骤1包括：
步骤1.1：利用高速摄像机，采集金属三维打印时的熔池图像视频和图像帧；
步骤1.2：对步骤1.1的采集到的熔池图像进行预处理，剪裁变换至像素大小为224*224的真实熔池图像，制作为真实熔池图像数据集。
进一步地，所述步骤2包括：
步骤2.1：搭建生成对抗网络，并调整生成对抗网络的生成网络的输出图像和判别网络的输入图像像素大小为224*224；
步骤2.2：利用真实熔池图像数据集，训练生成对抗网络；
步骤2.3：使用训练完成的生成对抗网络，利用其中的生成网络生成虚假的熔池图像。
进一步地，所述步骤3包括：
步骤3.1：利用生成图像和生成对抗网络自身的特点，进行特征预处理，提取生成图像的空间特征，即，对虚假熔池图像和真实熔池图像进行空间上的特征分割，使用黑色像素点遮挡一半的虚假熔池图像和真实熔池图像(这里是泛指熔池图像，包括真实和虚假)，并从上、下、左、右四个方向上遮挡，得到四张遮挡后的虚假熔池图像和真实熔池图像(这里是泛指熔池图像，包括真实和虚假)，作为提取空间特征的特征预处理熔池图像。从四个方向上遮挡获得了每一部分的图像特征在空间上的不同的结构分布；而恰好遮挡一半的图像使每一部分有所交叉，也保证了整体图像特征的完整性，将每一部分联系起来，仅仅通过组合每一部分的遮挡图像就可以轻易还原出原始熔池图像。
步骤3.2：再一次利用生成对抗网络中的判别网络，将特征预处理熔池图像输入，由于经过了特征预处理，判别网络的输出结果不再是原本“0或1”的二元判断，而是空间特征的数字化提取，最终得到四个数字化后的局部图像特征，按遮挡的部分，分别记上方遮挡为局部图像特征y1，左方遮挡局部图像特征为y2，下方遮挡局部图像特征为y3，右方遮挡局部图像特征为y4，而y1，y2，y3，y4即为真实和虚假熔池图像数字化后的空间特征。在训练时判别网络的输出结果是0或1，0表示虚假图像而1表示真实图像，是一个二元判断。而本发明直接利用判别网络的输出结果作为遮挡后的熔池图像的数字特征，将其认定为对输入熔池图像的特征的数字反映而非仅仅是0或1的二元判断，而非传统的搭建额外神经网络进行回归。
步骤3.3：将所有的虚假熔池图像和真熔池图像按步骤3.1和步骤3.2，得到所有真实和虚假熔池图像数字化后的空间特征，按y1，y2，y3，y4分别绘制真实熔池图形和虚假熔池图像的数字特征分布图，其中x轴为熔池图像的标签名，y轴为每个熔池图像对应的y1，y2，y3，y4。
进一步地，所述步骤3.1，包括：
对所有真实和虚假熔池图像(这里是泛指熔池图像，包括真实和虚假)从四个方向进行遮挡，以熔池图像左下角为原点，横向为x轴，竖向为y轴，具体遮挡的位置分别为：上方遮挡的黑色矩形左上角坐标为(0，224)，右下角坐标为(224，112)；下方遮挡的黑色矩形左上角坐标为(0，112)，右下角坐标为(224，0)；左方遮挡的黑色矩形左上角坐标为(0，224)，右下角坐标为(112，0)；右方遮挡的黑色矩形左上角坐标为(112，224)，右下角坐标为(224，0)。
进一步地，所述步骤4，包括：
步骤4.1：分别分析真实熔池图像的数字特征分布图和虚假熔池图像的数字特征分布图，比较两者的分布，分别以所有真实熔池图像y1，y2，y3，y4的平局值作为熔池图像数字特征分布图的标准，评价虚假熔池图像的质量。其中y1的平均值记为y1r，y2的平均值记为y2r，y3的平均值记为y3r，y4的平均值记为y4r。
步骤4.2：以真实熔池图像数字特征平局值y1r，y2r，y3r，y4r绘制四维图，作为真实熔池图像的特征标准，同时以虚假熔池图像数字特征绘制四维图，作为待评价的对象。
步骤4.3：基于步骤4.2绘制的四维图，基于如下评价公式来评价虚假熔池图像与真实熔池图像之间的质量差距：
Figure BDA0003105413270000031
其中，E(k)为虚假熔池图像与真实熔池图像的质量差距，其最大值为1，表示虚假熔池图像质量相比真实熔池图像质量差距极大，最小值为0，表示虚假熔池图像质量相比真实熔池图像质量差距极小；k为权重参数，范围为[0，1]；fm为虚假熔池图像四维图中y1，y2，y3，y4所围成的面积，使用下列公式计算：
Figure BDA0003105413270000032
其中y1f为虚假熔池图像的y1的值，y2f为虚假熔池图像的y2的值，y3f为虚假熔池图像的y2的值，y4f为虚假熔池图像的y4的值。
rm为真实熔池图像数字特征平局值绘制的四维图中y1r，y2r，y3r，y4r所围成的面积，使用下列公式计算：
Figure BDA0003105413270000033
公式
Figure BDA0003105413270000041
主要反映了虚假熔池图像与真实熔池图像的主要区别，即虚假熔池图像是否像熔池。
fz为虚假熔池图像四维图中y1，y2，y3，y4所围成图形相对原点的偏移，使用下列公式计算：
fz＝(y3f-y1f)2+(y4f-y2f)2，
rz为真实熔池图像数字特征平局值绘制的四维图中y1r，y2r，y3r，y4r所围成图形相对原点的偏移，使用下列公式计算：
rz＝(y3r-y1r)2+(y4r-y2r)2；
公式
Figure BDA0003105413270000042
考虑到生成虚假熔池图像在空间上的旋转或偏移的可能，能够防止公式
Figure BDA0003105413270000043
的误判。将两者相结合，并加上权重k调整两者的重要性，成为评价虚假熔池图像与真实熔池图像质量差距的判断公式。
步骤4.4：基于步骤4.3中提出的质量差距公式评价虚假熔池图像的质量，令k等于0.5，等同考虑公式两部分的重要性，当E(0.5)＜0.15时，认为虚假熔池图像与真实熔池图像之间的质量差距较小，虚假熔池图像的质量较高。提取出所有满足条件的虚假熔池图像，制作成高质量的熔池图像数据集。
进一步地，所述步骤4.2，包括：
所述以真实熔池图像数字特征平局值y1r，y2r，y3r，y4r绘制四维图，包括：在直角坐标系中，y1沿着y轴正半轴的方向，与原点距离为y1值的绝对值；y2沿着x轴负半轴的方向，与原点距离为y2值的绝对值；y3沿着y轴负半轴的方向，与原点距离为y3值的绝对值；y4沿着x轴正半轴的方向，与原点距离为y4值的绝对值，最后连接y1，y2，y3，y4形成一个四边形。分别绘制真实熔池图像数字特征平局值y1r，y2r，y3r，y4r的四维图和虚假熔池图像数字特征的四维图，比较两者的差距，作为评价虚假熔池图像质量的依据。
由以上技术方案可知，本发明提供一种基于图像数字特征分布的生成熔池图像质量评估方法，包括：步骤1：采集真实熔池图像数据，经过处理后制作成数据集；步骤2：搭建生成对抗网络，利用真实熔池图像训练，生成虚假的熔池图像；步骤3：同时对真实熔池图像和虚假熔池图像进行空间遮挡，并送入判别网络，得到熔池图像的四组数值化后的局部图像特征，并依据四组数值化后的局部图像特征绘制数字特征分布图；步骤4：分析数字特征分布图，依据基于四维图的质量评价算法评价生成的虚假熔池图像质量，取出高质量的虚假熔池图像，制作成高质量熔池图像数据集。
通过上述技术方案的实施，本发明的有益效果是：(1)解决了熔池图像数据集质量低和数量少的问题，可以大量生成高质量的熔池图像，经过测试后证明图像质量和稳定性较好。(2)提出了生成图像质量评估方法，有效评价了生成图像的质量，准确度较高。(3)直接利用判别网络得到图像的数字特征，无需额外的神经网络回归计算，计算量极小，处理速度极快。
本发明提供了一种基于图像数字特征分布的生成熔池图像质量评估方法，解决了熔池图像数据集质量低和数量少的问题，提供了一种评价生成图像质量的方法，创建了具有高质量的熔池图像数据集。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1是本发明方法的工作流程示意图；
图2是本发明实施例提供的处理后的熔池图像的彩色图像；
图3是本发明实施例提供的生成对抗网络训练生成虚假熔池图像；
图4是本发明实例提供的真实熔池图像的数字特征分布图；
图5是本发明实例提供的虚假熔池图像的数字特征分布图；
图6是是本发明实施例提供的高质量熔池图像；
图7是本发明实施例提供的以y1，y2，y3，y4绘制的四维图；
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
实施例
在本发明实例中，由CCD工业相机采集的熔池彩色图像，通过计算机对含熔池图像的彩色图像进行图像处理。
参照图1，图1为本发明实施例基于图像数字特征分布的生成熔池图像质量评估方法的工作流程示意图，包括以下步骤：
步骤1：采集真实熔池图像数据，经过处理后制作成数据集；
步骤2：搭建生成对抗网络，利用真实熔池图像训练，生成虚假的熔池图像；
步骤3：利用生成图像空间特征提取方法，得到真实和虚假熔池图像的空间特征，并将其数字化，同时绘制真实和虚假熔池图像的数字特征分布图；
步骤4：分析真实和虚假熔池图像的数字特征分布图，依据基于四维图的质量评价算法评价生成的虚假熔池图像质量，取出高质量的虚假熔池图像，制作成高质量熔池图像数据集。
下面结合附图和具体实施例对本发明作进一步说明。
在本发明实施例中，图2是本发明实施例提供的处理后的熔池图像的彩色图像。
所述步骤1包括：
步骤1.1：利用高速摄像机，采集金属三维打印时的熔池图像视频和图像帧；
步骤1.2：对步骤1.1的采集到的熔池图像进行预处理，剪裁变换至像素大小为224x224的真实熔池图像，制作为真实熔池图像数据集。
在本发明实施例中，所述步骤2，包括：
步骤2.1：搭建生成对抗网络，并调整生成对抗网络的生成网络的输出图像和判别网络的输入图像像素大小为224x224；
步骤2.2：利用真实熔池图像数据集，训练生成对抗网络；
步骤2.3：使用训练完成的生成对抗网络，利用其中的生成网络生成虚假的熔池图像。如图3所示，图3是本发明实施例提供的生成对抗网络训练生成虚假熔池图像。一共生成了4000张，可以明显看出生成的虚假熔池图像相较于真实熔池图像更加模糊和粗糙，质量参差不齐。
在本发明实施例中，所述步骤3，包括：
步骤3.1：利用生成图像和生成对抗网络自身的特点，进行特征预处理，提取生成图像的空间特征，即，对虚假熔池图像和真实熔池图像进行空间上的特征分割，使用黑色像素点遮挡一半的虚假熔池图像和真实熔池图像，并从上下左右四个方向上遮挡，得到四张遮挡后的虚假熔池图像和真实熔池图像，作为提取空间特征的特征预处理熔池图像。
步骤3.2：再一次利用生成对抗网络中的判别网络，将特征预处理熔池图像输入，由于经过了特征预处理，判别网络的输出结果不再是原本“0或1”的二元判断，而是空间特征的数字化提取，最终得到四个数字化后的局部图像特征，按遮挡的部分，分别记上方遮挡为局部图像特征y1，左方遮挡局部图像特征为y2，下方遮挡局部图像特征为y3，右方遮挡局部图像特征为y4，而y1，y2，y3，y4即为真实和虚假熔池图像数字化后的空间特征。
步骤3.3：将所有的虚假熔池图像和真熔池图像按步骤3.1和步骤3.2，得到所有真实和虚假熔池图像数字化后的空间特征，按y1，y2，y3，y4分别绘制真实熔池图形和虚假熔池图像的数字特征分布图，其中x轴为熔池图像的标签名，y轴为每个熔池图像对应的y1，y2，y3，y4。
参照图4和图5，图4是本发明实例提供的真实熔池图像的数字特征分布图，图5是本发明实例提供的虚假熔池图像的数字特征分布图，其中分别选取了三个分布在低、中、高位置的分布点和其对应的熔池图像。处在低和高位置的分布点，其对应的熔池图像质量较差，处在低位置的分布点对应的熔池图像熔池形貌边缘黯淡模糊，而处在高位置分布点对应的熔池图像，出现了金属液滴非常明亮且整个熔池图像的亮度偏高。故熔池图像的数字特征分布图反映了熔池图像的特征。
在本发明实例中，步骤3.1包括：
对所有真实和虚假熔池图像从四个方向进行遮挡，以熔池图像左下角为原点，横向为x轴，竖向为y轴，具体遮挡的位置分别为：上方遮挡的黑色矩形左上角坐标为(0，224)，右下角坐标为(224，112)；下方遮挡的黑色矩形左上角坐标为(0，112)，右下角坐标为(224，0)；左方遮挡的黑色矩形左上角坐标为(0，224)，右下角坐标为(112，0)；右方遮挡的黑色矩形左上角坐标为(112，224)，右下角坐标为(224，0)。
在本发明实施例中，所述步骤4，包括：
步骤4.1：分别分析真实熔池图像的数字特征分布图和虚假熔池图像的数字特征分布图，比较两者的分布，分别以所有真实熔池图像y1，y2，y3，y4的平局值作为熔池图像数字特征分布图的标准，评价虚假熔池图像的质量。其中y1的平均值记为y1r，y2的平均值记为y2r，y3的平均值记为y3r，y4的平均值记为y4r。
步骤4.2：以真实熔池图像数字特征平局值y1r，y2r，y3r，y4r绘制四维图，作为真实熔池图像的特征标准，同时以虚假熔池图像数字特征绘制四维图，作为待评价的对象。
步骤4.3：基于步骤4.2绘制的四维图，提出了一个评价公式来评价虚假熔池图像与真实熔池图像之间的质量差距，公式如下：
Figure BDA0003105413270000081
其中，E(k)为虚假熔池图像与真实熔池图像的质量差距，其最大值为1，表示虚假熔池图像质量相比真实熔池图像质量差距极大，最小值为0，表示虚假熔池图像质量相比真实熔池图像质量差距极小；k为权重参数，范围为[0，1]；fm为虚假熔池图像四维图中y1，y2，y3，y4所围成的面积，使用下列公式计算：
Figure BDA0003105413270000082
其中y1f为虚假熔池图像的y1的值，y2f为虚假熔池图像的y2的值，y3f为虚假熔池图像的y2的值，y4f为虚假熔池图像的y4的值。
rm为真实熔池图像数字特征平局值绘制的四维图中y1r，y2r，y3r，y4r所围成的面积，使用下列公式计算：
Figure BDA0003105413270000083
fz为虚假熔池图像四维图中y1，y2，y3，y4所围成图形相对原点的偏移，使用下列公式计算：
fz＝(y3f-y1f)2+(y4f-y2f)2，
rz为真实熔池图像数字特征平局值绘制的四维图中y1r，y2r，y3r，y4r所围成图形相对原点的偏移，使用下列公式计算：
rz＝(y3r-y1r)2+(y4r-y2r)2，
步骤4.4：基于步骤4.3中提出的质量差距公式评价虚假熔池图像的质量，令k等于0.5，等同考虑公式两部分的重要性，当E(0.5)＜0.15时，认为虚假熔池图像与真实熔池图像之间的质量差距较小，虚假熔池图像的质量较高。提取出所有满足条件的虚假熔池图像，制作成高质量的熔池图像数据集。如图6所示，图6是本发明实施例提供的高质量熔池图像。在生成的4000张虚假熔池图像中筛选出了2786张高质量熔池图像。
参考图7，图7是本发明实施例提供的以y1，y2，y3，y4绘制的四维图。在本发明实施例中，所述步骤4.2，包括：
利用熔池图像的数字特征y1，y2，y3，y4绘制四维图，绘制方法为：在直角坐标系中，y1沿着y轴正半轴的方向，与原点距离为y1值的绝对值；y2沿着x轴负半轴的方向，与原点距离为y2值的绝对值；y3沿着y轴负半轴的方向，与原点距离为y3值的绝对值；y4沿着x轴正半轴的方向，与原点距离为y4值的绝对值，最后连接y1，y2，y3，y4形成一个四边形。分别绘制真实熔池图像数字特征平局值y1r，y2r，y3r，y4r的四维图和虚假熔池图像数字特征的四维图，比较两者的差距，作为评价虚假熔池图像质量的依据。评价生成的4000张虚假熔池图像，一共用了约116.5秒，速度极快。
本发明提供了一种基于图像数字特征分布的生成熔池图像质量评估方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种基于图像数字特征分布的生成熔池图像质量评估方法，其特征在于，包括以下步骤：
步骤1：采集真实熔池图像数据，经过处理后制作成真实熔池图像数据集；
步骤2：搭建生成对抗网络，利用真实熔池图像训练，生成虚假的熔池图像；
步骤3：利用生成图像空间特征提取方法，得到真实和虚假熔池图像的空间特征，并将其数字化，同时绘制真实和虚假熔池图像的数字特征分布图；
步骤4：分析真实和虚假熔池图像的数字特征分布图，依据基于四维图的质量评价算法评价生成的虚假熔池图像质量，取出高质量的虚假熔池图像，制作成高质量熔池图像数据集。
2.根据权利要求1所述的方法，其特征在于，步骤1包括：
步骤1.1：采集金属三维打印时的熔池图像视频和图像帧；
步骤1.2：对步骤1.1的采集到的熔池图像进行预处理，剪裁变换至像素大小为224*224的真实熔池图像，制作为真实熔池图像数据集。
3.根据权利要求2所述的方法，其特征在于，步骤2包括：
步骤2.1：搭建生成对抗网络，并调整生成对抗网络的生成网络的输出图像和判别网络的输入图像像素大小为224*224；
步骤2.2：利用真实熔池图像数据集，训练生成对抗网络；
步骤2.3：使用训练完成的生成对抗网络，利用其中的生成网络生成虚假的熔池图像。
4.根据权利要求3所述的方法，其特征在于，步骤3包括：
步骤3.1：对虚假熔池图像和真实熔池图像进行空间上的特征分割，使用黑色像素点遮挡一半的虚假熔池图像和真实熔池图像，并从上、下、左、右四个方向上遮挡，得到四张遮挡后的虚假熔池图像和真实熔池图像，作为提取空间特征的特征预处理熔池图像；
步骤3.2：再一次利用生成对抗网络中的判别网络，将特征预处理熔池图像输入，最终得到四个数字化后的局部图像特征，按遮挡的部分，分别记上方遮挡为局部图像特征y1，左方遮挡局部图像特征为y2，下方遮挡局部图像特征为y3，右方遮挡局部图像特征为y4，而y1，y2，y3，y4即为真实和虚假熔池图像数字化后的空间特征；
步骤3.3：将所有的虚假熔池图像和真熔池图像按步骤3.1和步骤3.2，得到所有真实和虚假熔池图像数字化后的空间特征，按y1，y2，y3，y4分别绘制真实熔池图像和虚假熔池图像的数字特征分布图，其中x轴为熔池图像的标签名，y轴为每个熔池图像对应的y1，y2，y3，y4。
5.根据权利要求4所述方法，其特征在于，步骤3.1包括：
对所有真实和虚假熔池图像从四个方向进行遮挡，以熔池图像左下角为原点，横向为x轴，竖向为y轴，具体遮挡的位置分别为：上方遮挡的黑色矩形左上角坐标为(0，224)，右下角坐标为(224，112)；下方遮挡的黑色矩形左上角坐标为(0，112)，右下角坐标为(224，0)；左方遮挡的黑色矩形左上角坐标为(0，224)，右下角坐标为(112，0)；右方遮挡的黑色矩形左上角坐标为(112，224)，右下角坐标为(224，0)。
6.根据权利要求5所述的方法，其特征在于，步骤4包括：
步骤4.1：分别分析真实熔池图像的数字特征分布图和虚假熔池图像的数字特征分布图，比较两者的分布，分别以所有真实熔池图像y1，y2，y3，y4的平局值作为熔池图像数字特征分布图的标准，评价虚假熔池图像的质量，其中y1的平均值记为y1r，y2的平均值记为y2r，y3的平均值记为y3r，y4的平均值记为y4r；
步骤4.2：以真实熔池图像数字特征平局值y1r，y2r，y3r，y4r绘制四维图，作为真实熔池图像的特征标准，同时以虚假熔池图像数字特征绘制四维图，作为待评价的对象；
步骤4.3：基于步骤4.2绘制的四维图，基于如下评价公式来评价虚假熔池图像与真实熔池图像之间的质量差距：
Figure FDA0003105413260000021
其中，E(k)为虚假熔池图像与真实熔池图像的质量差距，其最大值为1，最小值为0；k为权重参数，范围为[0,1]；fm为虚假熔池图像四维图中y1，y2，y3，y4所围成的面积，使用下列公式计算：
Figure FDA0003105413260000022
其中y1f为虚假熔池图像的y1的值，y2f为虚假熔池图像的y2的值，y3f为虚假熔池图像的y2的值，y4f为虚假熔池图像的y4的值；
rm为真实熔池图像数字特征平局值绘制的四维图中y1r，y2r，y3r，y4r所围成的面积，使用下列公式计算：
Figure FDA0003105413260000031
fz为虚假熔池图像四维图中y1，y2，y3，y4所围成图形相对原点的偏移，使用下列公式计算：
fz＝(y3f-y1f)2+(y4f-y2f)2，
rz为真实熔池图像数字特征平局值绘制的四维图中y1r，y2r，y3r，y4r所围成图形相对原点的偏移，使用下列公式计算：
rz＝(y3r-y1r)2+(y4r-y2r)2；
步骤4.4：基于步骤4.3中提出的质量差距公式评价虚假熔池图像的质量，令k等于0.5，等同考虑公式两部分的重要性，当E(0.5)<0.15时，判定虚假熔池图像与真实熔池图像之间的质量差距较小，虚假熔池图像的质量较高；提取出所有满足条件的虚假熔池图像，制作成高质量的熔池图像数据集。
7.根据权利要求6所述的方法，其特征在于，步骤4.2包括：
所述以真实熔池图像数字特征平局值y1r，y2r，y3r，y4r绘制四维图，包括：在直角坐标系中，y1沿着y轴正半轴的方向，与原点距离为y1值的绝对值；y2沿着x轴负半轴的方向，与原点距离为y2值的绝对值；y3沿着y轴负半轴的方向，与原点距离为y3值的绝对值；y4沿着x轴正半轴的方向，与原点距离为y4值的绝对值，最后连接y1，y2，y3，y4形成一个四边形；分别绘制真实熔池图像数字特征平局值y1r，y2r，y3r，y4r的四维图和虚假熔池图像数字特征的四维图。
CN202110635237.7A 2021-06-08 2021-06-08 一种基于图像数字特征分布的生成熔池图像质量评估方法 Active CN113240668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110635237.7A CN113240668B (zh) 2021-06-08 2021-06-08 一种基于图像数字特征分布的生成熔池图像质量评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110635237.7A CN113240668B (zh) 2021-06-08 2021-06-08 一种基于图像数字特征分布的生成熔池图像质量评估方法

Publications (2)

Publication Number Publication Date
CN113240668A true CN113240668A (zh) 2021-08-10
CN113240668B CN113240668B (zh) 2024-04-16

Family

ID=77137081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110635237.7A Active CN113240668B (zh) 2021-06-08 2021-06-08 一种基于图像数字特征分布的生成熔池图像质量评估方法

Country Status (1)

Country Link
CN (1) CN113240668B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435670A (zh) * 2021-08-27 2021-09-24 南京南暄励和信息技术研发有限公司 一种增材制造熔覆层偏移定量的预测方法
CN113673529A (zh) * 2021-08-16 2021-11-19 连城凯克斯科技有限公司 语义分割模型训练方法、硅熔融状态检测方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1474345A (zh) * 2003-05-22 2004-02-11 上海交通大学 虹膜识别系统的图像质量评价方法
CN110363781A (zh) * 2019-06-29 2019-10-22 南京理工大学 基于深度神经网络的熔池轮廓检测方法
WO2020172838A1 (zh) * 2019-02-26 2020-09-03 长沙理工大学 一种改进辅助分类器gan的图像分类方法
CN111815555A (zh) * 2020-05-22 2020-10-23 武汉大学深圳研究院 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置
CN112184672A (zh) * 2020-09-30 2021-01-05 上海大学 一种无参考图像质量评价方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1474345A (zh) * 2003-05-22 2004-02-11 上海交通大学 虹膜识别系统的图像质量评价方法
WO2020172838A1 (zh) * 2019-02-26 2020-09-03 长沙理工大学 一种改进辅助分类器gan的图像分类方法
CN110363781A (zh) * 2019-06-29 2019-10-22 南京理工大学 基于深度神经网络的熔池轮廓检测方法
CN111815555A (zh) * 2020-05-22 2020-10-23 武汉大学深圳研究院 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置
CN112184672A (zh) * 2020-09-30 2021-01-05 上海大学 一种无参考图像质量评价方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673529A (zh) * 2021-08-16 2021-11-19 连城凯克斯科技有限公司 语义分割模型训练方法、硅熔融状态检测方法及电子设备
CN113435670A (zh) * 2021-08-27 2021-09-24 南京南暄励和信息技术研发有限公司 一种增材制造熔覆层偏移定量的预测方法
CN113435670B (zh) * 2021-08-27 2021-11-16 南京南暄励和信息技术研发有限公司 一种增材制造熔覆层偏移定量的预测方法

Also Published As

Publication number Publication date
CN113240668B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN112070818B (zh) 基于机器视觉的机器人无序抓取方法和系统及存储介质
CN108562589A (zh) 一种对磁路材料表面缺陷进行检测的方法
CN110135282B (zh) 一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法
CN113240668B (zh) 一种基于图像数字特征分布的生成熔池图像质量评估方法
CN111784576A (zh) 一种基于改进orb特征算法的图像拼接方法
CN109166125A (zh) 一种基于多边缘融合机制的三维深度图像分割算法
CN111582294A (zh) 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用
CN110070557A (zh) 一种基于边缘特征检测的目标识别与定位方法
CN110263794B (zh) 基于数据增强的目标识别模型的训练方法
CN113706566B (zh) 一种基于边缘检测的加香喷雾性能检测方法
CN108416355A (zh) 一种基于机器视觉的工业现场生产数据的采集方法
CN110414571A (zh) 一种基于特征融合的网站报错截图分类方法
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
CN111861866A (zh) 一种变电站设备巡检图像全景重建方法
CN114926407A (zh) 一种基于深度学习的钢材表面缺陷检测系统
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN117036641A (zh) 一种基于双目视觉的公路场景三维重建与缺陷检测方法
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN115171218A (zh) 一种基于图像识别技术的物资送样异常行为识别系统
Chen et al. An enhanced adaptive Sobel edge detector based on improved genetic algorithm and non-maximum suppression
CN116091404A (zh) 一种基于图像-点云信息融合的焊线缺陷检测及模式识别方法
CN116580121A (zh) 一种基于深度学习的单张绘画生成2d模型的方法及系统
CN116342519A (zh) 一种基于机器学习的图像处理方法
CN111429411B (zh) 一种碳纤维复合芯导线的x射线缺陷图像样本生成方法
Qu et al. LEUGAN: low-light image enhancement by unsupervised generative attentional networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant