CN117876369A - 基于图像识别的锻打印在线监测方法、系统、设备及介质 - Google Patents
基于图像识别的锻打印在线监测方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN117876369A CN117876369A CN202410271103.5A CN202410271103A CN117876369A CN 117876369 A CN117876369 A CN 117876369A CN 202410271103 A CN202410271103 A CN 202410271103A CN 117876369 A CN117876369 A CN 117876369A
- Authority
- CN
- China
- Prior art keywords
- powder bed
- forging
- powder
- laser beam
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005242 forging Methods 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 112
- 238000007639 printing Methods 0.000 title claims abstract description 108
- 238000012544 monitoring process Methods 0.000 title claims abstract description 91
- 239000000843 powder Substances 0.000 claims abstract description 194
- 230000007547 defect Effects 0.000 claims abstract description 72
- 230000008569 process Effects 0.000 claims abstract description 65
- 230000005855 radiation Effects 0.000 claims abstract description 44
- 238000003892 spreading Methods 0.000 claims description 24
- 230000007480 spreading Effects 0.000 claims description 24
- 238000003708 edge detection Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000002950 deficient Effects 0.000 claims 2
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 5
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000010309 melting process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请涉及一种基于图像识别的锻打印在线监测方法、系统、设备及介质，其中方法包括：对CCD相机进行标定和校准；通过校准后的CCD相机获取锻打印过程中的粉末床图像以及超快激光束和粉末床激光束的焦点图像，基于粉末床图像识别出粉末床缺陷区域面积，以监测是否需要进行铺粉操作；基于焦点图像判断激光束焦点是否发生偏移，以对超快激光冲击锻打进行监测；通过红外热像仪获取熔池辐射强度的一维信号和二维图像，提取一维信号和二维图像中的特征信息，以监测锻打印的熔池辐射强度。本申请实现了在线监测锻打印过程，及时对粉末床缺陷区域进行铺粉操作，同时对超快激光的冲击锻打和熔池辐射强度进行监测，有利于提高锻打印的精度和效率。
Description
技术领域
本申请涉及增材制造技术领域，尤其涉及一种基于图像识别的锻打印在线监测方法、系统、设备及介质。
背景技术
锻打印增材制造设备作为一种集成了超快激光和粉末床熔融激光两套先进装置的复杂系统，其运行和控制需要高度的精确性和协调性。然而现有技术难以对锻打印进行在线监测，导致无法准确判断出粉末床缺陷区域，无法及时进行铺粉操作，同时也无法监测超快激光的冲击锻打和熔池辐射强度，导致锻打印的精度和效率较低。
发明内容
本申请实施例的目的在于提出一种基于图像识别的锻打印在线监测方法、系统、设备及介质，以实现在线监测锻打印过程，及时对粉末床缺陷区域进行铺粉操作，同时对超快激光的冲击锻打进行监测控制以及对熔池辐射强度进行监测，提高锻打印的精度和效率。
为了解决上述技术问题，本申请实施例提供一种基于图像识别的锻打印在线监测方法，包括：
对CCD 相机进行标定和校准；
通过校准后的CCD 相机获取锻打印过程中的粉末床图像，并基于所述粉末床图像识别出粉末床缺陷区域面积，通过所述粉末床缺陷区域面积监测是否需要进行铺粉操作；
通过所述校准后的CCD 相机获取锻打印过程中超快激光束和粉末床激光束的焦点图像，并基于所述焦点图像中所述超快激光束和所述粉末床激光束焦点间差值判断激光束焦点是否发生偏移，以对锻打印过程中的超快激光冲击锻打进行监测；
通过红外热像仪获取锻打印过程中熔池辐射强度的一维信号和二维图像，并提取所述一维信号和所述二维图像中的特征信息，基于所述特征信息监测锻打印的所述熔池辐射强度。
为了解决上述技术问题，本申请实施例提供一种基于图像识别的锻打印在线监测系统，包括：
相机标定单元，用于对CCD 相机进行标定和校准；
铺粉监测单元，用于通过校准后的CCD 相机获取锻打印过程中的粉末床图像，并基于所述粉末床图像识别出粉末床缺陷区域面积，通过所述粉末床缺陷区域面积监测是否需要进行铺粉操作；
锻打监测单元，用于通过所述校准后的CCD 相机获取锻打印过程中超快激光束和粉末床激光束的焦点图像，并基于所述焦点图像中所述超快激光束和所述粉末床激光束焦点间差值判断激光束焦点是否发生偏移，以对锻打印过程中的超快激光冲击锻打进行监测；
熔池辐射监测单元，用于通过红外热像仪获取锻打印过程中熔池辐射强度的一维信号和二维图像，并提取所述一维信号和所述二维图像中的特征信息，基于所述特征信息监测锻打印的所述熔池辐射强度。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种计算机设备，包括，一个或多个处理器；存储器，用于存储一个或多个程序，使得一个或多个处理器实现上述任意一项所述的基于图像识别的锻打印在线监测方法。
为解决上述技术问题，本发明采用的一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的基于图像识别的锻打印在线监测方法。
本发明实施例提供了一种基于图像识别的锻打印在线监测方法、系统、设备及介质。其中，方法包括：对CCD 相机进行标定和校准；通过校准后的CCD 相机获取锻打印过程中的粉末床图像，并基于所述粉末床图像识别出粉末床缺陷区域面积，通过所述粉末床缺陷区域面积监测是否需要进行铺粉操作；通过所述校准后的CCD 相机获取锻打印过程中超快激光束和粉末床激光束的焦点图像，并基于所述焦点图像中所述超快激光束和所述粉末床激光束焦点间差值判断激光束焦点是否发生偏移，以对锻打印过程中的超快激光冲击锻打进行监测；通过红外热像仪获取锻打印过程中熔池辐射强度的一维信号和二维图像，并提取所述一维信号和所述二维图像中的特征信息，基于所述特征信息监测锻打印的所述熔池辐射强度。本发明实施例实现了在线监测锻打印过程，及时对粉末床缺陷区域进行铺粉操作，同时对超快激光的冲击锻打进行监测控制以及对熔池辐射强度进行监测，有利于提高锻打印的精度和效率。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于图像识别的锻打印在线监测方法流程的一实现流程图；
图2是本申请实施例提供的基于图像识别的锻打印在线监测方法中子流程的实现流程图；
图3是本申请实施例提供的基于图像识别的锻打印在线监测方法中子流程的实现流程图；
图4是本申请实施例提供的基于图像识别的锻打印在线监测方法中子流程的实现流程图；
图5是本申请实施例提供的基于图像识别的锻打印在线监测方法中子流程的实现流程图；
图6是本申请实施例提供的基于图像识别的锻打印在线监测方法中子流程的实现流程图；
图7是本申请实施例提供的基于图像识别的锻打印在线监测方法中子流程的实现流程图；
图8是本申请实施例提供的基于图像识别的锻打印在线监测系统示意图；
图9是本申请实施例提供的计算机设备的示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
下面结合附图和实施方式对本发明进行详细说明。
需要说明的是，本申请实施例所提供的基于图像识别的锻打印在线监测方法一般由中央控制系统执行，相应地，基于图像识别的锻打印在线监测系统一般配置于中央控制系统中。
请参阅图1，图1示出了基于图像识别的锻打印在线监测方法的一种具体实施方式。
需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限，该方法包括如下步骤：
S1：对CCD 相机进行标定和校准。
本申请实施例中，使用由高分辨率的CCD 相机和高灵敏度的红外热像仪共同作用于激光粉末床熔融的制造过程，以实现对工艺过程和产品质量的全方位监控。CCD 相机和红外热像仪均与中央控制系统建立通信连接。
具体地，CCD 相机具有出色的图像捕捉和处理能力，故在本申请实例中需要基于数学模型对CCD 相机进行标定和校准，校正了镜头畸变，有效避免了图像的失真现象，从而确保了所采集的粉末床图像具有更高的精度和准确性。并且CCD 相机被设计用于监控粉末床上激光焦点的精确运动轨迹。通过CCD 相机与中央控制系统的紧密配合，CCD 相机能够实时捕捉激光焦点的位置和运动状态，并将这些信息以超快速度反馈给中央控制系统。中央控制系统根据接收到的信号，可以迅速作出反应，控制激光的启动和结束，确保激光束能够准确、稳定地作用在粉末床上，从而实现高质量的锻打印过程。
S2：通过校准后的CCD 相机获取锻打印过程中的粉末床图像，并基于所述粉末床图像识别出粉末床缺陷区域面积，通过所述粉末床缺陷区域面积监测是否需要进行铺粉操作。
本申请实施例中，通过 CCD 相机获取锻打印过程中的粉末床图像，并在获得粉末床图像后使用搭载深度学习模型实现图像识别的功能。该深度学习模型能够对熔融层锻打印过程中出现的孔洞、残渣等缺陷进行准确识别。这些缺陷对于产品质量和性能具有重要影响，因此及时发现并处理这些缺陷至关重要。CCD 相机捕捉到图像后，经过系统分析打印过程中的数据，能够迅速检测出任何异常或不规则的区域，并将这些信息实时反馈给操作员或中央控制系统。操作员可以根据反馈的信息及时调整工艺参数或采取其他必要措施，以确保打印过程的连续性和产品质量的一致性。
请参阅图2，图2示出了步骤S2的一种具体实施方式，详叙如下：
S21：通过所述校准后的CCD 相机获取锻打印过程中的所述粉末床图像。
S22：通过深度学习语义分割模型对所述粉末床图像进行分割识别，以从所述粉末床图像中分割出粉末缺陷区域。
请参阅图3，图3示出了步骤S22的一种具体实施方式，详叙如下：
S221：通过所述深度学习语义分割模型对所述粉末床图像进行二值化处理，得到二值化图像。
S222：通过边缘检测算法对所述二值化图像进行边缘检测，得到边缘检测结果。
S223：基于所述边缘检测结果确定所述粉末床图像中的所述粉末缺陷区域，并从所述粉末床图像中分割出粉末缺陷区域。
本申请实施例中，通过事先搭载的深度学习语义分割模型对粉末床图像进行二值化图像，然后通过边缘检测算法对所述二值化图像进行边缘检测，以检测出粉末床图像中的轮廓，从而能够识别出粉末床图像中的粉末缺陷区域，并且将该粉末缺陷区域从粉末床图像中分割处理。
S23：计算所述粉末缺陷区域对应的面积，得到所述粉末床缺陷区域面积。
本申请实施例中，由于分割处理的粉末缺陷区域为图像中的一部分，故可以将粉末缺陷区域划分为不同规则区域，从而对不同区域进行面积计算，再进行求和处理，最终得到粉末床缺陷区域面积。
S24：基于所述粉末床缺陷区域面积监测是否需要进行铺粉操作。
请参阅图4，图4示出了步骤S24的一种具体实施方式，详叙如下：
S241：将所述粉末床缺陷区域面积与第一预设阈值进行对比。
S242：若所述粉末床缺陷区域面积大于等于所述第一预设阈值，则生成铺粉指令，并基于所述铺粉指令对所述粉末缺陷区域进行所述铺粉操作，以使得所述粉末床缺陷区域面积下降到低于所述第一预设阈值。
S243：若所述粉末床缺陷区域面积小于所述第一预设阈值，则判定无须进行所述铺粉操作。
本申请实施例中，若粉末床缺陷区域面积大于等于第一预设阈值，则触发信号到中央控制系统中，从而生成铺粉指令，然后基于铺粉指令对粉末缺陷区域进行铺粉操作，从而对缺陷部分进行修正，使得粉末床缺陷区域面积下降，并且一直下降至第一预设阈值之下，此时中央控制系统才会进行下一步骤。若粉末床缺陷区域面积小于第一预设阈值，则判定无须进行铺粉操作。进一步地，需要对锻打印的铺粉过程进行实时监控，以使得粉末缺陷区域处于第一预设阈值之下，从而确保铺粉过程的顺利进行，确保了整个锻打印过程的稳定性和可靠性。
需要说明的是，第一预设阈值根据实际情况进行设定，此处不作限定。
S3：通过所述校准后的CCD 相机获取锻打印过程中超快激光束和粉末床激光束的焦点图像，并基于所述焦点图像中所述超快激光束和所述粉末床激光束焦点间差值判断激光束焦点是否发生偏移，以对锻打印过程中的超快激光冲击锻打进行监测。
本申请实施例的目的在于获得去畸变的超快激光束和粉末床激光束焦点图像，以确保后续处理的准确性，提高超快激光冲击锻打的精度和效率。
请参阅图5，图5示出了步骤S3的一种具体实施方式，详叙如下：
S31：通过所述校准后的CCD 相机获取锻打印过程中所述超快激光束和所述粉末床激光束的所述焦点图像。
S32：基于所述焦点图像计算所述超快激光束和所述粉末床激光束的焦点运动轨迹的距离差值，得到目标距离差值。
本申请实施例中，通过跟踪模块实时跟踪超快激光束和粉末床激光束的焦点，从而获取焦点图像，然后基于焦点图像计算超快激光束和粉末床激光束的焦点运动轨迹的距离差值，得到目标距离差值。
S33：将所述目标距离差值与第二预设阈值进行对比，以判断所述激光束焦点是否发生偏移，从而对锻打印过程中的超快激光冲击锻打进行监测。
请参阅图6，图6示出了步骤S33的一种具体实施方式，详叙如下：
S331：将所述目标距离差值与所述第二预设阈值进行对比。
S332：若所述目标距离差值大于等于所述第二预设阈值，则判定所述激光束焦点发生偏移，生成冲击锻打指令，并基于所述冲击锻打指令控制超快激光进行冲击锻打。
S333：若所述目标距离差值小于所述第二预设阈值，则判定所述激光束焦点未发生偏移，生成停止冲击锻打指令，并基于所述停止冲击锻打指令控制所述超快激光停止冲击锻打。
本申请实施例中，若目标距离差值大于等于第二预设阈值，则说明激光束焦点的位置出现了较大偏差，故判定激光束焦点发生偏移，此时触发信号到中央控制系统，中央控制系统接收到触发信号后生成冲击锻打指令，并基于冲击锻打指令控制超快激光进行冲击锻打，从而修正激光束焦点位置，确保加工过程的精确性和稳定性。而若目标距离差值小于第二预设阈值，说明激光束焦点的位置相对稳定，故判定激光束焦点未发生偏移，生成停止冲击锻打指令，并基于停止冲击锻打指令控制超快激光停止冲击锻打。
具体地，在整个过程中，中央控制系统作为核心部分，发挥着至关重要的作用。它要实时接收和处理图像识别与监控系统的信息，根据距离差值的大小来精准控制超快激光器光路系统的开启和关闭。这种自动控制方式显著提高了超快激光冲击锻打的精度和效率，为工业制造领域带来了巨大的优势。
需要说明的是，第二预设阈值根据实际情况进行设定，此处不作限定。
S4：通过红外热像仪获取锻打印过程中熔池辐射强度的一维信号和二维图像，并提取所述一维信号和所述二维图像中的特征信息，基于所述特征信息监测锻打印的所述熔池辐射强度。
本申请实施例中，红外热像仪利用红外热成像技术获取熔池的辐射强度信号，该辐射强度信号包含了丰富的信息，如熔池的温度分布、能量密度等，这些都是评估熔融过程和熔池状态的重要指标。将这些辐射信号和辐射图像输入到特定的卷积神经网络中进行特征提取，得到特征信息，该特征信息包括从一维信号中提取的第一特征信息和从而二维图像提取的第二特征信息。基于第一特征信息和第二特征信息能够识别出熔池的辐射强度，达到对熔池的辐射强度进行控制的效果。
请参阅图7，图7示出了步骤S4的一种具体实施方式，详叙如下：
S41：通过所述红外热像仪获取锻打印过程中熔池辐射强度的所述一维信号和所述二维图像。
S42：通过一维卷积神经网络对所述一维信号进行特征提取，得到第一特征信息。
S43：通过二维卷积神经网络对所述二维图像进行特征提取，得到第二特征信息。
S44：基于所述第一特征信息和所述第二特征信息监测锻打印的所述熔池辐射强度。
本申请实施例中，通过一维卷积神经网络对一维信号进行特征提取，以提取一维信号中的内在时间依赖性和变化规律，其第一特征信息包括熔池的温度分布和能量密度等。而二维卷积神经网络对二维图像进行特征提取，以提取出二维图像中有关熔池形态、纹理和结构的关键特征。故这两种神经网络的协同工作，系统能够实时、准确地识别和提取熔池辐射强度的特征信息。这些特征信息进一步用于在线监测熔池强度，确保锻打印过程的稳定性和产品质量。
本申请实施例中，对CCD 相机进行标定和校准；通过校准后的CCD 相机获取锻打印过程中的粉末床图像，并基于所述粉末床图像识别出粉末床缺陷区域面积，通过所述粉末床缺陷区域面积监测是否需要进行铺粉操作；通过所述校准后的CCD 相机获取锻打印过程中超快激光束和粉末床激光束的焦点图像，并基于所述焦点图像中所述超快激光束和所述粉末床激光束焦点间差值判断激光束焦点是否发生偏移，以对锻打印过程中的超快激光冲击锻打进行监测；通过红外热像仪获取锻打印过程中熔池辐射强度的一维信号和二维图像，并提取所述一维信号和所述二维图像中的特征信息，基于所述特征信息监测锻打印的所述熔池辐射强度。本发明实施例实现了在线监测锻打印过程，及时对粉末床缺陷区域进行铺粉操作，同时对超快激光的冲击锻打进行监测控制以及对熔池辐射强度进行监测，有利于提高锻打印的精度和效率，从而确保锻打印过程的稳定性和产品质量。
请参考图8，作为对上述图1所示方法的实现，本申请提供了一种基于图像识别的锻打印在线监测系统的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图8所示，本实施例的基于图像识别的锻打印在线监测系统包括：相机标定单元51、铺粉监测单元52、锻打监测单元53及熔池辐射监测单元54，其中：
相机标定单元51，用于对CCD 相机进行标定和校准；
铺粉监测单元52，用于通过校准后的CCD 相机获取锻打印过程中的粉末床图像，并基于所述粉末床图像识别出粉末床缺陷区域面积，通过所述粉末床缺陷区域面积监测是否需要进行铺粉操作；
锻打监测单元53，用于通过所述校准后的CCD 相机获取锻打印过程中超快激光束和粉末床激光束的焦点图像，并基于所述焦点图像中所述超快激光束和所述粉末床激光束焦点间差值判断激光束焦点是否发生偏移，以对锻打印过程中的超快激光冲击锻打进行监测；
熔池辐射监测单元54，用于通过红外热像仪获取锻打印过程中熔池辐射强度的一维信号和二维图像，并提取所述一维信号和所述二维图像中的特征信息，基于所述特征信息监测锻打印的所述熔池辐射强度。
进一步地，铺粉监测单元52包括：
粉末床图像获取单元，用于通过所述校准后的CCD 相机获取锻打印过程中的所述粉末床图像；
分割识别单元，用于通过深度学习语义分割模型对所述粉末床图像进行分割识别，以从所述粉末床图像中分割出粉末缺陷区域；
面积计算单元，用于计算所述粉末缺陷区域对应的面积，得到所述粉末床缺陷区域面积；
铺粉操作监测单元，用于基于所述粉末床缺陷区域面积监测是否需要进行铺粉操作。
进一步地，铺粉操作监测单元包括：
第一对比单元，用于将所述粉末床缺陷区域面积与第一预设阈值进行对比；
第一监测单元，用于若所述粉末床缺陷区域面积大于等于所述第一预设阈值，则生成铺粉指令，并基于所述铺粉指令对所述粉末缺陷区域进行所述铺粉操作，以使得所述粉末床缺陷区域面积下降到低于所述第一预设阈值；
第二监测单元，用于若所述粉末床缺陷区域面积小于所述第一预设阈值，则判定无须进行所述铺粉操作。
进一步地，分割识别单元包括：
二值化单元，用于通过所述深度学习语义分割模型对所述粉末床图像进行二值化处理，得到二值化图像；
边缘检测单元，用于通过边缘检测算法对所述二值化图像进行边缘检测，得到边缘检测结果；
粉末缺陷区域分割单元，用于基于所述边缘检测结果确定所述粉末床图像中的所述粉末缺陷区域，并从所述粉末床图像中分割出粉末缺陷区域。
进一步地，锻打监测单元53包括：
焦点图像获取单元，用于通过所述校准后的CCD 相机获取锻打印过程中所述超快激光束和所述粉末床激光束的所述焦点图像；
目标距离差值计算单元，用于基于所述焦点图像计算所述超快激光束和所述粉末床激光束的焦点运动轨迹的距离差值，得到目标距离差值；
焦点偏移判断单元，用于将所述目标距离差值与第二预设阈值进行对比，以判断所述激光束焦点是否发生偏移，从而对锻打印过程中的超快激光冲击锻打进行监测。
进一步地，焦点偏移判断单元包括：
第二对比单元，用于将所述目标距离差值与所述第二预设阈值进行对比；
第一锻打监测单元，用于若所述目标距离差值大于等于所述第二预设阈值，则判定所述激光束焦点发生偏移，生成冲击锻打指令，并基于所述冲击锻打指令控制超快激光进行冲击锻打；
第二锻打监测单元，用于若所述目标距离差值小于所述第二预设阈值，则判定所述激光束焦点未发生偏移，生成停止冲击锻打指令，并基于所述停止冲击锻打指令控制所述超快激光停止冲击锻打。
进一步地，熔池辐射监测单元54包括：
一维信号获取单元，用于通过所述红外热像仪获取锻打印过程中熔池辐射强度的所述一维信号和所述二维图像；
第一特征提取单元，用于通过一维卷积神经网络对所述一维信号进行特征提取，得到第一特征信息；
第二特征提取单元，用于通过二维卷积神经网络对所述二维图像进行特征提取，得到第二特征信息；
辐射监测单元，用于基于所述第一特征信息和所述第二特征信息监测锻打印的所述熔池辐射强度。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图9，图9为本实施例计算机设备基本结构框图。
计算机设备6包括通过系统总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有三种组件存储器61、处理器62、网络接口63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器 (Digital Signal Processor，DSP)、嵌入式设备等。
计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
存储器61至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，存储器61可以是计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，存储器61也可以是计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡（SmartMedia Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。当然，存储器61还可以既包括计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，存储器61通常用于存储安装于计算机设备6的操作系统和各类应用软件，例如基于图像识别的锻打印在线监测方法的程序代码等。此外，存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器62在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制计算机设备6的总体操作。本实施例中，处理器62用于运行存储器61中存储的程序代码或者处理数据，例如运行上述基于图像识别的锻打印在线监测方法的程序代码，以实现基于图像识别的锻打印在线监测方法的各种实施例。
网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在计算机设备6与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序可被至少一个处理器执行，以使至少一个处理器执行如上述的一种基于图像识别的锻打印在线监测方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本申请各个实施例的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种基于图像识别的锻打印在线监测方法，其特征在于，包括：
对CCD 相机进行标定和校准；
通过校准后的CCD 相机获取锻打印过程中的粉末床图像，并基于所述粉末床图像识别出粉末床缺陷区域面积，通过所述粉末床缺陷区域面积监测是否需要进行铺粉操作；
通过所述校准后的CCD 相机获取锻打印过程中超快激光束和粉末床激光束的焦点图像，并基于所述焦点图像中所述超快激光束和所述粉末床激光束焦点间差值判断激光束焦点是否发生偏移，以对锻打印过程中的超快激光冲击锻打进行监测；
通过红外热像仪获取锻打印过程中熔池辐射强度的一维信号和二维图像，并提取所述一维信号和所述二维图像中的特征信息，基于所述特征信息监测锻打印的所述熔池辐射强度。
2.根据权利要求1所述的基于图像识别的锻打印在线监测方法，其特征在于，所述通过校准后的CCD 相机获取锻打印过程中的粉末床图像，并基于所述粉末床图像识别出粉末床缺陷区域面积，通过所述粉末床缺陷区域面积监测是否需要进行铺粉操作，包括：
通过所述校准后的CCD 相机获取锻打印过程中的所述粉末床图像；
通过深度学习语义分割模型对所述粉末床图像进行分割识别，以从所述粉末床图像中分割出粉末缺陷区域；
计算所述粉末缺陷区域对应的面积，得到所述粉末床缺陷区域面积；
基于所述粉末床缺陷区域面积监测是否需要进行铺粉操作。
3.根据权利要求2所述的基于图像识别的锻打印在线监测方法，其特征在于，所述基于所述粉末床缺陷区域面积监测是否需要进行铺粉操作，包括：
将所述粉末床缺陷区域面积与第一预设阈值进行对比；
若所述粉末床缺陷区域面积大于等于所述第一预设阈值，则生成铺粉指令，并基于所述铺粉指令对所述粉末缺陷区域进行所述铺粉操作，以使得所述粉末床缺陷区域面积下降到低于所述第一预设阈值；
若所述粉末床缺陷区域面积小于所述第一预设阈值，则判定无须进行所述铺粉操作。
4.根据权利要求2所述的基于图像识别的锻打印在线监测方法，其特征在于，所述通过深度学习语义分割模型对所述粉末床图像进行分割识别，以从所述粉末床图像中分割出粉末缺陷区域，包括：
通过所述深度学习语义分割模型对所述粉末床图像进行二值化处理，得到二值化图像；
通过边缘检测算法对所述二值化图像进行边缘检测，得到边缘检测结果；
基于所述边缘检测结果确定所述粉末床图像中的所述粉末缺陷区域，并从所述粉末床图像中分割出粉末缺陷区域。
5.根据权利要求1所述的基于图像识别的锻打印在线监测方法，其特征在于，所述通过所述校准后的CCD 相机获取锻打印过程中超快激光束和粉末床激光束的焦点图像，并基于所述焦点图像中所述超快激光束和所述粉末床激光束焦点间差值判断激光束焦点是否发生偏移，以对锻打印过程中的超快激光冲击锻打进行监测，包括：
通过所述校准后的CCD 相机获取锻打印过程中所述超快激光束和所述粉末床激光束的所述焦点图像；
基于所述焦点图像计算所述超快激光束和所述粉末床激光束的焦点运动轨迹的距离差值，得到目标距离差值；
将所述目标距离差值与第二预设阈值进行对比，以判断所述激光束焦点是否发生偏移，从而对锻打印过程中的超快激光冲击锻打进行监测。
6.根据权利要求5所述的基于图像识别的锻打印在线监测方法，其特征在于，所述将所述目标距离差值与第二预设阈值进行对比，以判断所述激光束焦点是否发生偏移，从而对锻打印过程中的超快激光冲击锻打进行监测，包括：
将所述目标距离差值与所述第二预设阈值进行对比；
若所述目标距离差值大于等于所述第二预设阈值，则判定所述激光束焦点发生偏移，生成冲击锻打指令，并基于所述冲击锻打指令控制超快激光进行冲击锻打；
若所述目标距离差值小于所述第二预设阈值，则判定所述激光束焦点未发生偏移，生成停止冲击锻打指令，并基于所述停止冲击锻打指令控制所述超快激光停止冲击锻打。
7.根据权利要求1至6任一项所述的基于图像识别的锻打印在线监测方法，其特征在于，所述通过红外热像仪获取锻打印过程中熔池辐射强度的一维信号和二维图像，并提取所述一维信号和所述二维图像中的特征信息，基于所述特征信息监测锻打印的所述熔池辐射强度，包括：
通过所述红外热像仪获取锻打印过程中熔池辐射强度的所述一维信号和所述二维图像；
通过一维卷积神经网络对所述一维信号进行特征提取，得到第一特征信息；
通过二维卷积神经网络对所述二维图像进行特征提取，得到第二特征信息；
基于所述第一特征信息和所述第二特征信息监测锻打印的所述熔池辐射强度。
8.一种基于图像识别的锻打印在线监测系统，其特征在于，包括：
相机标定单元，用于对CCD 相机进行标定和校准；
铺粉监测单元，用于通过校准后的CCD 相机获取锻打印过程中的粉末床图像，并基于所述粉末床图像识别出粉末床缺陷区域面积，通过所述粉末床缺陷区域面积监测是否需要进行铺粉操作；
锻打监测单元，用于通过所述校准后的CCD 相机获取锻打印过程中超快激光束和粉末床激光束的焦点图像，并基于所述焦点图像中所述超快激光束和所述粉末床激光束焦点间差值判断激光束焦点是否发生偏移，以对锻打印过程中的超快激光冲击锻打进行监测；
熔池辐射监测单元，用于通过红外热像仪获取锻打印过程中熔池辐射强度的一维信号和二维图像，并提取所述一维信号和所述二维图像中的特征信息，基于所述特征信息监测锻打印的所述熔池辐射强度。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于图像识别的锻打印在线监测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于图像识别的锻打印在线监测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410271103.5A CN117876369B (zh) | 2024-03-11 | 2024-03-11 | 基于图像识别的锻打印在线监测方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410271103.5A CN117876369B (zh) | 2024-03-11 | 2024-03-11 | 基于图像识别的锻打印在线监测方法、系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117876369A true CN117876369A (zh) | 2024-04-12 |
| CN117876369B CN117876369B (zh) | 2024-06-18 |
Family
ID=90594927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410271103.5A Active CN117876369B (zh) | 2024-03-11 | 2024-03-11 | 基于图像识别的锻打印在线监测方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117876369B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160067778A1 (en) * | 2014-05-27 | 2016-03-10 | Jian Liu | Method and Apparatus for Three-Dimensional Additive Manufacturing with a High Energy High Power Ultrafast Laser |
| US20160176114A1 (en) * | 2014-12-17 | 2016-06-23 | National Applied Research Laboratories | System for online monitoring powder-based 3d printing processes and method thereof |
| CN107635749A (zh) * | 2015-06-10 | 2018-01-26 | Ipg光子公司 | 多光束增材制造 |
| CN112276344A (zh) * | 2019-07-09 | 2021-01-29 | 大族激光科技产业集团股份有限公司 | 一种超快激光切割透明材料的焦点定位方法 |
| CN112589261A (zh) * | 2020-11-03 | 2021-04-02 | 华中科技大学 | 一种多能场辅助超短脉冲激光加工过程监测装置及方法 |
| CN114216911A (zh) * | 2021-12-20 | 2022-03-22 | 河北科技大学 | 一种金属选择性激光熔化成型中铺粉质量监测及控制方法 |
| CN115341212A (zh) * | 2022-08-31 | 2022-11-15 | 上海交通大学 | 双光束超高速激光熔覆与激光冲击锻打的复合加工方法 |
| CN116372182A (zh) * | 2021-12-23 | 2023-07-04 | 广东汉邦激光科技有限公司 | 激光增材制造控制方法、电子设备及计算机可读存储介质 |
| CN117058154A (zh) * | 2023-10-13 | 2023-11-14 | 西安空天机电智能制造有限公司 | 3dp金属打印铺粉过程的缺陷识别方法、系统及介质 |
-
2024
- 2024-03-11 CN CN202410271103.5A patent/CN117876369B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160067778A1 (en) * | 2014-05-27 | 2016-03-10 | Jian Liu | Method and Apparatus for Three-Dimensional Additive Manufacturing with a High Energy High Power Ultrafast Laser |
| US20160176114A1 (en) * | 2014-12-17 | 2016-06-23 | National Applied Research Laboratories | System for online monitoring powder-based 3d printing processes and method thereof |
| CN107635749A (zh) * | 2015-06-10 | 2018-01-26 | Ipg光子公司 | 多光束增材制造 |
| CN112276344A (zh) * | 2019-07-09 | 2021-01-29 | 大族激光科技产业集团股份有限公司 | 一种超快激光切割透明材料的焦点定位方法 |
| CN112589261A (zh) * | 2020-11-03 | 2021-04-02 | 华中科技大学 | 一种多能场辅助超短脉冲激光加工过程监测装置及方法 |
| CN114216911A (zh) * | 2021-12-20 | 2022-03-22 | 河北科技大学 | 一种金属选择性激光熔化成型中铺粉质量监测及控制方法 |
| CN116372182A (zh) * | 2021-12-23 | 2023-07-04 | 广东汉邦激光科技有限公司 | 激光增材制造控制方法、电子设备及计算机可读存储介质 |
| CN115341212A (zh) * | 2022-08-31 | 2022-11-15 | 上海交通大学 | 双光束超高速激光熔覆与激光冲击锻打的复合加工方法 |
| CN117058154A (zh) * | 2023-10-13 | 2023-11-14 | 西安空天机电智能制造有限公司 | 3dp金属打印铺粉过程的缺陷识别方法、系统及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 尉鹏飞;刘军;李晓芳;陈晓伟;刘鹏;李儒新;徐至展;: "激光光束实时监测与自动准直系统设计", 光学学报, no. 08, 15 August 2008 (2008-08-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117876369B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11004234B2 (en) | Method and apparatus for annotating point cloud data | |
| CN112692453B (zh) | 利用高速相机识别气膜孔穿透区域的方法、系统及介质 | |
| CN112258507B (zh) | 互联网数据中心的目标对象检测方法、装置和电子设备 | |
| KR20140090795A (ko) | 다중 카메라 환경에서 객체 추적 방법 및 장치 | |
| CN111814776B (zh) | 一种图像处理方法、设备、服务器及存储介质 | |
| CN115685876A (zh) | 一种基于轨迹补偿的平面激光切割控制方法及系统 | |
| CN117876369B (zh) | 基于图像识别的锻打印在线监测方法、系统、设备及介质 | |
| CN117381105B (zh) | 机器人焊接电流控制方法、装置、电子设备和存储介质 | |
| CN116481434B (zh) | 一种视觉检测用自定位控制方法、装置以及自定位系统 | |
| CN117078677B (zh) | 一种用于始极片的缺陷检测方法及系统 | |
| CN115249241A (zh) | 一种涂胶缺陷检测方法及装置 | |
| CN115100110A (zh) | 一种偏光镜片缺陷检测方法、装置、设备及可读存储介质 | |
| CN115457252A (zh) | 一种焊接关键点的定位方法及装置 | |
| CN112580379B (zh) | 数据处理系统和方法、电子设备以及计算机可读存储介质 | |
| CN109089052B (zh) | 一种目标物体的验证方法及装置 | |
| CN113778091A (zh) | 一种风电场升压站设备巡检方法 | |
| Jamrozik et al. | Application of fused visual and thermal images in monitoring and evaluation of welding processes | |
| CN117253195B (zh) | 一种ipc安全监测方法、监测系统、计算机设备和可读存储介质 | |
| CN117611676B (zh) | 一种基于视觉算法的芯片烧录定位矫正方法和系统 | |
| CN117475367B (zh) | 基于多规则协调的污水图像处理方法及系统 | |
| CN117877100B (zh) | 一种行为模式的确定方法、装置、电子设备及存储介质 | |
| CN116319501B (zh) | 一种获取设备运行参数的网络系统 | |
| CN111967306B (zh) | 目标远程监控方法、装置、计算机设备及存储介质 | |
| CN113326794A (zh) | 机器人行驶中危险区域检测方法、装置、设备及存储介质 | |
| US20240181648A1 (en) | Welding path generating system and welding path generating method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |