CN114372725A - 一种基于数字孪生的增材制造系统成形监测系统及方法 - Google Patents

Abstract

本发明公开了一种基于数字孪生的增材制造系统成形监测系统及方法，包括机床顶部全范围监控的CCD高速工业相机、电弧枪侧边监控的CCD高速工业相机、三维激光轮廓扫描仪、条状激光发射器、声音采集传感器、红外热成像相机、具有多自由度的相机夹具以及环状固定装置。提出相应的数据采集方法与步骤，进一步设计相应的数据优化算法与处理流程，为构建具有多框架模式的监控与调控系统提供有力的依据。同时，基于多种采集的现实物理数据，形成数字孪生数据，构建虚拟空间的数字孪生模型，实时监控与调控加工制造全过程，实现制造系统的闭环反馈控制，提高了零件成形精度以及为设计制造新产品节省人力与物力的投入成本。

Description

一种基于数字孪生的增材制造系统成形监测系统及方法

技术领域

本发明涉及电弧增材技术领域，具体为一种基于数字孪生的增材制造系统成形监测系统及方法。

背景技术

电弧增材制造(WireandArcAdditiveManufacture，WAAM)技术，具有沉积率高、成形快速以及可以制造中大型复杂结构零件的特点，极大地节约制造成本和降低劳动力的消耗。因此WAAM技术被广泛应用于各种中大型复杂零件的制造中，特别是应用在航空航天复杂结构零部件的制造。航空航天领域零件的制造，大部分都是大尺寸复杂的零件，制造时间动辄几天甚至几个月。因此，成形件的质量监控以及设计数据模拟仿真制造调控尤为重要，特别是涉及到成形件的成形过程监控。

随着堆积层的增加与热量不断输入，成形件散热的速度变得缓慢，熔池凝固成形的时间随之延长，导致焊道形状难以控制。电弧增材制造成形的理想化目标是焊道尺寸与分层切片模型尺寸保持完全一致。但是，WAAM技术具有电弧的指向性不强，高热量输入，堆积过程周期相对较长以及快速冷却等特点；同时热源在复杂路径的遍历时间长，经历复杂热循环作用的成形件，内部难以避免会产生残余应力等机械性能的问题。由此可知，若在制造过程中对熔池及焊接参数进行实时监测，随时调整工艺参数，降低热累积的制造工况，则焊道尺寸能与预先设定的尺寸始终保持相对的一致性，成形零件质量将得到进一步的改善。

数字孪生是综合多学科、多物理量、多尺度、多概率的属性，利用物理模型、传感器更新等数据，在数字虚拟空间中完成映射，形成虚拟设备与现实设备的孪生关系，从而实现实体装备的全生命周期管理的技术。

现有专利如专利CN112084570A提出一种增材制造耦接数字孪生生态系统，用于创建优化的制造过程以制作修理制定零件的方法；实时更新与制定零件的基于物理的模型与之相对应的替代模型；

专利CN111795977A提供一种金属增材制造多种监测设备在线实时监控系统，旨在于解决现有的金属增材制造监控设备因获取信息不全面而无法及时发现加工缺陷产生原因的问题；

专利CN112162519A提供一种复合型机床数字孪生监控系统，简化了对复合型机床运行的监控过程，提高了机床系统的监控精度，实现了对复合型机床运行的主动式预测性维护。

以上各种专利的描述中，基于数字孪生技术的系统，基本上都能很好解决了大量的监测与调控，以及相应工艺实时在线优化以提高生产工作效率的问题。但是，数字孪生应用于金属增材制造成形过程监测与调控的系统及方法较少，特别是涉及到电弧增材制造智能系统，市面上现在还没有一种基于数字孪生的增材制造系统成形监测系统及方法。

针对WAAM成形过程多种因素影响下，所导致成形件变形以及机械性能得不到保证等需求进行创新设计。

发明内容

本发明的目的在于提供一种基于数字孪生的增材制造系统成形监测系统及方法，以解决上述背景技术中提出传统电弧增材制造过程采集制造成形过程信息过少，精度难以保证以及无法全程可视化增材制造过程与成品全生命周期管理的问题。

为实现上述目的，本发明提供如下技术方案：一种基于数字孪生的增材制造系统成形监测系统，所述系统的硬件部分包括报警模块、顶端CCD高速工业相机、五轴机床垂直伸缩机构、三维激光轮廓扫描仪、红外相机、声音传感器、环状固定装置、电弧枪、基板、条状激光发射器、电弧侧边监控相机；

所述顶端CCD高速工业相机、三维激光轮廓扫描仪、红外相机、声音传感器、条状激光发射器和电弧侧边监控相机配合环状固定装置安装于电弧枪和基板外围，同时对增材焊接成形进行监控，基于监控采集现实物理数据，形成数字孪生数据，构建虚拟空间的数字孪生模型，实时监控与调控加工制造全过程，实现制造系统的闭环反馈控制。

优选的，所述顶端CCD高速工业相机用于监测全范围的弧光变化情况，同时通过相应的视觉图像处理算法实时处理制造过程弧光的变化情况，将弧光变化情况与零件成形过程建立数学关联模型。

所述视觉图像处理算法包括，将采集到的图像作灰度化处理、阈值分割、形状筛选；过滤强弧光处的特征分布，获取五轴机床加工室内的频闪电弧的图像。进一步的，将图像拆分为RGB通道，并作进一步的HSV颜色变换。进一步的，将各个通道的像素依次与上一帧原图像对应位置的像素作图像差运算得到相应的T值，判断T值与预设阈值的大小，若T值大于阈值，获取当前图像作一级小波变换处理，提取低频信号以及过滤高频信号，存储全部有效的低频信号，并通过传输模块传送至中央系统作进一步的决策判断。

优选的，所述电弧侧边监控相机，其一为利用电弧光照射熔池，形成被动视觉监控状态；其二为利用所述条状激光发射器照射熔池，形成主动激光视觉监控状态，联合主被动视觉进行信息采集，关键在于被动视觉与主动视觉使用方法与流程步骤；

所述主被动视觉使用方法与流程步骤包括，首先采用CCD高速工业相机采集当前电弧的弧光图像，利用图像处理算法计算出当前阈值，并且与预设阈值比较。进一步的，依据比较的结果决策下一步继续使用被动视觉还是使用激光主动视觉进行图像采集，最后将图像数据通过传输模块传送至中央处理系统。

采用上述技术方案，因为电弧侧边监控相机配合的主被动视觉监测系统得到的图像信息局限于熔池与焊枪处，可能会忽略环境因素的光照可能与弧光也形成一定的关系，同时为了营造更加真实的虚拟仿真制造环境，采集加工机床室内的环境因素也相当重要，进一步的，顶端CCD高速工业相机全范围采集图像信息，设计相应的视觉图像处理算法实时处理所述加工机床内制造过程弧光的变化情况，为建立弧光在加工机床内的变化情况与零件成形过程的数学模型提供有力的数据支撑。

优选的，所述红外相机用于实时监控熔池在制造过程中的温度变化情况，通过分析温度数据与熔池成形质量的关系，建立具有温度与质量的关联模型，采用相应的控制策略进行调控。同时，将采集的温度信息与成形质量的关系模型记录于数据储存模块，中央处理系统根据实际工况与前一次数据的情况，综合判断决策、同步调整成形焊接工艺参数以及成形过程与步骤。

采用上述技术方案，通过采集熔池在成形过程中的温度变化的数据，建立温度与成形质量的数学关联模型，同时结合其它的焊接工艺参数选择相应的调控策略，进一步地，调控策略模块包括调整焊接制造的节拍、改变制造焊接的堆积路径、改变焊丝的出丝速度与焊枪的移动速度以及启动相应的人为主动干预手段等，进一步地，所述人为主动干预手段包括，热电设备制造冷源冷却基板、输送冷却气体冷却熔池等。

优选的，所述顶端CCD高速工业相机、红外相机和电弧侧边监控相机的安装位置均设置有多自由度相机夹具，通过具有多自由度相机夹具夹持，实时调整拍摄的角度，以适应复杂的增材制造过程监控的情况；

所述多自由度相机夹具，包括大“U”型板材和小“U”型板材，且大“U”型板材位于小“U”型板材的外侧，所述大“U”型板材为滑块的支撑板，且小“U”型板材主要为夹紧相机末端，所述大“U”型板材中间位置都留有滑块滑动的滑槽，用于滑块滑动以调节相机左右以及前后的位置，所述大“U”型板材和小“U”型板材之间用球铰链连接杆进行连接，所述小“U”型板材和夹紧的相机之间具有俯仰的调节功能，且大“U”型板材的上端和机床之间通过连接固定块相连，同时连接固定块也具有左右旋转调节功能，基于描述的各个自由度的调节，以实现夹紧的相机在空间可全方位调节。

采用上述技术方案，适用于多种相机的夹持，整体可以左右和上下调整角度。其中，在夹持相机的接触端，通过横向滑动与球铰链连接整体部分；可以达到空间全方位的角度与位置微调，实现相机多种位置与角度的调整效果。

优选的，所述三维激光轮廓扫描仪垂直安装于成形零件的上方，用于监测熔池成形的几何尺寸，通过相应的图像处理算法，监测缺陷形成的过程以及快速检测成形件的各种缺陷，将提取熔池三维信息与理想效果的熔池三维信息相比对，分析缺陷产生过程相应工艺参数的变化，并且记录相应缺陷与工艺参数的对应关系存储于数据储存模块中，在每一次孪生数据的更新中，中央处理系统根据记录的缺陷类型与工艺参数的关系，自动调控相应的制造工艺参数。

采用上述技术方案，三维激光轮廓扫描仪可用于采集成形零件的三维轮廓信息，包括成形过程以及成形之后的三维点云图像数据，设计相应的点云处理算法，将存在质量问题的成形件进行缺陷检测并分类，缺陷的分类主要有焊道坍塌、焊道出现气孔、焊缝存在夹渣、焊缝存在裂纹以及焊缝不连续等缺陷，进一步地，每一次成形件成形的过程，都会全过程记录成形的焊接参数以及环境影响因素，即每一种缺陷所产生的全过程都会被记录并且存储于数据储存模块，后一次制造零件时，则根据数据储存模块的数据进行比对，实时调整新一次的成形焊接参数，以不断完善制造零件的精度，避免后续的制造中产生更多的缺陷。

优选的，所述声音传感器安装于电弧枪的侧面，用于实时采集电弧增材制造过程中的声信号，通过相应的声信号算法处理所采集的声信号，过滤干扰的声信号以及提取有效的声信号，建立反映出零件成形过程与声信号的数学关联模型，作为一种标志数据储存于数据储存模块，以供中央处理系统作综合决策判断调控的依据。

采用上述技术方案，通过采集电弧在制造过程中的电弧声音，分析处理相应的声音信号，根据分析结果，选取恰当的滤波器进行噪声去除处理，获取相应的声音信号与焊道几何信息对应的关系，其中滤波器包括各种常规的滤波算法，也包含自适应的滤波器，如基于神经网络的自适应滤波器。

优选的，所述环状固定装置用于需要固定在电弧枪侧边的传感器，传感器可绕电弧枪作环绕位置调整，环状固定装置可大幅度相对五轴机床垂直伸缩机构作垂直调整，实现传感器在空间多种位置的调整效果；

所述环状固定装置主要由上环和下环组成，且上环和下环由扁平侧板连接，所述上环绕着扁平侧板末端作圆周运动，进而实现上环和下环在空间的相对位置变化，从而实现传感器相对于所述电弧枪的距离发生改变，所述上环和下环的内侧均开设有槽口，且槽口与传感器滑动连接，从而实现绕环中心轴旋转的调整，所述环状固定装置与五轴机床垂直伸缩机构通过安装板侧面连接，环状固定装置可以通过五轴机床垂直伸缩机构作垂直运动。

采用上述技术方案，实现多传感器的框架布局安装设置。

一种基于数字孪生的增材制造系统成形监测方法，将传感器采集到的数据映射到数字空间，形成孪生数据，进一步构建数字孪生模型，用于预测调控、在线实时修改成形加工参数，达到从现实数据到数字空间，再从数字虚拟空间到现实空间的制造效果，以实现全方位监控增材成形零件的全生命周期管理。

优选的，所述数字孪生模型将传感器采集的数据，汇集形成孪生数据，进一步构建数字孪生模型；

所述数据孪生模型与物理空间实体设备具有完全的数字映射关系，在电脑端控制的虚拟模型可同步监控实体设备的工作状态，以及下达新的制造指令进行实时的参数调控制造；

所述数字孪生模型具备多种复杂的混合数据，内嵌的智能算法可基于所述复杂混合数据进行大规模的数据运算，以实时更新孪生数据的信息，同时更新数字孪生模型，使数字孪生模型可以依据物理空间的环境变化实时迭代更新，从而模型更具有实效性；

所述实时更新的数字孪生模型，依据智能算法对实时数据的处理，重新调整设备工作的参数，通过数据传输模块快速送达复合增减材制造系统，以实现工件全过程的闭环控制制造。

采用上述技术方案，所述数字孪生模型进行制造参数的修正，则为使用机器学习等算法进行在线决策，以其中一种智能算法阐述工作过程，如神经网络模型的预测模块进行参数修正，基于多传感器所采集的数据集，在线训练焊接工艺参数与焊道成形尺寸之间的关联模型，并产生最优的工艺参数，通过数据传输模块反馈至五轴复合增减材制造系统，重新调整工艺参数进行制造，所述神经网络模型所输入的参数包括送丝速度、焊枪移动速度、焊接的电流和电压、焊接过程弧光频闪的频率以及焊接时电弧产生的声音等变量，输出为焊道的几何尺寸，包括焊道宽与高，神经网络输出的变量不局限于单层焊道的几何尺寸，也包括堆积多层的层高与层宽以及可能会影响制造过程的各种因素变量等。

与现有技术相比，本发明的有益效果是：该基于数字孪生的五轴复合增减材制造系统的WAAM成形过程监测系统及方法，

1、本发明基于多框架传感器布局采集制造过程的信息，以及增材制造环境中多种环境影响因素，构建电弧增材制造全过程的数字孪生模型，以达到对成形件全生命周期的监控与管理，进一步提高增材制造的制造精度以及避免一些不必要的人力物力浪费，实现更为智能的制造系统；

2、通过调节具有多自由度相机夹具，可以实现相机在空间中呈现多种拍摄姿态，适应复杂环境的增材制造角度拍摄要求；同时搭建多框架的传感器实时数据采集与监控系统，能满足实际复杂环境作业下的数据采集与监控要求，以及给出了多种实现方法和流程步骤；解决了传统电弧增材制造成形过程信息采集过少、成形零件精度难以保证、成形零件全过程无法监测、传感器缺少多方位调节的固定装置以及无法全程可视化增材制造过程与成品全生命周期管理的问题。

附图说明

图1为本发明多传感器监控整体布局示意图；

图2为本发明多传感器数据采集及处理流程总图；

图3为本发明主被动视觉使用的流程图；

图4为本发明电弧弧光处理算法流程图；

图5为本发明温度调控策略的选择方法流程示意图；

图6为本发明温度调控策略模块示意图；

图7为本发明声音信号处理流程图；

图8为本发明声音滤波处理模块示意图；

图9为本发明焊接缺陷分类模块示意图；

图10为本发明缺陷分类模块的调用流程示意图；

图11为本发明多自由度相机夹具结构示意图；

图12为本发明环状固定装置结构示意图；

图13为本发明数据储存模块示意图；

图14为本发明数字孪生模型的工作过程示意图；

图15为本发明神经网络模型训练示意图。

图中：1、报警模块；2、顶端CCD高速工业相机；3、五轴机床垂直伸缩机构；4、三维激光轮廓扫描仪；5、红外相机；6、声音传感器；7、环状固定装置；71、上环；72、下环；73、扁平侧板；74、槽口；75、安装板；8、电弧枪；9、基板；10、条状激光发射器；11、电弧侧边监控相机；12、多自由度相机夹具；121、大“U”型板材；122、小“U”型板材；123、滑块；124、滑槽；125、球铰链连接杆；126、连接固定块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-15，本发明提供一种技术方案：

一种基于数字孪生的增材制造系统成形监测系统，系统的硬件部分包括报警模块1、顶端CCD高速工业相机2、五轴机床垂直伸缩机构3、三维激光轮廓扫描仪4、红外相机5、声音传感器6、环状固定装置7、电弧枪8、基板9、条状激光发射器10、电弧侧边监控相机11，系统整体的布局如图1所示；

顶端CCD高速工业相机2、三维激光轮廓扫描仪4、红外相机5、声音传感器6、条状激光发射器10和电弧侧边监控相机11配合环状固定装置7安装于电弧枪8和基板9外围，同时对增材焊接成形进行监控，基于监控采集现实物理数据，形成数字孪生数据，构建虚拟空间的数字孪生模型，实时监控与调控加工制造全过程，实现制造系统的闭环反馈控制，多传感器数据采集及处理工作流程如图2所示。

电弧侧边监控相机11，其一为利用电弧光照射熔池，形成被动视觉监控状态；其二为利用条状激光发射器10照射熔池，形成主动激光视觉监控状态，联合主被动视觉进行信息采集，关键在于被动视觉与主动视觉使用方法与流程步骤；

主被动视觉使用方法与流程步骤包括，首先采用CCD高速工业相机采集当前电弧的弧光图像，利用图像处理算法计算出当前阈值，并且与预设阈值比较。进一步的，依据比较的结果决策下一步继续使用被动视觉还是使用激光主动视觉进行图像采集，最后将图像数据通过传输模块传送至中央处理系统，具体的工作流程如图3所示。

顶端CCD高速工业相机2用于监测全范围的弧光变化情况，同时通过相应的视觉图像处理算法实时处理制造过程弧光的变化情况，将弧光变化情况与零件成形过程建立数学关联模型。

视觉图像处理算法包括，将采集到的图像作灰度化处理、阈值分割、形状筛选；过滤强弧光处的特征分布，获取五轴机床加工室内的频闪电弧的图像。进一步的，将图像拆分为RGB通道，并作进一步的HSV颜色变换。进一步的，将各个通道的像素依次与上一帧原图像对应位置的像素作图像差运算得到相应的T值，判断T值与预设阈值的大小，若T值大于阈值，获取当前图像作一级小波变换处理，提取低频信号以及过滤高频信号，存储全部有效的低频信号，并通过传输模块传送至中央系统作进一步的决策判断，具体的算法步骤实现如图4所示。

因为电弧侧边监控相机11配合的主被动视觉监测系统得到的图像信息局限于熔池与焊枪处，可能会忽略环境因素的光照可能与弧光也形成一定的关系，同时为了营造更加真实的虚拟仿真制造环境，采集加工机床室内的环境因素也相当重要，进一步的，顶端CCD高速工业相机全范围采集图像信息，设计相应的视觉图像处理算法实时处理所述加工机床内制造过程弧光的变化情况，为建立弧光在加工机床内的变化情况与零件成形过程的数学模型提供有力的数据支撑。

红外相机5用于实时监控熔池在制造过程中的温度变化情况，通过分析温度数据与熔池成形质量的关系，建立具有温度与质量的关联模型，采用相应的控制策略进行调控。同时，将采集的温度信息与成形质量的关系模型记录于数据储存模块，中央处理系统根据实际工况与前一次数据的情况，综合判断决策、同步调整成形焊接工艺参数以及成形过程与步骤。

通过采集熔池在成形过程中的温度变化的数据，建立温度与成形质量的数学关联模型，同时结合其它的焊接工艺参数选择相应的调控策略，具体的调控策略选择工作流程如图5所示，进一步地，调控策略模块包括调整焊接制造的节拍、改变制造焊接的堆积路径、改变焊丝的出丝速度与焊枪的移动速度以及启动相应的人为主动干预手段等，进一步地，人为主动干预手段包括，热电设备制造冷源冷却基板、输送冷却气体冷却熔池等，具体的调控策略模块如图6所示。

声音传感器6安装于电弧枪8的侧面，用于实时采集电弧增材制造过程中的声信号，通过相应的声信号算法处理所采集的声信号，过滤干扰的声信号以及提取有效的声信号，建立反映出零件成形过程与声信号的数学关联模型，作为一种标志数据储存于数据储存模块，以供中央处理系统作综合决策判断调控的依据。

通过采集电弧在制造过程中的电弧声音信号，分析处理相应的声音信号，根据分析结果，选取恰当的滤波器进行噪声去除处理，获取相应的声音信号与焊道几何信息对应的关系，声音信号工作处理流程如图7所示，其中滤波器包括各种常规的滤波算法，也包含自适应的滤波器，如基于神经网络的自适应滤波器，声音信号滤波器模块如图8所示。

三维激光轮廓扫描仪4垂直安装于成形零件的上方，用于监测熔池成形的几何尺寸，通过相应的图像处理算法，监测缺陷形成的过程以及快速检测成形件的各种缺陷，将提取熔池三维信息与理想效果的熔池三维信息相比对，分析缺陷产生过程相应工艺参数的变化，并且记录相应缺陷与工艺参数的对应关系存储于数据储存模块中，在每一次孪生数据的更新中，中央处理系统根据记录的缺陷类型与工艺参数的关系，自动调控相应的制造工艺参数。

三维激光轮廓扫描仪4可用于采集成形零件的三维轮廓信息，包括成形过程以及成形之后的三维点云图像数据，设计相应的点云处理算法，将存在质量问题的成形件进行缺陷检测并分类，缺陷的分类主要有焊道坍塌、焊道出现气孔、焊缝存在夹渣、焊缝存在裂纹以及焊缝不连续等缺陷，制造成形零件的缺陷分类模块如图9所示，进一步地，每一次成形件成形的过程，都会全过程记录成形的焊接参数以及环境影响因素，即每一种缺陷所产生的全过程都会被记录并且存储于数据储存模块，后一次制造零件时，则根据数据储存模块的数据进行比对，实时调整新一次的成形焊接参数，以不断完善制造零件的精度，避免后续的制造中产生更多的缺陷，具体的实现步骤工作流程如图10所示。

顶端CCD高速工业相机2、红外相机5和电弧侧边监控相机11的安装位置均设置有多自由度相机夹具12，通过具有多自由度相机夹具(12)夹持，实时调整拍摄的角度，以适应复杂的增材制造过程监控的情况；

多自由度相机夹具12，包括大“U”型板材121和小“U”型板材122，且大“U”型板材121位于小“U”型板材122的外侧，大“U”型板材121为滑块123的支撑板，且小“U”型板材122主要为夹紧相机末端，大“U”型板材121中间位置都留有滑块123滑动的滑槽124，用于滑块123滑动以调节相机左右以及前后的位置，大“U”型板材121和小“U”型板材122之间用球铰链连接杆125进行连接，小“U”型板材122和夹紧的相机之间具有俯仰的调节功能，且大“U”型板材121的上端和机床之间通过连接固定块126相连，同时连接固定块126也具有左右旋转调节功能，基于描述的各个自由度的调节，以实现夹紧的相机在空间可全方位调节，多自由度相机夹具12示意图如下图11所示。

适用于多种相机的夹持，整体可以左右和上下调整角度。其中，在夹持相机的接触端，通过横向滑动与球铰链连接整体部分，可以达到空间全方位的角度与位置微调，实现相机多种位置与角度的调整效果。

环状固定装置7用于需要固定在电弧枪8侧边的传感器，传感器可绕电弧枪8作环绕位置调整，环状固定装置7可大幅度相对五轴机床垂直伸缩机构3作垂直调整，实现传感器在空间多种位置的调整效果；

环状固定装置7主要由上环71和下环72组成，且上环71和下环72由扁平侧板73连接，上环71绕着扁平侧板73末端作圆周运动，进而实现上环71和下环72在空间的相对位置变化，从而实现传感器相对于电弧枪8的距离发生改变，上环71和下环72的内侧均开设有槽口74，且槽口74与传感器滑动连接，从而实现绕环中心轴旋转的调整，环状固定装置7与五轴机床垂直伸缩机构3通过安装板75侧面连接，环状固定装置7可以通过五轴机床垂直伸缩机构3作垂直运动，实现多传感器的框架布局安装设置，具体的环状固定装置7如图12所示。

一种基于数字孪生的增材制造系统成形监测方法，将传感器采集到的数据映射到数字空间，形成孪生数据，进一步构建数字孪生模型，用于预测调控、在线实时修改成形加工参数，达到从现实数据到数字空间，再从数字虚拟空间到现实空间的制造效果，以实现全方位监控增材成形零件的全生命周期管理。

各种信号处理之后的结果作为一种新的数据集存储于数据模块中，并且一一对应于各种成形件的几何信息，用于中央处理系统作综合决策判断。进一步说明，所提出的数据存储模块不局限于所列出的信号处理，该模块只是一个多信号存储数据结果的框架，可以进一步扩展信号数据，以更全面描述成形的各种影响因素，具体的框架数据储存模块如图13所示。

数字孪生模型将传感器采集的数据，汇集形成孪生数据，进一步构建数字孪生模型，数据孪生模型与物理空间实体设备具有完全的数字映射关系，在电脑端控制的虚拟模型可同步监控实体设备的工作状态，以及下达新的制造指令进行实时的参数调控制造，数字孪生模型具备多种复杂的混合数据，内嵌的智能算法可基于复杂混合数据进行大规模的数据运算，以实时更新孪生数据的信息，同时更新数字孪生模型，使数字孪生模型可以依据物理空间的环境变化实时迭代更新，从而模型更具有实效性，实时更新的数字孪生模型，依据智能算法对实时数据的处理，重新调整设备工作的参数，通过数据传输模块快速送达复合增减材制造系统，以实现工件全过程的闭环控制制造，具体的工作流程如图14所示。

数字孪生模型进行制造参数的修正，则为使用机器学习等算法进行在线决策，以其中一种智能算法阐述工作过程，如神经网络模型的预测模块进行参数修正，基于多传感器所采集的数据集，在线训练焊接工艺参数与焊道成形尺寸之间的关联模型，并产生最优的工艺参数，通过数据传输模块反馈至五轴复合增减材制造系统，重新调整工艺参数进行制造，神经网络模型所输入的参数包括送丝速度、焊枪移动速度、焊接的电流和电压、焊接过程弧光频闪的频率以及焊接时电弧产生的声音等变量，输出为焊道的几何尺寸，包括焊道宽与高，神经网络的训练模型示意图如图15，神经网络输出的变量不局限于单层焊道的几何尺寸，也包括堆积多层的层高与层宽以及可能会影响制造过程的各种因素变量等。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术，尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于数字孪生的增材制造系统成形监测系统，其特征在于：所述系统的硬件部分包括报警模块(1)、顶端CCD高速工业相机(2)、五轴机床垂直伸缩机构(3)、三维激光轮廓扫描仪(4)、红外相机(5)、声音传感器(6)、环状固定装置(7)、电弧枪(8)、基板(9)、条状激光发射器(10)、电弧侧边监控相机(11)；

所述顶端CCD高速工业相机(2)、三维激光轮廓扫描仪(4)、红外相机(5)、声音传感器(6)、条状激光发射器(10)和电弧侧边监控相机(11)配合环状固定装置(7)安装于电弧枪(8)和基板(9)外围，同时对增材焊接成形进行监控，基于监控采集的现实物理数据，形成数字孪生数据，构建虚拟空间的数字孪生模型，实时监控与调控加工制造全过程，实现制造系统的闭环反馈控制。

2.根据权利要求1所述一种基于数字孪生的增材制造系统成形监测系统，其特征在于：所述顶端CCD高速工业相机(2)用于监测全范围的弧光变化情况，同时通过相应的视觉图像处理算法实时处理制造过程弧光的变化情况，将弧光变化情况与零件成形过程建立数学关联模型；

所述视觉图像处理算法包括，将采集到的图像作灰度化处理、阈值分割、形状筛选；过滤强弧光处的特征分布，获取五轴机床加工室内的频闪电弧的图像，进一步的，将图像拆分为RGB通道，并作进一步的HSV颜色变换，进一步的，将各个通道的像素依次与上一帧原图像对应位置的像素作图像差运算得到相应的T值，判断T值与预设阈值的大小，若T值大于阈值，获取当前图像作一级小波变换处理，提取低频信号以及过滤高频信号，存储全部有效的低频信号，并通过传输模块传送至中央系统作进一步的决策判断。

3.根据权利要求1所述一种基于数字孪生的增材制造系统成形监测系统，其特征在于：所述电弧侧边监控相机(11)，其一为利用电弧光照射熔池，形成被动视觉监控状态；其二为利用所述条状激光发射器(10)照射熔池，形成主动激光视觉监控状态，联合主被动视觉进行信息采集，关键在于被动视觉与主动视觉使用方法与流程步骤；

所述主被动视觉使用方法与流程步骤包括，首先采用CCD高速工业相机采集当前电弧的弧光图像，利用图像处理算法计算出当前图像相应的阈值，并且与预设阈值比较，进一步的，依据比较的结果决策下一步继续使用被动视觉还是使用激光主动视觉进行图像采集，最后将图像数据通过传输模块传送至中央处理系统。

4.根据权利要求1所述一种基于数字孪生的增材制造系统成形监测系统，其特征在于：所述红外相机(5)用于实时监控熔池在制造过程中的温度变化情况，通过分析温度数据与熔池成形质量的关系，建立具有温度与质量的关联模型，采用相应的控制策略进行调控，同时，将采集的温度信息与成形质量的关系模型记录于数据储存模块，中央处理系统根据实际工况与前一次数据的情况，综合判断决策、同步调整成形焊接工艺参数以及成形过程与步骤。

5.根据权利要求1-4任一所述一种基于数字孪生的增材制造系统成形监测系统，其特征在于：所述顶端CCD高速工业相机(2)、红外相机(5)和电弧侧边监控相机(11)的安装位置均设置有多自由度相机夹具(12)，通过具有多自由度相机夹具(12)夹持，实时调整拍摄的角度，以适应复杂的增材制造过程监控的情况；

所述多自由度相机夹具(12)，包括大“U”型板材(121)和小“U”型板材(122)，且大“U”型板材(121)位于小“U”型板材(122)的外侧，所述大“U”型板材(121)为滑块(123)的支撑板，且小“U”型板材(122)主要为夹紧相机末端，所述大“U”型板材(121)中间位置都留有滑块(123)滑动的滑槽(124)，用于滑块(123)滑动以调节相机左右以及前后的位置，所述大“U”型板材(121)和小“U”型板材(122)之间用球铰链连接杆(125)进行连接，所述小“U”型板材(122)和夹紧的相机之间具有俯仰的调节功能，且大“U”型板材(121)的上端和机床之间通过连接固定块(126)相连，同时连接固定块(126)也具有左右旋转调节功能，基于描述的各个自由度的调节，以实现夹紧的相机在空间可全方位调节。

6.根据权利要求1所述一种基于数字孪生的增材制造系统成形监测系统，其特征在于：所述三维激光轮廓扫描仪(4)垂直安装于成形零件的上方，用于监测熔池成形的几何尺寸，通过相应的图像处理算法，监测缺陷形成的过程以及快速检测成形件的各种缺陷，将提取熔池三维信息与理想效果的熔池三维信息相比对，分析缺陷产生过程相应工艺参数的变化，并且记录相应缺陷与工艺参数的对应关系存储于数据储存模块中，在每一次孪生数据的更新中，中央处理系统根据记录的缺陷类型与工艺参数的关系，自动调控相应的制造工艺参数。

7.根据权利要求1所述一种基于数字孪生的增材制造系统成形监测系统，其特征在于：所述声音传感器(6)安装于电弧枪(8)的侧面，用于实时采集电弧增材制造过程中的声信号，通过相应的声信号算法处理所采集的声信号，过滤干扰的声信号以及提取有效的声信号，建立反映出零件成形过程与声信号的数学关联模型，作为一种标志数据储存于数据储存模块，以供中央处理系统作综合决策判断调控的依据。

8.根据权利要求1和6-7任一所述一种基于数字孪生的增材制造系统成形监测系统，其特征在于：所述环状固定装置(7)用于需要固定在电弧枪侧边的传感器，传感器可绕电弧枪作环绕位置调整，环状固定装置可大幅度相对五轴机床垂直伸缩机构作垂直调整，实现传感器在空间多种位置的调整效果；

所述环状固定装置(7)主要由上环(71)和下环(72)组成，且上环(71)和下环(72)由扁平侧板(73)连接，所述上环(71)绕着扁平侧板(73)末端作圆周运动，进而实现上环(71)和下环(72)在空间的相对位置变化，从而实现传感器相对于所述电弧枪(8)的距离发生改变，所述上环(71)和下环(72)的内侧均开设有槽口(74)，且槽口(74)与传感器滑动连接，从而实现绕环中心轴旋转的调整，所述环状固定装置(7)与五轴机床垂直伸缩机构(3)通过安装板(75)侧面连接，环状固定装置(7)可以通过五轴机床垂直伸缩机构(3)作垂直运动。

9.一种基于数字孪生的增材制造系统成形监测方法，其特征在于：将传感器采集到的数据映射到数字空间，形成孪生数据，进一步构建数字孪生模型，用于预测调控、在线实时修改成形加工参数，达到从现实数据到数字空间，再从数字虚拟空间到现实空间的制造效果，以实现全方位监控增材成形零件的全生命周期管理。

10.根据权利要求9所述一种基于数字孪生的增材制造系统成形监测方法，其特征在于：所述数字孪生模型将传感器采集的数据，汇集形成孪生数据，进一步构建数字孪生模型；

所述数据孪生模型与物理空间实体设备具有完全的数字映射关系，在电脑端控制的虚拟模型可同步监控实体设备的工作状态，以及下达新的制造指令进行实时的参数调控制造；

所述数字孪生模型具备多种复杂的混合数据，内嵌的智能算法可基于所述复杂混合数据进行大规模的数据运算，以实时更新孪生数据的信息，同时更新数字孪生模型，使数字孪生模型可以依据物理空间的环境变化实时迭代更新，从而模型更具有实效性；

所述实时更新的数字孪生模型，依据智能算法对实时数据的处理，重新调整设备工作的参数，通过数据传输模块快速送达复合增减材制造系统，以实现工件全过程的闭环控制制造。

Images