CN116704320A - 一种电弧增材制造装备的视觉监测系统及方法 - Google Patents

一种电弧增材制造装备的视觉监测系统及方法 Download PDF

Info

Publication number
CN116704320A
CN116704320A CN202310701292.0A CN202310701292A CN116704320A CN 116704320 A CN116704320 A CN 116704320A CN 202310701292 A CN202310701292 A CN 202310701292A CN 116704320 A CN116704320 A CN 116704320A
Authority
CN
China
Prior art keywords
molten pool
image
ccd camera
program
axi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310701292.0A
Other languages
English (en)
Inventor
刘长猛
付昊冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202310701292.0A priority Critical patent/CN116704320A/zh
Publication of CN116704320A publication Critical patent/CN116704320A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/10—Additive manufacturing, e.g. 3D printing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/25—Process efficiency

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种电弧增材制造装备的视觉监测系统及方法，涉及视觉监测领域，该系统中上位机用于操作员对CCD相机进行标定、获取监测数据以及交互界面提供统一的接口；PS端接收上位机发送启动命令和CCD相机标定命令以及向上位机发送通过CCD相机监测得到的熔池宽度、熔池中心点坐标以及熔池塌陷量及塌陷方向的程序函数；还用于将原始熔池图像存储在片外存储器DDR3中的固定位置；PL端接收PS端对PL端中IP核的控制命令；CCD相机用于采集原始熔池图像；LCD屏通过TFTLCD接口与PL端通信，本发明能够提升监测系统实时性并降低成本。

Description

一种电弧增材制造装备的视觉监测系统及方法
技术领域
本发明涉及视觉监测领域，特别是涉及一种电弧增材制造装备的视觉监测系统及方法。
背景技术
工业机器人/多轴机床具有加工效率高，成形件稳定等优势，已经在船舶、汽车、冶金及航天航空等领域中取得了广泛应用。电弧增材制造过程同样依托于工业机器人/机床，在实际电弧增材制造过程中，操作人员通过离线示教(工业机器人的方式)或规划路径生成加工文件(机床的方式)的方法启动一项加工。在打印件实际成形过程中，目前最广泛使用的方法还是目视检测，通过人工观察分辨加工缺陷以进行对应参数的调整。这一方法仅适用于检测的电弧数目(检测对象)较少的情况，且不利于装备的成品化。在为提升制造效率而进行多电弧并行打印的电弧增材制造过程中，这一方式几乎完全不适用。
为解决上述问题，在基于DSP的硬件组织形式实现熔池监测功能中，整个系统包括上位机、CCD相机、工业机器人/机床、DSP采集模块；上位机用于监控和指示硬件模块(DSP、机床、工业机器人)运行功能，并实现人机交互。具体可分为两种形式，其一为PLC+工业触摸屏，其二为工控机。CCD相机用于采集电弧增材制造过程中的熔池原始图像。工业机器人/机床用于接收来自上位机的运动命令信号，完成相应的运动。DSP采集模块是一种以DSP芯片为核心设计的硬件电路板，通过以太网协议及RJ45接口与CCD相机连接，获取原始熔池图像并进行熔池图像滤波、二值化及边缘检测等处理获取熔池关键数据。而在基于GPU实现熔池监测功能中，整个系统包括上位机、CCD相机、工业机器人/机床以及GPU计算模块；其中，上位机用于控制机床(工业机器人)运行、调度GPU完成数据处理任务以及实现人机交互。CCD相机用于采集电弧增材制造过程中的熔池原始图像，并发送给上位机。工业机器人/机床用于接收来自上位机的运动命令信号，完成相应的运动。GPU计算模块用于非独立的硬件单元，内嵌于上位机中，主要完成熔池识别算法的计算过程。
现有的大多数电弧增材制造图像处理方案通常都通过计算机本身配备的GPU来实现，由CPU完成全部图像数据的调度，对于具有多个电弧(多个监测对象)的增材制造系统而言其上位机的CPU需要处理大量调度任务，系统延时随之增加，且GPU本身能耗、成本也相对较高。
因此，亟需设计专用硬件电路实现熔池监测过程中图像的高速传输和各种处理算法的快速计算，以达到提升监测系统实时性并降低成本的目的。
发明内容
本发明的目的是提供一种电弧增材制造装备的视觉监测系统及方法，能够提升监测系统实时性并降低成本。
为实现上述目的，本发明提供了如下方案：
一种电弧增材制造装备的视觉监测系统，包括：上位机、PS端、PL端、LCD屏、片外存储器DDR3以及CCD相机；PS端与PL端共同组成了ZYNQ芯片；
所述上位机用于操作员对CCD相机进行标定、获取监测数据以及交互界面提供统一的接口；
所述PS端与上位机和片外存储器DDR3以及CCD相机通信；所述PS端用于接收上位机发送启动命令和CCD相机标定命令以及向上位机发送通过CCD相机监测得到的熔池宽度、熔池中心点坐标以及熔池塌陷量及塌陷方向的程序函数；还用于将原始熔池图像存储在片外存储器DDR3中的固定位置；
所述PL端与PS端通信，所述PL端接收PS端对PL端中IP核的控制命令；
所述CCD相机用于采集原始熔池图像；
所述LCD屏通过TFTLCD接口与所述PL端通信。
可选地，所述上位机包括：人机交互界面及驱动程序；
所述人机交互界面用于操作员对CCD相机进行标定、获取监测数据；
所述驱动程序用于为交互界面提供统一的接口。
可选地，所述PS端的型号为ARMCortex-A7。
可选地，所述PS端通过PHY芯片以及RJ45接口与CCD相机连接，遵从GigEVision协议。
可选地，所述PS端通过AXI4总线与片外存储器DDR3通信。
可选地，所述PS端包括：ROI截取程序、GVSP程序、GVCP程序、计算结果输出程序、LCD配置读取程序\时钟配置程序、VDMA配置程序以及帧间隔N配置程序；
ROI截取程序用于对获取的原始熔池图像进行兴趣域裁剪；
GVSP程序用于获取CCD相机发送至PS端的原始熔池图像；
GVCP程序用于PS端向CCD相机发送标定CCD相机、调整曝光量、接收原始熔池图像的控制命令；同时用于接收CCD相机发送值PS端的控制反馈信号；
计算结果输出程序用于通过扫描GP接口获取PL端得到的熔宽、熔池中心点坐标、熔池塌陷方向及熔池塌陷量信息；
LCD配置读取程序\时钟配置程序用于适配不同分辨率的LCD屏，配置对应的屏幕显示时钟；
VDMA配置程序用于根据LCD屏幕所支持的图像分辨率，动态配置PL端VDMA模块以适应不同分辨率的熔池图像；
帧间隔N配置程序用于接收来自上位机的帧间隔N设置，并通过AXIGPIO2IP发送给PL端。
可选地，所述PL端通过片上总线AXI4与PS端通信。
可选地，所述PL端包括：AXI-SmartConnectIP/VDMA、流复制IP、高斯滤波IP、二值化及熔宽检测IP、熔宽和熔池中心点记录IP、熔池缺陷检测IP/AXIGPIO2IP、AXI-StreamtoVideoOutIP/rgb2lcdIP、VTCIP及AXIdynclkIP以及AXI-InterConnect/AXIGPIO1IP；
AXI-SmartConnectIP/VDMA用于将从片外存储器DDR3读取到的AXI4协议格式的原始熔池图像转换为AXI-Stream格式；
流复制IP用于复制一份AXI-Stream格式的图像数据流，分别传入AXI-StreamtoVideoOutIP以及高斯滤波IP进行图像显示和数据处理；
高斯滤波IP用于将熔池图像格式从RGB转换为灰度图像以及对熔池图像进行高斯滤波，修除图像中的由于弧光干扰产生的噪点；
二值化及熔宽检测IP用于进行图像像素的二值化，并记录当前熔池图像的熔宽数据，熔池中心点坐标，分别传递给熔池缺陷检测IP和熔宽、熔池中心点记录IP；
熔宽和熔池中心点记录IP用于记录前一帧图像熔宽、熔池中心点坐标，供熔池缺陷检测IP读取；
熔池缺陷检测IP/AXIGPIO2IP用于从二值化及熔宽检测IP读取当前熔池宽度、熔池中心点坐标，从熔宽和熔池中心点记录IP读取上一帧图像熔池宽度、熔池中心点坐标，对应做差后与设定的阈值作比较，计算出熔池塌陷方向及塌陷量；还用于通过AXIGPIO2IP接收来自PS端发送的帧间隔数N的设定；还用于记录近N帧图像的熔池塌陷方向及塌陷量，对比近N帧图像熔池塌陷方向计算图像的熔池塌陷量，进而判断熔池状态正常与否并存储该判断，并供PS端读取；
AXI-StreamtoVideoOutIP/rgb2lcdIP用于实现AXI-Stream协议向视频流协议的转换，转换后的熔池图像将显示到LCD屏；
VTCIP及AXIdynclkIP用于接收PS端发送的指定的时钟频率，并配置AXI-StreamtoVideoOutIP、rgb2lcdIP时钟，适配不同分辨率的LCD屏；
AXI-InterConnect/AXIGPIO1IP用于扫描LCD屏分辨率，传输至PS端，供PS端确定需要配置给LCD屏的时钟频率。
一种电弧增材制造装备的视觉监测方法，应用于所述的一种电弧增材制造装备的视觉监测系统，所述视觉监测方法包括：
利用上位机人机交互界面设置CCD相机曝光值、图像采集频率f，以及熔池缺陷检测的间隔帧数N；
根据LCD屏的分辨率配置IP核；
对获取的原始熔池图像依次进行图像数据复制、高斯滤波、二值化、熔宽以及熔池坐标存储；
判断前后两帧图像熔池中心点坐标的差距是否大于接受值；
若大于，则确定熔池在两帧间隔时间出现塌陷，并经PS端向上位机输出监测结果；
若小于或等于，则判断近N帧图像熔池中心点偏移累积量是否大于接受值；若大于，则表明熔池在熔池累积缺陷的最小分辨时间N/f内存在塌陷并经过PS端向上位机输出监测结果，并进行下一帧图像处理；若小于或等于，则确定熔池状态正常。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明所提供的一种电弧增材制造装备的视觉监测系统及方法，针对电弧增材制造装备，特别是涉及多个电弧(多个检测对象)的电弧增材制造装备，图像数据的高速传递和处理是关键性问题，通过上位机、PS端、PL端、LCD屏、片外存储器DDR3以及CCD相机搭建一个独立于上位机的用于加速处理熔池图像算法的专用硬件电路，相比现有常用GPU为核心的算法处理系统，该电路完全依据算法及系统控制功能需求编程而设计，各个检测对象的图像数据无需由CPU调度，系统数据传输及处理速度大大提升。此外，在处理器对算法的计算过程中，通常加减运算所需时间相对于乘除运算所需时间要小至少数个量级，需要的系统资源也更少。在本系统熔池检测设计中采用了前后帧做差后对比阈值的进行缺陷评定的方式，避免了图像数据的大规模矩阵运算(乘法运算)，因此极大缩小了算法处理延时，同时节约系统资源开销。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种电弧增材制造装备的视觉监测系统结构示意图；
图2为PS端及片外存储器DDR3结构示意图；
图3为PL端中熔池检测算法及LCD屏结构示意图；
图4为本发明所提供的一种电弧增材制造装备的视觉监测方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种电弧增材制造装备的视觉监测系统及方法，能够提升监测系统实时性并降低成本。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明所提供的一种电弧增材制造装备的视觉监测系统，包括：上位机、PS端、PL端、LCD屏、片外存储器DDR3以及CCD相机；PS端与PL端共同组成了ZYNQ芯片；
所述上位机用于操作员对CCD相机进行标定、获取监测数据以及交互界面提供统一的接口；其中，上位机包括人机交互界面及驱动程序。为交互界面提供统一的接口，编写语言为C语言。
所述PS端与上位机和片外存储器DDR3以及CCD相机通信；所述PS端用于接收上位机发送启动命令和CCD相机标定命令以及向上位机发送通过CCD相机监测得到的熔池宽度、熔池中心点坐标以及熔池塌陷量及塌陷方向的程序函数；还用于将原始熔池图像存储在片外存储器DDR3中的固定位置(0x0F00000——0xF4E200)。
如图2所示，所述PS端为CPU，具体的型号为ARMCortex-A7。
PS端通过PHY芯片以及RJ45接口与CCD相机连接，遵从GigEVision协议。
所述PS端通过AXI4总线与片外存储器DDR3通信。
所述PS端包括：ROI截取程序、GVSP程序、GVCP程序、计算结果输出程序、LCD配置读取程序\时钟配置程序、VDMA配置程序以及帧间隔N配置程序。
ROI(兴趣域裁剪)截取程序用于对获取的原始熔池图像进行兴趣域裁剪；将获得的原始熔池图像(480x800)转换为(200x200)并存放到片外存储器DDR3上的指定位置，其目的是去除熔池图像关键区域以外像素点以压缩数据处理规模。
GVSP(GigEVision数据协议)程序用于获取CCD相机发送至PS端的原始熔池图像。
GVCP(GigEVision控制协议)程序用于PS端向CCD相机发送标定CCD相机、调整曝光量、接收原始熔池图像的控制命令；同时用于接收CCD相机发送值PS端的控制反馈信号。
计算结果输出程序用于通过扫描GP接口获取PL端得到的熔宽、熔池中心点坐标、熔池塌陷方向及熔池塌陷量信息。
LCD配置读取程序\时钟配置程序用于适配不同分辨率的LCD屏，配置对应的屏幕显示时钟。
VDMA配置程序用于根据LCD屏幕所支持的图像分辨率，动态配置PL端VDMA模块以适应不同分辨率的熔池图像；
帧间隔N配置程序用于接收来自上位机的帧间隔N设置，并通过AXIGPIO2IP发送给PL端。
在ARM中实现了基于GVCP、GVSP协议与CCD相机进行通信。
所述PL端与PS端通信，所述PL端接收PS端对PL端中IP核的控制命令。
所述PL端为FPGA。如图3所示，与PS端通过片上总线AXI4相连接，遵循AXI4协议，用于接收PS端对PL端部分电路模块(IP核)的控制命令。PL端与片外存储器DDR3经由PS端的HP接口相互连接，两者通信遵从AXI4协议，由PL端主动读取PS端传入片外存储器DDR3中的每帧图像数据并进行后续处理。PL端与LCD屏幕通过TFTLCD接口相连接，用于传输图像数据至LCD屏上。
所述PL端包括：AXI-SmartConnectIP/VDMA、流复制IP、高斯滤波IP、二值化及熔宽检测IP、熔宽和熔池中心点记录IP、熔池缺陷检测IP/AXIGPIO2IP、AXI-StreamtoVideoOutIP/rgb2lcdIP、VTC IP及AXIdynclkIP以及AXI-InterConnect/AXIGPIO1IP。
AXI-SmartConnectIP/VDMA用于将从片外存储器DDR3读取到的AXI4协议格式的原始熔池图像转换为AXI-Stream格式。
流复制IP用于复制一份AXI-Stream格式的图像数据流，分别传入AXI-StreamtoVideoOutIP以及高斯滤波IP进行图像显示和数据处理。
高斯滤波IP用于将熔池图像格式从RGB转换为灰度图像以及对熔池图像进行高斯滤波，修除图像中的由于弧光干扰产生的噪点。
二值化及熔宽检测IP用于进行图像像素的二值化，并记录当前熔池图像的熔宽数据，熔池中心点坐标，分别传递给熔池缺陷检测IP和熔宽、熔池中心点记录IP。
熔宽和熔池中心点记录IP用于记录前一帧图像熔宽、熔池中心点坐标，供熔池缺陷检测IP读取。
熔池缺陷检测IP/AXIGPIO2IP用于从二值化及熔宽检测IP读取当前熔池宽度、熔池中心点坐标，从熔宽和熔池中心点记录IP读取上一帧图像熔池宽度、熔池中心点坐标，对应做差后与设定的阈值作比较，计算出熔池塌陷方向及塌陷量；还用于通过AXIGPIO2IP接收来自PS端发送的帧间隔数N的设定；还用于记录近N帧图像的熔池塌陷方向及塌陷量，对比近N帧图像熔池塌陷方向计算图像的熔池塌陷量，进而判断熔池状态正常与否并存储该判断，并供PS端读取。
AXI-StreamtoVideoOutIP/rgb2lcdIP用于用于实现AXI-Stream协议向视频流协议的转换，转换后的熔池图像将显示到LCD屏。
VTCIP及AXIdynclkIP用于接收PS端发送的指定的时钟频率，并配置AXI-StreamtoVideoOutIP、rgb2lcdIP时钟，适配不同分辨率的LCD屏。
AXI-InterConnect/AXIGPIO1IP用于扫描LCD屏分辨率，传输至PS端，供PS端确定需要配置给LCD屏的时钟频率。
在FPGA中专门设计了熔池宽度检测及二值化模块，采用流形式逐像素传递图像数据，数据处理没有中间缓存环节，节省了缓存和时间开销。
在FPGA中专门设计了熔池轮廓缺陷检测模块，通过对前后两帧图像数据的熔池中心点位置求差，求取熔池中心点偏移量，通过累加记录近X帧图像的熔池中心点偏移量，推测熔池是否塌陷及其方向和塌陷量。
所述CCD相机用于采集原始熔池图像。
所述LCD屏通过TFTLCD接口与所述PL端通信。
片外存储器DDR3独立于ZYNQ芯片的存储芯片，与PS端、PL端均通过AXI总线连接，主要用于缓存每一帧熔池图像数。
如图4所示，本发明还提供一种电弧增材制造装备的视觉监测方法，应用于所述的一种电弧增材制造装备的视觉监测系统，所述视觉监测方法包括：
对一种电弧增材制造装备的视觉监测系统进行初始化：完成上位机程序启动、CCD相机启动、PS端初始化及PL端各个电路模块(IP核)的初始化。
利用上位机人机交互界面设置CCD相机曝光值、图像采集频率f，以及熔池缺陷检测的间隔帧数N。
根据LCD屏的分辨率配置IP核。
对获取的原始熔池图像依次进行图像数据复制、高斯滤波、二值化、熔宽以及熔池坐标存储。
判断前后两帧图像熔池中心点坐标的差距是否大于接受值；
若大于，则确定熔池在两帧间隔时间出现塌陷，并经PS端向上位机输出监测结果。
若小于或等于，则判断近N帧图像熔池中心点偏移累积量是否大于接受值；若大于，则表明熔池在熔池累积缺陷的最小分辨时间N/f内存在塌陷并经过PS端向上位机输出监测结果，并进行下一帧图像处理；若小于或等于，则确定熔池状态正常。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种电弧增材制造装备的视觉监测系统，其特征在于，包括：上位机、PS端、PL端、LCD屏、片外存储器DDR3以及CCD相机；PS端与PL端共同组成了ZYNQ芯片；
所述上位机用于操作员对CCD相机进行标定、获取监测数据以及交互界面提供统一的接口；
所述PS端与上位机和片外存储器DDR3以及CCD相机通信；所述PS端用于接收上位机发送启动命令和CCD相机标定命令以及向上位机发送通过CCD相机监测得到的熔池宽度、熔池中心点坐标以及熔池塌陷量及塌陷方向的程序函数；还用于将原始熔池图像存储在片外存储器DDR3中的固定位置；
所述PL端与PS端通信，所述PL端接收PS端对PL端中IP核的控制命令；
所述CCD相机用于采集原始熔池图像；
所述LCD屏通过TFTLCD接口与所述PL端通信。
2.根据权利要求1所述的一种电弧增材制造装备的视觉监测系统，其特征在于，所述上位机包括：人机交互界面及驱动程序；
所述人机交互界面用于操作员对CCD相机进行标定、获取监测数据；
所述驱动程序用于为交互界面提供统一的接口。
3.根据权利要求1所述的一种电弧增材制造装备的视觉监测系统，其特征在于，所述PS端的型号为ARMCortex-A7。
4.根据权利要求1所述的一种电弧增材制造装备的视觉监测系统，其特征在于，所述PS端通过PHY芯片以及RJ45接口与CCD相机连接，遵从GigEVision协议。
5.根据权利要求1所述的一种电弧增材制造装备的视觉监测系统，其特征在于，所述PS端通过AXI4总线与片外存储器DDR3通信。
6.根据权利要求1所述的一种电弧增材制造装备的视觉监测系统，其特征在于，所述PS端包括：ROI截取程序、GVSP程序、GVCP程序、计算结果输出程序、LCD配置读取程序\时钟配置程序、VDMA配置程序以及帧间隔N配置程序；
ROI截取程序用于对获取的原始熔池图像进行兴趣域裁剪；
GVSP程序用于获取CCD相机发送至PS端的原始熔池图像；
GVCP程序用于PS端向CCD相机发送标定CCD相机、调整曝光量、接收原始熔池图像的控制命令；同时用于接收CCD相机发送值PS端的控制反馈信号；
计算结果输出程序用于通过扫描GP接口获取PL端得到的熔宽、熔池中心点坐标、熔池塌陷方向及熔池塌陷量信息；
LCD配置读取程序\时钟配置程序用于适配不同分辨率的LCD屏，配置对应的屏幕显示时钟；
VDMA配置程序用于根据LCD屏幕所支持的图像分辨率，动态配置PL端VDMA模块以适应不同分辨率的熔池图像；
帧间隔N配置程序用于接收来自上位机的帧间隔N设置，并通过AXIGPIO2IP发送给PL端。
7.根据权利要求1所述的一种电弧增材制造装备的视觉监测系统，其特征在于，所述PL端通过片上总线AXI4与PS端通信。
8.根据权利要求1所述的一种电弧增材制造装备的视觉监测系统，其特征在于，所述PL端包括：AXI-SmartConnectIP/VDMA、流复制IP、高斯滤波IP、二值化及熔宽检测IP、熔宽和熔池中心点记录IP、熔池缺陷检测IP/AXIGPIO2IP、AXI-StreamtoVideoOut IP/rgb2lcdIP、VTCIP及AXIdynclkIP以及AXI-InterConnect/AXI GPIO1IP；
AXI-SmartConnectIP/VDMA用于将从片外存储器DDR3读取到的AXI4协议格式的原始熔池图像转换为AXI-Stream格式；
流复制IP用于复制一份AXI-Stream格式的图像数据流，分别传入AXI-StreamtoVideoOutIP以及高斯滤波IP进行图像显示和数据处理；
高斯滤波IP用于将熔池图像格式从RGB转换为灰度图像以及对熔池图像进行高斯滤波，修除图像中的由于弧光干扰产生的噪点；
二值化及熔宽检测IP用于进行图像像素的二值化，并记录当前熔池图像的熔宽数据，熔池中心点坐标，分别传递给熔池缺陷检测IP和熔宽、熔池中心点记录IP；
熔宽和熔池中心点记录IP用于记录前一帧图像熔宽、熔池中心点坐标，供熔池缺陷检测IP读取；
熔池缺陷检测IP/AXIGPIO2IP用于从二值化及熔宽检测IP读取当前熔池宽度、熔池中心点坐标，从熔宽和熔池中心点记录IP读取上一帧图像熔池宽度、熔池中心点坐标，对应做差后与设定的阈值作比较，计算出熔池塌陷方向及塌陷量；还用于通过AXIGPIO2IP接收来自PS端发送的帧间隔数N的设定；还用于记录近N帧图像的熔池塌陷方向及塌陷量，对比近N帧图像熔池塌陷方向计算图像的熔池塌陷量，进而判断熔池状态正常与否并存储该判断，并供PS端读取；
AXI-StreamtoVideoOutIP/rgb2lcdIP用于用于实现AXI-Stream协议向视频流协议的转换，转换后的熔池图像将显示到LCD屏；
VTCIP及AXIdynclkIP用于接收PS端发送的指定的时钟频率，并配置AXI-StreamtoVideoOutIP、rgb2lcdIP时钟，适配不同分辨率的LCD屏；
AXI-InterConnect/AXIGPIO1IP用于扫描LCD屏分辨率，传输至PS端，供PS端确定需要配置给LCD屏的时钟频率。
9.一种电弧增材制造装备的视觉监测方法，应用于权利要求1-8任意一项所述的一种电弧增材制造装备的视觉监测系统，其特征在于，所述视觉监测方法包括：
利用上位机人机交互界面设置CCD相机曝光值、图像采集频率f，以及熔池缺陷检测的间隔帧数N；
根据LCD屏的分辨率配置IP核；
对获取的原始熔池图像依次进行图像数据复制、高斯滤波、二值化、熔宽以及熔池坐标存储；
判断前后两帧图像熔池中心点坐标的差距是否大于接受值；
若大于，则确定熔池在两帧间隔时间出现塌陷，并经PS端向上位机输出监测结果；
若小于或等于，则判断近N帧图像熔池中心点偏移累积量是否大于接受值；若大于，则表明熔池在熔池累积缺陷的最小分辨时间N/f内存在塌陷并经过PS端向上位机输出监测结果，并进行下一帧图像处理；若小于或等于，则确定熔池状态正常。
CN202310701292.0A 2023-06-14 2023-06-14 一种电弧增材制造装备的视觉监测系统及方法 Pending CN116704320A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310701292.0A CN116704320A (zh) 2023-06-14 2023-06-14 一种电弧增材制造装备的视觉监测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310701292.0A CN116704320A (zh) 2023-06-14 2023-06-14 一种电弧增材制造装备的视觉监测系统及方法

Publications (1)

Publication Number Publication Date
CN116704320A true CN116704320A (zh) 2023-09-05

Family

ID=87840732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310701292.0A Pending CN116704320A (zh) 2023-06-14 2023-06-14 一种电弧增材制造装备的视觉监测系统及方法

Country Status (1)

Country Link
CN (1) CN116704320A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392178A (zh) * 2023-12-08 2024-01-12 武汉纺织大学 一种铺粉增材制造过程熔池的运动特征提取方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392178A (zh) * 2023-12-08 2024-01-12 武汉纺织大学 一种铺粉增材制造过程熔池的运动特征提取方法及装置

Similar Documents

Publication Publication Date Title
CN116704320A (zh) 一种电弧增材制造装备的视觉监测系统及方法
WO2022068584A1 (zh) 图像处理方法、装置、计算机设备及存储介质
CN109856164B (zh) 一种机器视觉采集大范围图像的优化装置及其检测方法
JP6809891B2 (ja) 画像処理システム及び画像処理方法
CN107948634B (zh) 一种图像坏点检测方法、装置和图像处理芯片
CN103424409A (zh) 一种基于dsp的视觉检测系统
CN111340835A (zh) 基于fpga的视频图像边缘检测系统
JP2020087211A (ja) 学習モデル生成装置、種類判別システム、及び学習モデル生成方法
US20080151067A1 (en) Imaging Apparatus, Imaging Signal Processing Method, and Program
JP4565396B2 (ja) 画像処理装置および画像処理プログラム
CN108073097B (zh) 工业机器人的图像处理装置
CN113223047A (zh) 一种基于fpga的模板匹配目标追踪方法及追踪系统
CN112446851B (zh) 一种基于高速脉冲式图像传感器的端点检测算法
CN116403200A (zh) 基于硬件加速的车牌实时识别系统
CN103051829A (zh) 基于fpga平台的原始图像数据降噪系统及降噪方法
CN110675393A (zh) 一种基于机器视觉的坯料规格检测方法
JP2017038198A (ja) 情報処理装置およびデータ転送方法
CN210721562U (zh) 一种基于PYNQ-z2的运动目标检测系统
CN113744189A (zh) 一种基于fpga的自适应阈值边缘检测系统及方法
CN212230036U (zh) 显示面板检测装置及系统
CN103297787A (zh) 图像撷取系统及应用于图像撷取系统的图像处理方法
CN107730547B (zh) 基于离焦曲线状态检测的控制装置及含该装置的系统
CN214667563U (zh) 一种可提升多光路产品调校效率的装置
WO2023223704A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20240119602A1 (en) Micro-motion sensing device and sensing method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination