CN114125339B - 一种用于焊接火花飞溅检测的光电探测系统及方法 - Google Patents
一种用于焊接火花飞溅检测的光电探测系统及方法 Download PDFInfo
- Publication number
- CN114125339B CN114125339B CN202111273118.8A CN202111273118A CN114125339B CN 114125339 B CN114125339 B CN 114125339B CN 202111273118 A CN202111273118 A CN 202111273118A CN 114125339 B CN114125339 B CN 114125339B
- Authority
- CN
- China
- Prior art keywords
- data
- spark
- fpga
- central processing
- cmos sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 96
- 238000003466 welding Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims description 37
- 238000012545 processing Methods 0.000 claims abstract description 115
- 230000001360 synchronised effect Effects 0.000 claims abstract description 29
- 238000003384 imaging method Methods 0.000 claims abstract description 27
- 230000003287 optical effect Effects 0.000 claims abstract description 14
- 230000006798 recombination Effects 0.000 claims abstract description 9
- 238000005215 recombination Methods 0.000 claims abstract description 9
- 230000002093 peripheral effect Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000000872 buffer Substances 0.000 claims description 2
- 230000008054 signal transmission Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 20
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 23
- 230000001133 acceleration Effects 0.000 description 8
- 239000000306 component Substances 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000004544 sputter deposition Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B11/00—Filters or other obturators specially adapted for photographic purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明提供一种用于焊接火花飞溅检测的光电探测系统,解决现有火花飞溅探测易造成网络拥塞和带宽受限、数据传输效率低,数据冗余、计算和存储压力大的问题。该系统包括滤光片、成像镜头和智能相机;成像镜头对经滤光片滤除后的火花飞溅进行光线汇聚形成影像;智能相机包括电源模块、CMOS传感器、FPGA、存储器Ⅰ、PCIE接口、中央处理器和存储器Ⅱ;电源模块向中央处理器提供电源,中央处理器向FPGA和CMOS传感器提供电源;FPGA根据焊机输出的同步信号,驱动CMOS传感器对影像进行解串、位对齐以及数据重组,获得火花飞溅图像数据,此后通过PCIE接口传输给中央处理器;中央处理器对火花飞溅图像数据进行数据流控制和数据处理,获得处理结果;存储器Ⅱ对处理结果存储。
Description
技术领域
本发明涉及火花飞溅探测技术,具体涉及一种用于焊接火花飞溅检测的光电探测系统及方法。
背景技术
随着自动化技术的发展,现代化工厂中的焊接环节已逐步被机器人焊接所取代,这一技术进步能够极大节省人力成本,并提高焊接质量的一致性。但由于工艺及设备原因,在自动焊机工作过程中经常会出现火花飞溅的情况。火花飞溅对焊接作业的影响主要包括:造成焊接现场安全隐患、对工件表面造成污染和损坏以及影响焊接质量。因此,目前工业自动化焊接过程中,急需对火花飞溅进行有效探测及实时监控,根据探测所获取的数据进行分析后,指导工艺的提升及焊机工作参数的调整。
由于火花飞溅探测需要对每个焊点单独进行监测,而自动化焊接中有成百上千个焊接工作点,因此需要大量的数据获取设备。现有数据获取设备一般成像后直接将数据通过网络发送至控制计算机中进行处理分析,然后将各个设备的处理结果再反馈至相对应的自动焊机。当各个工作点的数据获取设备将数据同时传给控制计算机时,易造成网络拥塞和带宽受限,而采用顺序传送数据的方式,则会造成数据传输效率降低的问题。此外,若数据集中送至控制计算机中进行处理,还存在数据冗余以及计算和存储压力增大等问题。这些问题都极大地影响了自动化作业流程和运行效率,这就需要一种更高效的探测技术来解决当前问题。
发明内容
为了解决现有火花飞溅探测的工作方式是将各工作点数据同时传给控制计算机,易造成网络拥塞和带宽受限,而采用顺序传送数据,造成数据传输效率低;以及数据集中送至计算机处理,存在数据冗余、计算和存储压力大的技术问题,本发明提供了一种用于焊接火花飞溅检测的光电探测系统及方法,以实现对焊接过程中产生的火花飞溅进行自动探测。
为实现上述目的,本发明提供的技术方案是:
一种用于焊接火花飞溅检测的光电探测系统,其特殊之处在于:包括滤光片、成像镜头和智能相机;
所述滤光片用于滤除焊接现场的背景光;
所述成像镜头对经滤光片滤除后的火花飞溅进行光线汇聚,在焦点处形成清晰的影像;成像镜头的波长范围为400nm-1500nm;
所述智能相机包括电源模块、CMOS传感器、FPGA、存储器Ⅰ、PCIE接口、中央处理器和存储器Ⅱ;
所述电源模块与中央处理器相连,用于向中央处理器提供电源,中央处理器向FPGA和CMOS传感器提供电源;
所述FPGA包括传感器驱动及配置单元、数据接收及重组单元、存储控制单元和PCIE接口控制单元;
所述中央处理器通过PCIE接口与FPGA中的PCIE接口控制单元连接,实现FPGA和中央处理器之间的交互与通信;
所述PCIE接口控制单元通过传感器驱动及配置单元与CMOS传感器相连;传感器驱动及配置单元用于对CMOS传感器进行驱动控制及寄存器参数配置,其通过PCIE接口控制单元接收中央处理器发送的指令,并根据指令译码结果对CMOS传感器进行参数设置;CMOS传感器在焊接现场焊机输出的同步信号和传感器驱动及配置单元控制下对成像镜头获得的影像进行光电探测与模数转换,输出LVDS信号;
所述数据接收及重组单元与CMOS传感器的输出信号线相连,对LVDS信号进行解串、位对齐以及数据重组,获得规整的火花飞溅图像数据;
所述存储控制单元将数据接收及重组单元输出的火花飞溅图像数据缓存至存储器Ⅰ中,以及将存储器Ⅰ中存储的火花飞溅图像数据传输至PCIE接口控制单元;
所述PCIE接口控制单元通过PCIE接口将火花飞溅图像数据传从FPGA传输至中央处理器;
所述中央处理器包括ARM控制器和GPU处理器,ARM控制器对FPGA输出的火花飞溅图像数据进行数据流控制和数据处理,同时GPU处理器对火花飞溅图像数据进行加速处理,获得火花飞溅目标位置、面积大小以及火花运动轨迹等处理结果;
所述存储器Ⅱ与ARM控制器相连,用于火花飞溅处理结果的本地存储。
进一步地,所述滤光片采用可见光波段滤光片;
所述成像镜头的波长范围为400nm-1500nm。
进一步地,所述智能相机还包括与ARM控制器分别连接的外设接口和以太网接口。
进一步地,所述存储器Ⅰ的存储容量为128G,存储器Ⅱ的存储容量为256G。
进一步地,所述PCIE接口采用PCIE2.0协议,数据通道数为4。
进一步地,所述传感器驱动及配置单元与焊机通过信号同步线连接。
同时,本发明提供了一种用于焊接火花飞溅检测的光电探测方法,其特殊之处在于,包括以下步骤,包括以下步骤:
1)上电复位
电源模块给中央处理器上电,然后通过中央处理器控制FPGA和CMOS传感器上电;
2)系统初始化
使FPGA处于默认工作参数下,FPGA中的传感器驱动及配置单元向CMOS传感器输出驱动信号,CMOS传感器在驱动信号作用下输出LVDS信号;FPGA中的数据接收及重组单元接收CMOS传感器输出的LVDS信号数据,对LVDS信号数据进行解串、位对齐及数据重组,获得默认参数下的图像数据;间隔一定时间,使FPGA工作在触发采集模式下;
3)火花飞溅的采集
3.1)当FPGA检测到焊机发出同步信号传输时,CMOS传感器对成像镜头获得的影像进行光电探测与模数转换,并将转换后的输出结果LVDS信号传输给FPGA;
3.2)FPGA中的数据接收及重组单元对CMOS传感器输出的LVDS信号进行解串、位对齐以及数据重组,获得规整的火花飞溅图像数据;
3.3)存储控制单元将数据接收及重组单元输出的火花飞溅图像数据缓存至存储器Ⅰ中,以及将存储器Ⅰ中存储的火花飞溅图像数据传输至PCIE接口控制单元;
3.4)PCIE接口控制单元通过PCIE接口将火花飞溅图像数据传输至中央处理器;
4)图像存储与处理
中央处理器中的ARM控制器对FPGA输出的火花飞溅图像数据进行数据流控制和数据处理,同时GPU处理器对火花飞溅图像数据进行加速处理,获得火花飞溅处理结果。
进一步地,步骤1)中,CMOS传感器上电具体如下:
CMOS传感器先进行1.8V电压上电,然后进行3.3V电压上电,最后进行像素电压上电。
与现有技术相比,本发明的优点是:
1、本发明探测系统包括FPGA和中央处理器,通过PCIE接口连接FPGA和中央处理器,可以实现图像采集和处理的一体化,能够实现火花飞溅全过程数据获取,同时能够进行火花飞溅数据本地存储、处理以及组网,其可以极大的减少冗余数据的传输和实现分布式数据管理,对整个分布式网络来说能够极大的缓解网络带宽压力,并且由于中央处理器中有嵌入式GPU处理器,可实现在大数据量、高速数据输出的情况下进行并行处理及处理加速,提高数据传输和运算效率。
2、本发明探测系统及方法能够在同步信号控制下对焊接时火花飞溅的全过程进行光电探测、成像、记录和处理,从而实现焊接工序的异常监测,可根据异常监测结果对焊机参数及工艺进行调整。
3、本发明探测系统结构紧凑、集成度高、占用空间小,能够很好的适应焊接现场空间环境。并通过外设接口和以太网接口能够实现远程在线参数设置,其控制方法灵活高效,适用于实时性要求高且需要系统闭环的应用场景。
4、本发明探测系统及方法对焊接时火花飞溅进行全过程光电探测、成像和记录,其具有光电响应效率高、成像质量高、同步精度高等特点。
5、本发明探测系统能够在本地同时实现火花飞溅探测、数据采集、图像存储以及数据处理,其系统集成度高,数据输出网络带宽占用小,数据传输效率高。
附图说明
图1是本发明用于焊接火花飞溅检测的光电探测系统组成示意图(与焊接工位处焊机配合);
图2是本发明用于焊接火花飞溅检测的光电探测系统中智能相机结构示意图;
图3是本发明用于焊接火花飞溅检测的光电探测方法实施例的流程图;
其中,附图标记如下:
1-滤光片,2-成像镜头,3-智能相机,4-同步信号线,5-焊接工位,6-焊机。
具体实施方式
以下结合附图和具体实施例对本发明的内容作进一步详细描述。
如图1所示,本发明用于焊接火花飞溅检测的光电探测系统由滤光片1、成像镜头2、智能相机3以及焊接同步信号线4四部分组成。
滤光片1主要用来滤除焊接现场的背景光,由于背景光处于可见光波段,而焊接火花光谱范围非常宽且远大于可见光波段,因此,本实施例探测系统使用可见光波段滤光片来滤除焊接现场中的可见光。
成像镜头2主要用于对焊接过程中产生的火花飞溅进行光线汇聚,在焦点处形成清晰的影像,滤光片1位于成像镜头2的光线入射侧,滤光片1滤除焊接现场中的可见光,这样使得只有火花飞溅产生的光被成像镜头2捕捉到,同时抑制背景光,从而使得成像镜头2所获取的影像具有简单暗背景,高对比度。本发明成像镜头2采用定焦镜头,波长范围为400nm-1500nm,优选波长范围为400-1100nm,具有大景深。
同步信号线4用于连接智能相机3和与焊接工位5配合的焊机6,主要负责焊机6工作时与智能相机3的信号同步,此同步信号线4传输的同步信号主要用于控制智能相机3开启光电探测和图像采集,是系统的同步信号连接和传输单元,同步信号同步精度要求大于等于20us。
智能相机3主要用于在焊机6同步信号控制下进行光电转换、图像采集、数据存储以及处理,此部分是探测系统的核心部件,是整个探测系统的功能实现与控制中枢。
如图2所示,智能相机3由电源模块、CMOS传感器、FPGA、存储器Ⅰ、PCIE接口、中央处理器、存储器Ⅱ、外设接口以及以太网接口组成。该智能相机3在同步信号控制下先进行光电探测和模数转换,然后输出数据以LVDS信号的格式进入FPGA中进行解串与位对齐,解串之后的数据随即进行数据重组,重组结束后将规整的探测数据通过PCIE接口送入中央控制器中进行数据处理与存储。中央处理器通过ARM控制器将数据流进行控制、存储以及处理,并通过GPU处理器进行处理加速,将处理结果存储至片外的存储器Ⅱ中。外设接口、以太网接口分别与ARM控制器相连,若系统需要组网则通过以太网接口连接至网络中,若需要本地控制则通过外设接口连接本地设备即可。
智能相机3的各个部件详细介绍如下:
1)电源模块:此模块主要包括电源产生单元和上下电时序管理单元两个单元。其中电源产生单元主要负责电平转换,从而产生智能相机3中不同部件所需要的稳定供电电源;上下电时序管理单元主要负责对各个产生电源进行时序管理,使其满足系统上下电顺序,从而保证系统中各个部件工作正常。上电时,中央处理器先上电,然后通过PCIE接口控制FPGA及CMOS传感器进行上电,下电时顺序与上电时相反。
2)CMOS传感器:CMOS传感器在同步信号的控制下,对成像镜头2获得的焊接火花飞溅影像进行光电探测与光电转换,光电转换后随即进行模数转换和数据输出,此时输出数据以LVDS信号的格式送往下级FPGA进行处理。
CMOS传感器具有高信噪比,动态范围高且工作模式可调,非常适用于焊接现场火花飞溅检测场景。本实施例中所使用的CMOS传感器型号具体为PYTHON5000。
3)FPGA:负责实现CMOS传感器的驱动及寄存器配置、数据解串与重组、数据存储控制以及PCIE接口控制等功能的实现,是整个探测系统光电探测与数据采集部分的控制核心。
FPGA由传感器驱动及配置单元、数据接收及重组单元、存储控制单元以及PCIE接口控制单元四部分组成,本实施例采用的FPGA具体型号为XC7A200T。以下分别对各单元进行详细介绍:
a)传感器驱动及配置单元:传感器驱动及配置单元对CMOS传感器进行驱动控制及寄存器参数配置,通过PCIE接口控制单元接收中央处理器发送的指令,并根据指令译码结果对CMOS传感器进行参数设置。传感器驱动及配置单元主要产生CMOS传感器输入PLL时钟信号、外触发信号以及SPI配置信号等。其中PLL时钟信号是CMOS传感器内部电路工作的系统时钟源;外触发信号主要用来在外触发模式下将系统接收到的同步信号进行处理后输出给CMOS传感器,之后CMOS传感器就在同步信号的控制下进行工作;SPI配置信号主要用于对CMOS传感器进行寄存器配置,是传感器工作参数的配置接口,其可读可写,可通过SPI配置接口随时掌握传感器的工作状态。
b)数据接收及重组单元:数据接收及重组主要负责将CMOS传感器输出的LVDS信号进行解串、位对齐以及数据重组,获得规整的火花飞溅图像数据。其中,解串和位对齐是相互配合使用的,解串的实现是通过FPGA中的LVDS解串IP核将输出5路LVDS信号解串成5路10bit位宽的数据。位对齐的实现是通过FPGA控制程序使输入LVDS串行数据根据训练码的设置进行比对、移位和训练,当最终得到的解串数据和训练码一致时训练结束。解串后根据同步通道的数据译码可进行行列有效数据的提取和重组,经过顺序调整后最终输出火花飞溅有效图像数据,即规整的火花飞溅图像数据。
c)存储控制单元:存储控制单元主要用于数据缓存,其通过对片外存储器Ⅰ进行读写控制从而实现数据接收及重组单元输出数据流的管理。尤其是PCIE接口进行高速大数据流传输时,一般需要通过存储控制单元先将数据缓存至存储器Ⅰ中,从而使得数据输出速率稳定可靠。存储控制单元也能将存储器Ⅰ中存储的火花飞溅图像数据传输至PCIE接口控制单元;
d)PCIE接口控制单元:PCIE接口控制单元主要负责PCIE数据接口传输控制,其根据PCIE控制协议分别进行应用层、传输层、数据链路层以及物理层的数据传输控制。其可以将存储控制单元中的火花飞溅图像数据按照PCIE协议进行打包和时序控制,然后将其通过PCIE接口传输至中央处理器中的接收端。PCIE接口还用来进行FPGA与中央处理器间的交互和通信,接收来自中央处理器的命令,同时将本地控制信号反馈给中央处理器的接收端。本实施例中PCIE接口控制单元具体采用的是Xilinx公司XDMA控制IP核。PCIE接口控制单元的工作模式为中断模式,当采集到一帧图像则触发中断信号,中央处理器接收到中断信号后进行数据接收。命令和控制信号的交互通过AXI-Lite总线进行控制,数据的传输通过AXI4-slave总线进行控制。
4)存储器Ⅰ:存储器Ⅰ主要负责数据的缓存及本地暂存,其主要为系统数据流调整、缓冲以及接口控制等需求服务,是实现系统数据流控制和传输稳定的支撑模块。在本实施例中,存储器Ⅰ为PCIE接口控制过程进行数据缓存,具体缓存数据量为4帧图像,从而使得PCIE接口控制单元能够进行稳定传输和速率匹配。本实施例中存储器Ⅰ的具体容量为128G。
5)PCIE接口:PCIE接口主要用于FPGA与中央处理器间的高速图像传输、通信以及板间电源连接,其是前端数据采集和处理之间的桥梁。PCIE接口的控制主要通过FPGA中的PCIE接口控制单元实现,其物理接口主要提供硬件电路,为PCIE协议的实现提供物理层的服务。此外,中央处理器和FPGA之间还通过PCIE接口进行电源传送,使得FPGA和前端CMOS传感器能够得到稳定的电源。本实施例中PCIE接口具体采用PCIE 2.0协议,数据通道数为×4。
6)中央处理器:主要负责系统的处理、计算加速以及整个系统的调度,是探测系统的核心处理部件。中央处理器主要包括ARM控制器和GPU处理器两个部分,以下对该两部分进行详细介绍:
a)ARM控制器:主要负责系统数据和控制信号的调度,为中央处理器的控制中枢。从PCIE接口输入中央处理器的数据先通过ARM控制器进行数据流控制、数据处理,在ARM控制器处理过程中,同时将数据送入GPU处理器中进行处理加速,加速处理完的数据通过ARM控制器对其进行存储控制,最终存储于存储器Ⅱ中。整个探测系统的外设接口和以太网接口也是通过ARM控制器进行控制。
ARM控制器主要包括两个模块:系统控制模块和火花数据处理模块。其中,系统控制模块主要实现系统控制和数据调度,包括存储控制、外设接口控制、以太网接口控制以及PCIE接口控制等,为中央处理器的控制大脑。火花数据处理模块主要负责对所采集的火花数据进行处理,包括数据预处理、火花飞溅检测以及飞溅路线计算等;
在大数据量实时处理时,通过调用GPU处理器实现处理加速和并行计算,从而达到海量数据高速处理的目的。
b)GPU处理器:主要负责大数据量的并行计算和计算加速,其通过大规模的片上存储及计算模块,以及ARM控制器上驱动程序的调度实现海量数据的并行加速计算,从而在最短的时间给出计算结果,提升系统的处理速度和效能。具体实现中一般会在中央处理器中的操作系统上按照CUDNN加速程序包、GPU驱动以及其他所需的驱动和应用程序。
7)存储器Ⅱ:主要负责探测系统数据的本地存储。存储器Ⅱ不仅对采集数据进行暂存之后等待ARM控制器的读取,而且负责对火花飞溅探测数据处理结果的本地存储。此外,其对数据大规模缓存,对于数据处理算法的实现具有重要意义。本实施例中存储器Ⅱ的存储容量为256G。
8)外设接口:主要用于连接显示器、键盘、鼠标等外设,在需要本地图像显示及系统控制时提供控制接口。可以通过外设接口将中央处理器上的控制软件操作界面显示于显示器上,根据需要进行本地系统参数调整和图像显示。中央处理器上的操作系统更改和驱动程序修改也通过外设接口实现。
9)以太网接口:主要用于系统组网,将本实施例探测系统连接入网络,从而使得远程计算机可以在远程对探测系统进行控制与管理。其网络控制及协议实现通过中央处理器上的ARM控制器实现,以太网接口主要提供物理层的电路及物理接口。
本实施例智能相机3各部件间的有机配合,最终使得焊接火花飞溅图像的光电探测、数据采集、数据处理以及系统控制有效的实现,最终保证整个探测系统能够稳定、可靠、灵活、高效的运行和工作。
本实施例探测系统工作流程如图3所示。具体工作流程如下:
步骤1、系统上电复位
此部分主要让系统按照一定的上电顺序进行上电,并进行系统全局复位。此阶段中电源模块给中央处理器先上电,然后通过中央处理器控制FPGA和CMOS传感器上电。CMOS传感器上电时也要遵循一定的上电时序,先进行1.8V电压上电,然后进行3.3V电压上电,最后进行像素电压上电。电压上电完成后进行片外PLL时钟信号输出,在此之后进行全局复位。全局复位之后间隔一段时间后才能进行SPI配置,此探测系统中不同信号间上电间隔统一设置为100us。
步骤2、系统初始化
使探测系统处于默认工作参数下运行;进入此阶段时,FPGA中的传感器驱动及配置单元向CMOS传感器输出驱动信号和时钟,同时通过SPI接口对CMOS传感器进行默认寄存器参数配置;配置完寄存器后,CMOS传感器在驱动信号和寄存器参数配置的作用下输出LVDS信号,此时FPGA中的数据接收及重组单元接收CMOS传感器输出的LVDS信号数据,对LVDS信号数据进行解串与位对齐。对数据解串与位对齐后的数据进行数据重组可得到正确的数据输出,此时输出数据为系统默认参数下产生的相机主动输出的图像数据。之后间隔一段时间,根据默认参数系统将工作在触发采集模式下,此时图像输出停止,系统工作在空闲(IDLE)状态下。系统默认工作模式设置为连续外触发模式,系统曝光时间、增益以及偏置等参数根据调试情况进行针对性进行设置,本实施例探测系统默认设置曝光时间为10ms,帧频为40fps,增益默认为1,偏置为0;
步骤3、火花飞溅的采集
等待同步信号来临,进行火花飞溅光电探测与数据采集。进入此步骤时,需先进行同步信号的等待,当检测到焊机6发出的同步信号时,智能相机3开启光电探测和图像采集。此时,在同步信号控制下CMOS传感器进行光电探测与光电信号转换,并将转换后的输出结果传输给FPGA,然后FPGA对CMOS传感器输出信号进行解串和重组,得到火花飞溅图像数据并将其通过PCIE接口传输至中央处理器。此探测系统可根据参数设置同步信号每触发一次,智能相机3进行N张图像连续拍摄,N默认参数设置为100,其通过中央处理器进行参数调整。
步骤4、图像存储与处理
当系统在同步信号控制下进行连续多帧图像的拍摄后,所获取的图像在中央处理器中进行数据存储控制。所获取的图像先存储在中央处理器片外的存储器Ⅱ中,待需要处理时将其读出进行数据处理,也可以先进行数据处理再进行数据存储,此步骤中的数据流控制主要是由中央处理器中的ARM控制器实现。
若需要本地处理,火花数据在ARM控制器的控制下直接从前端数据流中进行缓存后处理或者先从存储器Ⅱ中进行数据读出后进行数据处理。ARM控制器的火花数据处理模块主要进行火花飞溅图像的目标提取与轨迹分析,最终得到火花飞溅类型、飞溅位置与轨迹以及飞溅面积大小等数据。由于在线处理对计算能力要求较高,所采集的数据在需要时将送入GPU处理器模块对高速大数据量的火花飞溅图像进行并行计算加速,从而实现探测数据的实时处理。处理结果将暂存于存储器Ⅱ中,供远程计算机调取和使用。
步骤5、系统参数调整
当完成图像采集与存储后,可根据图像获取情况进行在线参数调整,此时可通过外接外设(显示器、键盘与鼠标)在本地控制软件上或者通过远程控制计算机上的控制软件对当前设备进行参数调整,可调整参数包括工作模式(内触发/外触发)、传输模式(主动/被动)、曝光时间、增益、偏置以及触发采集帧数N,调整完参数后系统继续返回步骤3中等待同步信号来临,然后继续进行后续步骤。当系统无需调整参数时,进行探测任务完成与否的判断。若未完成探测任务,则继续返回步骤3中等待同步信号,并进行后续流程;若已完成探测任务,则证明当前系统探测任务结束,使系统停止工作。
上述为本实施例光电探测系统的一次完整工作过程,使用中可根据现场不同的需要进行工作流程优化和参数调整,以取得更好的焊接火花飞溅检测效果。
本实施例探测系统主要用于焊接火花飞溅自动化探测,其能够在同步信号控制下对焊接时火花飞溅的全过程进行光电探测、成像、记录和处理,从而实现焊接工序的异常监测并指导焊机6参数及工艺的调整。
本实施例探测系统不仅能够实现火花飞溅全过程数据获取,同时能够进行火花飞溅数据本地存储、处理以及组网,其可以极大的减少冗余数据的传输和实现分布式数据管理,对整个分布式网络来说能够极大的缓解网络带宽压力。
本实施例探测系统构成简洁紧凑,集成度高,实际占用空间小,能够很好的适应焊接现场空间环境。同时,该系统能够实现在线参数设置和参数记忆,其控制方法灵活高效,非常适合实时性要求高且需要系统闭环的应用场景。
本实施例探测系统能够对焊接时火花飞溅进行全过程光电探测、成像和记录,其具有光电响应效率高、成像质量高、同步精度高等特点。
本实施例探测系统能够在本地同时实现火花飞溅探测、数据采集、图像存储以及数据处理,其系统集成度高,数据输出网络带宽占用小,数据传输效率高。
本实施例探测系统能够运行在多种工作模式下,如单次触发单次采集模式、单次触发多次采集模式、主动采集模式以及帧存采集模式,自动曝光和手动曝光模式,工作模式多变可调,可适用于不同场景需求。
本实施例探测系统能够实现参数在线控制,对其进行参数设置、模式调整以及图像显示可以在本地进行也可以通过集中控制计算机进行。在本地进行在线控制仅需对其连接外设即可实现,避免远程计算机控制过程中出现的系统延迟和网络拥塞等异常情况的出现。在远程集中控制计算机中进行仅需通过网络将设备进行连接即可。此系统控制方法灵活高效,可适用多种环境及应用需求
本实施例探测系统能够实现火花飞溅图像探测且能够在本地进行存储及数据处理,对于焊接火花飞溅自动化检测具有重要意义。
以上仅是对本发明的优选实施方式进行了描述,并不将本发明的技术方案限制于此,本领域技术人员在本发明主要技术构思的基础上所作的任何变形都属于本发明所要保护的技术范畴。
Claims (7)
1.一种用于焊接火花飞溅检测的光电探测系统,其特征在于:包括滤光片(1)、成像镜头(2)和智能相机(3);
所述滤光片(1)用于滤除焊接现场的背景光;
所述成像镜头(2)对经滤光片(1)滤除后的火花飞溅进行光线汇聚,形成清晰的影像;
所述智能相机(3)包括电源模块、CMOS传感器、FPGA、存储器Ⅰ、PCIE接口、中央处理器和存储器Ⅱ;
所述电源模块与中央处理器相连,用于向中央处理器提供电源,中央处理器向FPGA和CMOS传感器提供电源;
所述FPGA包括传感器驱动及配置单元、数据接收及重组单元、存储控制单元和PCIE接口控制单元;
所述中央处理器通过PCIE接口与FPGA中PCIE接口控制单元连接,实现FPGA和中央处理器之间的交互与通信;
所述PCIE接口控制单元通过传感器驱动及配置单元与CMOS传感器相连;传感器驱动及配置单元用于对CMOS传感器进行驱动控制及寄存器参数配置,其通过PCIE接口控制单元接收中央处理器发送的指令,并根据指令译码结果对CMOS传感器进行参数设置;CMOS传感器在焊机输出的同步信号和传感器驱动及配置单元控制下对成像镜头(2)获得的影像进行光电探测与模数转换,输出LVDS信号;
所述数据接收及重组单元与CMOS传感器的输出信号线相连,对LVDS信号进行解串、位对齐以及数据重组,获得规整的火花飞溅图像数据;
所述存储控制单元将数据接收及重组单元输出的火花飞溅图像数据缓存至存储器Ⅰ中,以及将存储器Ⅰ中存储的火花飞溅图像数据传输至PCIE接口控制单元;
所述PCIE接口控制单元通过PCIE接口将火花飞溅图像数据从FPGA传输至中央处理器;
所述中央处理器包括ARM控制器和GPU处理器,ARM控制器对FPGA输出的火花飞溅图像数据进行数据流控制和数据处理,同时GPU处理器对火花飞溅图像数据进行加速处理,获得火花飞溅处理结果;
所述存储器Ⅱ与ARM控制器相连,用于火花飞溅处理结果的本地存储;
所述滤光片(1)采用可见光波段滤光片;
所述成像镜头(2)的波长范围为400nm-1100nm。
2.根据权利要求1所述用于焊接火花飞溅检测的光电探测系统,其特征在于:所述智能相机(3)还包括与ARM控制器分别连接的外设接口和以太网接口。
3.根据权利要求1或2所述用于焊接火花飞溅检测的光电探测系统,其特征在于:所述存储器Ⅰ的存储容量为128G,存储器Ⅱ的存储容量为256G。
4.根据权利要求3所述用于焊接火花飞溅检测的光电探测系统,其特征在于:所述PCIE接口采用PCIE2.0协议,数据通道数为4。
5.根据权利要求1所述用于焊接火花飞溅检测的光电探测系统,其特征在于:所述传感器驱动及配置单元与焊机(6)通过信号同步线连接。
6.一种用于焊接火花飞溅检测的光电探测方法,其特征在于,包括以下步骤,包括以下步骤:
1)上电复位
电源模块给中央处理器上电,然后通过中央处理器控制FPGA和CMOS传感器上电;
2)系统初始化
使FPGA处于默认工作参数下,FPGA中的传感器驱动及配置单元向CMOS传感器输出驱动信号,CMOS传感器在驱动信号作用下输出LVDS信号;FPGA中的数据接收及重组单元接收CMOS传感器输出的LVDS信号数据,对LVDS信号数据进行解串、位对齐及数据重组,获得默认参数下的图像数据;间隔一定时间,使FPGA工作在触发采集模式下;
3)火花飞溅的采集
3.1)当FPGA检测到焊机(6)发出同步信号传输时,CMOS传感器对成像镜头(2)获得的影像进行光电探测与模数转换,并将转换后的输出结果LVDS信号传输给FPGA;
3.2)FPGA中的数据接收及重组单元对CMOS传感器输出的LVDS信号进行解串、位对齐以及数据重组,获得规整的火花飞溅图像数据;
3.3)存储控制单元将数据接收及重组单元输出的火花飞溅图像数据缓存至存储器Ⅰ中,以及将存储器Ⅰ中存储的火花飞溅图像数据传输至PCIE接口控制单元;
3.4)PCIE接口控制单元通过PCIE接口将火花飞溅图像数据传输至中央处理器;
4)图像存储与处理
中央处理器中的ARM控制器对FPGA输出的火花飞溅图像数据进行数据流控制和数据处理,同时GPU处理器对火花飞溅图像数据进行加速处理,获得火花飞溅处理结果。
7.根据权利要求6所述用于焊接火花飞溅检测的光电探测方法,其特征在于,步骤1)中,CMOS传感器上电具体如下:
CMOS传感器先进行1.8V电压上电,然后进行3.3V电压上电,最后进行像素电压上电。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111273118.8A CN114125339B (zh) | 2021-10-29 | 2021-10-29 | 一种用于焊接火花飞溅检测的光电探测系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111273118.8A CN114125339B (zh) | 2021-10-29 | 2021-10-29 | 一种用于焊接火花飞溅检测的光电探测系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114125339A CN114125339A (zh) | 2022-03-01 |
CN114125339B true CN114125339B (zh) | 2022-12-09 |
Family
ID=80379456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111273118.8A Active CN114125339B (zh) | 2021-10-29 | 2021-10-29 | 一种用于焊接火花飞溅检测的光电探测系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114125339B (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106950935A (zh) * | 2017-05-05 | 2017-07-14 | 苏州普绿法环保科技有限公司 | 一种用于物联网智能化除尘设备系统的智能自控系统 |
US10995726B2 (en) * | 2018-03-29 | 2021-05-04 | Woodward, Inc. | Current profile optimization |
CN110740257A (zh) * | 2019-10-12 | 2020-01-31 | 南京理工大学 | 一种高速高清cmos成像系统及其成像方法 |
-
2021
- 2021-10-29 CN CN202111273118.8A patent/CN114125339B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN114125339A (zh) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210397528A1 (en) | Debug for multi-threaded processing | |
CN105592269A (zh) | 运动目标捕捉与跟踪设备及运动目标捕捉与跟踪方法 | |
CN104820418A (zh) | 一种针对机械臂的嵌入式视觉系统及其使用方法 | |
CN114125339B (zh) | 一种用于焊接火花飞溅检测的光电探测系统及方法 | |
CN104588837A (zh) | 弧焊机器人智能耦合系统 | |
CN110524531A (zh) | 一种基于物联网云服务的机器人控制系统及其工作流程 | |
CN110990330B (zh) | 一种基于通用平台的多层共轭自适应光学的实时控制器 | |
CN114723023B (zh) | 数据通信方法及系统、脉冲神经网络运算系统 | |
CN111432178B (zh) | 基于嵌入式处理的分布式视觉伺服反馈控制系统 | |
KR20070032665A (ko) | 영상 포착의 개선 | |
CN206611519U (zh) | 一种高速实时图像采集传输系统 | |
CN116704320A (zh) | 一种电弧增材制造装备的视觉监测系统及方法 | |
CN115766901B (zh) | 一种图像传感器的数据传输设备及方法 | |
CN111142445A (zh) | 多场景通用的边缘视觉运动控制系统及方法 | |
CN111262558A (zh) | 一种快速无毛刺时钟切换电路实现方法及系统 | |
CN213879937U (zh) | 一种基于Zynq的实时多路图像拼接装置 | |
CN110032118A (zh) | 一种基于可重构计算的边缘计算系统和方法 | |
CN114036103B (zh) | 基于华为昇腾ai处理器的星载ai综合电子系统 | |
CN113747006B (zh) | 应用于柜体的拍摄系统及冰箱 | |
CN112040131B (zh) | 基于EtherCAT工业以太网总线的智能相机及其控制方法 | |
CN214480701U (zh) | 基于Web网页的云机器人控制系统 | |
CN206322150U (zh) | 一种激光直写设备中的数据处理模块 | |
CN109710551A (zh) | 一种基于fmc标准的注入式仿真系统 | |
CN112764368B (zh) | 一种可配置的火电厂煤电机组闭环控制系统 | |
JP6960035B2 (ja) | EtherCATプロトコルに基づくデータハンドシェイク方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |