CN109483107A - 一种基于多源信息融合的焊缝智能在线检测装置 - Google Patents
一种基于多源信息融合的焊缝智能在线检测装置 Download PDFInfo
- Publication number
- CN109483107A CN109483107A CN201811629146.7A CN201811629146A CN109483107A CN 109483107 A CN109483107 A CN 109483107A CN 201811629146 A CN201811629146 A CN 201811629146A CN 109483107 A CN109483107 A CN 109483107A
- Authority
- CN
- China
- Prior art keywords
- weld seam
- infrared
- weld
- welding
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 230000004927 fusion Effects 0.000 title claims abstract description 31
- 238000003466 welding Methods 0.000 claims abstract description 111
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 35
- 238000011156 evaluation Methods 0.000 claims abstract description 16
- 238000009826 distribution Methods 0.000 claims abstract description 13
- 238000012546 transfer Methods 0.000 claims abstract description 13
- 238000003331 infrared imaging Methods 0.000 claims abstract description 6
- 230000008859 change Effects 0.000 claims description 15
- 230000007547 defect Effects 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 5
- 230000005855 radiation Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000009123 feedback regulation Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000001303 quality assessment method Methods 0.000 abstract 1
- 238000001931 thermography Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004310 photopic vision Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 239000007822 coupling agent Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
- B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
- B23K31/125—Weld quality monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Quality & Reliability (AREA)
- Radiation Pyrometers (AREA)
Abstract
本发明公开了一种基于多源信息融合的焊缝智能在线检测装置，根据焊接余温获取高质量和随时间变化红外成像信息，通过红外线阵列传感器、可见光摄像头获取焊接过程中的实时焊缝的红外和可见光视频，通过视频信息采集模块和智能处理模块实现两种视频信息的融合和智能识别，获得焊缝的焊缝宽度、中心轨迹、焊缝纹理和表面温度场分布等信息，利用深度学习算法进行焊缝质量评价；并通过无线数据传输模块将视频信息和处理结果发送至服务器，服务器根据所获得的焊缝红外和可见光图像，进行整个焊缝图片拼接和匹配融合，构建整个焊接过程质量评价数据库，为焊接过程评价提供决策支持。
Description
技术领域：
本发明涉及一种基于多源信息融合的焊缝智能在线检测装置，其属于焊缝检测技术领域。
背景技术：
焊接技术作为现代机械制造的一种重要技术手段，目前被广泛应用于机械制造中。焊接过程中，难免出现人为或非人为因素导致焊接方向发生改变，进而导致焊偏；焊接过程中，焊接参数的改变直接影响焊缝的形状的改变，进而产生焊接缺陷，严重影响焊接质量。在航空航天、核电、化学工业容器、高铁制造、汽车轮船等重要行业的焊接中，除了内部 检测要求外，均需要进行严格的焊缝外观形状和表面缺陷检测。焊缝的质量检测主要包括：焊缝外观形状和表面缺陷检测、焊缝内部缺陷检测、焊缝各种性能检测。对于焊缝外观形状和表面缺陷检测主要通过人眼观察，目前也有采用可见光视觉检测方法进行焊缝的表面质量检测，而焊缝内部缺陷的检测主要采用X射线、超声波探伤、磁通检测等无损检测方法实现。X射线方法应采用辐射方式检测，需要采用防辐射装置来避免辐射危险，导致其成本过程，安全性不高，不适合大规模的部件大批量以及钢结构焊接；磁通检测虽然没有硬射线对人体危害那么可怕，但是它的电磁污染也非常大，对周边设备和环境都存在一定的影响；超声波探伤方法具有检测灵敏度高、速度快的优点，但在检测时需要超声耦合剂，并对操作人员的技术要求很高，同时超声波发射和接收装置较大，对于大规模的结构件焊接实现较困难。此外，目前的焊缝检测方法均是要在焊缝冷却之后进行检测，属于后评价，如果能够实现在线实时评价，在作业过程中对焊缝的质量进行检测，可以对焊接技术参数和工艺流程进行及时调整，进而可以降低由于焊接参数和操作导致的焊接缺陷，提高焊接作业质量和作业效率，减少重复劳动。
可见光视觉检测方法可以检测焊缝是否漏焊、是否焊偏、焊缝的大小和形状，从总体上评估焊接质量。新兴的红外测温技术是一种新的非接触式在线检测方式。红外线探测测温测量速度快、范围宽、灵敏度高，对被测温度场无干扰，是一种快速有效的结构状态在线实时检验工具，检测可靠性较高。而在焊接过程中，不同焊接参数下所形成的焊接熔池后方焊缝温度变化不同，通过构建焊缝温度场变化图像，利用红外热成像获取焊接余温变化，以得到高质量和随时间变化的红外成像信息，从而实现焊接内部质量检测。
另一方面，随着现代物联网、大数据和人工智能技术的发展，为多信息的融合和处理提供了基础，将焊接过程中焊缝红外视频、可见光视频、焊枪作业参数信息进行融合，并通过无线网络将整个焊接过程的信息传输服务器进行分析，可以进行整个焊接过程中的焊接质量的评价，同时也可以作为焊接工人考核和评价的依据。
发明内容：
本发明是为了解决上述现有技术存在的问题而提供一种基于多源信息融合的焊缝智能在线检测装置，能够在线测量焊缝的外观形状、大小、纹理以及温度场变化，进而进行焊缝质量以及焊接过程的评估。
本发明所采用的技术方案有：一种基于多源信息融合的焊缝智能在线检测装置，由红外线阵列传感器、可见光摄像头、视频信息采集模块、智能处理模块、电源模块、焊机参数输入输出接口模块、无线数据传输模块和服务器组成，视频信息采集模块连接红外线阵列传感器和可见光摄像头以采集焊接过程的焊缝红外和可见光视频信息，并通过智能处理模块进行焊缝红外和可见光图像的识别和处理，并通过无线数据传输模块将采集的焊缝红外和可见光图像以及融合处理结果传输给服务器进行存储和处理。
进一步地，红外线阵列传感器为红外线热辐射阵列传感器或红外成像芯片，可见光摄像头为数字或模拟CCD摄像头，并与视频信息采集模块相连。
进一步地，视频信息采集模块进行红外线阵列传感器和可见光摄像头的图像数据编码、解码、匹配，并通过智能处理模块进行焊缝的焊缝宽度、中心轨迹、焊缝纹理、温度场分布信息的识别和处理，以判断焊缝质量。
进一步地，智能处理模块根据历史焊缝温度场分布图进行当前焊缝红外图像进行识别和学习，构建焊缝内部缺陷的温度场分布特征库，进行焊缝内部缺陷识别。
进一步地，智能处理模块对可见光摄像头所采集的焊缝表面视频图像进行图像的增强、去噪、平滑运算、阈值分割、图像二值化处理和边缘检测，得到预处理的图像，并根据所采集的焊缝历史可见光图像进行当前焊缝图像进行识别和学习，获得焊缝宽度、中心轨迹、焊缝纹理的表面特征。
进一步地，智能处理模块根据所获得的焊缝宽度、中心轨迹、焊缝纹理的表面特征和焊缝温度场分布特征结合，并与红外图像特征结合，构建焊缝质量评价综合特征向量，根据所获得特征向量进行焊缝质量评价。
进一步地，智能处理模块根据所获得焊缝质量评价综合特征向量和焊机参数输入输出接口模块获得的焊枪电流、电压、保护气体流量的信息，进行焊接作业过程的焊枪参数评价，并通过焊机参数输入输出接口模块进行焊枪参数反馈调节。
进一步地，无线数据传输模块将焊缝红外和可见光视频信息、智能处理模块获得的焊缝质量检测信息和焊枪参数传输至服务器，服务器将所采集的信息进行存储和管理，服务器根据所获得的焊缝红外和可见光图像，进行整个焊缝图片拼接和匹配融合，构建整个焊接工程的焊缝宽度、中心轨迹、焊缝纹理以及温度场变化的焊接过程质量数据库。
进一步地，通过无线数据传输模块进行数据同步，将焊接工程的历史红外和可见光图像以及焊接过程质量数据库与智能处理模块中的相应数据进行匹配和同步。
本发明具有如下有益效果：本发明所建立的基于多信息融合的焊缝智能在线检测装置通过对焊接过程中焊缝余温变化监测以获取高质量和随时间变化的红外热成像信息，通过焊缝表面的温度分布来判断焊缝内部缺陷。同时融合可见光图像对焊缝宽度、中心轨迹、焊缝纹理等焊缝表面特征，通过人工智能方法实现焊缝质量评价，并能与焊机直接连接进行焊接参数的智能反馈调节。通过本发明的实施可以降低由于焊接参数和操作导致的焊接缺陷，提高焊接作业质量和作业效率，减少重复劳动。
附图说明：
图1是本发明基于多源信息融合的焊缝智能在线检测装置的结构示意图。
图2是实施例1的结构示意图。
图3是实施例2的结构示意图。
具体实施方式：
下面结合附图对本发明作进一步的说明。
本发明基于多源信息融合的焊缝智能在线检测装置由红外线阵列传感器、可见光摄像头、视频信息采集模块、智能处理模块、电源模块、焊机参数输入输出接口模块、无线数据传输模块和服务器组成。通过视频信息采集模块连接红外线阵列传感器和可见光摄像头采集焊接过程的焊缝红外和可见光视频信息，并通过智能处理模块进行焊缝红外和可见光图像的识别和处理，从而获得焊缝宽度、中心轨迹、焊缝纹理以及温度场变化，并通过无线数据传输模块将采集的红外和可见光图像以及融合处理结果传输给服务器进行存储和处理。
利用红外热成像获取焊接余温变化，以得到高质量和随时间变化红外成像信息；红外线阵列传感器为红外线热辐射阵列传感器或红外成像芯片，可见光摄像头为常见数字或模拟CCD摄像头，并与视频信息采集模块相连。在装置初始时通过双目视觉标定方式进行两个摄像头的标定，对可见光视频和红外视频之间的匹配。
一般地，焊接熔池的温度随着热源的移动，其温度会发生变化，对正常焊缝，其温度场是均匀变化的，而如果焊接过程中内部有缺陷，会导致焊缝表面的温度变化不均匀，因此可以通过测量焊接余温变化以获取高质量和随时间变化的红外热成像信息，通过焊缝表面的温度分布来判断焊缝内部缺陷。基于这一原理，根据所采集的焊缝红外和可见光图像，其中红外线阵列传感器所采集焊缝的每个像素点颜色对应焊缝的温度值，通过颜色和温度的对应关系建立焊缝在随时间变化的温度场分布，通过检测温度场分布中的异常像素点来检测焊缝内部是否存在缺陷。
视频信息采集模块可以进行红外线阵列传感器模块和可见光摄像头的图像数据编码、解码、匹配，并通过智能处理模块进行焊缝的焊缝宽度、中心轨迹、焊缝纹理、温度场分布等信息的识别和处理，以判断焊缝质量。
智能处理模块根据历史焊缝温度场分布图进行当前焊缝红外图像进行识别和学习，构建焊缝内部缺陷的温度场分布特征库，从而进行焊缝内部缺陷识别。
智能处理模块具有自学习功能，对可见光摄像头所采集的焊缝表面视频图像进行图像的增强、去噪、平滑运算、阈值分割、图像二值化处理和边缘检测，得到预处理的图像，并根据所采集的焊缝历史可见光图像进行当前焊缝图像进行识别和学习，获得焊缝宽度、中心轨迹、焊缝纹理等表面特征。
智能处理模块根据所获得的焊缝宽度、中心轨迹、焊缝纹理等表面特征和焊缝温度场分布特征结合，并与红外图像特征结合，构建焊缝质量评价综合特征向量，根据所获得特征向量进行焊缝质量评价。
智能处理模块根据所获得焊缝质量评价综合特征向量和焊机参数输入输出接口模块获得的焊枪电流、电压、保护气体流量等信息，进行焊接作业过程的焊枪参数评价，并通过焊机参数输入输出接口模块进行焊枪参数反馈调节。
无线数据传输模块将焊缝红外和可见光视频信息、智能处理模块获得的焊缝质量检测信息和焊枪参数传输至服务器，服务器将所采集的信息进行存储和管理。服务器根据所获得的焊缝红外和可见光图像，进行整个焊缝图片拼接和匹配融合，构建整个焊接工程的焊缝宽度、中心轨迹、焊缝纹理以及温度场变化等焊接过程质量数据库，为焊接工程整体评价和焊接作业管理提供决策支持。
在焊接工程结束后通过无线传输模块进行数据同步，将焊接工程的历史红外和可见光图像以及焊接过程质量数据库与智能处理模块中的相应数据进行匹配和同步，以提高智能处理模块的自学习能力和识别结果的准确性。
下面通过两个实施例来具体说明本发明基于多源信息融合的焊缝智能在线检测装置。
实施例1
本实施例提供了一种基于多源信息融合的焊缝智能在线检测装置，其结构如图2所示。本焊缝智能在线检测装置与焊枪相连接，为了避免由于焊接过程中的高温飞溅影响摄像头的检测效果，同时考虑焊接熔池的温度变化规律，将本装置安装在焊枪后部10mm处。
具体地，本实施例中的红外线阵列传感器采用MAG160Core热成像芯片，可见光摄像头采用OPT-C0620-2M，视频信息采集模块采用TMS320DM6446视频处理模块，智能处理模块Tir-TX2S300深度学习模块，搭载NVIDIA Jetson TX2模块，视频信息采集模块与智能处理模块之间采用以太网接口连接，无线数据传输模块采用USR-C322 wifi模块，与Tir-TX2S300板载wifi接口连接。
在焊接作业过程中，本装置通过红外线阵列传感器和可见光摄像头获取当前焊接过程中的焊缝红外温度视频和可见光视频。视频信息采集模块对两个摄像头获取的视频流进行解码和信息提取。
根据所提取的焊缝红外图像，视频信息采集模块进行焊缝温度场数据提取，并同时记录当前温度场分布的时刻。同时根据所提取的焊缝可见光图像，进行图像的增强、去噪、平滑运算、阈值分割、图像二值化处理和边缘检测，得到预处理的图像。
智能处理模块根据，智能处理模块深度神经网络模块根据焊缝历史可见光图像对当前焊缝的焊缝宽度、中心轨迹、焊缝纹理等表面特征进行识别，并根据系统设定的双目摄像头标定数据进行红外图像和可见光图像的匹配，获得相应的焊缝余温分布图像以及相对应的焊缝内部质量评价特征。根据所采集的焊缝宽度、中心轨迹、焊缝纹理以及焊缝内部质量评价特征向量，构建焊缝质量评价综合特征向量。
本实施例所采用的焊机为NB-350HD气体保护焊机，其电流调节范围为40-350A、电压调节范围为14-40V，将本发明的焊缝在线智能检测装置的焊机参数输入输出接口模块与该电焊机远程管理系统接口连接，智能处理模块读取当前焊机的电压、电流值以及保护气体流量，并根据所获得的当前焊缝质量评价综合特征向量，通过板载深度神经网络模块进行焊机作业参数实时评价和优化，并将优化的焊机参数调整量通过本装置的焊机参数输入输出接口模块和电焊机远程管理系统接口进行焊机电流、电压和保护气体流量的反馈调节。
为了更进一步对焊缝质量的评价，通过无线数据传输模块将当前所获得焊缝红外和可见光视频信息、智能处理模块所获得焊缝质量评价特征值以及焊枪参数传输至服务器，服务器根据本装置所获得的焊缝红外和可见光视频和焊缝宽度、中心轨迹、焊缝纹理以及温度场分布规律，服务器根据所获得的焊缝红外和可见光图像，进行整个焊缝图片拼接和匹配融合，构建整个焊接工程的焊缝形状、纹理和表面温度分布等焊接过程质量数据库。
在焊接工程结束后通过无线传输模块进行数据同步，将焊接工程的历史红外和可见光图像以及焊接过程质量数据库与智能处理模块中的相应数据进行匹配和同步，以提高智能处理模块的自学习能力和识别结果的准确性。
实施例2
本实施例提供了一种基于多源信息融合的焊缝智能在线检测装置，其结构如图3所示。在线检测装置与焊接头盔相连接。在焊接操作开始时，管理员通过系统进行焊接工程的初始化，并通过手动输入或者无线传输方式将焊接参数输入到焊接参数数据库中，并传输至服务器端。
本实施例中的红外线阵列传感器采用MAG160Core热成像芯片，可见光摄像头采用OPT-C0620-2M，视频信息采集模块采用TMS320DM6446视频处理模块，智能处理模块Tir-TX2S300深度学习模块，搭载NVIDIA Jetson TX2模块，视频信息采集模块与智能处理模块之间采用以太网接口连接，无线数据传输模块采用USR-C322 wifi模块，与Tir-TX2S300板载wifi接口连接。
在焊接过程中，焊接工人一般是直视焊枪，因此此过程中本装置的两个摄像头可以同时采集红外和可见光视频视频，视频信息采集模块对两个摄像头获取的视频流进行解码和信息提取。
根据所提取的焊缝红外图像，视频信息采集模块进行焊缝温度场数据提取，并同时记录当前温度场分布的时刻。同时根据所提取的焊缝可见光图像，进行图像的增强、去噪、平滑运算、阈值分割、图像二值化处理和边缘检测，得到预处理的图像。
智能处理模块深度神经网络模块根据焊缝历史可见光图像对当前焊缝的焊缝宽度、中心轨迹、焊缝纹理等表面特征进行识别，并根据系统设定的双目摄像头标定数据进行红外图像和可见光图像的匹配，获得相应的焊缝余温分布图像以及相对应的焊缝内部质量评价特征。根据所采集的焊缝宽度、中心轨迹、焊缝纹理以及焊缝内部质量评价特征向量，构建焊缝质量评价综合特征向量。
智能处理模块根据所获得的焊缝质量评价综合特征向量和焊接参数，通过板载深度神经网络模块对当前焊接工人的作业质量和焊接参数进行评价，当出现焊缝质量时，及时通知工人进行焊接参数和作业过程的调整。
通过无线数据传输模块将当前所获得焊缝红外和可见光视频信息、智能处理模块所获得焊缝质量评价特征值以及焊枪参数传输至服务器，服务器根据本装置所获得的焊缝红外和可见光视频和焊缝宽度、中心轨迹、焊缝纹理以及温度场分布规律，服务器根据所获得的焊缝红外和可见光图像，进行整个焊缝图片拼接和匹配融合，构建整个焊接工程的焊缝形状、纹理和表面温度分布等焊接过程质量数据库，对当前焊接工程进行整体评判，并对焊接工人作业效果进行评价。
在焊接工程结束后通过无线传输模块进行数据同步，将焊接工程的历史红外和可见光图像以及焊接过程质量数据库与智能处理模块中的相应数据进行匹配和同步，以提高智能处理模块的自学习能力和识别结果的准确性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以作出若干改进，这些改进也应视为本发明的保护范围。
Claims (9)
1.一种基于多源信息融合的焊缝智能在线检测装置，其特征在于：由红外线阵列传感器、可见光摄像头、视频信息采集模块、智能处理模块、电源模块、焊机参数输入输出接口模块、无线数据传输模块和服务器组成，视频信息采集模块连接红外线阵列传感器和可见光摄像头以采集焊接过程的焊缝红外和可见光视频信息，并通过智能处理模块进行焊缝红外和可见光图像的识别和处理，并通过无线数据传输模块将采集的焊缝红外和可见光图像以及融合处理结果传输给服务器进行存储和处理。
2.如权利要求1所述的基于多源信息融合的焊缝智能在线检测装置，其特征在于：红外线阵列传感器为红外线热辐射阵列传感器或红外成像芯片，可见光摄像头为数字或模拟CCD摄像头，并与视频信息采集模块相连。
3.如权利要求2所述的基于多源信息融合的焊缝智能在线检测装置，其特征在于：视频信息采集模块进行红外线阵列传感器和可见光摄像头的图像数据编码、解码、匹配，并通过智能处理模块进行焊缝的焊缝宽度、中心轨迹、焊缝纹理、温度场分布信息的识别和处理，以判断焊缝质量。
4.如权利要求3所述的基于多源信息融合的焊缝智能在线检测装置，其特征在于：智能处理模块根据历史焊缝温度场分布图进行当前焊缝红外图像进行识别和学习，构建焊缝内部缺陷的温度场分布特征库，进行焊缝内部缺陷识别。
5.如权利要求4所述的基于多源信息融合的焊缝智能在线检测装置，其特征在于：智能处理模块对可见光摄像头所采集的焊缝表面视频图像进行图像的增强、去噪、平滑运算、阈值分割、图像二值化处理和边缘检测，得到预处理的图像，并根据所采集的焊缝历史可见光图像进行当前焊缝图像进行识别和学习，获得焊缝宽度、中心轨迹、焊缝纹理的表面特征。
6.如权利要求5所述的基于多源信息融合的焊缝智能在线检测装置，其特征在于：智能处理模块根据所获得的焊缝宽度、中心轨迹、焊缝纹理的表面特征和焊缝温度场分布特征结合，并与红外图像特征结合，构建焊缝质量评价综合特征向量，根据所获得特征向量进行焊缝质量评价。
7.如权利要求6所述的基于多源信息融合的焊缝智能在线检测装置，其特征在于：智能处理模块根据所获得焊缝质量评价综合特征向量和焊机参数输入输出接口模块获得的焊枪电流、电压、保护气体流量的信息，进行焊接作业过程的焊枪参数评价，并通过焊机参数输入输出接口模块进行焊枪参数反馈调节。
8.如权利要求7所述的基于多源信息融合的焊缝智能在线检测装置，其特征在于：无线数据传输模块将焊缝红外和可见光视频信息、智能处理模块获得的焊缝质量检测信息和焊枪参数传输至服务器，服务器将所采集的信息进行存储和管理，服务器根据所获得的焊缝红外和可见光图像，进行整个焊缝图片拼接和匹配融合，构建整个焊接工程的焊缝宽度、中心轨迹、焊缝纹理以及温度场变化的焊接过程质量数据库。
9.如权利要求8所述的基于多源信息融合的焊缝智能在线检测装置，其特征在于：通过无线数据传输模块进行数据同步，将焊接工程的历史红外和可见光图像以及焊接过程质量数据库与智能处理模块中的相应数据进行匹配和同步。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811629146.7A CN109483107A (zh) | 2018-12-29 | 2018-12-29 | 一种基于多源信息融合的焊缝智能在线检测装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811629146.7A CN109483107A (zh) | 2018-12-29 | 2018-12-29 | 一种基于多源信息融合的焊缝智能在线检测装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109483107A true CN109483107A (zh) | 2019-03-19 |
Family
ID=65713113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811629146.7A Pending CN109483107A (zh) | 2018-12-29 | 2018-12-29 | 一种基于多源信息融合的焊缝智能在线检测装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109483107A (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110132983A (zh) * | 2019-05-28 | 2019-08-16 | 朱清 | 一种注塑产品在线分级检测装置及方法 |
| CN110605393A (zh) * | 2019-09-25 | 2019-12-24 | 中国兵器装备集团自动化研究所 | 一种激光立体成形过程检测方法及系统和应用 |
| CN110826439A (zh) * | 2019-10-25 | 2020-02-21 | 杭州叙简科技股份有限公司 | 一种基于深度学习图像处理的电焊施工检测方法 |
| CN111070694A (zh) * | 2019-12-27 | 2020-04-28 | 广州燃气集团有限公司 | 一种基于大数据的管道焊接质量监控方法及系统 |
| CN111178450A (zh) * | 2019-12-31 | 2020-05-19 | 上海三一重机股份有限公司 | 一种焊缝状态的评估方法和装置 |
| CN111666955A (zh) * | 2020-06-08 | 2020-09-15 | 杭州智乎物联科技有限公司 | 电烙铁操作指导信息生成方法、系统 |
| CN111698483A (zh) * | 2020-06-24 | 2020-09-22 | 广东电网有限责任公司 | 一种便携式电力设备视频检测装置及系统 |
| CN111721768A (zh) * | 2020-06-04 | 2020-09-29 | 江苏弘冉智能科技有限公司 | 一种多信息融合焊缝缺陷探测系统及方法 |
| CN111940954A (zh) * | 2020-08-14 | 2020-11-17 | 南京水木自动化科技有限公司 | 高可靠抗弧光干扰的焊接多形态数据智能体及处理方法 |
| CN112091472A (zh) * | 2020-08-19 | 2020-12-18 | 中车工业研究院有限公司 | 焊接过程质量融合判断方法及装置 |
| CN112756840A (zh) * | 2021-01-25 | 2021-05-07 | 陕西帕源路桥建设有限公司 | 焊接质量检测系统 |
| CN113020829A (zh) * | 2021-03-11 | 2021-06-25 | 武汉逸飞激光股份有限公司 | 圆柱电容电池集流盘壳体焊接测试方法 |
| CN113092476A (zh) * | 2021-04-12 | 2021-07-09 | 江苏坚力电子科技股份有限公司 | 一种视觉自动碰焊检测一体机 |
| CN113111439A (zh) * | 2021-04-21 | 2021-07-13 | 江南造船(集团)有限责任公司 | 基于通信网络的船舶焊接管控系统及方法 |
| CN113172307A (zh) * | 2021-03-24 | 2021-07-27 | 苏州奥天智能科技有限公司 | 一种基于激光与可见光融合的视觉模块的工业机器人系统 |
| CN113822886A (zh) * | 2021-11-23 | 2021-12-21 | 宁波隆源精密机械有限公司 | 一种新能源汽车电控盖板的加工检测系统及方法 |
| CN114147389A (zh) * | 2021-11-05 | 2022-03-08 | 江苏三沃电子科技有限公司 | 一种检测焊接工艺参数的焊接辅助方法和系统 |
| CN114309871A (zh) * | 2022-02-10 | 2022-04-12 | 北京城乡中昊建设有限责任公司 | 一种焊接盲区专用可视化焊枪 |
| CN114571047A (zh) * | 2022-05-06 | 2022-06-03 | 珠海东方重工有限公司 | 一种桥梁h型钢高精度焊接控制系统及控制方法 |
| CN115420335A (zh) * | 2022-09-02 | 2022-12-02 | 浙江浙能数字科技有限公司 | 面向焊接过程的新型智能焊接监测仪设计 |
| CN115592309A (zh) * | 2022-10-26 | 2023-01-13 | 重庆川仪自动化股份有限公司（Cn） | 一种焊接方法、装置、设备及介质 |
| CN116754781A (zh) * | 2023-08-18 | 2023-09-15 | 北京大学 | 一种基于自动化和cr技术的x射线焊缝检测装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1546995A (zh) * | 2003-12-12 | 2004-11-17 | 上海交通大学 | 主动红外ccd焊缝检测方法 |
| CN1546996A (zh) * | 2003-12-12 | 2004-11-17 | 上海交通大学 | 主动红外ccd焊缝检测装置 |
| CN1709631A (zh) * | 2005-07-04 | 2005-12-21 | 中国航空工业第一集团公司北京航空制造工程研究所 | 一种高能束流焊接过程多信号融合监测仪 |
| CN102513746A (zh) * | 2011-12-09 | 2012-06-27 | 北京工业大学 | 基于温度梯度传感的焊接温度场检测装置与质量控制方法 |
| CN102814574A (zh) * | 2012-09-06 | 2012-12-12 | 江苏科技大学 | 基于红外视觉传感的窄间隙焊接监控及焊缝偏差检测方法 |
| CN103480991A (zh) * | 2013-09-16 | 2014-01-01 | 河北工业大学 | 一种薄钢板窄焊缝在线视觉检测与控制装置 |
| CN104741802A (zh) * | 2015-03-30 | 2015-07-01 | 中国石油天然气集团公司 | 一种焊接质量监测系统及方法 |
| CN107081503A (zh) * | 2017-05-31 | 2017-08-22 | 温州大学 | 一种弧焊质量的红外无损检测装置及其红外无损检测方法 |
| CN107150158A (zh) * | 2017-06-29 | 2017-09-12 | 中国科学院自动化研究所 | 基于红外热像仪的盲区焊缝在线评估与控制系统 |
| CN107457471A (zh) * | 2017-09-20 | 2017-12-12 | 广东工业大学 | 一种焊接系统 |
| CN107931802A (zh) * | 2017-11-27 | 2018-04-20 | 中北大学 | 基于中红外温度传感的电弧焊焊缝质量在线检测方法 |
| CN108856978A (zh) * | 2018-08-20 | 2018-11-23 | 南京理工大学 | 基于近红外双目视觉识别的角接接头熔透控制方法 |
-
2018
- 2018-12-29 CN CN201811629146.7A patent/CN109483107A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1546995A (zh) * | 2003-12-12 | 2004-11-17 | 上海交通大学 | 主动红外ccd焊缝检测方法 |
| CN1546996A (zh) * | 2003-12-12 | 2004-11-17 | 上海交通大学 | 主动红外ccd焊缝检测装置 |
| CN1709631A (zh) * | 2005-07-04 | 2005-12-21 | 中国航空工业第一集团公司北京航空制造工程研究所 | 一种高能束流焊接过程多信号融合监测仪 |
| CN102513746A (zh) * | 2011-12-09 | 2012-06-27 | 北京工业大学 | 基于温度梯度传感的焊接温度场检测装置与质量控制方法 |
| CN102814574A (zh) * | 2012-09-06 | 2012-12-12 | 江苏科技大学 | 基于红外视觉传感的窄间隙焊接监控及焊缝偏差检测方法 |
| CN103480991A (zh) * | 2013-09-16 | 2014-01-01 | 河北工业大学 | 一种薄钢板窄焊缝在线视觉检测与控制装置 |
| CN104741802A (zh) * | 2015-03-30 | 2015-07-01 | 中国石油天然气集团公司 | 一种焊接质量监测系统及方法 |
| CN107081503A (zh) * | 2017-05-31 | 2017-08-22 | 温州大学 | 一种弧焊质量的红外无损检测装置及其红外无损检测方法 |
| CN107150158A (zh) * | 2017-06-29 | 2017-09-12 | 中国科学院自动化研究所 | 基于红外热像仪的盲区焊缝在线评估与控制系统 |
| CN107457471A (zh) * | 2017-09-20 | 2017-12-12 | 广东工业大学 | 一种焊接系统 |
| CN107931802A (zh) * | 2017-11-27 | 2018-04-20 | 中北大学 | 基于中红外温度传感的电弧焊焊缝质量在线检测方法 |
| CN108856978A (zh) * | 2018-08-20 | 2018-11-23 | 南京理工大学 | 基于近红外双目视觉识别的角接接头熔透控制方法 |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110132983A (zh) * | 2019-05-28 | 2019-08-16 | 朱清 | 一种注塑产品在线分级检测装置及方法 |
| CN110605393A (zh) * | 2019-09-25 | 2019-12-24 | 中国兵器装备集团自动化研究所 | 一种激光立体成形过程检测方法及系统和应用 |
| CN110826439A (zh) * | 2019-10-25 | 2020-02-21 | 杭州叙简科技股份有限公司 | 一种基于深度学习图像处理的电焊施工检测方法 |
| CN111070694A (zh) * | 2019-12-27 | 2020-04-28 | 广州燃气集团有限公司 | 一种基于大数据的管道焊接质量监控方法及系统 |
| CN111178450A (zh) * | 2019-12-31 | 2020-05-19 | 上海三一重机股份有限公司 | 一种焊缝状态的评估方法和装置 |
| CN111178450B (zh) * | 2019-12-31 | 2023-07-14 | 上海三一重机股份有限公司 | 一种焊缝状态的评估方法和装置 |
| CN111721768A (zh) * | 2020-06-04 | 2020-09-29 | 江苏弘冉智能科技有限公司 | 一种多信息融合焊缝缺陷探测系统及方法 |
| CN111666955A (zh) * | 2020-06-08 | 2020-09-15 | 杭州智乎物联科技有限公司 | 电烙铁操作指导信息生成方法、系统 |
| WO2021249140A1 (zh) * | 2020-06-08 | 2021-12-16 | 杭州智乎物联科技有限公司 | 电烙铁操作指导信息生成方法、系统 |
| CN111698483A (zh) * | 2020-06-24 | 2020-09-22 | 广东电网有限责任公司 | 一种便携式电力设备视频检测装置及系统 |
| CN111940954A (zh) * | 2020-08-14 | 2020-11-17 | 南京水木自动化科技有限公司 | 高可靠抗弧光干扰的焊接多形态数据智能体及处理方法 |
| CN112091472A (zh) * | 2020-08-19 | 2020-12-18 | 中车工业研究院有限公司 | 焊接过程质量融合判断方法及装置 |
| CN112091472B (zh) * | 2020-08-19 | 2021-11-02 | 中车工业研究院有限公司 | 焊接过程质量融合判断方法及装置 |
| CN112756840A (zh) * | 2021-01-25 | 2021-05-07 | 陕西帕源路桥建设有限公司 | 焊接质量检测系统 |
| CN113020829A (zh) * | 2021-03-11 | 2021-06-25 | 武汉逸飞激光股份有限公司 | 圆柱电容电池集流盘壳体焊接测试方法 |
| CN113172307A (zh) * | 2021-03-24 | 2021-07-27 | 苏州奥天智能科技有限公司 | 一种基于激光与可见光融合的视觉模块的工业机器人系统 |
| CN113092476A (zh) * | 2021-04-12 | 2021-07-09 | 江苏坚力电子科技股份有限公司 | 一种视觉自动碰焊检测一体机 |
| CN113111439A (zh) * | 2021-04-21 | 2021-07-13 | 江南造船(集团)有限责任公司 | 基于通信网络的船舶焊接管控系统及方法 |
| CN114147389A (zh) * | 2021-11-05 | 2022-03-08 | 江苏三沃电子科技有限公司 | 一种检测焊接工艺参数的焊接辅助方法和系统 |
| CN114147389B (zh) * | 2021-11-05 | 2024-06-04 | 江苏三沃电子科技有限公司 | 一种检测焊接工艺参数的焊接辅助方法和系统 |
| CN113822886A (zh) * | 2021-11-23 | 2021-12-21 | 宁波隆源精密机械有限公司 | 一种新能源汽车电控盖板的加工检测系统及方法 |
| CN114309871A (zh) * | 2022-02-10 | 2022-04-12 | 北京城乡中昊建设有限责任公司 | 一种焊接盲区专用可视化焊枪 |
| CN114571047A (zh) * | 2022-05-06 | 2022-06-03 | 珠海东方重工有限公司 | 一种桥梁h型钢高精度焊接控制系统及控制方法 |
| CN115420335A (zh) * | 2022-09-02 | 2022-12-02 | 浙江浙能数字科技有限公司 | 面向焊接过程的新型智能焊接监测仪设计 |
| CN115592309A (zh) * | 2022-10-26 | 2023-01-13 | 重庆川仪自动化股份有限公司（Cn） | 一种焊接方法、装置、设备及介质 |
| CN116754781A (zh) * | 2023-08-18 | 2023-09-15 | 北京大学 | 一种基于自动化和cr技术的x射线焊缝检测装置 |
| CN116754781B (zh) * | 2023-08-18 | 2023-10-20 | 北京大学 | 一种基于自动化和cr技术的x射线焊缝检测装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109483107A (zh) | 一种基于多源信息融合的焊缝智能在线检测装置 | |
| WO2021248638A1 (zh) | 金属增材制造多种监测设备在线实时监控系统 | |
| Zhang et al. | Characterization of three-dimensional weld pool surface in GTAW | |
| CN111721768A (zh) | 一种多信息融合焊缝缺陷探测系统及方法 | |
| US9519844B1 (en) | Infrared thermographic methods for wrinkle characterization in composite structures | |
| US10094794B2 (en) | Characterization of wrinkles and periodic variations in material using infrared thermography | |
| CN107931802B (zh) | 基于中红外温度传感的电弧焊焊缝质量在线检测方法 | |
| CN105241923B (zh) | 倒装焊焊点缺陷检测方法 | |
| CN105004758B (zh) | 一种涡流线扫描热成像检测系统及方法 | |
| CN108489986A (zh) | 一种增材制造在线检测及修复方法 | |
| CN209690213U (zh) | 一种主动便携式焊缝智能检测仪 | |
| CN207205270U (zh) | 一种3d打印逐层检测反求零件模型及定位缺陷装置 | |
| CN108931535A (zh) | 一种激光增材制造气孔缺陷在线监测方法 | |
| Gao et al. | Feature extraction of laser welding pool image and application in welding quality identification | |
| Chu et al. | A study on welding quality inspection system for shell-tube heat exchanger based on machine vision | |
| CN107132271A (zh) | 点结构光及磁光成像双传感焊缝成形及缺陷无损检测方法 | |
| CN109765267A (zh) | 一种主动便携式焊缝智能检测仪 | |
| CN110853018A (zh) | 一种基于计算机视觉的振动台疲劳裂纹在线检测系统及检测方法 | |
| CN110174221A (zh) | 一种变压器本体渗漏油状态监测评估方法及系统 | |
| CA3158524A1 (en) | Systems and methods for analyzing weld quality | |
| CN114119595A (zh) | 一种基于集成深度学习的gmaw焊接质量在线监测及评价方法 | |
| Zhang et al. | Online weld pool contour extraction and seam width prediction based on mixing spectral vision | |
| KR20140044163A (ko) | 증기발생기 전열관 용접부의 검사장치 | |
| Huang et al. | Penetration estimation of GMA backing welding based on weld pool geometry parameters | |
| CN108317952A (zh) | 精密前轴锻件在线快速检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190319 |