CN115988866A - 一种基于机器视觉的nfc lami加工控制方法及系统 - Google Patents

一种基于机器视觉的nfc lami加工控制方法及系统 Download PDF

Info

Publication number
CN115988866A
CN115988866A CN202310274309.9A CN202310274309A CN115988866A CN 115988866 A CN115988866 A CN 115988866A CN 202310274309 A CN202310274309 A CN 202310274309A CN 115988866 A CN115988866 A CN 115988866A
Authority
CN
China
Prior art keywords
welding
nfc
time
real
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310274309.9A
Other languages
English (en)
Other versions
CN115988866B (zh
Inventor
潘宏权
蓝明
李英明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lihexing Co ltd
Original Assignee
Shenzhen Lihexing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lihexing Co ltd filed Critical Shenzhen Lihexing Co ltd
Priority to CN202310274309.9A priority Critical patent/CN115988866B/zh
Publication of CN115988866A publication Critical patent/CN115988866A/zh
Application granted granted Critical
Publication of CN115988866B publication Critical patent/CN115988866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Numerical Control (AREA)

Abstract

本发明涉及电子生产设备控制技术领域,特别是一种基于机器视觉的NFC LAMI加工控制方法及系统,获取待焊接NFC的加工工程图纸信息,基于所述待焊接NFC的加工工程图纸信息构建待焊接NFC的总焊接区域三维模型图,并基于所述待焊接NFC的总焊接区域三维模型图将待焊接NFC的焊接区域分割为若干个子焊接区域,若生成的判别报告为第一判别报告,则在预设时间后再次获取第二实时焊接图像,基于所述第二实时焊接图像构建第二实时焊接三维模型图,并根据所述第一实时焊接三维模型图与第二实时焊接三维模型图得到焊料扩充速率,基于所述焊料扩充速率生成停止焊接指令或焊接调控指令,能够及时识别出废品并及时对其进行报废处理,能够有效降低加工成本。

Description

一种基于机器视觉的NFC LAMI加工控制方法及系统
技术领域
本发明涉及电子生产设备控制技术领域,特别是一种基于机器视觉的NFC LAMI加工控制方法及系统。
背景技术
NFC近场通信技术由非接触式射频识别(RFID)及互联互通技术整合演变而来,在单一芯片上结合感应式读卡器、感应式卡片和点对点的功能,能在短距离内与兼容设备进行识别和数据交换。随着经济的发展和无线支付技术的普及,通过具有NFC LAMI功能的可穿戴设备刷公交卡或者购物已经变成未来消费的一种趋势,具有NFC LAMI功能的可穿戴设备因其穿戴方便、支付方便、支付形式新颖等原因也越来越受到消费者的欢迎,在电子支付迅速普及的时代,NFC LAMI功能的可穿戴设备在生活中已然扮演了极其重要的角色。
在NFC LAMI整个加工生产工艺流程中,将NFC LAMI焊接到基板等器件上是整个工艺流程极为关键的一步,若在焊接NFC LAMI的过程中,焊料溢流至NFC芯片的重要工作区域,则会造成NFC芯片短路,从而致整个封装器件失效。因此,在焊接加工过程中,若焊接设备不能够及时根据实时焊接情况对焊接参数进行调整,则会使得产品的报废率大大升高,进而降低生产效益。
发明内容
本发明克服了现有技术的不足,提供了一种基于机器视觉的NFC LAMI加工控制方法及系统。
为达到上述目的本发明采用的技术方案为:
本发明公开了一种基于机器视觉的NFC LAMI加工控制方法,包括以下步骤:
获取待焊接NFC的加工工程图纸信息,基于所述待焊接NFC的加工工程图纸信息构建待焊接NFC的总焊接区域三维模型图,并基于所述待焊接NFC的总焊接区域三维模型图将待焊接NFC的焊接区域分割为若干个子焊接区域;
通过NFC焊接设备的摄像机构获取在对NFC焊接过程中的第一实时焊接图像,并对所述第一实时焊接图像进行预处理,得到预处理后的图像信息,基于所述预处理后的图像信息构建第一实时焊接三维模型图;
基于深度学习网络构建判别模型,并将所述第一实时焊接三维模型图导入所述判别模型中进行判别,生成第一判别报告或第二判别报告;
若生成的判别报告为第一判别报告,则在预设时间后再次获取第二实时焊接图像,基于所述第二实时焊接图像构建第二实时焊接三维模型图,并根据所述第一实时焊接三维模型图与第二实时焊接三维模型图得到焊料扩充速率,基于所述焊料扩充速率生成停止焊接指令或焊接调控指令;若生成的判别报告为第二判别报告,则生成继续焊接指令。
优选的,本发明的一个较佳实施例中,对所述第一实时焊接图像进行预处理,得到预处理后的图像信息,基于所述预处理后的图像信息构建第一实时焊接三维模型图,具体为:
将所述第一实时焊接图像分解为RGB三通道的灰色图像,将所述灰色图像中数值低于预设值的像素点数值重置为白色,将所述灰色图像中数值高于预设值的像素点数值重置为黑色,以得到二值化处理后的图像,并对所述二值化处理后的图像进行腐蚀和膨胀处理,得到预处理后的图像信息;
选取所述预处理后的图像信息中的一灰度值为非0的像素点作为检索起点,并向该检索起点的任意一侧对所述预处理后的图像信息进行检索;
若检索到某一像素点的灰度值大于0,则将该像素点对应的位置标记为特征匹配点,并记录该特征匹配点所对应的三维空间坐标值,并将该特征匹配点的灰度值重置为0;若检索到某一像素点的灰度值等于0,则向所述检索起点的另一侧继续检索;直至所述预处理后的图像信息中所有像素点的灰度值均为0;
获取所有特征匹配点的三维空间坐标值,并基于所述所有特征匹配点的三维空间坐标值生成特征匹配点坐标系合集,基于所述特征匹配点坐标系合集构建第一实时焊接三维模型图。
优选的,本发明的一个较佳实施例中,基于深度学习网络构建判别模型,并将所述第一实时焊接三维模型图导入所述判别模型中进行判别,生成第一判别报告或第二判别报告,具体为:
基于深度学习网络构建判别模型,并将提前获取的焊接异常图像信息分为训练数据本与验证数据本;
启动预先制定好的模型训练程序,将所述训练数据本导入所述判别模型中进行训练,且当训练至模型数据平稳后,保存模型数据,并将验证数据本导入所述判别模型中进行验证,判断模型数据是否符合预设要求;若符合,则说明模型训练完成,停止模型训练程序;若不符合,则重新启动模型训练程序,直至模型数据符合预设要求;
将所述第一实时焊接三维模型图导入所述判别模型中,以将所述第一实时焊接三维模型图与所述提前获取的焊接异常图像信息进行比较,得到相似度;
若所述相似度大于预设相似度,则生成第一判别报告;若所述相似度不大于预设相似度,则生成第二判别报告。
优选的,本发明的一个较佳实施例中,根据所述第一实时焊接三维模型图与第二实时焊接三维模型图得到焊料扩充速率,具体为:
由所述加工工程图纸信息中获取所述第一实时焊接三维模型图与第二实时焊接三维模型图的焊接定位基准点;
构建虚拟空间坐标系,将所述第一实时焊接三维模型图与第二实时焊接三维模型图导入所述虚拟空间坐标系中,并使得所述第一实时焊接三维模型图与第二实时焊接三维模型图的焊接定位基准点在所述虚拟空间坐标系中相重合,得到整合后的焊接三维模型图;
由所述整合后的焊接三维模型图中剔除第一实时焊接三维模型图与第二实时焊接三维模型图重合的部分,并保留第一实时焊接三维模型图与第二实时焊接三维模型图不重合的部分,得到处理后的焊接三维模型图,计算所述处理后的焊接三维模型图的体积值,得到模型偏差值;
基于所述模型偏差值计算出焊料扩充速率。
优选的,本发明的一个较佳实施例中,基于所述焊料扩充速率生成停止焊接指令或焊接调控指令,具体为:
由所述加工工程图纸信息中获取待焊接NFC的非焊接区域位置,基于所述焊料扩充速率计算出焊料扩充至非焊接区域位置的时间值;
获取NFC焊接设备当前所焊接的子焊接区域,并获取NFC焊接设备焊接当前子焊接区域的剩余路径值,并获取NFC焊接设备的最大焊接速度值,基于所述剩余路径值与最大焊接速度值计算出NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值;
若所述NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值长于所述焊料扩充至非焊接区域位置的时间值,则生成停止焊接指令,并将所述停止焊接指令输出;
若所述NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值短于或等于所述焊料扩充至非焊接区域位置的时间值,则生成调控参数,基于所述调控参数生成焊接调控指令,并将所述焊接调控指令输出。
优选的,本发明的一个较佳实施例中,则生成调控参数,基于所述调控参数生成焊接调控指令,并将所述焊接调控指令输出,具体为:
获取NFC焊接设备焊接当前子焊接区域的剩余路径值以及获取焊料扩充至非焊接区域位置的时间值;
基于所述NFC焊接设备焊接当前子焊接区域的剩余路径值以及焊料扩充至非焊接区域位置的时间值计算出NFC焊接设备所需要的焊接速度值;
获取NFC焊接设备焊接的实时焊接速度值,计算所述NFC焊接设备焊接的实时焊接速度值与NFC焊接设备所需要的焊接速度值之间的差值,得到焊接速度调控差值;
基于所述焊接速度调控差值生成焊接调控指令,并将所述焊接调控指令输出,以基于所述焊接速度调控差值对NFC焊接设备焊接的实时焊接速度值进行调节。
本发明另一方面公开了一种基于机器视觉的NFC LAMI加工控制系统,所述控制系统包括储存器与处理器,所述储存器中储存基于机器视觉的NFC LAMI加工控制方法程序,所述基于机器视觉的NFC LAMI加工控制方法程序被所述处理器执行时,实现如下步骤:
获取待焊接NFC的加工工程图纸信息,基于所述待焊接NFC的加工工程图纸信息构建待焊接NFC的总焊接区域三维模型图,并基于所述待焊接NFC的总焊接区域三维模型图将待焊接NFC的焊接区域分割为若干个子焊接区域;
通过NFC焊接设备的摄像机构获取在对NFC焊接过程中的第一实时焊接图像,并对所述第一实时焊接图像进行预处理,得到预处理后的图像信息,基于所述预处理后的图像信息构建第一实时焊接三维模型图;
基于深度学习网络构建判别模型,并将所述第一实时焊接三维模型图导入所述判别模型中进行判别,生成第一判别报告或第二判别报告;
若生成的判别报告为第一判别报告,则在预设时间后再次获取第二实时焊接图像,基于所述第二实时焊接图像构建第二实时焊接三维模型图,并根据所述第一实时焊接三维模型图与第二实时焊接三维模型图得到焊料扩充速率,基于所述焊料扩充速率生成停止焊接指令或焊接调控指令;若生成的判别报告为第二判别报告,则生成继续焊接指令。
优选的,本发明的一个较佳实施例中,根据所述第一实时焊接三维模型图与第二实时焊接三维模型图得到焊料扩充速率,具体为:
由所述加工工程图纸信息中获取所述第一实时焊接三维模型图与第二实时焊接三维模型图的焊接定位基准点;
构建虚拟空间坐标系,将所述第一实时焊接三维模型图与第二实时焊接三维模型图导入所述虚拟空间坐标系中,并使得所述第一实时焊接三维模型图与第二实时焊接三维模型图的焊接定位基准点在所述虚拟空间坐标系中相重合,得到整合后的焊接三维模型图;
由所述整合后的焊接三维模型图中剔除第一实时焊接三维模型图与第二实时焊接三维模型图重合的部分,并保留第一实时焊接三维模型图与第二实时焊接三维模型图不重合的部分,得到处理后的焊接三维模型图,计算所述处理后的焊接三维模型图的体积值,得到模型偏差值;
基于所述模型偏差值计算出焊料扩充速率。
优选的,本发明的一个较佳实施例中,基于所述焊料扩充速率生成停止焊接指令或焊接调控指令,具体为:
由所述加工工程图纸信息中获取待焊接NFC的非焊接区域位置,基于所述焊料扩充速率计算出焊料扩充至非焊接区域位置的时间值;
获取NFC焊接设备当前所焊接的子焊接区域,并获取NFC焊接设备焊接当前子焊接区域的剩余路径值,并获取NFC焊接设备的最大焊接速度值,基于所述剩余路径值与最大焊接速度值计算出NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值;
若所述NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值长于所述焊料扩充至非焊接区域位置的时间值,则生成停止焊接指令,并将所述停止焊接指令输出;
若所述NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值短于或等于所述焊料扩充至非焊接区域位置的时间值,则生成调控参数,基于所述调控参数生成焊接调控指令,并将所述焊接调控指令输出。
优选的,本发明的一个较佳实施例中,则生成调控参数,基于所述调控参数生成焊接调控指令,并将所述焊接调控指令输出,具体为:
获取NFC焊接设备焊接当前子焊接区域的剩余路径值以及获取焊料扩充至非焊接区域位置的时间值;
基于所述NFC焊接设备焊接当前子焊接区域的剩余路径值以及焊料扩充至非焊接区域位置的时间值计算出NFC焊接设备所需要的焊接速度值;
获取NFC焊接设备焊接的实时焊接速度值,计算所述NFC焊接设备焊接的实时焊接速度值与NFC焊接设备所需要的焊接速度值之间的差值,得到焊接速度调控差值;
基于所述焊接速度调控差值生成焊接调控指令,并将所述焊接调控指令输出,以基于所述焊接速度调控差值对NFC焊接设备焊接的实时焊接速度值进行调节。
本发明解决了背景技术中存在的技术缺陷,本发明具备以下有益效果:当NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值短于或等于焊料扩充至非焊接区域位置的时间值时,通过调整焊接设备中焊接头的实时焊接速度,进而缩短对该子焊接区域的焊接时间,从而有效避免焊料扩充溢流至NFC的非焊接区域位置的情况,进而避免产生更多的焊接报废品,从而有效降低焊接报废率,实现了智能调控的功能。当NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值长于焊料扩充至非焊接区域位置的时间值时,控制系统生成停止焊接指令,使得停止对该NFC进行继续焊接,从而对NFC进行报废处理,从而避免出现对废品进行继续加工的情况,能够及时识别出废品并及时对其进行报废处理,能够有效降低加工成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他实施例的附图。
图1为一种基于机器视觉的NFC LAMI加工控制方法的第一方法流程图;
图2为一种基于机器视觉的NFC LAMI加工控制方法的第二方法流程图;
图3为一种基于机器视觉的NFC LAMI加工控制方法的第三方法流程图;
图4为一种基于机器视觉的NFC LAMI加工控制系统的系统框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
本发明公开了一种基于机器视觉的NFC LAMI加工控制方法,如图1所示,包括以下步骤:
S102:获取待焊接NFC的加工工程图纸信息,基于所述待焊接NFC的加工工程图纸信息构建待焊接NFC的总焊接区域三维模型图,并基于所述待焊接NFC的总焊接区域三维模型图将待焊接NFC的焊接区域分割为若干个子焊接区域;
S104:通过NFC焊接设备的摄像机构获取在对NFC焊接过程中的第一实时焊接图像,并对所述第一实时焊接图像进行预处理,得到预处理后的图像信息,基于所述预处理后的图像信息构建第一实时焊接三维模型图;
S106:基于深度学习网络构建判别模型,并将所述第一实时焊接三维模型图导入所述判别模型中进行判别,生成第一判别报告或第二判别报告;
S108:若生成的判别报告为第一判别报告,则在预设时间后再次获取第二实时焊接图像,基于所述第二实时焊接图像构建第二实时焊接三维模型图,并根据所述第一实时焊接三维模型图与第二实时焊接三维模型图得到焊料扩充速率,基于所述焊料扩充速率生成停止焊接指令或焊接调控指令;若生成的判别报告为第二判别报告,则生成继续焊接指令。
需要说明的是,所述加工工程图纸信息由设计人员设计绘制得到,所述加工工程图纸信息包括NFC的焊接区域尺寸信息、位置信息、焊接定位基准点的信息等、非焊接区域位置等。根据所述加工工程图纸信息再通过SolidWorks、UG、CAD等工业三维建模软件建立总焊接区域三维模型图。
需要说明的是,通过本方法当NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值短于或等于焊料扩充至非焊接区域位置的时间值时,通过调整焊接设备中焊接头的实时焊接速度,进而缩短对该子焊接区域的焊接时间,从而有效避免焊料扩充溢流至NFC的非焊接区域位置的情况,进而避免产生更多的焊接报废品,从而有效降低焊接报废率,实现了智能调控的功能。当NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值长于焊料扩充至非焊接区域位置的时间值时,控制系统生成停止焊接指令,使得停止对该NFC进行继续焊接,从而对NFC进行报废处理,从而避免出现对废品进行继续加工的情况,能够及时识别出废品并及时对其进行报废处理,能够有效降低加工成本。
优选的,本发明的一个较佳实施例中,对所述第一实时焊接图像进行预处理,得到预处理后的图像信息,基于所述预处理后的图像信息构建第一实时焊接三维模型图,如图2所示,具体为:
S202:将所述第一实时焊接图像分解为RGB三通道的灰色图像,将所述灰色图像中数值低于预设值的像素点数值重置为白色,将所述灰色图像中数值高于预设值的像素点数值重置为黑色,以得到二值化处理后的图像,并对所述二值化处理后的图像进行腐蚀和膨胀处理,得到预处理后的图像信息;
S204:选取所述预处理后的图像信息中的一灰度值为非0的像素点作为检索起点,并向该检索起点的任意一侧对所述预处理后的图像信息进行检索;
S206:若检索到某一像素点的灰度值大于0,则将该像素点对应的位置标记为特征匹配点,并记录该特征匹配点所对应的三维空间坐标值,并将该特征匹配点的灰度值重置为0;若检索到某一像素点的灰度值等于0,则向所述检索起点的另一侧继续检索;直至所述预处理后的图像信息中所有像素点的灰度值均为0;
S208:获取所有特征匹配点的三维空间坐标值,并基于所述所有特征匹配点的三维空间坐标值生成特征匹配点坐标系合集,基于所述特征匹配点坐标系合集构建第一实时焊接三维模型图。
需要说明的是,在对NFC进行焊接的过程中,通过焊接设备中的摄像机构(如工业摄像机等)获取NFC的第一实时焊接图像,然后通过灰度转化、背景模糊、杂点去除等手段对该图像进行降噪和细化,进而得到预处理后的图像信息;然后对该图像进行特征提取与抽稀分离,得到多个特征匹配点及其对应的坐标值,然后再根据这些坐标值通过工业三维建模软件对实时焊接状况进行三维化,进而得到第一实时焊接三维模型图。通过本方法能够快速的构建NFC在焊接过程中的虚拟焊况三维模型图,能够进一步提高系统的运算速度,以使得系统更快的针对不同焊况对焊接设备的焊接参数进行调控,避免引发更多的报废品。
另外需要注意的是,在S108步骤中的:在预设时间后再次获取第二实时焊接图像,基于所述第二实时焊接图像构建第二实时焊接三维模型图。其图像处理方法与建模方法与本S202至S208的方法步骤的过程相同,在此不对第二实时焊接图像的处理过程与第二实时焊接三维模型图建模过程多做赘述。
优选的,本发明的一个较佳实施例中,基于深度学习网络构建判别模型,并将所述第一实时焊接三维模型图导入所述判别模型中进行判别,生成第一判别报告或第二判别报告,具体为:
基于深度学习网络构建判别模型,并将提前获取的焊接异常图像信息分为训练数据本与验证数据本;
启动预先制定好的模型训练程序,将所述训练数据本导入所述判别模型中进行训练,且当训练至模型数据平稳后,保存模型数据,并将验证数据本导入所述判别模型中进行验证,判断模型数据是否符合预设要求;若符合,则说明模型训练完成,停止模型训练程序;若不符合,则重新启动模型训练程序,直至模型数据符合预设要求;
将所述第一实时焊接三维模型图导入所述判别模型中,以将所述第一实时焊接三维模型图与所述提前获取的焊接异常图像信息进行比较,得到相似度;
若所述相似度大于预设相似度,则生成第一判别报告;若所述相似度不大于预设相似度,则生成第二判别报告。
需要说明的是,所述焊接异常图像信息为焊料溢流至NFC芯片各预设边界的图像(如上边界、侧边界等)。在对NFC焊接的过程中,即使在焊接设备的焊接参数始终保持一致的前提下,受焊料粘度、湿度、均匀性、触变指数以及焊接温度等因素的影响,在焊接时焊料熔融后的流动性也各不相同,若在某次焊接的过程中,焊料的流动性过大,则在焊接的过程中熔融后的焊料有可能会扩充溢流至NFC芯片的重要工作区域上(如NFC芯片的上表面区域),从而导致NFC芯片短路,进而造成工件报废。而在熔融后的焊料扩充溢流至NFC芯片的重要工作区域前,焊料会首先流经NFC芯片的某一条或多条预设边界上,因此在焊接过程中,当有焊料出现在这些预设边界上时,说明此时焊料有可能会进一步溢流至NFC芯片的重要工作区域上,因此能够依此来做为焊接异常工况预警信息。具体而言,可以根据深度学习网络构建判别模型,并将提前获取的焊接异常图像信息分为训练数据本与验证数据本,其中焊接异常图像信息可以由大数据网络的共享数据库中获得;并将这些焊接异常图像信息导入判别模型中进行训练,当模型数据符合预设要求后,模型训练完成。然后再将所述第一实时焊接三维模型图导入所述判别模型中与所述提前获取的焊接异常图像信息进行比较,若存在相似度大于预设相似度的情况,则说明在该焊接时间点上存在焊接异常工况,说明在该时刻点上已经有焊料扩充溢流到了NFC的预警边界上(即预设边界),此时若依旧采用预设焊接参数对NFC芯片进行焊接的话,则大概率会产生焊接废品,此时生成第一判别报告,此时则需要对该焊接工况进行进一步分析,以做出相应调控措施。反之,若不存在相似度大于预设相似度的情况,此时说明在该时间点的焊接工况正常,此时生成第二判别报告,此时不做出任何调控措施,使得焊接设备按照预设参数运行即可。通过本方法能够快速对异常焊接工况进行识别,能够有效提高系统运算速度,并且能够对异常焊接工况进行预警,以进一步制得相应的调控措施,进而降低报废率。
优选的,本发明的一个较佳实施例中,根据所述第一实时焊接三维模型图与第二实时焊接三维模型图得到焊料扩充速率,具体为:
由所述加工工程图纸信息中获取所述第一实时焊接三维模型图与第二实时焊接三维模型图的焊接定位基准点;
构建虚拟空间坐标系,将所述第一实时焊接三维模型图与第二实时焊接三维模型图导入所述虚拟空间坐标系中,并使得所述第一实时焊接三维模型图与第二实时焊接三维模型图的焊接定位基准点在所述虚拟空间坐标系中相重合,得到整合后的焊接三维模型图;
由所述整合后的焊接三维模型图中剔除第一实时焊接三维模型图与第二实时焊接三维模型图重合的部分,并保留第一实时焊接三维模型图与第二实时焊接三维模型图不重合的部分,得到处理后的焊接三维模型图,计算所述处理后的焊接三维模型图的体积值,得到模型偏差值;
基于所述模型偏差值计算出焊料扩充速率。
需要说明的是,所述焊接定位基准点由设计人员在加工工程图纸信息中提前标定,通过焊接定位基准点能够对焊接头的焊接起点、焊接路径、焊接终点等进行定位,并且加工工程图纸信息中的焊接区域的尺寸信息是以焊接定位基准点为尺寸基准进行标点,焊接定位基准点为多个,优选为三个。通过工业三维建模软件构建虚拟空间坐标系,并且以焊接定位基准点为整合基准点将所述第一实时焊接三维模型图与第二实时焊接三维模型图导入所述虚拟空间坐标系中进行整合,从而得到整合后的焊接三维模型图;然后在工业三维建模软件中剔除第一实时焊接三维模型图与第二实时焊接三维模型图重合的部分,并保留第一实时焊接三维模型图与第二实时焊接三维模型图不重合的部分,得到处理后的焊接三维模型图;然后根据虚拟空间坐标系中相应的坐标值便能够计算出所述处理后的焊接三维模型图的体积值,从得到第一实时焊接三维模型图与第二实时焊接三维模型图的模型偏差值,根据该模型差值便能够仿真计算出焊料扩充速率。并且整个计算方法简便,得到的数据的可靠性高,不需要进行复杂算法运算,能进一步提高系统运算效率。
优选的,本发明的一个较佳实施例中,基于所述焊料扩充速率生成停止焊接指令或焊接调控指令,如图3所示,具体为:
S302:由所述加工工程图纸信息中获取待焊接NFC的非焊接区域位置,基于所述焊料扩充速率计算出焊料扩充至非焊接区域位置的时间值;
S304:获取NFC焊接设备当前所焊接的子焊接区域,并获取NFC焊接设备焊接当前子焊接区域的剩余路径值,并获取NFC焊接设备的最大焊接速度值,基于所述剩余路径值与最大焊接速度值计算出NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值;
S306:若所述NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值长于所述焊料扩充至非焊接区域位置的时间值,则生成停止焊接指令,并将所述停止焊接指令输出;
S308:若所述NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值短于或等于所述焊料扩充至非焊接区域位置的时间值,则生成调控参数,基于所述调控参数生成焊接调控指令,并将所述焊接调控指令输出。
需要说明的是,所述非焊接区域位置即是NEC芯片的重要工作区域,如NFC芯片中的NFC天线安装区域、磁性薄膜区域、LC滤波器用电感器安装区域等。由于NFC芯片中的这些非焊接区域位置是固定且已知的,当得到焊料扩充速率后便能够计算出焊料扩充溢流至非焊接区域位置的时间值;接着再获取NFC焊接设备当前所焊接的子焊接区域信息,并且计算出NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值。若所述NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值长于所述焊料扩充至非焊接区域位置的时间值,此时说明即使提高焊接设备中焊接头的焊接速度,并且使得焊接头以所规定的最大焊接速度对该子区域进行焊接,焊料始终能够扩充溢流至非焊接区域位置上,此时即使继续焊接出来的NFC芯片依旧是废品,这是由于若在焊料扩充至非焊接区域位置的时间点上依旧通过焊接头对该子焊接区域进行焊接,此时焊接头会不断产生焊接热量,此时焊料并不能够有效凝固,因此在对该子焊接区域进行焊接时,焊料始终保持在流动的状态,从而溢流至NFC芯片的非焊接区域位置上,此时控制系统生成停止焊接指令,使得停止对该NFC芯片进行继续焊接,从而对该NFC芯片进行报废处理,从而避免出现对废品进行继续加工的情况,能够及时识别出废品并及时对其进行报废处理,能够有效降低加工成本。
若所述NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值短于或等于所述焊料扩充至非焊接区域位置的时间值,此时说明在能够保证焊接头以不大于所规定的最大焊接速度对该子区域进行焊接的前提下,能够通过调节焊接设备中焊接头的实时焊接速度方式来避免出现焊料扩充溢流至NFC芯片的非焊接区域位置的情况,进而避免产生焊接报废品,这是由于若能够通过提高焊接速度的方式来缩短对该子焊接区域的焊接时间,此时在焊料扩充至非焊接区域位置的时间点前便能够完成对该子焊接区域的焊接工作,此时该子焊接区域中便不再产生额外的焊接热量,此时该子焊接区域中的焊料便能够快速凝固,此时该子焊接区域的焊料便不具备流动性,此时焊料便不会继续扩充溢流,从而能够避免焊料扩充溢流至NFC芯片的非焊接区域位置的情况,便不会造成焊接废品的情况,从而有效降低焊接报废率,提高生产效益。
优选的,本发明的一个较佳实施例中,则生成调控参数,基于所述调控参数生成焊接调控指令,并将所述焊接调控指令输出,具体为:
获取NFC焊接设备焊接当前子焊接区域的剩余路径值以及获取焊料扩充至非焊接区域位置的时间值;
基于所述NFC焊接设备焊接当前子焊接区域的剩余路径值以及焊料扩充至非焊接区域位置的时间值计算出NFC焊接设备所需要的焊接速度值;
获取NFC焊接设备焊接的实时焊接速度值,计算所述NFC焊接设备焊接的实时焊接速度值与NFC焊接设备所需要的焊接速度值之间的差值,得到焊接速度调控差值;
基于所述焊接速度调控差值生成焊接调控指令,并将所述焊接调控指令输出,以基于所述焊接速度调控差值对NFC焊接设备焊接的实时焊接速度值进行调节。
需要说明的是,当出现焊接异常工况预警信号后,通过调整焊接设备中焊接头的实时焊接速度,进而缩短对该子焊接区域的焊接时间,从而有效避免焊料扩充溢流至NFC芯片的非焊接区域位置的情况,进而避免产生更多的焊接报废品,从而有效降低焊接报废率,实现了智能调控的功能。
此外,所述一种基于机器视觉的NFC LAMI加工控制方法,还包括以下步骤:
在预设时间内获取焊接报废品信息,并获取造成焊接报废品报废所属的子焊接区域信息;
基于所述造成焊接报废品报废所属的子焊接区域信息对焊接报废品进行统计分类,得到各个焊接子区域的报废占比度;
若所述报废占比度大于预设占比度,获取报废占比度大于预设占比度所对应的子焊接区域位置信息,并获取焊接设备在焊接该子焊接区域时的实际焊接参数信息;
构建知识图谱,并将所述报废占比度大于预设占比度所对应的子焊接区域位置信息导入所述知识图谱中,并通过灰色关联分析法对报废占比度大于预设占比度所对应的子焊接区域位置信息与子焊接设备进行关联,生成关联信息;
根据所述焊接设备在焊接该子焊接区域时的实际焊接参数信息与关联信息对各个子焊接设备故障进行故障评估,得到各个子焊接设备的故障权重值;
获取故障权重值大于预设权重值所对应的子焊接设备,并将该子焊接设备标记故障子焊接设备,生成故障信息,并将所述故障信息输出。
需要说明的是,通过对同一批加工生产的NFC芯片进行监测,并对引起NFC芯片报废的子焊接区域进行统计分类,从而根据引起NFC芯片报废的子焊接区域进行关联评估,从而关联分析得到造成该子焊接区域报废率过多所对应的子焊接设备,从而快速的分析出设备故障原因,以知会检修人员快速检测,不需要检修人员人工排查故障,实现了智能监测。举例来说,若在对NFC芯片进行焊接时,NFC芯片的拐角焊接区域频繁发生故障,此时说明有可能是焊接设备中X、Y轴控制电机出现了累计偏差,此时需要对X、Y轴控制电机进行纠偏。
此外,所述一种基于机器视觉的NFC LAMI加工控制方法,还包括以下步骤:
获取故障子焊接设备信息,并通过大数据网络获取检修该故障子焊接设备所需的检修时间,基于所述检修时间确定出对该故障子焊接设备检修完毕后的日期;
获取单台焊接设备的日产能信息,基于所述日产能信息与对该故障子焊接设备检修完毕后的日期计算出维修该故障子焊接设备时的产能减少量;
获取NFC的出货订单信息,并根据所述出货订单信息计算出对该故障子焊接设备检修完毕后的日期时所需的NFC出货量;
获取剩余正常工作的焊接设备信息,基于所述剩余正常工作的焊接设备信息、日产能信息以及对该故障子焊接设备检修完毕后的日期计算出NCF实际产能量;
获取NFC的库存量信息,基于所述NFC的库存量信息与NCF实际产能量计算出NFC的总储存量信息;
判断所述对该故障子焊接设备检修完毕后的日期时所需的NFC出货量是否大于NFC的总储存量信息;若大于,则生成补产计划,并将所述补产计划输出。
需要说明的是,当某一台或多台的焊接设备出现故障后,需要一定的时间对其进行维修,在此时间段中,NFC芯片的产能会减少。通过本方法能够有效计算出在对这些故障设备进行维修时,是否会对后续的订单出货造成影响,若是,则系统会生成补产计划,从而知会管理人员进行加班补产或安排更多的正常设备进行生产,以确保有足量的产品能够在正常时间出货,能够避免出现合同违约现象。
此外,所述一种基于机器视觉的NFC LAMI加工控制方法,还包括以下步骤:
获取各个子焊接区域焊接完毕后的图像信息,构建焊接评价指标体系,并根据所述焊接评价指标体系提取焊接评价指标;
根据层次分析法对所述子焊接区域焊接完毕后的图像信息进行评估,得到评估分数,并根据所述评估分数与焊接评价指标得到焊接质量权重值;
判断所述焊接质量权重值是否位于预设范围内,若不位,则对下一焊接子区域的焊接参数进行调节。
需要说明的是,通过该方式能够利用层次分析法对焊接完毕后的子焊接区域进行评估,若评估得到的结果为该子焊接区域的焊接质量较低(但质量处于合格的范围),此时在对焊接设备焊接下一个子焊接区域时的焊接区域进行调整,以提高整体焊接质量。
如图4所示,本发明另一方面公开了一种基于机器视觉的NFC LAMI加工控制系统,所述控制系统包括储存器41与处理器62,所述储存器41中储存基于机器视觉的NFC LAMI加工控制方法程序,所述基于机器视觉的NFC LAMI加工控制方法程序被所述处理器62执行时,实现如下步骤:
获取待焊接NFC的加工工程图纸信息,基于所述待焊接NFC的加工工程图纸信息构建待焊接NFC的总焊接区域三维模型图,并基于所述待焊接NFC的总焊接区域三维模型图将待焊接NFC的焊接区域分割为若干个子焊接区域;
通过NFC焊接设备的摄像机构获取在对NFC焊接过程中的第一实时焊接图像,并对所述第一实时焊接图像进行预处理,得到预处理后的图像信息,基于所述预处理后的图像信息构建第一实时焊接三维模型图;
基于深度学习网络构建判别模型,并将所述第一实时焊接三维模型图导入所述判别模型中进行判别,生成第一判别报告或第二判别报告;
若生成的判别报告为第一判别报告,则在预设时间后再次获取第二实时焊接图像,基于所述第二实时焊接图像构建第二实时焊接三维模型图,并根据所述第一实时焊接三维模型图与第二实时焊接三维模型图得到焊料扩充速率,基于所述焊料扩充速率生成停止焊接指令或焊接调控指令;若生成的判别报告为第二判别报告,则生成继续焊接指令。
优选的,本发明的一个较佳实施例中,根据所述第一实时焊接三维模型图与第二实时焊接三维模型图得到焊料扩充速率,具体为:
由所述加工工程图纸信息中获取所述第一实时焊接三维模型图与第二实时焊接三维模型图的焊接定位基准点;
构建虚拟空间坐标系,将所述第一实时焊接三维模型图与第二实时焊接三维模型图导入所述虚拟空间坐标系中,并使得所述第一实时焊接三维模型图与第二实时焊接三维模型图的焊接定位基准点在所述虚拟空间坐标系中相重合,得到整合后的焊接三维模型图;
由所述整合后的焊接三维模型图中剔除第一实时焊接三维模型图与第二实时焊接三维模型图重合的部分,并保留第一实时焊接三维模型图与第二实时焊接三维模型图不重合的部分,得到处理后的焊接三维模型图,计算所述处理后的焊接三维模型图的体积值,得到模型偏差值;
基于所述模型偏差值计算出焊料扩充速率。
优选的,本发明的一个较佳实施例中,基于所述焊料扩充速率生成停止焊接指令或焊接调控指令,具体为:
由所述加工工程图纸信息中获取待焊接NFC的非焊接区域位置,基于所述焊料扩充速率计算出焊料扩充至非焊接区域位置的时间值;
获取NFC焊接设备当前所焊接的子焊接区域,并获取NFC焊接设备焊接当前子焊接区域的剩余路径值,并获取NFC焊接设备的最大焊接速度值,基于所述剩余路径值与最大焊接速度值计算出NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值;
若所述NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值长于所述焊料扩充至非焊接区域位置的时间值,则生成停止焊接指令,并将所述停止焊接指令输出;
若所述NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值短于或等于所述焊料扩充至非焊接区域位置的时间值,则生成调控参数,基于所述调控参数生成焊接调控指令,并将所述焊接调控指令输出。
优选的,本发明的一个较佳实施例中,则生成调控参数,基于所述调控参数生成焊接调控指令,并将所述焊接调控指令输出,具体为:
获取NFC焊接设备焊接当前子焊接区域的剩余路径值以及获取焊料扩充至非焊接区域位置的时间值;
基于所述NFC焊接设备焊接当前子焊接区域的剩余路径值以及焊料扩充至非焊接区域位置的时间值计算出NFC焊接设备所需要的焊接速度值;
获取NFC焊接设备焊接的实时焊接速度值,计算所述NFC焊接设备焊接的实时焊接速度值与NFC焊接设备所需要的焊接速度值之间的差值,得到焊接速度调控差值;
基于所述焊接速度调控差值生成焊接调控指令,并将所述焊接调控指令输出,以基于所述焊接速度调控差值对NFC焊接设备焊接的实时焊接速度值进行调节。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于机器视觉的NFC LAMI加工控制方法,其特征在于,包括以下步骤:
获取待焊接NFC的加工工程图纸信息,基于所述待焊接NFC的加工工程图纸信息构建待焊接NFC的总焊接区域三维模型图,并基于所述待焊接NFC的总焊接区域三维模型图将待焊接NFC的焊接区域分割为若干个子焊接区域;
通过NFC焊接设备的摄像机构获取在对NFC焊接过程中的第一实时焊接图像,并对所述第一实时焊接图像进行预处理,得到预处理后的图像信息,基于所述预处理后的图像信息构建第一实时焊接三维模型图;
基于深度学习网络构建判别模型,并将所述第一实时焊接三维模型图导入所述判别模型中进行判别,生成第一判别报告或第二判别报告;
若生成的判别报告为第一判别报告,则在预设时间后再次获取第二实时焊接图像,基于所述第二实时焊接图像构建第二实时焊接三维模型图,并根据所述第一实时焊接三维模型图与第二实时焊接三维模型图得到焊料扩充速率,基于所述焊料扩充速率生成停止焊接指令或焊接调控指令;若生成的判别报告为第二判别报告,则生成继续焊接指令。
2.根据权利要求1所述的一种基于机器视觉的NFC LAMI加工控制方法,其特征在于,对所述第一实时焊接图像进行预处理,得到预处理后的图像信息,基于所述预处理后的图像信息构建第一实时焊接三维模型图,具体为:
将所述第一实时焊接图像分解为RGB三通道的灰色图像,将所述灰色图像中数值低于预设值的像素点数值重置为白色,将所述灰色图像中数值高于预设值的像素点数值重置为黑色,以得到二值化处理后的图像,并对所述二值化处理后的图像进行腐蚀和膨胀处理,得到预处理后的图像信息;
选取所述预处理后的图像信息中的一灰度值为非0的像素点作为检索起点,并向该检索起点的任意一侧对所述预处理后的图像信息进行检索;
若检索到某一像素点的灰度值大于0,则将该像素点对应的位置标记为特征匹配点,并记录该特征匹配点所对应的三维空间坐标值,并将该特征匹配点的灰度值重置为0;若检索到某一像素点的灰度值等于0,则向所述检索起点的另一侧继续检索;直至所述预处理后的图像信息中所有像素点的灰度值均为0;
获取所有特征匹配点的三维空间坐标值,并基于所述所有特征匹配点的三维空间坐标值生成特征匹配点坐标系合集,基于所述特征匹配点坐标系合集构建第一实时焊接三维模型图。
3.根据权利要求1所述的一种基于机器视觉的NFC LAMI加工控制方法,其特征在于,基于深度学习网络构建判别模型,并将所述第一实时焊接三维模型图导入所述判别模型中进行判别,生成第一判别报告或第二判别报告,具体为:
基于深度学习网络构建判别模型,并将提前获取的焊接异常图像信息分为训练数据本与验证数据本;
启动预先制定好的模型训练程序,将所述训练数据本导入所述判别模型中进行训练,且当训练至模型数据平稳后,保存模型数据,并将验证数据本导入所述判别模型中进行验证,判断模型数据是否符合预设要求;若符合,则说明模型训练完成,停止模型训练程序;若不符合,则重新启动模型训练程序,直至模型数据符合预设要求;
将所述第一实时焊接三维模型图导入所述判别模型中,以将所述第一实时焊接三维模型图与所述提前获取的焊接异常图像信息进行比较,得到相似度;
若所述相似度大于预设相似度,则生成第一判别报告;若所述相似度不大于预设相似度,则生成第二判别报告。
4.根据权利要求1所述的一种基于机器视觉的NFC LAMI加工控制方法,其特征在于,根据所述第一实时焊接三维模型图与第二实时焊接三维模型图得到焊料扩充速率,具体为:
由所述加工工程图纸信息中获取所述第一实时焊接三维模型图与第二实时焊接三维模型图的焊接定位基准点;
构建虚拟空间坐标系,将所述第一实时焊接三维模型图与第二实时焊接三维模型图导入所述虚拟空间坐标系中,并使得所述第一实时焊接三维模型图与第二实时焊接三维模型图的焊接定位基准点在所述虚拟空间坐标系中相重合,得到整合后的焊接三维模型图;
由所述整合后的焊接三维模型图中剔除第一实时焊接三维模型图与第二实时焊接三维模型图重合的部分,并保留第一实时焊接三维模型图与第二实时焊接三维模型图不重合的部分,得到处理后的焊接三维模型图,计算所述处理后的焊接三维模型图的体积值,得到模型偏差值;
基于所述模型偏差值计算出焊料扩充速率。
5.根据权利要求1所述的一种基于机器视觉的NFC LAMI加工控制方法,其特征在于,基于所述焊料扩充速率生成停止焊接指令或焊接调控指令,具体为:
由所述加工工程图纸信息中获取待焊接NFC的非焊接区域位置,基于所述焊料扩充速率计算出焊料扩充至非焊接区域位置的时间值;
获取NFC焊接设备当前所焊接的子焊接区域,并获取NFC焊接设备焊接当前子焊接区域的剩余路径值,并获取NFC焊接设备的最大焊接速度值,基于所述剩余路径值与最大焊接速度值计算出NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值;
若所述NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值长于所述焊料扩充至非焊接区域位置的时间值,则生成停止焊接指令,并将所述停止焊接指令输出;
若所述NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值短于或等于所述焊料扩充至非焊接区域位置的时间值,则生成调控参数,基于所述调控参数生成焊接调控指令,并将所述焊接调控指令输出。
6.根据权利要求5所述的一种基于机器视觉的NFC LAMI加工控制方法,其特征在于,则生成调控参数,基于所述调控参数生成焊接调控指令,并将所述焊接调控指令输出,具体为:
获取NFC焊接设备焊接当前子焊接区域的剩余路径值以及获取焊料扩充至非焊接区域位置的时间值;
基于所述NFC焊接设备焊接当前子焊接区域的剩余路径值以及焊料扩充至非焊接区域位置的时间值计算出NFC焊接设备所需要的焊接速度值;
获取NFC焊接设备焊接的实时焊接速度值,计算所述NFC焊接设备焊接的实时焊接速度值与NFC焊接设备所需要的焊接速度值之间的差值,得到焊接速度调控差值;
基于所述焊接速度调控差值生成焊接调控指令,并将所述焊接调控指令输出,以基于所述焊接速度调控差值对NFC焊接设备焊接的实时焊接速度值进行调节。
7.一种基于机器视觉的NFC LAMI加工控制系统,其特征在于,所述控制系统包括储存器与处理器,所述储存器中储存基于机器视觉的NFC LAMI加工控制方法程序,所述基于机器视觉的NFC LAMI加工控制方法程序被所述处理器执行时,实现如下步骤:
获取待焊接NFC的加工工程图纸信息,基于所述待焊接NFC的加工工程图纸信息构建待焊接NFC的总焊接区域三维模型图,并基于所述待焊接NFC的总焊接区域三维模型图将待焊接NFC的焊接区域分割为若干个子焊接区域;
通过NFC焊接设备的摄像机构获取在对NFC焊接过程中的第一实时焊接图像,并对所述第一实时焊接图像进行预处理,得到预处理后的图像信息,基于所述预处理后的图像信息构建第一实时焊接三维模型图;
基于深度学习网络构建判别模型,并将所述第一实时焊接三维模型图导入所述判别模型中进行判别,生成第一判别报告或第二判别报告;
若生成的判别报告为第一判别报告,则在预设时间后再次获取第二实时焊接图像,基于所述第二实时焊接图像构建第二实时焊接三维模型图,并根据所述第一实时焊接三维模型图与第二实时焊接三维模型图得到焊料扩充速率,基于所述焊料扩充速率生成停止焊接指令或焊接调控指令;若生成的判别报告为第二判别报告,则生成继续焊接指令。
8.根据权利要求7所述的一种基于机器视觉的NFC LAMI加工控制系统,其特征在于,根据所述第一实时焊接三维模型图与第二实时焊接三维模型图得到焊料扩充速率,具体为:
由所述加工工程图纸信息中获取所述第一实时焊接三维模型图与第二实时焊接三维模型图的焊接定位基准点;
构建虚拟空间坐标系,将所述第一实时焊接三维模型图与第二实时焊接三维模型图导入所述虚拟空间坐标系中,并使得所述第一实时焊接三维模型图与第二实时焊接三维模型图的焊接定位基准点在所述虚拟空间坐标系中相重合,得到整合后的焊接三维模型图;
由所述整合后的焊接三维模型图中剔除第一实时焊接三维模型图与第二实时焊接三维模型图重合的部分,并保留第一实时焊接三维模型图与第二实时焊接三维模型图不重合的部分,得到处理后的焊接三维模型图,计算所述处理后的焊接三维模型图的体积值,得到模型偏差值;
基于所述模型偏差值计算出焊料扩充速率。
9.根据权利要求7所述的一种基于机器视觉的NFC LAMI加工控制系统,其特征在于,基于所述焊料扩充速率生成停止焊接指令或焊接调控指令,具体为:
由所述加工工程图纸信息中获取待焊接NFC的非焊接区域位置,基于所述焊料扩充速率计算出焊料扩充至非焊接区域位置的时间值;
获取NFC焊接设备当前所焊接的子焊接区域,并获取NFC焊接设备焊接当前子焊接区域的剩余路径值,并获取NFC焊接设备的最大焊接速度值,基于所述剩余路径值与最大焊接速度值计算出NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值;
若所述NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值长于所述焊料扩充至非焊接区域位置的时间值,则生成停止焊接指令,并将所述停止焊接指令输出;
若所述NFC焊接设备焊接该子焊接区域所需要的最短焊接时间值短于或等于所述焊料扩充至非焊接区域位置的时间值,则生成调控参数,基于所述调控参数生成焊接调控指令,并将所述焊接调控指令输出。
10.根据权利要求9所述的一种基于机器视觉的NFC LAMI加工控制系统,其特征在于,则生成调控参数,基于所述调控参数生成焊接调控指令,并将所述焊接调控指令输出,具体为:
获取NFC焊接设备焊接当前子焊接区域的剩余路径值以及获取焊料扩充至非焊接区域位置的时间值;
基于所述NFC焊接设备焊接当前子焊接区域的剩余路径值以及焊料扩充至非焊接区域位置的时间值计算出NFC焊接设备所需要的焊接速度值;
获取NFC焊接设备焊接的实时焊接速度值,计算所述NFC焊接设备焊接的实时焊接速度值与NFC焊接设备所需要的焊接速度值之间的差值,得到焊接速度调控差值;
基于所述焊接速度调控差值生成焊接调控指令,并将所述焊接调控指令输出,以基于所述焊接速度调控差值对NFC焊接设备焊接的实时焊接速度值进行调节。
CN202310274309.9A 2023-03-21 2023-03-21 一种基于机器视觉的nfc lami加工控制方法及系统 Active CN115988866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310274309.9A CN115988866B (zh) 2023-03-21 2023-03-21 一种基于机器视觉的nfc lami加工控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310274309.9A CN115988866B (zh) 2023-03-21 2023-03-21 一种基于机器视觉的nfc lami加工控制方法及系统

Publications (2)

Publication Number Publication Date
CN115988866A true CN115988866A (zh) 2023-04-18
CN115988866B CN115988866B (zh) 2023-06-20

Family

ID=85965233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310274309.9A Active CN115988866B (zh) 2023-03-21 2023-03-21 一种基于机器视觉的nfc lami加工控制方法及系统

Country Status (1)

Country Link
CN (1) CN115988866B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116213932A (zh) * 2023-05-09 2023-06-06 深圳市赛锐琪科技有限公司 一种机顶盒自动化生产装置及其控制方法
CN116560327A (zh) * 2023-07-07 2023-08-08 深圳市百思泰科技有限公司 一种基于物联网的电动工具生产控制方法及系统
CN116967649A (zh) * 2023-09-24 2023-10-31 新研氢能源科技有限公司 一种用于金属双极板的智能焊接方法及系统
CN117974719A (zh) * 2024-03-28 2024-05-03 深圳新联胜光电科技有限公司 一种光学透镜的加工跟踪与检测方法、系统及介质
CN118081163A (zh) * 2024-04-24 2024-05-28 陕西能源电力运营有限公司 基于图像识别的集箱精确焊接控制方法及系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001260316A (ja) * 2001-02-20 2001-09-25 Matsushita Electric Ind Co Ltd クリーム半田のスクリーン印刷方法
EP1366847A1 (en) * 2001-02-14 2003-12-03 Honda Giken Kogyo Kabushiki Kaisha Welding state monitoring device
JP2010029888A (ja) * 2008-07-25 2010-02-12 Okayama Univ 半田付け検査方法及び半田付け装置
CN107662070A (zh) * 2017-11-09 2018-02-06 四川工程职业技术学院 一种水轮机转轮自动焊接修复系统
US20180200819A1 (en) * 2017-01-17 2018-07-19 Hakko Corporation Soldering apparatus and method
CN207656171U (zh) * 2017-12-27 2018-07-27 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) 一种环形激光器稳频部件的焊接装置
CN109719368A (zh) * 2019-01-17 2019-05-07 上海交通大学 一种机器人焊接过程多信息采集监控系统及方法
CN109822216A (zh) * 2019-01-15 2019-05-31 清华大学 焊道轨迹及姿态实时跟踪检测方法、电子设备及介质
CN110434516A (zh) * 2019-08-28 2019-11-12 浙江大学城市学院 一种智能焊接机器人系统及焊接方法
CN110434512A (zh) * 2019-07-25 2019-11-12 西北工业大学 一种基于龙门和机器人的船体长焊缝实时跟踪焊接系统
CN112453751A (zh) * 2020-11-27 2021-03-09 上海交通大学 一种基于视觉传感的管道全位置焊背面在线监测方法
CN112917058A (zh) * 2021-02-19 2021-06-08 恒大新能源汽车投资控股集团有限公司 一种焊装总拼工位的监测辅助方法、装置及电子设备
CN113732557A (zh) * 2021-07-30 2021-12-03 武汉理工大学 一种基于数字孪生的焊接监控方法
CN114453709A (zh) * 2022-02-22 2022-05-10 中国计量大学 一种基于边缘计算的机器人焊接现场智能监控系统
CN115439429A (zh) * 2022-08-26 2022-12-06 武汉铁路职业技术学院 一种焊缝质量实时在线评估方法、装置、存储介质和终端
CN115713476A (zh) * 2021-08-17 2023-02-24 深圳市大族数控科技股份有限公司 基于激光焊接的视觉检测方法、装置及可读存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1366847A1 (en) * 2001-02-14 2003-12-03 Honda Giken Kogyo Kabushiki Kaisha Welding state monitoring device
JP2001260316A (ja) * 2001-02-20 2001-09-25 Matsushita Electric Ind Co Ltd クリーム半田のスクリーン印刷方法
JP2010029888A (ja) * 2008-07-25 2010-02-12 Okayama Univ 半田付け検査方法及び半田付け装置
US20180200819A1 (en) * 2017-01-17 2018-07-19 Hakko Corporation Soldering apparatus and method
CN107662070A (zh) * 2017-11-09 2018-02-06 四川工程职业技术学院 一种水轮机转轮自动焊接修复系统
CN207656171U (zh) * 2017-12-27 2018-07-27 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) 一种环形激光器稳频部件的焊接装置
CN109822216A (zh) * 2019-01-15 2019-05-31 清华大学 焊道轨迹及姿态实时跟踪检测方法、电子设备及介质
CN109719368A (zh) * 2019-01-17 2019-05-07 上海交通大学 一种机器人焊接过程多信息采集监控系统及方法
CN110434512A (zh) * 2019-07-25 2019-11-12 西北工业大学 一种基于龙门和机器人的船体长焊缝实时跟踪焊接系统
CN110434516A (zh) * 2019-08-28 2019-11-12 浙江大学城市学院 一种智能焊接机器人系统及焊接方法
CN112453751A (zh) * 2020-11-27 2021-03-09 上海交通大学 一种基于视觉传感的管道全位置焊背面在线监测方法
CN112917058A (zh) * 2021-02-19 2021-06-08 恒大新能源汽车投资控股集团有限公司 一种焊装总拼工位的监测辅助方法、装置及电子设备
CN113732557A (zh) * 2021-07-30 2021-12-03 武汉理工大学 一种基于数字孪生的焊接监控方法
CN115713476A (zh) * 2021-08-17 2023-02-24 深圳市大族数控科技股份有限公司 基于激光焊接的视觉检测方法、装置及可读存储介质
CN114453709A (zh) * 2022-02-22 2022-05-10 中国计量大学 一种基于边缘计算的机器人焊接现场智能监控系统
CN115439429A (zh) * 2022-08-26 2022-12-06 武汉铁路职业技术学院 一种焊缝质量实时在线评估方法、装置、存储介质和终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘凌云;: "激光视觉焊接熔池实时动态控制的应用研究", 湖南科技学院学报, no. 12 *
陈定华,吴林,徐庆鸿,李严: "微计算机图象法测示和控制焊接过程的探索", 焊接学报, no. 01 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116213932A (zh) * 2023-05-09 2023-06-06 深圳市赛锐琪科技有限公司 一种机顶盒自动化生产装置及其控制方法
CN116560327A (zh) * 2023-07-07 2023-08-08 深圳市百思泰科技有限公司 一种基于物联网的电动工具生产控制方法及系统
CN116560327B (zh) * 2023-07-07 2023-09-19 深圳市百思泰科技有限公司 一种基于物联网的电动工具生产控制方法及系统
CN116967649A (zh) * 2023-09-24 2023-10-31 新研氢能源科技有限公司 一种用于金属双极板的智能焊接方法及系统
CN116967649B (zh) * 2023-09-24 2023-12-26 新研氢能源科技有限公司 一种用于金属双极板的智能焊接方法及系统
CN117974719A (zh) * 2024-03-28 2024-05-03 深圳新联胜光电科技有限公司 一种光学透镜的加工跟踪与检测方法、系统及介质
CN118081163A (zh) * 2024-04-24 2024-05-28 陕西能源电力运营有限公司 基于图像识别的集箱精确焊接控制方法及系统

Also Published As

Publication number Publication date
CN115988866B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN115988866B (zh) 一种基于机器视觉的nfc lami加工控制方法及系统
CN105372581B (zh) 挠性电路板制造过程自动监测和智能分析系统及方法
US11243527B2 (en) Production process control method and production process control device
CN104655641A (zh) 一种高精密全自动fpc缺陷检测装置及检测工艺
CN117440308B (zh) 一种麦克风话筒生产产线智能控制方法及系统
CN108921840A (zh) 显示屏外围电路检测方法、装置、电子设备及存储介质
CN114613705B (zh) 一种半导体元器件加工的控制方法、系统及介质
CN116050678A (zh) 一种基于云计算的压铸产品加工测试系统及方法
CN117608259B (zh) 一种储存芯片生产设备的控制方法及系统
CN108228785A (zh) 设备参数的核查方法和核查装置
CN116985525B (zh) 一种全自动视觉印刷机的智能管理方法及系统
CN116976865B (zh) 基于大数据分析的船舶维修器件调配管理系统
CN114706338B (zh) 一种基于数字孪生模型的交互控制方法及系统
CN116106331B (zh) 一种汽车电池外壳在线检测装置及其检测方法
CN115797326A (zh) 一种基于改进yolox-s算法的金属铸件表面缺陷检测方法
CN204439569U (zh) 一种高精密全自动fpc缺陷检测装置
Chen et al. The core industry manufacturing process of electronics assembly based on smart manufacturing
CN116363045A (zh) 一种增减材复合制造过程缺陷智能感知与回溯修复系统及其控制方法
CN117734332B (zh) 一种模内标签加工设备智能控制方法及系统
CN105447575A (zh) 不良产品返修追踪控制方法
CN116165966B (zh) 一种数控机床信息化自适应物料调控方法及系统
CN113658027B (zh) 一种智慧城市便民服务平台
CN117575986B (zh) 一种车辆压铸配件成品监测方法、装置、设备及介质
CN118150593A (zh) 一种极片毛刺在线检测系统、检测方法及检测装置
CN115382892B (zh) 实现电极回收利用的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant