CN115375961A - 一种产品配件识别和重量评估方法、装置及相关设备 - Google Patents

一种产品配件识别和重量评估方法、装置及相关设备 Download PDF

Info

Publication number
CN115375961A
CN115375961A CN202210809345.6A CN202210809345A CN115375961A CN 115375961 A CN115375961 A CN 115375961A CN 202210809345 A CN202210809345 A CN 202210809345A CN 115375961 A CN115375961 A CN 115375961A
Authority
CN
China
Prior art keywords
product
image
identification
model
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210809345.6A
Other languages
English (en)
Inventor
魏登明
杨海东
杨标
李泽辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute
Original Assignee
Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute filed Critical Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute
Priority to CN202210809345.6A priority Critical patent/CN115375961A/zh
Publication of CN115375961A publication Critical patent/CN115375961A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种产品配件识别和重量评估方法、装置及相关设备，包括以下步骤：S1、采集流水线上的图像数据并上传至AI云平台；S2、AI云平台对图像数据进行标记和深度学习网络模型进行训练；S3、AI模型发送到流水线的检测终端进行加在AI模型后，对后续采集的图像进行预测；S4、采集新的图像；S5、将新的图像与标准装配件的图像进行对比，并判断是否为错配或漏配；若是，执行S7，若否，执行S6；S6、对产品进行称重，并将该产品的条形码信息、AI识别结果和重量发送到生产MES系统；S7、将S5中产品装配件的AI识别结果发送给流水线的执行分拣机构，对识别的不良品进行分拣操作。本发明成本低、检测效果好。

Description

一种产品配件识别和重量评估方法、装置及相关设备
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种产品配件识别和重量评估方法、装置及相关设备。
背景技术
在海量的中小制造企业中，由于产品多样化和复杂性，目前仍然有大量的流水线依赖人工进行产品的配件安装，这导致在生产过程中会出现错、漏配件的情况发生。
现有大多数企业采取的抽检的方法，需要对不同的产品线配置大量品控人员，但随着对产品的出品质量要求越来越高，抽检的形式已经无法满足很多生产厂家的出厂要求，而且大量的品控人员也存在效率低下、人力浪费等弊端，大大影响了制造企业的生产效益。
发明内容
针对以上相关技术的不足，本发明提出一种成本低、检测效果好及生产效率高的产品配件识别和重量评估方法、装置及相关设备。
为了解决上述技术问题，第一方面，本发明实施例提供了一种产品配件识别和重量评估方法，包括以下步骤：
S1、采集流水线上的产品装配件的图像数据，并通过通讯传输将所述图像数据上传至AI云平台；
S2、通过所述AI云平台对所述图像数据进行标记，并标记每个所述装配件的标签，在所述AI云平台上调用深度学习网络模型对所述图像数据进行训练；
S3、通过所述通讯传输将训练后获得的AI模型发送到所述流水线的检测终端，所述检测终端加载所述AI模型后，对后续采集的图像进行预测；
S4、采集新的图像，通过扫码枪获取产品上条形码信息，通过调用所述AI模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上；
S5、通过将所述新的图像与标准装配件的图像进行对比，并对所述S4中识别的图像装配件进行判定，判断是否为错配或漏配，若是，则显示结果为不合格，并执行S7；若否，则显示检测结果为合格，并执行S6；
S6、对产品进行称重，通过串口获得台秤发出的产品的重量，并将该产品的所述条形码信息、AI识别结果和重量发送到生产MES系统；
S7、将所述S5中产品装配件的AI识别结果发送给所述流水线的执行分拣机构，对识别的不良品进行分拣操作。
优选的，所述S1具体包括以下子步骤：
S11、通过在产品流水线的正上方安装工业相机对流水线上的产品进行拍照；
S12、使用飞拍模式在流水线上产品触发工业相机下方指定位置的传感器后，相机采集一帧图像，并将所述图像通过通讯传输传送给计算机。
优选的，所述S2具体包括以下子步骤：
S21、对所述图像数据进行整理和标注；其中，所述整理具体为剔除产品超出图像边界的图像；所述标注具体为根据检测要求定义检测配件的标签，并使用标注工具对图像中装配件标注上与之对应的标签名称，并生成标注文件。
优选的，所述S2还包括以下子步骤：
S22、循环采集1000N张图像，执行所述S21操作，选取900N张作为训练数据集，100N张作为测试数据集，按照训练数据集、标签、测试数据集进行处理获得数据集，其中，N为正整数；
S23、将所述数据集通过所述通讯传输上述到所述AI云平台上，通过在所述AI云平台中调用的所述深度学习的网络框架，并设置模型中初始化参数、损失函数以及优化器；
S24、通过所述深度学习的网络框架对所述训练数据集进行迭代处理后获得收敛的识别模型。
优选的，所述S2还包括以下子步骤：
S25、调取所述训练数据集中一张图像，通过所述识别模型对所述图像进行预测，将预测的结果与原图标记结果进行对比，判断模型识别的准确度，如果识别精度足够，那么模型训练完成，否则继续迭代或增加训练数据集。
优选的，所述S4具体包括以下子步骤：
将产品到达工业相机下方，传感器触发采集新的图像，此时触发扫码枪获取产品上新的条形码信息，将所述新的图像和新的条形码发给所述检测终端，通过所述识别模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上。
优选的，所述S6具体包括以下子步骤：
获取产品的条形码信息、AI识别结果和产品重量信息；
通过获取所述检测终端上传的信息保持至所述MES数据库；
统计产品不良品种类、良品率及优化生产效率。
第二方面，本发明实施例还提供一种产品配件识别和重量评估装置，包括：
第一图像采集模块，用于采集流水线上的产品装配件的图像数据，并通过通讯传输将所述图像数据上传至AI云平台；
训练模块，用于通过所述AI云平台对所述图像数据进行标记，并标记每个所述装配件的标签，在所述AI云平台上调用深度学习网络模型对所述图像数据进行训练；
预测模块，用于通过所述通讯传输将训练后获得的AI模型发送到所述流水线的检测终端，所述检测终端加载所述AI模型后，对后续采集的图像进行预测；
第二图像采集模块，用于采集新的图像，通过扫码枪获取产品上条形码信息，通过调用所述AI模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上；
对比模块，用于通过将所述新的图像与标准装配件的图像进行对比，并对所述第二图像采集模块中识别的图像装配件进行判定，判断是否为错配或漏配，若是，则显示结果为不合格，并执行分拣模块；若否，则显示检测结果为合格，并执行发送模块；
发送模块，用于对产品进行称重，通过串口获得台秤发出的产品的重量，并将该产品的所述条形码信息、AI识别结果和重量发送到生产MES系统；
分拣模块，用于将所述对比模块中产品装配件的AI识别结果发送给所述流水线的执行分拣机构，对识别的不良品进行分拣操作。
第三方面，本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例任一项的产品配件识别和重量评估中的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例任意一项所述的产品配件识别和重量评估中的步骤。
与相关技术相比，本发明通过采集流水线上的产品装配件的图像数据，并通过通讯传输将所述图像数据上传至AI云平台；通过所述AI云平台对所述图像数据进行标记，并标记每个所述装配件的标签，在所述AI云平台上调用深度学习网络模型对所述图像数据进行训练；通过所述通讯传输将训练后获得的AI模型发送到所述流水线的检测终端，所述检测终端加载所述AI模型后，对后续采集的图像进行预测；通过采集新的图像，通过扫码枪获取产品上条形码信息，通过调用所述AI模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上；通过将所述新的图像与标准装配件的图像进行对比，并对上述中识别的图像装配件进行判定，判断是否为错配或漏配，对产品进行称重，通过串口获得台秤发出的产品的重量，并将该产品的所述条形码信息、AI识别结果和重量发送到生产MES系统；将上述中产品装配件的AI识别结果发送给所述流水线的执行分拣机构，对识别的不良品进行分拣操作。通过在图像上对产品的装配件进行分割和识别，通过采集生产线上产品的图像数据，上传到AI云平台进行数据标注和模型的自动化训练，然后对生产线上的产品进行预测，识别产品的配件安装是否准确、是否漏装配件，从而实现对流水线产品的实时检测；通过使用AI视觉检测的基础上增加称重环节，并将AI识别结果和称重结果上传的生产企业的MES系统，最终管控不良产品的动向，实现高效的生成效率和自动生产管控的效果。
附图说明
下面结合附图详细说明本发明。通过结合以下附图所作的详细描述，本发明的上述或其他方面的内容将变得更清楚和更容易理解。附图中：
图1为本发明产品配件识别和重量评估方法的方法流程图；
图2为本发明步骤S1具体的方法流程图；
图3为本发明步骤S2具体的方法流程图；
图4为本发明产品配件识别和重量评估方法的整体方法流程图；
图5为本发明产品配件识别和重量评估装置的模块图；
图6为图5的计算机设备的模块图。
具体实施方式
下面结合附图详细说明本发明的具体实施方式。
在此记载的具体实施方式/实施例为本发明的特定的具体实施方式，用于说明本发明的构思，均是解释性和示例性的，不应解释为对本发明实施方式及本发明范围的限制。除在此记载的实施例外，本领域技术人员还能够基于本申请权利要求书和说明书所公开的内容采用显而易见的其它技术方案，这些技术方案包括采用对在此记载的实施例的做出任何显而易见的替换和修改的技术方案，都在本发明的保护范围之内。
请参考图1-4所示，其中，图1为本发明产品配件识别和重量评估方法的方法流程图；图2为本发明步骤S1具体的方法流程图；图3为本发明步骤S2具体的方法流程图；图4为本发明产品配件识别和重量评估方法的整体方法流程图。
实施例一
本发明提供一种产品配件识别和重量评估方法，包括以下步骤：
S1、采集流水线上的产品装配件的图像数据，并通过通讯传输将所述图像数据上传至AI云平台。通过相机采集流水线上通过的产品装配件，将拍摄的图像形成图像数据，通过TCP通讯网络将图像数据上传至AI云平台上，人工智能AI(Artificial Intelligence)。
S2、通过所述AI云平台对所述图像数据进行标记，并标记每个所述装配件的标签，在所述AI云平台上调用深度学习网络模型对所述图像数据进行训练。
其中，深度学习网络模型为YOLOX网络模型，通过所述AI云平台对所述图像数据进行标记，并标记每个所述装配件的标签，在所述AI云平台上调用YOLOX网络模型对所述图像数据进行训练，图像标记效果好，模型训练效率高。
S3、通过所述通讯传输将训练后获得的AI模型发送到所述流水线的检测终端，所述检测终端加载所述AI模型后，对后续采集的图像进行预测。
S4、采集新的图像，通过扫码枪获取产品上条形码信息，通过调用所述AI模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上。
其中，条形码信息为SN条码信息。
S5、通过将所述新的图像与标准装配件的图像进行对比，并对所述S4中识别的图像装配件进行判定，判断是否为错配或漏配，若是，则显示结果为不合格，并执行S7；若否，则显示检测结果为合格，并执行S6。
S6、对产品进行称重，通过串口获得台秤发出的产品的重量，并将该产品的所述条形码信息、AI识别结果和重量发送到生产MES系统。
其中，制造执行系统(manufacturing execution system，简称MES)旨在加强MRP计划的执行功能，把MRP计划同车间作业现场控制，通过执行系统联系起来。这里的现场控制包括PLC程控器、数据采集器、条型码、各种计量及检测仪器、机械手等。MES系统设置了必要的接口，与提供生产现场控制设施的用户建立合作关系。
S7、将所述S5中产品装配件的AI识别结果发送给所述流水线的执行分拣机构，对识别的不良品进行分拣操作。
具体的，通过采集流水线上的产品装配件的图像数据，并通过通讯传输将所述图像数据上传至AI云平台；通过所述AI云平台对所述图像数据进行标记，并标记每个所述装配件的标签，在所述AI云平台上调用深度学习网络模型对所述图像数据进行训练；通过所述通讯传输将训练后获得的AI模型发送到所述流水线的检测终端，所述检测终端加载所述AI模型后，对后续采集的图像进行预测；通过采集新的图像，通过扫码枪获取产品上条形码信息，通过调用所述AI模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上；通过将所述新的图像与标准装配件的图像进行对比，并对所述S4中识别的图像装配件进行判定，判断是否为错配或漏配，若是，则显示结果为不合格，并执行S7；若否，则显示检测结果为合格，并执行S6；对产品进行称重，通过串口获得台秤发出的产品的重量，并将该产品的所述条形码信息、AI识别结果和重量发送到生产MES系统；将上述中产品装配件的AI识别结果发送给所述流水线的执行分拣机构，对识别的不良品进行分拣操作。通过在图像上对产品的装配件进行分割和识别，通过采集生产线上产品的图像数据，上传到AI云平台进行数据标注和模型的自动化训练，然后对生产线上的产品进行预测，识别产品的配件安装是否准确、是否漏装配件，从而实现对流水线产品的实时检测；通过使用AI视觉检测的基础上增加称重环节，并将AI识别结果和称重结果上传的生产企业的MES系统，最终管控不良产品的动向，实现高效的生成效率和自动生产管控的效果。
在本实施例中，所述S1具体包括以下子步骤：
S11、通过在产品流水线的正上方安装工业相机对流水线上的产品进行拍照。
S12、使用飞拍模式在流水线上产品触发工业相机下方指定位置的传感器后，相机采集一帧图像，并将所述图像通过通讯传输传送给计算机。
具体的，在产品流水线的正上方安装工业相机对流水线上的产品进行拍照，采集系统使用飞拍模式，流水线上产品触发工业相机下方指定位置的传感器后，相机采集一帧图像，并将图像通过TCP网络传送给PC机(个人计算机)。通过PC机进行处理，使得图像采集效果良好。
其中，使用TCP通讯将训练后的AI模型发送到流水线的检测终端PC机，终端检测软件加载识别模型(Model)后，对流水线后续采集的图像进行预测。
在本实施例中，所述S2具体包括以下子步骤：
S21、对所述图像数据进行整理和标注；其中，所述整理具体为剔除产品超出图像边界的图像；所述标注具体为根据检测要求定义检测配件的标签，并使用标注工具对图像中装配件标注上与之对应的标签名称，并生成标注文件。
具体的，对步骤S1中采集到的图像进行整理和标注，所述图像整理操作是剔除产品超出图像边界的图像，所述图像标注是根据检测要求定义检测配件的标签，并使用标注工具对图像中装配件标注上与之对应的标签名称，并生成标注文件。使得图像数据的整理和标注方便，精确度高，同时，还便于进行标注文件调用，使用方便。
在本实施例中，所述S2还包括以下子步骤：
S22、循环采集1000N张图像，执行所述S21操作，选取900N张作为训练数据集，100N张作为测试数据集，按照训练数据集、标签、测试数据集进行处理获得数据集，其中，N为正整数。可选的，N为1、2、3等。
S23、将所述数据集通过所述通讯传输上述到所述AI云平台上，通过在所述AI云平台中调用的所述深度学习的网络框架，并设置模型中初始化参数、损失函数以及优化器。
S24、通过所述深度学习的网络框架对所述训练数据集进行迭代处理后获得收敛的识别模型。
具体的，当N为1时，通过循环采集1000张图像，执行S21操作，最后取900张作为训练数据集，100张作为测试数据集，按照训练数据集、标签、测试数据集组成{TrainX、Y、TestX}数据集的制作。将数据集{TrainX、Y、TestX}通过TCP上传到AI云平台，在AI云平台的web端选择要调用的深度学习的网络框架，这里选择YOLOX网络框架，通过设置模型中初始化参数，损失函数以及优化器；将训练数据集{TrainX、Y}输入到YOLOX网络中，迭代模型参数后得到收敛的识别模型(Model)。
在本实施例中，所述S2还包括以下子步骤：
S25、调取所述训练数据集中一张图像，通过所述识别模型对所述图像进行预测，将预测的结果与原图标记结果进行对比，判断模型识别的准确度，如果识别精度足够，那么模型训练完成，否则继续迭代或增加训练数据集。
具体的，对模型进行测试，调取TestX数据集中一张图像Img_Test，利用识别模型(Model)对Img_Test进行预测，将预测的结果与原图标记结果进行对比，判断模型识别的准确度，如果识别精度足够，那么模型训练完成，否则继续迭代或增加训练数据集。
在本实施例中，所述S4具体包括以下子步骤：将产品到达工业相机下方，传感器触发采集新的图像，此时触发扫码枪获取产品上新的条形码信息，将所述新的图像和新的条形码发给所述检测终端，通过所述识别模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上。
具体的，产品到达工业相机下方，传感器触发采集新的图像Img_new，此时触发扫码枪获取产品上SN条码信息SN_new，将新的图像Img_new和新的SN条码SN_new发给终端检测软件，软件调用识别模型(Model)对图像进行预测，并将识别配件框选在图像上。
在本实施例中，所述S6具体包括以下子步骤：获取产品的条形码信息、AI识别结果和产品重量信息；通过获取所述检测终端上传的信息保持至所述MES数据库；统计产品不良品种类、良品率及优化生产效率。
具体的，对比标准装配件的图像及配件标签的名称和位置，对S7中识别的图像配件进行判定，判断是否为错配或漏配。如果错配或漏配，在软件上显示检测结果为NG,如果与标准图像一致，则在软件上显示检测结果为OK。
对产品进行称重，通过串口获得台秤发出的产品的重量Weight_new，判断产品重量是否与标准产品重量一致，在软件界面上显示重量检测结果“合格”/“不合格”，并将该件产品的SN码SN_new，AI识别结果“OK/NG”和重量结果“合格”/“不合格”发送到生产MES系统。
在上述中产品装配件的AI识别结果为NG时，触发流水线的执行分拣机构，对识别的不良品进行分拣操作。
实施例二
请参考图5所示，图5为本发明产品配件识别和重量评估装置的模块图。本发明实施例还提供一种产品配件识别和重量评估装置200，包括：
第一图像采集模块201，用于采集流水线上的产品装配件的图像数据，并通过通讯传输将所述图像数据上传至AI云平台；
训练模块202，用于通过所述AI云平台对所述图像数据进行标记，并标记每个所述装配件的标签，在所述AI云平台上调用深度学习网络模型对所述图像数据进行训练；
预测模块203，用于通过所述通讯传输将训练后获得的AI模型发送到所述流水线的检测终端，所述检测终端加载所述AI模型后，对后续采集的图像进行预测；
第二图像采集模块204，用于采集新的图像，通过扫码枪获取产品上条形码信息，通过调用所述AI模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上；
对比模块205，用于通过将所述新的图像与标准装配件的图像进行对比，并对所述第二图像采集模块中识别的图像装配件进行判定，判断是否为错配或漏配，若是，则显示结果为不合格，并执行分拣模块207；若否，则显示检测结果为合格，并执行发送模块206；
发送模块206，用于对产品进行称重，通过串口获得台秤发出的产品的重量，并将该产品的所述条形码信息、AI识别结果和重量发送到生产MES系统；
分拣模块207，用于将所述对比模块中产品装配件的AI识别结果发送给所述流水线的执行分拣机构，对识别的不良品进行分拣操作。
具体的，通过第一图像采集模块201采集流水线上的产品装配件的图像数据，并通过通讯传输将所述图像数据上传至AI云平台；训练模块202通过所述AI云平台对所述图像数据进行标记，并标记每个所述装配件的标签，在所述AI云平台上调用深度学习网络模型对所述图像数据进行训练；预测模块203通过所述通讯传输将训练后获得的AI模型发送到所述流水线的检测终端，所述检测终端加载所述AI模型后，对后续采集的图像进行预测；第二图像采集模块204采集新的图像，通过扫码枪获取产品上条形码信息，通过调用所述AI模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上；对比模块205通过将所述新的图像与标准装配件的图像进行对比，并对所述第二图像采集模块中识别的图像装配件进行判定，判断是否为错配或漏配，若是，则显示结果为不合格，并执行分拣模块207；若否，则显示检测结果为合格，并执行发送模块206；发送模块206对产品进行称重，通过串口获得台秤发出的产品的重量，并将该产品的所述条形码信息、AI识别结果和重量发送到生产MES系统；分拣模块207将所述对比模块中产品装配件的AI识别结果发送给所述流水线的执行分拣机构，对识别的不良品进行分拣操作。通过在图像上对产品的装配件进行分割和识别，通过采集生产线上产品的图像数据，上传到AI云平台进行数据标注和模型的自动化训练，然后对生产线上的产品进行预测，识别产品的配件安装是否准确、是否漏装配件，从而实现对流水线产品的实时检测；通过使用AI视觉检测的基础上增加称重环节，并将AI识别结果和称重结果上传的生产企业的MES系统，最终管控不良产品的动向，实现高效的生成效率和自动生产管控的效果。
实施例三
请参考图6所示，图6为本发明计算机设备的模块图。本发明实施例还提供一种计算机设备，包括存储器301、处理器302及存储在所述存储器301上并可在所述处理器302上运行的计算机程序，所述处理器302执行所述计算机程序时实现上述实施例一的产品配件识别和重量评估中的步骤。
实施例四
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例一的产品配件识别和重量评估中的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何纂改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种产品配件识别和重量评估方法，其特征在于，包括以下步骤：
S1、采集流水线上的产品装配件的图像数据，并通过通讯传输将所述图像数据上传至AI云平台；
S2、通过所述AI云平台对所述图像数据进行标记，并标记每个所述装配件的标签，在所述AI云平台上调用深度学习网络模型对所述图像数据进行训练；
S3、通过所述通讯传输将训练后获得的AI模型发送到所述流水线的检测终端，所述检测终端加载所述AI模型后，对后续采集的图像进行预测；
S4、采集新的图像，通过扫码枪获取产品上条形码信息，通过调用所述AI模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上；
S5、通过将所述新的图像与标准装配件的图像进行对比，并对所述S4中识别的图像装配件进行判定，判断是否为错配或漏配，若是，则显示结果为不合格，并执行S7；若否，则显示检测结果为合格，并执行S6；
S6、对产品进行称重，通过串口获得台秤发出的产品的重量，并将该产品的所述条形码信息、AI识别结果和重量发送到生产MES系统；
S7、将所述S5中产品装配件的AI识别结果发送给所述流水线的执行分拣机构，对识别的不良品进行分拣操作。
2.如权利要求1所述的产品配件识别和重量评估方法，其特征在于，所述S1具体包括以下子步骤：
S11、通过在产品流水线的正上方安装工业相机对流水线上的产品进行拍照；
S12、使用飞拍模式在流水线上产品触发工业相机下方指定位置的传感器后，相机采集一帧图像，并将所述图像通过通讯传输传送给计算机。
3.如权利要求1所述的产品配件识别和重量评估方法，其特征在于，所述S2具体包括以下子步骤：
S21、对所述图像数据进行整理和标注；其中，所述整理具体为剔除产品超出图像边界的图像；所述标注具体为根据检测要求定义检测配件的标签，并使用标注工具对图像中装配件标注上与之对应的标签名称，并生成标注文件。
4.如权利要求3所述的产品配件识别和重量评估方法，其特征在于，所述S2还包括以下子步骤：
S22、循环采集1000N张图像，执行所述S21操作，选取900N张作为训练数据集，100N张作为测试数据集，按照训练数据集、标签、测试数据集进行处理获得数据集，其中，N为正整数；
S23、将所述数据集通过所述通讯传输上述到所述AI云平台上，通过在所述AI云平台中调用的所述深度学习的网络框架，并设置模型中初始化参数、损失函数以及优化器；
S24、通过所述深度学习的网络框架对所述训练数据集进行迭代处理后获得收敛的识别模型。
5.如权利要求4所述的产品配件识别和重量评估方法，其特征在于，所述S2还包括以下子步骤：
S25、调取所述训练数据集中一张图像，通过所述识别模型对所述图像进行预测，将预测的结果与原图标记结果进行对比，判断模型识别的准确度，如果识别精度足够，那么模型训练完成，否则继续迭代或增加训练数据集。
6.如权利要求5所述的产品配件识别和重量评估方法，其特征在于，所述S4具体包括以下子步骤：
将产品到达工业相机下方，传感器触发采集新的图像，此时触发扫码枪获取产品上新的条形码信息，将所述新的图像和新的条形码发给所述检测终端，通过所述识别模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上。
7.如权利要求6所述的产品配件识别和重量评估方法，其特征在于，所述S6具体包括以下子步骤：
获取产品的条形码信息、AI识别结果和产品重量信息；
通过获取所述检测终端上传的信息保持至所述MES数据库；
统计产品不良品种类、良品率及优化生产效率。
8.一种产品配件识别和重量评估装置，其特征在于，包括：
第一图像采集模块，用于采集流水线上的产品装配件的图像数据，并通过通讯传输将所述图像数据上传至AI云平台；
训练模块，用于通过所述AI云平台对所述图像数据进行标记，并标记每个所述装配件的标签，在所述AI云平台上调用深度学习网络模型对所述图像数据进行训练；
预测模块，用于通过所述通讯传输将训练后获得的AI模型发送到所述流水线的检测终端，所述检测终端加载所述AI模型后，对后续采集的图像进行预测；
第二图像采集模块，用于采集新的图像，通过扫码枪获取产品上条形码信息，通过调用所述AI模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上；
对比模块，用于通过将所述新的图像与标准装配件的图像进行对比，并对所述第二图像采集模块中识别的图像装配件进行判定，判断是否为错配或漏配，若是，则显示结果为不合格，并执行分拣模块；若否，则显示检测结果为合格，并执行发送模块；
发送模块，用于对产品进行称重，通过串口获得台秤发出的产品的重量，并将该产品的所述条形码信息、AI识别结果和重量发送到生产MES系统；
分拣模块，用于将所述对比模块中产品装配件的AI识别结果发送给所述流水线的执行分拣机构，对识别的不良品进行分拣操作。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的产品配件识别和重量评估中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的产品配件识别和重量评估中的步骤。
CN202210809345.6A 2022-07-11 2022-07-11 一种产品配件识别和重量评估方法、装置及相关设备 Pending CN115375961A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210809345.6A CN115375961A (zh) 2022-07-11 2022-07-11 一种产品配件识别和重量评估方法、装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210809345.6A CN115375961A (zh) 2022-07-11 2022-07-11 一种产品配件识别和重量评估方法、装置及相关设备

Publications (1)

Publication Number Publication Date
CN115375961A true CN115375961A (zh) 2022-11-22

Family

ID=84061110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210809345.6A Pending CN115375961A (zh) 2022-07-11 2022-07-11 一种产品配件识别和重量评估方法、装置及相关设备

Country Status (1)

Country Link
CN (1) CN115375961A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116280519A (zh) * 2023-04-06 2023-06-23 江苏居友智能家居用品有限公司 智能晾衣架包装流水线防缺件错件影像识别报警系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116280519A (zh) * 2023-04-06 2023-06-23 江苏居友智能家居用品有限公司 智能晾衣架包装流水线防缺件错件影像识别报警系统

Similar Documents

Publication Publication Date Title
US12020415B2 (en) Method for monitoring manufacture of assembly units
WO2017084186A1 (zh) 挠性电路板制造过程自动监测和智能分析系统及方法
CN109060817B (zh) 人工智能复检系统及其方法
CN110567974A (zh) 一种基于云端人工智能表面缺陷检测系统
CN116940956A (zh) 用于设备功能下降型故障预警的工业物联网、方法及介质
CN109117526B (zh) 一种适用于机械系统设备维修指引数据记录及分析系统
RU2007103326A (ru) Способ ремонта и технического обслуживания и применяемые в способе аппаратно-программный комплекс для диагностики и система для контроля качества ремонта и технического обслуживания
CN114281619B (zh) 一种服务器安规自动测试装置及方法
CN112686322A (zh) 零件差异识别方法、装置、设备及存储介质
US20220284699A1 (en) System and method of object detection using ai deep learning models
CN115375961A (zh) 一种产品配件识别和重量评估方法、装置及相关设备
CN108563204B (zh) 控制方法、装置、电子设备及计算机可读存储介质
CN115331002A (zh) 一种基于ar眼镜实现热力站故障远程处理方法
CN110163084A (zh) 操作员动作监督方法、装置及电子设备
CN114493299A (zh) 一种基于工业互联网的农业机械管控方法及设备、介质
CN110290203A (zh) 人工智能云计算对制成品进行非侵入性生产缺陷识别与信息连通
CN114218430A (zh) 远程协作设备运维系统、方法及装置
CN111212434B (zh) 一种wifi模组质量预测方法、装置、设备及存储介质
CN1746909A (zh) 产线作业管控系统及方法
CN113567450B (zh) 一种发动机标签信息视觉检测系统及方法
CN115266744A (zh) 生产线产品的检测系统及方法
CN115379197A (zh) 用于在生产线上检测摄像头产品的镜头表面的方法和装置
CN114235122A (zh) 基于ai图像识别的电子秤的称重结算方法及系统
CN112286745A (zh) 一种云打印机自动化测试装置及其方法
CN114333180B (zh) 一种基于区块链技术的金融自助设备检修方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination