CN114769072A - 高速喷射阀控制方法、装置、电子设备及存储介质 - Google Patents

高速喷射阀控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114769072A
CN114769072A CN202210679632.XA CN202210679632A CN114769072A CN 114769072 A CN114769072 A CN 114769072A CN 202210679632 A CN202210679632 A CN 202210679632A CN 114769072 A CN114769072 A CN 114769072A
Authority
CN
China
Prior art keywords
image
electronic
injection valve
packaged
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210679632.XA
Other languages
English (en)
Inventor
陈明香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Laike Technology Co ltd
Original Assignee
Shenzhen Laike Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Laike Technology Co ltd filed Critical Shenzhen Laike Technology Co ltd
Priority to CN202210679632.XA priority Critical patent/CN114769072A/zh
Publication of CN114769072A publication Critical patent/CN114769072A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C5/00—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work
    • B05C5/02—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work the liquid or other fluent material being discharged through an outlet orifice by pressure, e.g. from an outlet device in contact or almost in contact, with the work
    • B05C5/0208—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work the liquid or other fluent material being discharged through an outlet orifice by pressure, e.g. from an outlet device in contact or almost in contact, with the work for applying liquid or other fluent material to separate articles
    • B05C5/0212—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work the liquid or other fluent material being discharged through an outlet orifice by pressure, e.g. from an outlet device in contact or almost in contact, with the work for applying liquid or other fluent material to separate articles only at particular parts of the articles
    • B05C5/0216—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work the liquid or other fluent material being discharged through an outlet orifice by pressure, e.g. from an outlet device in contact or almost in contact, with the work for applying liquid or other fluent material to separate articles only at particular parts of the articles by relative movement of article and outlet according to a predetermined path
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C11/00—Component parts, details or accessories not specifically provided for in groups B05C1/00 - B05C9/00
    • B05C11/10—Storage, supply or control of liquid or other fluent material; Recovery of excess liquid or other fluent material
    • B05C11/1002—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves
    • B05C11/1015—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves responsive to a conditions of ambient medium or target, e.g. humidity, temperature ; responsive to position or movement of the coating head relative to the target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C11/00—Component parts, details or accessories not specifically provided for in groups B05C1/00 - B05C9/00
    • B05C11/10—Storage, supply or control of liquid or other fluent material; Recovery of excess liquid or other fluent material
    • B05C11/1002—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves
    • B05C11/1015—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves responsive to a conditions of ambient medium or target, e.g. humidity, temperature ; responsive to position or movement of the coating head relative to the target
    • B05C11/1021—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves responsive to a conditions of ambient medium or target, e.g. humidity, temperature ; responsive to position or movement of the coating head relative to the target responsive to presence or shape of target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术，揭露了一种高速喷射阀控制方法，包括：从预构建的视觉传感器获取电子主板图像，并利用预训练的图像识别模型，识别所述电子主板图像中未封装电子元件的元件类型及元件位置；截取所述电子主板图像中的未封装电子元件，得到截取图像，并利用预训练的待封装线路识别模型识别所述未封装电子元件的待封装线路；根据所述元件位置及所述待封装线路，构建得到喷射阀运动地图；根据所述元件类型对应的点胶策略及所述喷射阀运动地图，控制预构建的喷射阀对各个所述未封装电子元件进行点胶操作。本发明还提出一种高速喷射阀控制装置、设备及存储介质。本发明能够增加电子元件的点胶效率。

Description

高速喷射阀控制方法、装置、电子设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种高速喷射阀控制方法、装置、设备及计算机可读存储介质。
背景技术
随着计算机电子产品的快速发展，电子制造业需要的点胶工艺要求越来越高，如今，已经逐渐从传统接触式点胶方法转变为非接触式高速喷射点胶.然而，目前，点胶过程仍然是人为控制数控机器对电子元件进行点胶操作，对于不同电子元件的点胶过程也需要进行人工干预，此外，由于需要电子元件固定在一定位置上，在摆放电子元件的过程时也耗费大量时间。
发明内容
本发明提供一种高速喷射阀控制方法、装置、设备及存储介质，其主要目的在于通过图像识别技术，自动化控制高速喷射阀，增加电子元件的点胶效率。
为实现上述目的，本发明提供的一种高速喷射阀控制方法，包括：
从预构建的视觉传感器获取电子主板图像，并利用预训练的图像识别模型，识别所述电子主板图像中未封装电子元件的元件类型及元件位置；
截取所述电子主板图像中的未封装电子元件，得到截取图像，并利用预训练的待封装线路识别模型识别所述未封装电子元件的待封装线路；
根据所述元件位置及所述待封装线路，构建得到喷射阀运动地图；
根据所述元件类型对应的点胶策略及所述喷射阀运动地图，控制预构建的喷射阀对各个所述未封装电子元件进行点胶操作。
可选的，其特征在于，所述利用预训练的待封装线路识别模型识别所述未封装电子元件的待封装线路，包括：
根据预设的图像测距算法，测得所述截取图像中未封装电子元件的长宽大小；
根据所述长宽大小对所述截取图像进行仿射变换，得到拉正电子元件图像；
提取所述拉正电子元件图像的元件边缘特征，并根据所述元件边缘特征，利用预训练的待封装线路识别模型识别所述未封装电子元件的待封装区域，得到待封装线路，其中，所述待封装线路包括点、线及面。
可选的，其特征在于，所述根据所述元件类型对应的点胶策略及所述喷射阀运动地图，控制预构建的喷射阀对各个所述未封装电子元件进行点胶操作，包括：
根据预构建的点胶策略，查询所述元件类型对应的喷射方法及喷射物类型；
将所述喷射阀运动地图转化为矩阵脉冲，根据所述喷射方法、所述喷射物类型及矩阵脉冲对预构建的喷射阀进行点胶操作。
可选的，其特征在于，所述利用预训练的图像识别模型，识别所述电子主板图像中未封装电子元件的元件类型及元件位置，包括：
利用所述图像识别模型的输入层网络对所述电子主板图像进行灰度化处理，得到灰度图像；
利用所述图像识别模型的特征提取网络对所述灰度图像进行特征提取，得到图像特征集合；
利用所述图像识别模型中的决策树多分类网络，根据所述图像特征集合，识别所述电子主板图像中各电子元件的元件类型以及封装情况，得到未封装电子元件的元件类型，并在所述电子主板图像中标记各个未封装电子元件的元件位置。
可选的，其特征在于，所述利用预训练的图像识别模型，识别所述电子主板图像中未封装电子元件的元件类型及元件位置之前，所述方法还包括：
获取包含封装及未封装的电子元件的样本图像集合；
依次从所述样本图像集合中提取一个样本图像，并利用预构建的图像识别模型对所述样本图像进行正向传播计算，得到预测结果；
利用预构建的封装二分类损失函数及元件类型多分类损失函数，构建交叉熵组合损失函数，并利用所述交叉熵组合损失函数，计算所述样本图像的真实标注与所述预测结果间的损失值；
利用预构建的反馈神经网络，对所述损失值进行逆向传播，得到更新图像识别模型；
记录各个样本图像的损失值，得到损失值变化曲线，并判断所述损失值变化曲线的收敛性；
当所述损失值变化曲线未收敛时，返回上述依次从所述样本图像集合中提取一个样本图像，并利用预构建的图像识别模型对所述样本图像进行正向传播计算，得到预测结果的步骤，对所述更新图像识别模型进行迭代更新；
当所述损失值变化曲线收敛时，得到训练完成的图像识别模型。
可选的，其特征在于，所述根据所述元件位置及所述待封装线路，构建得到喷射阀运动地图，包括：
利用预设的二维坐标系，根据各个所述元件位置，构建元件位置关系图层；
利用聚类算法计算各个所述待封装线路的中心坐标，根据预设的所述中心坐标与所述元件位置对应坐标的对应关系，将所述待封装线路添加至所述元件位置关系图层上，得到喷射阀运动地图。
为了解决上述问题，本发明还提供一种高速喷射阀控制装置，所述装置包括：
元件定位模块，用于从预构建的视觉传感器获取电子主板图像，并利用预训练的图像识别模型，识别所述电子主板图像中未封装电子元件的元件类型及元件位置；
封装线路识别模块，用于截取所述电子主板图像中的未封装电子元件，得到截取图像，并利用预训练的待封装线路识别模型识别所述未封装电子元件的待封装线路；
自动化控制模块，用于根据所述元件位置及所述待封装线路，构建得到喷射阀运动地图，及根据所述元件类型对应的点胶策略及所述喷射阀运动地图，控制预构建的喷射阀对各个所述未封装电子元件进行点胶操作。
可选的，其特征在于，所述利用预训练的待封装线路识别模型对所述截取图像进行待封装位置识别，得到所述未封装电子元件的待封装线路，包括：
根据预设的图像测距算法，测得所述截取图像中未封装电子元件的长宽大小；
根据所述长宽大小对所述截取图像进行仿射变换，得到拉正电子元件图像；
提取所述拉正电子元件图像的元件边缘特征，并根据所述元件边缘特征，利用预训练的待封装线路识别模型识别所述未封装电子元件的待封装区域，得到待封装线路，其中，所述待封装线路包括点、线及面。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的高速喷射阀控制方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的高速喷射阀控制方法。
本发明实施例利用图像识别模型对电子主板图像进行未封装电子元件识别，其中，所述图像识别模型为一种基于神经网络及决策树森林的模型，能够识别所述电子主板图像中的各个电子元件，并对电子元件进行封装判断及类型判断，得到未封装电子元件的元件类型、元件位置；然后根据所述待封装线路识别模型对各个未封装电子元件的可封装位置进行自动化识别，得到待封装线路，其中，所述待封装线路识别模型也为图像识别模型，可增加封装路线识别的准确性及效率，此外，所述待封装线路可以转化为喷射阀运动地图，而喷射阀运动地图可为通过数控技术转化为喷射阀的脉冲电流，从而实现喷射阀的控制。因此，本发明实施例提供的一种高速喷射阀控制方法、装置、设备及存储介质，能够在于通过图像识别技术，自动化控制高速喷射阀，增加电子元件的点胶效率。
附图说明
图1为本发明一实施例提供的高速喷射阀控制方法的流程示意图；
图2为本发明一实施例提供的高速喷射阀控制方法中一个步骤的详细流程示意图；
图3为本发明一实施例提供的高速喷射阀控制方法中一个步骤的详细流程示意图；
图4为本发明一实施例提供的高速喷射阀控制装置的功能模块图；
图5为本发明一实施例提供的实现所述高速喷射阀控制方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种高速喷射阀控制方法。本申请实施例中，所述高速喷射阀控制方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述高速喷射阀控制方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示，为本发明一实施例提供的高速喷射阀控制方法的流程示意图。在本实施例中，所述高速喷射阀控制方法包括步骤：
S1、从预构建的视觉传感器获取电子主板图像，并利用预训练的图像识别模型，识别所述电子主板图像中未封装电子元件的元件类型及元件位置。
本发明实施例中可以将所述视觉传感器固定到流水线上，在喷射阀进行点胶操作之前，对流水线上的电子主板进行拍摄，得到电子主板图像。
详细的，参考图2所示，本发明实施例中，所述利用预训练的图像识别模型，识别所述电子主板图像中未封装电子元件的元件类型及元件位置，包括：
S11、利用所述图像识别模型的输入层网络对所述电子主板图像进行灰度化处理，得到灰度图像；
S12、利用所述图像识别模型的特征提取网络对所述灰度图像进行特征提取，得到图像特征集合；
S13、利用所述图像识别模型中的决策树多分类网络，根据所述图像特征集合，识别所述电子主板图像中各电子元件的元件类型以及封装情况，得到未封装电子元件的元件类型，并在所述电子主板图像中标记各个未封装电子元件的元件位置。
应到知道，各元件在构建过程中，会尽量做到各个元件形状结构不同，因此，本发明实施例直接对所述电子主板图像进行灰度化处理，得到灰度图片，再用于识别各个电子元件的类别，实现通过减少图像数据，提高运算效率。
进一步地，本发明实施例利用所述特征提取网络中的卷积层对所述灰度图像进行特征提取，得到特征矩阵集合，然后利用所述特征提取网络中的池化层及flatten层对所述特征矩阵集合先后进行平均池化操作及扁平化操作，使得在保证所述特征矩阵有效性的情况下对特征矩阵进行降维，得到特征序列集合，然后通过所述特征提取网络中的全连接层，将各个特征序列进行全连接操作，得到所述电子主板图像中的图像特征集合。
更进一步地，本发明实施例通过所述决策树多分类网络，根据所述图像特征集合，判断所述电子主板图像中是否含有未封装的电子元件，并对未封装电子元件进行再次分类，得到元件类型，并通过输出层中的算法，将元件位置在所述电子主板图像中进行标注，其中，所述元件位置是指各个未封装电子元件的中心点。
详细的，本发明其中一个实施例中，所述利用预训练的图像识别模型，识别所述电子主板图像中未封装电子元件的元件类型及元件位置之前，所述方法还包括：
获取包含封装及未封装的电子元件的样本图像集合；
依次从所述样本图像集合中提取一个样本图像，并利用预构建的图像识别模型对所述样本图像进行正向传播计算，得到预测结果；
利用预构建的封装二分类损失函数及元件类型多分类损失函数，构建交叉熵组合损失函数，并利用所述交叉熵组合损失函数，计算所述样本图像的真实标注与所述预测结果间的损失值；
利用预构建的反馈神经网络，对所述损失值进行逆向传播，得到更新图像识别模型；
记录各个样本图像的损失值，得到损失值变化曲线，并判断所述损失值变化曲线的收敛性；
当所述损失值变化曲线未收敛时，返回上述依次从所述样本图像集合中提取一个样本图像，并利用预构建的图像识别模型对所述样本图像进行正向传播计算，得到预测结果的步骤，对所述更新图像识别模型进行迭代更新；
当所述损失值变化曲线收敛时，得到训练完成的图像识别模型。
具体的，本发明实施例根据预构建的Transformer卷积神经网络及高斯正太分布函数构建一个初始化的图像识别模型，并获取一个预构建的样本图像集合，其中，所述样本图像集合中每个样本图像都有一个真实标注，所述真实标注可以为：封装的各个电子元件类型，及未封装的各个电子元件类型。
然后，本发明实施例利用所述高斯正太分布函数对所述样本图像进行正向传播计算，得到预测结果，其中，所述预测结果包括元件是否封装及元件类型的预测结果。进一步地，本发明实施例将预构建的封装二分类损失函数及元件类型多分类损失函数通过预设的权重系数进行加权，得到交叉熵组合损失函数，并利用所述交叉熵组合损失函数，将所述预测结果与所述样本图像的真实标注进行函数计算，得到损失值，并通过预构建的反馈（BackPropagation，BP）神经网络对所述损失值进行逆向传播计算，从而更新所述高斯正太分布函数中的各个参数配置，得到更新图像识别模型，完成一次训练过程，并开始利用下一个样本图像进行迭代训练。其中，为避免模型过拟合现象，本发明实施例通过对所述损失值进行记录，得到损失值变化曲线，来把控模型的训练效果，当所述损失值变化曲线拟合时，即可停止训练，得到训练完成的图像识别模型。
S2、截取所述电子主板图像中的未封装电子元件，得到截取图像，并利用预训练的待封装线路识别模型识别所述未封装电子元件的待封装线路。
本发明实施例可以利用标签框，从所述电子主板图像中截取已识别出的未封装电子元件，得到多个截取图像。
详细的，参考图3所示，本发明实施例中，所述利用预训练的待封装线路识别模型识别所述未封装电子元件的待封装线路，包括：
S21、根据预设的图像测距算法，测得所述截取图像中未封装电子元件的长宽大小；
详细地，本发明实施例可以根据所述电子主板及所述视觉传感器之间的位置距离、视觉传感器的焦距参数，及一些预设参数，如电子主板上线路设定为预设N毫米粗等参数，再通过所述图像测距算法，即可得到所述未封装电子元件的长短大小。其中，图像测距过程为常见技术手段，此处不加以赘述。
S22、根据所述长宽大小对所述截取图像进行仿射变换，得到拉正电子元件图像；
本发明实施例中，所述视觉传感器拍摄电子主板的角度与所述高速喷射阀点胶的角度不同，因此，计算所述高速喷射阀的运动轨迹时，需要将所述截取图像进行拉正，然后确定待点胶位置。其中，所述仿射变换为一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间的方法。
S23、提取所述拉正电子元件图像的元件边缘特征，并根据所述元件边缘特征，利用预训练的待封装线路识别模型识别所述未封装电子元件的待封装区域，得到待封装线路，其中，所述待封装线路包括点、线及面。
本发明实施例中，虽可通过预训练的待封装线路识别模型可直接进行线路识别，但识别出的待封装线路，会根据所述截取图像的拍摄角度而改变，不利于喷射阀进行xy轴的模拟运动，因此，本发明实施例通过仿射变化操作，将所述截取图像进行转动拉伸，得到所述未封装电子元件的正面图像，进而通过所述待封装线路识别模型进行封装路线识别，得到所述未封装电子元件的待封装线路。其中，由于电子元件结构不同封装过程存在差异，出现点、线及面的待封装线路。
S3、根据所述元件位置及所述待封装线路，构建得到喷射阀运动地图。
详细的，本发明实施例中，所述根据所述元件位置及所述待封装线路，构建得到喷射阀运动地图，包括：
利用预设的二维坐标系，根据各个所述元件位置，构建元件位置关系图层；
利用聚类算法计算各个所述待封装线路的中心坐标，根据预设的所述中心坐标与所述元件位置对应坐标的对应关系，将所述待封装线路添加至所述元件位置关系图层上，得到喷射阀运动地图。
具体的，本发明实施例根据流水线平面，构建一个X、Y轴坐标系，将步骤S1中得到的元件位置进行坐标映射，得到元件位置关系图层。
其中，根据步骤S2可知，各个所述待封装线路与具体的未封装电子元件有关，而各待封装线路之间不存在关系，因此，本发明实施例通过聚类算法寻找所述待封装线路的中心坐标，并更具预设的所述中心坐标与所述元件位置对应坐标的对应关系，将将所述待封装线路添加至所述元件位置关系图层上，得到喷射阀运动地图。
S4、根据所述元件类型对应的点胶策略及所述喷射阀运动地图，控制预构建的喷射阀对各个所述未封装电子元件进行点胶操作。
详细的，本发明实施例中，所述S4的步骤，包括：
根据预构建的点胶策略，查询所述元件类型对应的喷射方法及喷射物类型；
将所述喷射阀运动地图转化为矩阵脉冲，根据所述喷射方法、所述喷射物类型及矩阵脉冲对预构建的喷射阀进行点胶操作。
本发明实施例中，由于不同电子元件的用胶种类不同、同一种胶粘稠度不同、喷射胶水的频率、密度也有可能不同，因此，本发明实施例根据历史工作经验数据构建一个点胶策略，然后，通过所述点胶策略，查询各个元件类型对应的喷射方法及喷射物类型，解放人力资源。
进一步的，根据所述喷射阀运动地图，可以通过数控技术形成矩阵脉冲，本发明实施例中，所述矩阵脉冲是指当所述喷射阀在xy轴移动到预设位置上时，即可生成一个电流脉冲，控制所述喷射阀打开出胶口，完成喷射胶水动作。
本发明实施例利用图像识别模型对电子主板图像进行未封装电子元件识别，其中，所述图像识别模型为一种基于神经网络及决策树森林的模型，能够识别所述电子主板图像中的各个电子元件，并对电子元件进行封装判断及类型判断，得到未封装电子元件的元件类型、元件位置；然后根据所述待封装线路识别模型对各个未封装电子元件的可封装位置进行自动化识别，得到待封装线路，其中，所述待封装线路识别模型也为图像识别模型，可增加封装路线识别的准确性及效率，此外，所述待封装线路可以转化为喷射阀运动地图，而喷射阀运动地图可为通过数控技术转化为喷射阀的脉冲电流，从而实现喷射阀的控制。因此，本发明实施例提供的一种高速喷射阀控制方法，能够在于通过图像识别技术，自动化控制高速喷射阀，增加电子元件的点胶效率。
如图4所示，是本发明一实施例提供的高速喷射阀控制装置的功能模块图。
本发明所述高速喷射阀控制装置100可以安装于电子设备中。根据实现的功能，所述高速喷射阀控制装置100可以包括元件定位模块101、封装线路识别模块102及自动化控制模块103。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述元件定位模块101，用于从预构建的视觉传感器获取电子主板图像，并利用预训练的图像识别模型，识别所述电子主板图像中未封装电子元件的元件类型及元件位置；
所述封装线路识别模块102，用于截取所述电子主板图像中的未封装电子元件，得到截取图像，并利用预训练的待封装线路识别模型识别所述未封装电子元件的待封装线路；
所述自动化控制模块103，用于根据所述元件位置及所述待封装线路，构建得到喷射阀运动地图，及根据所述元件类型对应的点胶策略及所述喷射阀运动地图，控制预构建的喷射阀对各个所述未封装电子元件进行点胶操作。
详细地，本申请实施例中所述高速喷射阀控制装置100中所述的各模块在使用时采用与上述图1至图3中所述的高速喷射阀控制方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图5所示，是本发明一实施例提供的实现高速喷射阀控制方法的电子设备1的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如高速喷射阀控制程序。
其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing Unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备1的控制核心（ControlUnit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如执行高速喷射阀控制程序等），以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（Secure Digital，SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如高速喷射阀控制程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线12可以是外设部件互连标准（Peripheral ComponentInterconnect，简称PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
所述通信接口13用于上述电子设备1与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的高速喷射阀控制程序是多个指令的组合，在所述处理器10中运行时，可以实现：
从预构建的视觉传感器获取电子主板图像，并利用预训练的图像识别模型，识别所述电子主板图像中未封装电子元件的元件类型及元件位置；
截取所述电子主板图像中的未封装电子元件，得到截取图像，并利用预训练的待封装线路识别模型识别所述未封装电子元件的待封装线路；
根据所述元件位置及所述待封装线路，构建得到喷射阀运动地图；
根据所述元件类型对应的点胶策略及所述喷射阀运动地图，控制预构建的喷射阀对所述各个未封装电子元件进行点胶操作。
具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
从预构建的视觉传感器获取电子主板图像，并利用预训练的图像识别模型，识别所述电子主板图像中未封装电子元件的元件类型及元件位置；
截取所述电子主板图像中的未封装电子元件，得到截取图像，并利用预训练的待封装线路识别模型识别所述未封装电子元件的待封装线路；
根据所述元件位置及所述待封装线路，构建得到喷射阀运动地图；
根据所述元件类型对应的点胶策略及所述喷射阀运动地图，控制预构建的喷射阀对各个所述未封装电子元件进行点胶操作。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种高速喷射阀控制方法，其特征在于，所述方法包括：
从预构建的视觉传感器获取电子主板图像，并利用预训练的图像识别模型，识别所述电子主板图像中未封装电子元件的元件类型及元件位置；
截取所述电子主板图像中的未封装电子元件，得到截取图像，并利用预训练的待封装线路识别模型识别所述未封装电子元件的待封装线路；
根据所述元件位置及所述待封装线路，构建得到喷射阀运动地图；
根据所述元件类型对应的点胶策略及所述喷射阀运动地图，控制预构建的喷射阀对各个所述未封装电子元件进行点胶操作。
2.如权利要求1所述的高速喷射阀控制方法，其特征在于，所述利用预训练的待封装线路识别模型识别所述未封装电子元件的待封装线路，包括：
根据预设的图像测距算法，测得所述截取图像中未封装电子元件的长宽大小；
根据所述长宽大小对所述截取图像进行仿射变换，得到拉正电子元件图像；
提取所述拉正电子元件图像的元件边缘特征，并根据所述元件边缘特征，利用预训练的待封装线路识别模型识别所述未封装电子元件的待封装区域，得到待封装线路，其中，所述待封装线路包括点、线及面。
3.如权利要求1所述的高速喷射阀控制方法，其特征在于，所述根据所述元件类型对应的点胶策略及所述喷射阀运动地图，控制预构建的喷射阀对各个所述未封装电子元件进行点胶操作，包括：
根据预构建的点胶策略，查询所述元件类型对应的喷射方法及喷射物类型；
将所述喷射阀运动地图转化为矩阵脉冲，根据所述喷射方法、所述喷射物类型及矩阵脉冲对预构建的喷射阀进行点胶操作。
4.如权利要求1所述的高速喷射阀控制方法，其特征在于，所述利用预训练的图像识别模型，识别所述电子主板图像中未封装电子元件的元件类型及元件位置，包括：
利用所述图像识别模型的输入层网络对所述电子主板图像进行灰度化处理，得到灰度图像；
利用所述图像识别模型的特征提取网络对所述灰度图像进行特征提取，得到图像特征集合；
利用所述图像识别模型中的决策树多分类网络，根据所述图像特征集合，识别所述电子主板图像中各电子元件的元件类型以及封装情况，得到未封装电子元件的元件类型，并在所述电子主板图像中标记各个未封装电子元件的元件位置。
5.如权利要求4所述的高速喷射阀控制方法，其特征在于，所述利用预训练的图像识别模型，识别所述电子主板图像中未封装电子元件的元件类型及元件位置之前，所述方法还包括：
获取包含封装及未封装的电子元件的样本图像集合；
依次从所述样本图像集合中提取一个样本图像，并利用预构建的图像识别模型对所述样本图像进行正向传播计算，得到预测结果；
利用预构建的封装二分类损失函数及元件类型多分类损失函数，构建交叉熵组合损失函数，并利用所述交叉熵组合损失函数，计算所述样本图像的真实标注与所述预测结果间的损失值；
利用预构建的反馈神经网络，对所述损失值进行逆向传播，得到更新图像识别模型；
记录各个样本图像的损失值，得到损失值变化曲线，并判断所述损失值变化曲线的收敛性；
当所述损失值变化曲线未收敛时，返回上述依次从所述样本图像集合中提取一个样本图像，并利用预构建的图像识别模型对所述样本图像进行正向传播计算，得到预测结果的步骤，对所述更新图像识别模型进行迭代更新；
当所述损失值变化曲线收敛时，得到训练完成的图像识别模型。
6.如权利要求1所述的高速喷射阀控制方法，其特征在于，所述根据所述元件位置及所述待封装线路，构建得到喷射阀运动地图，包括：
利用预设的二维坐标系，根据各个所述元件位置，构建元件位置关系图层；
利用聚类算法计算各个所述待封装线路的中心坐标，根据预设的所述中心坐标与所述元件位置对应坐标的对应关系，将所述待封装线路添加至所述元件位置关系图层上，得到喷射阀运动地图。
7.一种高速喷射阀控制装置，其特征在于，所述装置包括：
元件定位模块，用于从预构建的视觉传感器获取电子主板图像，并利用预训练的图像识别模型，识别所述电子主板图像中未封装电子元件的元件类型及元件位置；
封装线路识别模块，用于截取所述电子主板图像中的未封装电子元件，得到截取图像，并利用预训练的待封装线路识别模型识别所述未封装电子元件的待封装线路；
自动化控制模块，用于根据所述元件位置及所述待封装线路，构建得到喷射阀运动地图，及根据所述元件类型对应的点胶策略及所述喷射阀运动地图，控制预构建的喷射阀对各个所述未封装电子元件进行点胶操作。
8.如权利要求7所述的高速喷射阀控制装置，其特征在于，所述利用预训练的待封装线路识别模型对所述截取图像进行待封装位置识别，得到所述未封装电子元件的待封装线路，包括：
根据预设的图像测距算法，测得所述截取图像中未封装电子元件的长宽大小；
根据所述长宽大小对所述截取图像进行仿射变换，得到拉正电子元件图像；
提取所述拉正电子元件图像的元件边缘特征，并根据所述元件边缘特征，利用预训练的待封装线路识别模型识别所述未封装电子元件的待封装区域，得到待封装线路，其中，所述待封装线路包括点、线及面。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任意一项所述的高速喷射阀控制方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任意一项所述的高速喷射阀控制方法。
CN202210679632.XA 2022-06-16 2022-06-16 高速喷射阀控制方法、装置、电子设备及存储介质 Pending CN114769072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210679632.XA CN114769072A (zh) 2022-06-16 2022-06-16 高速喷射阀控制方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210679632.XA CN114769072A (zh) 2022-06-16 2022-06-16 高速喷射阀控制方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114769072A true CN114769072A (zh) 2022-07-22

Family

ID=82421076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210679632.XA Pending CN114769072A (zh) 2022-06-16 2022-06-16 高速喷射阀控制方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114769072A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058241A (zh) * 2023-10-10 2023-11-14 轩创(广州)网络科技有限公司 一种基于人工智能的电子元件定位方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262474A (zh) * 2010-05-27 2011-11-30 乐金显示有限公司 触摸显示设备及其制造方法
CN106238286A (zh) * 2016-11-04 2016-12-21 维沃移动通信有限公司 一种点胶方法和装置
CN107463953A (zh) * 2017-07-21 2017-12-12 上海交通大学 在标签含噪情况下基于质量嵌入的图像分类方法及系统
CN110152938A (zh) * 2019-04-02 2019-08-23 华中科技大学 一种元器件点胶轨迹提取方法及自动控制机器人系统
CN112990444A (zh) * 2021-05-13 2021-06-18 电子科技大学 一种混合式神经网络训练方法、系统、设备及存储介质
CN113920379A (zh) * 2021-11-09 2022-01-11 北京工业大学 一种基于知识辅助的零样本图像分类方法
CN114418489A (zh) * 2022-01-04 2022-04-29 常州首信智能制造有限公司 物流分拣机器人的智能监测预警方法、装置、设备及介质
CN114445410A (zh) * 2022-04-11 2022-05-06 武汉飞恩微电子有限公司 基于图像识别的电路板检测方法、计算机及可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262474A (zh) * 2010-05-27 2011-11-30 乐金显示有限公司 触摸显示设备及其制造方法
CN106238286A (zh) * 2016-11-04 2016-12-21 维沃移动通信有限公司 一种点胶方法和装置
CN107463953A (zh) * 2017-07-21 2017-12-12 上海交通大学 在标签含噪情况下基于质量嵌入的图像分类方法及系统
CN110152938A (zh) * 2019-04-02 2019-08-23 华中科技大学 一种元器件点胶轨迹提取方法及自动控制机器人系统
CN112990444A (zh) * 2021-05-13 2021-06-18 电子科技大学 一种混合式神经网络训练方法、系统、设备及存储介质
CN113920379A (zh) * 2021-11-09 2022-01-11 北京工业大学 一种基于知识辅助的零样本图像分类方法
CN114418489A (zh) * 2022-01-04 2022-04-29 常州首信智能制造有限公司 物流分拣机器人的智能监测预警方法、装置、设备及介质
CN114445410A (zh) * 2022-04-11 2022-05-06 武汉飞恩微电子有限公司 基于图像识别的电路板检测方法、计算机及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
闫建国: "《计算机控制系统》", 31 March 2019, 西北工业大学出版社 *
鱼滨: "《基于MATLAB和遗传算法的图像处理》", 30 September 2015, 西安电子科技大学出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058241A (zh) * 2023-10-10 2023-11-14 轩创(广州)网络科技有限公司 一种基于人工智能的电子元件定位方法及系统
CN117058241B (zh) * 2023-10-10 2024-03-29 轩创(广州)网络科技有限公司 一种基于人工智能的电子元件定位方法及系统

Similar Documents

Publication Publication Date Title
CN112465071A (zh) 图像多标签分类方法、装置、电子设备及介质
CN112446544A (zh) 交通流预测模型训练方法、装置、电子设备及存储介质
CN112396005A (zh) 生物特征图像识别方法、装置、电子设备及可读存储介质
CN112699775A (zh) 基于深度学习的证件识别方法、装置、设备及存储介质
CN113705462B (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN112052850A (zh) 车牌识别方法、装置、电子设备及存储介质
CN114663198A (zh) 基于用户画像的产品推荐方法、装置、设备及存储介质
CN114491047A (zh) 多标签文本分类方法、装置、电子设备及存储介质
CN112528616A (zh) 业务表单生成方法、装置、电子设备及计算机存储介质
CN114708461A (zh) 基于多模态学习模型的分类方法、装置、设备及存储介质
CN113868529A (zh) 知识推荐方法、装置、电子设备及可读存储介质
CN114722281A (zh) 基于用户画像及用户选课行为的培训课程配置方法、装置
CN113268665A (zh) 基于随机森林的信息推荐方法、装置、设备及存储介质
CN111985449A (zh) 救援现场图像的识别方法、装置、设备及计算机介质
CN115471775A (zh) 基于录屏视频的信息验证方法、装置、设备及存储介质
CN114769072A (zh) 高速喷射阀控制方法、装置、电子设备及存储介质
CN115205225A (zh) 医学图像识别模型的训练方法、装置、设备及存储介质
CN114913371A (zh) 多任务学习模型训练方法、装置、电子设备及存储介质
CN112101481B (zh) 目标物的影响因子筛选方法、装置、设备及存储介质
CN112269875A (zh) 文本分类方法、装置、电子设备及存储介质
CN115204971B (zh) 产品推荐方法、装置、电子设备及计算机可读存储介质
CN113706019B (zh) 基于多维数据的业务能力分析方法、装置、设备及介质
CN115049836A (zh) 图像分割方法、装置、设备及存储介质
CN112561500B (zh) 基于用户数据的薪酬数据生成方法、装置、设备及介质
CN114463685A (zh) 行为识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220722