CN113379784A - 一种基于x射线投影的smt物料盘电子元器件的计数方法 - Google Patents

一种基于x射线投影的smt物料盘电子元器件的计数方法 Download PDF

Info

Publication number
CN113379784A
CN113379784A CN202110596222.4A CN202110596222A CN113379784A CN 113379784 A CN113379784 A CN 113379784A CN 202110596222 A CN202110596222 A CN 202110596222A CN 113379784 A CN113379784 A CN 113379784A
Authority
CN
China
Prior art keywords
area
electronic component
adhesion
smt
ray projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110596222.4A
Other languages
English (en)
Other versions
CN113379784B (zh
Inventor
徐圆
黄浚璋
周凌宏
林国钦
夏进球
凌庆庆
周怡雯
罗华丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Medical University
Original Assignee
Southern Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Medical University filed Critical Southern Medical University
Priority to CN202110596222.4A priority Critical patent/CN113379784B/zh
Publication of CN113379784A publication Critical patent/CN113379784A/zh
Application granted granted Critical
Publication of CN113379784B publication Critical patent/CN113379784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

一种基于X射线投影的SMT物料盘电子元器件的计数方法，构建的电子元器件分割模型将待计数的SMT电子元器件物料盘的X射线投影图像转换为去除背景的分割二值图像，然后确定去除背景的分割二值图像中的粘连区域与非粘连区域的个数和位置，然后对去除背景的分割二值图像进行腐蚀操作，进行区域划分，并确定新的粘连区域和非粘连区域的个数，再确定新的单个电子元器件的单位面积和新的粘连区域内的电子元器件个数，最后将所有新的粘连区域中电子元器件的个数和新的非粘连区域的个数相加即为待计数的SMT电子元器件物料盘的X射线投影图像中总的电子元器件个数。该方法能够应用于多种SMT物料盘，且具有识别电子元器件的精度高、计数准确、低成本的特点。

Description

一种基于X射线投影的SMT物料盘电子元器件的计数方法
技术领域
本发明涉及图像重建领域，特别是涉及一种基于X射线投影的SMT物料盘 电子元器件的计数方法。
背景技术
表面组装技术(SMT)是在工业领域中生产电路印刷板(PCB板)最常用 的技术之一。表面组装技术指的是直接将电子元件贴装在电路板表面的方法。 表面组装技术以自身的特点和优势，使得电子组装技术产生了根本性、革命性 的变革，并在应用过程中不断地发展完善。
在实际的工业生产过程中，确定SMT物料盘上元器件的数目是一个非自动 化但却十分关键的步骤。然而由于在物料盘上的微型电子元器件的尺寸微小、 数量庞大且种类参差不齐，很难对采用一种单一的计数方法对物料盘中的各种 电子元器件进行精确而迅速的计数。现有技术中，使用纯手工方法以及采用X 射线点料机对物料盘进行计数的方法或者采用数字图像处理技术对X射线投影 图像进行形态学操作并计数的方法都可以对SMT物料盘中电子元器件进行计 数。但是，纯手工方法不准确且需要大量的人力和时间成本，采用X射线点料 机对物料盘进行计数的方法成本高且存在辐射风险，采用数字图像处理技术对X 射线投影图像进行形态学操作并计数的方法依赖于图像处理技术的结果，X射 线图像中器件的投影中会发生的局部粘连和重叠现象导致漏检率较高，粘连区 域的分割精度直接影响最终检测的准确率。目前的SMT物料盘电子元器件的计 数方法成本高且准确度低。
因此，针对现有技术不足，提供一种基于X射线投影的SMT物料盘电子元 器件的计数方法以克服现有技术不足甚为必要。
发明内容
本发明的目的在于避免现有技术的不足之处而提供一种基于X射线投影的 SMT物料盘电子元器件的计数方法，能够应用于不同种类的SMT物料盘，且识 别电子元器件的精度高，计数准确，还能够减少人力资源与机器资源的投入， 计数成本低。
本发明的目的通过以下技术措施实现。
提供一种基于X射线投影的SMT物料盘电子元器件的计数方法，包括以下 步骤：
S1：构建电子元器件分割模型；
S2：获取待计数的SMT电子元器件物料盘的X射线投影数据，将待计数的 SMT电子元器件物料盘的X射线投影数据进行格式转换后调整尺寸，获得待计 数的SMT电子元器件物料盘的X射线投影图像，然后将待计数的SMT电子元 器件物料盘的X射线投影图像输入到电子元器件分割模型中，获得去除背景的 分割二值图像；
S3：使用Matlab软件对去除背景的分割二值图像的像素区域进行统计，确 定单个电子元器件的单位面积和粘连目标的面积，根据粘连目标的面积与单个 电子元器件的单位面积的比值确定粘连区域与非粘连区域，并对粘连区域与非 粘连区域分别进行初始个数统计和位置确定；
S4：利用形态学中的腐蚀操作处理去除背景的二值图像，获得腐蚀操作后 的二值图像；
S5：对腐蚀操作后的二值图像进行区域划分，使用Matlab软件对腐蚀操作 后的二值图像中的像素面积进行统计，确定腐蚀操作后的单个电子元器件的单 位面积和粘连目标的面积，根据腐蚀操作后的粘连目标的面积与单个电子元器 件的面积比值确定新的粘连区域，更新粘连区域和非粘连区域的个数；
S6：在新的粘连区域附近，根据区域相似性，寻找距离最近的n个单个电 子元器件，n为自然数，计算n个单个电子元器件的平均面积作为新的单个电子 元器件的单位面积，根据新的粘连区域面积和新的单个电子元器件的单位面积 确定新的粘连区域的电子元器件个数；
S7：将所有新的粘连区域中电子元器件的个数与步骤S5中更新后的非粘连 区域的个数相加，获得待计数的SMT电子元器件物料盘的电子元器件总数；
S8：对新的粘连区域进行凸多边形勾画，通过计算凸多边形的斜率确定新 的粘连区域内粘连电子元器件所在直线，根据新的粘连区域的电子元器件个数 均分并确定新的粘连区域内的单个电子元器件的位置，并以均分点作为单个电 子元器件的中心点；
S9：在待计数的SMT电子元器件物料盘的X射线投影图像中标记出每个电 子元器件的中心点并在待计数的SMT电子元器件物料盘的X射线投影图像上输 出电子元器件总数。
优选的，步骤S1构建电子元器件分割模型具体包括以下步骤：
S11：构建训练数据集；
具体是，采集多个不同种类SMT物料盘的X射线投影数据，对每一个SMT 物料盘的X射线投影数据进行格式转化获得多个SMT物料盘的X射线投影图 像，对每一个SMT物料盘的X射线投影图像进行分割标定和图像分块，获得的 分割标签和分块后的图像构成训练数据集；
S12：构建神经网络结构并设计训练参数；
S13：使用训练数据集对神经网络结构进行训练，将训练数据集中的所有分 割标签和对应的分块后的图像均输入神经网络结构中对神经网络结构进行训练 获得神经网络模型；
S14：在每次迭代过程中根据损失值使用Adam优化器对神经网络模型的参 数进行更新；
S15：当损失值收敛，迭代结束，获得电子元器件分割模型。
优选的，所述神经网络结构包括用于提取特征的上采样部分和用于恢复目 标细节及图像大小的下采样部分；
所述上采样部分设置有八个子编码层和七个池化层，任意相邻两个编码层 之间连接有一个池化层；
所述下采样部分设置有八个子解码层和七个逆池化层，任意相邻两个解码 层之间连接有一个逆池化层。
优选的，定义最靠近图像输入层的子编码层为第一子编码层，所述第一子 编码层依次设置有一个卷积层，一个ReLU层，其余七个子编码层设有一个卷 积层、一个子BN层和一个ReLU层；
所述卷积层的卷积核大小为3×3，运行的步长为2×2；
定义最靠近图像输出层的子解码层为第一子解码层，所述第一子解码层中 设有一个逆卷积层，一个Sigmoid层，其余七个子解码层均设有一个逆卷积层， 一个激活层，一个Dropout层与一个连接层；
所述逆卷积层的卷积核大小为3×3，每次逆卷积操作下，运行的步长为 2×2。
优选的，步骤S2中格式转换是将SMT电子元器件物料盘的X射线投影数 据转换成png格式的图片，调整尺寸具体是将png格式的图片大小调整为3072 ×3072。
优选的，步骤S3中使用Matlab软件对去除背景的分割二值图像的像素面积 进行统计，确定单个电子元器件的单位面积和粘连目标的面积具体是，使用 regionprops函数对去除背景的分割二值图像进行面积统计获得粘连目标的面 积和非粘连区域的中心点，然后建立面积分布直方图，选择面积分布直方图中 数量最多的区间，计算获得单个电子元器件的单位面积；
步骤S5中使用Matlab软件对腐蚀操作后的二值图像中的像素面积进行统 计，确定腐蚀操作后的单个电子元器件的单位面积和粘连目标的面积具体是， 使用regionprops函数对腐蚀操作后的二值图像进行面积统计获得腐蚀操作后 的粘连目标的面积和非粘连区域的中心点，然后建立面积分布直方图，选择面 积分布直方图中数量最多的区间，计算获得腐蚀操作后的单个电子元器件的单 位面积。
优选的，步骤S3中粘连目标的面积与单个电子元器件的单位面积的比值 大于等于2时，粘连目标为粘连区域，粘连目标的面积与单个电子元器件的单 位面积的比值等于1时，粘连目标为非粘连区域；
步骤S5中腐蚀操作后的粘连目标的面积与单个电子元器件的面积比值大于 等于2时的粘连目标为新的粘连区域。
优选的，步骤S5中对腐蚀操作后的二值图像进行区域划分具体是，以腐蚀 操作后的二值图像的中心为圆心建立笛卡尔坐标系，从X轴正方向开始，45度 为一个间隔，沿着顺时针方向将图像分为八个区域。
优选的，步骤S6中根据新的粘连区域面积和新的单个电子元器件的单位面 积确定新的粘连区域的电子元器件个数具体是，将新的粘连区域面积和新的单 个电子元器件的单位面积进行比较，所获得的比值为新的粘连区域的电子元器 件个数。
优选的，步骤S8中通过计算凸多边形的斜率确定新的粘连区域内粘连电子 元器件所在直线具体是，使用Matlab计算出与粘连区域具有相同标准二阶中心 距的椭圆的长轴与笛卡尔坐标系X轴的交角，交角的正切值为长轴的斜率，然 后求出直线与凸多边形的两个交点，再用点斜式方程确定新的粘连区域内粘连 电子元器件所在直线。
本发明的一种基于X射线投影的SMT物料盘电子元器件的计数方法，包括 以下步骤：S1：构建电子元器件分割模型；S2：获取待计数的SMT电子元器件 物料盘的X射线投影数据，将待计数的SMT电子元器件物料盘的X射线投影 数据进行格式转换后调整尺寸，获得待计数的SMT电子元器件物料盘的X射线 投影图像，然后将待计数的SMT电子元器件物料盘的X射线投影图像输入到电 子元器件分割模型中，获得去除背景的分割二值图像；S3：使用Matlab软件对 去除背景的分割二值图像的像素区域进行统计，确定单个电子元器件的单位面 积和粘连目标的面积，根据粘连目标的面积与单个电子元器件的单位面积的比 值确定粘连区域与非粘连区域，并对粘连区域与非粘连区域分别进行初始个数 统计和位置确定；S4：利用形态学中的腐蚀操作处理去除背景的二值图像，获 得腐蚀操作后的二值图像；S5：对腐蚀操作后的二值图像进行区域划分，使用 Matlab软件对腐蚀操作后的二值图像中的像素面积进行统计，确定腐蚀操作后 的单个电子元器件的单位面积和粘连目标的面积，根据腐蚀操作后的粘连目标 的面积与单个电子元器件的面积比值确定新的粘连区域，更新粘连区域和非粘 连区域的个数；S6：在新的粘连区域附近，根据区域相似性，寻找距离最近的n 个单个电子元器件，n为自然数，计算n个单个电子元器件的平均面积作为新的 单个电子元器件的单位面积，根据新的粘连区域面积和新的单个电子元器件的 单位面积确定新的粘连区域的电子元器件个数；S7：将所有新的粘连区域中电 子元器件的个数与步骤S5中更新后的非粘连区域的个数相加，获得待计数的 SMT电子元器件物料盘的电子元器件总数；S8：对新的粘连区域进行凸多边形 勾画，通过计算凸多边形的斜率确定新的粘连区域内粘连电子元器件所在直线， 根据新的粘连区域的电子元器件个数均分并确定新的粘连区域内的单个电子元 器件的位置，并以均分点作为单个电子元器件的中心点；S9：在待计数的SMT 电子元器件物料盘的X射线投影图像中标记出每个电子元器件的中心点并在待计数的SMT电子元器件物料盘的X射线投影图像上输出电子元器件总数。本方 法中的电子元器件分割模型是基于深度学习技术构建的，能够自动、快速的提 取不同种类的SMT电子元器件物料盘的X射线投影图像中的各种电子元器件的 特征，精确的对SMT电子元器件物料盘的X射线投影图像的图像背景进行分割， 使最终获得的SMT电子元器件物料盘的电子元器件个数更加准确。另外，本方 法在使用时不需要人为参与和X射线电料机参与，减少人力资源与机器资源的 投入，计数成本低。
附图说明
利用附图对本发明作进一步的说明，但附图中的内容不构成对本发明的任 何限制。
图1是实施例1中的SMT物料盘的X射线投影图像，其中图1(a)、(b)、 (c)、(d)、(e)、(f)、(g)、(h)、(i)是9种不同的SMT物料盘的X射线投 影图像。
图2是图1(a)输入电子元器件分割模型中获得的去除背景的分割二值图 像。
图3是实施例1中区域划分后的腐蚀操作后的二值图像。
图4是实施例1中粘连区域内粘连电子元器件所在直线与凸多边形的位置 关系示意图。
图5是实施例1中在待计数的SMT电子元器件物料盘的X射线投影图像中 标记出每个电子元器件的中心点的结构示意图。
图6是实施例1中电子元器件的总数最终显示在待计数的SMT电子元器件 物料盘的X射线投影图像的显示示意图。
具体实施方式
结合以下实施例对本发明作进一步说明。
实施例1。
一种基于X射线投影的SMT物料盘电子元器件的计数方法，包括以下步骤：
S1：构建电子元器件分割模型，具体包括以下步骤：
S11：构建训练数据集。具体是，采集多个不同种类SMT物料盘的X射线 投影数据，对每一个SMT物料盘的X射线投影数据进行格式转化获得多个SMT 物料盘的X射线投影图像，对每一个SMT物料盘的X射线投影图像进行分割 标定和图像分块，获得的分割标签和分块后的图像构成训练数据集。本实施例 中图像分块具体是将3072×3072大小的图像分块为256×256大小的图像。训练 数据集包括多个不同种类SMT物料盘的X射线投影数据，所以构建的电子元器 件分割模型能够应用于不同种类的SMT物料盘，进行SMT物料盘电子元器件识 别。本实施例中具体采集9种不同种类SMT物料盘的X射线投影数据，经过格 式转换后的9种SMT物料盘的X射线投影图像如图1所示。需要说明的是，构 建训练数据集的SMT物料盘的X射线投影数据不限于本实施中的9种SMT物 料盘的X射线投影图像所对应的SMT物料盘的X射线投影数据，也可以是其 它SMT物料盘的X射线投影图像所对应的SMT物料盘的X射线投影数据。
本实施例中训练数据集是由多个不同种类SMT物料盘的X射线投影数据对 应的SMT物料盘的X射线投影图像处理获得的分割标签和分块后的图像构成 的，所以本实施例的电子元器件分割模型可以识别多个不同种类、型号的SMT 物料盘电子元器件，本实施例的SMT物料盘电子元器件的计数方法可以应用到 多种不同种类、型号的SMT物料盘。
S12：构建神经网络结构并设计训练参数。本实施例中，神经网络结构包括 用于提取特征的上采样部分和用于恢复目标细节及图像大小的下采样部分。上 采样部分设置有八个子编码层和七个池化层，任意相邻两个编码层之间连接有 一个池化层。下采样部分设置有八个子解码层和七个逆池化层，任意相邻两个 解码层之间连接有一个逆池化层。训练参数包括训练轮次、训练批次、优化器、 损失函数的确定。
定义最靠近图像输入层的子编码层为第一子编码层，第一子编码层依次设 置有一个卷积层，一个ReLU层，其余七个子编码层设有一个卷积层、一个子 BN层和一个ReLU层，卷积层的卷积核大小为3×3，运行的步长为2×2。ReLU 层中的函数为ReLU函数,公式为f(x)＝max(0，x)。
定义最靠近图像输出层的子解码层为第一子解码层，第一子解码层中设有 一个逆卷积层，一个Sigmoid层，其余七个子解码层均设有一个逆卷积层，一个 激活层，一个Dropout层与一个连接层，的逆卷积层的卷积核大小为3×3，每 次逆卷积操作下，运行的步长为2×2。Sigmoid层是指在网络输出时，将输出掩 膜的象素值保持在(0，1)之间，Sigmoid函数公式为
Figure RE-GDA0003171848470000081
其中S(x) 为输出掩膜象素值，x为原象素值。Dropout层中Dropout是指在深度学习网络 的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。 采用Dropout可以有效避免过拟合，提高模型的泛化能力，所述方法中对于每一 层连接节点的丢弃概率为0.5。
S13：使用训练数据集对神经网络结构进行训练，将训练数据集中的所有分 割标签和对应的分块后的图像均输入神经网络结构中对神经网络结构进行训练 获得神经网络模型。神经网络结构对输入的分块后的图像先进行卷积与池化处 理，获得初始特征图像，然后对初始特征图像进行归一化处理，再通过池化层 对激活后的初始特征图像进行下采样处理，获得特性图像，然后利用解码层对 所述特性图像进行逆卷积，获得与输入的分块后的图像大小相同的解码图像。 其中，归一化处理的归一化公式为，
Figure RE-GDA0003171848470000091
μ为特征的均值，σ为特 征的方差，ε为常量，一般为10-5。
S14：在每次迭代过程中根据损失值使用Adam优化器对神经网络模型的参 数进行更新。损失值由损失函数获得，损失函数的计算公式为
Figure RE-GDA0003171848470000092
其中，Hp(q)为损失函数输出的值，yi为对应的标签类别，在二分类中为 0或者1，而p(y)代表了所有点属于正例的概率，N为输入点数。
S15：当损失值收敛，迭代结束，获得电子元器件分割模型。电子元器件分 割模型基于深度学习技术从多种大量的训练样本中自动地提取SMT的X射线投 影图像中各种电子元器件的特征，这些电子元器件的特征有着更强的表征能力 和泛化能力，不仅可以更加精确的对图像背景进行分割，具有很好的鲁棒性。 另外，电子元器件分割模型识别电子元器件的特征是基于计算机进行的，识别 速度快，辐射低，且能够避免人为计数时造成的误判情况，使用的机器资源少。 并且，本实施例中的电子元器件分割模型能够识别电容、电感、整流桥以及电 阻电子元器件，普适性高。
S2：获取待计数的SMT电子元器件物料盘的X射线投影数据，将待计数的 SMT电子元器件物料盘的X射线投影数据进行格式转换后调整尺寸，获得待计 数的SMT电子元器件物料盘的X射线投影图像，然后将待计数的SMT电子元 器件物料盘的X射线投影图像输入到电子元器件分割模型中，获得去除背景的 分割二值图像。格式转换是将SMT电子元器件物料盘的X射线投影数据转换成 png格式的图片，调整尺寸具体是将png格式的图片大小调整为3072×3072。 本实施例中具体以图1(a)作为待计数的SMT电子元器件物料盘的X射线投影图像，但不限于图1(a)，还可以是图1或者非图1中的其它SMT物料盘的 X射线投影图像。本实施例中的待计数的SMT电子元器件物料盘的X射线投影 图像获得的输入到电子元器件分割模型中去除背景的分割二值图像如图2所示。
S3：使用Matlab软件对去除背景的分割二值图像的像素区域进行统计，确 定单个电子元器件的单位面积和粘连目标的面积，根据粘连目标的面积与单个 电子元器件的单位面积的比值确定粘连区域与非粘连区域，并对粘连区域与非 粘连区域分别进行初始个数统计和位置确定。使用Matlab软件对去除背景的分 割二值图像的像素面积进行统计，确定单个电子元器件的单位面积和粘连目标 的面积具体是，使用regionprops函数对去除背景的分割二值图像进行面积统 计获得粘连目标的面积和非粘连区域的中心点，然后建立面积分布直方图，选 择面积分布直方图中数量最多的区间，计算获得单个电子元器件的单位面积。 粘连目标的面积与单个电子元器件的单位面积的比值大于等于2时，粘连目标 为粘连区域，粘连目标的面积与单个电子元器件的单位面积的比值等于1时， 粘连目标为非粘连区域。
计算单个电子元器件的单位面积具体是，用面积分布直方图中的最大的面 积减去最小的面积，除以40后再除以2，表示分为40个区间，除以2得出区间 宽度的一半；用之前求得的数据最多的中心位置分别减半个区间宽度和加半个 区间宽度，这样就得出了单个电子元器件的单位面积所在的区间，返回符合这 个区间的面积数据；求区间中面积数据的平均数，加上全部面积数据的中位数， 最后除以2，就得到了单个电子元器件的单位面积，这样计算后的单位面积更精 确。
S4：利用形态学中的腐蚀操作处理去除背景的二值图像，获得腐蚀操作后 的二值图像，具体是使用Matlab软件中的Imeroder函数构建像素面积为2的 圆形结构元素(Structure Element)对去除背景的二值图像进行初步腐蚀处理， 减少粘连区域个数，同时使用bwareaopen函数去除二值图像中面积小于10个 像素的对象以减少因为噪点带来的干扰，经腐蚀操作后获得腐蚀操作后的二值 图像。
S5：对腐蚀操作后的二值图像进行区域划分，使用Matlab软件对腐蚀操作 后的二值图像中的像素面积进行统计，确定腐蚀操作后的单个电子元器件的单 位面积和粘连目标的面积，根据腐蚀操作后的粘连目标的面积与单个电子元器 件的面积比值确定新的粘连区域，更新粘连区域和非粘连区域的个数。
对腐蚀操作后的二值图像进行区域划分具体是，以腐蚀操作后的二值图像 的中心为圆心建立笛卡尔坐标系，从X轴正方向开始，45度为一个间隔，沿着 顺时针方向将图像分为八个区域。区域划分后的腐蚀操作后的二值图像如图3 所示。
本实施例中，使用Matlab软件对腐蚀操作后的二值图像中的像素面积进行 统计，确定腐蚀操作后的单个电子元器件的单位面积和粘连目标的面积具体是， 使用regionprops函数对腐蚀操作后的二值图像进行面积统计获得腐蚀操作后 的粘连目标的面积和非粘连区域的中心点，然后建立面积分布直方图，选择面 积分布直方图中数量最多的区间，计算获得腐蚀操作后的单个电子元器件的单 位面积。腐蚀操作后的粘连目标的面积与单个电子元器件的面积比值大于等于2 时的粘连目标为新的粘连区域。腐蚀操作后的单个电子元器件的单位面积的计 算方法与步骤S3中去除背景的分割二值图像中计算单个电子元器件的单位面积 的方法一样，在此不再赘述。
S6：在新的粘连区域附近，根据区域相似性，寻找距离最近的n个单个电 子元器件，n为自然数，计算n个单个电子元器件的平均面积作为新的单个电子 元器件的单位面积，根据新的粘连区域面积和新的单个电子元器件的单位面积 确定新的粘连区域的电子元器件个数。本实施例中，使用Matlab软件的pdist2 函数寻找距离最近的n个单个电子元器件。步骤S6中根据新的粘连区域面积和 新的单个电子元器件的单位面积确定新的粘连区域的电子元器件个数具体是， 将新的粘连区域面积和新的单个电子元器件的单位面积进行比较，所获得的比 值为新的粘连区域的电子元器件个数。
S7：将所有新的粘连区域中电子元器件的个数与步骤S5中更新后的非粘连 区域的个数相加，获得待计数的SMT电子元器件物料盘的电子元器件总数。
S8：对新的粘连区域进行凸多边形勾画，通过计算凸多边形的斜率确定新 的粘连区域内粘连电子元器件所在直线，根据新的粘连区域的电子元器件个数 均分并确定新的粘连区域内的单个电子元器件的位置，并以均分点作为单个电 子元器件的中心点。通过计算凸多边形的斜率确定新的粘连区域内粘连电子元 器件所在直线具体是，使用Matlab计算出与粘连区域具有相同标准二阶中心距 的椭圆的长轴与笛卡尔坐标系X轴的交角，交角的正切值为长轴的斜率，然后 求出直线与凸多边形的两个交点，再用点斜式方程确定新的粘连区域内粘连电 子元器件所在直线。粘连区域内粘连电子元器件所在直线与凸多边形的位置关 系如图4所示。
求出直线与凸多边形的两个交点的过程是：提取出凸多边形的每一个顶点， 分别求出此顶点在垂直方向上距离直线的距离，这个距离用纵坐标差表示，由 于直线正穿过凸多边形，位于直线上方的点和下方的点的纵坐标差会有正负的 分别，正负变化的位置就是直线穿过凸多边形时和其的两个交点，通过正负变 化率，找到位于直线两边的点，就可以得到凸多边形和直线的交线的斜率，通 过这个交线和直线的就可以得到他们的交点，也就是直线和凸多边形的一个交 点，再用同样的方法得到另一个交点。
S9：在待计数的SMT电子元器件物料盘的X射线投影图像中标记出每个电 子元器件的中心点并在待计数的SMT电子元器件物料盘的X射线投影图像上输 出电子元器件总数。本实施例中，使用Matlab软件在在待计数的SMT电子元器 件物料盘的X射线投影图像中标记出每个电子元器件的中心，标记结果如图5 所示。如图6所示，待计数的SMT电子元器件物料盘的X射线投影图像的电子 元器件的总数最终显示在待计数的SMT电子元器件物料盘的X射线投影图像 上。
该基于X射线投影的SMT物料盘电子元器件的计数方法，能够应用于不同 种类的SMT物料盘，识别电子元器件的精度高，速度快，计数准确，且能够减 少人力资源与机器资源的投入，计数成本低。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发 明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普 通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不 脱离本发明技术方案的实质和范围。

Claims (10)

1.一种基于X射线投影的SMT物料盘电子元器件的计数方法，其特征在于，包括以下步骤：
S1：构建电子元器件分割模型；
S2：获取待计数的SMT电子元器件物料盘的X射线投影数据，将待计数的SMT电子元器件物料盘的X射线投影数据进行格式转换后调整尺寸，获得待计数的SMT电子元器件物料盘的X射线投影图像，然后将待计数的SMT电子元器件物料盘的X射线投影图像输入到电子元器件分割模型中，获得去除背景的分割二值图像；
S3：使用Matlab软件对去除背景的分割二值图像的像素区域进行统计，确定单个电子元器件的单位面积和粘连目标的面积，根据粘连目标的面积与单个电子元器件的单位面积的比值确定粘连区域与非粘连区域，并对粘连区域与非粘连区域分别进行初始个数统计和位置确定；
S4：利用形态学中的腐蚀操作处理去除背景的二值图像，获得腐蚀操作后的二值图像；
S5：对腐蚀操作后的二值图像进行区域划分，使用Matlab软件对腐蚀操作后的二值图像中的像素面积进行统计，确定腐蚀操作后的单个电子元器件的单位面积和粘连目标的面积，根据腐蚀操作后的粘连目标的面积与单个电子元器件的面积比值确定新的粘连区域，更新粘连区域和非粘连区域的个数；
S6：在新的粘连区域附近，根据区域相似性，寻找距离最近的n个单个电子元器件，n为自然数，计算n个单个电子元器件的平均面积作为新的单个电子元器件的单位面积，根据新的粘连区域面积和新的单个电子元器件的单位面积确定新的粘连区域的电子元器件个数；
S7：将所有新的粘连区域中电子元器件的个数与步骤S5中更新后的非粘连区域的个数相加，获得待计数的SMT电子元器件物料盘的电子元器件总数；
S8：对新的粘连区域进行凸多边形勾画，通过计算凸多边形的斜率确定新的粘连区域内粘连电子元器件所在直线，根据新的粘连区域的电子元器件个数均分并确定新的粘连区域内的单个电子元器件的位置，并以均分点作为单个电子元器件的中心点；
S9：在待计数的SMT电子元器件物料盘的X射线投影图像中标记出每个电子元器件的中心点并在待计数的SMT电子元器件物料盘的X射线投影图像上输出电子元器件总数。
2.根据权利要求1所述的基于X射线投影的SMT物料盘电子元器件的计数方法，其特征在于：步骤S1构建电子元器件分割模型具体包括以下步骤：
S11：构建训练数据集；
具体是，采集多个不同种类SMT物料盘的X射线投影数据，对每一个SMT物料盘的X射线投影数据进行格式转化获得多个SMT物料盘的X射线投影图像，对每一个SMT物料盘的X射线投影图像进行分割标定和图像分块，获得的分割标签和分块后的图像构成训练数据集；
S12：构建神经网络结构并设计训练参数；
S13：使用训练数据集对神经网络结构进行训练，将训练数据集中的所有分割标签和对应的分块后的图像均输入神经网络结构中对神经网络结构进行训练获得神经网络模型；
S14：在每次迭代过程中根据损失值使用Adam优化器对神经网络模型的参数进行更新；
S15：当损失值收敛，迭代结束，获得电子元器件分割模型。
3.根据权利要求2所述的基于X射线投影的SMT物料盘电子元器件的计数方法，其特征在于：所述神经网络结构包括用于提取特征的上采样部分和用于恢复目标细节及图像大小的下采样部分；
所述上采样部分设置有八个子编码层和七个池化层，任意相邻两个编码层之间连接有一个池化层；
所述下采样部分设置有八个子解码层和七个逆池化层，任意相邻两个解码层之间连接有一个逆池化层。
4.根据权利要求3所述的基于X射线投影的SMT物料盘电子元器件的计数方法，其特征在于：定义最靠近图像输入层的子编码层为第一子编码层，所述第一子编码层依次设置有一个卷积层，一个ReLU层，其余七个子编码层设有一个卷积层、一个子BN层和一个ReLU层；
所述卷积层的卷积核大小为3×3，运行的步长为2×2；
定义最靠近图像输出层的子解码层为第一子解码层，所述第一子解码层中设有一个逆卷积层，一个Sigmoid层，其余七个子解码层均设有一个逆卷积层，一个激活层，一个Dropout层与一个连接层；
所述逆卷积层的卷积核大小为3×3，每次逆卷积操作下，运行的步长为2×2。
5.根据权利要求1所述的基于X射线投影的SMT物料盘电子元器件的计数方法，其特征在于：步骤S2中格式转换是将SMT电子元器件物料盘的X射线投影数据转换成png格式的图片，调整尺寸具体是将png格式的图片大小调整为3072×3072。
6.根据权利要求1所述的基于X射线投影的SMT物料盘电子元器件的计数方法，其特征在于：步骤S3中使用Matlab软件对去除背景的分割二值图像的像素面积进行统计，确定单个电子元器件的单位面积和粘连目标的面积具体是，使用regionprops函数对去除背景的分割二值图像进行面积统计获得粘连目标的面积和非粘连区域的中心点，然后建立面积分布直方图，选择面积分布直方图中数量最多的区间，计算获得单个电子元器件的单位面积；
步骤S5中使用Matlab软件对腐蚀操作后的二值图像中的像素面积进行统计，确定腐蚀操作后的单个电子元器件的单位面积和粘连目标的面积具体是，使用regionprops函数对腐蚀操作后的二值图像进行面积统计获得腐蚀操作后的粘连目标的面积和非粘连区域的中心点，然后建立面积分布直方图，选择面积分布直方图中数量最多的区间，计算获得腐蚀操作后的单个电子元器件的单位面积。
7.根据权利要求1所述的基于X射线投影的SMT物料盘电子元器件的计数方法，其特征在于：步骤S3中粘连目标的面积与单个电子元器件的单位面积的比值大于等于2时，粘连目标为粘连区域，粘连目标的面积与单个电子元器件的单位面积的比值等于1时，粘连目标为非粘连区域；
步骤S5中腐蚀操作后的粘连目标的面积与单个电子元器件的面积比值大于等于2时的粘连目标为新的粘连区域。
8.根据权利要求1所述的基于X射线投影的SMT物料盘电子元器件的计数方法，其特征在于：步骤S5中对腐蚀操作后的二值图像进行区域划分具体是，以腐蚀操作后的二值图像的中心为圆心建立笛卡尔坐标系，从X轴正方向开始，45度为一个间隔，沿着顺时针方向将图像分为八个区域。
9.根据权利要求1所述的基于X射线投影的SMT物料盘电子元器件的计数方法，其特征在于：步骤S6中根据新的粘连区域面积和新的单个电子元器件的单位面积确定新的粘连区域的电子元器件个数具体是，将新的粘连区域面积和新的单个电子元器件的单位面积进行比较，所获得的比值为新的粘连区域的电子元器件个数。
10.根据权利要求1所述的基于X射线投影的SMT物料盘电子元器件的计数方法，其特征在于：步骤S8中通过计算凸多边形的斜率确定新的粘连区域内粘连电子元器件所在直线具体是，使用Matlab计算出与粘连区域具有相同标准二阶中心距的椭圆的长轴与笛卡尔坐标系X轴的交角，交角的正切值为长轴的斜率，然后求出直线与凸多边形的两个交点，再用点斜式方程确定新的粘连区域内粘连电子元器件所在直线。
CN202110596222.4A 2021-05-30 2021-05-30 一种基于x射线投影的smt物料盘电子元器件的计数方法 Active CN113379784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110596222.4A CN113379784B (zh) 2021-05-30 2021-05-30 一种基于x射线投影的smt物料盘电子元器件的计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110596222.4A CN113379784B (zh) 2021-05-30 2021-05-30 一种基于x射线投影的smt物料盘电子元器件的计数方法

Publications (2)

Publication Number Publication Date
CN113379784A true CN113379784A (zh) 2021-09-10
CN113379784B CN113379784B (zh) 2022-03-25

Family

ID=77574873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110596222.4A Active CN113379784B (zh) 2021-05-30 2021-05-30 一种基于x射线投影的smt物料盘电子元器件的计数方法

Country Status (1)

Country Link
CN (1) CN113379784B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103376270A (zh) * 2013-07-03 2013-10-30 华南理工大学 基于x射线线扫的元器件计数方法及其计数装置
CN203365352U (zh) * 2013-07-03 2013-12-25 华南理工大学 基于x射线线扫的元器件计数装置
CN105259192A (zh) * 2015-11-06 2016-01-20 苏州奥克思光电科技有限公司 一种用于电子元器件点料的x射线设备
CN106097369A (zh) * 2016-06-16 2016-11-09 天津工业大学 一种smt物料盘x射线透视图像分割检测与计数统计方法及装置
CN109087276A (zh) * 2018-05-17 2018-12-25 苏州斯玛维科技有限公司 基于smt料盘的x射线图像的元器件自动计数和定位方法
KR20200085681A (ko) * 2019-01-07 2020-07-15 (주)자비스 엑스레이 탐지 방식의 부품 카운터 및 그에 의한 부품 카운팅 방법
CN111862223A (zh) * 2020-08-05 2020-10-30 西安交通大学 一种电子元件的视觉计数及定位方法
CN112508128A (zh) * 2020-12-22 2021-03-16 北京百度网讯科技有限公司 训练样本的构建方法、计数方法、装置、电子设备及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103376270A (zh) * 2013-07-03 2013-10-30 华南理工大学 基于x射线线扫的元器件计数方法及其计数装置
CN203365352U (zh) * 2013-07-03 2013-12-25 华南理工大学 基于x射线线扫的元器件计数装置
CN105259192A (zh) * 2015-11-06 2016-01-20 苏州奥克思光电科技有限公司 一种用于电子元器件点料的x射线设备
CN106097369A (zh) * 2016-06-16 2016-11-09 天津工业大学 一种smt物料盘x射线透视图像分割检测与计数统计方法及装置
CN109087276A (zh) * 2018-05-17 2018-12-25 苏州斯玛维科技有限公司 基于smt料盘的x射线图像的元器件自动计数和定位方法
KR20200085681A (ko) * 2019-01-07 2020-07-15 (주)자비스 엑스레이 탐지 방식의 부품 카운터 및 그에 의한 부품 카운팅 방법
CN111862223A (zh) * 2020-08-05 2020-10-30 西安交通大学 一种电子元件的视觉计数及定位方法
CN112508128A (zh) * 2020-12-22 2021-03-16 北京百度网讯科技有限公司 训练样本的构建方法、计数方法、装置、电子设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
耿磊 等: "位置信息约束的SMT料盘X射线图像检测方法", 《红外与激光工程》 *
黄斯伟、徐圆 等: "平板X射线源重叠投影的线性迭代重建", 《核电子学与探测技术》 *

Also Published As

Publication number Publication date
CN113379784B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN108492272B (zh) 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统
Pun et al. Multi-scale noise estimation for image splicing forgery detection
TWI536277B (zh) Form identification method and device
CN110020651A (zh) 基于深度学习网络的车牌检测定位方法
CN106778705B (zh) 一种行人个体分割方法及装置
CN108564088A (zh) 车牌识别方法、装置、设备及可读存储介质
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN109034245A (zh) 一种利用特征图融合的目标检测方法
CN109886978B (zh) 一种基于深度学习的端到端告警信息识别方法
Fabrizio et al. Text segmentation in natural scenes using toggle-mapping
CN113033558B (zh) 一种用于自然场景的文本检测方法及装置、存储介质
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN110659637A (zh) 一种结合深度神经网络和sift特征的电能表示数与标签自动识别方法
CN111950559A (zh) 一种基于径向灰度的指针仪表自动读数方法
CN111965197A (zh) 一种基于多特征融合的缺陷分类方法
CN114022439A (zh) 一种基于形态学图像处理的柔性电路板缺陷检测方法
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
CN115546795A (zh) 一种基于深度学习的圆形指针式仪表自动读数方法
CN112836726B (zh) 一种基于视频信息的指针类仪表示数读取方法及装置
CN113379784B (zh) 一种基于x射线投影的smt物料盘电子元器件的计数方法
CN116704490B (zh) 车牌识别方法、装置和计算机设备
CN113283441A (zh) 一种贴片电阻上的印刷字符识别方法、装置、终端及介质
CN114148103A (zh) 一种基于神经网络学习的焊膏印刷标记识别方法及系统
CN115100731A (zh) 一种质量评价模型训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant