CN110097048A

CN110097048A - 一种sot芯片图像快速校正与字符识别方法

Info

Publication number: CN110097048A
Application number: CN201910260276.6A
Authority: CN
Inventors: 巢渊; 周伟; 李兴成; 李龑
Original assignee: Jiangsu University of Technology
Current assignee: Jiangsu University of Technology
Priority date: 2019-04-02
Filing date: 2019-04-02
Publication date: 2019-08-06

Abstract

本发明提供了一种SOT芯片图像快速校正与字符识别方法，包括以下步骤：(1)提取SOT芯片的目标区域；(2)采用Hough变换对SOT芯片目标区域进行旋转校正并去除白边；(3)对旋转后的图像进行滤波、二值化、数学形态学操作；(4)对处理后的图像进行字符分割，将分割后的图像作为识别模板；(5)采用归一化积相关算法(NCC算法)识别模板区域中的特征参数，从而快速准确地识别SOT芯片字符。本发明比传统算法速度更快、效率更高，可用于生产SOT芯片校正与字符识别环节，为芯片的倾斜校正、检测芯片外观缺陷提供了清晰准确地图像，耗时在毫秒级别。

Description

一种SOT芯片图像快速校正与字符识别方法

技术领域

本发明专利属于图像处理算法设计领域，基于Hough变换与NCC算法，设计一种针对SOT芯片图像快速校正与字符识别的方法。

背景技术

SOT封装类型芯片外形简单，一般有3～6只引脚，生产量大，实时性要求较高。由于生产环境原因，生产出来的芯片会出现字符倾斜、字符模糊等各种缺陷，人工主观检测识别的方法已经远远满足不了芯片生产的要求，利用一种有效的技术快速、准确地对芯片表面字符进行识别是急需解决的问题。现如今企业在要求满足生产产量的同时，还需要提高芯片检测的质量。现有针对SOT芯片的研究，主要集中于SOT芯片结构及制造工艺，如申请号200910025767.9、201721294342.4、201820638187.1，以及针对SOT芯片外观检测201610747118.X与SOT引脚尺寸缺陷检测201410391570.8，而尚未查阅到与SOT芯片图像倾斜的快速校正以及字符识别相关的文献与专利，因此设计一种针对SOT芯片图像快速校正与字符识别的方法，填补这一方面研究的缺失，对于SOT芯片检测质量的提升显得尤为重要。

发明内容

1、本发明目的

本发明针对生产出来的SOT芯片会出现字符倾斜、字符模糊等各种缺陷，人工主观检测识别的方法已经远远满足不了SOT芯片生产的要求，本发明提出了一种SOT芯片图像快速校正与字符识别方法。

2、本发明所采用的技术方案

为解决上述问题，本发明基于Hough变换与NCC算法，提出了一种针对SOT芯片图像快速校正与字符识别的方法，包括以下步骤：

(1)提取SOT芯片的目标区域：

通过相机采集SOT芯片图像，人工选取芯片目标区域对角位置，将其两点的坐标值作为固定坐标点，提取SOT芯片的目标区域图像。

(2)采用Hough变换对SOT芯片目标区域进行旋转校正并去除白边，具体包括：

(2.1)对SOT芯片的目标区域图像进行边缘检测：

采用canny算子边缘检测，得到SOT芯片的目标边缘图像；

(2.1)基于Hough变换提取最大检测直线：

在SOT芯片目标边缘图像中通过Hough变换提取最长直线；

(2.2)旋转校正SOT芯片的目标区域图像：

提取后的SOT芯片的目标区域图像不一定是正的，存在偏差角度，为了计算目标区域图像的偏差角度，基于Hough变化提取图像中的最大检测直线来进行旋转校正，并将旋转校正后的目标区域存在的白边进行去除；

(3)对旋转校正后的SOT芯片区域图像进行处理，具体包括：

(3.1)图像滤波：

把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值。为消除噪声点，同时保持字符清晰，采用3×3中值滤波算法，计算公式如下：

g(x,y)＝med{f(x-k,y-l),(k,l∈W)}

其中f(x,y)与g(x,y)分别为原始图像和处理后图像，W为二维模板；

(3.2)图像二值化分割：

采用固定阈值法对图像进行二值化处理，计算公式如下：

其中固定阈值T＝46；

(3.3)数学形态学操作：

经过处理之后的二值图像通常还会存在多余的区域，因此先进行野值剔除。为了填充图像内部空洞，并达到平滑图像边缘的效果，使用闭运算处理图像，计算公式如下：

其中A为输入图像，B为结构元素。与AΘB分别表示B膨胀A与B腐蚀A，(x,y)表示图像像元位置；

(4)对处理后的SOT芯片区域图像进行字符分割：

选用运算速度较快的直接分割法对字符进行分割，将分割后的图像作为识别模板；

(5)基于NCC算法对模板区域的特征字符进行识别：

由于NCC(归一化积相关算法，Normalized Cross Correlation)算法匹配的时间较短，所以将采用模板匹配算法中的NCC算法对模板区域的特征字符进行识别。

进一步的，在所述步骤(2.1)中，所述直线的方程为：

ρ＝xcosθ+ysinθ

其中ρ代表直线到原点的垂直距离，θ代表x轴到直线垂线的角度，取值范围为±90°；

进一步的，在所述步骤(2.2)中，所述SOT芯片目标区域图像倾斜角度α由以下计算公式可求出：

l²＝(L_max-x)²+x²

依据目标区域图像在水平方向的偏移距离x，取其较小值，求得：

目标区域图像倾斜角度α计算公式可得：

其中，L_max为用于放置参数区域图像的承载口的最大尺寸，l为参数区域图像尺寸，x为参数区域图像在水平方向的偏移距离。

进一步的，在所述步骤(5)中，所述NCC算法计算公式如下：

其中S^i，j(s，t)为基准图像，大小为m×n，T(s，t)为实时图像，大小为M×N。E(S^i，j)表示基准图像的灰度均值，E(T)表示实时图像的灰度均值。

3、本发明的有益效果

本发明提出的一种SOT芯片图像快速校正与字符识别方法，比传统算法速度更快、效率更高，可用于生产SOT芯片校正与字符识别环节，为芯片的倾斜校正、检测芯片外观缺陷提供了清晰准确地图像，耗时在毫秒级别。

附图说明

图1a是SOT芯片原始图像，图1b是SOT芯片目标区域提取图像，图1c使灰度图像；

图2是边缘检测图像；

图3a是Hough变换峰值图像，图3b是Hough变换最长直线；

图4是旋转校正后的图像；

图5a是对校正后的图像去除白边并提取目标区域，图5b是中值滤波图像；

图6是中值滤波后的灰度直方图；

图7a是二值化分割后的图像，图7b是野值剔除后的图像，图7c是闭运算后的图像；

图8a、图8b、图8c、图8d、图8e是字符分割后的图像；

图9是部分MAD与NCC算法匹配程序以及实验结果；

图10a、图10b是匹配坐标结果图像；

图11a、图11b是匹配的模板图像；

图12a、图12b是MAD算法运行图像；

图13a、图13b是NCC算法运行图像；

图14是SOT芯片图像快速校正与字符识别方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，在下文中将参考附图对本发明的具体实施例进行详细地描述。在不违背本发明原理的情况下，各个不同的实施例中的特征可以进行组合以获得新的实施方式，或者替代某些实施例中的某些特征，获得其它优选的实施方式。

参照附图1-13，本发明公开了一种SOT芯片图像快速校正与字符识别方法，图1a为原始图像，图1b是对原始图像目标区域的提取图像，图1c为其灰度图像，以图1b、1c作为本发明内容的解释图像，包括以下步骤：

(1)提取SOT芯片的目标区域：

通过相机采集SOT芯片图像(如图1a)，人工选取芯片目标区域对角位置，将其两点的坐标值作为固定坐标点，提取SOT芯片的目标区域图像(如图1b)，并将其图像灰度化(如图1c)。

(2.1)对SOT芯片的目标区域图像进行边缘检测：

采用canny算子边缘检测，得到SOT芯片的目标边缘图像(如图2)，从图中可以看到，芯片外围轮廓边缘均已被准确检测出。

(2.2)基于Hough变换提取最大检测直线：

通过MATLAB在SOT芯片目标边缘图像中找到其峰值(如图3a)，再通过Hough变换提取最长直线(如图3b)，设定Hough变换中线段合并阈值为14，最小长度阈值16的线段对提取直线进行限制，所述直线的方程为：

ρ＝xcosθ+ysinθ

(2.2)旋转校正SOT芯片的目标区域图像：

提取后的SOT芯片的目标区域图像不一定是正的，存在偏差角度，为了计算目标区域图像的偏差角度，基于Hough变化提取图像中的最大直线来进行旋转校正，将旋转校正后的目标区域存在的白边进行去除(如图4)，取其目标区域(如图5a)；

(3)对旋转校正后的SOT芯片区域图像进行处理，具体包括：

(3.1)图像滤波：

g(x,y)＝med{f(x-k,y-l),(k,l∈W)}

其中f(x,y)与g(x,y)分别为原始图像和处理后图像，W为二维模板，得到结果如图5b所示；

(3.2)图像二值化分割：

采用固定阈值法对图像进行二值化处理，由图6灰度直方图可以发现，固定阈值T＝46，计算公式如下：

(3.3)数学形态学操作：

经过处理之后的二值图像通常还会存在多余的区域(如图7a)，为了提高图像处理的速度，不影响后续字符分割的计算，对图像进行野值处理，将面积连通区域小于600的图像去除(如图7b)。为了填充图像内部空洞，并达到平滑图像边缘的效果，使用闭运算处理图像，计算公式如下：

其中A为输入图像，B为结构元素。与AΘB分别表示B膨胀A与B腐蚀A，(x,y)表示图像像元位置，结果如图7c所示。

(4)对处理后的SOT芯片区域图像进行字符分割：

选用运算速度较快的直接分割法对字符进行分割，将分割后的图像(如图8a、图8b、图8c、图8d、图8e)作为识别模板；

(5)基于NCC算法对模板区域的特征字符进行识别：

由于NCC算法匹配的时间较短，所以将采用模板匹配算法中的NCC算法对模板区域的特征字符进行识别。

在所述步骤(2.2)中，所述SOT芯片目标区域图像倾斜角度α由以下计算公式可求出：

l²＝(L_max-x)²+x²

目标区域图像倾斜角度α计算公式可得：

在对SOT芯片的目标区域图像提取最长直线时，提取的直线一般集中在SOT芯片的四边轮廓上，因此尽可能地在芯片轮廓边缘可能产生的区域进行Hough变换的最长直线提取。这样不仅提高了直线提取的速度，而且还提升了直线提取精度。设定Hough变换中线段合并阈值为14，最小长度阈值16的线段对提取直线进行限制，经过旋转校正后的芯片图像应将白边去除。

在所述步骤(5)中，所述NCC算法计算公式如下：

结合以上所述，图14为SOT芯片图像快速校正与字符识别方法的流程图，对上述SOT芯片图像快速校正与字符识别方法进行实验验证与比较如下：

(1)NCC算法与平均绝对差算法(MAD)匹配实验

MAD算法是最为常用的模板匹配算法，截取部分MAD与NCC算法匹配程序以及实验结果如图9所示，其中，template_matching(T，I)为调用的MAD与NCC算法程序，(x，y)和(u，v)坐标值分别为MAD与NCC匹配点输出值。由图9可知，MAD算法与NCC算法输出的匹配坐标一致，以字符I、J模板为例，匹配坐标结果(用红点标出)如图10a、图10b所示。MCC算法是以模板上的坐标值为参照点进行全图搜索，找到与搜索图最相似的位置，输出其坐标值。观察图10a、图10b可知，图中红点所标出的位置即为坐标值，I、J则为字符识别结果。

(2)NCC算法与MAD算法时间比较

本文采用内存为4GB，处理器为AMD A10-7300RadeonR6，10Compute Cores4C+6G@1.9GHz的操作系统，MALAB版本为R2016b。在相同环境下运行程序，对模板匹配模块进行计时，得到MAD算法总耗时为0.003741s，NCC算法总耗时为0.003418s。所以为了快速校正与识别SOT芯片，选用NCC的互相关模板匹配算法可以加快一定的速率。

综上所述，本发明提出的一种SOT芯片图像快速校正与字符识别方法，是一种比传统算法速度更快、效率更高的方法，可用于生产SOT芯片校正与字符识别环节，为芯片的倾斜校正、检测芯片外观缺陷提供了清晰准确地图像。

以上结合附图对本发明的实施方式做出详细说明,但本发明不局限于所描述的实施方式。对本领域的技术人员而言，可以针对本发明公开的配置和细节做出许多修改，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims

1.一种SOT芯片图像快速校正与字符识别方法，其特征在于包括以下步骤：

(1)提取SOT芯片的目标区域：

通过相机采集SOT芯片图像，人工选取芯片目标区域对角位置，将其两点的坐标值作为后续处理的固定坐标点，提取SOT芯片的目标区域图像。

(2.1)对SOT芯片的目标区域图像进行边缘检测：

采用canny算子边缘检测，得到SOT芯片的目标边缘图像；

(2.1)基于Hough变换提取最大检测直线：

在SOT芯片目标边缘图像中通过Hough变换提取最长直线；

(2.2)旋转校正SOT芯片的目标区域图像：

(3)对旋转校正后的SOT芯片区域图像进行处理，具体包括：

(3.1)图像滤波：

把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值；为消除噪声点，同时保持字符清晰，采用3×3中值滤波算法，计算公式如下：

g(x,y)＝med{f(x-k,y-l),(k,l∈W)}

(3.2)图像二值化分割：

采用固定阈值法对图像进行二值化处理，计算公式如下：

其中固定阈值T＝46；

(3.3)数学形态学操作：

经过处理之后的二值图像通常还会存在多余的区域，因此先进行野值剔除；为了填充图像内部空洞，并达到平滑图像边缘的效果，使用闭运算处理图像，计算公式如下：

其中A为输入图像，B为结构元素；与AΘB分别表示B膨胀A与B腐蚀A，(x,y)表示图像像元位置；

(4)对处理后的SOT芯片区域图像进行字符分割：

(5)基于NCC算法对模板区域的特征字符进行识别：

2.如权利要求1所述的一种SOT芯片图像快速校正与字符识别方法，其特征在于，在所述步骤(2.1)中，所述直线的方程为：

ρ＝xcosθ+ysinθ

其中ρ代表直线到原点的垂直距离，θ代表x轴到直线垂线的角度，取值范围为±90°。

3.如权利要求1所述的一种SOT芯片图像快速校正与字符识别方法，其特征在于，在所述步骤(2.2)中，所述SOT芯片目标区域图像倾斜角度α由以下计算公式可求出：

l²＝(L_max-x)²+x²

目标区域图像倾斜角度α计算公式可得：

4.如权利要求1所述的一种SOT芯片图像快速校正与字符识别方法，其特征在于，在所述步骤(5)中，所述NCC算法计算公式如下：

其中S^i，j(s，t)为基准图像，大小为m×n，T(s，t)为实时图像，大小为M×N；E(S^i，j)表示基准图像的灰度均值，E(T)表示实时图像的灰度均值。