CN113326838A - 一种基于深度学习网络的手机导光板模号识别方法 - Google Patents
一种基于深度学习网络的手机导光板模号识别方法 Download PDFInfo
- Publication number
- CN113326838A CN113326838A CN202110701328.6A CN202110701328A CN113326838A CN 113326838 A CN113326838 A CN 113326838A CN 202110701328 A CN202110701328 A CN 202110701328A CN 113326838 A CN113326838 A CN 113326838A
- Authority
- CN
- China
- Prior art keywords
- light guide
- guide plate
- image
- model number
- mobile phone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013135 deep learning Methods 0.000 title claims abstract description 26
- 230000009466 transformation Effects 0.000 claims abstract description 37
- 238000012937 correction Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000003708 edge detection Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 15
- 238000004519 manufacturing process Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010147 laser engraving Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000007650 screen-printing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习网络的手机导光板模号识别方法：采集导光板图像F，传到上位机进行处理，对导光板图像F进行倾斜校正处理得到倾斜校正后的导光板图像F′；在导光板图像F′上截取模号区域，得到手机导光板模号区域图像M作为模号识别网络的输入进行模号识别，获得模号位置以及模号数字结果；所述倾斜校正处理包括对导光板图像F进行灰度拉伸、边缘检测、最小二乘法线段拟合获得导光板四条边界所在的直线方程以及边界线段的端点坐标，然后计算边界所在直线两两交点坐标和计算边界线段最小距离，利用投影变换进行倾斜校正。利用本发明的方法能用以根据导光板上的模号数字的奇偶来区分导光板。
Description
技术领域
本发明涉及图像识别领域，具体是一种基于深度学习网络的手机导光板模号识别方法。
背景技术
导光板(light guide plate)是利用光学级的亚克力/PC板材，然后用具有极高反射率且不吸光的高科技材料，在光学级的亚克力板材底面用激光雕刻、V型十字网格雕刻、UV网版印刷技术印上导光点。导光板是背光模组中的关键组件，其主要功能是将LED发出的点光源转化为均匀的面光源，通过导光板上导光点疏密排布，使得导光板均匀发光。由于导光板具有体积小、发光均匀且发光效率高等优点，因此被广泛应用于液晶显示器背光源、超薄广告灯箱、医疗X光看片器、平板型的灯饰照明、亮光工程的光效运用、发光标示牌等场合。手机导光板是背光模组的重要组成部分，其质量直接影响屏幕的显示效果。在手机导光板生产线上，手机导光板具有一模两穴的特点，即一组模具，同时生产出两片导光板，而在视觉的缺陷检测中，出于工业控制流程复杂性与经济性方面的考虑，在检测过程中，两片导光板的检测会共用一套视觉成像装置，用于图像采集与工业检测。为了避免两片导光板在检测过程中产生混乱，需要根据导光板上的模号数字的奇偶来区分导光板具体来自哪条生产线。
发明内容
本发明要解决的技术问题是提供一种基于深度学习网络的手机导光板模号识别方法，用以根据导光板上的模号数字的奇偶来区分导光板。
为了解决上述技术问题，本发明提供一种基于深度学习网络的手机导光板模号识别方法，包括步骤如下：采集导光板图像F，传到上位机进行处理，对导光板图像F进行倾斜校正处理得到倾斜校正后的导光板图像F′；在导光板图像F′上截取模号区域，得到手机导光板模号区域图像M作为模号识别网络的输入进行模号识别，获得模号位置以及模号数字结果；
所述倾斜校正处理包括对导光板图像F进行灰度拉伸、边缘检测、最小二乘法线段拟合获得导光板四条边界所在的直线方程以及边界线段的端点坐标，然后计算边界所在直线两两交点坐标和计算边界线段最小距离，利用投影变换进行倾斜校正。
作为本发明的一种基于深度学习网络的手机导光板模号识别方法的改进：
所述灰度拉伸为：
使用线性灰度变换对所述导光板图像F进行线性拉伸获得导光板灰度拉伸图像，线性灰度变换公式如下：
其中，f(x,y)为初始图像，g(x,y)为初始图像经过线性变换后的输出图像，[a,b]为初始图像f(x,y)中需调整的灰度范围区间，[m,n]为调整后g(x,y)中对应的灰度范围区间。
作为本发明的一种基于深度学习网络的手机导光板模号识别方法的进一步改进：
所述边缘检测为：
采用高斯导数滤波对所述导光板灰度拉伸图像进行边缘检测，分别在x方向、y方向进行滤波，获得手机导光板边缘图像，得到导光板上下横向边界、左右纵向边界所在边缘，若高斯模板的尺寸为(2k+1)×(2k+1)，则高斯模板H(x,y)中元素值为：
其中σ是高斯滤波器的标准差，i、j分别对应高斯模板中横、纵坐标的索引；
二维高斯函数在x方向、y方向上的偏导数为：
高斯导数滤波的表达式为：
Fx＝F(x,y)×Hx(x,y)
Fy＝F(x,y)×Hy(x,y)
其中F(x,y)为原始图像，H(x,y)为高斯滤波模板，Hx(x,y)与Hy(x,y)分别是高斯函数在x方向、y方向上的导数，Fx、Fy是原始图像F(x,y)分别与Hx(x,y)、Hy(x,y)进行卷积后的输出图像。
作为本发明的一种基于深度学习网络的手机导光板模号识别方法的进一步改进：
所述最小二乘法线段拟合为：
对所述边缘检测获取到导光板的上、下、左、右四条边界所在边缘利用最小二乘法对边界边缘进行线段拟合，得到四条边界所在的直线方程以及边界线段的端点坐标，最小二乘法拟合过程如下：
假设导光板边界拟合线段所在的直线方程为y＝kx+b，导光板边界上点集{(xi,yi),i＝0,1,2,…,m}中的点(xi,yi)到直线y＝kx+b上的误差err如下所示：
erri＝kxi+b-yi，
点集中所有点到拟合直线的误差平方和为：
令
则最佳的拟合参数k*、b*为：
其中m为点集中点的数目；
得到拟合的直线方程：y＝k*x+b*。
作为本发明的一种基于深度学习网络的手机导光板模号识别方法的进一步改进：
所述计算边界所在直线两两交点坐标为：联立两两相邻边界所在直线方程，分别得到两两边界相交的四个交点坐标为O1(x1,y1)、O2(x2,y2)、O3(x3,y3)、O4(x4,y4)。
作为本发明的一种基于深度学习网络的手机导光板模号识别方法的进一步改进：
所述计算边界线段最小距离为：
以所述两两边界相交的四个交点坐标中的左上角坐标为矩形左上角坐标，以横向最小距离为宽，以纵向最小距离为高，构建矩形L，导光板边界线段间最小距离问题，转化为有约束条件下的最优化问题；若空间线段l1的两个端点为A(xa,ya)、B(xb,yb)，l2的两个端点为C(xc,yc)、D(xd,yd)，求平面内两条线段间的最小距离是从线段AB中找到一点P(xp,yp)，在线段CD上找到一点Q(xq,yq)，使得PQ间的距离最小；P、Q点坐标可如下表示，记s1＝AB，s2＝CD
P(λ1)＝A+λ1s1,0≤λ1≤1
Q(λ2)＝C+λ2s2,0≤λ2≤1
其中，λ1、λ2为待定参数，用于确定线段距离最小时，线段上P、Q点的坐标；
转化为最优化问题为：
min f(λ1,λ2)＝||P(λ1)-Q(λ2)||2＝||(A+λ1s1)-(C+λ2s2)||2
s.t.0≤λ1≤1,0≤λ2≤1
可求得最佳取值：
若λ1、λ2满足0≤λ1≤1，0≤λ2≤1，则线段l1、l2间最小距离为
否则分别计算四个端点到另外一条线段的最短距离d1、d2、d3、d4，线段l1、l2间最小距离为dmin＝min{d1,d2,d3,d4}；
根据线段间最小距离可求得导光板横向边界最小距离dhmin与导光板纵向边界间的最小距离dvmin，则变换后左上、右上、左下、右下四个对应的顶点坐标为O1′(x1,y1)、O2′(x1+dhmin,y1)、O3′(x1,y1+dvmin)、O4′(x1+dhmin,y1+dvmin)。
作为本发明的一种基于深度学习网络的手机导光板模号识别方法的进一步改进：
所述利用投影变换进行倾斜校正的过程为：
通过所述两两边界相交的四个交点坐标、所述矩形L的四个顶点坐标计算投影变换矩形L’，根据投影变换矩形L’对所述导光板图像F进行变换，从而得到倾斜校正后的导光板图像F′，若点(x,y)经过投影变换后的坐标为(x′,y′)，则这两点之间的投影变换关系可用矩阵表述如下式所示：
其中，
为变换矩阵，其中投影变换矩阵中有8个未知参数：mi(i＝0,1,…,7)。
作为本发明的一种基于深度学习网络的手机导光板模号识别方法的进一步改进：
所述截取模号区域的过程为：所述投影变换后的左上角O1′(x1,y1)、右上角O2′(x1+dhmin,y1)之间的中点坐标为：
以
为中心点，截取224(像素)×224(像素)大小的矩形区域作为模号的搜索区域，将此区域图像截取出来并进行水平镜像，得到所述手机导光板模号区域图像M。
作为本发明的一种基于深度学习网络的手机导光板模号识别方法的进一步改进：
基于Yolov4网络构建所述模号识别网络，然后采集所述导光板图像F，然后对导光板图像F进行所述倾斜校正，然后进行所述截取模号区域，获得的所述手机导光板模号区域图像M作为样本图像并进行标注，将标注后的样本图像分为训练集、验证集和测试集对模号识别网络进行训练，通过反向传播算法和Adam优化器调整网络参数使训练集损失不断下降，训练完成后得到训练好的模号识别网络，使用训练好的模号识别网络利用测试集进行检测从而获得适合在线生产的所述模号识别网络。
本发明的有益效果主要体现在：
1、本发明模号识别过程中，对生产过程中的手机导光板图像进行了倾斜校正，避免了手机导光板因倾斜造成的模号误识别，提高了算法的鲁棒性；
2、模号识别的定位与识别采用深度学习中目标检测完成，可以在定位模号位置的同时完成对模号数字的识别，同时应对工业光线照明变化的能力更强；
3、本发明检测算法通用性强，稳定性强，降低误判和漏检，提高检测精度。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为本发明一种基于YOLOv4的手机导光板模号识别方法的流程示意图；
图2为生产过程中采集到的手机导光板原图；
图3为本发明中的图2经过倾斜校正后的效果图；
图4为本发明中的YOLOv4网络的结构示意图；
图5为图4中的YOLOv4网络中的组件的结构示意图；
图6为利用本发明进行手机导光板模号识别的检测结果示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
实施例1、一种基于深度学习网络的手机导光板模号识别方法，如图1中虚线路径为网络建立、训练过程，实线路径为在线生产过程，从工业现场采集到的导光板图像经过倾斜校正后，截取模号区域图像，建立数据集，然后输入到构建好的网络进行训练；在实际生产过程中，获取到导光板图像后，经过倾斜校正后，截取模号区域图像后送入训练好的网络进行预测，得到模号识别结果。具体包括步骤如下:
S01、采集导光板图像
在手机导光板生产线末端，设置导光板图像采集装置，采用高分辨率线扫相机进行图像采集，然后将采集到的导光板图像F传到上位机进行处理。
S02、倾斜校正处理
S0201、灰度拉伸
使用线性灰度变换对步骤S01获得的导光板图像F进行线性拉伸，提高导光板图像边缘的对比度，得到导光板灰度拉伸图像，线性灰度变换公式如下：
其中，f(x,y)为初始图像，g(x,y)为初始图像经过线性变换后的输出图像，[a,b]为初始图像f(x,y)中需调整的灰度范围区间，[m,n]为调整后g(x,y)中对应的灰度范围区间。
S0202、边缘检测
使用高斯导数滤波对步骤S0201获得的导光板灰度拉伸图像进行边缘检测，分别在x方向、y方向进行滤波，获得手机导光板边缘图像，从而得到导光板上下横向边界、左右纵向边界所在边缘。
采用高斯导数滤波对导光板灰度拉伸图像进行边缘检测，若高斯模板的尺寸为(2k+1)×(2k+1)，则高斯模板H(x,y)中元素值为：
其中，σ是高斯滤波器的标准差，i，j分别是高斯模板中横纵坐标的索引，(2k+1)为高斯模板的尺寸大小；
二维高斯函数在x方向、y方向上的偏导数为：
高斯导数滤波的表达式可写作为：
Fx＝F(x,y)×Hx(x,y)
Fy＝F(x,y)×Hy(x,y)
其中F(x,y)为原始图像，H(x,y)为高斯滤波模板，Hx(x,y)与Hy(x,y)分别是高斯函数在x方向、y方向上的导数，Fx是原始图像F(x,y)与Hx(x,y)进行卷积后的输出图像，Fy是原始图像F(x,y)与Hy(x,y)进行卷积后的输出图像。
S0203、最小二乘法线段拟合
利用步骤S03边缘检测获取到导光板的上、下、左、右四条边界所在边缘后，利用最小二乘法对边界边缘进行线段拟合，得到四条边界所在的直线方程以及边界线段的端点坐标。
最小二乘法拟合过程如下：
假设导光板边界拟合线段所在的直线方程为y＝kx+b，导光板边界上点集{(xi,yi),i＝1,2,…,m}中的点(xi,yi)到直线y＝kx+b上的误差err如下所示：
erri＝kxi+b-yi，
点集中所有点到拟合直线的误差平方和为：
令
则最佳的拟合参数k*、b*为：
其中m为点集中点的数目；
从而得到拟合的直线方程y＝k*x+b*。
S0204、计算边界所在直线两两交点坐标
得到导光板上下、左右条边界后，即步骤S0203中得到的四条线段所在直线，联立两两相邻边界所在直线方程，可分别得到两两边界相交的四个交点坐标，按照位置分别将左上、右上、左下、右下坐标点记为O1(x1,y1)、O2(x2,y2)、O3(x3,y3)、O4(x4,y4)。
S0205、计算边界线段最小距离
通过计算两条横向线段、两条纵向线段之间的最小距离，以步骤S0204中获得的左上点坐标为矩形的左上角坐标，以横向最小距离为宽，以纵向最小距离为高，构建矩形。导光板边界线段间最小距离问题，可转化为有约束条件下的最优化问题；假设平面内有两条线段，分别是l1、l2，l1的两个端点为A(xa,ya)、B(xb,yb)，l2的两个端点为C(xc,yc)，D(xd,yd)，求平面内两条线段间的最小距离，即是从线段AB中找到一点P(xp,yp)，在线段CD上找到一点Q(xq,yq)，使得PQ间的距离最小。
P、Q点坐标可如下表示，记s1＝AB，s2＝CD
P(λ1)＝A+λ1s1,0≤λ1≤1
Q(λ2)＝C+λ2s2,0≤λ2≤1
其中，λ1、λ2为待定参数，用于确定线段距离最小时，线段上P、Q点的坐标；
转化为最优化问题为：
min f(λ1,λ2)＝||P(λ1)-Q(λ2)||2＝||(A+λ1s1)-(C+λ2s2)||2
s.t.0≤λ1≤1,0≤λ2≤1
可求得最佳取值：
其中，A、B、C、D为线段l1、l2的四个端点坐标。
若λ1、λ2满足0≤λ1≤1，0≤λ2≤1，则线段l1、l2间最小距离为
否则分别计算四个端点到另外一条线段的最短距离d1、d2、d3、d4，线段l1、l2间最小距离为dmin＝min{d1,d2,d3,d4}。
根据线段间最小距离可求得导光板横向边界最小距离dhmin与导光板纵向边界间的最小距离dvmin，则变换后左上、右上、左下、右下四个对应的顶点坐标为O1′(x1,y1)、O2′(x1+dhmin,y1)、O3′(x1,y1+dvmin)、O4′(x1+dhmin,y1+dvmin)。
S0206、利用投影变换进行倾斜校正
通过步骤S0204获得的四个交点坐标、步骤S0205中构建矩形的四个顶点坐标计算投影变换矩形，根据投影变换矩形对步骤S01中获得的导光板图像F进行变换，从而得到倾斜校正后的导光板图像F′；若点(x,y)经过投影变换后的坐标为(x′,y′)，则这两点之间的投影变换关系可用矩阵表述如下式所示：
其中，
为变换矩阵，其中投影变换矩阵中有8个未知参数：mi(i＝0,1,…,7)，(x，y)为投影变换前的坐标，(x′、y′)为投影变换后的坐标。
倾斜校正效果前、后对比图如图2、图3所示，图2为生产过程中采集到的导光板原图，图3为图2经过倾斜校正后的效果图。
此处对导光板图像的倾斜校正，避免了手机导光板因倾斜造成的模号误识别，能够提高模号识别的准确率，避免模号误识别。
S03、截取模号区域
根据步骤S0206中得到的导光板图像F′，根据人为先验知识截取模号所在的搜索区域图像，进行水平镜像，得到手机导光板模号区域图像M；此处人为先验知识即为下面所属描述的模号数字所处的位置，由现场调研得到。
导光板图像分辨率达到4096×7200，若通过搜索全局图像的方式定位模号并识别，将非常耗时耗力，本发明中通过人为先验知识确定模号的待搜索区域，缩小模号的搜索范围。经现场调研，模号数字位于手机导光板中间靠近入光测的区域，与导光板入光测边界非常接近。记步骤S0206中投影变换后左上角O1′、右上角O2′之间的中点坐标为：
以
为中心点，截取224(像素)×224(像素)大小的矩形区域作为模号的搜索区域，将此区域图像截取出来，经过水平镜像后，得到手机导光板模号区域图像M。
S04、建立模号识别数据集
按步骤S01在手机导光板生产线末端，通过导光板图像采集装置采集工业现场的导光板图像，通过步骤S02倾斜校正处理，然后通过步骤S03截取获得手机导光板模号区域图像，从而作为数据集中样本图像，利用labelimg标注软件对图像进行标注，如此重复步骤S01-S03，获得样本图像共有1809张，然后将样本图像分为训练集716张，验证集180张，测试集913张。
S05、搭建并训练模号识别网络
利用Pytorch框架搭建如图4所示的Yolov4网络作为本发明的模号识别网络并进行训练，图5为图4中组件的详细结构，其中Conv为卷积层，BN为批归一化层，Mish、Leakyrelu均为非线性激活函数，Add为张量相加操作，Concat为张量拼接操作，Maxpool为最大池化层。
训练中batch size取6，优化器采用Adam，学习率为0.001；将步骤S04中获得的手机导光板模号数据集中训练集输入到所述建立好的YOLOv4网络中进行训练，通过反向传播算法和Adam优化器调整网络参数使训练集损失不断下降；共训练300轮，训练完成后得到训练好的模号识别网络，并将其保存到模型文件中。
S06、离线测试
使用训练好的YOLOv4网络进行检测，在IOU阈值取0.6，置信度阈值取0.4的情况下统计离线测试结果：2张误检，911张检测正确，准确率达到99.78％，测试集上预测的部分结果如图6所示，模号数字周围的框线为网络预测的位置，左上角是识别到的数字以及对应的置信度。测试集检测准确率如表1；
表1模号识别结果统计
准确率Acc定义如下：
从上述结果可以发现，本发明中模号识别具有较高的准确率，准确率达到99.78％，证明了本发明模号识别准确率较高，在导光板模号识别的任务上能够取得优异的效果，同时由于训练集和测试集均为生产线上实际的导光板图像，也验证了本发明适用于在线生产的检测，从而获得适合在线生产的模号识别。
模号识别的定位与识别采用深度学习中YOLOv4网络完成，可以在定位模号位置的同时完成对模号数字的识别，同时应对工业光线照明变化的能力更强；从图6中可以看出，第一行前两张为光照弱的情况下的导光板模号区域图像，而余下几张为光照强的情况下导光板模号区域图像，模号均能准确识别与定位，说明该方法可以应对一定条件下工业现场光线照明变化。
S07、使用模号识别网络进行模号识别
实际生产时，按步骤S01采集工业现场的导光板图像，传到上位机进行处理，然后在上位机中，按步骤S02对导光板图像进行倾斜校正处理，包括使用线性灰度变换对导光板图像F进行线性拉伸，使用高斯导数滤波对拉伸后的导光板图像进行边缘检测得到导光板上下横向边界、左右纵向边界所在边缘，然后利用最小二乘法对边界边缘进行线段拟合，得到四条边界所在的直线方程以及边界线段的端点坐标，联立两两相邻边界所在直线方程，分别得到两两边界相交的四个交点坐标，计算上下边界线段的最小距离dhmin、左右边界线段的最小距离dvmin，利用投影变换进行倾斜校正，然后通过步骤S03截取获得手机导光板模号区域图像M，作为步骤S05、S06训练并测试好的模号识别网络的输入，进行模号识别，从而获得模号位置以及模号数字结果。
最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。
Claims (9)
1.一种基于深度学习网络的手机导光板模号识别方法，其特征在于，包括步骤如下：采集导光板图像F，传到上位机进行处理，对导光板图像F进行倾斜校正处理得到倾斜校正后的导光板图像F′；在导光板图像F′上截取模号区域，得到手机导光板模号区域图像M作为模号识别网络的输入进行模号识别，获得模号位置以及模号数字结果；
所述倾斜校正处理包括对导光板图像F进行灰度拉伸、边缘检测、最小二乘法线段拟合获得导光板四条边界所在的直线方程以及边界线段的端点坐标，然后计算边界所在直线两两交点坐标和计算边界线段最小距离，利用投影变换进行倾斜校正。
2.根据权利要求1所述的一种基于深度学习网络的手机导光板模号识别方法，其特征在于，所述灰度拉伸为：
使用线性灰度变换对所述导光板图像F进行线性拉伸获得导光板灰度拉伸图像，线性灰度变换公式如下：
其中，f(x,y)为初始图像，g(x,y)为初始图像经过线性变换后的输出图像，[a,b]为初始图像f(x,y)中需调整的灰度范围区间，[m,n]为调整后g(x,y)中对应的灰度范围区间。
3.根据权利要求2所述的一种基于深度学习网络的手机导光板模号识别方法，其特征在于，所述边缘检测为：
采用高斯导数滤波对所述导光板灰度拉伸图像进行边缘检测，分别在x方向、y方向进行滤波，获得手机导光板边缘图像，得到导光板上下横向边界、左右纵向边界所在边缘；若高斯模板的尺寸为(2k+1)×(2k+1)，则高斯模板H(x,y)中元素值为：
其中σ是高斯滤波器的标准差，i、j分别对应高斯模板中横、纵坐标的索引；
二维高斯函数在x方向、y方向上的偏导数为：
高斯导数滤波的表达式为：
Fx＝F(x,y)×Hx(x,y)
Fy＝F(x,y)×Hy(x,y)
其中F(x,y)为原始图像，H(x,y)为高斯滤波模板，Hx(x,y)与Hy(x,y)分别是高斯函数在x方向、y方向上的导数，Fx、Fy是原始图像F(x,y)分别与Hx(x,y)、Hy(x,y)进行卷积后的输出图像。
4.根据权利要求3所述的一种基于深度学习网络的手机导光板模号识别方法，其特征在于，所述最小二乘法线段拟合为：
对所述边缘检测获取到导光板的上、下、左、右四条边界所在边缘利用最小二乘法对边界边缘进行线段拟合，得到四条边界所在的直线方程以及边界线段的端点坐标，最小二乘法拟合过程如下：
假设导光板边界拟合线段所在的直线方程为y＝kx+b，导光板边界上点集{(xi,yi),i＝0,1,2,…,m}中的点(xi,yi)到直线y＝kx+b上的误差err如下所示：
erri＝kxi+b-yi，
点集中所有点到拟合直线的误差平方和为：
令
则最佳的拟合参数k*、b*为：
其中m为点集中点的数目；
得到拟合的直线方程：y＝k*x+b*。
5.根据权利要求4所述的一种基于深度学习网络的手机导光板模号识别方法，其特征在于，所述计算边界所在直线两两交点坐标为：
联立两两相邻边界所在直线方程，分别得到两两边界相交的四个交点坐标为O1(x1,y1)、O2(x2,y2)、O3(x3,y3)、O4(x4,y4)。
6.根据权利要求5所述的一种基于深度学习网络的手机导光板模号识别方法，其特征在于，所述计算边界线段最小距离为：
以所述两两边界相交的四个交点坐标中的左上角坐标为矩形左上角坐标，以横向最小距离为宽，以纵向最小距离为高，构建矩形L，导光板边界线段间最小距离问题，转化为有约束条件下的最优化问题；若空间线段l1的两个端点为A(xa,ya)、B(xb,yb)，l2的两个端点为C(xc,yc)、D(xd,yd)，求平面内两条线段间的最小距离是从线段AB中找到一点P(xp,yp)，在线段CD上找到一点Q(xq,yq)，使得PQ间的距离最小；如下表示P、Q点坐标，记s1＝AB，s2＝CD
P(λ1)＝A+λ1s1,0≤λ1≤1
Q(λ2)＝C+λ2s2,0≤λ2≤1
其中，λ1、λ2为待定参数，用于确定线段距离最小时，线段上P、Q点的坐标；
转化为最优化问题为：
min f(λ1,λ2)＝||P(λ1)-Q(λ2)||2＝||(A+λ1s1)-(C+λ2s2)||2
s.t.0≤λ1≤1,0≤λ2≤1
可求得最佳取值：
若λ1、λ2满足0≤λ1≤1，0≤λ2≤1，则线段l1、l2间最小距离为
否则分别计算四个端点到另外一条线段的最短距离d1、d2、d3、d4，线段l1、l2间最小距离为dmin＝min{d1,d2,d3,d4}；
根据线段间最小距离可求得导光板横向边界最小距离dhmin与导光板纵向边界间的最小距离dvmin，则变换后左上、右上、左下、右下四个对应的顶点坐标为O′1(x1,y1)、O′2(x1+dhmin,y1)、O′3(x1,y1+dvmin)、O′4(x1+dhmin,y1+dvmin)。
7.根据权利要求6所述的一种基于深度学习网络的手机导光板模号识别方法，其特征在于，所述利用投影变换进行倾斜校正的过程为：
通过所述两两边界相交的四个交点坐标、所述矩形L的四个顶点坐标计算投影变换矩形L’，根据投影变换矩形L’对所述导光板图像F进行变换，从而得到倾斜校正后的导光板图像F′，若点(x,y)经过投影变换后的坐标为(x′,y′)，则这两点之间的投影变换关系可用矩阵表述如下式所示：
其中，
为变换矩阵，其中投影变换矩阵中有8个未知参数：mi(i＝0,1,…,7)。
8.根据权利要求7所述的一种基于深度学习网络的手机导光板模号识别方法，其特征在于，所述截取模号区域的过程为：
所述投影变换后的左上角O′1(x1,y1)、右上角O′2(x1+dhmin,y1)之间的中点坐标为：
以
为中心点，截取224(像素)×224(像素)大小的矩形区域作为模号的搜索区域，将此区域图像截取出来并进行水平镜像，得到所述手机导光板模号区域图像M。
9.根据权利要求8所述的一种基于深度学习网络的手机导光板模号识别方法，其特征在于：
基于Yolov4网络构建所述模号识别网络，然后采集所述导光板图像F，然后对导光板图像F进行所述倾斜校正处理，然后进行所述截取模号区域，获得的所述手机导光板模号区域图像M作为样本图像并进行标注，将标注后的样本图像分为训练集、验证集和测试集对模号识别网络进行训练，通过反向传播算法和Adam优化器调整网络参数使训练集损失不断下降，训练完成后得到训练好的模号识别网络，使用训练好的模号识别网络利用测试集进行检测从而获得适合在线生产的所述模号识别网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110701328.6A CN113326838A (zh) | 2021-06-24 | 2021-06-24 | 一种基于深度学习网络的手机导光板模号识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110701328.6A CN113326838A (zh) | 2021-06-24 | 2021-06-24 | 一种基于深度学习网络的手机导光板模号识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113326838A true CN113326838A (zh) | 2021-08-31 |
Family
ID=77424415
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110701328.6A Pending CN113326838A (zh) | 2021-06-24 | 2021-06-24 | 一种基于深度学习网络的手机导光板模号识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113326838A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022840A (zh) * | 2021-10-22 | 2022-02-08 | 史缔纳农业科技(广东)有限公司 | 一种基于视觉传感器的猪只识别方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002228844A (ja) * | 2001-01-30 | 2002-08-14 | Nippon Columbia Co Ltd | 導光板及び液晶表示装置 |
| KR20110134248A (ko) * | 2010-06-08 | 2011-12-14 | 주식회사 지오라이트 | 도광패턴이 형성된 도광판의 제조방법 및 그 제조방법에 의해 제조된 도광판 |
| JP2017189561A (ja) * | 2016-04-15 | 2017-10-19 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
| CN109086714A (zh) * | 2018-07-31 | 2018-12-25 | 国科赛思(北京)科技有限公司 | 表格识别方法、识别系统及计算机装置 |
| CN109446997A (zh) * | 2018-10-31 | 2019-03-08 | 国网山东省电力公司淄博供电公司 | 文档编号自动识别方法 |
| CN109543689A (zh) * | 2018-11-21 | 2019-03-29 | 北京同创信通科技有限公司 | 一种线上移动板坯标识智能识别系统及方法 |
| CN109583324A (zh) * | 2018-11-12 | 2019-04-05 | 武汉大学 | 一种基于单点多盒检测器的指针仪表读数自动识别方法 |
| CN110956174A (zh) * | 2019-05-29 | 2020-04-03 | 南京邮电大学 | 一种器件编号的识别方法 |
-
2021
- 2021-06-24 CN CN202110701328.6A patent/CN113326838A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002228844A (ja) * | 2001-01-30 | 2002-08-14 | Nippon Columbia Co Ltd | 導光板及び液晶表示装置 |
| KR20110134248A (ko) * | 2010-06-08 | 2011-12-14 | 주식회사 지오라이트 | 도광패턴이 형성된 도광판의 제조방법 및 그 제조방법에 의해 제조된 도광판 |
| JP2017189561A (ja) * | 2016-04-15 | 2017-10-19 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
| CN109086714A (zh) * | 2018-07-31 | 2018-12-25 | 国科赛思(北京)科技有限公司 | 表格识别方法、识别系统及计算机装置 |
| CN109446997A (zh) * | 2018-10-31 | 2019-03-08 | 国网山东省电力公司淄博供电公司 | 文档编号自动识别方法 |
| CN109583324A (zh) * | 2018-11-12 | 2019-04-05 | 武汉大学 | 一种基于单点多盒检测器的指针仪表读数自动识别方法 |
| CN109543689A (zh) * | 2018-11-21 | 2019-03-29 | 北京同创信通科技有限公司 | 一种线上移动板坯标识智能识别系统及方法 |
| CN110956174A (zh) * | 2019-05-29 | 2020-04-03 | 南京邮电大学 | 一种器件编号的识别方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022840A (zh) * | 2021-10-22 | 2022-02-08 | 史缔纳农业科技(广东)有限公司 | 一种基于视觉传感器的猪只识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103345755B (zh) | 一种基于Harris算子的棋盘格角点亚像素提取方法 | |
| CN108562250B (zh) | 基于结构光成像的键盘键帽平整度快速测量方法与装置 | |
| CN105913093A (zh) | 一种用于文字识别处理的模板匹配方法 | |
| CN106960208A (zh) | 一种仪表液晶数字自动切分和识别的方法及系统 | |
| CN107657639A (zh) | 一种快速定位目标的方法和装置 | |
| CN111351431B (zh) | 一种pcb板上多孔位的检测系统的校正方法 | |
| CN111872544B (zh) | 激光出光指示点的标定方法、装置和振镜同轴视觉系统 | |
| CN113077453A (zh) | 一种基于深度学习的电路板元器件缺陷检测方法 | |
| CN106093055B (zh) | 一种复数张菲林质量检测方法 | |
| CN114331924B (zh) | 大工件多相机视觉测量方法 | |
| CN111551350A (zh) | 一种基于U_Net网络的光学镜片表面划痕检测方法 | |
| TW201930908A (zh) | 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體 | |
| CN112233059A (zh) | 基于分割+决策的二阶段残差注意力网络的导光板缺陷检测方法 | |
| CN102592302B (zh) | 数字化卡通智能动检系统及动检方法 | |
| CN107656387B (zh) | 一种液晶屏对位偏移缺陷检测方法 | |
| CN110940670A (zh) | 基于机器视觉的柔印标签印刷首稿检测系统及其实现方法 | |
| CN113326838A (zh) | 一种基于深度学习网络的手机导光板模号识别方法 | |
| CN112560538A (zh) | 一种根据图像冗余信息快速定位受损qr码的方法 | |
| CN114280075A (zh) | 一种管类零件表面缺陷在线视觉检测系统及检测方法 | |
| WO2022252698A1 (zh) | 一种基于结构光场视频流的缺陷检测方法和装置 | |
| US20140218477A1 (en) | Method and system for creating a three dimensional representation of an object | |
| CN111724354A (zh) | 一种基于图像处理的多株小麦穗长与小穗数的测量方法 | |
| CN111738971A (zh) | 一种基于线激光双目立体视觉的电路板立体扫描检测方法 | |
| CN117761060A (zh) | 一种视觉检测系统及其检测方法 | |
| CN110533660B (zh) | 一种电子产品外壳丝印缺陷的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |