CN113205099A - 一种镀镍金属表面去料字符视觉检测系统及方法 - Google Patents
一种镀镍金属表面去料字符视觉检测系统及方法 Download PDFInfo
- Publication number
- CN113205099A CN113205099A CN202110514068.1A CN202110514068A CN113205099A CN 113205099 A CN113205099 A CN 113205099A CN 202110514068 A CN202110514068 A CN 202110514068A CN 113205099 A CN113205099 A CN 113205099A
- Authority
- CN
- China
- Prior art keywords
- character
- image
- characters
- nickel
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002184 metal Substances 0.000 title claims abstract description 102
- 229910052751 metal Inorganic materials 0.000 title claims abstract description 102
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000000007 visual effect Effects 0.000 title description 9
- 239000000463 material Substances 0.000 claims abstract description 34
- 230000003287 optical effect Effects 0.000 claims abstract description 17
- 230000007547 defect Effects 0.000 claims abstract description 14
- 230000011218 segmentation Effects 0.000 claims description 32
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 19
- 238000005286 illumination Methods 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 230000000877 morphologic effect Effects 0.000 claims description 13
- 229910052759 nickel Inorganic materials 0.000 claims description 13
- 238000007747 plating Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 230000001965 increasing effect Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000003760 hair shine Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 6
- 238000003672 processing method Methods 0.000 description 4
- 238000011179 visual inspection Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 239000011324 bead Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 238000002425 crystallisation Methods 0.000 description 1
- 230000008025 crystallization Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000007650 screen-printing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
- G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Character Input (AREA)
Abstract
本发明提出了一种基于机器视觉的镀镍金属表面去料字符自动识别系统及方法，包括工作平台、工业相机、光学镜头、低角度环形漫反射光源、光源控制器、工业PC机；夹持调节支架上安装固定工业相机、光学镜头、低角度环形漫反射光源，固定工业相机、光学镜头、低角度环形漫反射光源的中心线一致，光学镜头安装在工业相机前端；工业相机与工业PC机相连将图像数据传输至工业PC机；低角度环形漫反射光源固定于夹持调节支架，并与光源控制器相连，使得镀镍金属表面去料字符被照亮，形成亮场，而背景区域和金属工件其他区域形成暗场。本发明基于机器视觉技术对镀镍金属表面去料字符缺陷实时快速检测，提高了金属表面去料字符的检测效率和自动化程度。
Description
技术领域
本发明属于字符检测技术领域，具体涉及一种基于机器视觉的镀镍金属表面去料字符自动识别系统及方法。
背景技术
镀镍是常见的金属表面处理技术，镀镍层结晶细致，孔隙率低，硬度高，镀层均匀，可焊性好，目前广泛用于电子、航空、机械、精密仪器、日用五金等。对镀镍完的金属工件采用压印、激光等去料方式生成字符是记录金属产品信息的常用方式。金属表面字符检测一方面可以通过字符识别自动获取产品信息，实现产品生产溯源和管控的自动化，提高生产效率；另一方面可以将印刻错误的产品自动分拣，从而提高产品出厂品质。然而，镀镍金属去料字符在视觉检测过程中具有如下问题：首先，镀镍金属呈现银白色或者银黄色颜色特征，镀镍金属去料字符与金属工件本身具有相近颜色，导致镀镍金属与其表面的去料字符区分不明显；此外，抛光后镀镍的金属具有镜面反射特性，导致镀镍金属图像的表面信息缺失造成漏检；再次，字符漏印、错印检测算法需要准确识别所有字符，且对文字大小、文字类型和空间位置的差异性具有较高的鲁棒性。
经检索，专利CN111368818A公开了基于机器视觉的食品袋检测系统及方法，专利CN212944161U公开了一种用于字符缺陷检查的视觉检查仪，该专利公开了丝网印刷手机背板字符缺陷的视觉检测系统机械结构，专利CN211604160U公开了一种基于X线图像的OCR字符识别装置，CN212871095U公开了一种针对字符覆膜包装的视觉定位装置，但这些专利均未公开视觉检测系统具体的图像处理方法；专利CN111832561A公开了一种对工业场景中图像拍摄角度校正的图像处理步骤，但未公开字符识别具体步骤；专利CN 111860506A、CN111738251B、CN112541501A、CN112612911A公开了基于卷积神经网络的文字识别步骤，该方法往往需要海量图片训练，不适用于实际工业产品检测；专利CN108572776B公开了一种手写字符的渲染处理方法，不涉及非结构环境下获取弱对比度字符图像的获取与处理；专利CN112348026A公开了一种基于HoG特征和SVM分类方法的磁性硬盘序列码识别步骤，不涉及图像获取方法；专利CN112036226A公开了一种基于OCR和CNN的字符识别方法，用于识别印刷体字符和手写体字符，但该专利不涉及字符识别的具体步骤和过程，专利CN106570511B公开了一种基于计算机视觉的键盘字符缺陷在线检测系统和方法，专利CN111474184A公开了一种可基于工业机器视觉实现印刷字符缺陷检测方法，专利CN109409372B公开了一种空调显示屏字符分割方法，这些字符与背景具有较高对比度，不适用于镀镍金属表面去料字符检测。通过查新发现，目前检测的字符位置布置具有水平、垂直分布规律性，没有同时考虑字符与背景颜色相近、且具有镜面反射的金属表面去料字符的成像和识别，尚没有多形态分布镀镍金属去料字符成像方法、字符检测方法技术公开。
发明内容
1、本发明的目的
本发明解决的问题是提供一种镀镍金属去料字符识别和缺陷自动检测所需的视觉检测装置及方法，以解决镀镍金属表面多形态分布、多字符类型、与背景具有相近颜色、具有镜面反射特性的字符自动识别和缺陷字符自动检测问题。
2、本发明所采用的技术方案
本发明提出了一种基于机器视觉的镀镍金属表面去料字符自动识别系统，包括工作平台、工业相机、光学镜头、低角度环形漫反射光源、光源控制器、工业PC机；
所述夹持调节支架上安装固定工业相机、光学镜头、低角度环形漫反射光源，固定工业相机、光学镜头、低角度环形漫反射光源的中心线一致，所述光学镜头安装在工业相机前端；
工业相机与工业PC机相连将图像数据传输至工业PC机；
所述低角度环形漫反射光源固定于夹持调节支架，并与光源控制器相连，其直径大于待检测金属工件的最大边长，其圆心与相机视野中心在同一条轴线，打光方式为正向低角度照明，灯珠照射角度与工作平台夹角范围为15°～30°，使得镀镍金属表面去料字符被照亮，形成亮场，而背景区域和金属工件其他区域形成暗场。
优选的，所述工业PC机通过USB3.0接口与工业相机2相连，用于镀镍去料字符识别和缺陷检测。
优选的，所述光源控制器为控制光源亮度。
优选的，工业相机与工作平台上的待检测金属工件的上表面的工作距离大于相机的最小物距。
优选的，夹持调节支架为多关节可调式装置。
本发明提出了.一种基于机器视觉的镀镍金属表面去料字符自动识别系统的方法，包括：图像增强、图像分割、图像定位与校正、字符区域提取与分类分割、基于OCR的字符识别；
所述图像增强，包含中值滤波、分段线性增强、照度增强；所述中值滤波3*3尺寸的方形模板，消除噪声；所述分段线性增强用以增强字符区域和背景区域的对比度；所述照度增强用以改善部分图像照度不均匀；
所述图像分割包含阈值分割、连通域提取、面积删选、区域填充、图像乘操作，从而去除与金属工件无关的背景区域；所述阈值分割采用固定阈值分割的方式获取金属工件边缘区域和字符的高灰度亮区域，然后采用连通域分析的方式，对提取到的各个连通域计算面积，根据面积特征筛选，实现金属工件外轮廓的提取，接着通过形态学填充处理，与原图像作乘运算，从而得到无背景区域干扰的金属工件图像；
所述图像定位与校正包括特征筛选、模板匹配、仿射变换，从而实现不同位姿金属工件字符的定位和位置校正；所述特征筛选，采用最小外接半径和最小外接矩形特征提取字符区域；所述模板匹配，是指利用字符完好、倾斜角度为0°的字符区域作为模板，对上述提取的感兴趣区域进行模板匹配，确定字符位置和倾斜角度；所述仿射变换，依据字符位置，对当前感兴趣区域进行图像校正，从而增加图像处理算法对不同位姿字符识别的普适性；
所述字符区域提取与分类分割包括字符区域提取和基于字符段分类的字符分割，从而实现不同形态特征字符识别的鲁棒性；所述字符区域提取是指对采用交互式方式确定校正后图像中的所有镀镍去料字符区域，并依据形貌特征进行分类；所述基于字符段分类的字符分割是指针对不同形貌的字符段采用分批处理，即对具有不同形貌特征的字符段分批字符分割；
所述基于OCR的字符识别，包括字符图像归一化、分类器设计与训练和字符识别；图像归一化是指将分割后的不同形态的字符进行尺寸归一化；所述分类器设计与训练是指采用多层感知器神经网络，将归一化的字符训练样本作为输入，将字符识别结果作为输出，通过迭代训练得到当前所有字符的OCR分类模型；所述字符识别是指对分割归一化后的所有字符运用OCR模型识别，并与完整字符集比较，如果缺少字符则判定为存在字符缺失缺陷，如果与完整字符集一致，则判定为合格，并显示所有字符识别结果。
优选的，包括以下步骤：
步骤1获取带有字符的镀镍金属工件原始图片，字符区域被照亮，具有较高的灰度值；
步骤2采用3*3模板对获取的图片进行中值滤波，用以消除噪声和提高图像清晰度；
步骤3对图像分段线性增强和照度增强，用以增强字符区域和背景区域的对比度，改善部分图像照度不均匀；
步骤4采用固定阈值分割方式，获取图像中灰度值比较高的区域，即字符区域和金属工件轮廓区域；
步骤5采用8-邻域区域连接，获取图像中的连通域，计算图像中所有连通区域的面积；
步骤6通过特征筛选，提取图像中面积最大的连通域，得到金属工件的轮廓区域；
步骤7采用形态学区域填充操作，对金属工件区域进行填充，得到金属工件区域，将该区域灰度值设为1，其他背景区域灰度值设为0；
步骤8将得到的上述二值图像与带有字符的镀镍金属工件原始图片进行图像乘操作，即可去除背景区域，获取金属工件区域；
步骤9创建字符完整的字符图像作模板，设置模板倾斜角度范围为[1°,360°]，以1°为角度步长逆时针旋转一周，得到360个大小相等、角度各异的模板，将其分别命名为I1～I360；
步骤10将步骤8获取的图像I与模板中的360幅图像逐一模板匹配，计算相似度
求出与待检测图像相似度最高的图像Iα’其中α∈[1°,360°]，α即为字符逆时针倾斜角度，式中，I是待检测图像的图像矩阵，I′为同分辨率大小的模板图像的图像矩阵，σI为图像I的方差，σI′为图像I′的方差，cov(I,I′)是图像I和I′的协方差，I中心坐标应该Iσ与一致，从而确定镀镍金属工件中去料字符的位置和倾斜角度；
步骤11根据字符位置和角度，计算待校正图像到目标位置的刚性变换矩阵，最后对待校正图像执行仿射变换，进行平移和旋转角度修正，实现不同金属工件和字符图像位置的统一校正；
步骤12根据镀镍金属字符的分布和尺寸，将待检测字符分为三个检测区域；
步骤13分别计算各个检测区域的最小外接多边形，对检测区域中的字符进行等间距矩形分割；
步骤14建立OCR分类器，设置隐层数为80，字符图像统一规定为8*10大小，将字符训练样本和分类元组作为输入输出训练神经网络，设置迭代次数为200次，得到OCR分类器；
步骤15基于训练好的OCR分类器，逐个识别分割后的字符，如果字符完整，则给出识别结果；如果缺少字符或者字符不匹配，则给出相应提示。
3、本发明的有益效果
(1)本发明采用低角度环形漫反射光源正向照明方式，增加字符区域和背景区域的成像对比度，克服了金属工件表面镜面反射造成的信息缺失；
(2)本发明同时采用图像自动校正和图像字符段分类分割，提高了字符检测系统对不同位姿、不同形态特征字符识别的鲁棒性；
(3)本发明基于机器视觉技术对镀镍金属表面去料字符缺陷实时快速检测，提高了金属表面去料字符的检测效率和自动化程度。
附图说明
图1是本发明专利的视觉检测装置结构示意图；
图2是本发明专利图像处理方法流程图；
图3是本发明专利获取的镀镍金属工件去料字符图片；
图4是本发明专利字符分区处理示意图；
图5是本发明专利字符分割效果示意图；
图6是本发明专利字符识别和检测效果示意图。
字符检测效果图；
具体实施方式
下面结合本发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
下面将结合附图对本发明实例作进一步地详细描述。
实施例1
以下结合附图介绍本发明详细技术方案：如图1所示，本发明公开了一种镀镍金属表面去料字符的视觉检测装置，使得镀镍字符区域和镀镍金属工件区域具有成像差异性，包括工作平台、工业相机、光学镜头、低角度环形漫反射光源、光源控制器、工业PC机；
所述工作平台为硬件成像设备安装工位，其包含相机夹持调节支架、光源夹持调节支架、工作台面，其夹持组件为多关节可调式装置；
所述工业相机感光芯片水平分辨率p>L/d，垂直分辨率q>H/d，式中d为字符检测精度，L和H分别为检测金属工件投影的最小外接矩形的长和宽，以大于最小物距的工作距离S固定于相机夹持调节支架，保持相机相对于工作台面垂直，其通过数据线与工业PC机相连，并将采集的图像数据传输至工业PC；
所述光学镜头焦距f＝S*m/L，式中，m为感光芯片的长，其安装在相机前端；
所述低角度环形漫反射光源与光源控制器相连，其直径大于检测对象外形尺寸，安装在光源夹持支架上，位于检测对象和光学镜头之间，其圆心与相机视野中心在同一条轴线，打光方式为前光低角度照明，使被检测去料字符特征被加强形成亮场，在获取的图像上具有较高的灰度值，而其他区域形成暗场，在获取的图像上具有较低的灰度值；
所述光源控制器为控制光源亮度，需要调节到合理的亮度，使得检测字符成像清晰；
所述工业PC机为主处理器，通过USB3.0接口与工业相机相连，实现对图像的实时采集，通过图像处理算法，对采集的图像中的字符进行检测识别，并且将检测结果通过UI界面显示。
更进一步，本发明公开了一种镀镍金属表面去料字符的图像处理方法，所述的图像处理步骤包括：图像增强、图像分割、图像定位与校正、字符区域提取与分类分割、基于OCR的字符识别；
所述图像增强包含中值滤波、分段线性增强、照度增强，用以进一步提高图像清晰度，增加字符区域和背景区域的对比度。所述中值滤波3*3尺寸的方形模板，消除噪声；所述分段线性增强用以增强字符区域和背景区域的对比度；所述照度增强用以改善部分图像照度不均匀；
所述图像分割包含阈值分割、连通域提取、面积删选、区域填充、图像乘操作，从而去除与金属工件无关的背景区域。所述阈值分割采用固定阈值分割的方式获取金属工件边缘区域和字符的高灰度亮区域，然后采用连通域分析的方式，对提取到的各个连通域计算面积，根据面积特征筛选，实现金属工件外轮廓的提取，接着通过形态学填充处理，与原图像作乘运算，从而得到无背景区域干扰的金属工件图像；
所述图像定位与校正包括特征筛选、模板匹配、仿射变换，从而实现不同位姿金属工件字符的定位和位置校正。所述特征筛选，采用最小外接半径和最小外接矩形特征提取字符区域；所述模板匹配，是指利用字符完好、倾斜角度为0°的字符区域作为模板，对上述提取的感兴趣区域进行模板匹配，确定字符位置和倾斜角度；所述仿射变换，依据字符位置，对当前感兴趣区域进行图像校正，从而增加图像处理算法对不同位姿字符识别的普适性；
所述字符区域提取与分类分割包括字符区域提取和基于字符段分类的字符分割，从而实现不同形态特征字符识别的鲁棒性。所述字符区域提取是指对采用交互式方式确定校正后图像中的所有镀镍去料字符区域，并依据形貌特征进行分类；所述基于字符段分类的字符分割是指针对不同形貌的字符段采用分批处理，即对具有不同形貌特征的字符段分批字符分割；
所述基于OCR的字符识别包括字符图像归一化、分类器设计与训练和字符识别。图像归一化是指将分割后的不同形态的字符进行尺寸归一化；所述分类器设计与训练是指采用多层感知器神经网络，将归一化的字符训练样本作为输入，将字符识别结果作为输出，通过迭代训练得到当前所有字符的OCR分类模型；所述字符识别是指对分割归一化后的所有字符运用OCR模型识别，并与完整字符集比较，如果缺少字符则判定为存在字符缺失缺陷，如果与完整字符集一致，则判定为合格，并显示所有字符识别结果。
实施例2
本发明公开了一种镀镍金属表面去料字符的视觉检测装置，包括：1.夹持调节支架、2.工业相机、3.光学镜头、4.低角度环形漫反射光源、5.待检测金属工件、6.工作平台、7.工业PC机、8.光源控制器。
所述夹持调节支架1用于固定工业相机2和低角度环形漫反射光源4；
所述工业相机2固定于相机夹持支架，工业相机2与工作平台6上的待检测金属工件5的上表面的工作距离大于相机的最小物距，保持相机2与工作台面6垂直，工业相机2通过数据线与工业PC机7相连，并将图像数据传输至工业PC机7；
所述光学镜头3安装在工业相机2前端；
所述低角度环形漫反射光源4固定于夹持调节支架，并与光源控制器8相连，其直径大于待检测金属工件5的最大边长，其圆心与相机视野中心在同一条轴线，打光方式为正向低角度照明，灯珠照射角度与工作平台夹角范围为15°～30°，使得镀镍金属表面去料字符被照亮，形成亮场，而背景区域和金属工件其他区域形成暗场。
所述工业PC机7为主处理器，通过USB3.0接口与工业相机2相连，控制图像实时采集，并对采集的图像进行图像处理，实现镀镍去料字符识别和缺陷检测；
所述光源控制器8为控制光源亮度，需要微调到合理的亮度，保持成像清晰；
实施例2
如图2所示，本发明公开了一种镀镍金属表面去料字符识别和字符缺失检测的图像处理方法，主要包括以下步骤：
步骤1采用实施例1中的视觉检测装置，获取带有字符的镀镍金属工件原始图片，以镀镍金属电池为例，获取图片如图3所示，字符区域被照亮，具有较高的灰度值；
步骤2采用3*3模板对获取的图片进行中值滤波，用以消除噪声和提高图像清晰度；
步骤3对图像分段线性增强和照度增强，用以增强字符区域和背景区域的对比度，改善部分图像照度不均匀；
步骤4采用固定阈值分割方式，获取图像中灰度值比较高的区域(字符区域和金属工件轮廓区域)；
步骤5采用8-邻域区域连接，获取图像中的连通域，计算图像中所有连通区域的面积；
步骤6通过特征筛选，提取图像中面积最大的连通域，得到金属工件的轮廓区域；
步骤7采用形态学区域填充操作，对金属工件区域进行填充，得到金属工件区域，将该区域灰度值设为1，其他背景区域灰度值设为0；
步骤8将得到的上述二值图像与带有字符的镀镍金属工件原始图片进行图像乘操作，即可去除背景区域，获取金属工件区域；
步骤9创建字符完整的字符图像作模板，设置模板倾斜角度范围为[1°,360°]，以1°为角度步长逆时针旋转一周，得到360个大小相等、角度各异的模板，将其分别命名为I1～I360；
步骤10将步骤8获取的图像I与模板中的360幅图像逐一模板匹配，计算相似度
求出与待检测图像相似度最高的图像Iα’其中α∈[1°,360°]，α即为字符逆时针倾斜角度，式中，I是待检测图像的图像矩阵，I′为同分辨率大小的模板图像的图像矩阵，σI为图像I的方差，σI′为图像I′的方差，cov(I,I′)是图像I和I′的协方差，I中心坐标应该Iσ与一致，从而确定镀镍金属工件中去料字符的位置和倾斜角度；
步骤11根据字符位置和角度，计算待校正图像到目标位置的刚性变换矩阵，最后对待校正图像执行仿射变换，进行平移和旋转角度修正，实现不同金属工件和字符图像位置的统一校正；
步骤12根据字符形貌特征，对字符进行分区分类处理，从而提高算法对不同形貌特征字符的分割准确度。以图4为例，根据镀镍金属字符的分布和尺寸，将待检测字符分为三个检测区域；
步骤13分别计算各个检测区域的最小外接多边形，对检测区域中的字符进行等间距矩形分割，部分分割结果如图5所示；
步骤14建立OCR分类器，设置隐层数为80，字符图像统一规定为8*10大小，将字符训练样本和分类元组作为输入输出训练神经网络，设置迭代次数为200次，得到OCR分类器；
步骤15基于训练好的OCR分类器，逐个识别分割后的字符，如果字符完整，则给出识别结果；如果缺少字符或者字符不匹配，则给出相应提示，如图6所示。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (7)
1.一种基于机器视觉的镀镍金属表面去料字符自动识别系统，其特征在于：包括工作平台、工业相机、光学镜头、低角度环形漫反射光源、光源控制器、工业PC机；
所述夹持调节支架上安装固定工业相机、光学镜头、低角度环形漫反射光源，固定工业相机、光学镜头、低角度环形漫反射光源的中心线一致，所述光学镜头安装在工业相机前端；
工业相机与工业PC机相连将图像数据传输至工业PC机；
所述低角度环形漫反射光源固定于夹持调节支架，并与光源控制器相连，其直径大于待检测金属工件的最大边长，其圆心与相机视野中心在同一条轴线，打。。
光方式为正向低角度照明，灯珠照射角度与工作平台夹角范围为15～30，使得镀镍金属表面去料字符被照亮，形成亮场，而背景区域和金属工件其他区域形成暗场。
2.根据权利要求1所述的基于机器视觉的镀镍金属表面去料字符自动识别系统，其特征在于：
所述工业PC机通过USB3.0接口与工业相机2相连，用于镀镍去料字符识别和缺陷检测。
3.根据权利要求1所述的基于机器视觉的镀镍金属表面去料字符自动识别系统，其特征在于：所述光源控制器为控制光源亮度。
4.根据权利要求1所述的基于机器视觉的镀镍金属表面去料字符自动识别系统，其特征在于：工业相机与工作平台上的待检测金属工件的上表面的工作距离大于相机的最小物距。
5.根据权利要求1所述的基于机器视觉的镀镍金属表面去料字符自动识别系统，其特征在于：夹持调节支架为多关节可调式装置。
6.一种根据权利要求1-5任一所述的基于机器视觉的镀镍金属表面去料字符自动识别系统的方法，其特征在于：包括：图像增强、图像分割、图像定位与校正、字符区域提取与分类分割、基于OCR的字符识别；
所述图像增强，包含中值滤波、分段线性增强、照度增强；所述中值滤波3*3尺寸的方形模板，消除噪声；所述分段线性增强用以增强字符区域和背景区域的对比度；所述照度增强用以改善部分图像照度不均匀；
所述图像分割包含阈值分割、连通域提取、面积删选、区域填充、图像乘操作，从而去除与金属工件无关的背景区域；所述阈值分割采用固定阈值分割的方式获取金属工件边缘区域和字符的高灰度亮区域，然后采用连通域分析的方式，对提取到的各个连通域计算面积，根据面积特征筛选，实现金属工件外轮廓的提取，接着通过形态学填充处理，与原图像作乘运算，从而得到无背景区域干扰的金属工件图像；
所述图像定位与校正包括特征筛选、模板匹配、仿射变换，从而实现不同位姿金属工件字符的定位和位置校正；所述特征筛选，采用最小外接半径和最小外接矩形特征提取字符区域；所述模板匹配，是指利用字符完好、倾斜角度为0°的字符区域作为模板，对上述提取的感兴趣区域进行模板匹配，确定字符位置和倾斜角度；所述仿射变换，依据字符位置，对当前感兴趣区域进行图像校正，从而增加图像处理算法对不同位姿字符识别的普适性；
所述字符区域提取与分类分割包括字符区域提取和基于字符段分类的字符分割，从而实现不同形态特征字符识别的鲁棒性；所述字符区域提取是指对采用交互式方式确定校正后图像中的所有镀镍去料字符区域，并依据形貌特征进行分类；所述基于字符段分类的字符分割是指针对不同形貌的字符段采用分批处理，即对具有不同形貌特征的字符段分批字符分割；
所述基于OCR的字符识别，包括字符图像归一化、分类器设计与训练和字符识别；图像归一化是指将分割后的不同形态的字符进行尺寸归一化；所述分类器设计与训练是指采用多层感知器神经网络，将归一化的字符训练样本作为输入，将字符识别结果作为输出，通过迭代训练得到当前所有字符的OCR分类模型；所述字符识别是指对分割归一化后的所有字符运用OCR模型识别，并与完整字符集比较，如果缺少字符则判定为存在字符缺失缺陷，如果与完整字符集一致，则判定为合格，并显示所有字符识别结果。
7.根据权利要求6所述的基于机器视觉的镀镍金属表面去料字符自动识别方法，其特征在于，包括以下步骤：
步骤1获取带有字符的镀镍金属工件原始图片，字符区域被照亮，具有较高的灰度值；
步骤2采用3*3模板对获取的图片进行中值滤波，用以消除噪声和提高图像清晰度；
步骤3对图像分段线性增强和照度增强，用以增强字符区域和背景区域的对比度，改善部分图像照度不均匀；
步骤4采用固定阈值分割方式，获取图像中灰度值比较高的区域，即字符区域和金属工件轮廓区域；
步骤5采用8-邻域区域连接，获取图像中的连通域，计算图像中所有连通区域的面积；
步骤6通过特征筛选，提取图像中面积最大的连通域，得到金属工件的轮廓区域；
步骤7采用形态学区域填充操作，对金属工件区域进行填充，得到金属工件区域，将该区域灰度值设为1，其他背景区域灰度值设为0；
步骤8将得到的上述二值图像与带有字符的镀镍金属工件原始图片进行图像乘操作，即可去除背景区域，获取金属工件区域；
步骤9创建字符完整的字符图像作模板，设置模板倾斜角度范围为[1°,360°]，以1°为角度步长逆时针旋转一周，得到360个大小相等、角度各异的模板，将其分别命名为I1～I360；
步骤10将步骤8获取的图像I与模板中的360幅图像逐一模板匹配，计算相似度
求出与待检测图像相似度最高的图像Iα，其中α∈[1°,360°]，α即为字符逆时针倾斜角度，式中，I是待检测图像的图像矩阵，I′为同分辨率大小的模板图像的图像矩阵，σI为图像I的方差，σI′为图像I′的方差，cov(I,I′)是图像I和I′的协方差，I中心坐标应该Iσ与一致，从而确定镀镍金属工件中去料字符的位置和倾斜角度；
步骤11根据字符位置和角度，计算待校正图像到目标位置的刚性变换矩阵，最后对待校正图像执行仿射变换，进行平移和旋转角度修正，实现不同金属工件和字符图像位置的统一校正；
步骤12根据镀镍金属字符的分布和尺寸，将待检测字符分为三个检测区域；
步骤13分别计算各个检测区域的最小外接多边形，对检测区域中的字符进行等间距矩形分割；
步骤14建立OCR分类器，设置隐层数为80，字符图像统一规定为8*10大小，将字符训练样本和分类元组作为输入输出训练神经网络，设置迭代次数为200次，得到OCR分类器；
步骤15基于训练好的OCR分类器，逐个识别分割后的字符，如果字符完整，则给出识别结果；如果缺少字符或者字符不匹配，则给出相应提示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110514068.1A CN113205099B (zh) | 2021-05-12 | 2021-05-12 | 一种镀镍金属表面去料字符视觉检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110514068.1A CN113205099B (zh) | 2021-05-12 | 2021-05-12 | 一种镀镍金属表面去料字符视觉检测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113205099A true CN113205099A (zh) | 2021-08-03 |
| CN113205099B CN113205099B (zh) | 2024-05-14 |
Family
ID=77031070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110514068.1A Active CN113205099B (zh) | 2021-05-12 | 2021-05-12 | 一种镀镍金属表面去料字符视觉检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113205099B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114140796A (zh) * | 2021-11-30 | 2022-03-04 | 马鞍山学院 | 一种基于线阵相机的轴类零件表面字符视觉识别方法 |
| CN114833724A (zh) * | 2022-05-26 | 2022-08-02 | 江阴嘉欧新材料有限公司 | 塑料抛光机械驱动系统 |
| CN115047073A (zh) * | 2022-06-17 | 2022-09-13 | 广东电网有限责任公司 | 一种基于超声导波的管道缺陷动态检测方法及装置 |
| CN117282718A (zh) * | 2023-11-24 | 2023-12-26 | 无锡出新环保设备有限公司 | 一种电镀件镀前超声波除油装置 |
| CN118067741A (zh) * | 2024-04-18 | 2024-05-24 | 成都考拉悠然科技有限公司 | 基于光度立体法的Mini-LED胶面缺陷检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785319A (zh) * | 2019-01-28 | 2019-05-21 | 湖北汽车工业学院 | 一种基于图像处理的喷码字符检测系统、装置和检测方法 |
| CN110097042A (zh) * | 2019-04-22 | 2019-08-06 | 浙江科技学院 | 一种具有弧度的剃须刀外壳的字符检测系统及检测方法 |
| CN110580477A (zh) * | 2019-09-30 | 2019-12-17 | 桂林航天电子有限公司 | 一种继电器外壳编号自动识别装置和方法 |
-
2021
- 2021-05-12 CN CN202110514068.1A patent/CN113205099B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785319A (zh) * | 2019-01-28 | 2019-05-21 | 湖北汽车工业学院 | 一种基于图像处理的喷码字符检测系统、装置和检测方法 |
| CN110097042A (zh) * | 2019-04-22 | 2019-08-06 | 浙江科技学院 | 一种具有弧度的剃须刀外壳的字符检测系统及检测方法 |
| CN110580477A (zh) * | 2019-09-30 | 2019-12-17 | 桂林航天电子有限公司 | 一种继电器外壳编号自动识别装置和方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114140796A (zh) * | 2021-11-30 | 2022-03-04 | 马鞍山学院 | 一种基于线阵相机的轴类零件表面字符视觉识别方法 |
| CN114833724A (zh) * | 2022-05-26 | 2022-08-02 | 江阴嘉欧新材料有限公司 | 塑料抛光机械驱动系统 |
| CN115047073A (zh) * | 2022-06-17 | 2022-09-13 | 广东电网有限责任公司 | 一种基于超声导波的管道缺陷动态检测方法及装置 |
| CN117282718A (zh) * | 2023-11-24 | 2023-12-26 | 无锡出新环保设备有限公司 | 一种电镀件镀前超声波除油装置 |
| CN117282718B (zh) * | 2023-11-24 | 2024-02-27 | 无锡出新环保设备有限公司 | 一种电镀件镀前超声波除油装置 |
| CN118067741A (zh) * | 2024-04-18 | 2024-05-24 | 成都考拉悠然科技有限公司 | 基于光度立体法的Mini-LED胶面缺陷检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113205099B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113205099B (zh) | 一种镀镍金属表面去料字符视觉检测系统及方法 | |
| CN111951237B (zh) | 外观视觉检测方法 | |
| CN110389127B (zh) | 一种金属陶瓷零件识别及表面缺陷检测系统和方法 | |
| CN102426649B (zh) | 一种简单的高准确率的钢印数字自动识别方法 | |
| CN112949564A (zh) | 一种基于深度学习的指针式仪表自动读数方法 | |
| CN111915704A (zh) | 一种基于深度学习的苹果分级识别方法 | |
| CN111612737B (zh) | 一种人造板表面瑕疵检测装置及检测方法 | |
| CN114705686B (zh) | 圆柱锅表面缺陷检测方法、系统、控制器及工控机 | |
| CN113109348B (zh) | 一种基于机器视觉的桨影移印缺陷识别方法 | |
| CN111667475B (zh) | 一种基于机器视觉的大枣分级检测方法 | |
| CN110490826B (zh) | 一种照相机中雾滴样本图像处理方法 | |
| CN112907519A (zh) | 一种基于深度学习的金属曲面缺陷分析系统及方法 | |
| CN107610085A (zh) | 一种基于计算机视觉的焊点缺陷检测系统 | |
| CN112304957A (zh) | 一种基于机器视觉的外观缺陷智能检测方法及系统 | |
| CN111739003B (zh) | 一种用于外观检测的机器视觉方法 | |
| CN112348018A (zh) | 基于巡检机器人的数显式仪表读数识别方法 | |
| CN106709529B (zh) | 一种光伏电池色差分类的视觉检测方法 | |
| CN115830018B (zh) | 基于深度学习与双目视觉的碳素块检测方法及系统 | |
| CN111060518A (zh) | 一种基于实例分割的冲压件缺陷识别方法 | |
| CN114119591A (zh) | 一种显示屏画面质量检测方法 | |
| CN115601296A (zh) | 一种基于深度学习的表面缺陷检测装置及检测方法 | |
| CN112184619A (zh) | 一种基于深度学习的金属部件表面缺陷检测方法 | |
| CN111707672A (zh) | 风电回转支撑件表面缺陷检测方法 | |
| CN115184362B (zh) | 一种基于结构光投影的快速缺陷检测方法 | |
| CN114548250B (zh) | 一种基于数据分析的手机外观检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |