CN110672626A - 一种手机壳体中框表面颗粒缺陷的检测方法 - Google Patents

一种手机壳体中框表面颗粒缺陷的检测方法 Download PDF

Info

Publication number
CN110672626A
CN110672626A CN201911111253.5A CN201911111253A CN110672626A CN 110672626 A CN110672626 A CN 110672626A CN 201911111253 A CN201911111253 A CN 201911111253A CN 110672626 A CN110672626 A CN 110672626A
Authority
CN
China
Prior art keywords
mobile phone
phone shell
defect
image
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911111253.5A
Other languages
English (en)
Other versions
CN110672626B (zh
Inventor
张弛
朱磊
侯晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Gantu Network Technology Co Ltd
Original Assignee
Shanghai Gantu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Gantu Network Technology Co Ltd filed Critical Shanghai Gantu Network Technology Co Ltd
Priority to CN201911111253.5A priority Critical patent/CN110672626B/zh
Publication of CN110672626A publication Critical patent/CN110672626A/zh
Application granted granted Critical
Publication of CN110672626B publication Critical patent/CN110672626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8809—Adjustment for highlighting flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G01N2021/8864—Mapping zones of defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8867—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing
    • G01N2021/887—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing the measurements made in two or more directions, angles, positions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及图像缺陷识别领域，特别涉及一种应用于手机壳体中框表面颗粒缺陷识别所使用的检测方法。一种手机壳体中框表面颗粒缺陷的检测装置，其中，包括手机壳体传送抓取部分和缺陷采集识别部分，其中手机壳体传送抓取部分用于手机壳体的抓取、移动及固定，缺陷采集识别部分用于对固定的手机壳体采集信息并识别缺陷。本发明的效果是：a.增强形变缺陷的特征，使得颗粒缺陷显示的更明显。b.增强形变缺陷的清晰度，使得直径小于0.1mm的颗粒缺陷更加容易被发现。c.增强在高亮，高反光的弧面上缺陷的识别度，使得在特殊角度和特殊位置的无法被人眼看到的颗粒缺陷全部显示出来。d.降低灰尘和脏污的特征，减少其对颗粒缺陷识别的影响，使得缺陷识别率大大增加。

Description

一种手机壳体中框表面颗粒缺陷的检测方法
技术领域
本发明涉及图像缺陷识别领域，特别涉及一种应用于手机壳体中框表面颗粒缺陷识别所使用的检测方法。
背景技术
自手机这种产品发明以来，随着越来越小型化和智能化，越来越广泛的在千家万户普及开来，伴随着互联网新技术、手机智能系统和3G、4G移动网络技术的不断推出，手机作为一个多媒体移动终端媒介，使用的频度越来越高，人们可以用它来打电话、听音乐、拍照、看电影、浏览网页、玩手机游戏等，将其他电子设备的功能都融合于一台手机之上。同时手机自身的智能技术也越来越成熟，像人脸AI识别、语音识别助手，无线充电等。手机已经成为人们日常生活中几乎不可缺少的用品和工具，是人类使用科技改变生活的典型标志。
手机外壳技术也随着人们使用频度的增大，不断的推陈出新，同时结合手机最新的全面屏技术，手机外壳制造工艺也随之进入一个新的阶段，从原来的塑料材质、金属材质过渡到现在的铝合金材质，玻璃材质等。而铝合金材质的手机壳体在生产过程中，由于生产工艺问题，在生产手机壳体所设计的各个环节中，所生产出来的产品受技术条件和环境因素的影响，仍不可避免的会出现一部分带有如同色点、异色点、压伤、碰伤、擦伤、划伤、软划伤、飞边、缩水、熔接线、橘纹、颗粒、凹印、凸印、锯齿、掉漆、孔缺、麻点等缺陷的产品，这些缺陷对手机壳体的机械刚度和产品使用美观度都有很大影响，因此，需要在生产过程中对这些缺陷进行检测。并且经调研发现，手机壳体中框表面颗粒缺陷因生产工艺流程问题大约占到总缺陷数量的30％以上，因颗粒缺陷存在过于细微、易与灰尘颗粒混淆等种种特点，迫切需要一种专用的装置和方法解决手机壳体中框表面颗粒缺陷的有效检测问题。
目前绝大部分的手机壳体生产厂家对于颗粒这类缺陷的检测都是通过人工肉眼进行识别检测，依靠产线上的质检人员，通过肉眼及显微镜等辅助工具，对每一个手机壳体中框表面进行颗粒缺陷问题的检测，这种检测方法极大的依赖质检人员的作业经验和主观感受来判断缺陷是否存在，受客观因素影响较大，如长时间工作以后，产生的疲劳会导致肉眼判断出现一定的偏差可能，从而很容易造成误检、漏检问题的出现。
目前国内诸多视觉识别供应商都是在解决以上问题时都是采用传统视觉配合人工智能识别的模式，即使用工业相机配合机械设备对手机壳体中框表面进行图像采集，然后通过卷积神经网络进一步判断图像中的缺陷信息。但是该方法受限于相机拍摄环境、角度及拍摄设备性能影响，如壳体材质反光、壳体沾上灰尘、颗粒缺陷微小等，非常难以拍摄到手机壳体中的颗粒缺陷特征及其细微缺陷信息。
发明内容
本发明针对现有技术的缺陷，提供一种手机壳体中框表面颗粒缺陷的检测方法，该方法能高效、准确、快速、稳定的检测手机壳体中框表面颗粒缺陷。
本发明是这样实现的：一种手机壳体中框表面颗粒缺陷的检测装置，其中，包括手机壳体传送抓取部分和缺陷采集识别部分，其中手机壳体传送抓取部分用于手机壳体的抓取及固定，缺陷采集识别部分用于对固定的手机壳体采集信息并识别缺陷。
如上所述的一种手机壳体中框表面颗粒缺陷的检测装置，其中，所述的手机壳体传送抓取部分包括:
手机壳体传送台，该手机壳体传送台用于将待测手机壳体运送到指定位置；
手机壳体抓取装置，该手机壳体抓取装置设置在手机壳体传送台上方，能够实现对特定位置的待测手机壳体的抓取及位置移动；
手机壳体移动控制装置，该手机壳体移动控制装置与手机壳体抓取装置电连接，并能够实现对手机壳体抓取装置的控制。
如上所述的一种手机壳体中框表面颗粒缺陷的检测装置，其中，所述的手机壳体传送台上设置传送控制电机，该传送控制电机通过控制传送带实现对待测手机壳体的运送。
如上所述的一种手机壳体中框表面颗粒缺陷的检测装置，其中，所述的缺陷采集识别部分包括:
条形光源设备，该条形光源设备用于在待测手机壳体表面形成光栅；
平面无影光源设备，该平面无影光源设备用于形成无影照明；在平面无影光源设备表面覆盖工业用标定板后用于在待测手机壳体表面形成明暗条纹光栅和无影光斑，使之能清晰呈现手机壳体中框表面颗粒缺陷；
摄像装置，该摄像装置用于对待测手机壳体拍摄，形成高清图像；
图像识别主机，该图像识别主机与摄像装置数据连接，并能够识别摄像装置输出数据中的拍摄到的待测手机壳体的缺陷；
图像显示设备，该图像显示设备与图像识别主机电连接，用于显示图像识别主机的输出结果。
如上所述的一种手机壳体中框表面颗粒缺陷的检测装置，其中，所述的摄像装置至少有三组。
如上所述的一种手机壳体中框表面颗粒缺陷的检测装置，其中，所述的条形光源设备，用于提供一种面条形光源，该面条形光源发出条纹光栅，投射在手机壳体上形成明暗条纹光栅，使之能清晰呈现手机壳体中框表面颗粒缺陷。
如上所述的一种手机壳体中框表面颗粒缺陷的检测装置，其中，所述的摄像设备包括光学连接的高清工业光学镜头和高清工业数字摄像机。
如上所述的一种手机壳体中框表面颗粒缺陷的检测装置，其中，所述高清工业光学镜头，用于拍摄采集手机壳体的不同位置的缺陷光学图像，该光学镜头使用1000万以上像素，生成4K，4096×2160，以上分辨率高清光学图像，可将所拍摄手机壳体外侧表面成像至高清工业数字摄像机。
如上所述的一种手机壳体中框表面颗粒缺陷的检测装置，其中，所述高清工业数字摄像机，用于将拍摄采集手机壳体的不同位置的缺陷光学图像转换为对应的数字图像信号，配合高清工业光学镜头，使用1000万以上像素，生成4K，4096×2160，以上分辨率高清图像，通过高清工业数字摄像机内的CMOS传感器，其将光学图像转换为数字图像。
如上所述的一种手机壳体中框表面颗粒缺陷的检测装置，其中，所述的缺陷采集识别部分还包括采集平台承载架和采集设备支架，该采集平台承载架和采集设备支架用于固定缺陷采集识别部分的各种部件。
一种手机壳体中框表面颗粒缺陷的检测方法，其中，包括下述步骤：
步骤一：将待测手机壳体固定；
将待测手机壳体固定在特定位置；
步骤二：对待测手机壳体进行图像采集；
对待测手机壳体的正面和上下两侧进行图像采集，形成三幅采集图像；
步骤三：识别采集图像、判断是否有缺陷，并输出结果；
识别图像，判断是否有缺陷，并输出结果。
如上所述的一种手机壳体中框表面颗粒缺陷的检测方法，其中，所述的步骤二中，在进行图像采集之前，在待测手机壳体中框的侧面边缘上形成明暗条纹光栅，在待测手机壳体中框的正面上形成明暗条纹光栅和无影光斑。
如上所述的一种手机壳体中框表面颗粒缺陷的检测方法，其中，对每个待测手机壳体采集240张位置不同的图像，这些图像用于识别缺陷。
如上所述的一种手机壳体中框表面颗粒缺陷的检测方法，其中，所述的240张图像通过三个位置，每个位置80个采集点实现。
如上所述的一种手机壳体中框表面颗粒缺陷的检测方法，其中，所述的步骤三中的识别部分包括下述内容。
预先加载好根据图像样本训练好的图像识别用深度学习卷积神经网络模型和ROI区域过滤用深度学习卷积神经网络模型，先将读取到数字图像输入到ROI神经网络模型中，ROI为region of interest，又称感兴趣区域，是在机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域。得到该图像的ROI区域后，再将该图像进行压缩，固定至1433*756分辨率尺寸，再进行图像的RGB转换，形成预识别图像，然后输入到深度学习卷积神经网络中快速进行识别，获得缺陷类别，然后根据已识别的ROI区域过滤掉区域外的缺陷，最终取得完整的手机壳体中框表面颗粒缺陷识别信息，包括颗粒缺陷轮廓区域，缺陷类别，缺陷置信度判定，之后将手机壳体中框表面颗粒缺陷识别信息结果使用图像显示模块显示出来。
如上所述的一种手机壳体中框表面颗粒缺陷的检测方法，其中，所述基于的深度学习卷积神经网络GTnet实现ROI区域的检测和缺陷的快速检出及类别识别之前，还需要以下步骤：
使用大量带有颗粒缺陷的手机壳体中框的正面和两侧表面颗粒缺陷图像样本进行深度学习卷积神经网络模型的学习训练，生成缺陷图像识别卷积神经网络模型；
使用大量带有颗粒缺陷的手机壳体中框表面颗粒缺陷图像样本进行ROI区域过滤模型的学习训练，生成ROI区域过滤识别卷积神经网络模型。
本发明的效果是：本方法使用条形光源，无影光源，使用3个工业相机，通过机械手抓取手机壳体，在80个角度位置分别快速拍照3次，全方位对手机壳体外侧表面进行图像获取。然后将获取到的图像传输进入识别主机，通过自主设计的深度学习卷积神经网络GTnet实现ROI区域的检测和缺陷的快速检出及类别识别，能够准确快速判断该手机壳体中框表面是否存在颗粒缺陷问题，并通过识别主机的人工智能深度卷积神经网络将颗粒缺陷的轮廓范围位置做详细特征标记，最终使用缺陷展示平台系统软件呈现出已标记缺陷位置和特征信息的手机壳体中框表面颗粒缺陷的图像信息。
通过手机壳体中框表面颗粒缺陷的检测装置及方法能够解决现有使用工业摄像头配合普通光源无法清晰拍摄到手机壳体中框表面颗粒缺陷，及使用普通AI智能图像视觉识别无法准确判断手机壳体中框表面颗粒缺陷位置的问题，使用本发明技术方案能够清晰拍摄到手机壳体中框表面颗粒缺陷，通过特有的人工智能卷积神经网络模型配合ROI区域卷积神经网络模型进行图像识别，能够准确识别手机壳体中框表面颗粒缺陷位置区域，极大的提高了手机壳体中框表面颗粒缺陷识别率和生产效率，有效的提高了手机壳体生产线的运转效率。
具体的说，本发明能达到如下量化效果：
a.增强形变缺陷的特征，使得颗粒缺陷显示的更明显。
b.增强形变缺陷的清晰度，使得直径小于0.1mm的颗粒缺陷更加容易被发现。
c.增强在高亮，高反光的弧面上缺陷的识别度，使得在特殊角度和特殊位置的无法被人眼看到的颗粒缺陷全部显示出来。
d.降低灰尘和脏污的特征，减少其对颗粒缺陷识别的影响，使得缺陷识别率大大增加。
附图说明
图1是本发明手机壳体中框表面颗粒缺陷检测装置总体示意图；
图2是本发明手机壳体中框表面颗粒缺陷检测装置中手机壳体传送抓取部分的示意图；
图3是本发明手机壳体中框表面颗粒缺陷检测装置中缺陷采集识别部分的示意图。
图中：1、采集平台承载架；2、采集设备支架；3、条形光源设备；4、平面无影光源设备；5、高清工业数字摄像机；6、高清工业光学镜头；7、工业用标定板；8、手机壳体传送台；9、手机壳体抓取装置；10、手机壳体移动控制装置；11、图像识别主机；12、图像显示设备；13、待测手机壳体；14、传送控制电机。
具体实施方式
如附图1～3所示，一种手机壳体中框表面颗粒缺陷的检测装置，包括采集平台承载架1，用于放置采集相关设备，包括固定住采集设备支架2、手机壳体传送台8、手机壳体抓取装置9、手机壳体移动控制装置(高精度机械臂)10这些装置设备，及调整这些装置设备使之正常运行。
所述采集设备支架2，用于固定条形光源设备3、平面无影光源设备4、高清工业数字摄像机5、高清工业光学镜头6、工业用标定板7这些装置设备及调整这些装置设备使之能够在适合的位置、适合的角度清晰拍摄到手机壳体中框表面颗粒缺陷图像；
所述条形光源设备3，用于提供一种条形光源，主要是通过输出一面条形光源，该面条形光源发出条纹光栅，投射在手机壳体上形成明暗条纹光栅，使之能清晰呈现手机壳体中框表面颗粒缺陷；
所述平面无影光源设备4，用于提供一种无影光源，主要通过将工业用标定板覆盖在平面无影光源设备上输出无影光源，投射在手机壳体外侧表面上形成明暗条纹光栅和无影光斑，使之能清晰呈现手机壳体中框表面颗粒缺陷。
所述高清工业光学镜头6，用于拍摄采集手机壳体的不同位置的缺陷光学图像，该光学镜头使用1000万以上像素，生成4K(4096×2160)以上分辨率高清光学图像，可将所拍摄手机壳体中框表面成像至高清工业数字摄像机。
所述高清工业数字摄像机5，用于将拍摄采集手机壳体的不同位置的缺陷光学图像转换为对应的数字图像信号，配合高清工业光学镜头6，使用1000万以上像素，生成4K(4096×2160)以上分辨率高清图像。通过高清工业数字摄像机内的CMOS传感器，其将光学图像转换为数字图像；
所述工业用标定板7，用于配合平面无影光源设备4改变光斑的形状并增强缺陷的特征，使之能清晰呈现手机壳体中框表面颗粒缺陷；
所述手机壳体传送台8，用于传送手机壳体到指定位置，协同传送控制电机14、手机壳体传送台8、待测手机壳体13，依次将待测手机壳体13传送至指定位置，供手机壳体抓取装置抓取；
所述手机壳体抓取装置9，用于从手机壳体传送台8指定位置抓取并固定待测手机壳体13；
所述手机壳体移动控制装置(高精度机械臂)10，用于控制手机壳移动到预设的点位；
所述图像识别主机11，用于存储采集到的数字图像并识别图像中的手机壳体中框表面缺陷；具体来说，是通过图像识别主机中的高性能图像识别处理卡，基于已经训练完成的手机壳体中框表面缺陷模型对拍摄到的清晰手机壳体中框表面缺陷图像进行缺陷识别，然后标记识别到的缺陷类型和缺陷位置区域并传输到图像显示设备显示出来；
所述图像显示设备12，用于显示已标记的手机壳体中框表面颗粒缺陷的图像识别结果，具体来说，可以为各类显示器设备；
本发明提供的手机壳体中框表面颗粒缺陷检测装置，其工作原理如下：
手机壳体传送台8协同传送控制电机14，将待测手机壳体13传送至指定位置，手机壳体抓取装置9，从手机壳体传送台8指定位置抓取并固定待测手机壳体13，手机壳体移动控制装置10将抓取并固定的待测手机壳体13移动至指定检测位置1。
之后，条形光源设备3输出一面条形光源，该面条形光源发出条纹光栅，投射在待测手机壳体13上形成明暗条纹光栅，协同平面无影光源设备4配合覆盖在平面无影光源设备上工业用标定板7输出无影光源，投射在待测手机壳体13外侧表面上形成明暗条纹光栅和无影光斑。
接下来高清工业数字摄像机5，配合高清工业光学镜头6，采集拍摄待测手机壳体13外侧表面图片。
具体来说，每个待测手机壳体13外侧表面为上中下3个面，需要使用3个高清工业数字摄像机5，配合高清工业光学镜头6在检测位置1分别拍摄。
进一步地，每个手机壳体中框表面，根据检测需要，被分成了80个检测位置，通过手机壳体移动控制装置10分别转动待测手机壳体13实现。在每个检测位置要重复进行光源打光，摄像机拍摄的步骤，由此，每个待测手机壳体13共需采集240张手机壳体中框表面清晰细节图片。
进一步地，所述240张手机壳体中框表面清晰细节图片被存储至图像识别主机11，图像识别主机11预先加载好根据图像样本训练好的图像识别用深度学习卷积神经网络模型和ROI区域过滤用深度学习卷积神经网络模型。
进一步地，图像识别主机11先将读取到数字图像输入到ROI神经网络模型中，得到该图像的ROI区域，再将该图像进行压缩，固定至1433*756分辨率尺寸，再进行图像的RGB转换，形成预识别图像，然后输入到深度学习卷积神经网络中快速进行识别，获得缺陷类别，然后根据已识别的ROI区域过滤掉区域外的缺陷，最终取得完整的手机壳体中框表面颗粒缺陷识别信息，包括缺陷轮廓区域，缺陷类别，缺陷置信度判定。
进一步地，通过图像显示设备12将手机壳体中框表面颗粒缺陷识别信息结果显示出来。
最终，待测手机壳体13检测完成后，根据检测和识别的结果(有缺陷/无缺陷)，通过手机壳体移动控制装置10配合手机壳体抓取装置9将已测手机壳体移动至指定位置(有缺陷手机壳体放置区域/无缺陷手机壳体放置区域)并放下，接下来由手机壳体传送台8依次将下一个待测手机壳体13移动至抓取位置，重复手机壳体中框表面颗粒缺陷采集过程，形成流水线操作。
具体而言，所述将待测手机壳体13放置在手机壳体传送台8前，还包括步骤：
依次调整采集平台承载架1、采集设备支架2、条形光源设备3、平面无影光源设备4、工业用标定板7、高清工业数字摄像机5、高清工业光学镜头6的位置，角度，距离，亮度，光圈，焦距等，确保80个采集点位置的上中下三面均能够清晰成像。
具体而言，所述基于的深度学习卷积神经网络GTnet实现ROI区域的检测和缺陷的快速检出及类别识别之前，还需要以下步骤：
使用大量带有颗粒缺陷的手机壳体中框表面颗粒缺陷图像样本进行深度学习卷积神经网络模型的学习训练，生成缺陷图像识别卷积神经网络模型。
使用大量带有颗粒缺陷的手机壳体中框表面颗粒缺陷图像样本进行ROI区域过滤模型的学习训练，生成ROI区域过滤识别卷积神经网络模型。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (16)

1.一种手机壳体中框表面颗粒缺陷的检测装置，其特征在于：包括手机壳体传送抓取部分和缺陷采集识别部分，其中手机壳体传送抓取部分用于手机壳体的抓取、移动及固定，缺陷采集识别部分用于对固定的手机壳体中框表面采集信息并识别缺陷。
2.如权利要求1所述的一种手机壳体中框表面颗粒缺陷的检测装置，其特征在于：所述的手机壳体传送抓取部分包括：
手机壳体传送台(8)，该手机壳体传送台(8)用于将待测手机壳体(13)运送到指定位置；
手机壳体抓取装置(9)，该手机壳体抓取装置(9)设置在手机壳体传送台(8)上方，能够实现对特定位置的待测手机壳体(13)的抓取及位置移动；
手机壳体移动控制装置(10)，该手机壳体移动控制装置(10)与手机壳体抓取装置(9)电连接，并能够实现对手机壳体抓取装置(9)的控制。
3.如权利要求2所述的一种手机壳体中框表面颗粒缺陷的检测装置，其特征在于：所述的手机壳体传送台(8)上设置传送控制电机(14)，该传送控制电机(14)通过控制传送带实现对待测手机壳体(13)的运送。
4.如权利要求1所述的一种手机壳体中框表面颗粒缺陷的检测装置，其特征在于：所述的缺陷采集识别部分包括：
条形光源设备(3)，该条形光源设备(3)用于在待测手机壳体(13)中框表面形成光栅；
平面无影光源设备(4)，该平面无影光源设备(4)用于形成无影照明；在平面无影光源设备(4)表面覆盖工业用标定板(7)后用于在待测手机壳体(13)中框表面形成明暗条纹光栅和无影光斑，使之能清晰呈现手机壳体中框表面颗粒缺陷；
摄像装置，该摄像装置用于对待测手机壳体(13)拍摄，形成高清图像；
图像识别主机(11)，该图像识别主机(11)与摄像装置数据连接，并能够识别摄像装置输出数据中的拍摄到的待测手机壳体(13)的缺陷；
图像显示设备(12)，该图像显示设备(12)与图像识别主机(11)电连接，用于显示图像识别主机(11)的输出结果。
5.如权利要求4所述的一种手机壳体中框表面颗粒缺陷的检测装置，其特征在于：所述的摄像装置至少有三组。
6.如权利要求4所述的一种手机壳体中框表面颗粒缺陷的检测装置，其特征在于：所述的条形光源设备(3)，用于提供一种面条形光源，该面条形光源发出条纹光栅，投射在手机壳体上形成明暗条纹光栅，使之能清晰呈现手机壳体中框表面颗粒缺陷。
7.如权利要求6所述的一种手机壳体中框表面颗粒缺陷的检测装置，其特征在于：所述的摄像设备包括光学连接的高清工业光学镜头(6)和高清工业数字摄像机(5)。
8.如权利要求7所述的一种手机壳体中框表面颗粒缺陷的检测装置，其特征在于：所述高清工业光学镜头(6)，用于拍摄采集手机壳体中框表面的不同位置的缺陷光学图像，该光学镜头使用1000万以上像素，生成4K，4096×2160，以上分辨率高清光学图像，可将所拍摄手机壳体中框表面成像至高清工业数字摄像机。
9.如权利要求7所述的一种手机壳体中框表面颗粒缺陷的检测装置，其特征在于：所述高清工业数字摄像机(5)，用于将所拍摄采集手机壳体中框表面的不同位置的缺陷光学图像转换为对应的数字图像信号，配合高清工业光学镜头(6)，使用1000万以上像素，生成4K，4096×2160，以上分辨率高清图像，通过高清工业数字摄像机内的CMOS传感器，其将光学图像转换为数字图像。
10.如权利要求4所述的一种手机壳体中框表面颗粒缺陷的检测装置，其特征在于：所述的缺陷采集识别部分还包括采集平台承载架(1)和采集设备支架(2)，该采集平台承载架(1)和采集设备支架(2)用于固定缺陷采集识别部分的各种部件。
11.一种手机壳体中框表面颗粒缺陷的检测方法，其特征在于，包括下述步骤：
步骤一：将待测手机壳体固定
将待测手机壳体固定在特定位置；
步骤二：对待测手机壳体进行图像采集
对待测手机壳体的正面和上下两侧进行图像采集，形成三幅采集图像；
步骤三：识别采集图像、判断是否有缺陷，并输出结果
识别图像，判断是否有缺陷，并输出结果。
12.如权利要求11所述的一种手机壳体中框表面颗粒缺陷的检测方法，其特征在于：所述的步骤二中，在进行图像采集之前，在待测手机壳体中框的侧面边缘上形成明暗条纹光栅，在待测手机壳体中框的正面上形成明暗条纹光栅和无影光斑。
13.如权利要求12所述的一种手机壳体中框表面颗粒缺陷的检测方法，其特征在于：对每个待测手机壳体采集240张位置不同的图像，这些图像用于识别缺陷。
14.如权利要求13所述的一种手机壳体中框表面颗粒缺陷的检测方法，其特征在于：所述的240张图像通过三个位置，每个位置80个采集点实现。
15.如权利要求12所述的一种手机壳体中框表面颗粒缺陷的检测方法，其特征在于：所述的步骤三中的识别部分包括下述内容，
预先加载好根据图像样本训练好的图像识别用深度学习卷积神经网络模型和ROI区域过滤用深度学习卷积神经网络模型，先将读取到的数字图像输入到ROI神经网络模型中，ROI为region of interest，又称感兴趣区域，是在机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域。得到该图像的ROI区域后，再将该图像进行压缩，固定至1433*756分辨率尺寸，再进行图像的RGB转换，形成预识别图像，然后输入到深度学习卷积神经网络模型中进行快速识别，获得缺陷类别，然后根据已识别的ROI区域过滤掉区域外的缺陷，最终取得完整的手机壳体中框表面颗粒缺陷识别信息，包括颗粒缺陷轮廓区域，缺陷类别，缺陷置信度判定，之后将手机壳体中框表面颗粒缺陷识别信息结果使用图像显示模块显示出来。
16.如权利要求15所述的一种手机壳体中框表面颗粒缺陷的检测方法，其特征在于：所述基于的深度学习卷积神经网络GTnet实现ROI区域的检测和缺陷的快速检出及类别识别之前，还需要以下步骤：
使用大量带有颗粒缺陷的手机壳体中框的正面和两侧表面颗粒缺陷图像样本进行深度学习卷积神经网络模型的学习训练，生成缺陷图像识别卷积神经网络模型；
使用大量带有颗粒缺陷的手机壳体中框表面颗粒缺陷图像样本进行ROI区域过滤模型的学习训练，生成ROI区域过滤识别卷积神经网络模型。
CN201911111253.5A 2019-11-14 2019-11-14 一种手机壳体中框表面颗粒缺陷的检测方法 Active CN110672626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911111253.5A CN110672626B (zh) 2019-11-14 2019-11-14 一种手机壳体中框表面颗粒缺陷的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911111253.5A CN110672626B (zh) 2019-11-14 2019-11-14 一种手机壳体中框表面颗粒缺陷的检测方法

Publications (2)

Publication Number Publication Date
CN110672626A true CN110672626A (zh) 2020-01-10
CN110672626B CN110672626B (zh) 2023-03-14

Family

ID=69087585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911111253.5A Active CN110672626B (zh) 2019-11-14 2019-11-14 一种手机壳体中框表面颗粒缺陷的检测方法

Country Status (1)

Country Link
CN (1) CN110672626B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112816418A (zh) * 2021-04-19 2021-05-18 常州微亿智造科技有限公司 手机金属中框缺陷成像系统和检测方法
CN113312964A (zh) * 2021-04-15 2021-08-27 浙江理工大学 杂质检测模型的训练方法、检测方法、设备和介质
CN113720859A (zh) * 2021-08-17 2021-11-30 上海感图网络科技有限公司 一种手机中框表面缺陷识别设备
CN113814180A (zh) * 2021-08-05 2021-12-21 深圳市鑫信腾科技股份有限公司 物料外观检测设备
CN114494142A (zh) * 2021-12-28 2022-05-13 深圳科瑞技术股份有限公司 一种基于深度学习的移动终端中框缺陷检测方法及装置
CN116967615A (zh) * 2023-07-31 2023-10-31 上海感图网络科技有限公司 电路板复检打标方法、装置、设备及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000162156A (ja) * 1998-11-30 2000-06-16 Kirin Techno System:Kk 壜胴部の欠陥検出方法
US20020008055A1 (en) * 1999-03-26 2002-01-24 Duncan B. Campbell Agricultural article inspection apparatus and method employing spectral manipulation to enhance detection contrast ratio
CN101650155A (zh) * 2009-08-14 2010-02-17 秦拓微电子技术(上海)有限公司 等光程五面视觉检测技术
EP2177898A1 (en) * 2008-10-14 2010-04-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for selecting an optimized evaluation feature subset for an inspection of free-form surfaces and method for inspecting a free-form surface
CN102608127A (zh) * 2012-04-09 2012-07-25 杭州智感科技有限公司 基于机器视觉的金属盖表面缺陷检测设备
US20120242826A1 (en) * 2011-03-21 2012-09-27 Nigel John Holmes Multi-spectral imaging system and method of surface inspection therewith
CN103048610A (zh) * 2012-12-24 2013-04-17 上海金东唐精机科技有限公司 无进位等待时间的pcb自动测试系统
CN104919272A (zh) * 2012-10-29 2015-09-16 7D外科有限公司 集成照明及光学表面拓扑检测系统及其使用方法
JP2017015489A (ja) * 2015-06-30 2017-01-19 株式会社ニコン 撮像装置
CN106645177A (zh) * 2016-12-30 2017-05-10 河南奇测电子科技有限公司 电池壳表面视觉检测流水线及其内底面检测装置
US20170212410A1 (en) * 2014-07-23 2017-07-27 Gfocus Technologies Co., Ltd. Led light source for industrial inspection
CN107864261A (zh) * 2017-12-05 2018-03-30 东莞智得电子制品有限公司 一种手机中框外观检测设备
CN207596060U (zh) * 2017-11-27 2018-07-10 浙江大学常州工业技术研究院 一种漆面检测设备
CN110186937A (zh) * 2019-06-26 2019-08-30 电子科技大学 剔除灰尘影响的镜面物体表面二维缺陷检测方法及系统
US20190271593A1 (en) * 2018-03-02 2019-09-05 Seiko Epson Corporation Inspection apparatus, inspection system, and inspection method
CN110243831A (zh) * 2019-06-06 2019-09-17 锐捷网络股份有限公司 表面缺陷采集系统、表面缺陷检测方法、装置及存储介质
CN110400296A (zh) * 2019-07-19 2019-11-01 重庆邮电大学 连铸坯表面缺陷双目扫描与深度学习融合识别方法及系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000162156A (ja) * 1998-11-30 2000-06-16 Kirin Techno System:Kk 壜胴部の欠陥検出方法
US20020008055A1 (en) * 1999-03-26 2002-01-24 Duncan B. Campbell Agricultural article inspection apparatus and method employing spectral manipulation to enhance detection contrast ratio
EP2177898A1 (en) * 2008-10-14 2010-04-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for selecting an optimized evaluation feature subset for an inspection of free-form surfaces and method for inspecting a free-form surface
CN101650155A (zh) * 2009-08-14 2010-02-17 秦拓微电子技术(上海)有限公司 等光程五面视觉检测技术
US20120242826A1 (en) * 2011-03-21 2012-09-27 Nigel John Holmes Multi-spectral imaging system and method of surface inspection therewith
CN102608127A (zh) * 2012-04-09 2012-07-25 杭州智感科技有限公司 基于机器视觉的金属盖表面缺陷检测设备
CN104919272A (zh) * 2012-10-29 2015-09-16 7D外科有限公司 集成照明及光学表面拓扑检测系统及其使用方法
CN103048610A (zh) * 2012-12-24 2013-04-17 上海金东唐精机科技有限公司 无进位等待时间的pcb自动测试系统
US20170212410A1 (en) * 2014-07-23 2017-07-27 Gfocus Technologies Co., Ltd. Led light source for industrial inspection
JP2017015489A (ja) * 2015-06-30 2017-01-19 株式会社ニコン 撮像装置
CN106645177A (zh) * 2016-12-30 2017-05-10 河南奇测电子科技有限公司 电池壳表面视觉检测流水线及其内底面检测装置
CN207596060U (zh) * 2017-11-27 2018-07-10 浙江大学常州工业技术研究院 一种漆面检测设备
CN107864261A (zh) * 2017-12-05 2018-03-30 东莞智得电子制品有限公司 一种手机中框外观检测设备
US20190271593A1 (en) * 2018-03-02 2019-09-05 Seiko Epson Corporation Inspection apparatus, inspection system, and inspection method
CN110243831A (zh) * 2019-06-06 2019-09-17 锐捷网络股份有限公司 表面缺陷采集系统、表面缺陷检测方法、装置及存储介质
CN110186937A (zh) * 2019-06-26 2019-08-30 电子科技大学 剔除灰尘影响的镜面物体表面二维缺陷检测方法及系统
CN110400296A (zh) * 2019-07-19 2019-11-01 重庆邮电大学 连铸坯表面缺陷双目扫描与深度学习融合识别方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LEI WANG ET AL: "Online detection technique of 3D defects for steel strips based on photometric stereo", 《2016 EIGHTH INTERNATIONAL CONFERENCE ON MEASURING TECHNOLOGY AND MECHATRONICS AUTOMATION》 *
姚明海: "基于优化卷积神经网络的表面缺陷检测", 《高技术通讯》 *
童峥: ""基于深度卷积神经网络的路面裂缝长度识别"", 《长安大学研究生学术论文集2016年卷》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312964A (zh) * 2021-04-15 2021-08-27 浙江理工大学 杂质检测模型的训练方法、检测方法、设备和介质
CN112816418A (zh) * 2021-04-19 2021-05-18 常州微亿智造科技有限公司 手机金属中框缺陷成像系统和检测方法
CN112816418B (zh) * 2021-04-19 2021-07-20 常州微亿智造科技有限公司 手机金属中框缺陷成像系统和检测方法
CN113814180A (zh) * 2021-08-05 2021-12-21 深圳市鑫信腾科技股份有限公司 物料外观检测设备
CN113814180B (zh) * 2021-08-05 2024-03-19 深圳市鑫信腾科技股份有限公司 物料外观检测设备
CN113720859A (zh) * 2021-08-17 2021-11-30 上海感图网络科技有限公司 一种手机中框表面缺陷识别设备
CN114494142A (zh) * 2021-12-28 2022-05-13 深圳科瑞技术股份有限公司 一种基于深度学习的移动终端中框缺陷检测方法及装置
CN116967615A (zh) * 2023-07-31 2023-10-31 上海感图网络科技有限公司 电路板复检打标方法、装置、设备及存储介质
CN116967615B (zh) * 2023-07-31 2024-04-12 上海感图网络科技有限公司 电路板复检打标方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110672626B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
CN110672626B (zh) 一种手机壳体中框表面颗粒缺陷的检测方法
CN110579485B (zh) 一种智能手机玻璃盖板表面缺陷快速检测装置与方法
CN211905129U (zh) 点胶检测装置
CN101226157A (zh) 滤光片洁净度的检测设备及方法
CN101206180B (zh) 镜头模组检测装置及检测方法
CN113522770A (zh) 一种基于3d视觉的高精度在线检测系统
CN114445330A (zh) 一种元器件外观缺陷的检测方法及系统
CN111060518A (zh) 一种基于实例分割的冲压件缺陷识别方法
CN112630153A (zh) 一种镜头盖玻璃缺陷的检测方法、设备、存储介质
CN111307817B (zh) 一种智能产线pcb生产过程的在线检测方法及系统
CN116229856B (zh) 一种计算机用自动控制的屏幕检测系统及方法
CN210405433U (zh) 一种基于机器视觉的手机屏背光异物缺陷诊断装置
CN210376186U (zh) 一种全自动显微镜视觉成像表面检测机
CN217981299U (zh) 柔性电路板视觉检测装置
CN113182205B (zh) 一种基于互联网的手机零件全自动机器人光电检测方法
CN115100102A (zh) 镀膜镜片的缺陷检测方法、装置、设备及可读存储介质
CN112798608A (zh) 手机摄像头支架内腔侧壁的光学检测装置及光学检测方法
CN110222682B (zh) 一种基于多特征的行人目标检测系统
CN113739900A (zh) 一种用于振动马达生产的自动测试系统
CN113624771A (zh) Pcba涂胶智能视觉检测设备
CN110133000A (zh) 一种全自动显微镜视觉成像表面检测机
CN221078450U (zh) 图像采集装置及视觉检测系统
CN109060831A (zh) 一种基于底板拟合的自动脏污检测方法
CN114280075B (zh) 一种管类零件表面缺陷在线视觉检测系统及检测方法
CN111601227B (zh) 麦克风检测设备及麦克风检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant