CN113222895A - 一种基于人工智能的电极缺陷检测方法及系统 - Google Patents

一种基于人工智能的电极缺陷检测方法及系统 Download PDF

Info

Publication number
CN113222895A
CN113222895A CN202110388205.1A CN202110388205A CN113222895A CN 113222895 A CN113222895 A CN 113222895A CN 202110388205 A CN202110388205 A CN 202110388205A CN 113222895 A CN113222895 A CN 113222895A
Authority
CN
China
Prior art keywords
area
camera
optical flow
electrode
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110388205.1A
Other languages
English (en)
Other versions
CN113222895B (zh
Inventor
袁园
张邦
张玉磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Youceng Intelligent Technology Shanghai Co ltd
Original Assignee
Henan Jujie Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Jujie Electronic Technology Co ltd filed Critical Henan Jujie Electronic Technology Co ltd
Priority to CN202110388205.1A priority Critical patent/CN113222895B/zh
Publication of CN113222895A publication Critical patent/CN113222895A/zh
Application granted granted Critical
Publication of CN113222895B publication Critical patent/CN113222895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能领域,具体涉及一种基于人工智能的电极缺陷检测方法及系统。该方法包括:相机从电极区域的中心点的上方沿着第一矢量移动,并获取第一光流场;相机以第一次移动的终点为起点沿着垂直于高光增强方向的第二矢量移动,并获取第二光流场和第三光流场;根据三个光流场从相机可达区域中获取初步可信区域;对相机两次移动中获取的图像集合进行缺陷检测获取相机损坏区域,根据相机损坏区域得到不可信区域;从初步可信区域中排除不可信区域得到可信区域,对相机从可信区域中获取的电路板图像进行缺陷检测得到电极缺陷检测结果,解决了现有技术中没有考虑外部光源、相机机械阴影和相机失焦对检测结果的影响导致电极缺陷检测不准确的问题。

Description

一种基于人工智能的电极缺陷检测方法及系统
技术领域
本发明涉及人工智能技术领域,具体涉及一种基于人工智能的电极缺陷检测方法及系统。
背景技术
印刷电路板是集成各种电子元器件的信息载体,在电子领域中有着广泛的应用,其质量直接影响到产品的性能。在电路板制造过程中,PCB上的元器件安装普遍采用表面贴片安装技术。随着5G时代的来临电子科技技术的发展和电子制造业的发展,电子产品趋于更轻、更小、更薄化。为了保证电子产品的性能,电路板缺陷检测技术已经成为电子行业中非常关键的技术。电极在高速PCB设计中扮演着重要的作用,通常也是电路板上用得最多的器件之一,电极的质量直接影响PCB板功能的实现,对电极的缺陷检测也成为电极板缺陷检测中不可或缺的一环。
电极板作为一种非朗伯体,在检测电极缺陷时固定光源在特定角度造成成像区域的局部高光非常容易影响电极缺陷检测准确度。长期工作的相机在经常性的移动之后可能出现机械阴影和失焦影响缺陷检测结果。
传统的电极检测技术多采用形态学处理,将处理过后的图像与原图进行比对来检测缺陷,这种方法检测环境要求高、检测失误多、效率低,并不能很好地检测电极各类缺陷。
现有技术大多采用标准电极与检测结果进行比较,提升了检测准确度,但没有考虑外部光源与相机机械阴影和相机失焦对检测结果的影响。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种基于人工智能的电极缺陷检测方法及系统,所采用的技术方案如下:
第一方面,本发明实施例提供了一种基于人工智能的电极缺陷检测方法,该方法包括以下步骤:
采集电路板图像,从所述电路板图像中获取至少一个电极区域;
相机从电极区域的中心点的上方沿着第一矢量移动,并根据相机开始移动时采集的连续两帧图像获取第一光流场;所述第一矢量的方向为所述连续两帧图像中的首帧图像的中心点指向所述电极区域的中心点,模长与所述电极区域的面积呈正相关关系;
对所述第一光流场进行阈值分割得到高光区域,从所述高光区域中分割出高亮区域,所述高光区域的中心点指向所述高亮区域的中心点为高光增强方向;所述相机以第一次移动的终点为起点沿着垂直于所述高光增强方向的第二矢量移动,并根据所述相机开始移动时和结束移动前采集的连续两帧图像分别获取第二光流场和第三光流场;所述第二矢量的模长与所述第一矢量的模长相同;
根据所述第一光流场、所述第二光流场和所述第三光流场对应的相机的坐标和高光区域的高光光流矢量从相机可达区域中获取初步可信区域;
对所述相机两次移动中获取的图像集合进行缺陷检测,当在多张图像的相同位置检测到相同的缺陷时,所述缺陷所在的区域为相机损坏区域,对所述相机损坏区域进行坐标转换得到不可信区域;
从所述初步可信区域中排除所述不可信区域得到可信区域,对所述相机从所述可信区域中获取的电路板图像进行缺陷检测,得到电极缺陷检测结果。
进一步地,所述获取至少一个电极区域之后还包括将每个电极区域进行透视变换使所述每个电极区域的大小相等。
进一步地,在所述第一光流场无高光区域时,所述高光增强方向为所述首帧图像的中心点指向高亮区域的中心点,所述高亮区域为所述图像中亮度最高的区域。
进一步地,所述获取初步可信区域的步骤包括:
以所述相机的坐标为离散点,将对应的高光光流矢量叠加在所述坐标的周围生成缓冲区;
根据每个高光光流矢量的模长为所述缓冲区划分区域并分配灰度值;
将所述相机可达区域的灰度值进行反相得到初步可信区域。
进一步地,所述多张图像的数量占所述图像集合中图像数量的百分之八十以上。
进一步地,所述对所述相机从所述可信区域中获取的电路板图像进行缺陷检测的步骤包括:
将在可信区域中获取的电路板图像输入全卷积神经网络中得到电极图像,将所述电极图像输入缺陷检测网络进行缺陷检测。
第二方面,本发明实施例提供了一种基于人工智能的电极缺陷检测系统,包括:
图像获取模块,用于采集电路板图像,从所述电路板图像中获取至少一个电极区域;
第一光流场获取模块,用于相机从电极区域的中心点的上方沿着第一矢量移动,并根据相机开始移动时采集的连续两帧图像获取第一光流场;所述第一矢量的方向为所述连续两帧图像中的首帧图像的中心点指向所述电极区域的中心点,模长与所述电极区域的面积呈正相关关系;
光流场获取模块,用于对所述第一光流场进行阈值分割得到高光区域,从所述高光区域中分割出高亮区域,所述高光区域的中心点指向所述高亮区域的中心点为高光增强方向;所述相机以第一次移动的终点为起点沿着垂直于所述高光增强方向的第二矢量移动,并根据所述相机开始移动时和结束移动前采集的连续两帧图像分别获取第二光流场和第三光流场;所述第二矢量的模长与所述第一矢量的模长相同;
初步可信区域获取模块,用于根据所述第一光流场、所述第二光流场和所述第三光流场对应的相机的坐标和高光区域的高光光流矢量从相机可达区域中获取初步可信区域;
不可信区域获取模块,用于对所述相机两次移动中获取的图像集合进行缺陷检测,当在多张图像的相同位置检测到相同的缺陷时,所述缺陷所在的区域为相机损坏区域,对所述相机损坏区域进行坐标转换得到不可信区域;
缺陷检测模块,用于从所述初步可信区域中排除所述不可信区域得到可信区域,对所述相机从所述可信区域中获取的电路板图像进行缺陷检测,得到电极缺陷检测结果。
进一步地,所述图像获取模块包括透视变换单元,用于将每个电极区域进行透视变换使所述每个电极区域的大小相等。
进一步地,在所述第一光流场无高光区域时,所述高光增强方向为所述首帧图像的中心点指向高亮区域的中心点,所述高亮区域为所述图像中亮度最高的区域。
进一步地,所述初步可信区域获取模块包括:
缓冲区获取单元,用于以所述相机的坐标为离散点,将对应的高光光流矢量叠加在所述坐标的周围生成缓冲区;
灰度值分配单元,用于根据每个高光光流矢量的模长为所述缓冲区划分区域并分配灰度值;
灰度值反相单元,用于将所述相机可达区域的灰度值进行反相得到初步可信区域。
本发明实施例至少具有如下有益效果:
本发明实施例通过三个光流场对应的相机的坐标和高光区域的高光光流矢量从相机可达区域中获取初步可信区域;对相机两次移动中获取的图像集合进行缺陷检测,获取相机损坏区域,根据相机损坏区域得到不可信区域;从初步可信区域中排除不可信区域得到可信区域,对相机从可信区域中获取的电路板图像进行缺陷检测,得到电极缺陷检测结果,解决了现有技术中没有考虑外部光源、相机机械阴影和相机失焦对检测结果的影响导致电极缺陷检测不准确的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图;
图1为本发明一个实施例所提供的一种基于人工智能的电极缺陷检测方法的流程图;
图2为本发明一个实施例所提供的相机可达区域内灰度值反相前的灰度填充示意图;
图3为本发明一个实施例所提供的一种基于人工智能的电极缺陷检测系统的结构框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于人工智能的电极缺陷检测方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于人工智能的电极缺陷检测方法及系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于人工智能的电极缺陷检测方法流程图,该方法包括如下步骤:
S1:采集电路板图像,从电路板图像中获取至少一个电极区域;
S2:相机从电极区域的中心点的上方沿着第一矢量移动,并根据相机开始移动时采集的连续两帧图像获取第一光流场;第一矢量的方向为连续两帧图像中的首帧图像的中心点指向电极区域的中心点,模长与电极区域的面积呈正相关关系;
S3:对第一光流场进行阈值分割得到高光区域,从高光区域中分割出高亮区域,高光区域的中心点指向高亮区域的中心点为高光增强方向;相机以第一次移动的终点为起点沿着垂直于高光增强方向的第二矢量移动,并根据相机开始移动时和结束移动前采集的连续两帧图像分别获取第二光流场和第三光流场;第二矢量的模长与第一矢量的模长相同;
S4:根据第一光流场、第二光流场和第三光流场对应的相机的坐标和高光区域的高光光流矢量从相机可达区域中获取初步可信区域;
S5:对相机两次移动中获取的图像集合进行缺陷检测,当在多张图像的相同位置检测到相同的缺陷时,缺陷所在的区域为相机损坏区域,对相机损坏区域进行坐标转换得到不可信区域;
S6:从初步可信区域中排除不可信区域得到可信区域,对相机从可信区域中获取的电路板图像进行缺陷检测,得到电极缺陷检测结果。
优选的,因为不同型号的电极在电路板上的分布和尺寸都不相同,所以为了能够检测不同型号电路板板上的电极缺陷,本实施例中步骤S1的具体步骤为:
S101:以电路板的中心位置为零点建立世界坐标系。
S102:将灰度相机移动至电路板中心的正上方获取电路板图像,将电路板图像输入全卷积神经网络中得到至少一个电极区域。
从光通量和细节表现方面,灰度相机都要优于RGB相机,电极缺陷检测需要能够尽可能清楚的获取电路板图像以便检测出更细小的电极缺陷,因此本实施例中采用灰度相机获取电路板图像。
全卷积神经网络的训练过程如下:
(1)对第一样本图像数据集中的电极进行标注得到标签图像。
第一样本图像数据集为灰度相机采集的多张电路板图像。其中,第一样本图像数据集中的80%为训练集,剩余的20%为验证集。
(2)全连接神经网络不采用池化层,采用步长为2的卷积核代替池化操作,下采样过程使用3*3的卷积核,步长可设置为1。
(3)激活函数采用非线性激活函数leaky ReLU。
S103:将电极区域的图像进行透视变换使每个电极区域的图像大小相等。
本实施例中的电极区域的图像大小为300*300ppi。在其他实施例中,实施者可根据实际情况设置电极区域的图像大小。
因为灰度相机和电路板的相对位置、不同型号电路板上的电极分布,都会导致采集的电路板图像中的电极区域的尺寸不同,所以本实施例将电路板图像输入全卷积神经网络得到电极区域的图像,将电极区域的图像进行透视变换使每个电极区域的图像大小相等,解决了现有的电极缺陷检测中更换电极就要重新寻找标准电极的技术问题。
优选的,本实施例中步骤S2的具体步骤如下:
S201:将灰度相机移至像素坐标值最小的第一电极区域的中心点的正上方,并沿着第一矢量进行移动。
第一矢量的方向首帧图像的中心点指向第一电极区域的中心点。当第一电极区域中的心点位于首帧图像的中心点时,第一矢量的方向为随机一个可行的方向。
第一矢量的模长|D|为:
Figure BDA0003014678550000051
其中,S为第一电极区域的像素面积。
S202:获取灰度相机开始移动时的连续两帧图像,采用光流法对连续两帧图像进行计算得到第一光流场,并记录此时灰度相机的坐标。保存灰度相机移动过程中获取的其他图像。
优选的,本实施例中步骤S3的具体步骤如下:
S301:根据预设的光流矢量阈值对第一光流场中的光流矢量进行阈值分割得到高光区域。
本实施例中预设的光流矢量阈值为5,即将第一光流场中大于5的光流矢量确定为存在高光,小于5的光流矢量确定为不存在高光。在其他实施例中,实施者可根据实际情况设置光流矢量阈值。
本实施例中采用最大类间方差法进行阈值分割。在其他实施例中,实施者可根据实际情况选择合适的阈值分割方法。
S302:从高光区域中检测出亮度在亮度阈值范围内的高亮区域。
本实施例中的亮度阈值范围为高光区域的亮度范围的[90%,100%]。在其他实施例中,实施者可根据实际情况选择亮度阈值范围。
当第一光流场中没有检测到高光区域时,高亮区域为图像中亮度在亮度阈值范围内的区域。此时的亮度阈值范围为图像的亮度范围的[90%,100%]。
S303:获取高光增强方向,第一光流场中有高光区域时,高光增强方向为高光区域中心点指向高亮区域中心点;第一高光区域无高光区域时,高光增强方向为首帧图像中心点指向高亮区域中心点。
S304:灰度相机从第一次移动结束的位置沿着垂直于高光增强方向的第二矢量进行第二次移动,并根据第二次移动开始时获取的连续两帧图像得到第二光流场,根据第二次移动结束时的连续两帧图像得到第三光流场,并记录第二光流场和第三光流场对应的灰度相机的坐标,保存灰度相机第二次移动过程中获取的其他图像。
第二矢量的模长与第一矢量的模长相同。
第二光流场和第三光流场的计算方法与第一光流场的计算方法相同。
请参阅图2,优选的,为了从相机可达区域中获取灰度相机不受高光影响的初步可信区域,本实施例中步骤S4的具体步骤如下:
S401:获取第一光流场、第二光流场和第三光流场对应的高光区域中的高光光流矢量。
获取第二光流场和第三光流场对应的高光区域的方法与获取第一光流场的高光区域的方法相同。
S402:以三个光流场对应的灰度相机的坐标为离散点,并将对应的高光光流矢量叠加在坐标的周围生成缓冲区;
S403:以每个高光光流矢量的模长为半径从缓冲区中划分出最热区域,再次叠加相同的半径得到次热区域,依次类推直到相机可达区域的边界。
S404:对相机可达区域中的最热区域和次热区域等区域采用灰度带从内而外,由浅至深的进行填充,并将填充完成后的相机可达区域中的像素进行灰度值反相,灰度值最大的区域为初步可信区域。
优选的,因为长期工作的灰度相机有可能因为松动、氧化等问题出现机械阴影和相机失焦影响电极缺陷检测正确率,所以为了消除相机损坏对电极缺陷检测的影响,本实施例中步骤S5的具体步骤如下:
S501:对灰度相机在两次移动过程中获取的图像集合中的电路板图像进行缺陷检测,记录每个缺陷的中心坐标、面积和形状。
S502:对比每个缺陷的中心坐标、面积和形状,当在图像集合中的百分之八十的图像中的相同位置检测到相同的缺陷时,缺陷所在的区域为相机损坏区域。
S503:将相机损坏区域从像素坐标系转换到世界坐标系中得到不可信区域。
像素坐标系和世界坐标系的对应关系为:
Figure BDA0003014678550000071
其中,
Figure BDA0003014678550000072
为像素坐标系中的坐标,
Figure BDA0003014678550000073
为世界坐标系中的坐标,s为尺度因子,M为投影矩阵。
优选的,本实施例中步骤S6的具体步骤为:将灰度相机在可信区域中获取的电路板图像输入全卷积神经网络中得到电极图像,将电极图像输入缺陷检测网络进行缺陷检测得到电极缺陷检测结果。
缺陷检测网络采用编码器-解码器(Encoder-Decoder)结构的DNN网络。
缺陷检测网络的训练过程如下:
(1)将第二样本图像数据集进行标注得到第二标签数据。
第二样本图像数据集为灰度相机在可信区域获取的电极图像的集合。其中,第二样本图像数据集中的80%为训练集,剩余的20%为验证集。
标注的对象为电极缺陷,即将电极缺陷标记为1,其他标记为0。
(2)将电极图像和标签图像输入缺陷检测网络中进行端到端的训练,训练过程为:编码器对电极图像进行特征提取得到缺陷特征图,解码器对缺陷特征图进行上采样得到缺陷范围。
(3)采用交叉熵损失函数优化网络内部参数。
综上所述,本发明实施例通过本发明实施例通过三个光流场对应的相机的坐标和高光区域的高光光流矢量从相机可达区域中获取初步可信区域;对相机两次移动中获取的图像集合进行缺陷检测,获取相机损坏区域,根据相机损坏区域得到不可信区域;从初步可信区域中排除不可信区域得到可信区域,对相机从可信区域中获取的电路板图像进行缺陷检测,得到电极缺陷检测结果,解决了现有技术中没有考虑外部光源、相机机械阴影和相机失焦对检测结果的影响导致电极缺陷检测不准确的技术问题。
基于与上述方法相同的发明构思,本发明实施例中还提供一种基于人工智能的电极缺陷检测系统。
请参阅图3,具体的,本发明实施例中提供了一种基于人工智能的电极缺陷检测系统100,包括图像获取模块10、第一光流场获取模块20、光流场获取模块30、初步可信区域获取模块40、不可信区域获取模块50和缺陷检测模块60。
图像获取模块10,用于采集电路板图像,从电路板图像中获取至少一个电极区域。
第一光流场获取模块20,用于相机从电极区域的中心点的上方沿着第一矢量移动,并根据相机开始移动时采集的连续两帧图像获取第一光流场;第一矢量的方向为连续两帧图像中的首帧图像的中心点指向电极区域的中心点,模长与电极区域的面积呈正相关关系。
光流场获取模块30,用于对第一光流场进行阈值分割得到高光区域,从高光区域中分割出高亮区域,高光区域的中心点指向高亮区域的中心点为高光增强方向;相机以第一次移动的终点为起点沿着垂直于高光增强方向的第二矢量移动,并根据相机开始移动时和结束移动前采集的连续两帧图像分别获取第二光流场和第三光流场;第二矢量的模长与第一矢量的模长相同。
初步可信区域获取模块40,用于根据第一光流场、第二光流场和第三光流场对应的相机的坐标和高光区域的高光光流矢量从相机可达区域中获取初步可信区域。
不可信区域获取模块50,用于对相机两次移动中获取的图像集合进行缺陷检测,当在多张图像的相同位置检测到相同的缺陷时,缺陷所在的区域为相机损坏区域,对相机损坏区域进行坐标转换得到不可信区域。
缺陷检测模块60,用于从初步可信区域中排除不可信区域得到可信区域,对相机从可信区域中获取的电路板图像进行缺陷检测,得到电极缺陷检测结果。
进一步地,图像获取模块包括透视变换单元,用于将每个电极区域进行透视变换使每个电极区域的大小相等。
进一步地,在第一光流场无高光区域时,高光增强方向为首帧图像的中心点指向高亮区域的中心点,高亮区域为图像中亮度最高的区域。
进一步地,初步可信区域获取模块包括:
缓冲区获取单元,用于以相机的坐标为离散点,将对应的高光光流矢量叠加在坐标的周围生成缓冲区;
灰度值分配单元,用于根据每个高光光流矢量的模长为缓冲区划分区域并分配灰度值;
灰度值反相单元,用于将相机可达区域的灰度值进行反相得到初步可信区域。
综上所述,本发明实施例通过图像获取模块10获取电极区域的图像;通过第一光流场获取模块20获取第一光流场;通过光流场获取模块30获取第二光流场和第三光流场;通过初步可信区域获取模块40从相机可达区域中获取初步可信区域;不可信区域获取模块50根据获取的相机损坏区域得到不可信区域;缺陷检测模块60对相机从可信区域中获取的电路板图像进行缺陷检测,得到电极缺陷检测结果。该系统解决了现有技术中没有考虑外部光源、相机机械阴影和相机失焦对检测结果的影响导致电极缺陷检测不准确的技术问题。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人工智能的电极缺陷检测方法,其特征在于,该方法包括以下步骤:
采集电路板图像,从所述电路板图像中获取至少一个电极区域;
相机从电极区域的中心点的上方沿着第一矢量移动,并根据相机开始移动时采集的连续两帧图像获取第一光流场;所述第一矢量的方向为所述连续两帧图像中的首帧图像的中心点指向所述电极区域的中心点,模长与所述电极区域的面积呈正相关关系;
对所述第一光流场进行阈值分割得到高光区域,从所述高光区域中分割出高亮区域,所述高光区域的中心点指向所述高亮区域的中心点为高光增强方向;所述相机以第一次移动的终点为起点沿着垂直于所述高光增强方向的第二矢量移动,并根据所述相机开始移动时和结束移动前采集的连续两帧图像分别获取第二光流场和第三光流场;所述第二矢量的模长与所述第一矢量的模长相同;
根据所述第一光流场、所述第二光流场和所述第三光流场对应的相机的坐标和高光区域的高光光流矢量从相机可达区域中获取初步可信区域;
对所述相机两次移动中获取的图像集合进行缺陷检测,当在多张图像的相同位置检测到相同的缺陷时,所述缺陷所在的区域为相机损坏区域,对所述相机损坏区域进行坐标转换得到不可信区域;
从所述初步可信区域中排除所述不可信区域得到可信区域,对所述相机从所述可信区域中获取的电路板图像进行缺陷检测,得到电极缺陷检测结果。
2.根据权利要求1所述的一种基于人工智能的电极缺陷检测方法,其特征在于,所述获取至少一个电极区域之后还包括将每个电极区域进行透视变换使所述每个电极区域的大小相等。
3.根据权利要求1所述的一种基于人工智能的电极缺陷检测方法,其特征在于,在所述第一光流场无高光区域时,所述高光增强方向为所述首帧图像的中心点指向高亮区域的中心点,所述高亮区域为所述图像中亮度最高的区域。
4.根据权利要求1所述的一种基于人工智能的电极缺陷检测方法,其特征在于,所述获取初步可信区域的步骤包括:
以所述相机的坐标为离散点,将对应的高光光流矢量叠加在所述坐标的周围生成缓冲区;
根据每个高光光流矢量的模长为所述缓冲区划分区域并分配灰度值;
将所述相机可达区域的灰度值进行反相得到初步可信区域。
5.根据权利要求1所述的一种基于人工智能的电极缺陷检测方法,其特征在于,所述多张图像的数量占所述图像集合中图像数量的百分之八十以上。
6.根据权利要求1所述的一种基于人工智能的电极缺陷检测方法,其特征在于,所述对所述相机从所述可信区域中获取的电路板图像进行缺陷检测的步骤包括:
将在可信区域中获取的电路板图像输入全卷积神经网络中得到电极图像,将所述电极图像输入缺陷检测网络进行缺陷检测。
7.一种基于人工智能的电极缺陷检测系统,其特征在于,包括:
图像获取模块,用于采集电路板图像,从所述电路板图像中获取至少一个电极区域;
第一光流场获取模块,用于相机从电极区域的中心点的上方沿着第一矢量移动,并根据相机开始移动时采集的连续两帧图像获取第一光流场;所述第一矢量的方向为所述连续两帧图像中的首帧图像的中心点指向所述电极区域的中心点,模长与所述电极区域的面积呈正相关关系;
光流场获取模块,用于对所述第一光流场进行阈值分割得到高光区域,从所述高光区域中分割出高亮区域,所述高光区域的中心点指向所述高亮区域的中心点为高光增强方向;所述相机以第一次移动的终点为起点沿着垂直于所述高光增强方向的第二矢量移动,并根据所述相机开始移动时和结束移动前采集的连续两帧图像分别获取第二光流场和第三光流场;所述第二矢量的模长与所述第一矢量的模长相同;
初步可信区域获取模块,用于根据所述第一光流场、所述第二光流场和所述第三光流场对应的相机的坐标和高光区域的高光光流矢量从相机可达区域中获取初步可信区域;
不可信区域获取模块,用于对所述相机两次移动中获取的图像集合进行缺陷检测,当在多张图像的相同位置检测到相同的缺陷时,所述缺陷所在的区域为相机损坏区域,对所述相机损坏区域进行坐标转换得到不可信区域;
缺陷检测模块,用于从所述初步可信区域中排除所述不可信区域得到可信区域,对所述相机从所述可信区域中获取的电路板图像进行缺陷检测,得到电极缺陷检测结果。
8.根据权利要求7所述的一种基于人工智能的电极缺陷检测系统,其特征在于,所述图像获取模块包括透视变换单元,用于将每个电极区域进行透视变换使所述每个电极区域的大小相等。
9.根据权利要求7所述的一种基于人工智能的电极缺陷检测系统,其特征在于,在所述第一光流场无高光区域时,所述高光增强方向为所述首帧图像的中心点指向高亮区域的中心点,所述高亮区域为所述图像中亮度最高的区域。
10.根据权利要求7所述的一种基于人工智能的电极缺陷检测系统,其特征在于,所述初步可信区域获取模块包括:
缓冲区获取单元,用于以所述相机的坐标为离散点,将对应的高光光流矢量叠加在所述坐标的周围生成缓冲区;
灰度值分配单元,用于根据每个高光光流矢量的模长为所述缓冲区划分区域并分配灰度值;
灰度值反相单元,用于将所述相机可达区域的灰度值进行反相得到初步可信区域。
CN202110388205.1A 2021-04-10 2021-04-10 一种基于人工智能的电极缺陷检测方法及系统 Active CN113222895B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110388205.1A CN113222895B (zh) 2021-04-10 2021-04-10 一种基于人工智能的电极缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110388205.1A CN113222895B (zh) 2021-04-10 2021-04-10 一种基于人工智能的电极缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN113222895A true CN113222895A (zh) 2021-08-06
CN113222895B CN113222895B (zh) 2023-05-02

Family

ID=77086931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110388205.1A Active CN113222895B (zh) 2021-04-10 2021-04-10 一种基于人工智能的电极缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN113222895B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880784A (zh) * 2023-02-22 2023-03-31 武汉商学院 基于人工智能的景区多人动作行为监测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012005946A1 (en) * 2010-07-08 2012-01-12 Spinella Ip Holdings, Inc. System and method for shot change detection in a video sequence
US20170249753A1 (en) * 2016-02-25 2017-08-31 Hitachi High-Technologies Corporation Defect observation apparatus
CN108596157A (zh) * 2018-05-14 2018-09-28 三峡大学 一种基于运动检测的人群惊扰场景检测方法及系统
CN108872243A (zh) * 2018-04-28 2018-11-23 南昌航空大学 一种轴承滚子表面缺陷检测方法、系统及装置
US20190026879A1 (en) * 2017-07-20 2019-01-24 Applied Materials Israel Ltd. Method of detecting defects in an object
CN110599501A (zh) * 2019-09-05 2019-12-20 北京理工大学 一种胃肠结构的真实尺度三维重建及可视化方法
CN110782490A (zh) * 2019-09-24 2020-02-11 武汉大学 一种具有时空一致性的视频深度图估计方法及装置
US20200211206A1 (en) * 2018-12-27 2020-07-02 Baidu Usa Llc Joint learning of geometry and motion with three-dimensional holistic understanding

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012005946A1 (en) * 2010-07-08 2012-01-12 Spinella Ip Holdings, Inc. System and method for shot change detection in a video sequence
US20170249753A1 (en) * 2016-02-25 2017-08-31 Hitachi High-Technologies Corporation Defect observation apparatus
US20190026879A1 (en) * 2017-07-20 2019-01-24 Applied Materials Israel Ltd. Method of detecting defects in an object
CN108872243A (zh) * 2018-04-28 2018-11-23 南昌航空大学 一种轴承滚子表面缺陷检测方法、系统及装置
CN108596157A (zh) * 2018-05-14 2018-09-28 三峡大学 一种基于运动检测的人群惊扰场景检测方法及系统
US20200211206A1 (en) * 2018-12-27 2020-07-02 Baidu Usa Llc Joint learning of geometry and motion with three-dimensional holistic understanding
CN110599501A (zh) * 2019-09-05 2019-12-20 北京理工大学 一种胃肠结构的真实尺度三维重建及可视化方法
CN110782490A (zh) * 2019-09-24 2020-02-11 武汉大学 一种具有时空一致性的视频深度图估计方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUN SUN ET AL.: "An Effective Method of Weld Defect Detection and Classification Based on Machine Vision", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》 *
贵莹: "元器件表面缺陷检测算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880784A (zh) * 2023-02-22 2023-03-31 武汉商学院 基于人工智能的景区多人动作行为监测方法

Also Published As

Publication number Publication date
CN113222895B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
EP3309703A1 (en) Method and system for decoding qr code based on weighted average grey method
CN110009607B (zh) 显示屏坏点检测方法、装置、计算机设备和存储介质
US9390511B2 (en) Temporally coherent segmentation of RGBt volumes with aid of noisy or incomplete auxiliary data
JP6550723B2 (ja) 画像処理装置、文字認識装置、画像処理方法、およびプログラム
KR101434484B1 (ko) 영상 분할을 이용한 비전 검사 장치 및 비전 검사 방법
CN110009615B (zh) 图像角点的检测方法及检测装置
CN111985465A (zh) 文本识别方法、装置、设备及存储介质
CN104331695A (zh) 一种鲁棒的圆形标志符形状质量检测方法
CN115440159A (zh) 图像校正方法、led显示屏图像的校正方法及装置
CN113222895A (zh) 一种基于人工智能的电极缺陷检测方法及系统
CN117152165A (zh) 感光芯片缺陷的检测方法、装置、存储介质及电子设备
CN115270839A (zh) 一种基于PPYOLOv2模型的工业场景QR Code检测与识别方法
CN115880288B (zh) 电子元件焊接的检测方法、系统及计算机设备
CN111222355A (zh) Pcb板上的条码定位方法及系统
CN109671081B (zh) 一种基于fpga查找表的坏簇统计方法及装置
US7702176B2 (en) One dimensional feature enhancement
CN111768384B (zh) 基于三维扫描成像的细胞计数方法及系统
CN115526854A (zh) 一种基于二进制条纹的镜面缺陷检测方法、设备及介质
CN116993654A (zh) 摄像头模组缺陷检测方法、装置、设备、存储介质及产品
CN115359502A (zh) 一种图像处理方法、装置、设备以及存储介质
CN109064485B (zh) 一种基于cmt算法的特征库维护方法
JP2015176433A (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
Bloechle et al. YinYang, a Fast and Robust Adaptive Document Image Binarization for Optical Character Recognition
Hu et al. Application of computational verb image processing to 1-D barcode localization
KR102199572B1 (ko) 딥러닝 기반의 역방향 사물 검사 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230410

Address after: Room 3137, Building B, No. 555 Dongchuan Road, Minhang District, Shanghai, 201100

Applicant after: Youceng Intelligent Technology (Shanghai) Co.,Ltd.

Address before: No.35, 6th floor, building 11, National University Science Park (East District), 283 West Third Ring Road, high tech Industrial Development Zone, Zhengzhou City, Henan Province, 450000

Applicant before: HENAN JUJIE ELECTRONIC TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant