CN107533748A - 元件种类自动判别方法、元件种类自动判别系统、图像处理用元件数据生成方法及图像处理用元件数据生成系统 - Google Patents

元件种类自动判别方法、元件种类自动判别系统、图像处理用元件数据生成方法及图像处理用元件数据生成系统 Download PDF

Info

Publication number
CN107533748A
CN107533748A CN201580077487.6A CN201580077487A CN107533748A CN 107533748 A CN107533748 A CN 107533748A CN 201580077487 A CN201580077487 A CN 201580077487A CN 107533748 A CN107533748 A CN 107533748A
Authority
CN
China
Prior art keywords
component
lead
power spectrum
characteristic
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580077487.6A
Other languages
English (en)
Other versions
CN107533748B (zh
Inventor
鬼头秀郎
鬼头秀一郎
梅崎太造
服部公央亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Nagoya Institute of Technology NUC
Original Assignee
Fuji Machine Manufacturing Co Ltd
Nagoya Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Machine Manufacturing Co Ltd, Nagoya Institute of Technology NUC filed Critical Fuji Machine Manufacturing Co Ltd
Publication of CN107533748A publication Critical patent/CN107533748A/zh
Application granted granted Critical
Publication of CN107533748B publication Critical patent/CN107533748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Image Processing (AREA)

Abstract

从由相机(12)拍摄到的元件图像提取该元件的特征数据，将提取的特征数据与登录于数据库的多个种类的元件的基准用特征数据相比较，判别两者最一致的元件的种类。其结果是，对被判别为异型元件的元件图像中的作为存在引线的候补的引线存在候补区域，对应每一个扫描线应用FFT而生成功率谱图像。并且，为了提取功率谱图像的周期性特征，根据功率谱图像求得HLAC特征，使用SVM学习该LAC特征的特征量，区别于异型元件而判别带引线的连接器元件。之后，根据元件种类的判别结果从元件图像提取该元件的特征数据，生成图像处理用元件数据。或者，在判别为是带引线的连接器元件的情况下，自动选择检测引线的缺损、弯曲的图像处理算法。

Description

元件种类自动判别方法、元件种类自动判别系统、图像处理用 元件数据生成方法及图像处理用元件数据生成系统
技术领域
本发明是涉及提高带引线的连接器元件的判别性能的元件种类自动判别方法、元件种类自动判别系统、图像处理用元件数据生成方法及图像处理用元件数据生成系统的发明。
背景技术
近年来，如专利文献1(日本特开2006-338482号公报)所记载的那样，作为自动判别通过元件安装机安装的元件的种类的方法，提出有使用了基于动态规划法(DP：DynamicProgramming)的匹配的层级型的方法。该方法为，从由相机拍摄到的元件图像提取表示该元件的特征的数据、即特征数据，将提取的特征数据与登录于数据库的多个种类的元件的基准用特征数据相比较，自动判别两者最一致的元件的种类。
现有技术文献
专利文献
专利文献1：日本特开2006-338482号公报
发明内容
发明所要解决的课题
在上述专利文献1的元件种类判别方法中，对于如图2A～图2E所示这样的在4边具有引线的IC元件、芯片元件、微型模具元件、简单形状的连接器元件、BGA元件这样的一般的元件的图像能够获得较高的判别性能，但是如图2G、图2H所示这样的复杂形状的连接器元件的图像则无法被判别为连接器元件，而是被误判别为如图2F所示这样的异型元件(OddForm)。这些连接器元件并不局限于电子元件的代表性的形状、即带引线的连接器元件，由于无法被判别为带引线的连接器元件，因此存在无法自动选择检测引线的缺损、弯曲的图像处理算法这样的问题。另外，在上述专利文献1中，根据自动判别出的元件的种类从该元件的图像提取该元件的特征数据(主体、引线、隆起等的位置、尺寸等数据)，生成图像处理用元件数据，但是由于如图2G、图2H所示这样的复杂形状的连接器元件被误判别为异型元件，因此也存在无法生成适当的图像处理用元件数据这样的问题。
于是，本发明要解决的课题在于能够区别于异型元件而判别带引线的连接器元件。
用于解决课题的技术方案
本发明为了区别于异型元件而判别带引线的连接器元件，着眼于引线的周期性的排列，为了从元件图像提取周期性特征，本发明的特征在于包括：功率谱图像生成处理(功率谱图像生成单元)，根据元件图像使用高速傅立叶变换[FFT]而生成功率谱图像；高阶局部自相关[HLAC]特征提取处理(HLAC特征提取单元)，为了提取所述功率谱图像的周期性特征，根据所述功率谱图像求得HLAC特征；以及连接器元件判别处理(连接器元件判别单元)，使用所述高阶局部自相关特征，判别是否为带引线的连接器元件。
在该情况下，在根据带引线的连接器元件的图像生成的功率谱图像中，通过等间距地排列的引线的周期性而产生有周期性的纵线，但是在不带引线的元件的功率谱图像中无法产生周期性的纵线。
着眼于该特性，在本发明中，作为用于判别在功率谱图像中是否含有纵线的特征量，根据功率谱图像求得高阶局部自相关特征，使用该高阶局部自相关特征判别是否为带引线的连接器元件，由此，能够区别于异型元件而判别带引线的连接器元件。
但是，即使在带引线的连接器元件的图像中，在根据该图像中的不存在引线的区域生成的功率谱图像中也无法产生周期性的纵线。于是，可以是，对元件图像中的作为存在引线的候补的区域，对应每一个扫描线应用高速傅立叶变换而生成功率谱图像。一般来说，由于引线是从元件的主体部分朝向外侧方向安装的，存在于元件外周附近的区域的可能性较高，因此将元件图像中的元件外周附近的区域设定为“作为存在引线的候补的区域”而生成功率谱图像即可。由此，能够从元件图像之中限定引线存在的可能性较高的区域并提取周期性特征。
另外，可以是，本发明使用支持向量机(SVM)学习高阶局部自相关特征的特征量，判别是否为带引线的连接器元件。由此，能够高精度地判别带引线的连接器元件。
在实施本发明的情况下，使用与所述专利文献1等所记载的元件种类自动判别方法相同的方法，例如，可以是，预先判别如图2A～图2E所示这样的在4边具有引线的IC元件、芯片元件、微型模具元件、简单形状的连接器元件，对于判别为与所述元件不符的异型元件的元件图像，进行所述功率谱图像生成处理、所述HLAC特征提取处理以及所述连接器元件判别处理，区别于异型元件而判别带引线的连接器元件。由此，能够高精度地自动判别通过元件安装机安装的全部元件的种类。
在根据通过本发明的元件种类自动判别方法判别出的元件的种类从元件图像提取该元件的特征数据而生成图像处理用元件数据，或者判别为是带引线的连接器元件的情况下，也可以自动选择检测引线的缺损、弯曲的图像处理算法。由此，能够消除所述以往的问题。
附图说明
图1是表示本发明的一实施例的元件种类自动判别系统(图像处理用元件数据生成系统)的结构的框图。
图2A是表示在4边具有引线的IC元件的图像的图。
图2B是表示芯片元件的图像的图。
图2C是表示微型模具元件的图像的图。
图2D是表示简单形状的连接器元件的图像的图。
图2E是表示BGA元件的图像的图。
图2F是表示异型元件的图像的图。
图2G是表示复杂形状的连接器元件的图像(之一)的图。
图2H是表示复杂形状的连接器元件的图像(之二)的图。
图3(a)是说明引线组区域图像的生成顺序(标准化)的图，图3(b)是说明将215张元件图像平均化而求得平均图像的顺序的图。
图4是说明平均图像的引线存在候补区域的位置的图。
图5(a)～(d)是表示实际中存在引线的引线存在候补区域图像的例1～4的图，图5(e)～(h)是表示在各例1～4的图像中应用FFT生成的功率谱图像的图。
图6(a)～(d)是表示不存在引线的引线存在候补区域图像的例5～8的图，图6(e)～(h)是表示在各例5～8的图像中应用FFT生成的功率谱图像的图。
图7是表示HLAC的掩模图案的图。
图8是表示元件种类自动判别程序的处理的流程的流程图。
图9是比较使用了HLAC的情况与使用了LBP的情况而表示针对光谱图像的准确率和针对灰度图像的准确率的图。
图10(a)是表示被误判别为连接器元件的异型元件的图像的例子的图，图10(b)是表示图10(a)的元件图像的引线存在候补区域的功率谱图像的图。
图11(a)是表示被误判别为异型元件的连接器元件的图像的例子的图，图11(b)是表示图11(a)的元件图像的引线存在候补区域的功率谱图像的图。
具体实施方式
以下，说明将用于实施本发明的方式具体化了的一实施例。
本实施例的元件种类自动判别系统也能够搭载作为图像处理用元件数据生成系统的功能，如图1所示，构成为具备：个人计算机等计算机11；相机12，内置拍摄作为元件种类判别对象(图像处理用元件数据的生成对象)的元件并取得灰度图像的CMOS传感器等图像传感器；键盘、鼠标、触摸面板等输入装置13；液晶显示器、CRT等显示装置14；以及存储装置15，存储后述的图8的元件种类自动判别程序、图像处理用元件数据生成程序、各种数据等。
元件种类自动判别系统(图像处理用元件数据生成系统)也可以构成为利用元件安装机的控制系统，或者也可以使用区别于元件安装机的控制系统而构成的专用的系统(例如台式拍摄装置与个人计算机的组合)。在利用元件安装机的控制系统而构成元件种类自动判别系统(图像处理用元件数据生成系统)的情况下，相机12使用从吸附于元件安装机的吸嘴的元件的下方对其进行拍摄的相机(所谓的零件相机)即可。
计算机11作为元件种类判别单元16发挥功能，所述元件种类判别单元16通过执行后述的图8的元件种类自动判别程序，从由相机12拍摄到的元件图像提取该元件的特征数据，将提取的特征数据与登录于数据库的多个种类的元件的基准用特征数据相比较，判别两者最一致的元件的种类，并且计算机11也作为功率谱图像生成单元17发挥功能，所述功率谱图像生成单元17对于通过所述元件种类判别单元16判别为异型元件(Odd Form)的元件图像，使用高速傅立叶变换(FFT：Fast Fourier Transform)而生成功率谱图像，进而，计算机11作为高阶局部自相关(HLAC：Higher-order Local AutoCorrelation)特征提取单元18发挥功能，所述HLAC特征提取单元18为了提取所述功率谱图像的周期性特征而根据所述功率谱图像求得HLAC特征，并且计算机11也作为连接器元件判别单元19发挥功能，所述连接器元件判别单元19使用HLAC特征判别是否为带引线的连接器元件。
功率谱图像生成单元17对所述元件图像中的作为存在引线的候补的引线存在候补区域，对应每一个扫描线应用FFT而生成所述功率谱图像。连接器元件判别单元19使用支持向量机(SVM：Support Vector Machine)学习HLAC特征的特征量，区别于异型元件而判别带引线的连接器元件。进而，在本实施例中，计算机11也作为元件数据生成单元20发挥功能，所述元件数据生成单元20根据元件种类的判别结果，从元件图像提取该元件的特征数据(主体部分的尺寸、引线位置、引线根数、引线间隔、引线宽度、引线长度、隆起的位置等)，生成图像处理用元件数据。以下，说明这些各功能。
基于元件种类判别单元16的元件种类自动判别的方法是使用了基于所述专利文献1等所记载的动态规划法(DP：Dynamic Programming)的匹配的层级型的方法。该方法为，从由相机12拍摄到的元件图像提取表示该元件的特征的数据即特征数据，将提取的特征数据与登录于数据库的多个种类的元件的基准用特征数据相比较，自动判别两者最一致的元件的种类。在上述特征数据中，含有元件区域整体的投影亮度(水平方向与垂直方向上的像素频度)、零交叉模式频度的数据。在该元件种类自动判别的方法中，对于如图2A～图2E所示这样的在4边具有引线的IC元件、芯片元件、微型模具元件、简单形状的连接器元件、BGA元件这样的一般的元件的图像能够获得较高的判别性能，但是如图2G、图2H所示这样的复杂形状的连接器元件的图像无法被判别为连接器元件，而是被错误地判别为如图2F所示这样的异型元件。
作为该理由，连接器元件是用于连接电极与电极的元件，由于配合最终制品的大小、外观设计而被生成为多种多样的形状，因此若作为特征数据而使用元件区域整体的投影亮度、零交叉模式频度，则会因元件的内部构造等的亮度变化而导致与基准的DP距离增大。其结果是，由于在子空间法中，基准朝向子空间的距离增大，因此认为无法区别于异型元件而正确地判别带引线的连接器元件。
于是，在本发明中，为了区别于异型元件而判别连接器元件，着眼于连接器元件的以等间距排列的引线的周期性的排列。为了获得周期性特征，根据元件图像使用FFT而生成功率谱图像，根据该功率谱图像求得HLAC特征，通过使用了支持向量机的识别器(连接器元件判别单元19)判别引线的存在。关于对元件图像应用FFT的区域，根据引线的存在概率使用已知的数据来决定存在引线的区域。以下，说明该区域的决定方法。
引线是代表性的电子元件的电极形状的一种，通常，从元件的主体部分朝向外部方向安装。因此，预测在元件外周附近存在引线的概率较高，相反，在元件中央部存在引线的概率较低。对于引线而言，相同形状的引线等间隔地朝向相同方向并排数根～数十根的情况较多。将在该相同方向上并排的引线的列设为引线组，根据预先定义了引线组的元件图像求得元件区域内的存在引线组的区域。由于向由相机12拍摄的位置供给的元件以0°、90°、180°、270°中的哪个朝向被供给取决于用户的运用方法，因此无法根据元件图像来决定哪个方向是正确的元件的朝向。
于是，使元件图像向4个方向旋转，在图像中对通过人工定义的引线组进行投票，生成表示引线组的存在概率的图像(以下称作“引线组区域图像”)。对于元件区域，以纵横比形成为1：1(512×512[pixel])的正方形区域的方式进行标准化，以引线组的投票最大数形成为亮度255的方式进行标准化，从而将存在引线组的区域图像化。使用的图像是全部215张元件图像。
图3表示引线组区域图像的生成顺序(标准化)和通过215张元件图像的平均化而获得的平均图像。当观察该平均图像时，可知引线组集中于元件区域的外周部分。在图4中示出通过判别分析法对获得的平均图像进行二值化所得的结果。根据二值化的结果，如图4所示，在平均图像的各边的长度L的1/8的长度的区域取得作为存在引线的候补的引线存在候补区域，将在该引线存在候补区域中裁剪出的图像设为引线存在候补区域图像。从上下左右4个位置取得该引线存在候补区域图像，根据各个引线存在候补区域图像判别引线的有无。
接着，说明为了判别引线的有无而从引线存在候补区域图像提取周期性特征的顺序。
在图5(a)～(d)以及图6(a)～(d)中示出根据通过所述专利文献1等的层级型的元件种类自动判别方法(元件种类判别单元16)判别为异型元件的元件图像通过上述方法取得的引线存在候补区域图像的例1～8。对各图的引线存在候补区域图像施加旋转校正而进行显示，以使全部元件区域的外侧朝上。图5(a)～(d)所示的引线存在候补区域图像的例1～4是实际上存在引线的区域的例子，图6(a)～(d)所示的引线存在候补区域图像的例5～8是不存在引线的区域的例子。关于图5(a)～(d)所示的引线存在候补区域图像的例1～4，在水平方向确认有规则的亮度变化。
于是，对该引线存在候补区域图像，对应水平方向每一个扫描线施加FFT而生成功率谱图像。由于在施加FFT时需要2的阶乘的数据数，因此图5(a)～(d)以及图6(a)～(d)所示的引线存在候补区域图像的例1～8是以形成为全部512[pixel]的方式拉伸宽度方向而生成的。在图5(e)～(h)以及图6(e)～(h)中示出获得的各例1～8的功率谱图像。如图5(e)～(h)所示，在实际中存在引线的图像中，能够在功率谱图像中确认周期性的纵线，但是如图6(e)～(h)所示，在不存在引线的区域的图像中无法确认周期性的纵线。
在本发明中，提出有如下方法：将获得的功率谱图像捕捉成纹理，根据功率谱图像取得高阶局部自相关(HLAC：Higher-order Local AutoCorrelation)特征，通过将其设为特征量，而判定元件是否具有引线。一般来说，HLAC被用于文字识别、面部识别这样的多样的图像处理，被用作通用性较高的特征量。通过以下的公式表示将自相关函数高阶地扩张所得的N次的自相关函数。
[数1]
x(a，…，aN)＝∫I(r)I(r+a1)…I(r+aN)dr····(1)
在此，I是图像，位移向量r和N个位移向量ai(i＝0、…、N)是具有图像的坐标的二维向量。位移向量的组合数形成为特征向量的维度。当在3×3的局部区域内，限定N＝2时，针对灰度图像获得35维的特征向量。在图7中示出35个组合模式。
HLAC具有加法性和位置不变性这两个性质。图5(e)～(h)所示的功率谱图像中的纵线图案是通过引线间间距来决定出现位置的。使用HLAC的位置不变性这个性质，能够获得与施加FFT时的数据的伸长、元件的引线间间距无关的特征，因此被认为适用于识别。另外，由于功率谱图像的高度因原始元件图像中的元件区域而发生变化，因此将根据功率谱图像的面积对通过HLAC特征获得的35维的特征量进行标准化所得的结果用作特征量。
接着，说明使用了SVM的连接器元件的判别方法。
为了判别通过上述方法生成的引线存在候补区域图像是否为实际中存在引线的区域，作为高维数据的二值分类，使用公知的SVM。考虑在类别间具有重复的区域，使用软间隔SVM，核使用RBF(Radial Basis Function：径向基函数)核。当将指导者数据和标签的组合设为(xn，tn)、将松驰变量设为ξn、将C设为补偿时，SVM的最佳化问题如下所示。
[数2]
另外，RBF核将γ设为参数，并如下所示。
[数3]
K(x，x’)＝exp(-γ||x-x’||2····(3)
由于参数C、γ的调整影响识别能力，因此使用训练数据，进行n分割交叉确认(n-fold cross validation)，决定最佳的C、γ。
如上所述，在使用了以往的DP匹配的层级型的方法中，在连接器元件的判别中错误较多，被误判别为异型元件的例子较多。于是，在本发明中，计算机11通过执行后述的图8的元件种类自动判别程序，对基于使用了DP匹配的层级型的方法的判别元件的种类的元件种类判别单元16，追加基于功率谱图像生成单元17、HLAC特征提取单元18以及连接器元件判别单元19的判别处理，将判别为在元件图像的上下左右4个方向上的引线存在候补区域图像中的任一个中存在引线组的元件判别为连接器元件，从而提高元件种类的判别性能。
以下，说明由计算机11执行的图8的元件种类自动判别程序的处理内容。当本程序起动时，首先，在步骤101中，使向由相机12拍摄的位置供给的元件依次向0°、90°、180°、270°这4个方向旋转并进行拍摄，取得元件图像。此后，进入步骤102，通过使用了DP匹配的层级型的方法判别元件的种类。该层级型的方法详细记载于所述专利文献1等，从元件图像提取该元件的特征数据，将提取的特征数据与登录于数据库的多个种类的元件的基准用特征数据相比较，判别两者最一致的元件的种类。这些步骤101以及102的处理功能作为元件种类判别单元16发挥功能。
此后，进入步骤103，判断是否通过上述步骤102的层级型的元件种类判别处理判别为是异型元件，在被判别为是异型元件的情况下，进入步骤104，对于被判别为是异型元件的元件图像应用FFT而生成功率谱图像。此时，对被判别为异型元件的元件图像中的作为存在引线的候补的引线存在候补区域图像应用FFT，生成功率谱图像。该步骤104的处理功能作为功率谱图像生成单元17发挥功能。
此后，进入步骤105，从功率谱图像提取HLAC特征。该步骤105的处理功能作为HLAC特征提取单元18发挥功能。此后，进入步骤106，使用HLAC特征，区别于异型元件而判别带引线的连接器元件。该步骤106的处理功能作为连接器元件判别单元19发挥功能。
此后，进入步骤107，根据元件种类的判别结果，从元件图像提取该元件的特征数据，生成图像处理用元件数据。该步骤107的处理功能作为元件数据生成单元20发挥功能。此外，在被判别为带引线的连接器元件的情况下，也可以自动选择检测引线的缺损、弯曲的图像处理算法。
另一方面，在上述步骤103中，只要判断为通过步骤102的层级型的元件种类判别处理没有判别为异型元件，则跳过上述步骤104～106的处理而进入步骤107，根据元件种类的判别结果从元件图像提取该元件的特征数据，生成图像处理用元件数据。
由于本发明人们进行了评价本发明的元件种类自动判别方法的评价实验，因此，以下，说明该评价实验。
首先，为了评价引线存在候补区域图像的判别性能，使用所述引线存在候补区域图像的生成方法，从引线系的元件(IC元件、连接器元件)和异型元件取得引线存在候补区域图像，通过目测观察分类为存在引线组的图像(Positive图像)以及不存在引线组的图像(Negative图像)。作为分类的结果，作为Positive图像，获得441张，作为Negative图像，获得737张。对于获得的图像，进行10分割交叉确认(10-fold cross validation)而求得准确率。为了评价在频率区域取得的特征量的有效性，与相对于原图像获得HLAC特征的情况进行了比较。另外，为了比较特征量，对各个图像使用LBP(Local Binary Pattern)进行了评价。LBP被用于纹理识别、面部识别，并报告有效的结果。在图9中示出实验结果。根据该实验结果，可知通过使用了HLAC、LBP中的任一项的方法获得频率区域中的特征均有效。另外，当比较HLAC与LBP的结果时，关于对光谱图像的准确率，在使用了HLAC的情况下为98.2[％]，获得比使用了LBP的情况(96.4[％])高的准确率。HLAC特征量为35维，与LBP的256维相比，能够以较低的维数的特征量获得较高的识别性能。
接着，为了评价作为自动识别器的性能，在表1中示出基于以往的方法(专利文献1的层级型的方法)的判别结果，在表2中示出基于本发明的方法的判别结果。
[表1]
基于以往方法的判别结果
[表2]
基于本发明的方法的判别结果
当观察表1、表2的判别结果时，在本发明的方法中，连接器元件的判别性能从以往的40.0[％]大幅地提高至91.3[％]。虽然依然残留有IC元件的误判别，但是由于IC元件以及连接器元件所使用的定位处理是以双方共同引线为基准进行定位并进行检查的，因此该误判别不存在问题。
另一方面，对于原本作为异型元件的元件，误判别为连接器元件的例子稍有增加。在图10中示出误判别为连接器元件的异型元件的图像的例子。该原因在于，在异型元件的元件区域外周部存在呈周期性地并排的形状的部分，对于呈这样的周期性的形状的异型元件存在误判别的可能性。关于这样的元件，由于在后工序(图像处理用元件数据生成工序)中的引线的识别处理中被识别为非引线，因此能够识别为异型元件。
另外，关于连接器元件，残留有8.7[％]的朝向异型元件的误判别。在图11中示出被误判别为异型元件的连接器元件的图像的例子。该原因被认为是，如由图11所明确的那样，引线组仅包含于元件图像的下侧的引线存在候补区域图像的一半左右的区域内，周期性的纵线图案的特征降低。对于该误判别，存在通过引线存在候补区域的调整等进行改善的余地。
如由以上说明所明确的那样，确认了相对于通过以往的方法(专利文献1等的层级型的方法)判别为异型元件的元件图像，通过使用本发明的方法，连接器元件的判别性能从40.0[％]大幅提高至91.3[％]。作为元件种类整体，确认了判别性能从89.2[％]提高至96.0[％]。在元件图像中，能够确认根据从引线组存在的概率较高的区域取得的功率谱图像取得HLAC特征量，通过在判别器使用SVM而获得较高的判别性能。但是，尽管是连接器元件，但对于引线组存在于元件的中央部的连接器元件，残留有误判别为异型元件的例子。针对该课题，认为只要通过组合引线存在候补区域的调整、引线的形状的识别等方法而构建高精度的分类器即可解决。
此外，本发明并不局限于上述实施例，能够适当地变更系统结构等来进行实施等，在不脱离主旨的范围内能够进行各种变更，这是不言而喻的。
附图标记说明
11…计算机
12…相机
16…元件种类判别单元
17…功率谱图像生成单元
18…HLAC特征提取单元
19…连接器元件判别单元
20…元件数据生成单元

Claims (10)

1.一种元件种类自动判别方法，处理由相机拍摄到的元件图像而自动判别该元件的种类，
所述元件种类自动判别方法的特征在于，包括：
功率谱图像生成处理，根据所述元件图像使用高速傅立叶变换(FFT)而生成功率谱图像；
高阶局部自相关(HLAC)特征提取处理，为了提取所述功率谱图像的周期性特征，根据所述功率谱图像求出HLAC特征；以及
连接器元件判别处理，使用所述高阶局部自相关特征，判别是否为具有引线的连接器元件。
2.根据权利要求1所述的元件种类自动判别方法，其特征在于，
在所述功率谱图像生成处理中，对所述元件图像中的作为存在引线的候补的区域，对应每一个扫描线应用高速傅立叶变换而生成所述功率谱图像。
3.根据权利要求1或2所述的元件种类自动判别方法，其特征在于，
在所述连接器元件判别处理中，使用支持向量机(SVM)学习所述高阶局部自相关特征的特征量来判别是否为带引线的连接器元件。
4.根据权利要求1～3中任一项所述的元件种类自动判别方法，其特征在于，
所述元件种类自动判别方法包括元件种类判别处理，在所述元件种类判别处理中，从由所述相机拍摄到的元件图像提取该元件的特征数据，将所提取的特征数据与登录于数据库的多个种类的元件的基准用特征数据进行比较来判别两者最一致的元件的种类，
对于由所述元件种类判别处理判别为异型元件的元件图像，进行所述功率谱图像生成处理、所述HLAC特征提取处理以及所述连接器元件判别处理，区别于异型元件而判别带引线的连接器元件。
5.一种元件种类自动判别系统，处理由相机拍摄到的元件图像而自动判别该元件的种类，
所述元件种类自动判别系统的特征在于，包括：
功率谱图像生成单元，根据所述元件图像使用高速傅立叶变换(FFT)而生成功率谱图像；
高阶局部自相关(HLAC)特征提取单元，为了提取所述功率谱图像的周期性特征，根据所述功率谱图像求出HLAC特征；以及
连接器元件判别单元，使用所述高阶局部自相关特征，判别是否为具有引线的连接器元件。
6.根据权利要求5所述的元件种类自动判别系统，其特征在于，
所述功率谱图像生成单元对所述元件图像中的作为存在引线的候补的区域，对应每一个扫描线应用高速傅立叶变换而生成所述功率谱图像。
7.根据权利要求5或6所述的元件种类自动判别系统，其特征在于，
所述连接器元件判别单元使用支持向量机(SVM)学习所述高阶局部自相关特征的特征量来判别是否为带引线的连接器元件。
8.根据权利要求5～7中任一项所述的元件种类自动判别系统，其特征在于，
所述元件种类自动判别系统包括元件种类判别单元，所述元件种类判别单元从由所述相机拍摄到的元件图像提取该元件的特征数据，将所提取的特征数据与登录于数据库的多个种类的元件的基准用特征数据进行比较来判别两者最一致的元件的种类，
所述功率谱图像生成单元、所述HLAC特征提取单元以及所述连接器元件判别单元对于由所述元件种类判别单元判别为异型元件的元件图像，生成所述功率谱图像，求出所述高阶局部自相关特征，区别于异型元件而判别带引线的连接器元件。
9.一种图像处理用元件数据生成方法，生成在图像识别通过元件安装机安装的元件时使用的图像处理用元件数据，
所述图像处理用元件数据生成方法的特征在于，
根据由权利要求1～4中任一项所述的元件种类自动判别方法判别出的元件的种类，从所述元件图像提取该元件的特征数据而生成图像处理用元件数据。
10.一种图像处理用元件数据生成系统，生成在图像识别通过元件安装机安装的元件时使用的图像处理用元件数据，
所述图像处理用元件数据生成系统的特征在于，
所述图像处理用元件数据生成系统具备元件数据生成单元，所述元件数据生成单元根据由权利要求5～8中任一项所述的元件种类自动判别系统判别出的元件的种类，从所述元件图像提取该元件的特征数据而生成图像处理用元件数据。
CN201580077487.6A 2015-03-11 2015-03-11 元件种类自动判别方法、元件种类自动判别系统、图像处理用元件数据生成方法及图像处理用元件数据生成系统 Active CN107533748B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/057220 WO2016143106A1 (ja) 2015-03-11 2015-03-11 部品種類自動判別方法及び部品種類自動判別システム並びに画像処理用部品データ作成方法及び画像処理用部品データ作成システム

Publications (2)

Publication Number Publication Date
CN107533748A true CN107533748A (zh) 2018-01-02
CN107533748B CN107533748B (zh) 2020-08-11

Family

ID=56878614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580077487.6A Active CN107533748B (zh) 2015-03-11 2015-03-11 元件种类自动判别方法、元件种类自动判别系统、图像处理用元件数据生成方法及图像处理用元件数据生成系统

Country Status (5)

Country Link
US (1) US10559076B2 (zh)
EP (1) EP3270351B1 (zh)
JP (1) JP6504682B2 (zh)
CN (1) CN107533748B (zh)
WO (1) WO2016143106A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112955932A (zh) * 2018-10-31 2021-06-11 捷客斯金属株式会社 电子/电气设备部件屑的组成解析装置、电子/电气设备部件屑的处理装置及电子/电气设备部件屑的处理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6818252B2 (ja) * 2017-03-14 2021-01-20 オムロン株式会社 データベース装置、学習結果管理方法、及びそのプログラム
CN109166261B (zh) * 2018-10-11 2022-06-07 平安科技（深圳）有限公司 基于图像识别的图像处理方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6647132B1 (en) * 1999-08-06 2003-11-11 Cognex Technology And Investment Corporation Methods and apparatuses for identifying regions of similar texture in an image
CN101010697A (zh) * 2004-07-22 2007-08-01 日本电气株式会社 图像处理系统
US20100246915A1 (en) * 2009-03-27 2010-09-30 Mitsubishi Electric Corporation Patient registration system
US20100321555A1 (en) * 2008-02-06 2010-12-23 Panasonic Corporation Solid state imaging device and manufacturing method thereof

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3253724B2 (ja) * 1993-02-16 2002-02-04 松下電器産業株式会社 欠陥検査装置
US6813377B1 (en) * 1999-08-06 2004-11-02 Cognex Corporation Methods and apparatuses for generating a model of an object from an image of the object
JP3966189B2 (ja) * 2003-02-27 2007-08-29 オムロン株式会社 基板検査方法およびこの方法を用いた基板検査装置
US20060210479A1 (en) * 2004-08-10 2006-09-21 Dow Global Technologies Inc. Targeting chelants and chelates
JP4674853B2 (ja) 2005-06-03 2011-04-20 富士機械製造株式会社 画像処理用部品データ作成方法及び画像処理用部品データ作成装置
US7664324B2 (en) * 2005-11-30 2010-02-16 Iscon Video Imaging, Inc. Methods and systems for detecting concealed objects
JP4165580B2 (ja) * 2006-06-29 2008-10-15 トヨタ自動車株式会社 画像処理装置及び画像処理プログラム
CN102317978B (zh) * 2009-12-22 2014-11-12 松下电器产业株式会社 动作解析装置以及动作解析方法
EP2537141B1 (en) * 2010-06-10 2016-03-30 Sartorius Stedim Biotech GmbH Assembling method, operating method, augmented reality system and computer program product
EP2494413B1 (en) * 2010-06-11 2014-05-14 Ricoh Company, Limited Information storage device, removable device, developer container, and image forming apparatus
JP6235886B2 (ja) * 2013-01-08 2017-11-22 キヤノン株式会社 生体組織画像の再構成方法及び装置並びに該生体組織画像を用いた画像表示装置
JP6476397B2 (ja) * 2014-06-06 2019-03-06 株式会社Ｆｕｊｉ リード画像認識方法及びリード画像認識装置並びに画像処理用部品データ作成方法及び画像処理用部品データ作成装置
JP6962673B2 (ja) * 2016-09-12 2021-11-05 株式会社ジャパンディスプレイ 樹脂基板

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6647132B1 (en) * 1999-08-06 2003-11-11 Cognex Technology And Investment Corporation Methods and apparatuses for identifying regions of similar texture in an image
CN101010697A (zh) * 2004-07-22 2007-08-01 日本电气株式会社 图像处理系统
CN100573585C (zh) * 2004-07-22 2009-12-23 日本电气株式会社 图像处理系统
US20100321555A1 (en) * 2008-02-06 2010-12-23 Panasonic Corporation Solid state imaging device and manufacturing method thereof
US20100246915A1 (en) * 2009-03-27 2010-09-30 Mitsubishi Electric Corporation Patient registration system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112955932A (zh) * 2018-10-31 2021-06-11 捷客斯金属株式会社 电子/电气设备部件屑的组成解析装置、电子/电气设备部件屑的处理装置及电子/电气设备部件屑的处理方法
CN112955932B (zh) * 2018-10-31 2024-01-12 捷客斯金属株式会社 电子/电气设备部件屑的组成解析装置、电子/电气设备部件屑的处理装置及电子/电气设备部件屑的处理方法

Also Published As

Publication number Publication date
EP3270351B1 (en) 2023-03-01
WO2016143106A1 (ja) 2016-09-15
EP3270351A4 (en) 2018-12-12
CN107533748B (zh) 2020-08-11
JP6504682B2 (ja) 2019-04-24
US20180047145A1 (en) 2018-02-15
EP3270351A1 (en) 2018-01-17
JPWO2016143106A1 (ja) 2017-12-21
US10559076B2 (en) 2020-02-11

Similar Documents

Publication Publication Date Title
Khellah Texture classification using dominant neighborhood structure
CN105825524B (zh) 目标跟踪方法和装置
CN104464079B (zh) 基于模板特征点及其拓扑结构的多币种面值识别方法
CN110119680B (zh) 一种基于图像识别的电气柜接线自动查错系统
TWI579775B (zh) A matching processing device, a matching processing method and an inspection device using the same
CN105957059B (zh) 电子元件漏件检测方法和系统
Patraucean et al. Detection of mirror-symmetric image patches
CN110060237A (zh) 一种故障检测方法、装置、设备及系统
CN109740606A (zh) 一种图像识别方法及装置
CN109584202A (zh) 图像处理装置、方法和非暂时性计算机可读存储介质
CN110503054A (zh) 文本图像的处理方法及装置
CN110738216A (zh) 基于改进surf算法的药品识别方法
CN109343920A (zh) 一种图像处理方法及其装置、设备和存储介质
CN110334594A (zh) 一种基于批再规范化处理的yolo算法的目标检测方法
CN106815830B (zh) 图像的缺陷检测方法
TWI765442B (zh) 瑕疵等級判定的方法及存儲介質
CN107533748A (zh) 元件种类自动判别方法、元件种类自动判别系统、图像处理用元件数据生成方法及图像处理用元件数据生成系统
CN107403179A (zh) 一种物品包装信息的注册方法及装置
CN103258218A (zh) 蒙版检测框架生成方法、装置、缺陷检测方法及装置
Liang et al. Relative saliency model over multiple images with an application to yarn surface evaluation
CN111814514A (zh) 号码识别装置、方法以及电子设备
CN111598866B (zh) 一种基于眼部b超图像的晶状体关键特征定位方法
CN114445649A (zh) 用多尺度超像素融合检测rgb-d单幅图像阴影的方法
Araújo et al. Segmenting and recognizing license plate characters
CN112215032A (zh) 图像中的目标识别方法、装置、电子设备及程序介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Aichi Japan vertical city

Applicant after: Fuji Corporation

Applicant after: Nagoya Inst Technology

Address before: Aichi Japan vertical city

Applicant before: Fuji Machinery Manufacturing Co., Ltd.

Applicant before: Nagoya Inst Technology

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant