CN111563872B - 图像识别系统和图像识别方法 - Google Patents

图像识别系统和图像识别方法 Download PDF

Info

Publication number
CN111563872B
CN111563872B CN202010052590.8A CN202010052590A CN111563872B CN 111563872 B CN111563872 B CN 111563872B CN 202010052590 A CN202010052590 A CN 202010052590A CN 111563872 B CN111563872 B CN 111563872B
Authority
CN
China
Prior art keywords
model
recognition
image data
inspection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010052590.8A
Other languages
English (en)
Other versions
CN111563872A (zh
Inventor
渡边真二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Electron Ltd
Original Assignee
Tokyo Electron Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Electron Ltd filed Critical Tokyo Electron Ltd
Publication of CN111563872A publication Critical patent/CN111563872A/zh
Application granted granted Critical
Publication of CN111563872B publication Critical patent/CN111563872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/28—Testing of electronic circuits, e.g. by signal tracer
    • G01R31/2851—Testing of integrated circuits [IC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供图像识别系统和图像识别方法。该图像识别系统包括：从设置于工厂内的多个检查装置收集包含识别对象的图像数据的图像数据收集部；对识别识别对象的特征部的第1模型，利用图像收集部所收集的图像数据执行追加的机器学习的学习执行部；基于机器学习的结果将第1模型更新为第2模型的模型更新部；对设置于工厂内的检查装置中特定的检查装置发送第2模型的第1发送部；接收在特定的检查装置中使用第2模型进行了识别对象的识别的识别结果来进行判断的识别结果判断部；和根据判断结果将第2模型发送到检查装置的第2发送部。本发明在工厂内的检查装置中，在无法正确地进行识别对象的图像识别的情况下，也能够在短时间内能够识别识别对象。

Description

图像识别系统和图像识别方法
技术领域
本发明涉及图像识别系统和图像识别方法。
背景技术
在半导体器件的制造处理中，在半导体晶片(以下简记为晶片)的所有处理结束的阶段，进行形成在晶片的多个半导体器件(以下简记为器件)的电检查。在进行这样的电检查的装置中，一般而言，与吸附保持晶片的载置台相对地配置探针卡，该探针卡具有与形成在晶片的半导体器件接触的多个探针。而且，通过向探针卡按压载置台上的晶片，使探针卡的各探针与器件的电极垫接触来进行电特性的检查。
在这样的检查装置中，为了确认探针与器件的电极垫连接在一起一起情况，使用了由摄像机拍摄电极垫，根据该图像来识别针迹的图像识别技术(例如专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2005-45194号公报
发明内容
发明要解决的技术问题
本发明提供图像识别系统和图像识别方法，其在工厂内的检查装置中，在无法正确地进行识别对象的图像识别的情况下，能够在短时间内且不将信息带出到工厂外就能够识别识别对象。
用于解决技术问题的技术方案
本发明的一个方式的图像识别系统包括：图像数据收集部，其从设置于工厂内的多个检查装置收集包含识别对象的图像数据；学习执行部，其对通过事先的机器学习获得的、识别上述识别对象的特征部的第1模型，利用上述图像收集部所收集的图像数据来执行追加的机器学习；模型更新部，其基于由上述学习执行部进行的上述机器学习的结果，将识别上述识别对象的上述特征部的模型从第1模型更新为第2模型；第1发送部，其对上述设置于工厂内的上述多个检查装置之中特定的检查装置发送上述第2模型；识别结果判断部，其接收在上述特定的检查装置中使用上述第2模型进行了上述识别对象的识别的识别结果来进行判断；和第2发送部，其根据上述识别结果判断部的判断结果，将上述第2模型发送到多个上述检查装置。
发明效果
依照本发明，提供图像识别系统和图像识别方法，其在工厂内的检查装置中，在无法正确地进行针迹等识别对象的图像识别的情况下，也能够在短时间内能够识别识别对象。
附图说明
图1是概略地表示具有第1实施方式的图像识别系统的一例的检查系统的框图。
图2是表示图1的检查系统中的第1检查装置的概略结构图。
图3是表示在第1检查装置中，用第1摄像机拍摄形成在晶片的被检查器件的情形的示意图。
图4是表示在第1检查装置中，用第2摄像机拍摄探针卡的情形的示意图。
图5是用于说明第1实施方式的图像识别系统100的图像识别方法的流程图。
图6A是表示图像识别的识别对象为探针的针迹的情况下的图像的例子的图。
图6B是表示图像识别的识别对象为探针的针迹的情况下的图像的例子的图。
图7A是表示图像识别的识别对象为探针的针尖的情况下的图像的例子的图。
图7B是表示图像识别的识别对象为探针的针尖的情况下的图像的例子的图。
图7C是表示图像识别的识别对象为探针的针尖的情况下的图像的例子的图。
图7D是表示图像识别的识别对象为探针的针尖的情况下的图像的例子的图。
图7E是表示图像识别的识别对象为探针的针尖的情况下的图像的例子的图。
图7F是表示图像识别的识别对象为探针的针尖的情况下的图像的例子的图。
图7G是表示图像识别的识别对象为探针的针尖的情况下的图像的例子的图。
图8是表示第1实施方式的图像识别系统的另一例的框图。
图9是概略地表示具有第2实施方式的图像识别系统的一例的检查系统的框图。
图10是用于说明第2实施方式的图像识别系统的图像识别方法的流程图。
图11是表示第2实施方式的图像识别系统的另一例的框图。
图12是表示第3实施方式的图像识别系统的一例的框图。
图13是表示第3实施方式的图像识别系统的另一例的框图。
附图标记说明
10 图像数据收集部
20 学习执行部
30 模型更新部
40 第1发送部
50 识别结果判断部
60 第2发送部
100、100’、101、101’、102、103 图像识别系统
200 第1检查装置
300 第2检查装置。
400、401 检查系统
具体实施方式
以下，参照附图，对本发明的实施方式进行说明。
<第1实施方式>
首先，对第1实施方式进行说明。
图1是概略地表示具有第1实施方式的图像识别系统的一例的检查系统的框图。
检查系统400包括：设置于工厂内的多个第1检查装置200；和图像识别系统100，其用于提高包括第1检查装置200的识别对象的图像数据中的识别对象的识别水平。
第1检查装置200例如如图2所示，包括：吸附保持晶片W的载置台201；具有多个探针203的探针卡202；测试器204；第1摄像机205；第2摄像机206；和控制部207。
载置台201能够用对准器(未图示)进行平面方向和上下方向的定位，使探针203与形成在晶片W的多个被检查器件的电极垫接触，由此进行基于测试器204的电检查。此外，第1检查装置200通过扫描晶片W，可以相对地使探针203一边扫描晶片W一边进行检查，也可以使多个探针与形成在晶片W的多个被检查器件一并接触来进行检查。另外，第1检查装置200可以为单个检查装置，也可以为具有多个检查部的检查装置。
第1摄像机205被设置成可移动的，如图3所示，能够拍摄形成在晶片W的被检查器件。此外，第2摄像机206也被设置成可移动的，如图4所示，能够拍摄探针卡202。由此，能够获得包含检查所需要的识别对象的图像数据。作为识别对象例如能够举出电极垫、检查时探针203与器件的电极垫接触时的针迹、探针203的针尖形状等。上述识别对象能够由控制部207的图像识别部208识别。电极垫的形状的识别需要探针与电极垫的对位，针尖的识别需要针尖的中心定位，针迹的识别需要确认探针与器件的电极垫接触在一起的情况。
在第1检查装置200中，控制部207的图像识别部208装载有软件，该软件对于上述识别对象，使用事先通过机器学习获得的、识别识别对象的特征部的模型，来从图像数据识别识别对象。模型能够通过后述的追加的机器学习进行更新。
机器学习是指使计算机等进行如人类自然进行的学习的功能的技术和方法。作为机器学习，能够优选使用深度学习。深度学习是使用通过将多个处理层层级地连接而构成的多层神经网络的机器学习的方法。此时使用的模型是数学式，在数学式中存在多个参数，通过赋予各参数的值和加权等，能够改变模型。在本例中，第1检查装置200的图像识别部208的初始状态的模型是第1模型(#1)。
图像识别系统100如图1所示，包括图像数据收集部10、执行机器学习的学习执行部20、模型更新部30、第1发送部40、识别结果判断部50和第2发送部60。
图像数据收集部10从第1检查装置200收集包含上述那样的识别对象的图像数据。作为图像数据收集部10收集的图像数据，可以为由第1检查装置200的图像识别部208无法识别的图像数据。
学习执行部20对通过事先的机器学习获得的、识别识别对象的特征部的第1模型(与装载于第1检查装置200的第1模型(#1)相同)，利用图像数据收集部10所收集的图像数据来执行追加的机器学习。此时的机器学习典型地使用上述的深度学习。学习执行部20中的机器学习的执行能够在适当的时机自动执行。可以定期地执行机器学习，也可以在图像数据收集部10的数据成为规定量的时刻执行。此外，也可以通过操作者的操作来执行机器学习。
模型更新部30基于由学习执行部20进行的机器学习的结果，将识别识别对象的特征部的模型从第1模型(#1)更新为第2模型(#2)。第2模型能够成为可识别由第1模型无法识别识别对象的图像数据的、识别水平更高的模型。
此外，学习执行部20和模型更新部30可以形成为一体。
第1发送部40从模型更新部30接收更新后的第2模型，对多个第1检查装置200之中特定的检查装置200发送第2模型。在该特定的第1检查装置200中，使用第2模型来进行由第1模型无法识别识别对象的图像数据的识别对象的识别评价。
识别结果判断部50接收在该特定的第1检查装置200中使用第2模型进行的、与由第1模型无法识别识别对象的图像数据相同或者同等的图像数据中的识别对象的识别结果，来进行判断。
第2发送部60根据识别结果判断部50的判断结果，将第2模型发送到特定的第1检查装置以外的第1检查装置200。更具体而言，第2发送部60在由识别结果判断部50判断为识别结果良好的情况下，将第2模型发送到第1检查装置200。
接着，说明第1实施方式的图像识别系统100的图像识别方法。图5是用于说明第1实施方式的图像识别系统100的图像识别方法的流程图。
首先，从设置于工厂内的多个第1检查装置200，将包含识别对象的图像数据收集到图像数据收集部10(ST1)。作为此时的图像数据，可以为由第1检查装置200的图像识别部208无法识别的图像数据。
接着，由学习执行部20对通过事先的机器学习获得的、识别识别对象的特征部的第1模型，利用图像数据收集部10所收集的图像数据来执行追加的机器学习(ST2)。此时的机器学习典型地使用上述的深度学习。
接着，基于机器学习的结果，由模型更新部30将识别识别对象的特征部的模型从第1模型更新为第2模型(ST3)。
接着，对设置于工厂的多个第1检查装置200之中特定的第1检查装置发送第2模型(ST4)。
接着，在特定的第1检查装置200中，使用第2模型进行识别对象的识别评价(ST5)。
接着，判断在特定的第1检查装置中进行了识别的识别结果(ST6)。
接着，根据上述ST6的判断结果，将第2模型从第2发送部60发送到第1检查装置200(ST7)。具体而言，在ST6中由识别结果判断部50判断为识别结果良好的情况下，将第2模型发送到工厂内的所有第1检查装置200，将所有检查装置200的图像识别部的模型更新为第2模型。
此外，在特定的第1检查装置200中的识别结果不佳的情况下，中止对第2模型的更新。另外，在上述例中，在ST5中，由特定的第1检查装置200仅进行第2模型的识别评价，不过也可以在ST5中将特定的第1检查装置200的模型更新为第2模型。在该情况下，在ST6中由识别结果判断部50判断为识别结果良好的情况下，在ST7对特定的第1检查装置200以外的第1检查装置200发送第2模型。
如上所述，利用本实施方式的图像识别系统100，从设置于工厂内的多个第1检查装置，将包含识别对象的图像数据收集到图像数据收集部10。而且，对第1模型，利用所收集的图像数据执行追加的机器学习，将模型从第1模型更新为新的第2模型。在由特定的第1装置200确认了第2模型的识别结果后，将工厂内的所有第1检查装置200的模型置换为新的第2模型。由此，对于工厂内的所有第1检查装置200，能够利用即时更新的新模型来识别识别对象。因此，在无法正确地进行识别对象的图像识别的情况下，也能够在短时间内高效地识别识别对象。另外，能够不将信息带出到工厂外就识别识别对象。
一直以来，如专利文献1所记载的那样，用摄像机拍摄针迹等识别对象，作为图像进行识别。但是，用于进行识别对象的图像识别的软件的更新在专利文献1中并没有任何记载。
一般而言，在这种识别对象的图像识别中，例如在检查新的器件时或者因随时间变化、垃圾的存在、对比度的不同等而识别对象发生变化时，存在现有的软件无法应对，成为不能正确地进行图像识别的识别结果不佳的情况。
例如在识别对象为针迹的情况下，即使软件能够将图6A的图像中形成在电极垫501上的针迹502识别为针迹，也如图6B所示除了针迹502之外存在垃圾503时无法识别正确的针迹，而可能成为识别结果不佳的情况。此外，在识别对象为针尖的情况下，典型而言为图7A那样的形状，有时也因随时间变化、对比度的不同，而在图像中例如如图7B～7G所示的那样一部分消失。另外，在图像上产生局部变薄或者由于前端的磨损等而特定的部分变大等各种形态。因此，识别结果容易变得不佳。另外，在新的器件中有时器件的电极垫的形状发生改变，在该情况下，无法识别为电极垫。
一直以来，在发生这样的情形成为识别结果不佳的情况下，服务部门和技术部门的相关人员需要进行图像收集至改善方案检讨、软件的设计、制作、评价、安装。另外，从识别结果不佳至改善后的软件运行为止需要较长时间。
对此，在本实施方式的图像识别系统100中，如上所述，在无法正确地进行识别对象的图像识别的情况下，能够通过机器学习能够在短时间内高效地识别识别对象。另外，能够不将信息带出工厂外就能够识别识别对象，所以也能够获得防止信息泄露的效果。另外，对工厂内的所有第1检查装置200，能够用相同的模型进行识别对象的识别，能够在工厂内以相同的水平识别识别对象。
此外，作为图像识别系统100的变形例，可以为如图8所示的图像识别系统100’，其具有在由模型更新部30更新为第2模型后，仅仅对多个第1检查装置200不特定发送模型的检查装置而发送第2模型的功能。在该情况下，在第1检查装置200中识别结果不佳的情况下，能够通过另外设置使模型恢复为第1模型的装置或者操作员使模型恢复为第1模型来应对。
<第2实施方式>
接着，对第2实施方式进行说明。
图9是概略地表示具有第2实施方式的图像识别系统的一例的检查系统的框图。
检查系统401包括：设置于工厂内的上述的多个第1检查装置200；1个或多个第2检查装置300；以及图像识别系统101，其用于使包含第1检查装置200和第2检查装置300的识别对象的图像数据中的识别对象的识别水平提高。
第2检查装置300的基本构成与第1检查装置200相同，但是图像识别部的软件不使用通过识别识别对象的特征部的机器学习获得的模型，这点与第1检查装置200不同。
本实施方式的图像识别系统101如图9所示，包括图像数据收集部10、执行机器学习的学习执行部20、模型更新部30、第1发送部40、识别结果判断部50、第2发送部60、推断图像数据收集部110、推断部120和数据处理部130。
学习执行部20、模型更新部30、第1发送部40、识别结果判断部50和第2发送部60与第1实施方式以同样的方式构成。
推断图像数据收集部110从第2检查装置300收集包含识别对象的图像数据。作为推断图像数据收集部110收集的图像数据，可以为由第2检查装置300的图像识别部无法识别的图像数据。
推断部120从推断图像数据收集部110接收包含识别对象的图像数据，对图像数据进行上述识别对象的推断。具体而言，推断部120使用上述的第1模型来进行识别对象的推断。第2检查装置300是图像识别部的软件不使用识别识别对象的特征部的模型的装置，因此由推断部120使用与第1检查装置200相同的第1模型来进行识别对象的推断。推断部120能够从模型更新部30接收信息，将第1模型更新为第2模型。由此，推断部120也能够使用第2模型进行识别对象的推断。
数据处理部130将在推断部120中对识别对象进行了推断(识别)的结果发送到作为图像数据的发送来源的第2检查装置300。数据处理部130在由推断部120无法推断(识别)识别对象的情况下，将识别对象的推断结果发送到作为图像数据的发送来源的第2检查装置300，并且使图像数据收集部10存积该图像数据。发送到第2检查装置300的推断结果为数值数据(识别对象为针迹的情况下，针迹的位置、尺寸等)。此外，在推断部120中能够推断(识别)识别对象的情况下，将该图像数据本身从推断图像数据收集部110废除。
接着，对第2实施方式的图像识别系统101中的图像识别方法进行说明。图10是用于说明第2实施方式的图像识别系统101中的图像识别方法的流程图。
从设置于工厂内的第2检查装置300将图像数据收集到推断图像数据收集部110(ST11)。作为此时的收集的图像数据，可以为由第2检查装置300的图像识别部无法识别的图像数据。
对于由推断图像数据收集部110收集到的图像数据，用推断部120进行识别对象的推断(ST12)。该步骤能够使用上述的第1模型来进行识别对象的推断。由此，能够以与第1检查装置200相同的水平进行第2检查装置300的识别对象的识别。该ST12中，在由模型更新部30将模型从第1模型更新为第2模型时，能够从模型更新部30接收信息，将第1模型更新为第2模型。
在ST12中，在能够推断识别对象的情况下，对作为图像数据的发送来源的第2检查装置300发送该结果。此外，在无法推断识别对象的情况下，对作为图像数据发送来源的第2检查装置300发送该结果，并且使图像数据收集部10存积该图像数据(ST13)。由此，能够从第2检查装置300收集用于模型更新的图像数据。在ST13中，发送到第2检查装置300的是数值数据(识别对象为针迹的情况下，针迹的位置、尺寸等)。此外，在能够推断识别对象的情况下，将该图像数据本身从推断图像数据收集部110废除。
在本实施方式中，除了上述步骤之外，还实施第1实施方式的ST1～ST7。在图10中，将ST11～ST13记载在ST1～ST7之上，不过ST1～ST7和ST11～13的顺序没有限定，可以先进行ST1～ST7，也可以同时并行地进行ST1～7和ST11～13。
利用本实施方式的图像识别系统101，与第1实施方式的图像识别系统100同样，经过在图像数据收集部10收集包含识别对象的图像数据、追加机器学习、更新模型后，将所有第1检查装置200的模型置换为第2模型。由此，对于工厂内的所有第1检查装置200，能够用即时更新的新模型来识别识别对象。因此，在无法正确地进行识别对象的图像识别的情况下，也能够在短时间内高效地、且不将信息带出到工厂外，就能够识别识别对象。另外，除此之外，在工厂内存在不使用通过机器学习获得的模型的第2检查装置300的情况下，也能够使识别对象的识别水平为接近仅有第1检查装置200的情况的水平。并且能够在第2检查装置300中将包含由推断部120无法推断的识别对象的图像数据也收集到图像数据收集部10，作为用于追加的机器学习的图像数据来使用，有助于模型的升级。
此外，作为图像识别系统101的变形例，可以为如图11所示的图像识别系统101’，其具有在由模型更新部30更新为第2模型后，仅仅对多个第1检查装置200不特定发送模型的检查装置而发送第2模型的功能。在该情况下，在第1检查装置200中识别结果不佳的情况下，能够通过另外设置使模型恢复成第1模型的装置或者操作员使模型恢复成第1模型来应对。
<第3实施方式>
接着，对第3实施方式进行说明。
图12是表示第3实施方式的图像识别系统的一例的框图。在本实施方式中，与第2实施方式同样，作为检查装置，第1检查装置200和第2检查装置300混合存在。
本实施方式的图像识别系统102如图12所示，包括图像数据收集部10、推断图像收集部110、推断部120和数据处理部130。即，图像识别系统102是从第2实施方式的图像识别系统101除去了学习执行部20、模型更新部30、第1发送部40、识别结果判断部50、第2发送部60的系统。
在本实施方式的图像识别系统102中，与第2实施方式的图像识别系统101同样，从设置于工厂内的第2检查装置300将图像数据收集到推断图像数据收集部110。作为此时的收集的图像数据，可以为由第2检查装置300的图像识别部无法识别的图像数据。对于由推断图像数据收集部110所收集的图像数据，由推断部120使用上述的第1模型来进行识别对象的推断。然后，由数据处理部130将识别对象的推断结果发送到作为图像数据的发送来源的第2检查装置300。数据处理部130在推断部120中无法推断识别对象的情况下，对作为图像数据的发送来源的第2检查装置300发送推断结果，并且使图像数据收集部10存积该图像数据。在图像数据收集部10中，也从第1检查装置200收集无法识别识别对象的图像数据。
因此，工厂内的检查装置中混合存在使用第1模型且利用机器学习的第1检查装置200和不利用机器学习的第2检查装置300的情况下，第2检查装置300能够以与第1检查装置200同等的水平来识别识别对象。另外，能够从第1检查装置200和第2检查装置300这两者，由第1模型无法识别识别对象的图像数据存积在图像数据存积部10中。因此，通过将上述图像数据供给到另外设置的机器学习执行部，能够更新模型，能够提高识别对象的识别水平。
此外，图13所示的图像识别系统103的构成与图像识别系统102相同，但是工厂内的检查装置全部为第2检查装置300。在该情况下也同样，第2检查装置300能够以与第1检查装置200同等的水平识别识别对象。此外，能够从第2检查装置300将由第1模型无法识别识别对象的图像数据存积在图像数据收集部10中。因此，通过将上述图像数据发送到另外设置的机器学习执行部，能够更新模型，能够提高识别对象的识别水平。
以上，对实施方式进行了说明，但是本次公开的实施方式在所有方面均是例示，不应理解为限制性的。上述的实施方式在不脱离所附的权利要求的范围及其主旨的情况下，能够以各种方式进行省略、置换、改变。
例如，上述实施方式的检查装置只不过是例示，只要是包含能够通过图像识别来识别识别对象的操作的检查装置就都能够适用。
另外，在上述实施方式中，作为识别对象例示了电极垫、探针去往电极垫的针迹、探针的针尖，但是并不限于此。

Claims (16)

1.一种图像识别系统，其特征在于，包括：
图像数据收集部，其从设置于工厂内的多个检查装置收集包含识别对象的图像数据；
学习执行部，其对通过事先的机器学习获得的、识别所述识别对象的特征部的第1模型，利用所述图像收集部所收集的图像数据来执行追加的机器学习；
模型更新部，其基于由所述学习执行部进行的所述机器学习的结果，将识别所述识别对象的所述特征部的模型从所述第1模型更新为第2模型；
第1发送部，其对所述设置于工厂内的所述多个检查装置之中特定的检查装置发送所述第2模型，而不对所述多个检查装置之中特定的检查装置以外的其他的检查装置发送所述第2模型；
识别结果判断部，其接收在所述特定的检查装置中使用所述第2模型进行了所述识别对象的识别的识别结果来进行判断；和
第2发送部，其根据所述识别结果判断部对来自所述特定的检查装置的识别结果进行判断的判断结果，将所述第2模型发送到所述其他的检查装置，
所述检查装置是对形成有多个器件的晶片，使探针卡的各探针与器件的电极垫接触来进行电特性的检查的装置，
所述识别对象是所述电极垫、所述探针在所述电极垫上形成的针迹和所述探针的针尖之中的至少一种。
2.如权利要求1所述的图像识别系统，其特征在于：
在所述图像数据收集部中收集无法正确地识别所述识别对象的图像数据。
3.如权利要求1或2所述的图像识别系统，其特征在于：
被发送了所述第2模型的所述检查装置，识别所述识别对象的所述特征部的模型从所述第1模型更新为所述第2模型。
4.如权利要求1或2所述的图像识别系统，其特征在于：
所述设置于工厂内的多个检查装置包括使用通过事先的机器学习获得的、识别所述识别对象的特征部的模型来进行所述识别对象的识别的第1检查装置，
被发送所述第2模型的所述检查装置是所述第1检查装置。
5.如权利要求1或2所述的图像识别系统，其特征在于，还包括：
推断部，其至少接收在所述检查装置中无法识别所述识别对象的图像数据，对所述图像数据进行所述识别对象的推断；和
数据处理部，其在所述推断部将所述识别对象的推断结果发送到作为所述图像数据的发送来源的所述检查装置，在所述推断部中无法推断所述识别对象的情况下在所述图像数据收集部中存积该图像数据。
6.如权利要求5所述的图像识别系统，其特征在于：
所述设置于工厂内的多个检查装置包括不使用识别所述识别对象的特征部的模型的第2检查装置，
所述推断部至少接收在所述第2检查装置中无法识别所述识别对象的图像数据，进行所述识别对象的推断。
7.如权利要求5所述的图像识别系统，其特征在于：
所述推断部对所述图像数据使用所述第1模型来进行所述识别对象的推断。
8.如权利要求5所述的图像识别系统，其特征在于：
用于所述推断部的所述第1模型能够更新为由所述模型更新部更新后的所述第2模型。
9.一种图像识别方法，其特征在于，包括：
从设置于工厂内的多个检查装置将包含识别对象的图像数据收集到图像数据收集部的步骤；
对通过事先的机器学习获得的、识别所述识别对象的特征部的第1模型，利用所述收集的图像数据来执行追加的机器学习的步骤；
基于所述机器学习的结果将识别所述识别对象的所述特征部的模型从所述第1模型更新为第2模型的步骤；
对所述设置于工厂内的所述多个检查装置之中特定的检查装置发送所述第2模型，而不对所述多个检查装置之中特定的检查装置以外的其他的检查装置发送所述第2模型的步骤；
在所述特定的检查装置中，使用所述第2模型进行所述识别对象的识别的步骤；
判断在所述特定的检查装置中进行了识别的识别结果的步骤；和
根据所述对特定的检查装置中的识别结果进行判断的步骤的判断结果，将所述第2模型发送到所述其他的检查装置的步骤，
所述检查装置是对形成有多个器件的晶片，使探针卡的各探针与器件的电极垫接触来进行电特性的检查的装置，
所述识别对象是所述电极垫、所述探针在所述电极垫上形成的针迹和所述探针的针尖之中的至少一种。
10.如权利要求9所述的图像识别方法，其特征在于：
收集包含所述识别对象的图像数据的步骤中，收集无法正确地识别所述识别对象的图像数据。
11.如权利要求9或10所述的图像识别方法，其特征在于：
被发送了所述第2模型的所述检查装置，识别所述识别对象的所述特征部的模型从所述第1模型更新为所述第2模型。
12.如权利要求9或10所述的图像识别方法，其特征在于：
所述设置于工厂内的多个检查装置包括使用通过事先的机器学习获得的、识别所述识别对象的特征部的模型来进行所述识别对象的识别的第1检查装置，
被发送所述第2模型的所述检查装置是所述第1检查装置。
13.如权利要求9或10所述的图像识别方法，其特征在于，还包括：
对在所述检查装置中无法识别所述识别对象的图像数据进行所述识别对象的推断的步骤；和
将所述识别对象的推断结果发送到作为所述图像数据的发送来源的所述检查装置中，在无法推断所述识别对象的情况下，在所述图像数据收集部中存积该图像数据的步骤。
14.如权利要求13所述的图像识别方法，其特征在于：
所述设置于工厂内的多个检查装置包括不使用识别所述识别对象的特征部的模型的第2检查装置，
进行所述识别对象的推断的步骤中，对在所述第2检查装置中无法识别所述识别对象的图像数据进行所述识别对象的推断。
15.如权利要求13所述的图像识别方法，其特征在于：
在进行所述识别对象的推断的步骤中，对所述图像数据使用所述第1模型进行所述识别对象的推断。
16.如权利要求13所述的图像识别方法，其特征在于：
用于进行所述识别对象的推断的步骤的所述第1模型能够更新为由更新所述模型的步骤更新后的所述第2模型。
CN202010052590.8A 2019-01-29 2020-01-17 图像识别系统和图像识别方法 Active CN111563872B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-012630 2019-01-29
JP2019012630A JP7262232B2 (ja) 2019-01-29 2019-01-29 画像認識システムおよび画像認識方法

Publications (2)

Publication Number Publication Date
CN111563872A CN111563872A (zh) 2020-08-21
CN111563872B true CN111563872B (zh) 2023-11-21

Family

ID=71731500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010052590.8A Active CN111563872B (zh) 2019-01-29 2020-01-17 图像识别系统和图像识别方法

Country Status (5)

Country Link
US (1) US20200242747A1 (zh)
JP (1) JP7262232B2 (zh)
KR (1) KR102315595B1 (zh)
CN (1) CN111563872B (zh)
TW (1) TWI832958B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230332158A1 (en) 2020-01-20 2023-10-19 Showa University Novel use of hic-5 inhibitor

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016118815A1 (en) * 2015-01-22 2016-07-28 Preferred Networks, Inc. Machine learning heterogeneous edge device, method, and system
CN107292223A (zh) * 2016-04-13 2017-10-24 芋头科技（杭州）有限公司 一种实时手势检测的在线验证方法及系统
CN107886500A (zh) * 2017-10-13 2018-04-06 北京邮电大学 一种基于机器视觉和机器学习的产品生产监控方法及系统
JP2018120373A (ja) * 2017-01-24 2018-08-02 株式会社安川電機 産業機器用の画像認識装置及び画像認識方法
WO2018138880A1 (ja) * 2017-01-27 2018-08-02 三菱日立パワーシステムズ株式会社 モデルパラメータ値推定装置及び推定方法、プログラム、プログラムを記録した記録媒体、モデルパラメータ値推定システム
WO2018182903A1 (en) * 2017-03-30 2018-10-04 Intel Corporation Cloud assisted machine learning
CN109146082A (zh) * 2017-06-27 2019-01-04 发那科株式会社 机器学习装置、机器人控制系统和机器学习方法
CN109242820A (zh) * 2017-07-10 2019-01-18 发那科株式会社 机器学习装置、检查装置以及机器学习方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3434976B2 (ja) * 1996-06-28 2003-08-11 三菱電機株式会社 画像処理装置
JP2002269563A (ja) 2001-03-08 2002-09-20 Matsushita Electric Ind Co Ltd 顔画像照合システム
JP4628665B2 (ja) 2002-10-28 2011-02-09 大日本スクリーン製造株式会社 針痕読取装置および針痕読取方法
US8396582B2 (en) * 2008-03-08 2013-03-12 Tokyo Electron Limited Method and apparatus for self-learning and self-improving a semiconductor manufacturing tool
JP5385752B2 (ja) * 2009-10-20 2014-01-08 キヤノン株式会社 画像認識装置、その処理方法及びプログラム
JP2012208710A (ja) 2011-03-29 2012-10-25 Panasonic Corp 属性推定装置
US9536178B2 (en) * 2012-06-15 2017-01-03 Vufind, Inc. System and method for structuring a large scale object recognition engine to maximize recognition accuracy and emulate human visual cortex
CN103411974B (zh) * 2013-07-10 2017-02-08 杭州赤霄科技有限公司 基于云端大数据的平面材料检测远程系统及检测方法
KR102601848B1 (ko) * 2015-11-25 2023-11-13 삼성전자주식회사 데이터 인식 모델 구축 장치 및 방법과 데이터 인식 장치
JP6453805B2 (ja) 2016-04-25 2019-01-16 ファナック株式会社 製品の異常に関連する変数の判定値を設定する生産システム
TWI765895B (zh) * 2016-06-20 2022-06-01 美商蝴蝶網路公司 用於協助使用者操作超音波裝置的自動化影像獲取之系統和方法
US11237119B2 (en) * 2017-01-10 2022-02-01 Kla-Tencor Corporation Diagnostic methods for the classifiers and the defects captured by optical tools
JP6660900B2 (ja) 2017-03-06 2020-03-11 Kddi株式会社 モデル統合装置、モデル統合システム、方法およびプログラム
GB201704373D0 (en) * 2017-03-20 2017-05-03 Rolls-Royce Ltd Surface defect detection

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016118815A1 (en) * 2015-01-22 2016-07-28 Preferred Networks, Inc. Machine learning heterogeneous edge device, method, and system
CN107292223A (zh) * 2016-04-13 2017-10-24 芋头科技（杭州）有限公司 一种实时手势检测的在线验证方法及系统
JP2018120373A (ja) * 2017-01-24 2018-08-02 株式会社安川電機 産業機器用の画像認識装置及び画像認識方法
WO2018138880A1 (ja) * 2017-01-27 2018-08-02 三菱日立パワーシステムズ株式会社 モデルパラメータ値推定装置及び推定方法、プログラム、プログラムを記録した記録媒体、モデルパラメータ値推定システム
CN108700852A (zh) * 2017-01-27 2018-10-23 三菱日立电力系统株式会社 模型参数值推定装置及推定方法、程序、记录有程序的记录介质、模型参数值推定系统
WO2018182903A1 (en) * 2017-03-30 2018-10-04 Intel Corporation Cloud assisted machine learning
CN109146082A (zh) * 2017-06-27 2019-01-04 发那科株式会社 机器学习装置、机器人控制系统和机器学习方法
CN109242820A (zh) * 2017-07-10 2019-01-18 发那科株式会社 机器学习装置、检查装置以及机器学习方法
CN107886500A (zh) * 2017-10-13 2018-04-06 北京邮电大学 一种基于机器视觉和机器学习的产品生产监控方法及系统

Also Published As

Publication number Publication date
JP7262232B2 (ja) 2023-04-21
TW202101625A (zh) 2021-01-01
JP2020119476A (ja) 2020-08-06
TWI832958B (zh) 2024-02-21
US20200242747A1 (en) 2020-07-30
CN111563872A (zh) 2020-08-21
KR102315595B1 (ko) 2021-10-21
KR20200094089A (ko) 2020-08-06

Similar Documents

Publication Publication Date Title
KR101172999B1 (ko) 납땜 인쇄 상태의 분석 작업의 지원 방법 및 납땜 인쇄 검사기
CN111656883B (zh) 元件图像识别用学习完成模型生成系统及方法
CN108965795A (zh) 摄像装置、系统以及方法
JP2005050581A (ja) 電源コード、電源コード検査装置及び電源コード検査方法
EP3482192A1 (en) System and method for combined automatic and manual inspection
CN111563872B (zh) 图像识别系统和图像识别方法
US6754545B2 (en) Method for systematically assessing the quality of medical appliances that are in operation
CN113361539A (zh) 一种井下巡检机器人的仪表读取方法、装置及电子设备
CN113767407A (zh) 信息处理装置、信息处理方法、信息处理程序以及记录介质
CN114113968B (zh) 晶圆测试装置的调节方法
CN110187534B (zh) 一种aoi测试检查lcd产品针脚偏位的方法及系统
US20140055160A1 (en) Apparatus and method for inspection of marking
TWI785579B (zh) 元件辨識模型之自動模型重建方法及系統
CN211402180U (zh) 用于布面缺陷识别的系统
JP2006128452A (ja) プローブカード及びプローバー装置、半導体装置の製造方法
KR20040052880A (ko) Ｓｅｃｓ데이터 변환 장치
CN106886800B (zh) 漏电流故障的定位装置及方法
CN110389293A (zh) 用于电子器件测试台认证的装置和方法
CN113284108B (zh) 检验电子纸点亮性能的检验方法、检验装置及检验设备
CN114659799A (zh) 车辆检查方法及车辆检查系统
WO2020174626A1 (ja) 製造管理方法
EP3723115A1 (en) Information management device and information management method
CN117409304A (zh) 检查装置、检查方法和存储介质
US20220408622A1 (en) Component mounting system
CN117792435A (zh) 一种电力线本地通信模块检测装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant