CN113168687A - 图像评价装置和方法 - Google Patents

图像评价装置和方法 Download PDF

Info

Publication number
CN113168687A
CN113168687A CN201980077432.3A CN201980077432A CN113168687A CN 113168687 A CN113168687 A CN 113168687A CN 201980077432 A CN201980077432 A CN 201980077432A CN 113168687 A CN113168687 A CN 113168687A
Authority
CN
China
Prior art keywords
image
defect
information
machine learning
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980077432.3A
Other languages
English (en)
Inventor
窦书洋
丰田康隆
别宫史浩
柿沼武史
篠田伸一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Technologies Corp filed Critical Hitachi High Technologies Corp
Publication of CN113168687A publication Critical patent/CN113168687A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/122—Computational image acquisition in electron microscopy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像评价装置和方法，能够检测未知缺陷，能够防止机器学习模型的误识别。本发明的图像评价装置，使用基于机器学习的识别器来识别电子器件的缺陷图像中的缺陷信息，其特征在于，包括：保存电子器件的缺陷图像的图像存储部；保存缺陷图像中的缺陷区域信息的缺陷区域存储部；通过机器学习来识别缺陷信息的识别器；在缺陷图像的识别处理的过程中提取识别器所关注的关注图像信息的图像提取部；和对关注图像信息与缺陷区域信息进行比较而评价缺陷图像的识别可能性的评价部。

Description

图像评价装置和方法
技术领域
本发明涉及通过对缺陷图像中的机器学习模型的关注区域与缺陷物体的位置信息进行比较来实现的图像评价装置及其方法。
背景技术
近年来，在半导体检查等领域中，通过从图像中提取特征量、与事先在数据库等中登记的信息进行比较对照而判别对象物的图像分析技术正在得到使用。
作为该图像分析技术的一例，已知专利文献1中记载的方法。根据专利文献1，能够通过应用机器学习手段而根据输入图像输出强调了特定图案的输出图像。
另外，作为判别对象物的机械学习手段的具体的机器学习算法，已知神经网络和支持向量机。但是，这些方法都是识别精度取决于选择怎样的特征量而大幅变动，所以特征量的选择方法是重要的。
关于这一点，近年来，开发了称为CNN(Convolutional Neural Network；卷积神经网络)的深度学习器，受到了关注。CNN是一种机器学习器，深度学习模型自动学习图像的特征，进行图像中包括的物体像的提取和物体的判别、图像的分类等。
使用CNN，能够从学习数据中自动提取以往的支持向量机等机器学习中需要的特征量的选择，发挥非常高的图像分析性能。
现有技术文献
专利文献
专利文献1：日本特开2005-34211号公报
发明内容
发明要解决的课题
这样，CNN具有较高的识别性能，但另一方面，对于学习的种类以外的未知种类的图像也会较强地反应，具有以高置信度误识别的状况较多的问题。
具体而言，例如将CNN应用于半导体生产线时，在半导体生产线中发现的一部分缺陷的发生频度低，所以难以大量地收集、学习。
因此，存在有遗漏示教数据中没有包括的未知缺陷的风险的问题。
这样，将机器学习应用于半导体的图像检查的情况下，存在已学习的模型对示教数据中没有包括的未知种类的缺陷图像较强地反应、以高置信度误识别的风险。因此，存在遗漏致命的缺陷、导致成品率降低的可能性。因此，要求检测未知缺陷的手段。
根据以上所述，本发明中，目的在于提供一种能够检测未知缺陷、能够防止机器学习模型的误识别的图像评价装置和方法。
用于解决课题的技术方案
根据以上所述，本发明中，采用“一种图像评价装置，使用基于机器学习的识别器来识别电子器件的缺陷图像中的缺陷信息，其特征在于，包括：保存电子器件的缺陷图像的图像存储部；保存缺陷图像中的缺陷区域信息的缺陷区域存储部；通过机器学习来识别缺陷信息的识别器；在缺陷图像的识别处理的过程中提取识别器所关注的关注图像信息的图像提取部；和对关注图像信息与缺陷区域信息进行比较来评价缺陷图像的识别可能性的评价部。”。
另外，本发明中，采用“一种图像评价装置，使用基于机器学习的识别器来识别电子器件的缺陷图像中的缺陷信息，其特征在于，包括：保存电子器件的缺陷图像的图像存储部；通过机器学习来识别缺陷信息的多个识别器；在缺陷图像的识别处理的过程中提取多个识别器所关注的关注图像信息的图像提取部；和对多个关注图像信息进行比较来评价多个识别器的评价部”。
另外，本发明中，采用“一种图像评价方法，其使用基于机器学习的识别器来识别电子器件的缺陷图像中的缺陷信息，其特征在于：保存电子器件的缺陷图像，保存缺陷图像中的缺陷区域信息，在缺陷图像的识别处理的过程中提取识别器所关注的关注图像信息，对关注图像信息与缺陷区域信息进行比较来评价缺陷图像的识别可能性”。
另外，本发明中，采用“一种图像评价方法，其使用多个基于机器学习的识别器来识别电子器件的缺陷图像中的缺陷区域信息，其特征在于：保存电子器件的缺陷图像，在缺陷图像的识别处理的过程中提取多个识别器所关注的多个图像信息，对多个关注图像信息进行比较来评价多个识别器”。
发明效果
根据本发明，能够检测未知缺陷，能够防止机器学习模型的误识别。
附图说明
图1是表示具有图像评价部的图像评价装置的实施例的图。
图2是表示基于中心点比较的图像区域比较部的实施例的图。
图3是表示基于矩形区域比较的图像区域比较部的实施例的图。
图4是表示具有缺陷检测部的图像评价装置的实施例的图。
图5是表示对多个机器学习模型进行比较的图像评价装置的实施例的图。
图6是表示具有模型再学习部的图像评价装置的实施例的图。
图7是表示图像评价方法的处理流程的实施例的图。
图8是表示具有评价结果显示部的图像评价装置的实施例的图。
图9是表示评价结果显示部中的显示例的图。
图10是说明半导体检查系统的一例的图。
图11是扫描电子显微镜的概略说明图。
图12是表示机器学习模型的学习方法的图。
具体实施方式
以下参考附图详细说明本发明的实施例。
本发明的图像评价装置能够在处理图像的广泛的技术领域中应用，但以下示出的本发明的实施例中，举例示出应用了机器学习的防止半导体检查中的未知缺陷的误识别用的图像评价装置和方法。另外，作为其具体的一例，示出使用已学习的机器学习模型和缺陷物体的区域信息、检测未知缺陷的例子。
为此，本说明书中，首先使用图10、图11说明作为半导体检查的前提的技术，之后使用图1至图9说明实施例。
以下，使用图10、图11说明具有应用了机器学习的半导体检查中的未知缺陷检测功能的装置、测量检查系统。更具体而言，说明包括作为一种测量装置的测长扫描电子显微镜(Critical Dimension-Scanning Electron Microscope：以下称为CD-SEM或简称为SEM)的装置、系统。
另外，以下说明中，举例示出带电粒子束装置作为形成图像的装置，并且说明使用SEM的例子作为其方式之一，但不限于此，例如也可以采用在样品上使离子束扫描而形成图像的聚焦离子束(Focused Ion Beam：以下称为FIB)装置作为带电粒子束装置。但是，为了高精度地测量逐渐精细化的图案而要求非常高的倍率，所以优选使用一般而言在分辨能力方面优于FIB装置的SEM。
图10是多个测量或检查装置连接至网络的半导体检查系统的概略说明图。该系统中，主要是测量半导体晶片或光掩模等的图案尺寸的CD-SEM2401、通过对样品照射电子束而获取图像并基于与预先登记的参考图像的比较而提取缺陷的缺陷检查装置2402连接至网络NW的结构。
另外，对于网络NW，连接了在半导体器件的设计数据上设定测量位置和测量条件等的条件设定装置2403、基于半导体器件的设计数据和半导体制造装置的制造条件等仿真图案的完成结果的仿真器2404、和存储登记了半导体器件的布局数据和制造条件的设计数据的存储介质2405。
设计数据例如用GDS格式或OASIS格式等表达，以规定的形式存储。另外，关于设计数据，只要显示设计数据的软件能够显示其格式、能够作为图形数据处理，就可以是任意种类的。另外，存储介质2405也可以内置在测量装置、检查装置的控制装置、或者条件设定装置2403、仿真器2404中。
另外，CD-SEM2401和缺陷检查装置2402中，具有各自的控制装置，进行各装置所需的控制，但也可以在这些控制装置中搭载上述仿真器的功能和测量条件等的设定功能。
SEM中，从电子源射出的电子束被多级透镜聚焦，并且聚焦后的电子束通过扫描偏转器而在样品上一维地或二维地扫描。
因电子束的扫描而从样品射出的二次电子(Secondary Electron：以下称为SE)或者背散射电子(Backscattered Electron：以下称为BSE)被检测器检测，与上述扫描偏转器的扫描同步地存储在帧存储器等存储介质中。该帧存储器中存储的图像信号被控制装置内搭载的运算装置累加。另外，扫描偏转器进行的扫描能够对任意的大小、位置和方向进行。
如上所述的控制等用各SEM的控制装置进行，电子束扫描结果得到的图像和信号被经由网络NW发送至条件设定装置2403。另外，本例中，将控制SEM的控制装置与条件设定装置2403设为分体的进行说明，但不限于此，也可以用条件设定装置2403一并进行装置的控制和测量处理，也可以用各控制装置一并进行SEM的控制和测量处理。
另外，上述条件设定装置2403或控制装置中，存储了用于执行测量处理的程序，按照该程序进行测量或运算。
另外，条件设定装置2403具有基于半导体的设计数据生成控制SEM的动作的程序(方案)的功能，发挥方案设定部的功能。具体而言，在设计数据、图案的轮廓线数据、或者实施仿真后的设计数据上设定要求的测量点、自动对焦、自动像散修正、寻址点等进行对于SEM而言必要的处理用的位置等，基于该设定，生成自动控制SEM的样品平台和偏转器等用的程序。
图11是扫描电子显微镜的概略结构图。从电子源2501被提取电极2502提取、被未图示的加速电极加速后的电子束2503，被作为聚焦透镜的一个方式的聚束透镜2504聚束之后，通过扫描偏转器2505而在样品2509上一维地或二维地扫描。电子束2503因对样品台2508中内置的电极施加的负电压而减速，并且因物镜2506的透镜作用而被聚焦并向样品2509上照射。
电子束2503对样品2509照射时，从该照射场所射出二次电子和背散射电子这样的电子2510。射出的电子2510因为基于对样品施加的负电压的加速作用而向电子源方向加速，与变换电极2512碰撞，产生二次电子2511。
从变换电极2512射出的二次电子2511被检测器2513捕捉，检测器2513的输出I因捕捉到的二次电子量而变化。未图示的显示装置的亮度与该输出I相应地变化。例如形成二维像的情况下，通过使对扫描偏转器2505输出的偏转信号与检测器2513的输出I同步，来形成扫描区域的图像。另外，图11中举例示出的扫描电子显微镜中，具有使电子束的扫描区域移动的偏转器(未图示)。
另外，图11的例子中说明了对于从样品射出的电子用变换电极先变换再检测的例子，但当然不限于这样的结构，例如也能够采用在加速了的电子的轨道上配置电子倍增管或检测器的检测面的结构。控制装置2514控制扫描电子显微镜的各结构，并且具有基于检测出的电子形成图像的功能、和基于被称为线轮廓的检出电子的强度分布测量样品上形成的图案的图案宽度的功能。
实施例1
本发明的实施例1的图像评价装置和方法示出了应用于上述半导体检查装置的事例，在图1中示出了具有检测未知缺陷的功能的图像评价装置的实施例。
图1是表示具有图像评价部1的图像评价装置10的实施例的图，图像评价部1输入缺陷图像101和缺陷区域信息105，参考机器学习模型102得到评价结果106。
图像评价装置10使用计算机系统软件性地构成，但示意性地示出图像评价部1的内部的处理功能、或者处理过程中生成的中间生成物时，能够视为包括关注区域检测部103和检测出的关注度图像104和图像区域比较部20。
具体而言，图像评价部1中，对图像评价部1输入缺陷图像101和机器学习模型102，用关注区域检测部103生成机器学习模型102在图像中关注的区域信息作为关注度图像104。然后，对生成的关注度图像104与缺陷区域信息105用图像区域比较部20进行比较并输出评价结果106。
另外，图像评价部1能够内置在控制装置2514内、或者用内置的运算装置执行图像处理，也能够经由网络而用外部的运算装置(例如图10中举例示出的条件设定装置2403)执行图像评价。
另外，图1等图中，作为输入的数据、作为中间生成物的数据、或者作为最终成果物的数据，虽然在图示中没有明确示出，但保管在某种形式的存储部中。
关注区域检测部103中，对于缺陷图像101，使用机器学习模型102的参数生成图像的特征量图。在实现关注区域检测部103的功能时，可以使用文献“Zhou,Bolei,et al.“Learning deep features for discriminative localization.”Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition.2016.”。
该Zhou文献涉及CNN在图像中的关注区域的可视化，CNN计算从图像中提取出的多个特征量图的加权和，将其作为每个像素的关注度图像输出。具体而言，使用与这些特征量图相关的神经元的权重，计算特征量图的加权和，进而将调整尺寸为原图像大小后的结果作为关注度图像104输出。
这样，关注度图像104中，包括缺陷图像101的各像素中的关注度的信息。机器学习模型102较强地反应的区域的关注度较高，较弱地反映的区域的关注度较低。使用关注度图像104，能够说明作为机器学习模型102生成的识别结果的基础的关注区域。
另一方面，考虑作为图像区域比较部20中的其他输入的缺陷区域信息105时，包括图像中的缺陷物体的位置信息。例如，可以是包围缺陷物体的矩形区域，或者也可以是沿着缺陷物体的边缘的掩模图像。关于缺陷区域信息105的生成，可以由工程师目视确认缺陷图像、并手动地描绘，也可以由后述的缺陷检测部30生成。
图2是表示图像区域比较部20的一例的图。对关注度图像104进行阈值处理201。例如，仅提取关注度大于某一阈值的像素。然后，用中心计算202计算提取出的像素的中心点。同样地，也根据缺陷区域信息105计算中心点。使用计算出的两个中心点，用中心距离计算203计算两个中心点的距离，输出中心距离204。
中心计算202中，可以计算作为计算对象的各像素的平均值，或者也可以计算附加了权重的加权和。作为权重的例子，可以举出该像素的关注度或者该像素是缺陷的置信度。
关于求出的中心距离，如果缺陷图像101的缺陷种类是示教数据中包括的种类，则机器学习模型102识别出相同种类的缺陷物体，并关注其区域，所以能够认为用图像区域比较部20计算出的上述中心距离204的值较小。另一方面，关于求出的中心距离，是示教数据中没有包括的未知缺陷的情况下，机器学习模型102关注的区域与缺陷区域的偏差较大，所以能够认为中心距离204的值较大。因为关于中心距离的该倾向，而能够将中心距离204直接作为图像评价装置1的评价结果106使用。或者，也能够将中心距离204与某一阈值的比较结果(例如OK和NG)作为评价结果106输出。
图2中，作为图像区域比较部20的判断方法，利用示教数据中包括的种类即已知缺陷、与示教数据中没有包括的未知缺陷在中心距离(中心点)上产生差异的现象而对此进行识别。
相对于图2的基于中心点比较的图像区域比较，作为另一个实施例1的图3进行基于矩形区域比较的图像区域比较。图3将图2的图像区域比较部20中的中心计算置换为矩形计算。
图3的矩形计算205中，推算包括作为对象的图像区域(关注区域或缺陷区域)的矩形。使用推算出的两个矩形，用矩形重复度计算206计算矩形重复度207。作为矩形重复度207的一例，可以举出重复的区域与总区域的比例。该矩形重复度207与图2中的中心距离204同样地，可以作为未知缺陷判断的指标使用，所以可以直接作为评价结果106输出，或者也可以将与阈值的比较结果作为评价结果106输出。
关于实施例1的上述说明中，说明了基于中心点的比较、或者矩形的比较的图像区域比较部20的实施例。除此以外，也能够采用不规则区域的比较、区域面积的比较、区域形状的比较、代表点的比较(例如将关注度的最大值作为代表点)等方法。另外，也可以考虑将多种比较方法组合的方法。
通过图1、2、3的处理，最终得到的评价结果106包括由图像区域比较部20输出的一个或多个指标、以及根据指标计算出的结果(例如指标的值超过某一阈值时判断为未知缺陷的结果)。
图8是表示图1的图像评价装置10还包括评价结果显示部5地构成的情况下的结构例的图。在评价结果显示部5上，优选进行如图9中举例示出的形式的图像显示。
根据图9中的评价结果显示例，在评价结果显示部5的显示画面上显示缺陷图像101、缺陷区域信息105、关注度图像104、以及将这些图像叠加而成的评价结果106。
该情况下，在评价结果106中，用斜线表示的区域R1是缺陷区域，用斜线表示的区域R2是从关注度图像中检测出的关注区域，区域R3是两者重复的区域。
如果区域R3较小，则表示机器学习模型102的关注区域与缺陷区域信息105的偏差量较大，可以认为缺陷图像101是未知缺陷的可能性较大。用户能够使用如图9所示的评价结果显示部5更深地理解评价结果106。
另外，通过上述显示，事先得知机器学习模型102的关注区域正确，并且缺陷区域信息105是由工程师目视制作的情况下，根据评价结果106可知工程师标记的缺陷区域与真值的差，所以认为该图像评价装置也可以应用于工程师的教育、能力判断。
通过以上所述，能够实现包括图像评价部1的图像评价装置。
本发明的图像评价装置10主要涉及使用机器学习模型和缺陷区域信息来进行未知的缺陷图像的评价、判断可否识别的装置，构成为“一种图像评价装置，其使用基于机器学习的识别器102识别电子器件的缺陷图像中的缺陷信息(种类、位置等)，其特征在于，包括：保存电子器件的缺陷图像101的图像存储部、保存缺陷图像中的缺陷区域信息105的缺陷区域存储部、通过机器学习来识别缺陷信息的识别器102、在缺陷图像的识别处理的过程中提取识别器关注的关注图像信息104的图像提取部103、和对关注图像信息与缺陷区域信息进行比较来评价缺陷图像的识别可能性的图像评价部20”。
另外，本发明的图像评价装置10内的图像评价部20(201、202、203)构成为“一种图像评价装置，其从机器学习的识别器102关注的图像区域计算1个以上的关注坐标，根据缺陷区域信息计算1个以上的缺陷坐标，对坐标之间的距离进行比较，来评价缺陷图像的识别可能性”作为其处理的一例。
进而，图像评价部20(201、202、203)构成为“一种图像评价装置，图像评价部(201、202、203)从所述机器学习的识别器关注的图像区域计算代表性的关注区域，从所述缺陷区域信息计算缺陷区域，计算区域之间的重复度，评价所述缺陷图像的识别可能性”作为其处理的一例。
另外，本发明的图像评价装置10具有显示图像评价部(图像区域比较部20)的评价结果106的图像显示部(评价结果显示部5)，在图像显示部上显示缺陷图像中的缺陷区域信息、或者与缺陷图像对应的正常图像或与缺陷图像对应的设计数据中的至少1者以上。
实施例2
在以图1为代表的实施例1中，前提是通过某种方法获得了缺陷区域信息105。
与此相对，实施例2中，使用图4说明用于获得缺陷区域信息105的具体方法。根据图4，具有缺陷检测部30，从缺陷图像101和正常图像301或设计数据302生成图像中的缺陷区域信息105。
此处，说明使用正常图像301构成的缺陷检测部30的一个实施例。正常图像301是拍摄图案与缺陷图像101相同、但不包括缺陷物体的参考图像。另外，也可以考虑将多个正常图案的拍摄图像合成，将生成的图像作为正常图像301使用。缺陷检测部30中，求出缺陷图像101与正常图像301的差，将差较大处判定为缺陷区域，生成缺陷区域信息105。
另外，也可以考虑在缺陷检测部30中，使用从缺陷图像101中提取出的边缘等轮廓信息，对其与设计数据302进行比较，检测出基于两者之间产生的偏差的缺陷区域，生成缺陷区域信息105。另外，正常图像301是按照设计数据302正确地形成图像时得到的，所以能够视为与设计数据302等价。
实施例2在实施例1的结构中进一步涉及缺陷区域信息105的生成，构成为“一种图像评价装置，其特征在于：具有使用缺陷图像101、并且使用与缺陷图像对应的正常图像301和与缺陷图像对应的设计数据302中的任一者或两者来检测缺陷区域信息105的缺陷检测部30，缺陷区域存储部保存来自缺陷检测部30的缺陷区域信息105”。
实施例3
实施例3中，说明通过从不同观点生成多个关注度图像并进行比较而进行评价。能够将实施例1的缺陷区域信息105置换为从不同视点生成的第二关注度图像。
关于图5中举例示出的实施例3的图像评价部1，示意性地示出其内部的处理功能、或处理过程中生成的中间生成物时，能够视为包括参考2个机器学习模型102、107的关注区域检测部103；2个检测出的关注度图像104、108；和图像区域比较部20。
图5的图像评价部1中，对图像评价部1输入缺陷图像101和两个机器学习模型102、107，用关注区域检测部103检测各模型的关注度图像104、108，用图像区域比较部20对两个关注度图像进行比较，将其比较结果作为评价结果106输出。
例如，将一个机器学习模型102作为基准模型，将另一个机器学习模型107作为评价对象的模型。该情况下，评价结果106能够相对于基准模型的性能地对评价对象模型的性能的高低进行评价。
另外，图5中对图像评价部1输入了两个机器学习模型，但也可以考虑采用输入三个以上机器学习模型、对各自的关注度图像进行比较、输出评价结果106的图像评价装置10。
实施例3采用“一种图像评价装置，其使用多个基于机器学习的识别器(102、107)识别电子器件的缺陷图像中的缺陷信息(种类、位置等)，其特征在于：具有保存电子器件的缺陷图像101的图像存储部、在缺陷图像的识别处理的过程中提取多个识别器关注的多个关注图像信息的图像提取部(103)、和对多个关注图像信息(104、108)进行比较来评价多个识别器的识别器评价部(20)”。
实施例4
实施例1等中，最终得到评价结果，例如通过显示等对用户进行信息提示，但实施例4中，使用图6说明通过使评价结果反映至机器学习模型来逐渐构建更高精度的机器学习模型。
在图6中示出具有再学习机器学习模型的功能的图像评价装置10的实施例。在图6的图像评价装置10中，追加使用图像评价部1输出的评价结果106得到模型的学习信息的模型再学习部4，调整机器学习模型102。
模型再学习部4由示教数据调整401、学习参数调整402、模型学习403各功能构成。模型再学习部4中，首先进行示教数据调整401。例如，在评价结果106超过阈值、检测出未知缺陷图像的情况下，将未知缺陷图像定义为新的缺陷种类。或者，对于未知缺陷图像，进行聚类处理，将生成的各集群分别定义为新的缺陷种类，追加至示教数据。另外，机器学习模型102的识别结果与图像的标签值不同，并且评价结果106表示并非未知缺陷的情况下，存在修改图像的标签值的可能性。例如，对真值是A的图像附加了标签B。识别结果是A，并且根据评价结果106，机器学习模型102的关注区域与缺陷区域重合的情况下，存在该图像的标签值错误的可能性。
也可以考虑将评价结果106作为参考，进行学习参数调整402。
例如，事先得知缺陷图像101并非未知缺陷，但根据评价结果106未知缺陷的怀疑较大的情况下，为了提高机器学习模型102的识别性能，而增大对于该种类的缺陷图像的误识别的惩罚。具体而言，调整学习时使用的每个种类的权重。另外，也可以考虑在机器学习模型102的关注区域与缺陷区域的偏差较大的情况下，判断为学习不充分，增加学习的次数。
然后，用模型学习403进行机器学习模型102的再学习，生成作为图像评价部1的输入的机器学习模型102。
另外，图6的模型再学习部4中，描绘为包括示教数据调整401和学习参数调整402，但并不一定需要这两个步骤。
实施例4进行机器学习模型102的再学习，其一例是调整示教数据的真值，采用“一种图像评价装置，其特征在于：具有根据关注图像信息与缺陷区域信息的比较结果调整示教数据的示教数据调整部(401)、和基于来自示教数据调整部的信息再学习的识别器(102)”。
或者，实施例4的另一例调整学习参数，采用“一种图像评价装置，其特征在于：具有根据关注图像信息与缺陷区域的比较结果调整机器学习的参数的机器学习参数调整部、和基于来自机器学习参数调整部的信息再学习的识别器(102)”。
实施例5
图7所示的实施例5是描述了本发明的图像评价方法中的一系列处理内容的流程图。
根据该处理流程，处理步骤S10所示的缺陷区域检测处理和处理步骤S20所示的关注区域检测处理并行地实施，在双方的处理结果齐备的阶段执行下一处理步骤S30，进行图像区域比较处理。进而，之后在处理步骤S40中进行模型再学习处理(实施例4的情况)。
另外，关注区域检测处理S20和图像区域比较处理S30以外的处理是可选步骤。关于以上图像评价方法，可以用在通用CPU中运行的处理程序生成处理的一部分或全部。另外，也可以考虑使处理的一部分或全部成为专用的LSI或FPGA。
作为图像评价方法的实施例5，采用“一种图像评价方法(包括1的全体系统)，其使用基于机器学习的识别器(102)识别电子器件的缺陷图像中的缺陷信息(种类、位置等)，其特征在于：保存电子器件的缺陷图像(101)，保存缺陷图像中的缺陷区域信息(105)，在缺陷图像的识别处理的过程中，提取识别器关注的图像信息(103、104)，对关注图像信息与缺陷区域信息进行比较来评价缺陷图像的识别可能性(20)”。
可以考虑用模型102计算出的输出值判别缺陷图像101是否为未知缺陷。例如，模型102是图像分类模型的情况下，输出属于各类的概率值，在其中的最高概率仍小于阈值时，判别为未知缺陷。但是，根据文献“Nguyen,Anh,Jason Yosinski,and Jeff Clune.“Deep neural networks are easily fooled:High confidence predictions forunrecognizable images.”Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition.2015.”，大多情况下，存在模型输出的概率值过高的倾向。因此，基于阈值的未知缺陷判别的性能并不高。
另外，大多现有方法中，使用通过Softmax函数使属于各类的概率值的合计成为1.0的约束条件。这样，属于某一类的概率值会影响属于其他类的概率值。因此，概率值并不是属于某一类的绝对概率值，而是全部学习类的相对概率值。用相对概率的阈值处理难以判别未知缺陷。例如，用“鸟、虎、鱼”这三类分类任务，识别猫的图像。猫与三个类中的哪一个都不同，所以绝对概率的情况下，三个概率值全部较低。但是，相对概率的情况下，在三个类中，猫相对而言与虎相似，所以属于虎的概率值较高。该情况下，难以通过阈值处理将猫识别为未知类。
为了解决上述问题，提出了如图12所示的模型学习方法。首先在步骤S601从图像中提取特征量。使用提取出的特征量，在步骤S602中计算属于各类的概率值。该概率值是绝对概率值，表示属于该类的可能性。然后，在步骤S603中更新该图像的真值类的特征中心点。之后，在步骤S604中计算该图像的特征量到各类的特征中心点的距离。使用该距离，在步骤S605中计算各类的目标概率值。
最后，在步骤S606中，以步骤S602中计算出的概率值接近目标概率值的方式更新模型的参数。这样直到学习的收敛条件满足为止反复步骤S601～S606，学习模型。
上述说明中在执行计算图像的特征量与特征中心点的距离的步骤S604之前，调用了更新特征中心点的步骤S603，但步骤S603也可以置于步骤S604之后。或者，也可以考虑在多次进行步骤S604～S606之后执行步骤S603。
作为图像特征量提取步骤S601的实施例，可以举出多层的神经网络。或者，也可以考虑由人设计的特征量。基本而言，提取出多维的图像特征量。
作为计算绝对概率值的步骤S602的实施例，用多因素回归分析或支持向量回归等回归法将多维的图像特征量变换为一维，进而用Sigmoid这样的逻辑函数变换至0.0～1.0的范围。也可以考虑用神经网络将多维的图像特征量变换为一维的值。
作为步骤S603的实施例，计算图像特征量与真值类的特征中心点的差。对该差乘以系数之后，相加至当前的特征中心点。可以将对差乘以的系数设为由用户设定的参数，也可以是根据真值类的样本数自动地决定的值。
使用步骤S604中计算出的到各类的特征中心点的距离，在步骤S605中计算各类的目标概率值。距离越远，目标概率值越小。例如，可以考虑距离的指数函数。大多现有方法中，使用目标概率值是“真值类是1.0、真值类以外是0.0”这样的One Hot向量。
本发明中，也可以不是One Hot，而是将考虑到特征中心点的距离的值作为目标概率值。另外，为了减少计算量，也可以考虑将真值类以外的目标值设定为零、或者任一决定的值。
说明了在评价缺陷图像时，根据模型计算出的概率值和阈值判别是否未知缺陷，但也可以考虑根据用模型提取出的图像特征量与各类的特征中心点的距离的大小进行判别。或者，也能够将模型输出的概率值作为系数，与关注度图像104相乘之后，用图像区域比较部20判别是否未知缺陷。
附图标记说明
1：图像评价部，20：图像区域比较部，30：缺陷检测部，40：模型再学习部，5：评价结果显示部，101：缺陷图像，102、107：机器学习模型，103：关注区域检测部，104、108：关注度图像，105：缺陷区域信息，106：评价结果，201：阈值处理，202：中心计算，203：中心距离计算，204：中心距离，205：矩形计算，206：矩形重复度计算，207：矩形重复度，301：正常图像，302：设计数据，401：示教数据调整，402：学习参数调整，403：模型学习，S10：缺陷区域检测处理，S20：关注区域检测处理，S30：图像区域比较处理，S40：模型再学习处理，S601：图像特征量提取处理，S602：绝对概率值计算处理，S603：特征中心点更新处理，S604：特征距离计算处理，S605：目标概率值计算处理，S606：参数更新处理。

Claims (16)

1.一种图像评价装置，使用基于机器学习的识别器来识别电子器件的缺陷图像中的缺陷信息，其特征在于，包括：
保存所述电子器件的缺陷图像的图像存储部；
保存所述缺陷图像中的缺陷区域信息的缺陷区域存储部；
通过机器学习来识别缺陷信息的识别器；
在所述缺陷图像的识别处理的过程中提取所述识别器所关注的关注图像信息的图像提取部；和
对所述关注图像信息与所述缺陷区域信息进行比较来评价所述缺陷图像的识别可能性的评价部。
2.如权利要求1所述的图像评价装置，其特征在于：
包括缺陷检测部，其使用所述缺陷图像，并且使用与所述缺陷图像对应的正常图像和与所述缺陷图像对应的设计数据中的任一者或两者，来检测缺陷区域信息，
所述缺陷区域存储部保存来自所述缺陷检测部的缺陷区域信息。
3.如权利要求1或2所述的图像评价装置，其特征在于：
包括基于所述关注图像信息与所述缺陷区域信息的比较结果来调整示教数据的示教数据调整部；和基于来自所述示教数据调整部的信息来进行再学习的所述识别器。
4.如权利要求1～3中任一项所述的图像评价装置，其特征在于：
包括基于所述关注图像信息与所述缺陷区域信息的比较结果来调整机器学习的参数的机器学习参数调整部；和基于来自所述机器学习参数调整部的信息来进行再学习的所述识别器。
5.一种图像评价装置，使用多个基于机器学习的识别器来识别电子器件的缺陷图像中的缺陷信息，其特征在于，包括：
保存所述电子器件的缺陷图像的图像存储部；
通过机器学习来识别缺陷信息的多个识别器；
在所述缺陷图像的识别处理的过程中提取所述多个识别器所关注的多个关注图像信息的图像提取部；和
对所述多个关注图像信息进行比较来评价所述多个识别器的评价部。
6.如权利要求1～5中任一项所述的图像评价装置，其特征在于：
具有显示所述评价部的评价结果的图像显示部。
7.如权利要求6所述的图像评价装置，其特征在于：
所述图像显示部显示所述缺陷图像中的缺陷区域信息。
8.如权利要求7所述的图像评价装置，其特征在于：
所述图像显示部显示与所述缺陷图像对应的正常图像和与所述缺陷图像对应的设计数据中的至少1者以上。
9.如权利要求1～4中任一项所述的图像评价装置，其特征在于：
所述评价部从所述基于机器学习的识别器所关注的图像区域计算1个以上的关注坐标，从所述缺陷区域信息计算1个以上的缺陷坐标，对坐标之间的距离进行比较来评价所述缺陷图像的识别可能性。
10.如权利要求1～4中任一项所述的图像评价装置，其特征在于：
所述评价部从所述基于机器学习的识别器所关注的图像区域计算代表性的关注区域，从所述缺陷区域信息计算缺陷区域，计算区域之间的重复度来评价所述缺陷图像的识别可能性。
11.一种图像评价方法，使用基于机器学习的识别器来识别电子器件的缺陷图像中的缺陷信息，其特征在于：
保存所述电子器件的缺陷图像，
保存所述缺陷图像中的缺陷区域信息，
在所述缺陷图像的识别处理的过程中提取所述识别器所关注的关注图像信息，
对所述关注图像信息与所述缺陷区域信息进行比较来评价所述缺陷图像的识别可能性。
12.如权利要求11所述的图像评价方法，其特征在于：
使用所述缺陷图像，并且使用与所述缺陷图像对应的正常图像和与所述缺陷图像对应的设计数据中的任一者或两者，来检测出缺陷区域信息并保存所述缺陷区域信息。
13.如权利要求11或12所述的图像评价方法，其特征在于：
基于所述关注图像信息与所述缺陷区域信息的比较结果来调整示教数据，所述识别器基于来自所述调整后的示教数据的信息进行再学习。
14.如权利要求11～13中任一项所述的图像评价方法，其特征在于：
基于所述关注图像信息与所述缺陷区域信息的比较结果来调整机器学习的参数，所述识别器基于来自所述调整后的机器学习参数的信息来进行再学习。
15.一种图像评价方法，使用多个基于机器学习的识别器来识别电子器件的缺陷图像中的缺陷区域信息，其特征在于：
保存所述电子器件的缺陷图像，
在所述缺陷图像的识别处理的过程中提取所述多个识别器所关注的多个图像信息，
对所述多个关注图像信息进行比较来评价所述多个识别器。
16.如权利要求11～13中任一项所述的图像评价方法，其特征在于：
显示所述评价的结果。
CN201980077432.3A 2019-01-22 2019-10-11 图像评价装置和方法 Pending CN113168687A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-008386 2019-01-22
JP2019008386A JP7137487B2 (ja) 2019-01-22 2019-01-22 画像評価装置及び方法
PCT/JP2019/040208 WO2020152925A1 (ja) 2019-01-22 2019-10-11 画像評価装置及び方法

Publications (1)

Publication Number Publication Date
CN113168687A true CN113168687A (zh) 2021-07-23

Family

ID=71736313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980077432.3A Pending CN113168687A (zh) 2019-01-22 2019-10-11 图像评价装置和方法

Country Status (6)

Country Link
US (1) US20220067902A1 (zh)
JP (1) JP7137487B2 (zh)
KR (1) KR102680501B1 (zh)
CN (1) CN113168687A (zh)
TW (1) TWI722599B (zh)
WO (1) WO2020152925A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109561257B (zh) * 2019-01-18 2020-09-18 深圳看到科技有限公司 画面对焦方法、装置、终端及对应的存储介质
JP7085605B2 (ja) * 2020-10-30 2022-06-16 みずほリサーチ＆テクノロジーズ株式会社 モデル評価システム、モデル評価方法及びモデル評価プログラム
JP2022144121A (ja) * 2021-03-18 2022-10-03 株式会社Ｓｃｒｅｅｎホールディングス 教師データ作成支援装置および教師データ作成支援方法
US11789079B2 (en) * 2021-03-24 2023-10-17 Rohde & Schwarz Gmbh & Co. Kg Measurement system and measurement method
US12051191B2 (en) * 2021-07-28 2024-07-30 Coopervision International Limited Systems and methods for acquiring and inspecting lens images of ophthalmic lenses
CN116563276B (zh) * 2023-07-05 2023-09-01 菲特（天津）检测技术有限公司 一种化纤长丝在线缺陷检测方法及检测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093520A (zh) * 2006-06-23 2007-12-26 株式会社日立高新技术 缺陷检查系统及缺陷检查方法
JP2013140468A (ja) * 2012-01-04 2013-07-18 Hitachi High-Technologies Corp パターンマッチング装置、検査システム、及びコンピュータプログラム
CN103748670A (zh) * 2011-09-07 2014-04-23 株式会社日立高新技术 区域决定装置、观察装置或检查装置、区域决定方法以及使用了区域决定方法的观察方法或检查方法
CN106875381A (zh) * 2017-01-17 2017-06-20 同济大学 一种基于深度学习的手机外壳缺陷检测方法
TW201741651A (zh) * 2016-05-24 2017-12-01 日立全球先端科技股份有限公司 缺陷分類裝置及缺陷分類方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4220595B2 (ja) 1998-08-10 2009-02-04 株式会社日立製作所 欠陥の分類方法並びに教示用データ作成方法
JP2000200356A (ja) 1999-01-08 2000-07-18 Hitachi Ltd 欠陥分類方法およびその装置
JP2001256480A (ja) * 2000-03-09 2001-09-21 Hitachi Ltd 画像自動分類方法及び装置
JP2005034211A (ja) 2003-07-16 2005-02-10 Fuji Photo Film Co Ltd 画像判別装置、方法およびプログラム
WO2016194210A1 (ja) * 2015-06-04 2016-12-08 株式会社日立ハイテクノロジーズ 欠陥画像分類装置および欠陥画像分類方法
JP2017215277A (ja) * 2016-06-02 2017-12-07 住友化学株式会社 欠陥検査システム、フィルム製造装置及び欠陥検査方法
CN106290378B (zh) * 2016-08-23 2019-03-19 东方晶源微电子科技（北京）有限公司 缺陷分类方法和缺陷检查系统
JP6936958B2 (ja) * 2017-11-08 2021-09-22 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
KR20190073756A (ko) * 2017-12-19 2019-06-27 삼성전자주식회사 반도체 결함 분류 장치, 반도체의 결함을 분류하는 방법, 그리고 반도체 결함 분류 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093520A (zh) * 2006-06-23 2007-12-26 株式会社日立高新技术 缺陷检查系统及缺陷检查方法
CN103748670A (zh) * 2011-09-07 2014-04-23 株式会社日立高新技术 区域决定装置、观察装置或检查装置、区域决定方法以及使用了区域决定方法的观察方法或检查方法
JP2013140468A (ja) * 2012-01-04 2013-07-18 Hitachi High-Technologies Corp パターンマッチング装置、検査システム、及びコンピュータプログラム
TW201741651A (zh) * 2016-05-24 2017-12-01 日立全球先端科技股份有限公司 缺陷分類裝置及缺陷分類方法
CN106875381A (zh) * 2017-01-17 2017-06-20 同济大学 一种基于深度学习的手机外壳缺陷检测方法

Also Published As

Publication number Publication date
TWI722599B (zh) 2021-03-21
TW202029124A (zh) 2020-08-01
JP7137487B2 (ja) 2022-09-14
JP2020119135A (ja) 2020-08-06
US20220067902A1 (en) 2022-03-03
KR102680501B1 (ko) 2024-07-03
KR20210087063A (ko) 2021-07-09
WO2020152925A1 (ja) 2020-07-30

Similar Documents

Publication Publication Date Title
JP7137487B2 (ja) 画像評価装置及び方法
US11587225B2 (en) Pattern inspection system
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
KR101934313B1 (ko) 검사 이미지들 내에서 결함들을 검출하기 위한 시스템, 방법 및 컴퓨터 프로그램 제품
US10297021B2 (en) Defect quantification method, defect quantification device, and defect evaluation value display device
JP5948138B2 (ja) 欠陥解析支援装置、欠陥解析支援装置で実行されるプログラム、および欠陥解析システム
US11915406B2 (en) Generating training data usable for examination of a semiconductor specimen
KR20220012217A (ko) 반도체 시편에서의 결함들의 기계 학습 기반 분류
US12007335B2 (en) Automatic optimization of an examination recipe
JP2009206453A (ja) 製造プロセスモニタリングシステム
TW201403059A (zh) 用於包含區塊與區塊比較的缺陷偵測之裝置與方法
KR20220162121A (ko) 반도체 시편의 검사
TW202418220A (zh) 圖像處理程式、圖像處理裝置、圖像處理方法及缺陷檢測系統
TWI553309B (zh) Pattern measuring device, and computer program
US20230420308A1 (en) Examination of a hole formed in a semiconductor specimen
JP2013243230A (ja) パターン評価装置、及びコンピュータープログラム
WO2023112302A1 (ja) 教師データ作成支援装置、教師データ作成支援方法
CN116188973B (zh) 认知生成机制裂缝检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination