CN109964234A - 评估诸如半导体基板的产品的质量 - Google Patents

评估诸如半导体基板的产品的质量 Download PDF

Info

Publication number
CN109964234A
CN109964234A CN201780070000.0A CN201780070000A CN109964234A CN 109964234 A CN109964234 A CN 109964234A CN 201780070000 A CN201780070000 A CN 201780070000A CN 109964234 A CN109964234 A CN 109964234A
Authority
CN
China
Prior art keywords
image
semiconductor substrate
output
machine learning
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780070000.0A
Other languages
English (en)
Inventor
安藤丹一
菅原启
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109964234A publication Critical patent/CN109964234A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67288—Monitoring of warpage, curvature, damage, defects or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Manufacturing & Machinery (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

可提供用于评估由半导体基板制造设备(40)制成的半导体基板的质量的评估装置(10)。该评估装置(10)可包括：用于接收半导体基板的图像的接收单元(100)，该图像由设置在半导体基板制造设备(40)上的成像装置(50)拍摄；用于利用神经网络(1020)来确定表示机器学习装置(70)针对半导体基板的图像输出的错误输出的概率的至少一个值的确定单元(102)，该机器学习装置(70)用于(i)接收半导体基板的图像，(ii)利用所接收的图像执行计算，及(iii)基于计算结果输出表示半导体基板的质量的信息；以及基于表示概率的至少一个值来输出一输出的输出单元(104)，其中神经网络(1020)已利用制成的半导体基板的图像，和对于制成的半导体基板的图像中的各个图像，表示机器学习装置(70)针对所述制成的半导体基板的图像中的该图像的输出的错误程度的信息进行训练。

Description

评估诸如半导体基板的产品的质量
本申请涉及评估诸如由半导体基板制造设备制成的半导体基板这样的产品的质量。
背景技术
已经开发了利用人工智能(Artificial Intelligence,AI)来评估已制造产品的质量的方法和/或系统。例如，JP2008-164461A公开了一种薄板形组件的检测方法，其中，拍摄薄形组件的两个表面的图像，利用二维快速傅立叶(Fourier)变换根据图像数据来计算神经网络的输入值，并且通过将所计算的输入值输入到神经网络中来确定该薄板形组件的质量。
然而，AI所作的决策可能并不总是正确的。在这方面，JP H05-225163A公开了一种神经网络系统，其包括问题解决神经网络和评估网络。训练该评估网络，根据任意输入数据值是被用作训练问题解决神经网络的学习数据还是与学习数据不同的非学习数据来输出一输出节点值。来自评估网络的输出节点值可以被视为表示问题解决神经网络针对任意输入数据值的输出的确定性。
在一些情况下，希望在评估已制成产品质量的AI输出的更准确评估方面作进一步改善，以提高制成产品的总体质量。
发明内容
根据一个方面，提供了一种用于评估由半导体基板制造设备制成的半导体基板的质量的评估装置。该评估装置可以包括：
接收单元，该接收单元被配置成接收所述半导体基板的图像，所述图像由设置在所述半导体基板制造设备上的成像装置拍摄；
确定单元，该确定单元被配置成利用神经网络来确定代表机器学习装置针对所述半导体基板的图像输出错误输出的概率的至少一个值，所述机器学习装置被配置成：(i)接收所述半导体基板的所述图像，(ii)利用所接收的图像来执行计算，以及(iii)基于该计算的结果来输出表示所述半导体基板的质量的信息；以及
输出单元，该输出单元被配置成基于表示所述概率的所述至少一个值来输出一输出，
其中，所述神经网络已经利用以下各项进行了训练：
制成的半导体基板的图像；以及
对于所述制成的半导体基板的图像中的各个图像，表示针对所述制成的半导体基板的图像中的该图像来自所述机器学习装置的输出的错误程度的信息。
在一些情况下，根据本公开各个方面的评估装置可以通过基于表示机器学习装置针对半导体基板的图像输出错误输出的概率的至少一个值而提供输出，以有助于改进半导体基板的质量的评估准确度。换句话说，在一些情形中，根据本公开各个方面的评估装置可以提供表示机器学习装置针对半导体基板的特定图像的输出有多可靠的信息，这可以使得半导体基板的质量的评估准确度得以改进。
被用于训练神经网络的图像可以包括在用于训练机器学习装置的训练数据中未包括的一个或更多个图像。
在一些实施例中，机器学习装置可以被配置成还接收来自与半导体基板制造设备有关地设置的一个或更多个传感器的传感器信息，并且还利用传感器信息来执行计算。所述一个或更多个传感器能够是以下各项中的一个或更多个：温度传感器；湿度传感器；亮度传感器；大气压传感器。还可以利用传感器信息对神经网络进行训练，并且由所述确定单元进行的确定可以至少部分地基于传感器信息。
在一些其它实施例中，神经网络还可以利用来自与所述半导体基板制造设备有关地设置的一个或更多个传感器的传感器信息进行了训练。所述一个或更多个传感器能够是以下各项中的一个或更多个：温度传感器；湿度传感器；亮度传感器；大气压传感器。由所述确定单元进行的确定可以至少部分地基于所述传感器信息。
关于上述方面和实施例，所述评估装置还可以包括：
神经网络训练单元，该神经网络训练单元被配置成利用所述制成的半导体基板的图像，和表示针对所述制成的半导体基板的图像中的各个图像来自所述机器学习装置的输出的错误程度的信息，来训练所述神经网络，
其中，根据深度学习技术对所述神经网络进行训练，并且
其中，所述神经网络训练单元还可以被配置成，通过以下步骤来生成用于训练所述神经网络的信息：
接收所述制成的半导体基板的所述图像和如下质量信息，该质量信息针对所接收的图像中的各个图像，表示在所接收的图像的该图像中的制成的半导体基板的质量；
将所接收的图像中的一个图像提供给所述机器学习装置作为输入；
响应于提供了所接收的图像中的一个图像，从所述机器学习装置获得输出；以及
比较从所述机器学习装置所获得的输出与提供给所述机器学习装置的图像中的所述制成的半导体基板的质量，其中在所接收的质量信息中表示所述制成的半导体基板的质量。
根据另一方面，提供了一种评估系统。该评估系统可以包括：
根据上述方面和实施例中的任一项所述的评估装置；以及
所述机器学习装置，所述机器学习装置被配置成，接收所述半导体基板的图像，利用所接收的图像执行计算，以及基于该计算的结果来输出表示所述半导体基板的质量的信息。
在一些实施例中，所述评估系统还可以包括：
指令生成单元，该指令生成单元被配置成，基于来自所述评估装置的输出和针对所述半导体基板的图像来自所述机器学习装置的输出，来生成个所述半导体基板制造设备的与处理所述半导体基板有关的指令；以及
通信接口，该通信接口被配置成，将所述指令传送至所述半导体基板制造设备。
根据又一方面，提供了一种半导体基板制造系统。该半导体基板制造系统可以包括：
根据上述方面和实施例中的任一项所述的评估系统；
所述半导体基板制造设备，所述半导体基板制造设备被配置成制造所述半导体基板；以及
所述成像装置，所述成像装置设置在所述半导体基板制造设备上，
其中，所述半导体基板制造设备还被配置成：
从所述评估系统的所述通信接口接收指令；以及
根据所接收的指令来处理所述半导体基板。
根据又一方面，提供了一种用于评估由半导体基板制造设备(40)制成的半导体基板的质量的评估方法。该评估方法可以包括以下步骤：
通过处理器，接收所述半导体基板的图像，所述图像由设置在所述半导体基板制造设备上的成像装置拍摄；
通过所述处理器，利用神经网络来确定代表机器学习装置针对所述半导体基板的图像输出错误输出的概率的至少一个值，所述机器学习装置被配置成：(i)接收所述半导体基板的图像，(ii)利用所接收的图像执行计算，(iii)并且基于该计算的结果来输出表示所述半导体基板的质量的信息；以及
通过所述处理器，基于代表所述概率的所述至少一个值来输出一输出，
其中，所述神经网络已经利用以下各项进行了训练：
制成的半导体基板的图像；以及
对于所述制成的半导体基板的图像中的各个图像，表示针对所述制成的半导体基板的图像中的该图像来自机器学习装置的输出的错误程度的信息。
根据又一方面，提供了一种用于训练神经网络以确定表示机器学习装置针对所述半导体基板的图像输出的错误输出的概率的至少一个值的方法，所述机器学习装置被配置成：(i)接收所述半导体基板的所述图像，(ii)利用所接收的图像执行计算，以及(iii)基于该计算的结果来输出表示所述半导体基板的质量的信息。所述方法可以包括以下步骤：
接收制成的半导体基板的图像以及如下信息，该信息对于所述制成的半导体基板的图像中的各个图像，表示针对所述制成的半导体基板的图像中的该图像来自所述机器学习装置的输出的错误程度；以及
利用所接收的图像作为所述神经网络的输入并将所接收的信息作为监督数据来训练所述神经网络，其中，可以根据深度学习技术来进行该训练。
根据又一方面，提供了一种计算机程序产品。所述计算机程序产品可以包括计算机可读指令，当该计算机可读指令被加载并运行在计算机上时，使该计算机执行根据上述方面所述的任一种方法的方法。
根据又一方面，提供了一种用于评估由制造设备制成的产品的质量的评估装置。该评估装置可以包括：
接收单元，该接收单元被配置成接收所述产品的图像，所述图像由设置在所述制造设备上的成像装置拍摄；
确定单元，该确定单元被配置成，利用神经网络来确定代表机器学习装置针对所述产品的图像输出错误输出的概率的至少一个值，所述机器学习装置被配置成：(i)接收所述产品的图像，(ii)利用所接收的图像执行计算，以及(iii)基于该计算的结果来输出表示所述产品的质量的信息；以及
输出单元，该输出单元被配置成基于代表所述概率的所述至少一个值来输出一输出，
其中，所述神经网络已经利用以下各项进行了训练：
制成的产品的图像；以及
针对所述制成的产品的图像中的各个图像，表示针对所述制成的产品的图像中的该图像来自所述机器学习装置的输出的错误程度的信息。
根据又一方面，提供了一种用于评估由制造设备制成的产品的质量的评估方法。该评估方法可以包括以下步骤：
通过处理器，接收所述产品的图像，所述图像由设置在所述制造设备上的成像装置拍摄；
通过所述处理器，利用神经网络来确定表示机器学习装置针对所述产品的图像输出的错误输出的概率的至少一个值，所述机器学习装置被配置成：(i)接收所述产品的图像，(ii)利用所接收的图像执行计算，以及(iii)基于该计算的结果来输出表示所述产品的质量的信息；以及
通过所述处理器，基于代表所述概率的所述至少一个值来输出一输出，
其中，所述神经网络已经利用以下各项进行了训练：
制成的产品的图像；以及
对于所述已制造产品的图像中的各个图像，表示针对所述制成的产品的图像中的该图像来自所述机器学习装置的输出的错误程度的信息。
根据又一方面，提供了一种用于确定来自机器学习装置的输出的错误的确定装置，该机器学习装置被配置成：(i)接收预定格式的输入数据，(ii)利用所述输入数据执行计算，以及(iii)提供该计算的结果作为输出。所述确定装置可以包括：
接收单元，该接收单元被配置成接收具有与所述预定格式相对应的格式的数据；
确定单元，该确定单元被配置成利用神经网络来确定代表所述机器学习装置针对与所接收的数据相对应的输入数据输出错误输出的概率的至少一个值；以及
输出单元，该输出单元被配置成基于代表所述概率的所述至少一个值来输出一输出，
其中，所述神经网络已经利用以下各项进行了训练：
具有与所述预定格式相对应的格式的训练数据；以及
对于所述训练数据的各个元素，表示针对与所述训练数据的该元素相对应的输入数据来自所述机器学习装置的输出的错误程度的信息。
在本文的各种实施方式和实施例中，用于机器学习装置的输入数据的“预定格式”可以是适于由机器学习装置执行的计算的格式。例如，在机器学习装置用于处理图像数据的情况下，该“预定格式”可以表示包括具有强度值的像素的图像数据的格式。用于机器学习装置的输入数据的“预定格式”的其它实施例在下文中描述。
在本文的各种实施方式和实施例中，术语“与预定格式相对应的格式”可以被理解为包括与预定格式相同的格式。而且，在本文的各种实施方式和实施例中，数据的“格式”可以被理解为指定要包括在具有该格式的数据中的参数的信息。因此，在本文的各种实施方式和实施例中，“具有与预定格式相对应的格式的数据”可以包括与具有预定格式的数据中包括的参数相同的至少一个参数。
根据又一方面，提供了一种用于确定来自机器学习装置的输出的错误的计算机实现方法，该机器学习装置被配置成：(i)接收预定格式的输入数据，(ii)利用所输入数据执行计算，以及(iii)提供该计算的结果作为输出。所述方法可以包括以下步骤：
接收具有与所述预定格式相对应的格式的数据；
利用神经网络来确定代表所述机器学习装置针对与所述接收数据相对应的输入数据输出错误输出的概率的至少一个值；以及
基于代表所述概率的所述至少一个值来输出一输出，
其中，所述神经网络已经利用以下各项进行了训练：
具有与所述预定格式相对应的格式的训练数据；以及
对于所述训练数据的各个元素，表示针对与所述训练数据的该元素相对应的输入数据来自所述机器学习装置的输出的错误程度的信息。
本申请中描述的主题可以被实现为方法或系统，可能以一个或更多个计算机程序产品的形式来实现。本申请中描述的主题可以在数据信号中或在机器可读介质上实现，其中，该介质在一个或更多个信息载体中具体实施，如CD-ROM、DVD-ROM、半导体存储器或硬盘。这样的计算机程序产品可以使数据处理装置执行本申请中描述的一个或更多个操作。
另外，本申请中描述的主题还可以被实现为包括处理器和连接至该处理器的存储器的系统。所述存储器可以编码一个或更多个程序，以使所述处理器执行本申请中描述的一个或更多个方法。本申请中描述的另一主题可以利用各种机器来实现。
附图说明
在示例性附图和以下描述中将阐述一个或更多个实现的细节。根据该描述、附图、及权利要求书，其它特征将显而易见。然而，应该明白，即使分开描述了多个实施方式，也可以将不同实施方式的单个特征组合到另一些实施方式中。
图1示出了根据示例性实施方式的评估系统的示例性硬件配置。
图2示出了评估系统的示例性功能框图。
图3示出了机器学习装置的示例性功能框图。
图4示出了例示卷积神经网络(Convolutional Neural Network，CNN)的示例性输入层和示例性卷积层的示意图。
图5示出了示意图，其例示了示例性最大池化操作。
图6示出了CNN的示例性配置。
图7A示出了可以利用深度学习技术来训练的神经网络的示例性结构。
图7B示出了在一些实施例中可以如何训练图7所示的神经网络的隐藏层。
图8示出了由评估系统执行的示例性过程的流程图。
图9示出了用于训练机器学习装置(父级AI)的示例性处理的流程图。
图10示出了用于训练评估系统中包括的评估装置的神经网络的示例性处理的流程图。
图11示出了由机器学习装置(父级AI)执行的示例性处理的流程图。
图12示出了由评估装置执行的示例性处理的流程图。
图13示出了生成针对制造设备的指令的示例性处理的流程图。
具体实施方式
在下文中，将参照附图给出实施例的详细描述。应当明白，可以对实施例进行各种修改。具体来说，一个实施例的元素可以被组合并应用于其它实施例，以形成新的实施例。
硬件配置
图1示出了根据示例性实施方式的评估系统的示例性硬件配置。在图1中，系统1包括：评估装置10、制造设备40、摄像机50以及一个或更多个传感器60-1、…、60-N。
评估装置10可以由通用计算机实现。例如，如图1所示，评估装置10可以包括：处理器12、系统存储器14、硬盘驱动器(HDD)接口16、外部盘驱动器接口20、以及输入/输出(I/O)接口24。评估装置10的这些组件经由系统总线30彼此连接。处理器12可以通过访问系统存储器14来执行计算、逻辑和/或控制操作。系统存储器14可以存储供与处理器12组合使用的信息和/或指令。系统存储器14可以包括易失性和非易失性存储器，如随机存取存储器(RAM)140和只读存储器(ROM)142。ROM 142中可存储基本输入/输出系统(BIOS)，该BIOS包含有助于在通用计算机内的部件之间传递信息(如在启动期间)的基本例程。系统总线30可以是几种类型的总线结构中的任意类型，这些总线结构包括存储器总线或存储器控制器、外围总线、以及利用多种总线架构中的任一种的局部总线。
图1所示的评估装置可以包括:用于从硬盘(未示出)读取和向硬盘写入的硬盘驱动器(HDD)18，和用于从可移动磁盘(未示出)读取或向可移动磁盘写入的外部盘驱动器22。可移动磁盘可以是用于磁盘驱动器的磁盘或用于光盘驱动器的诸如CDROM之类的光盘。HDD18和外部盘驱动器22分别通过HDD接口16和外部盘驱动器接口20连接至系统总线30。驱动器及其关联的计算机可读介质提供用于通用计算机的计算机可读指令、数据结构、程序模块以及其它数据的非易失性存储。该数据结构可以包括用于实现根据如本文所述的各个方面和实施例的一个或更多个方法的相关数据。可以将该相关数据组织于数据库中，例如，组织于关系数据库或对象数据库中。
尽管本文所述的示例性环境采用硬盘(未示出)和外部盘(未示出)，但本领域技术人员应当清楚，在该示例性操作环境中，还可以使用可以存储可通过计算机存取的数据的其它类型的计算机可读介质，如磁带盒、闪速存储器卡、数字视频盘、随机存取存储器、只读存储器等。
许多程序模块可以存储在硬盘、外部盘、ROM 142或RAM 140上，包括操作系统(未示出)、一个或更多个应用程序1402、其它程序模块(未示出)、以及程序数据1404。该应用程序和对应方法可以包括下述参照图2至图13描述的至少一部分功能。
图1中所示的评估装置10还可以包括：诸如鼠标器和/或键盘这样的输入装置26，和诸如液晶显示器这样的显示装置28。输入装置26和显示装置28经由I/O接口24d、24e连接至系统总线30。
应注意到，采用通用计算机的上述评估装置10仅是本文所述示例性实施方式的实现的一个实施例。例如，评估装置10可以包括图1中未示出的其他组件，如一个或更多个网络接口，其用于经由有线和/或无线通信与其它装置和/或计算机通信以进行数据交换。
另外，或者作为利用如图1所示的通用计算机的实现的另选，本文所述示例性实施方式的部分功能或全部功能可以被实现为一个或更多个硬件电路。这种硬件电路的示例可以包括但不限于：大规模集成(LSI)、专用集成电路(ASIC)以及现场可编程门阵列(FPGA)。
图1中所示的摄像机50可以是成像装置，其例如包括可以拍摄场景的一个或更多个图像的CCD传感器。摄像机50可以通过有线和/或无线通信经由I/O接口24a连接至作为评估装置10的通用计算机的系统总线30。在本文所述的各种示例性实施方式中，摄像机50可以拍摄要用于评估和/或分类的对象或该对象中一部分的一个或更多个图像。该对象可以是由制造设备制成的产品。该产品的示例可以包括但不限于，半导体基板、具有焊接组件的基板、树脂基板以及液晶。例如，图1中所示的摄像机50可以拍摄由制造设备40制成的半导体基板的图像。该半导体基板例如可以是用于集成电路(IC)的基板。由摄像机50拍摄的图像可以包括2D像素阵列。其中各个像素可以包括至少一个值。例如，灰度图像中的像素可以包括表示像素强度的一个值。彩色图像中的像素可以包括多个值(例如，三个值)，其表示颜色空间(例如，RGB颜色空间)中的坐标。
制造设备40可以是被配置成制造产品的设备。在一些实施例中，制造设备40可以是被配置成制造半导体基板的半导体基板制造设备。摄像机50可以设置在制造设备40上，处于适于拍摄由制造设备40制成的产品的图像的位置。制造设备40可以经由I/O接口24b连接至作为评估装置10的通用计算机的系统总线30。
而且，在一些实施例中，一个或更多个传感器60-1、…、60-N可以通过有线和/或无线通信经由I/O接口24c连接至作为评估装置10的通用计算机的系统总线30。传感器60-1、…、60-N中的各个传感器可以被配置成检测可以表征制造设备40所在环境的物理参数的值。例如，该一个或更多个传感器60-1、…、60-N可以是下述中的一个或更多个：温度传感器、湿度传感器、亮度传感器、大气压传感器。在其它实施例中，当评估装置10所执行的处理不需要传感器值时，则不将传感器经由I/O接口24c连接至作为评估装置10的通用计算机的系统总线30。
下面，将参照制造设备40是半导体基板制造设备并且要评估由制造设备40制成的半导体基板的质量的示例性情况，对示例性实施方式进行描述。然而，应注意到，正如下文所述，本公开的其它实施例可用于除评估制成的半导体基板的质量之外的其它应用。
功能结构
图2示出了评估系统的示例性功能框图。图2所示的评估系统可以包括：评估装置10、摄像机50、机器学习装置70、神经网络数据库(DB)80和/或指令生成单元90。
机器学习装置70可以是利用AI评估制成的半导体基板的装置。例如，机器学习装置70可以评估半导体基板的质量，并且根据该质量将半导体基板分类成特定(预定或可预定)数量的组。机器学习装置70的输出可以由评估装置10进行评估。在下文中，机器学习装置70也被称为父级AI。
为了评估诸如制成的半导体基板这样的产品，机器学习装置70可以被配置成：(i)从设置在制造设备40上的摄像机50接收半导体基板的图像，(ii)利用所接收的图像执行计算，以及(iii)基于该计算的结果输出表示所接收的图像中的半导体基板的质量的信息。该计算可以基于已知的机器学习技术，例如，涉及神经网络的技术。
图3示出了机器学习装置70的示例性功能框图。图3所示的机器学习装置70可以包括：接收单元700、计算单元702、输出单元704、训练数据生成单元706和/或AI训练单元708。
接收单元700可以被配置成从其它装置接收针对机器学习装置70的输入。例如，如图3所示，接收单元700可以被配置成，从设置在制造设备40上的摄像机50接收半导体基板的图像。而且，例如，接收单元700可以被配置成，根据需要从一个或更多个传感器60(图3中未示出)接收传感器信息，以供机器学习装置70进行计算。接收单元700还可以被配置成从诸如鼠标或键盘之类的输入装置(未示出)接收用户输入。
计算单元702可以被配置成利用接收单元700接收的输入来执行计算。例如，计算单元702可以被配置成利用从摄像机50接收的图像来执行计算。计算单元702可以包括用于计算的AI 7020。在一些实施例中，AI 7020可以包括被认为是适于图像识别的神经网络的卷积神经网络(convolutional neural network，CNN)。下面将参照图4至图6，对用于评估半导体基板的CNN的示例性应用进行描述。
图4示出了例示CNN的示例性输入层和示例性卷积层的示意图。在图4所示的CNN中，可以将具有针对K(K＝1、2、3、…)个通道(例如，三个通道，对应于红、绿、蓝)的W×W(W＝1、2、3、…)个像素的输入图像输入到输入层中。在该实施例中，输入图像可以是半导体基板的图像。可以将通道的像素的强度值作为输入层的输入节点的输入值。换句话说，该输入层可以包括W×W×K个输入节点，其中各个节点对应于像素的通道的强度值。
图4所示的CNN的卷积层的各个节点都可以对应于大小为F×F(F＝1、2、3、…；F<W)的滤波器，该滤波器被应用至输入图像的一部分。如图4所示，M(M＝1、2、3、…)个滤波器可以通过K个通道应用至输入图像的同一部分。卷积层中的各个节点的输出可以表示为下述方程(1)：
其中，xi可以表示针对输入节点的输入值(例如，对应于滤波器所覆盖的区域内的通道的像素的强度值)；wi可以表示卷积层中节点与对应于xi的输入节点之间连接的可调节权值；以及b可以表示偏置参数。激励函数f可以是修正的线性单元，f(x)＝max(x,0)。
在一些实施例中，通过沿图4所示的宽度和高度方向以S像素的步幅滑动滤波器，可以将M个滤波器中的各个滤波器应用至输入图像的整个区域。对于输入图像上的M个滤波器的各个位置，卷积层中存在与该M个滤波器对应的M个节点。在S＝1的情况下，卷积层的输出数量可以是W×W×M。卷积层的输出可以被视为具有W×W大小的M个图像(对应于M个滤波器)。
可以通过最大池化操作对卷积层的输出进行下采样。最大池化操作可以选择多个输入值中的最大值。最大池化操作可以应用至上述从卷积层输出的具有W×W大小的M个图像中的各个图像。
图5示出了一个示意图，其例示了示例性最大池化操作。在图5所示的示例性最大池化操作中，可以两个像素步幅地将具有2×2大小的滤波器应用至输入图像(以用于最大池化操作)。这可以产生这样的输出图像，即，该输出图像中的各个像素是对应的滤波器范围内的输入图像的像素中具有最大强度值的像素。在最大池化操作中使用的各个滤波器可以被视为CNN中包括的池化层的节点。
可以将池化层的输出输入至另一卷积层。另选地，可以将池化层的输出输入至被称作全连接神经网络的神经网络，其中，该全连接神经网络的各个节点连接至池化层的所有输出(例如，节点)。全连接神经网络的输出可以连接到另一个全连接神经网络或者输出层。
输出层可以包括对应于CNN的一个或更多个希望输出参数的一个或更多个节点。例如，在该示例性实施方式中，输出层可以包括输出节点，该输出节点表示由摄像机50拍摄的输入图像中的半导体基板的质量。在其它实施例中，输出层可以包括两个输出节点，一个节点表示输入图像中半导体基板的质量针对其预期目标为可接受的可能性，另一节点表示该质量为不可接受的可能性。在又一些实施例中，输出层可以包括三个或更多个输出节点，其中各个节点表示输入图像中的半导体基板的质量属于质量的预定义类别(例如，高、普通、低)之一的可能性。各个输出节点可以包括softmax函数作为激励函数。当输出层包含两个或更多节点时，CNN可以被视为解决分类问题，以将输入图像中的半导体基板分类到指定(预定或可预定)数量的组中的一个组之中。
图6示出了CNN的示例性结构。图6所示的CNN包括：输入层、卷积层1、池化层1、卷积层2、池化层2、全连接层以及输出层。卷积层1、2和池化层1、2可以具有如上参照图4和5所述的配置。此外，如上所述，CNN可以包括更多对卷积层和池化层。而且，CNN可以包括序列卷积层，其在相邻卷积层之间没有池化层，只要序列的最后一个卷积层连接至池化层即可。而且，CNN可以正好在输出层之前包括一个以上的全连接层。
可以结合本公开应用已知CNN技术的其他细节可参见例如Okatani,“DeepLearning and Image Recognition,-Basics and Current Trends-(深度学习和图像识别-基础和当前趋势-)”(日语),Operations research as a management scienceresearch,60(4),p.198-204,The Operations Research Society of Japan,April 01,2015和Anonymus,“Convolutional neural network”,Wikipedia(URL:https://en.wikipedia.org/wiki/Convolutional_neural_network)。
再次参照图3，机器学习装置70的输出单元704可以被配置成，基于由计算单元702执行的计算的结果来输出表示所接收的图像中的半导体基板的质量的信息。例如，从输出单元704输出的信息可以表示半导体基板的质量是否可接受用于半导体基板的预期目的。在计算单元702的AI 7020包括上述CNN的一些实施例中，输出单元704可以被配置成接收CNN的输出节点的输出值，并基于所接收的输出值输出表示半导体基板的质量的信息。例如，如果CNN具有两个输出节点，一个节点表示可接受质量的可能性，而另一节点表示不可接受质量的可能性，输出单元704可以根据哪个输出节点输出了更高的值，来输出表示该质量可接受或不可接受的信息。例如，来自输出单元704的输出可以被提供给评估装置10和/或制造设备40。
训练数据生成单元706可以被配置成生成用于训练计算单元702的AI 7020的训练数据。例如，如果AI 7020包括上述CNN，则训练数据可以包括输入图像(例如，半导体基板的输入图像)和针对该输入图像的希望输出(例如，表示该图像中的半导体基板质量的信息)的一组组合。例如，表示半导体基板质量的信息可以从用户输入获得。而且，例如，可以通过拍摄已知具有某一质量的半导体基板的图像来获得该组图像和质量信息。可以根据CNN的输出层中包括的输出节点的数量来设定针对输入图像的希望输出。该希望输出可以被视为用于训练AI 7020的监督信号。
AI训练单元708可以被配置成利用由训练数据生成单元706生成的训练数据来训练AI 7020。例如，当AI 7020包括上述CNN时，AI训练单元708可以被配置成，通过利用训练数据的反向传播方法，来调节CNN中包括的卷积层的可调节权值(参见上面的方程(1))和CNN中包括的全连接神经网络的权值(例如，参见图6)。
在一些实施例中，AI训练单元708可以被配置成从神经网络DB 80获得CNN的数据结构。
神经网络DB 80可以是存储具有各种结构的神经网络的数据结构的数据库。例如，神经网络DB 80可以存储这样的神经网络的数据结构，即，该神经网络包括具有不同数量的节点的输入层、具有不同数量的节点的一个或更多个隐藏层、具有不同数量的节点的输出层、以及节点之间的各种加权连接。而且，例如，神经网络DB 80可以存储如上参照图4至图6所解释的CNN的数据结构。存储在神经网络DB 80中的神经网络可能尚未针对任何特定目的进行训练。
在一些实施例中，训练数据生成单元706和/或AI训练单元708可以设置在与机器学习装置70分开的装置中，而不是作为机器学习装置70的一部分。
如上参照图3所述的机器学习装置70可以利用具有与图1所示的作为评估装置10的通用计算机类似的配置的通用计算机来实现。
再次参照图2，评估装置10可以包括：接收单元100、确定单元102、输出单元104以及神经网络训练单元106。
接收单元100可以被配置成，接收由设置在制造设备40上的摄像机50拍摄的半导体基板的图像。而且，接收单元100可以被配置成接收来自机器学习装置70(父级AI)的输出。而且，例如，接收单元100可以被配置成，根据需要从一个或更多个传感器60(图2中未示出)接收传感器信息，用于由确定单元102进行的确定。接收单元100还可以被配置成从诸如鼠标或键盘这样的输入装置(未示出)接收用户输入。
确定单元102可以包括神经网络(NN)1020。确定单元102可以被配置成，利用NN1020来确定表示父级AI输出的针对半导体基板的图像的错误输出的概率的至少一个值。NN1020可以由神经网络训练单元106训练。
神经网络训练单元106可以被配置成，训练NN 1020以确定表示父级AI输出的针对指定输入数据的错误输出的概率的至少一个值。可以从神经网络DB 80获得NN 1020的数据结构。在该示例性实施方式中，可以训练NN 1020输出表示或代表父级AI输出针对半导体基板的特定图像的错误输出的概率的值。在一些实施例中，神经网络训练单元106可以被配置成利用训练数据来训练神经网络，该训练数据包括：制成的半导体基板的图像；以及对于制成的半导体基板的图像中的各个图像，表示针对所制成的半导体基板的图像中的该图像、从父级AI输出的错误程度的信息。表示错误程度的信息例如可以表示父级AI是否已经针对所述制成的半导体基板的该图像输出了错误输出。
表示上述错误程度的信息可以例如通过以下步骤获得：向父级AI输入已知图像中半导体基板的质量的特定图像，获得来自父级AI的输出并将来自父级AI的输出与图像中的半导体基板的已知质量进行比较。表示上述错误程度的信息可以被用作训练NN 1020的监督信号。
应注意到，用于训练NN 1020的训练数据中包括的图像集和用于训练父级AI的AI7020的训练数据中包括的图像集可以相同，或者具有部分重叠，或者没有重叠。在优选实施例中，用于训练NN 1020的训练数据中包括的图像集可以包括至少一个图像，该至少一个图像未被包括在用于训练父级AI的AI 7020的训练数据中所包括的图像集中。
尽管图2示出了将神经网络训练单元106作为评估装置10的一部分，但在一些实施例中，神经网络训练单元106可以设置在与评估装置10不同的装置上。在这样的实施例中，评估装置10可以从神经网络训练单元106获得已经由神经网络训练单元106训练过的NN1020。
在一些实施例中，NN 1020可以具有与如上参照图4至图6所述的CNN相同的结构。然而，确定单元102中包括的CNN的输出可以表示父级AI输出错误输出的概率，而不是图像中的半导体基板的质量。CNN作为NN 1020以输出父级AI输出错误输出的概率的训练可以以类似于上述用于训练CNN作为父级AI的AI 7020的方式来执行，但是是利用表示父级AI针对制成的半导体基板的图像中的一个图像的输出的错误程度的信息，而不是利用表示输入图像中的半导体基板的质量的信息。
在其它实施例中，NN 1020可以具有如图7A所示的结构，并且可以利用涉及自动编码器的已知深度学习技术来训练。
要通过已知深度学习技术来训练的神经网络可以总共具有三层以上，包括输入层(例如，图7A中的层L0)、两个或更多个隐藏层(例如，图7A中的层L1、L2)，以及输出层(例如，图7A中的层L3)。尽管图7A显示了四层，但用于深度学习的神经网络可以具有四层以上，例如，有两个以上的隐藏层。而且，用于深度学习的神经网络中的各个层可以具有比图7A所示的更多数量或更少数量的节点。例如，在处理半导体基板的图像的示例性实施方式中，输入层可以包括多个输入节点，其中各个输入节点包括半导体基板的输入图像中像素的强度值。
当如图7A所示训练神经网络时，可以调节神经网络的各个隐藏层的连接的权值，以构建自动编码器，该自动编码器学习表示(例如，编码)一组数据。例如，为了训练图7A所示的隐藏层L2，可以构造和训练具有图7B所示的神经网络的自动编码器。参照图7B，层L1可以被视为连接至到隐藏层L2的输入层，并且可以提供具有与输入层L1相同数量的节点的输出层。应注意到，图7B中的层L1和L2对应于图7A中的层L1和L2。可以利用输入层的输入数据作为监督信号来训练图7B中所示的自动编码器。换句话说，可以调节针对隐藏层L2的连接的权值，使得输出层输出与输入数据相同的数据。执行这样的训练可能导致自动编码器的隐藏层表示输入数据的压缩信息，换句话说，表示输入数据的特性或特征。可以对于如图7A所示的神经网络的各个隐藏层迭代地进行如图7B所示的自动编码器的训练。
可以应用若干技术来提高自动编码器的鲁棒性。例如，可以在训练自动编码器的同时使用部分有缺陷的输入(例如，具有附加噪声的输入)，以恢复原始未失真输入。而且，例如，在训练期间可以针对隐藏层考虑稀疏问题(例如，在隐藏层中提供比在输入层中更多的节点)，并且可以训练自动编码器，使得隐藏层中的仅指定百分比的节点是激活的。针对另一实施例，隐藏层中的一个或更多个节点在训练期间可以不被激活。
在采用CNN(例如，参见图4至图6)或者利用自动编码器训练的神经网络(参见图7A和7B)作为评估装置10的NN 1020的情况下，NN 1020的输出层例如可以包括单个节点，该单个节点可以输出表示父级AI针对输入数据输出的错误输出的概率的一个或更多个值。如果在输出层中使用单个节点，单个输出节点的希望输出值(例如，监督信号)可以在父级AI已经针对输入数据输出了正确输出时设定成一预定值(例如，0)，而在父级AI已经针对输入数据输出了错误输出时设定成另一预定值(例如，1)。而且，例如，NN 1020的输出层可以包括两个节点，一个节点对应于父级AI针对输入数据输出的正确输出的概率，另一节点对应于父级AI针对输入数据输出的错误输出的概率。
再次参照图2，输出单元104可以被配置成，输出基于由确定单元102确定的表示概率的至少一个值的输出。在一些实施例中，输出单元104的输出可以与确定单元102的NN1020的输出相同。在其它实施例中，可以基于确定单元102的NN 1020的输出来确定从输出单元104输出的输出值。例如，如果NN 1020输出表示或代表父级AI输出错误输出的概率的单个值y(例如，0≤y≤1.0)，则来自输出单元104的输出值可以表示与该概率相对应的百分比值。另选地，来自输出单元104的输出值可以取两个值中的任一个(一个对应于正确，而另一个对应于错误)，其例如通过检查NN 1020的单个输出值y是否超过预定阈值来确定。而且，还在NN 1020输出两个值的情况下，各个值表示或代表父级AI输出错误输出或正确输出的概率，来自输出单元106的输出值可以表示与父级AI输出错误(或正确)输出的概率相对应的百分比值，或者可以取两个值中的任一个(一个对应于正确，而另一个对应于错误)，其例如通过选择来自NN 1020的两个输出中的更具可能性的输出来确定。
可以将来自输出单元106的输出提供给指令生成单元90。
指令生成单元90可以被配置成，基于来自评估装置10的输出单元106的输出和来自父级AI的针对半导体基板的图像的输出，来生成针对制造设备40的关于处理半导体基板的指令。例如，在父级AI被配置成输出半导体基板的质量是否可接受的情况下，如下表1所示，可以存在来自父级AI的输出和评估装置10的输出单元106的输出的以下组合。
表1：输出的组合和示例性指令
指令生成单元90可以被配置成，例如根据来自父级AI的输出和评估装置的输出的组合来生成如表1中右列所示的指令。表1中示出的指令仅仅是示例性的，并且指令生成单元90可以被配置成生成与来自父级AI的输出和评估装置的输出的组合有关的其它指令。
由指令生成单元90生成的指令可以经由通信接口(未示出)传送至制造设备40，该通信接口被配置成将指令传送至制造设备40。制造设备40可以根据从指令生成单元90接收的指令来处理半导体基板。
指令生成单元90可以由具有与图1所示的用于实现评估装置的通用计算机类似的配置的通用计算机来实现。在一些实施例中，可以在实现评估装置10的同一通用计算机上实现指令生成单元90。在其它实施例中，指令生成单元90可以被实现为包括在半导体基板制造设备40中的通用计算机。在其它实施例中，指令生成单元90可以被实现为与评估装置10和半导体基板制造设备40分开的装置。
评估处理
图8示出了评估系统执行的示例性处理的流程图。图8的处理例如可以响应于用户输入指令系统开始该处理而开始。
在图8的步骤S10中，可以如稍后参照图9更详细描述的那样执行父级AI的训练。
在步骤S10中训练父级AI之后，可以在步骤S20中执行评估装置10的NN 1020的训练，如同稍后参照图10中所详细描述的那样。
在图8的步骤S30中，在训练评估装置10的NN 1020之后，可以确定是否开始评估来自父级AI的输出。例如，当在父级AI和评估装置10处接收到表示制造设备40开始制造的信号时，可以确定开始评估。如果确定开始评估(步骤S30，是)，则该处理可以进行至步骤S40。如果不是(步骤S30，否)，则该处理可以再次执行步骤S30的确定并等待直至确定开始评估。
在图8的步骤S40中，父级AI可以执行其操作以评估摄像机50拍摄的图像中基板的质量，如同稍后参照图11中的所详细描述的那样。
在步骤S40之后，在图8的步骤S50中，评估装置10可以评估来自父级AI的输出，如同稍后参照图12中的所详细描述的那样。
在步骤S50之后，评估装置10可以在步骤S55中确定是否结束评估处理。例如，当评估装置10不再有待评估的半导体基板图像和/或评估装置10从制造设备40接收到表示半导体基板的制造已经结束的信号时，评估装置10可以确定结束评估处理。而且，例如，当评估装置10仍具有一个或更多个待评估图像和/或评估装置10从制造设备40接收到表示半导体基板的制造仍在进行中的信号时，评估装置10可以确定不结束评估处理。如果确定不结束评估处理(步骤S55，否)，则该处理可以返回至步骤S40。如果确定结束评估处理(步骤S55，是)，则图8所示的处理可以结束。
图9示出了用于训练父级AI的示例性处理的流程图。图9是图8的步骤S10的详细处理的实施例。当开始图8的步骤S10时，可以开始图9中所示的处理。
在图9的步骤S100中，可以准备训练数据以通过父级AI的训练数据生成单元706来训练父级AI。例如，训练数据生成单元706可以经由父级AI的接收单元700来接收半导体基板的图像和表示半导体基板的质量的信息，并且生成训练数据集的元素，该元素包括所接收的图像和所接收质量信息的组合。训练数据生成单元706可以生成训练数据集的指定数量的这种元素。
在图9的步骤S102中，可以通过父级AI的AI训练单元708，利用在步骤S100中生成的训练数据来训练父级AI。例如，父级AI的AI训练单元708可以从神经网络DB 80检索CNN的数据结构，并通过如上参照图4至图6所述的调节卷积层的权值和全连接层的权值，来训练CNN作为计算单元702的AI 7020。
在步骤S102之后，在图9的步骤S104中AI训练单元708可以确定训练是否足够。在一些实施例中，针对于步骤S104中的确定，AI训练单元708可以使用测试数据，该测试数据包括半导体基板的一个或更多个图像和表示图像中各个半导体基板的质量的信息。可以按与用于准备步骤S100中的训练数据集的方式类似的方式来准备测试数据集。在一些实施例中，AI训练单元708可以将在步骤S100中准备的训练数据的一部分用于在步骤S102中训练父级AI，并且将在步骤S100中准备的训练数据的剩余部分用作在步骤S104中确定训练是否足够的测试数据。在步骤S104中使用测试数据的实施例中，AI训练单元708可以将测试数据中的图像输入至计算单元702的AI 7020，并且将来自AI 7020的针对该图像的输出与对应图像中半导体基板的已知质量进行比较。例如，如果来自AI 7020的正确输出的数量与测试数据中的图像总数的比率超过预定阈值，则AI训练单元708可以确定训练是足够的。另选地，例如，如果来自AI 7020的正确输出的数量超过预定阈值，则AI训练单元708可以确定训练是足够的。如果确定训练不够(步骤S104，否)，则该处理可以返回至步骤S102。如果确定训练足够(步骤S104，是)，则该处理可以进行至步骤S106。
在步骤S106中，AI训练单元708可以确定是否存在要由父级AI学习的另一(些)主题(subject)。例如，如果希望父级AI评估超过一种的半导体基板的质量，并且在步骤S100中尚未生成与所述超过一种的半导体基板中的至少一种半导体基板有关的训练数据，AI训练单元708可以确定存在要由父级AI学习的另一(些)主题。如果确定存在要学习的另一(些)主题(步骤S106，是)，则该处理可以返回至步骤S100。否则(步骤S106，否)，图9所示的处理可以结束。
图10示出了用于训练评估系统中包括的评估装置10的神经网络的示例性处理的流程图。图10是图8的步骤S20的详细处理的实施例。当开始图8的步骤S20时，可以开始图10中所示的处理。
在图10的步骤S200中，评估装置10的神经网络训练单元106可以准备用于训练评估装置10的NN 1020的训练数据。例如，该训练数据可以包括：半导体基板的图像；以及针对各个图像，表示来自父级AI的针对该图像的输出的错误程度的信息。
在一些实施例中，评估装置10的神经网络训练单元106可以在步骤S200中准备训练数据，如下所述。首先，神经网络训练单元106可以接收：制成的半导体基板的图像；以及针对所接收的图像中的各个图像，表示在所接收的图像中的该图像中制成的半导体基板质量的质量信息。应注意到，所接收的图像和质量信息可以具有与用于训练父级AI的训练数据相同的格式。而且，评估装置10的神经网络训练单元106可以将所接收的图像其中之一提供给父级AI作为输入，响应于所提供的所接收的图像其中之一而从父级AI获得输出，并且将从父级AI获得的输出与提供给父级AI的图像中的制成的半导体基板的质量进行比较。基于该比较，神经网络训练单元106可以生成训练数据集的元素，该元素包括半导体基板的图像和表示父级AI针对该图像的输出的错误程度的信息的组合。神经网络训练单元106可以为各个所接收的图像生成训练数据集的元素。
在步骤S202中，神经网络训练单元106可以利用在步骤S200中准备的训练数据来训练评估装置10的NN 1020。例如，神经网络训练单元106可以从神经网络DB 80检索CNN的数据结构，并通过参照上述图4至图6调节卷积层的权值和全连接层的权值，来训练CNN作为确定单元102的NN 1020。另选地，例如，神经网络训练单元106可以检索具有多于三层的神经网络的数据结构(例如，如图7A所示)，并利用如参照图7A和7B所述的涉及自动编码器的深度学习技术来训练神经网络。在其它实施例中，可以使用另一种类型的神经网络作为NN1020。在训练NN 1020期间，表示父级AI针对图像的输出的错误程度的信息可以用作监督信号。
在步骤202之后，神经网络训练单元106可以确定训练是否足够。该确定可以按与图9的步骤S102类似的方式进行。如果确定训练不够(步骤S204，否)，则该处理可以返回至步骤S202。如果确定训练足够(步骤S204，是)，则该处理可以进行至步骤S206。
在步骤S206中，神经网络训练单元106可以确定是否存在要由评估装置10的NN1020学习的另一(些)主题。该确定可以按与图9的步骤S106类似的方式进行。如果确定存在要学习的另一(些)主题(步骤S206，是)，则该处理可以返回至步骤S200。否则(步骤S206，否)，图10所示的处理可以结束。
依照图10的处理，评估装置10能够确定父级AI很可能为哪种输入图像提供错误(或正确)输出。
图11示出了由父级AI执行的示例性处理的流程图。图11是图8的步骤S40的详细处理的实施例。当开始图8的步骤S40时，可以开始图11中所示的处理。
在图11的步骤S400中，父级AI可以接收输入数据，例如，来自摄像机50的半导体基板图像。
在步骤S400之后，在步骤S402中，父级AI可以利用所接收的输入数据执行计算。例如，当采用CNN作为父级AI的AI 7020时，父级AI可以通过将所接收输入数据输入至CNN来执行计算并获得来自CNN的输出。
在步骤S402之后，父级AI可以在步骤S404中输出计算的结果，例如，输出表示半导体基板的质量的信息。
图11的处理可以在步骤S404之后结束。
图12示出了评估装置执行的示例性处理的流程图。图12是图8的步骤S50的详细处理的实施例。当开始图8的步骤S50时，可以开始图12中所示的处理。
在图12的步骤S500中，评估装置10的接收单元100可以接收输入数据，例如，来自摄像机50的半导体基板图像。
在步骤S500之后，评估装置10的确定单元104可以在步骤S502中，确定表示父级AI针对步骤S500中接收的输入数据输出的错误输出的概率的至少一个值。例如，确定单元104可以将所接收的图像输入到NN 1020中并获得来自NN 1020的输出。NN 1020例如可以是如上参照图4至图6所述的CNN。另选地，例如，NN 1020可以是如上参照图7A和7B所述的用于深度学习的神经网络。在其它实施例中，可以使用另一种类型的神经网络作为NN 1020。
在步骤S502之后，处理进行到步骤S504，并且评估装置10的输出单元106可以基于在步骤S502中确定的表示概率的至少一个值来输出一输出。图12中所示的处理可以在步骤S504之后结束。
依照图12的处理，可以提供与父级AI针对特定输入的输出的错误(或正确)的可能程度有关的信息，这可能有助于提高半导体基板的总体评估准确度。
图13示出了用于生成针对半导体基板制造设备的指令的示例性处理的流程图。图13所示的处理可以在指令生成单元90接收到父级AI的输出和评估装置10的输出单元106的输出时开始。
在图13的步骤S600中，指令生成单元90可以从父级AI接收表示输入图像中的基板的质量的输出。
而且，在步骤S602中，指令生成单元90可以从评估装置10接收基于父级AI针对该输入数据输出的错误结果的概率的输出。
在步骤S602之后，指令生成单元90可以在步骤S604中生成对制造设备40的指令。例如，可以根据在步骤S600和S602中接收到的父级AI的输出和评估装置的输出的组合来生成上表1中所示的指令之一。
在步骤S604之后，指令生成单元90可以在步骤S606中，将所生成的指令传送至制造设备40。图13中所示的处理可以在S606之后结束。
制造设备40可以根据在图13的步骤S606中从指令生成单元90传送的指令进行操作。这可以有助于提高由制造设备40制成的半导体基板的总体质量，因为制造设备40可以考虑到父级AI可能错误地确定了制成的半导体基板中的各个的质量的可能程度来处理制成的半导体基板。
变型例
本领域技术人员应当清楚，如上参照图1至图13所述的示例性实施方式及其变型例仅仅是示例性的，并且可以存在其它实施方式和变型例。
例如，在上述示例性实施方式和实施例中，父级AI和评估装置10两者将半导体基板的图像作为针对AI 7020和NN 1020的输入。然而，在一些实施例中，除了图像之外，父级AI和/或评估装置10还可以将从一个或更多个传感器(例如，参见图1的传感器60)取得的传感器信息作为输入的一部分。所述一个或更多个传感器可以是以下各项中的一个或更多个：温度传感器、湿度传感器、亮度传感器、大气压传感器。在这种情况下，针对父级AI的输入数据的预定格式可以表示包括图像和传感器信息的数据。
当父级AI将传感器信息作为输入的一部分时并且在父级AI采用上述参照图4至图6的CNN的情况下，例如，可以在最后的全连接层与CNN的输出层之间插入附加全连接层(例如，参见图6)，其中，该附加全连接层可能比该最后全连接层具有更多数量的节点。该附加全连接层例如可以包括与该最后全连接层的节点相对应的节点，以及与一个或更多个传感器相对应的一个或更多个附加节点。所述一个或更多个附加节点中的各个附加节点可以对应于所述一个或更多个传感器中的一个传感器，并且可以接收从所对应的传感器输出的值。
当评估装置10将传感器信息作为输入的一部分时并且在NN 1020具有如图7A所示的结构的情况下，例如，除了与输入图像中的像素值相对应的节点之外，还可以在NN 1020的输入层中提供与各个可用传感器相对应的节点。在NN 1020是CNN(如上参照图4至图6所述)的情况下，可以将传感器信息以类似于上述父级AI是CNN的情形的方式并入CNN中。通过将传感器信息作为输入的一部分，评估装置10可以能够学习并确定在哪个环境(例如，温度、湿度、亮度、大气压等)下父级AI可以针对哪种图像输出的错误输出。
而且，例如，在只有父级AI使用传感器信息作为输入的一部分而评估装置10仅采用没有传感器信息的图像作为输入的情况下，评估装置10可以利用规模小于父级AI输入数据的输入数据来进行训练和确定。
在任何情况下，评估装置10的输入可以包括父级AI的输入的至少一部分。
而且，尽管上述示例性实施方式涉及评估半导体基板的质量，但这些示例性实施方式及其变型例也可以应用于评估任何其它种类的制成的产品的质量。对于这些应用，可以将制成的产品的图像用于以类似于上述示例性实施方式的方式训练父级AI和评估装置10的NN 1020。然后，父级AI可以评估已经训练了父级AI的制成的产品的质量，并且评估装置10可以按与上述示例性实施方式类似的方式评估父级AI的输出。
此外，上述示例性实施方式不仅可以应用于评估由制造设备制成的产品，而且可以用于评估其它种类的产品，如农产品(例如，水果和蔬菜)。例如，可以与上述示例性实施方式类似的方式训练父级AI，利用农产品的图像将农产品分类成两个或更多个质量类别。而且，可以与上述示例性实施方式类似的方式训练评估装置10，利用同一种类农产品的图像来确定父级AI针对特定图像输出的错误输出的概率。
这些示例性实施方式中的评估方法的进一步应用可以包括用于医学诊断的图像识别。例如，可以利用已知的机器学习方法(例如，包括上述CNN)训练父级AI，以至少对人体或动物体的体外或体内部分的医学图像执行分类。可以利用医学图像作为输入来训练评估装置10，以确定父级AI很可能为哪些医学图像输出了错误输出。在这种情况下，可以将医学图像、来自父级AI的针对该医学图像的输出以及针对各个图像的已知诊断，用于训练评估装置10中包括的确定单元102的NN 1020。医学图像可以包括但不限于，X射线图像、计算机断层扫描(CT)图像、磁共振成像(MRI)图像、超声图像以及使用内窥镜拍摄的图像。
此外，在父级AI处理一般的图像识别问题的情况下，也可以应用由示例性实施方式中的评估装置10的确定单元102所执行的确定。例如，父级AI可以包括CNN(例如，参见图4至图6)，该CNN被训练以检测图像内的特定对象(例如，人或动物，如猫、鸟、狗等)。在这样的实施例中，可以训练确定单元1020的NN 1020，以评估父级AI针对特定图像输出的错误检测结果的可能程度。例如，可以将不同场景的图像、父级AI针对这些图像的输出以及表示目标对象是否存在于各个图像中的信息用于训练确定单元1020的NN 1020。
关于图像识别，例如，可以训练父级AI以在车辆行驶期间进行物体识别。例如，可以将通过设置在车辆上的一个或更多个成像装置(例如，摄像机)在车辆行驶期间拍摄的图像用作父级AI的输入数据。例如，在由设置在车辆前部的摄像机拍摄图像的情况下，该图像可以表示车辆前方的场景。另选地或另外地，在由设置在车辆后部的摄像机拍摄图像的情况下，该图像可以表示车辆后方的场景。可以训练父AI以确定在由输入图像表示的场景中是否存在任何目标对象(例如，人类、动物、和/或希望避免与车辆碰撞的任何其它对象)。在该实施例中，父级AI可以包括如上参照图4至图6所述的CNN，并且可以训练CNN，以利用由设置在车辆上的一个或更多个成像装置拍摄的图像来检测一个或更多个目标对象。
在车辆行驶期间的物体识别的示例性应用中，父级AI很有可能为其中路面状况可能与通常状况不同的一些场景(如夜间场景、有雨、雪和/或冰的场景等)提供错误结果。而且，在该实施例中，可以训练评估装置10的确定单元102，以确定父级AI将针对哪种场景的图像输出错误的对象识别结果的可能程度。确定单元102的NN 1020可以包括CNN(例如，参见图4至图6)，并且可以利用由设置在车辆上的一个或更多个摄像机拍摄的图像、父级AI针对这些图像的输出以及表示各个图像中是否存在一个或更多个目标对象的信息来训练。表示各个图像中是否存在一个或更多个目标对象的信息可以由用户提供。可以将父级AI的输出和表示各个图像中是否存在一个或更多个目标对象的信息用于生成用于训练NN 1020的监督信号，该监督信号对于各个图像表示父级AI针对该图像的输出的错误程度。如此训练的确定单元102的NN 1020例如可以确定父级AI可能更可能针对包括道路上的雪的场景的图像输出的错误的识别结果。
而且，在车辆行驶期间的物体识别的示例性应用中，NN 1020还可以从设置在车辆上的一个或更多个传感器取得传感器信息，作为输入的一部分。例如，设置在车辆上的温度传感器用于检测外部空气温度。在这种情况下，NN 1020可以是CNN(例如，参见图4至图6)，其包括附加全连接层，该附加全连接层具有与来自温度传感器的传感器信息相对应的节点，如上面关于在半导体基板评估的实施例中使用传感器信息所述。来自温度传感器的传感器信息可以有助于提高由确定单元102的NN 1020进行的确定的准确度，因为例如0℃附近或低于0℃的外部气温可以表示道路上可能存在雪和/或冰，在这种情况下，父级AI可能更有可能输出错误的识别结果。针对上述温度传感器，另外地或者另选地，可以从设置在车辆上的以下传感器中的一个或更多个获得传感器信息：雨传感器、偏航率传感器、倾角传感器、加速度传感器、日光传感器、雷达传感器、IR(红外)传感器。
另外，针对由示例性实施方式的评估装置10的确定单元102执行的确定的应用可以不限于由父级AI执行的图像分析。其他应用可以包括，但不限于，例如关于来自被训练以执行语音识别或自然语言处理的父级AI的输出的确定。
在语音识别的情况下，父级AI可以包括CNN(例如，参见图4至图6)，其例如利用话语的音频数据作为训练数据来训练以识别语音中的特定单词，在语音识别的实施例中，父级AI的输入数据的预定格式可以表示适合用作针对CNN的输入的音频数据。而且，在该实施例中，可以训练评估装置10中包括的确定单元102的NN 1020，以确定表示父级AI针对特定音频数据输出的错误输出的概率的至少一个值。例如，可以将话语的音频数据、父级AI针对该音频数据的输出以及表示该音频数据中是否包括特定单词的信息用于训练确定单元102的NN 1020。
在自然语言处理的情况下，例如，父级AI可以包括被训练以执行对以自然语言编写的文本的分类的CNN(例如，参见图4至图6)。在该实施例中，针对父级AI的输入数据的预定格式可以表示可以被预处理以适合用作针对CNN的输入的文本的数据。而且，在该实施例中，可以训练评估装置10中包括的确定单元102的NN 1020，以确定表示父级AI针对特定文本输出的错误输出的概率的至少一个值。例如，可以将文本的数据、父级AI针对该数据的输出以及表示针对各个文本的正确分类结果的信息用于训练NN 1020。
在又一实施例中，可以训练父级AI以在驾驶员监测装置中执行对汽车驾驶员的状态的估计。在该实施例中，父级AI可以从设置在汽车上的各种传感器取得传感器信息作为输入，并确定驾驶员的状态。评估装置10的确定单元102可以确定父级AI针对特定输入将输出的关于驾驶员状态的错误输出的可能程度。在该实施例中，确定单元102的NN 1020可以利用传感器信息、父级AI的输出以及针对传感器信息的各个元素的表示驾驶员的正确状态的信息。
在又一实施例中，可以训练父级AI以诊断患者体内(如脑和/或心脏)中的血管疾病。作为父级AI的输入数据，可以使用诸如人或动物受试者(下文中，也简称为“受试者”)的心跳、血压、血糖水平等的生理数据。在该实施例及其在此描述的变型例中，“人或动物受试者”可以被理解为经受诊断的人或动物。在该实施例中，可以利用生理数据作为训练数据来训练父级AI。例如，可以采集多个受试者中的各个受试者的生理数据，并且父级AI可以利用所采集的生理数据作为训练数据和表示所述多个受试者中的各个受试者是否具有脑和/或心脏方面的血管疾病的信息作为监督信号来进行训练。
在该用于诊断血管疾病的示例性应用中，评估装置10的确定单元102可以确定父级AI针对特定生理数据将输出的错误诊断的可能程度。确定单元102的NN 1020可以利用多个受试者的生理数据、父级AI针对生理数据的输出以及表示所述多个受试者中的各个受试者是否具有脑和/或心脏方面的血管疾病的信息来进行训练。例如，在受试者是人的情况下，该信息可以由多个受试者中的各个受试者本人提供。可以将父级AI的输出和表示所述多个受试者中的各个受试者是否具有脑和/或心脏方面的血管疾病的信息用于生成用于训练NN 1020的监督信号，该监督信号针对所述多个受试者中的各个受试者，表示父级AI针对该受试者的生理数据的输出的错误程度。
而且，在该用于诊断血管疾病的示例性应用中，NN 1020在获得生理数据作为输入数据的一部分的同时，除了生理数据以外还可以取得人类受试者的面部图像。在从人类受试者获得生理数据的同时，该图像可以由成像装置拍摄。该图像可以比用于分析该人类受试者的面部表情，例如，生气、微笑、紧张、脸色苍白等。NN 1020可以包括CNN(例如，参见图4至图6)以处理获得其生理数据的人类受试者的面部图像。在这种情况下，CNN可以包括附加的全连接层，其包括用于图像的节点和与生理数据相对应的一个或更多个节点。由于已知如果在人类受试者(例如，患者)处于普通状态时获得生理数据可以导致更准确的诊断，因此，利用人类受试者的面部表情的图像作为针对NN 1020的输入数据的一部分可以有助于提高评估装置10的确定单元102进行的确定的准确度。例如，利用除了生理数据之外还使用面部表情图像训练的NN 1020的确定单元102可以确定在图像显示生气的面部表情的情况下，父级AI可能更可能提供错误的诊断。在该实施例中，父级AI还可以被配置成，以与上述NN 1020类似的方式将人的面部图像作为输入数据的一部分。
上述示例性实施方式及其变型例可以涉及CNN(例如，参见图4至图6)作为父级AI。然而，在其它实施方式和变型例中，父级AI可以采用任何一种已知的机器学习技术。
只要评估装置10的NN 1020利用具有与父级AI的输入数据的格式相对应的格式的输入数据，以及利用表示父级AI针对哪些输入数据已经输出错误输出的监督信号进行训练，评估装置10就可以能够确定表示父级AI针对特定输入输出的错误输出的概率的至少一个值。
因此，在如本文所述的示例性实施方式和变型例中，评估装置10通常可以被视为用于确定父级AI的输出的错误的确定装置，其被配置成：(i)接收预定格式的输入数据，(ii)利用该输入数据执行计算，以及(iii)提供计算结果作为输出。
而且，以下各项提供了本公开的一些方面。
项目1.一种用于确定来自机器学习装置(70)的输出的错误的确定装置(10)，该机器学习装置被配置成：(i)接收预定格式的输入数据，(ii)利用所述输入数据执行计算，以及(iii)提供该计算的结果作为输出，所述确定装置包括：
接收单元(100)，该接收单元被配置成接收具有与所述预定格式相对应的格式的数据；
确定单元(102)，该确定单元被配置成，利用神经网络(1020)来确定代表所述机器学习装置(70)针对与所述接收数据相对应的输入数据输出错误输出的概率的至少一个值；以及
输出单元(104)，该输出单元被配置成基于表示所述概率的所述至少一个值来输出一输出，
其中，所述神经网络(1020)已经利用以下各项进行了训练：
具有与所述预定格式相对应的格式的训练数据；以及
对于所述训练数据的各个元素，表示针对与所述训练数据的该元素相对应的输入数据来自所述机器学习装置(70)的输出的错误程度的信息。
项目2.根据项目1所述的确定装置(10)，其中，用于训练所述神经网络(1020)的训练数据包括：未被包括在用于训练所述机器学习装置(70)的训练数据中的一个或更多个元素。
项目3.根据项目1或2所述的确定装置(10)，所述确定装置(10)还包括：
神经网络训练单元(106)，该神经网络训练单元被配置成，利用具有与所述预定格式相对应的格式的所述训练数据以及如下信息来训练所述神经网络(1020)，该信息对于所述训练数据的各个元素，表示针对与所述训练数据的该元素相对应的输入数据来自机器学习装置(70)的输出的错误程度，
其中，根据深度学习技术对所述所述神经网络(1020)进行训练，并且
其中，所述神经网络训练单元(106)还可以被配置成，通过以下步骤来生成用于训练所述神经网络(1020)的、表示所述错误程度的信息：
接收具有与所述预定格式相对应的格式的训练数据以及如下信息，该信息对于所述训练数据的各个元素，表示针对与所述训练数据的该元素相对应的输入数据的正确输出；
将所述训练数据的元素提供给所述机器学习装置(70)作为输入；
响应于提供了所述训练数据的元素，从所述机器学习装置(70)获得输出；以及
比较从所述机器学习装置(70)的所获得的输出与针对与所述训练数据的元素相对应的输入数据的正确输出。
项目4.一种确定系统，该确定系统包括：
根据项目1至3中的任一项所述的确定装置(10)；以及
机器学习装置(70)，该机器学习装置(70)被配置成：(i)接收预定格式的输入数据，(ii)利用所述输入数据执行计算，以及(iii)提供该计算的结果作为输出。
项目5.一种用于训练神经网络(1020)以确定表示机器学习装置(70)针对具有预定格式的输入数据输出错误输出的概率的至少一个值的计算机实现方法，所述机器学习装置(70)被配置成：(i)接收预定格式的输入数据，(ii)利用所述输入数据执行计算，以及(iii)提供该计算的结果作为输出，所述方法包括以下步骤：
接收具有与所述预定格式相对应的格式的数据以及如下信息，该信息对于所接收的数据的各个元素，表示针对与所接收数据的该元素相对应的输入数据来自所述机器学习装置的输出的错误程度；以及
利用所接收的数据作为所述神经网络(1020)的输入并利用所接收的信息作为监督数据来训练所述神经网络(1020)，其中，根据深度学习技术来进行该训练。
项目6.一种用于确定来自机器学习装置(70)的输出的错误的确定装置(10)，该确定装置包括：
接收单元(100)，该接收单元被配置成接收场景的图像，该图像是由设置在车辆上的成像装置(50)在车辆行驶期间拍摄的；
确定单元(102)，该确定单元被配置成利用神经网络(1020)来确定表示机器学习装置(70)针对所述场景的图像输出错误输出的概率的至少一个值，所述机器学习装置(70)被配置成：(i)接收所述场景的图像，(ii)利用所接收的图像执行计算，以及(iii)基于该计算的结果来输出表示所述场景中是否存在一个或更多个目标对象的信息；以及
输出单元(104)，该输出单元被配置成基于代表所述概率的所述至少一个值来输出一输出，
其中，所述神经网络(1020)已经利用以下各项进行了训练：
由设置在所述车辆上的所述成像装置拍摄的场景的图像；以及
对于所述场景的所述图像中的各个图像，表示针对所述场景的图像中的该图像来自所述机器学习装置(70)的输出的错误程度的信息。
项目7.一种对象识别系统，该对象识别系统包括：
根据项目6所述的确定装置(10)；以及
机器学习装置(70)，该机器学习装置被配置成：(i)接收所述场景的图像，(ii)利用所接收的图像执行计算，以及(iii)基于该计算的结果输出表示所述场景中是否存在一个或更多个目标对象的信息。
项目8.一种用于确定来自机器学习装置(70)的输出的错误的计算机实现方法，该方法包括以下步骤：
接收场景的图像，该图像是由设置在车辆上的成像装置(50)在车辆行驶期间拍摄的；
利用神经网络(1020)来确定表示机器学习装置(70)针对所述场景的图像输出的错误输出的概率的至少一个值，所述机器学习装置(70)被配置成：(i)接收所述场景的所述图像，(ii)利用所接收的图像执行计算，以及(iii)基于所计算的结果输出表示所述场景中是否存在一个或更多个目标对象的信息；以及
基于表示所述概率的所述至少一个值来输出一输出，
其中，所述神经网络(1020)已经利用以下各项进行了训练：
由设置在所述车辆上的所述成像装置拍摄的场景的图像；以及
对于对所述场景的图像中的各个图像，表示针对所述场景的图像中的该图像来自所述机器学习装置(70)的输出的错误程度的信息。
项目9.一种用于确定来自机器学习装置(70)的输出的错误的确定装置(10)，该确定装置包括：
接收单元(100)，该接收单元被配置成接收人或动物受试者的生理数据；
确定单元(102)，该确定单元被配置成利用神经网络(1020)来确定表示机器学习装置(70)针对所述人或动物受试者的生理数据输出错误输出的概率的至少一个值，所述机器学习装置(70)被配置成：(i)接收所述人或动物受试者的生理数据，(ii)利用所接收的生理数据执行计算，以及(iii)基于该计算的结果输出表示所述人或动物受试者是否具有脑和/或心脏方面的血管疾病的信息；以及
输出单元(104)，该输出单元被配置成基于表示所述概率的所述至少一个值来输出一输出，
其中，所述神经网络(1020)已经利用以下各项进行了训练：
人或动物受试者的生理数据；以及
对于所述人或动物受试者中的各个受试者的生理数据，表示针对所述人和动物受试者中的该受试者的生理数据来自所述机器学习装置(70)的输出的错误程度的信息。
项目10.一种诊断系统，该诊断系统包括：
根据项目9所述的确定装置(10)；以及
机器学习装置(70)，该机器学习装置被配置成：(i)接收所述人或动物受试者的生理数据，(ii)利用所接收的生理数据执行计算，以及(iii)基于该计算的结果来输出表示所述人或动物受试者是否具有脑和/或心脏方面的血管疾病的信息。
项目11.一种用于确定来自机器学习装置(70)的输出的错误的计算机实现方法，该方法包括以下步骤：
接收人或动物受试者的生理数据；
利用神经网络(1020)来确定表示机器学习装置(70)针对所述人或动物受试者的所述生理数据输出错误输出的概率的至少一个值，所述机器学习装置(70)被配置成：(i)接收所述人或动物受试者的生理数据，(ii)利用所接收的生理数据执行计算，以及(iii)基于该计算的结果来输出表示所述人或动物受试者是否具有脑和/或心脏方面的血管疾病的信息；以及
基于表示所述概率的所述至少一个值来输出一输出，
其中，所述神经网络(1020)已经利用以下各项进行了训练：
人或动物受试者的生理数据；以及
对于所述人或动物受试者中的各个受试者的生理数据，表示针对所述人和动物受试者中的该受试者的生理数据来自所述机器学习装置(70)输出的错误程度的信息。

Claims (16)

1.一种用于评估由半导体基板制造设备(40)制成的半导体基板的质量的评估装置(10)，该评估装置(10)包括：
接收单元(100)，该接收单元(100)被配置成接收所述半导体基板的图像，所述图像由设置在所述半导体基板制造设备(40)上的成像装置(50)拍摄；
确定单元(102)，该确定单元(102)被配置成利用神经网络(1020)来确定代表机器学习装置(70)针对所述半导体基板的图像输出错误输出的概率的至少一个值，所述机器学习装置(70)被配置成：(i)接收所述半导体基板的图像，(ii)利用所接收的图像来执行计算，以及(iii)基于该计算的结果来输出表示所述半导体基板的质量的信息；以及
输出单元(104)，该输出单元(104)被配置成基于表示所述概率的所述至少一个值来输出一输出，
其中，所述神经网络(1020)已经利用以下各项进行了训练：
制成的半导体基板的图像；以及
对于所述制成的半导体基板的图像中的各个图像，表示针对所述制成的半导体基板的图像中的该图像来自所述机器学习装置(70)的输出的错误程度的信息。
2.根据权利要求1所述的评估装置(10)，其中，用于训练所述神经网络(1020)的图像包括：用于训练所述机器学习装置(70)的训练数据中未包括的一个或更多个图像。
3.根据权利要求1或2所述的评估装置(10)，其中，所述机器学习装置(70)被配置成：还接收来自与所述半导体基板制造设备(40)有关地设置的一个或更多个传感器(60)的传感器信息；以及还利用所述传感器信息来执行所述计算，并且
其中，所述一个或更多个传感器(60)能够是以下各项中的一个或更多个：
温度传感器；
湿度传感器；
亮度传感器；
大气压传感器。
4.根据权利要求3所述的评估装置(10)，其中，还利用所述传感器信息对所述神经网络(1020)进行训练，并且
其中，由所述确定单元(102)进行的确定是至少部分地基于所述传感器信息的。
5.根据权利要求1或2所述的评估装置(10)，其中，所述神经网络(1020)还利用来自与所述半导体基板制造设备(40)有关地设置的一个或更多个传感器(60)的传感器信息进行了训练，并且
其中，所述一个或更多个传感器(60)能够是以下各项中的一个或更多个：
温度传感器；
湿度传感器；
亮度传感器；
大气压传感器，并且
其中，由所述确定单元(102)进行的确定是至少部分地基于所述传感器信息的。
6.根据权利要求1至5中的任一项所述的评估装置(10)，所述评估装置(10)还包括：
神经网络训练单元(106)，该神经网络训练单元(106)被配置成，利用所述制成的半导体基板的图像，和表示针对所述制成的半导体基板的图像中的各个图像来自所述机器学习装置的输出的错误程度的信息，来训练所述神经网络(1020)，
其中，能够根据深度学习技术来执行对所述神经网络(1020)的训练，并且
其中，所述神经网络训练单元(106)还能够被配置成，通过以下操作来生成用于训练所述神经网络的信息：
接收所述制成的半导体基板的图像和如下质量信息，该质量信息针对所接收的图像中的各个图像，表示在所接收的图像的该图像中的制成的半导体基板的质量；
将所接收的图像中的一个图像提供给所述机器学习装置(70)作为输入；
响应于提供了所接收的图像中的一个图像，从所述机器学习装置(70)获得输出；以及
比较从所述机器学习装置(70)所获得的输出与提供给所述机器学习装置(70)的图像中的所述制成的半导体基板的质量，其中在所接收的质量信息中表示所述制成的半导体基板的质量。
7.一种评估系统，该评估系统包括：
根据权利要求1至6中的任一项所述的评估装置(10)；以及
所述机器学习装置(70)，所述机器学习装置(70)被配置成：(i)接收所述半导体基板的图像，(ii)利用所接收的图像执行计算，以及(iii)基于该计算的结果输出表示所述半导体基板的质量的信息。
8.根据权利要求7所述的评估系统，所述评估系统还包括：
指令生成单元(90)，该指令生成单元(90)被配置成：基于来自所述评估装置(10)的输出以及针对所述半导体基板的图像来自所述机器学习装置(70)的输出，来生成给所述半导体基板制造设备(40)的与处理所述半导体基板有关的指令；以及通信接口，该通信接口被配置成将所述指令传送至所述半导体基板制造设备(40)。
9.一种半导体基板制造系统，该半导体基板制造系统包括：
根据权利要求8所述的评估系统；
所述半导体基板制造设备(40)，所述半导体基板制造设备(40)被配置成制造所述半导体基板；以及
所述成像装置(50)，所述成像装置(50)设置在所述半导体基板制造设备(40)上，
其中，所述半导体基板制造设备(40)还被配置成：
从所述评估系统的所述通信接口接收指令；以及
根据所接收的指令来处理所述半导体基板。
10.一种用于评估由半导体基板制造设备(40)制成的半导体基板的质量的评估方法，该评估方法包括以下步骤：
通过处理器，接收所述半导体基板的图像，所述图像由设置在所述半导体基板制造设备(40)上的成像装置(50)拍摄；
通过所述处理器，利用神经网络(1020)来确定代表机器学习装置(70)针对所述半导体基板的图像输出错误输出的概率的至少一个值，所述机器学习装置(70)被配置成:(i)接收所述半导体基板的图像，(ii)利用所接收的图像执行计算，(ii i)以及基于该计算的结果来输出表示所述半导体基板的质量的信息；以及
通过所述处理器，基于代表所述概率的所述至少一个值来输出一输出，
其中，所述神经网络(1020)已经利用以下各项进行了训练：
制成的半导体基板的图像；以及
对于所述制成的半导体基板的图像中的各个图像，表示针对所述制成的半导体基板的图像中的该图像来自所述机器学习装置(70)的输出的错误程度的信息。
11.一种用于训练神经网络(1020)以确定表示机器学习装置(70)针对半导体基板的图像输出错误输出的概率的至少一个值的方法，所述机器学习装置(70)被配置成：(i)接收所述半导体基板的图像，(ii)利用所接收的图像执行计算，以及(iii)基于该计算的结果来输出表示所述半导体基板的质量的信息，所述方法包括以下步骤：
接收制成的半导体基板的图像以及如下信息，该信息对于所述制成的半导体基板的图像中的各个图像，表示针对所述制成的半导体基板的图像中的该图像来自所述机器学习装置(70)的输出的错误程度；以及
利用所接收的图像作为所述神经网络(1020)的输入并利用所接收的信息作为监督数据来训练所述神经网络(1020)，其中，能够根据深度学习技术来进行该训练。
12.一种包括计算机可读指令的计算机程序产品，当该计算机可读指令被加载并运行在计算机上时，使该计算机执行根据权利要求10或11所述的方法。
13.一种用于评估由制造设备(40)制成的产品的质量的评估装置(10)，该评估装置包括：
接收单元(100)，该接收单元(100)被配置成接收所述产品的图像，所述图像由设置在所述制造设备(40)上的成像装置(50)拍摄；
确定单元(102)，该确定单元(102)被配置成，利用神经网络(1020)来确定代表机器学习装置(70)针对所述产品的图像输出错误输出的概率的至少一个值，所述机器学习装置(70)被配置成：(i)接收所述产品的图像，(i i)利用所接收的图像执行计算，以及(i ii)基于该计算的结果来输出表示所述产品的质量的信息；以及
输出单元(104)，该输出单元(104)被配置成基于代表所述概率的所述至少一个值来输出一输出，
其中，所述神经网络(1020)已经利用以下各项进行了训练：
制成的产品的图像；以及
针对所述制成的产品的所述图像中的各个图像，表示针对所述制成的产品的图像中的该图像来自所述机器学习装置(70)的输出的错误程度的信息。
14.一种用于评估由制造设备(40)制成的产品的质量的评估方法，该评估方法包括以下步骤：
通过处理器，接收所述产品的图像，所述图像由设置在所述制造设备(40)上的成像装置(50)拍摄；
通过所述处理器，利用神经网络(1020)来确定表示机器学习装置(70)针对所述产品的图像输出错误输出的概率的至少一个值，所述机器学习装置(70)被配置成：(i)接收所述产品的图像，(ii)利用所接收的图像执行计算，以及(iii)基于该计算的结果来输出表示所述产品的质量的信息；以及
通过所述处理器，基于代表所述概率的所述至少一个值来输出一输出，
其中，所述神经网络(1020)已经利用以下各项进行了训练：
制成的产品的图像；以及
对于所述制成的产品的图像中的各个图像，表示针对所述制成的产品的图像中的该图像来所述机器学习装置(70)的输出的错误程度的信息。
15.一种用于确定来自机器学习装置(70)的输出的错误的确定装置(10)，该机器学习装置(70)被配置成：(i)接收预定格式的输入数据，(ii)利用所述输入数据执行计算，以及(iii)提供该计算的结果作为输出，所述确定装置包括：
接收单元(100)，该接收单元(100)被配置成接收具有与所述预定格式相对应的格式的数据；
确定单元(102)，该确定单元(102)被配置成利用神经网络(1020)来确定代表所述机器学习装置(70)针对与所接收的数据相对应的输入数据输出错误输出的概率的至少一个值；以及
输出单元(104)，该输出单元(104)被配置成基于代表所述概率的所述至少一个值来输出一输出，
其中，所述神经网络(1020)已经利用以下各项进行了训练：
具有与所述预定格式相对应的格式的训练数据；以及
对于所述训练数据的各个元素，表示针对与所述训练数据的该元素相对应的输入数据来自所述机器学习装置(70)的输出的错误程度的信息。
16.一种用于确定来自机器学习装置(70)的输出的错误的计算机实现方法，该机器学习装置(70)被配置成(i)：接收预定格式的输入数据，(ii)利用所述输入数据执行计算，以及(iii)提供该计算的结果作为输出，所述方法包括以下步骤：
接收具有与所述预定格式相对应的格式的数据；
利用神经网络(1020)来确定代表所述机器学习装置(70)针对与所接收的数据相对应的输入数据输出错误输出的概率的至少一个值；以及
基于代表所述概率的所述至少一个值来输出一输出，
其中，所述神经网络(1020)已经利用以下各项进行了训练：
具有与所述预定格式相对应的格式的训练数据；以及
对于所述训练数据的各个元素，表示针对与所述训练数据的该元素相对应的输入数据来自所述机器学习装置(70)的输出的错误程度的信息。
CN201780070000.0A 2017-02-17 2017-02-17 评估诸如半导体基板的产品的质量 Pending CN109964234A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2017/000125 WO2018150210A1 (en) 2017-02-17 2017-02-17 Evaluating quality of a product such as a semiconductor substrate

Publications (1)

Publication Number Publication Date
CN109964234A true CN109964234A (zh) 2019-07-02

Family

ID=58266683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780070000.0A Pending CN109964234A (zh) 2017-02-17 2017-02-17 评估诸如半导体基板的产品的质量

Country Status (4)

Country Link
US (1) US11157797B2 (zh)
EP (1) EP3532991A1 (zh)
CN (1) CN109964234A (zh)
WO (1) WO2018150210A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021128343A1 (en) * 2019-12-27 2021-07-01 Siemens Aktiengesellschaft Method and apparatus for product quality inspection

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102467605B1 (ko) * 2017-06-28 2022-11-16 도쿄엘렉트론가부시키가이샤 열처리 장치, 열처리 장치의 관리 방법 및 기억 매체
JP6708695B2 (ja) * 2018-04-20 2020-06-10 ファナック株式会社 検査装置
JP7134033B2 (ja) * 2018-09-06 2022-09-09 東京エレクトロン株式会社 基板状態判定装置、基板処理装置、モデル作成装置及び基板状態判定方法
EP3667445A1 (de) * 2018-12-11 2020-06-17 Siemens Aktiengesellschaft Verfahren und vorrichtung zur herstellung eines produkts sowie computerprogrammprodukt
JP7269778B2 (ja) * 2019-04-04 2023-05-09 富士フイルムヘルスケア株式会社 超音波撮像装置、および、画像処理装置
US10799090B1 (en) * 2019-06-13 2020-10-13 Verb Surgical Inc. Method and system for automatically turning on/off a light source for an endoscope during a surgery
US20210352835A1 (en) * 2020-05-05 2021-11-11 Integrated Dynamics Engineering Gmbh Method for processing substrates, in particular wafers, masks or flat panel displays, with a semi-conductor industry machine
JP2022043791A (ja) 2020-09-04 2022-03-16 キオクシア株式会社 情報処理装置
US11586160B2 (en) * 2021-06-28 2023-02-21 Applied Materials, Inc. Reducing substrate surface scratching using machine learning
US20230197534A1 (en) * 2021-11-19 2023-06-22 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Neural Network Based Prediction of Semiconductor Device Response
CN114199892B (zh) * 2021-12-10 2022-11-18 江苏雷默智能科技有限公司 一种基于机器视觉的板材测量方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05225163A (ja) * 1992-02-13 1993-09-03 Hitachi Ltd ニューラルネットシステムおよびニューラルネットの学習方法
JPH09120455A (ja) * 1995-10-26 1997-05-06 Meidensha Corp ニューラルネットワークによる特徴識別方法
US5751910A (en) * 1995-05-22 1998-05-12 Eastman Kodak Company Neural network solder paste inspection system
US20080155442A1 (en) * 2003-11-10 2008-06-26 Pannese Patrick D Methods and systems for controlling a semiconductor fabrication process
US20150347846A1 (en) * 2014-06-02 2015-12-03 Microsoft Corporation Tracking using sensor data
US20160163035A1 (en) * 2014-12-03 2016-06-09 Kla-Tencor Corporation Automatic Defect Classification Without Sampling and Feature Selection
US20160180195A1 (en) * 2013-09-06 2016-06-23 Toyota Jidosha Kabushiki Kaisha Augmenting Layer-Based Object Detection With Deep Convolutional Neural Networks

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6641746B2 (en) * 2001-09-28 2003-11-04 Agere Systems, Inc. Control of semiconductor processing
US10086511B2 (en) * 2003-11-10 2018-10-02 Brooks Automation, Inc. Semiconductor manufacturing systems
JP4747313B2 (ja) 2006-12-28 2011-08-17 公立大学法人高知工科大学 薄板状部品の検査方法と検査装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05225163A (ja) * 1992-02-13 1993-09-03 Hitachi Ltd ニューラルネットシステムおよびニューラルネットの学習方法
US5751910A (en) * 1995-05-22 1998-05-12 Eastman Kodak Company Neural network solder paste inspection system
JPH09120455A (ja) * 1995-10-26 1997-05-06 Meidensha Corp ニューラルネットワークによる特徴識別方法
US20080155442A1 (en) * 2003-11-10 2008-06-26 Pannese Patrick D Methods and systems for controlling a semiconductor fabrication process
US20160180195A1 (en) * 2013-09-06 2016-06-23 Toyota Jidosha Kabushiki Kaisha Augmenting Layer-Based Object Detection With Deep Convolutional Neural Networks
US20150347846A1 (en) * 2014-06-02 2015-12-03 Microsoft Corporation Tracking using sensor data
US20160163035A1 (en) * 2014-12-03 2016-06-09 Kla-Tencor Corporation Automatic Defect Classification Without Sampling and Feature Selection

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KUN-LIN HSIEH ET AL: "Optimization of multiple quality responses involving qualitative and quantitative characteristics in IC manufacturing using neural networks", 《COMPUTERS IN INDUSTRY》 *
MATJAZ KUKAR ET AL: "Reliable Classifications with Machine Learning", 《ECML 2002: MACHINE LEARNING: ECML 2002》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021128343A1 (en) * 2019-12-27 2021-07-01 Siemens Aktiengesellschaft Method and apparatus for product quality inspection
US11651587B2 (en) 2019-12-27 2023-05-16 Siemens Aktiengesellschaft Method and apparatus for product quality inspection

Also Published As

Publication number Publication date
EP3532991A1 (en) 2019-09-04
US11157797B2 (en) 2021-10-26
US20190362221A1 (en) 2019-11-28
WO2018150210A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
CN109964234A (zh) 评估诸如半导体基板的产品的质量
KR101879207B1 (ko) 약한 지도 학습 방식의 객체 인식 방법 및 장치
US11430140B2 (en) Medical image generation, localizaton, registration system
JP7357927B2 (ja) 診断支援システムおよび方法
CN109091098A (zh) 磁控胶囊式内窥镜诊查系统
KR102100698B1 (ko) 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템
TW202349410A (zh) 處理來自一醫學影像裝置之即時視訊及偵測於該視訊中之物體的系統及方法
WO2018203470A1 (en) Learning apparatus, learning method, and learning program
JP7167515B2 (ja) 特定装置、プログラム、特定方法、情報処理装置及び特定器
KR102043672B1 (ko) 딥러닝 기반의 병변 판독 시스템 및 방법
CN112001122A (zh) 基于端到端生成对抗网络的非接触式生理信号测量方法
CA3110581C (en) System and method for evaluating the performance of a user in capturing an image of an anatomical region
WO2021141617A1 (en) Methods and systems for autonomous control of imaging devices
TW201941220A (zh) 診斷支援裝置、程式製品、記錄有學習完成模型的記錄媒體及學習裝置
Çalışkan classification of tympanic membrane images based on VGG16 model
Zeng et al. A 2.5 D deep learning-based method for drowning diagnosis using post-mortem computed tomography
CN115511860A (zh) 基于互补注意力机制的组织病变识别的识别方法
CN113302652A (zh) 图像分析方法和设备
KR20210001233A (ko) 혈관 세그멘테이션 방법
CN115565018A (zh) 图像分类方法及装置、设备、存储介质
JP2020010804A (ja) 医用画像診断支援装置、プログラム及び医用画像診断支援方法
CN109480842B (zh) 用于诊断功能性消化不良的系统及设备
KR102279160B1 (ko) 이미지의 특이 영역 분석 방법 및 장치
JP7178444B2 (ja) 人工神経網を利用した内耳器官内リンパ水腫の比率測定方法及びその装置
KR102608205B1 (ko) 2차원 mri에서 예측한 부피를 이용한 치매 정보 산출 방법 및 분석장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190702