CN112912783B - 用于自动映射基板上的流动对象的方法和系统 - Google Patents

用于自动映射基板上的流动对象的方法和系统 Download PDF

Info

Publication number
CN112912783B
CN112912783B CN201980068775.3A CN201980068775A CN112912783B CN 112912783 B CN112912783 B CN 112912783B CN 201980068775 A CN201980068775 A CN 201980068775A CN 112912783 B CN112912783 B CN 112912783B
Authority
CN
China
Prior art keywords
substrate
objects
stage
layout
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980068775.3A
Other languages
English (en)
Other versions
CN112912783A (zh
Inventor
马修·C·普特曼
约翰·B·普特曼
约翰·克鲁克尚克
朱莉·奥兰多
阿黛尔·弗兰克尔
布兰登·斯科特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nano Electronic Imaging Co ltd
Original Assignee
Nano Electronic Imaging Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nano Electronic Imaging Co ltd filed Critical Nano Electronic Imaging Co ltd
Priority to CN202310507825.1A priority Critical patent/CN117784387A/zh
Publication of CN112912783A publication Critical patent/CN112912783A/zh
Application granted granted Critical
Publication of CN112912783B publication Critical patent/CN112912783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

一种使用显微镜检查系统来映射基板上的流动对象的方法和系统，该显微镜检查系统包括光源、成像设备、台以及控制模块，该台用于移动设置在台上的基板。一种计算机分析系统，包括对象识别模块，该对象识别模块使用包括人工智能与图像处理算法的算法、网络、机器和系统针对基板上的对象中的每个识别基板上的对象位置，该基板上的对象位置包括一组X、Y和θ坐标。对象中的至少一个是流动的，并且已经从先前位置移位或从先前尺寸变形。

Description

用于自动映射基板上的流动对象的方法和系统
相关申请的交叉引用
本申请要求于2018年10月19日提交的美国专利申请No.16/164,990的优先权，该申请的全部内容通过引用并入本文。
技术领域
本公开的实施例涉及自动映射基板上的流动对象。
背景技术
检查材料的均匀性和异常检测在从制造到科学到生物学的学科范围中是重要的。检查通常采用显微镜检查系统来检验和测量基板(例如，晶片)上的电子对象或安装在载玻片上的生物样品的特征。如本领域普通技术人员所理解的样品是指检验的物品(例如，晶片或生物载玻片)。基板上的电子对象可以包括诸如晶体管、电阻器、电容器、集成电路、微芯片等的器件。生物样品通常被安装在载玻片上以进行显微镜检查。如本领域普通技术人员所理解的，对象具有如说明书中所提供和如权利要求书中所记载的广泛含义，并且可以指基板上的电子对象或在安装在载玻片上的生物样品中发现的诸如细胞、组织等的生物对象等。尽管以下描述涉及检验本质上是电相关的基板上的对象，但是本文描述的自动映射可用于检验安装在载玻片上的生物样品和对象。
显微镜检查系统可以用于对基板上的对象进行成像以用于稍后的分析。为了便于准确分析，捕获相似对象的一致图像或对象的一致图像及其参考模板(有时称为金模板(golden template))是有帮助的。例如，如果对象小于成像设备的视场，则可以以相同的方式相对于成像设备对准相似对象，使得所捕获的相似对象的图像都示出所成像对象的类似对准(本文中称为“成像对准位置”)。在一个实施例中，例如如图1A和1B中所示，对象120、120的左上角115、115各自呈现在成像设备的视场(由单个正方形110、110表示)的左上角中。尽管对象120的取向旋转，但是视场110也旋转，以保持对象120和在所捕获的图像中的120相同对准。
注意，本领域普通技术人员所理解的术语视场是在数字显微镜的背景下，并且是指由图像传感器一次捕获的检验区域。此外，本领域普通技术人员将容易理解，术语视场、图像和片块在本文中可互换使用。
在另一个示例中，如图2所示，当基板310上的对象220超过如每个片块215所表示的成像设备的视场时，则可能需要图像(例如，片块1-18)序列来捕获整个对象。注意，视场和片块在本文中可互换使用。为了便于准确分析，利用类似的成像对准位置、以一致的方式跨越相似的对象或与参考模板进行比较来捕获图像序列是有帮助的。在一个示例中，可以从对象上的特定特征或对象上的特定位置(例如，左上角115)处开始(本文中被称为“开始扫描位置”并由*表示)捕获第一图像，并且可以例如在预定义的排序路径(例如，以如图2中所示的排序路径230所表示的蜿蜒方式)中捕获后续图像。序列中的每个图像都可以被分配一个数字(例如，1-18)，并且具有相同数字的图像可以跨相似对象进行比较或与参考模板进行比较。
知道每个对象的精确位置与取向和/或基板上的对象的特征可以促进正确对准台、成像设备和对象以捕获图像，其中在视场内一致地对准相似对象，或者对于相似对象捕获类似的图像序列。除了图像捕获之外，知道对象的位置与取向和/或基板上的对象的特征对于制造或检验过程的各个阶段和/或对于异常分析可能是有用的。在一些实施例中，对象可以在对象本身上具有指示符(例如，呈现在样品220的左上角的星号(*)225a和呈现在样品220的右下角的加号(+)225b)以帮助确定对象的取向。
初始对象布局图可以指定基板上的每个对象的X、Y、θ坐标(“预期位置”或“原始位置”)。例如，X、Y可以指每个对象220相对于基板上的公共参考点(例如，原点)的坐标位置，并且θ可以指每个对象220或生物样品相对于原点且相对于已知坐标系的取向，如在此进一步解释的。然而，初始对象布局图通常不考虑对象在检验和/或制造过程中从其初始X、Y、θ坐标的移动(即，在说明书和权利要求书中移动被称为“流动”并且意味着对象能够从原始位置移动到稍后位置)。当在可弯曲或弹性(“柔性”)基板(例如，聚酰亚胺、PEEK或透明导电聚酯膜)上印刷对象、印刷柔性对象(例如，柔性OLED)，检验安装在载玻片上的流动生物样品，和/或检验(例如，在箍环、Gel-
Figure BDA0003025965250000021
窝伏尔组件上的)切割后的对象时，对象可从其(例如，如在初始对象布局图中指定的)原始或预期X、Y、θ坐标移位。柔性基板和/或柔性对象的变形也会发生，这也会改变基板上的对象或载玻片上的生物样品的预期X、Y、θ坐标。变形(也被本领域普通技术人员称为形变)可以指对象和参考对象之间在对象的总体大小和/或各个特征方面的偏差。参考对象可以参考用于该对象类型和/或该对象的较早版本的参考模板图像。
因此，期望提供一种新机构，用于(例如，通过确定基板上的每个对象的X、Y、θ坐标来)自动地映射基板上的流动对象，以定位已经从它们在基板上的预期坐标(例如，与初始对象布局图相比)移位的对象，以及预测在检验或制造过程中的不同阶段的基板上的对象的X、Y、θ坐标。
发明内容
本公开的实施例涉及一种使用显微镜检查系统来映射基板上的流动对象的方法，该显微镜检查系统包括具有显微镜系统和计算机分析系统的显微镜检查系统。该显微镜系统包括光源、成像设备、台以及控制模块，该台用于移动设置在台上的基板。计算机分析系统包括对象识别模块。该方法包括以下步骤：使用显微镜检查系统执行基板的扫描，以及使用包括人工智能及图像处理算法的算法、网络、机器和系统针对基板上的对象中的每个识别基板上的对象位置，该基板上的对象位置包括一组X、Y和θ坐标。对象中的至少一个是流动的，并且已经从先前位置移位或从先前尺寸变形。该方法还包括生成反映对象中的每个的位置和对象中的每个的移位量或变形量的对象映射信息的步骤。生成对象映射信息的步骤是使用包括人工智能及图像处理算法的算法、网络、机器和系统自动完成的。
本公开的另一实施例涉及一种使用显微镜检查系统来映射基板上的流动对象的方法，该显微镜检查系统包括具有显微镜系统和计算机分析系统的显微镜检查系统。该显微镜系统包括光源、成像设备、台以及控制模块，该台用于移动设置在台上的基板。计算机分析系统包括对象识别模块和对象布局预测模块。该方法包括以下步骤：使用显微镜检查系统执行基板的扫描，以及使用包括人工智能和图像处理算法的算法、网络、机器和系统，针对基板上的对象中的每个识别基板上的对象位置，该基板上的对象位置包括一组X、Y和θ坐标。对象中的至少一个是流动的，并且已经从先前位置移位或从先前尺寸变形。该方法还包括生成反映对象中的每个的位置和对象中的每个的移位量或变形量的对象映射信息的步骤。生成对象映射信息的步骤是使用包括人工智能和图像处理算法的算法、网络、机器和系统自动完成的。
本公开的又一实施例涉及一种用于映射基板上的流动对象的系统，该系统包括显微镜系统，该显微镜系统具有光源、成像设备、台以及控制模块，该台用于移动设置在台上的基板。成像设备扫描该基板。该系统还包括对象布局识别模块，该对象布局识别模块用于使用包括人工智能和图像处理算法的算法、网络、机器和系统，针对基板上的对象中的每个识别基板上的对象位置，该基板上的对象位置包括一组X、Y和θ坐标。对象中的至少一个是流动的，并且对象中的至少一个已经从先前位置移位或从先前尺寸变形。对象布局识别模块生成反映对象中的每个的位置和对象中的每个的移位量或变形量的对象映射信息。
附图说明
为了描述可以获得本公开的上述和其它优点和特征的方式，将通过参考在附图中示出的其具体实施例来呈现对以上简要描述的原理的更具体描述。应理解，这些附图仅描绘本公开的示例性实施例，并且因此不应被认为限制其范围，通过使用附图，利用附加的特征和细节来描述和解释本文的原理，在附图中：
图1A示出了成像片块上的对象的视场的俯视图。
图1B示出了成像片块上的对象的视场的俯视图，其中，与图1相比，视场和对象已经被旋转。
图2示出了超过了如由每个片块所表示的成像设备的视场的基板上的对象，则需要图像(例如片块1-18)序列来捕获整个对象。
图3A示出了初始对象布局，初始对象布局包括在制造过程中的不同阶段或在检验过程中的不同时间发生的基板上的对象A-F的示例布局。
图3B示出了稍后对象布局，该稍后对象布局包括在制造过程的不同阶段或在检验过程的不同时间发生的与图3A所示的那些对象在不同位置处的基板310上的对象A-F的示例布局。
图4示出了包括显微镜系统和计算机分析模块的自动映射显微镜检查系统的示例。
图5A示出了显微镜系统的实施例的侧视图，示出了成像设备、光源、物镜、样品、台、控制模块和计算机分析模块。
图5B示出了显微镜系统的实施例的正视图，示出了成像设备、光源、物镜、样品、台、控制模块和计算机分析系统。
图6A示出了用于自动映射基板上的流动对象的示例方法步骤。
图6B示出了用于自动映射基板上的流动对象的示例方法步骤，包括预测步骤。
图7A示出了在第一情况下的对象Q，其中对象Q在虚拟片块的左上部分中对准。
图7B示出了在对象Q已经从如图7A所示的第一位置移位之后，在第二情况下的对象Q。
图8示出了计算机分析系统的实施例的一般配置。
图9示出了图像处理算法，该图像处理算法首先用训练数据训练，使得对象识别模块可以检测和识别基板上的对象，以提供特定输出。
图10A和10B示出了示例实施例，其中使用相同的对象A上的两个参考点：A1和A2，基于对象A从第一时间点(如图10A所示)到第二时间点(如图10B所示)的旋转来计算取向。
图11示出了使用特定输入和输出来馈入样品布局算法以获得特定假设的示例训练模型。
具体实施方式
根据所公开的主题的一些实施例，提供了用于(例如，通过确定基板上的每个对象的X、Y、θ坐标来)自动映射基板上的流动对象以定位已经从其在基板上的初始或预期位置(例如，与初始对象布局图相比)移位的对象的机构(该机构可以包括方法、系统、设备、装置等)。这对于促进台、成像设备和对象的对准以捕获对象的(一个或更多个)合适的图像，对于校准检验或制造过程的稍后阶段以考虑对象的任何移位和/或对于异常分析可以是有用的。当没有设置基板的初始对象布局图时，即使当对象根本没有移位时，这于定位对象也可以是有用的。在一些实施例中，自动映射不包括基板上的实际X、Y、θ坐标对象，而是包括预测在检验或制造过程的不同阶段期间基板上的对象的X、Y、θ坐标将在何处。这对于在基板上适当地定位对象或者在制造或检验过程中校准步骤和/或部件以适应对象和/或基板的预期移位和/或变形是有用的。
图3A(初始对象布局)和3B(稍后对象布局)示出了根据所公开的主题的一些实施例的在制造过程中的不同阶段或在检验过程中的不同时间发生的基板310上的对象A-F的示例布局。每个片块215都表示图像或视场。如图3A和3B所示，可以使用笛卡尔XY坐标系来定义基板310上每个对象A-F的X、Y位置。每个对象A-F的XY坐标位置都表示距在原点(O)处相交的坐标轴312A和312B的距离。在一些实施例中，坐标轴可以是从在基板310上找到的两个参考标志313A和313B延伸的一对正交线。注意，坐标轴312A和312B以及原点O仅仅是示例，对象A-F的坐标位置可以从其他坐标轴和原点O和/或从(一个或更多个)其他参考点测量。在其它实施例中，可以通过与原点和/或任何其它合适的位置有关的对象的极坐标来定位对象。XY位置可以指对象的特定部分(例如，左上角)的位置和/或对象的特定特征的位置。
每个对象A-F都包括取向标记314A(例如星号(*))和314B(例如加号(+))，取向标记314A和314B可以用于确定对象相对于原点O的取向。例如，在如图3A所示的对象的初始布局中，星号出现在每个对象的左上角，加号出现在每个对象的右下角。图3A表示对象A-F的模型位置。该模型位置也可以是与对象A-F的参考模板相同的位置，并且用于分析对象A-F中的任何移位，如图3B所示。在图3B中，如相对于原点O的星号和加号的新位置所证明的，许多对象已经从它们的初始XY位置移位，并且对象的取向也已经改变。取向标记314B、314B仅仅是示例，并且可以使用其他取向标记来确定取向和从预期或初始取向的旋转度。在一些实施例中，对象的特征可用于确定对象的取向。注意，基板上的对象可以是相同类型的对象或不同类型的对象。
如本文所公开的，在一些实施例中，人工智能可用于检测对象、分类对象类型、识别对象的成像对准位置、识别开始扫描位置、确定对象的X、Y和θ坐标和/或预测基板上的每个对象的X、Y、θ坐标。人工智能算法可以单独地或组合地包括以下中的一个或更多个：机器学习、隐马尔可夫模型、循环神经网络、卷积神经网络、贝叶斯符号方法、生成式对抗网络、支持向量机、图像配准方法、可应用的机器学习技术、可应用的基于规则的系统和/或任何其它合适的人工智能算法。这样的算法、网络、机器和系统提供了关于任何“使用人工智能来自动检测对象的装置”所使用的结构的示例。
图4示出了根据所公开主题的一些实施例的示例自动映射显微镜检查系统400，该自动映射显微镜检查系统400可以实现自动映射基板上的流动对象。自动映射基板上的流动对象可以包括对于基板上的每个对象(或对象的子集)：i)检测并分类对象；ii)确定基板上的对象的X、Y、θ坐标；iii)确定对象变形；iv)确定对象移位；v)确定对象开始扫描位置；vi)确定对象成像对准位置；和/或vii)确定对象排序路径。
根据一些实施例，在高级别，自动映射显微镜检查系统400的基本部件包括显微镜系统410和计算机分析系统450。计算机分析系统450的功能可以被结合到显微镜系统410中(例如，如图5A和5B所示)，或者可以是单独的部件(例如，如图4所示)。显微镜系统410可以包括照明源415、成像设备420、台425、低分辨率物镜430、高分辨率物镜435以及控制模块440，照明源415用于向对象提供光，控制模块440包括硬件、软件和/或固件。
显微镜系统410可以被实现为任何合适类型的显微镜的一部分。例如，在一些实施例中，系统410可以被实现为使用透射光或反射光的光学显微镜的一部分。更特别地，系统410可以被实现为从俄亥俄州库亚霍加瀑布的纳米电子成像公司(Nanotronics Imaging,Inc.of Cuyahoga Falls,OH)获得的
Figure BDA0003025965250000071
光学显微镜的一部分。显微镜系统410还可以被实现为共焦或双光子激发显微镜的一部分。
图5A(侧视图)和5B(正视图)示出了根据所公开的主题的一些实施例的显微镜系统410的实施例的一般配置。根据一些实施例，显微镜系统410可以包括低分辨率物镜430和高分辨率物镜435。低分辨率物镜430和高分辨率物镜435具有不同的分辨能力。低分辨率物镜430和高分辨率物镜435也可以具有不同的放大倍率，和/或被配置为利用明视场/暗视场显微镜、微分干涉差(DIC)显微镜和/或包括荧光性的任何其他合适形式的显微镜进行操作。在一些实施例中，可以通过使用高分辨率显微镜(如扫描电子显微镜(SEM)、透射电子显微镜(TEM)和/或原子力显微镜(AFM))来执行对象的高分辨率扫描。在一些实施例中，高分辨率显微镜可以是具有大于低分辨率显微镜(例如，5x)的放大倍率(例如，100x)的显微镜。在一些实施例中，用于检查对象的物镜和/或显微镜技术可以由软件、硬件和/或固件控制。
在一些实施例中，XY平移台可以用于台425。XY平移台可以由步进电机、伺服电机、线性电机、压电电机和/或任何其它合适的机构驱动。在一些实施例中，XY平移台可以被配置为在任何合适的控制器的控制下在X轴和/或Y轴方向上移动对象。(未示出，但在本领域中是已知的)致动器可以用于进行例如0至5mm、0至10mm、0至30mm和/或任何其它合适的(一个或更多个)距离范围的粗聚焦调整。在一些实施例中，致动器也可用于提供例如0到50μm、0到100μm、0到200μm和/或任何其它合适的(一个或更多个)距离范围的精细聚焦。在一些实施例中，显微镜系统410可以包括聚焦机构，该聚焦机构在Z方向上朝向和远离物镜430和435调整台425，和/或朝向和远离台425调整低分辨率物镜430和高分辨率物镜435。
光源417可以根据强度、所使用的光源的数量和/或照明的位置与角度而变化。光源417可以将光传输通过反射光照明器418并且可以用于照明样品的一部分，使得光通过镜筒透镜423向上反射到成像设备420(例如，相机)，并且成像设备420可以捕获对象的图像和/或视频。在一些实施例中，所使用的光源417可以是白光准直发光二极管(LED)、紫外准直LED、激光灯或荧光灯。
在一些实施例中，成像设备420可以是包括图像传感器的可旋转相机。图像传感器可以是例如CCD、CMOS图像传感器和/或将光转换成一个或更多个电信号的任何其它合适的电子器件。这种电信号可以用于形成对象的图像和/或视频。在标题为“Camera and ObjectAlignment to Facilitate Large Area Imaging in Microscopy(相机和对象对准，以促进在显微镜下进行大面积成像)”的美国专利No.10,048,477中描述了可以由显微镜系统410使用的用于旋转相机的一些示例方法，该专利的全部内容通过引用并入本文。
可以使用具有预定尺寸、数量和位置的照明光的不同的形貌成像技术(包括但不限于，聚焦成形(shape-from-focus)算法、阴影成形(shape-from-shading)算法、光度立体(photometric stereo)算法和傅立叶叠层调制(Fourier ptychography modulation)算法)，以生成对象的一个或更多个三维形貌图像。
在一些实施例中，如图5a所示的控制模块440包括控制器和控制器接口，并且可以控制自动映射显微镜检查系统400(例如，光源417、低分辨率物镜430和高分辨率物镜435、台425和成像设备420)的任何设置以及通信、操作(例如，拍摄图像、打开和关闭光源417、移动台425和/或物镜430、435、和/或旋转成像设备420)。控制模块440和本文描述的适用的计算系统与部件可包括(在一些实施例中能够执行软件的)任何合适的硬件，例如计算机、微处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)与数字信号处理器(DSP)(其中的任何一个均可被称为硬件处理器)、编码器、用于读取编码器的电路、存储器设备(包括一个或更多个EPROM、一个或更多个EEPROM、动态随机存取存储器(“DRAM”)、静态随机存取存储器(“SRAM”)和/或闪存)和/或任何其它合适的硬件元件。在一些实施例中，自动映射显微镜检查系统400内的各个部件可以包括它们自己的软件、固件和/或硬件，以控制各个部件并且与自动映射显微镜检查系统400中的其他部件通信。
在一些实施例中，控制模块(例如，控制器和控制器接口)与自动映射显微镜检查系统400的部件之间的通信可以使用任何合适的通信技术，例如模拟技术(例如，中继逻辑)、数字技术(例如，RS232、以太网或无线)、网络技术(例如，局域网(LAN)、广域网(WAN)、因特网)、蓝牙技术、近场通信技术、安全RF技术和/或任何其他合适的通信技术。
在一些实施例中，可以使用任何合适的输入设备(例如，键盘、鼠标、操纵杆、触摸屏)将操作员输入传送到控制模块440。
返回参考图4，自动映射显微镜检查系统400的计算机分析系统450可以使用任何合适的通信技术以任何合适的方式耦接到或包括在显微镜系统410中，通信技术诸如模拟技术(例如，中继逻辑)、数字技术(例如，RS232、以太网或无线)、网络技术(例如，局域网(LAN)、广域网(WAN)、因特网)、蓝牙技术、近场通信技术、安全RF技术和/或任何其他合适的通信技术。计算机分析系统450以及计算机分析系统450内的模块可以被配置为使用由显微镜系统410输出的图像和/或由计算机可读介质存储的图像来执行本文进一步描述的多个功能。
计算机分析系统450可以包括(在一些实施例中能够执行软件的)任何合适的硬件，例如计算机、微处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和数字信号处理器(DSP)(其中的任何一个可以被称为硬件处理器)、编码器、用于读取编码器的电路、存储器设备(包括一个或更多个EPROM、一个或更多个EEPROM、动态随机存取存储器(“DRAM”)、静态随机存取存储器(“SRAM”)和/或闪存)和/或任何其他合适的硬件元件。
计算机可读介质可以是可由计算机访问的任何可用介质，并且包括易失性介质和非易失性介质、可移动介质和不可移动介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术来实现的易失性介质和非易失性介质、可移动介质和不可移动介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字视频盘(DVD)或其它光盘存储装置、磁带盒、磁带、磁盘存储装置或其它磁存储设备、或者可用于存储所需信息并可由计算机访问的任何其它介质。
根据一些实施例，计算机分析系统450可以包括对象识别模块460(稍后描述并在图8中示出)和对象布局预测模块470(稍后描述并在图8中示出)。
图6A和6B在高级别示出了根据所公开的主题的一些实施例的用于使用人工智能自动地映射基板上的流动对象的示例方法600A和600B。在一些实施例中，自动映射操作600A和600B可以使用自动映射显微镜检查系统400。将根据所公开的主题的一些实施例，结合图8描述解释计算机分析系统450的每个模块可以如何被配置的进一步细节。
在610A处，显微镜系统410可以使用例如低分辨率物镜430或高分辨率物镜435来扫描基板。在一些实施例中，可通过在X/Y方向上移动成像设备420和/或台425来扫描基板，直到扫描基板的整个表面或所需区域(“感兴趣区”)为止。低分辨率扫描可以指由成像设备420使用低分辨率物镜430来捕获和生成的基板或基板的一部分的一系列低分辨率图像。高分辨率扫描可以指由成像设备420使用高分辨率物镜435来捕获和生成的基板或基板的一部分的一系列高分辨率图像。
在一些实施例中，基板的每个图像都被称为片块215(如图2所示)，其中每个片块215可以通过其XY坐标位置而被定位在基板空间中。在基板310的单次相干扫描中，可以基于片块215的XY坐标位置和/或基于特征的配准方法将片块215缝合在一起。在一些实施例中，可通过使用不同聚焦水平及在Z方向上移动台425和/或低分辨率物镜430来扫描基板310的一个或更多个区域。返回参考图6A，在620A处，(图8中所示的)对象识别模块460可以接收所扫描的基板的低分辨率图像或高分辨率图像，并且可以使用(如本文进一步解释的)人工智能算法、计算机视觉和/或其他合适的计算机程序来确定和生成对象映射信息，包括：i)检测基板上的对象；ii)识别对象类型；iii)确定对象的X、Y、θ坐标；iv)识别成像对准位置并确定该位置的X、Y、θ坐标；v)识别开始扫描位置并确定该位置的X、Y、θ坐标；vi)确定基板上的每个对象或任意数量的对象的成像序列；vii)计算(例如，与先前或原始尺寸相比的)对象和/或基板变形和/或(例如，与初始对象布局图相比)对象从原始位置的移位。在一些实施例中，对象布局识别模块460可以使用对象映射信息来生成表示基板上的对象的当前布局的基板的对象布局图，由于对象和/或基板的灵活性，该对象布局图可以不同于基板的初始对象布局图。
再次参考图6A，在630A处，对象识别模块460可以将对象映射信息传输到控制模块440。在一些实施例中(例如，对于对象小于视场的实施例)，控制模块440可对准台、成像设备和对象以考虑对象的新X、Y、θ坐标和/或变形。例如，如果对象小于视场，则控制模块440可以根据用于基板的对象映射信息将台425和/或成像设备420驱动到基板上的每个对象(或任何数量的对象)的成像对准位置。成像对准位置可以基于与被扫描的对象相似的对象的代表性位置或被扫描的对象的参考模板。在(例如，如果对象大于视场的)其它实施例中，控制模块440可以将台425和/或成像设备420驱动到基板上的每个对象(或任何数量的对象)的开始扫描位置，以根据用于该对象类型的成像序列和用于该对象的对象映射信息来拍摄图像序列。开始扫描位置和成像序列可以基于与被扫描的对象相似的对象的代表性位置及序列或被扫描的对象的参考模板。在一些实施例中，被成像的对象的类型将确定开始扫描位置、成像对准位置和/或成像序列。在进一步的实施例中，可以将对象的图像序列预处理成一个更大的图像，并与参考对象进行比较以进行分析。
在进一步的实施例中，基于对象的X、Y、θ坐标和/或变形，可以创建包含对象的大小的虚拟片块710(图7A中所示)。相同类型的所有对象可以以相同的方式在虚拟片块内对准以便于分析。可以在虚拟片块内对准对象，类似于用于该对象的参考模板的对准。虚拟片块是被预处理成一个较大扫描的多个较小扫描。图7A示出了在第一情况下的对象Q，其中对象Q在虚拟片块710的左上部分中对准。图7B示出了在对象Q已经从第一位置移位之后，在第二情况下的对象Q。虚拟片块710被类似地移位以在虚拟片块710的新位置处包含对象Q，使得对象Q在片块的左上部分中类似地对准。可以在扫描的像素水平或在片块水平(即，视场)绘制虚拟片块710。本领域普通技术人员将容易理解，可以创建虚拟片块，而不管是否执行了任何初步阶段、成像设备或样品对准。
在图6B中，步骤610B和620B可以分别与结合图6A描述的步骤610A和620A相同。此外，在620B处，对象布局识别模块460可以将所生成的基板上的对象的对象布局图与基板上的对象的初始或先前对象布局图进行比较，并生成反馈数据。反馈数据可以包括但不限于对象的大小与对象的参考图像的大小相比已经改变的量。参考图像可以包括用于该类型的对象和/或对象本身的较早版本的参考模板。反馈数据还可以包括对象从其初始或较早位置移位的量和/或基板上的对象的取向变化。
在图6B的步骤630B处，对象识别模块460可以将对象映射信息和反馈数据传输到对象布局预测模块470。对象布局预测模块470可以使用来自对象识别模块460的对象映射信息和反馈数据，结合关于基板和基板上的对象的其他信息，来针对制造过程和/或检验过程的特定阶段预测基板上的对象的X、Y、θ坐标(例如，取向及移位)和/或预测对象变形。在一些实施例中，对象布局预测模块470可以将预测位置与由对象识别模块460生成的实际位置信息进行比较。如果对象的实际X、Y、θ坐标超过了被检查对象和/或基板的类型的预定公差(例如，对象位置的移位远大于预测的移位，或者基板的对象位置的平均移位远大于预期的平均移位)，则对象布局预测模块470可以生成警报。类似地，对象布局预测模块470能够将所预测的对象变形与由对象识别模块460生成的实际对象变形信息进行比较。如果实际对象变形超过针对被检查的对象和/或样品的类型的预定公差(例如，对象的变形或基板上的平均对象变形远大于所预测的对象的变形或基板上的平均对象变形)，则对象布局预测模块470能够生成警报。
在一些实施例中，对象布局预测模块470能够将所预测的对象位置与由对象识别模块460生成的实际位置信息进行比较和/或将所预测的对象变形与由对象识别模块460生成的实际对象变形信息进行比较，以评估对象布局预测模块470的预测的准确性。在一些实施例中，(例如，当对象布局预测模块470被充分训练时)如果对象布局预测模块470的预测的准确性在预定义的时间内满足预定义的公差，则可以省略步骤610B和620B。由对象布局预测模块470生成的信息可直接被传输至控制模块440，其可对准台425、成像设备420及样品以考虑对象的新X、Y、θ坐标和/或变形，如结合图6A的步骤630A所讨论的。
当执行自动映射操作600A和600B的特定部分时，划分可以变化，并且没有划分或不同的划分也在本文公开的主题的范围内。注意，在一些实施例中，自动映射操作600A和600B的框可在任何合适的时间执行。应当理解，在一些实施例中，可以以不限于结合图6A和6B示出和描述的顺序和序列的任何顺序或序列来执行本文描述的自动映射操作600A和600B的至少一些部分。此外，在一些实施例中，本文描述的过程600A和600B的一些部分可以并行执行或在适当的情况下基本上同时执行。另外或替代地，在一些实施例中，可省略过程600A和600B的一些部分。自动映射操作600A和600B可以用任何合适的硬件和/或软件来实现。例如，在一些实施例中，自动映射操作600A和600B可以在自动映射显微镜检查系统400中实现。
图8示出了根据所公开的主题的一些实施例的计算机分析系统450的实施例的一般配置。
在一些实施例中，对象识别模块460可以被配置为从显微镜系统410和/或任何合适的计算机可读介质接收基板或基板的一部分的低分辨率扫描或高分辨率扫描。
在一些实施例中，对象识别模块460可以被配置为使用图像处理算法来检测所接收的低分辨率扫描或高分辨率扫描中的一个或更多个对象，图像处理算法可以包括计算机视觉、一个或更多个人工智能算法和/或计算机算法。对象的检测可以基于例如对象的计算机辅助设计(CAD)文件、正被检查的基板的初始或较早对象布局图、已知对象的图像、已知对象的参考模板和/或关于已知对象的信息(例如对象的大小、对象的机械和/或物理属性)。
在一些实施例中，对象识别模块460可以将如图9所示的图像处理算法应用于所接收的基板扫描，并且针对基板上的每个对象或针对感兴趣区来：i)检测对象；ii)确定对象类型；iii)确定取向；iv)识别成像对准位置；和/或v)识别开始扫描位置。对象识别模块460还可以使用与基板上的参考点有关的这种信息来确定以下各项的X、Y、θ坐标：i)基板上的每个对象：ii)基板上的每个对象的成像对准位置；和/或iii)基板上的每个对象的开始扫描位置。对象识别模块460还可以用于计算对象和/或基板变形和/或(例如，与初始对象布局图相比)对象从原始位置的移位。
检测可以指在印刷基板扫描的印刷中或在视觉上针对在显示屏上显示的基板(例如，通过在所检测的对象周围绘制虚线框)来在视觉上识别基板扫描上的对象。对象识别模块460还可以被配置为针对每个所检测的对象确定附加信息，该附加信息包括但不限于：i)对象类型；ii)对象取向；iii)图像对准位置；和iv)开始扫描位置。当在显示屏上显示基板扫描时，也可以在视觉上显示该信息。或者，可以生成提供该信息的文本文件。
对象识别模块460还可以被配置为将所检测的对象、成像对准位置和/或开始扫描位置映射到与基板上的参考标记相关的基板空间中的X、Y、θ位置。此外，对象识别模块460可以将每个对象与针对该对象类型的参考图像进行比较，以计算对象/特征变形。在一些实施例中，对象识别模块还可通过将对象的当前X、Y、θ坐标与较早的X、Y、θ位置或该对象的预期X、Y、θ位置进行比较来计算对象移位量。注意，θ或取向表示与对象的较早θ位置或对象相对于基板的原点的预期θ位置相比，对象已经绕固定点旋转的量，如结合图10A和10B所讨论的。
在一些实施例中，基于一个或更多个图像处理人工智能算法的图像处理算法可用于检测所接收的基板的低分辨率扫描或高分辨率扫描中的对象。基于人工智能的图像处理算法也可以由对象识别模块460使用，以针对每个所检测的对象确定附加信息，该附加信息包括但不限于：i)对象类型；ii)对象旋转；iii)图像对准位置；和/或iv)开始扫描位置。在一些实施例中，由对象识别模块460使用的(一个或更多个)算法可考虑背景数据，例如基板上的对象的位置、正被检查的对象的类型、对象位于其上的基板的类型、正被检查的对象/基板的物理和机械属性、相同或相似类型基板上的相似对象、用于被检查的对象的参考模板、用于被检查的基板的初始对象布局图，以更好地检测和识别对象以及确定对象类型、对象旋转、图像对准位置和/或开始扫描位置。
可由对象识别模块460使用的基于人工智能的图像处理算法的示例是如由以下文献所描述的图像配准：Barbara Zitova，“Image Registration Methods:A Survey(图像配准方法：调查)”Image and Vision Computing(图像与视觉计算)，2003年10月11日，第21卷，第11期，页码977-1000，该文献通过引用全部并入本文。所公开的方法仅仅是示例，而不是限制性的。此外，对象识别模块460可以使用卷积网络、循环神经网络和/或其他人工神经网络来处理所接收的基板扫描。
在一些实施例中，如图9所示，首先利用训练数据920训练图像处理算法910，使得对象识别模块460可以检测和识别基板上的对象。训练数据920可以包括已知类型的对象(例如，可能在特定自动映射显微镜检查系统400上被检查的不同类型的对象)的标记示例。对于每种类型的对象，训练数据920还可以包括实际变形对象(例如，由于制造过程而变形的对象)的标记图像。在进一步的实施例中，对象可以根据预定义的参数被人为地变形，并且训练数据920可以包括这样的变形对象的标记图像。训练数据920还可以包括根据0-360度旋转的每个对象类型的标记图像。此外，训练数据920可以包括待检查的每种类型的对象的标记图像，该待检查的每种类型的对象的标记图像识别图像内的开始扫描位置和/或成像对准位置。在一些实施例中，训练数据920可以包括与对象的尺寸、形状、组分、在基板上的位置、对象的物理/机械属性和/或任何其它合适的特性相关的数据。在一些实施例中，训练数据还可以包括未标记的数据。
一旦图像处理算法被训练，它就可以由对象识别模块460应用于所接收的基板扫描，以检测对象、分类对象类型、确定对象取向、识别图像对准位置和/或开始扫描位置(单独地及共同地，作为输出数据930)。
对象识别模块460可以进一步被配置为计算对象变形，确定对象移位量，将所检测的对象映射到基板上的X、Y、θ坐标，将所识别的对象的图像对准位置映射到基板上的X、Y、θ坐标，将所识别的对象的开始扫描位置映射到基板上的X、Y、θ位置，以及基于对象类型和取向定义成像序列。这些功能中的每个都可以在使用或不使用人工智能的情况下执行，并且将在随后的段落中更详细地描述。
在一些实施例中，对象识别模块460可以通过比较在所检测的对象与参考图像之间或者在对象的特定特征与参考图像之间的总体大小的偏差来计算对象变形。参考图像可以是用于该对象类型的参考模板和/或所检测的对象的较早图像。
一旦检测到对象，对象识别模块460就可以将所检测的对象映射到已知坐标系中的特定X、Y位置，如结合图3A和3B所讨论的。类似地，对象识别模块460可以将对象的成像对准位置和/或对象的开始扫描位置映射到已知坐标系中的特定X、Y位置，如结合图3A和3B所讨论的。
在一些实施例中，可以使用由图像处理算法输出的θ位置信息来计算对象在基板上的θ位置。例如，基于具有相似取向的相似对象的训练数据，图像处理算法可以确定对象的θ位置。在其他实施例中，图像处理算法可以应用图像配准方法以将对象与参考图像进行比较并确定θ位置。一些确定旋转的示例图像配准方法由以下文献描述：Barbara Zitova“Image Registration Methods:A Survey(图像配准方法：调查)”Image and VisionComputing(图像与视觉计算)，2003年10月11日，第21卷，第11期，页码977-1000，该文献通过引用全部并入本文。在另外的实施例中，对象识别模块460可以使用参考对象内的特定特征或参考点来确定每个对象类型的基线取向。该取向是相对于基板的原点的。为了计算对象的取向已经改变了多少，随后对象识别模块460可以使用仿射变换将所检测的对象的特征或参考点与参考对象内的类似特征进行比较。仿射变换例如由以下文献描述：DonaldH.House等，Foundations of Physically Based Modeling and Animation(基于物理建模和动画的基础)，335-341页，2017年，该文献通过引用全部并入本文。
图10A和10B示出了示例实施例，其中使用相同的对象A上的两个参考点：A1和A2，基于对象A从第一时间点(如图10A所示)到第二时间点(如图10B所示)的旋转来计算取向。A1和A2仅仅是示例，并且可以使用对象A上的其他参考点或特征。更具体地，如图10A所示，可以使用已知坐标系在第一时间点将对象A的第一参考点A1定位在X1 Y1处。可以通过参考点Al和第二参考点A2绘制参考线(R1)。第一角度θ1可以基于X轴和R1的交点来测量。如图10B所示，在第二时间点，对象A的相同参考点Al可以位于X2 Y2处。可以通过参考点Al和参考点A2在它们的新位置处绘制参考线(R2)。第二角度θ2可基于X轴和R2的交点来测量。可以从θ1中减去θ2，以确定图10B中的对象A的取向。
在一些实施例中，对象识别模块460可以被编程为针对每个已知对象类型关联预定义的成像序列。当所检测的对象被分类时，对象识别模块460可以将所检测的对象与针对该对象类型的预定义的成像序列相关联。此外，对象识别模块460可以将该信息传输到控制模块440或成像设备420，以捕获应用预定义的成像序列的所检测的对象的图像。
在一些实施例中，对象识别模块460可以通过将基板上的对象的当前XY位置与(例如，基于初始或先前对象布局图的)对象的初始或先前XY位置进行比较来计算对象移位量。对象识别模块460可以将该信息传输到对象布局图生成模块470和/或对象布局预测模块470。
在一些实施例中，对象布局预测模块470可以从对象识别模块460接收反馈数据和/或对象映射信息，以及其它背景数据，诸如正被检查的对象的类型、对象位于其上的基板的类型、正被检查的对象/基板的物理和机械属性、相同或相似类型基板上的相似对象、用于被检查的对象的参考模板、用于被检查的基板的初始对象布局图等。反馈数据可以包括但不限于在制造或检验过程中的特定阶段的基板上的每个对象的X、Y、θ位置，在制造或检验过程期间基板上的每个对象已经变形、移位和/或改变其取向的量。对象布局预测模块470可使用此信息来预测在制造或检验过程期间的不同阶段的对象的X、Y、θ位置和/或对象可能变形的量。该信息可以用于适当地定位基板上的对象和/或用于在制造或检验过程中的校准步骤和/或部件，以适应对象和/或基板的预期移位和/或变形。该信息还可以用于确定基板上的对象是否已经将它们的位置移动超过所预测的量或者对象和/或基板是否已经变形超过所预测的量。
在一些实施例中，对象布局预测模块可以接收基板的初始对象布局，并应用使用人工智能的布局预测算法，如图11所示，以确定在制造和/或检验过程中的特定阶段的基板的新对象布局。新对象布局图可以包括针对初始对象布局(或任何感兴趣区)上的每个对象的X、Y、θ位置和/或对于制造和/或检查过程中的特定阶段对象和/或基板可能变形的量。
在一些实施例中，可以使用线性回归模型或多元线性回归模型来实现对象布局预测模块。线性回归建模是用于对因变量与一个或更多个自变量之间的线性关系进行建模的机器学习技术。利用单个标量预测的简单线性回归模型可用于执行本文所描述的对象布局预测。或者，可以使用利用多个预测器的多元线性回归模型来执行本文所描述的对象布局预测。
在一些实施例中，首先利用训练数据来训练对象布局预测算法。训练数据可以包括回归学习算法试图预测的一对(也称为训练示例)输入特征(X)和输出或目标变量(Y)。训练示例1100可以用于学习函数：假设(H)：X→Y，因此H(X)是Y的相应值的合理预测器。图11示出了根据所公开主题的一些实施例的示例训练模型。对于基板上的每个对象，训练示例1100的输入可以包括：在制造过程的第一阶段(例如，初始布局图、光刻胶步骤、清洁步骤、预切割步骤)的当前X、Y、θ位置和对象/基板类型。训练示例1100的输出可以包括针对基板上的每个对象的在制造过程中的第二阶段的X、Y、θ位置、变形和/或移位量。一旦被训练，对象布局算法1110就可以接收在第一制造和/或检验情况下的基板的对象布局图以及关于对象/基板类型的其它信息，且预测基板上的对象的X、Y、θ位置和/或在制造或检验过程的第二情况下的预期用于对象和/或基板的变形量。对象布局算法1110可以连续地或周期性地从对象识别模块460接收反馈数据并修改假设(H)。
如结合图6B的630B所解释的，对象布局预测模块470可以将基板上的对象的预测位置与由对象识别模块460生成的实际位置信息进行比较，并确定是否生成警报。此外，对象布局预测模块470能够将所预测的对象位置与由对象识别模块460生成的实际位置信息进行比较和/或将所预测的对象变形与由对象识别模块460生成的实际对象变形信息进行比较，以评估对象布局预测模块470的预测的准确性。
自动映射显微镜检查系统400的部件的功能可以被组合到单个部件中或者分布在若干个部件上。在一些实施例中，可以从显微镜系统410远程执行一些部件的功能(例如，由计算机分析系统450进行的计算机处理)。在一些实施例中，控制分析系统可以组合到显微镜系统410中。
注意，自动映射显微镜检查系统400可以包括未示出的其他合适的部件。另外或替代地，可以省略包括在自动映射显微镜检查系统400中的一些部件。
在一些实施例中，任何合适的计算机可读介质都可用于存储用于执行本文所描述的功能和/或过程的指令。例如，在一些实施例中，计算机可读介质可以是暂时性的或非暂时性的。例如，非暂时性计算机可读介质可以包括诸如非暂时性磁介质(诸如硬盘、软盘等)、非暂时性光学介质(诸如压缩盘光盘、数字视频光盘、蓝光光盘等)、非暂时性半导体介质(诸如闪存、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)等)、在传输期间不转瞬即逝或不缺乏任何永久表象的任何合适的介质和/或任何合适的有形介质等介质。作为另一示例，暂时性计算机可读介质可以包括网络上的信号、电线中的信号、导体中的信号、光纤中的信号、电路中的信号、以及在传输期间转瞬即逝且缺乏任何永久表象的任何合适的介质中的信号和/或任何合适的无形介质中的信号。
本文描述的各种系统、方法和计算机可读介质可以被实现为云网络环境的一部分。如本文所使用的，基于云的计算系统是向客户端设备提供虚拟化计算资源、软件和/或信息的系统。计算资源、软件和/或信息可以通过维护边缘设备可以通过通信接口(诸如网络)访问的集中式服务和资源来虚拟化。云可以经由云元件提供各种云计算服务，诸如软件即服务(SaaS)(例如，协作服务、电子邮件服务、企业资源规划服务、内容服务、通信服务等)、基础设施即服务(IaaS)(例如，安全服务、联网服务、系统管理服务等)、平台即服务(PaaS)(例如，web服务、流服务、应用开发服务等)和诸如桌面即服务(DaaS)、信息技术管理即服务(ITaaS)、管理软件即服务(MSaaS)、移动后端即服务(MBaaS)等其他类型的服务。
本文所描述的示例(以及表述为“诸如”、“例如”、“包括”等的句子)的提供不应被解释为将所要求保护的主题限于特定示例；相反，这些示例旨在仅说明许多可能方面中的一些。本领域普通技术人员将理解，术语机制可以涵盖硬件、软件、固件或它们的任何合适的组合。
除非另有明确说明，否则如从以上讨论中显而易见的，应了解纵观本说明书，利用诸如“确定”、“提供”、“识别”、“比较”等术语的讨论是指计算机系统或类似电子计算设备的动作和处理，计算机系统或类似电子计算设备操纵和转换表示为计算机系统存储器或寄存器或其他此类信息存储设备、传输设备或显示设备内的物理(电子)量的数据。
本公开的某些方面包括本文描述的算法形式的过程步骤和指令。应当注意，本公开的过程步骤和指令可以体现在软件、固件或硬件中，并且当体现在软件中时，可以被下载以保留在由实时网络操作系统使用的不同平台上并被从由实时网络操作系统使用的不同平台操作。
本公开还涉及一种用于执行本文的操作的装置。该装置可以是为了所需目的而专门构造的，或者它可以包括由存储在计算机可读介质上的计算机程序选择性地激活或重新配置的通用计算机，该计算机可读介质可以由计算机访问。这种计算机程序可以存储在计算机可读存储介质中，该计算机可读存储介质诸如但不限于任何类型的盘、专用集成电路(ASIC)或适于存储电子指令的任何类型的非暂时性计算机可读存储介质，该任何类型的盘包括软盘、光盘、CD-ROM、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡。此外，说明书中提到的计算机可以包括单个处理器或者可以是采用多个处理器设计以增加计算能力的架构。
本文呈现的算法和操作不固有地与任何特定计算机或其他装置相关。各种通用系统也可以与根据本文的教导的程序一起使用，或者可以证明构造更专用的装置来执行所需的方法步骤以及系统相关的动作是方便的。各种这些系统的所需的结构以及等同变化对于本领域技术人员而言将是显而易见的。此外，不参考任何特定编程语言来描述本公开。应了解，可使用多种编程语言来实现如本文描述的本公开的教导，并提供对特定语言的任何引用以用于本公开的实现和最佳模式的披露。
已经具体参照这些示出的实施例详细描述了基板机构上的流动对象的自动映射、方法和系统。然而，将显而易见的是，在前述说明书中描述的本公开的精神和范围内可以做出各种修改和改变，并且这样的修改和改变被认为是本公开的等同物和本公开的一部分。本公开的范围仅由所附权利要求书限定。

Claims (20)

1.一种使用显微镜检查系统来映射基板上的流动对象的方法，包括：
提供包括显微镜系统和计算机分析系统的显微镜检查系统，
其中，所述显微镜系统包括光源、成像设备、台以及控制模块，所述台用于移动设置在所述台上的基板，以及
其中，所述计算机分析系统包括对象识别模块；
在第一处理阶段使用所述显微镜检查系统执行所述基板的扫描；所述基板包括对象；
针对所述基板上的对象中的每个，识别所述基板上的对象位置，所述基板上的对象位置包括一组X、Y和θ坐标，
其中，所述对象中的至少一个是流动的，并且已经从先前位置移位或从先前尺寸变形；
生成反映所述对象中的每个的对象位置和所述对象中的每个的移位量或变形量的对象映射信息；
基于所述对象映射信息，通过机器学习模型预测未来处理阶段中的对象中的每个的一组未来X、Y和θ坐标。
2.根据权利要求1所述的方法，还包括：对准所述台、所述成像设备和对象，以反映已经移位的至少一个对象的对象位置。
3.根据权利要求1所述的方法，其中，生成所述对象映射信息包括：生成对象布局图。
4.根据权利要求1所述的方法，其中，所述对象包括所述基板上的电子对象或诸如在安装在载玻片上的生物样品中发现的细胞或组织的生物对象。
5.根据权利要求1所述的方法，其中，所述计算机分析系统还包括对象布局预测模块。
6.根据权利要求1所述的方法，其中，所述显微镜系统还包括低分辨率物镜和高分辨率物镜。
7.根据权利要求1所述的方法，其中，所述对象识别模块被配置为从所述显微镜系统接收所述基板的低分辨率扫描或高分辨率扫描。
8.根据权利要求7所述的方法，其中，所述对象识别模块被配置为使用计算机视觉、一个或更多个人工智能算法和/或计算机算法来检测所接收的低分辨率扫描或高分辨率扫描中的一个或更多个对象。
9.根据权利要求7所述的方法，其中，所述对象识别模块能够对所接收的基板扫描应用图像处理算法，并且针对所述基板上的每个对象来：i)检测所述对象、ii)确定对象类型、iii)确定取向、iv)识别成像对准位置、和/或v)识别开始扫描位置，以及
其中，所述对象识别模块能够使用与所述基板上的参考点有关的所述对象映射信息来确定以下各项的X、Y、θ坐标：i)所述基板上的每个对象、ii)所述基板上的每个对象的所述成像对准位置、和/或iii)所述基板上的每个对象的所述开始扫描位置。
10.一种使用显微镜检查系统来映射基板上的流动对象的方法，包括：
提供包括显微镜系统和计算机分析系统的显微镜检查系统，
其中，所述显微镜系统包括光源、成像设备、台以及控制模块，所述台用于移动设置在所述台上的基板，以及
其中，所述计算机分析系统包括对象识别模块和对象布局预测模块；
使用所述显微镜检查系统执行所述基板的扫描；所述基板包括对象；针对所述基板上的对象中的每个，识别所述基板上的对象位置，所述基板上的对象位置包括一组X、Y和θ坐标，
其中，所述对象中的至少一个是流动的，并且已经从先前位置移位或从先前尺寸变形；
生成反映所述对象中的每个的所述对象位置和所述对象中的每个的移位量或变形量的对象映射信息；以及
基于所述对象映射信息，通过机器学习模型预测未来处理阶段中的对象中的每个的一组未来X、Y和θ坐标。
11.根据权利要求10所述的方法，其中，所述显微镜系统还包括低分辨率物镜和高分辨率物镜。
12.根据权利要求10所述的方法，其中，所述对象识别模块被配置为从所述显微镜系统接收所述基板的低分辨率扫描或高分辨率扫描。
13.根据权利要求12所述的方法，其中，所述对象识别模块被配置为使用计算机视觉、一个或更多个人工智能算法和/或计算机算法来检测所接收的低分辨率扫描或高分辨率扫描中的一个或更多个对象。
14.根据权利要求12所述的方法，其中，所述对象识别模块能够对所接收的基板扫描应用图像处理算法，并且针对所述基板上的每个对象来：i)检测所述对象、ii)确定对象类型、iii)确定取向、iv)识别成像对准位置、和/或v)识别开始扫描位置，以及
其中，所述对象识别模块能够使用与所述基板上的参考点有关的所述对象映射信息来确定以下各项的X、Y、θ坐标：i)所述基板上的每个对象、ii)所述基板上的每个对象的所述成像对准位置、和/或iii)所述基板上的每个对象的所述开始扫描位置。
15.根据权利要求10所述的方法，其中，所述对象布局预测模块从所述对象识别模块接收反馈数据和/或所述对象映射信息。
16.根据权利要求15所述的方法，其中，所述反馈数据包括在制造或检验过程中的特定阶段的所述基板上的每个对象的X、Y、θ坐标，以及在所述制造或检验过程期间所述基板上的每个对象已经变形、移位和/或改变其取向的量。
17.根据权利要求16所述的方法，其中，所述对象布局预测模块能够接收所述基板的初始对象布局，并且应用使用人工智能的布局预测算法来确定在制造和/或检验过程中的特定阶段的所述基板的新对象布局。
18.根据权利要求10所述的方法，其中，使用线性回归模型或多元线性回归模型来实现所述对象布局预测模块。
19.根据权利要求10所述的方法，其中，当所述对象的X、Y、θ坐标超过针对被检查的对象和/或所述基板的类型的预定义的公差时，所述对象布局预测模块生成警报。
20.一种用于映射基板上的流动对象的系统，包括：
显微镜检查系统，所述显微镜检查系统包括显微镜系统，
其中，所述显微镜系统包括光源、成像设备、台以及控制模块，所述台用于移动设置在所述台上的基板，以及
其中，所述成像设备扫描所述基板，所述基板包括对象；
对象布局识别模块，所述对象布局识别模块用于针对所述基板上的对象中的每个，识别所述基板上的对象位置，所述基板上的对象位置包括一组X、Y和θ坐标，
其中，所述对象中的至少一个是流动的，并且已经从先前位置移位或从先前尺寸变形；以及
其中，所述对象布局识别模块生成反映所述对象中的每个的所述对象位置和所述对象中的每个的移位量或变形量的对象映射信息；以及
预测模块，所述预测模块用于基于对象映射信息预测未来处理阶段中的对象中的每个的一组未来X、Y和θ坐标。
CN201980068775.3A 2018-10-19 2019-09-26 用于自动映射基板上的流动对象的方法和系统 Active CN112912783B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310507825.1A CN117784387A (zh) 2018-10-19 2019-09-26 用于自动映射基板上的流动对象的方法和系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/164,990 2018-10-19
US16/164,990 US10481379B1 (en) 2018-10-19 2018-10-19 Method and system for automatically mapping fluid objects on a substrate
PCT/US2019/053187 WO2020081211A1 (en) 2018-10-19 2019-09-26 Method and system for automatically mapping fluid objects on a substrate

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310507825.1A Division CN117784387A (zh) 2018-10-19 2019-09-26 用于自动映射基板上的流动对象的方法和系统

Publications (2)

Publication Number Publication Date
CN112912783A CN112912783A (zh) 2021-06-04
CN112912783B true CN112912783B (zh) 2023-05-30

Family

ID=68536040

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310507825.1A Pending CN117784387A (zh) 2018-10-19 2019-09-26 用于自动映射基板上的流动对象的方法和系统
CN201980068775.3A Active CN112912783B (zh) 2018-10-19 2019-09-26 用于自动映射基板上的流动对象的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310507825.1A Pending CN117784387A (zh) 2018-10-19 2019-09-26 用于自动映射基板上的流动对象的方法和系统

Country Status (7)

Country Link
US (5) US10481379B1 (zh)
EP (1) EP3867686A4 (zh)
JP (2) JP7226852B2 (zh)
KR (1) KR102706113B1 (zh)
CN (2) CN117784387A (zh)
TW (2) TWI833822B (zh)
WO (1) WO2020081211A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169852B1 (en) * 2018-07-03 2019-01-01 Nanotronics Imaging, Inc. Systems, devices, and methods for providing feedback on and improving the accuracy of super-resolution imaging
US10481379B1 (en) 2018-10-19 2019-11-19 Nanotronics Imaging, Inc. Method and system for automatically mapping fluid objects on a substrate
JP7506523B2 (ja) * 2020-05-20 2024-06-26 株式会社エビデント 顕微鏡システム、制御方法、プログラム
CN111766694A (zh) * 2020-07-20 2020-10-13 深圳市创能亿科科技开发有限公司 显微镜切片位置的采集方法和系统
US11556223B2 (en) * 2020-08-27 2023-01-17 Ebay Inc. Automatic feedback system using visual interactions
US20220327796A1 (en) * 2021-04-12 2022-10-13 Kla Corporation Salient feature point based image alignment

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5153444A (en) * 1988-12-23 1992-10-06 Hitachi, Ltd. Method and apparatus for detecting patterns
US6292582B1 (en) * 1996-05-31 2001-09-18 Lin Youling Method and system for identifying defects in a semiconductor
JPH10335399A (ja) * 1997-06-03 1998-12-18 Advantest Corp 試料処理装置および方法
JP3371764B2 (ja) * 1997-06-27 2003-01-27 株式会社日立製作所 撮像方法及び装置
US6366357B1 (en) * 1998-03-05 2002-04-02 General Scanning, Inc. Method and system for high speed measuring of microscopic targets
JP2000182066A (ja) * 1998-10-07 2000-06-30 Advantest Corp 画像処理装置
JP3812185B2 (ja) * 1998-12-01 2006-08-23 株式会社日立製作所 欠陥分類方法およびその装置
US7904187B2 (en) * 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
JP4526661B2 (ja) * 2000-06-28 2010-08-18 株式会社日立製作所 検査装置および検査方法
JP2002076071A (ja) * 2000-08-25 2002-03-15 Matsushita Electric Ind Co Ltd 部品実装部の信頼性評価方法および信頼性評価装置
US7248716B2 (en) * 2001-07-06 2007-07-24 Palantyr Research, Llc Imaging system, methodology, and applications employing reciprocal space optical design
EP1506395A2 (en) * 2002-05-10 2005-02-16 Phase-1 Molecular Toxicology Inc. Liver inflammation predictive genes
JP2003339659A (ja) * 2002-05-23 2003-12-02 Hitachi Ltd 超電導磁気シールド装置
US9955551B2 (en) * 2002-07-12 2018-04-24 Yechezkal Evan Spero Detector controlled illuminating system
TWI227814B (en) * 2002-09-20 2005-02-11 Asml Netherlands Bv Alignment system and methods for lithographic systems using at least two wavelengths
US8712118B2 (en) * 2003-04-10 2014-04-29 Carl Zeiss Microimaging Gmbh Automated measurement of concentration and/or amount in a biological sample
TWI254792B (en) * 2003-07-01 2006-05-11 Au Optronics Corp Detecting method and device of laser crystalline silicon
US20050031188A1 (en) * 2003-08-10 2005-02-10 Luu Victor Van Systems and methods for characterizing a sample
JP4842533B2 (ja) * 2004-10-27 2011-12-21 株式会社日立ハイテクノロジーズ 不良検査装置
JP2006238802A (ja) * 2005-03-03 2006-09-14 Olympus Corp 細胞観察装置、細胞観察方法、顕微鏡システム、及び細胞観察プログラム
RU2305270C2 (ru) * 2005-05-18 2007-08-27 Андрей Алексеевич Климов Способ флуоресцентной наноскопии (варианты)
JP4537277B2 (ja) * 2005-07-08 2010-09-01 株式会社日立ハイテクノロジーズ 半導体検査装置
US7538564B2 (en) * 2005-10-18 2009-05-26 Gsi Group Corporation Methods and apparatus for utilizing an optical reference
US7676077B2 (en) * 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
DE112006003790A5 (de) * 2006-01-04 2008-12-04 Jpk Instruments Ag Verfahren zum Betreiben eines Messsystems mit einem Rastersondenmikroskop und Messsystem
JP4908934B2 (ja) * 2006-06-08 2012-04-04 株式会社日立ハイテクノロジーズ 半導体ウェーハ検査装置および半導体ウェーハ検査方法
US8392418B2 (en) * 2009-06-25 2013-03-05 University Of Tennessee Research Foundation Method and apparatus for predicting object properties and events using similarity-based information retrieval and model
US8396582B2 (en) * 2008-03-08 2013-03-12 Tokyo Electron Limited Method and apparatus for self-learning and self-improving a semiconductor manufacturing tool
DE102008041821A1 (de) * 2008-09-04 2010-03-11 Leica Microsystems (Schweiz) Ag Videoadapter für eine Mikroskopkamera
JP2010079221A (ja) * 2008-09-29 2010-04-08 Olympus Corp 生体観察装置
US8373113B2 (en) * 2008-11-05 2013-02-12 Hitachi High-Technologies Corporation Calibration standard member, method for manufacturing the member and scanning electronic microscope using the member
US8488863B2 (en) * 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
JP5301970B2 (ja) * 2008-12-08 2013-09-25 オリンパス株式会社 顕微鏡用デジタルカメラシステム及び顕微鏡システム
JP5152077B2 (ja) * 2009-04-01 2013-02-27 ソニー株式会社 生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システム
US8729470B2 (en) * 2009-06-14 2014-05-20 DLA Instruments Electron microscope with an emitter operating in medium vacuum
US9995766B2 (en) * 2009-06-16 2018-06-12 The Regents Of The University Of California Methods and systems for measuring a property of a macromolecule
JP5091976B2 (ja) * 2010-04-09 2012-12-05 株式会社東芝 映像表示装置、映像表示方法及び映像表示プログラム
WO2012035504A1 (en) * 2010-09-14 2012-03-22 Ramot At Tel-Aviv University Ltd. Cell occupancy measurement
JP2012237566A (ja) * 2011-05-10 2012-12-06 Hitachi High-Technologies Corp 欠陥観察方法及びその装置
KR20130035061A (ko) 2011-09-29 2013-04-08 삼성전기주식회사 솔더볼 검사장치
JP5894854B2 (ja) * 2012-05-11 2016-03-30 株式会社日立ハイテクノロジーズ 検査装置
JP5608209B2 (ja) * 2012-11-28 2014-10-15 株式会社日立ハイテクノロジーズ 欠陥レビュー装置
JP6194450B2 (ja) * 2013-04-15 2017-09-13 株式会社メガチップス 状態推定装置、プログラムおよび集積回路
JP6070420B2 (ja) 2013-05-31 2017-02-01 富士ゼロックス株式会社 画像処理装置及びプログラム
JP2015031831A (ja) 2013-08-02 2015-02-16 オリンパス株式会社 細胞追跡装置及び方法、細胞追跡プログラム
US9263233B2 (en) * 2013-09-29 2016-02-16 Carl Zeiss Microscopy Gmbh Charged particle multi-beam inspection system and method of operating the same
JP6253368B2 (ja) * 2013-11-25 2017-12-27 キヤノン株式会社 三次元形状計測装置およびその制御方法
US10290092B2 (en) * 2014-05-15 2019-05-14 Applied Materials Israel, Ltd System, a method and a computer program product for fitting based defect detection
CN106463434B (zh) * 2014-06-10 2020-12-22 Asml荷兰有限公司 计算晶片检验
US10325057B2 (en) * 2015-08-17 2019-06-18 Amber Precision Instruments, Inc. Using computer-aided design layout in scanning system
US10186028B2 (en) * 2015-12-09 2019-01-22 Kla-Tencor Corporation Defect signal to noise enhancement by reducing die to die process noise
JP6643072B2 (ja) * 2015-12-10 2020-02-12 キヤノン株式会社 顕微鏡システムおよびその制御方法
WO2017145172A1 (en) * 2016-02-23 2017-08-31 Sigtuple Technologies Private Limited System and method for extraction and analysis of samples under a microscope
CN109310328B (zh) * 2016-03-25 2022-05-17 统雷有限公司 用于3d测量应用的mems可调vcsel驱动的扫频光源oct
US10712738B2 (en) * 2016-05-09 2020-07-14 Strong Force Iot Portfolio 2016, Llc Methods and systems for industrial internet of things data collection for vibration sensitive equipment
US10085162B2 (en) * 2016-07-22 2018-09-25 Ets-Lindgren, Inc. System and method for over-the-air testing of milli-meter wave and other beamforming technologies
US10799998B2 (en) * 2016-10-17 2020-10-13 Virtek Vision International Ulc Laser projector with flash alignment
CN110088797B (zh) * 2016-12-19 2023-04-21 株式会社安川电机 工业设备图像识别处理器及控制器
US10048477B1 (en) * 2017-02-10 2018-08-14 Nanotronics Imaging, Inc. Camera and specimen alignment to facilitate large area imaging in microscopy
US10333632B2 (en) * 2017-04-03 2019-06-25 Ets-Lindgren, Inc. Method and system for testing beam forming capabilities of wireless devices
US10311573B2 (en) * 2017-05-02 2019-06-04 Techcyte, Inc. Training and machine learning classification of mold in digital microscopy images
CA3213179A1 (en) * 2017-08-09 2019-02-14 Allen Institute Systems, devices, and methods for image processing to generate an image having predictive tagging
EP3811287A2 (en) * 2018-06-19 2021-04-28 MetaSystems Hard & Software GmbH System and method for detection and classification of objects of interest in microscope images by supervised machine learning
US10169852B1 (en) * 2018-07-03 2019-01-01 Nanotronics Imaging, Inc. Systems, devices, and methods for providing feedback on and improving the accuracy of super-resolution imaging
US10481379B1 (en) 2018-10-19 2019-11-19 Nanotronics Imaging, Inc. Method and system for automatically mapping fluid objects on a substrate

Also Published As

Publication number Publication date
EP3867686A4 (en) 2022-08-17
CN117784387A (zh) 2024-03-29
TWI833822B (zh) 2024-03-01
TW202028802A (zh) 2020-08-01
US10809516B2 (en) 2020-10-20
EP3867686A1 (en) 2021-08-25
US11333876B2 (en) 2022-05-17
TW202422151A (zh) 2024-06-01
JP7226852B2 (ja) 2023-02-21
US20200124837A1 (en) 2020-04-23
CN112912783A (zh) 2021-06-04
WO2020081211A1 (en) 2020-04-23
JP2022502796A (ja) 2022-01-11
JP2023052869A (ja) 2023-04-12
US10481379B1 (en) 2019-11-19
US20220276481A1 (en) 2022-09-01
KR102706113B1 (ko) 2024-09-12
US20240160002A1 (en) 2024-05-16
US11815673B2 (en) 2023-11-14
US20210026125A1 (en) 2021-01-28
KR20210077735A (ko) 2021-06-25
JP7553978B2 (ja) 2024-09-19

Similar Documents

Publication Publication Date Title
CN112912783B (zh) 用于自动映射基板上的流动对象的方法和系统
US10789695B2 (en) Systems, devices, and methods for providing feedback on and improving the accuracy of super-resolution imaging
US11754392B2 (en) Distance determination of a sample plane in a microscope system
EP3864578B1 (en) Macro inspection systems, apparatus and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant