CN112525078B - 三维量测装置与其操作方法 - Google Patents

三维量测装置与其操作方法 Download PDF

Info

Publication number
CN112525078B
CN112525078B CN202010022455.9A CN202010022455A CN112525078B CN 112525078 B CN112525078 B CN 112525078B CN 202010022455 A CN202010022455 A CN 202010022455A CN 112525078 B CN112525078 B CN 112525078B
Authority
CN
China
Prior art keywords
light
phase
images
region
image capturing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010022455.9A
Other languages
English (en)
Other versions
CN112525078A (zh
Inventor
卓嘉弘
张柏毅
顾逸霞
庄凯评
刘志祥
杨富程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN112525078A publication Critical patent/CN112525078A/zh
Application granted granted Critical
Publication of CN112525078B publication Critical patent/CN112525078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2527Projection by scanning of the object with phase change by in-plane movement of the patern
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2522Projection by scanning of the object the position of the object changing and being recorded
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种三维量测装置与其操作方法,三维量测装置包括移动装置、投影装置、面型取像装置与处理装置。移动装置承载物体,并将物体移动至多个位置。投影装置产生第一光至物体。面型取像装置于每一位置上,感测物体因应于第一光而产生的第二光,以产生相位影像。处理装置耦接面型取像装置,接收相位影像,并将相位影像进行感兴趣区域处理,以产生多个感兴趣区域影像,且将感兴趣区域影像透过多步相位移法处理,以计算物体的表面高度分布。

Description

三维量测装置与其操作方法
技术领域
本发明关于一种量测装置,特别是关于一种三维量测装置与其操作方法。
背景技术
由于技术的发展演进,使得半导体朝向微小化制程技术发展,其主要目的在于缩短线路并同时提高晶体管密度。在元件堆叠的过程中,制程中采用大量的微凸块(bump)用来作为上下层电讯号导通的接点。倘若微凸块过大或过小,都会使得后端电子元件的信号传递效果不佳,所以检测微凸块高度便显得相当重要。目前,微凸块高度已从过去的数百微米降至数十微米,未来高度会朝向更低发展。
然而,由于目前量测技术的量测速度较慢,并于量测过程中会产生相位误差而影响量测的准确度,因而无法达到有效的检测目的。因此,如何有效减少相位误差的影响并增加量测准确度及速度将成为一重要议题。
发明内容
本发明提供一种三维量测装置与其操作方法,藉以减少相位误差的影响,并增加对物体的表面高度分布的量测准确度及速度。
本发明提供一种三维量测装置,包括移动装置、投影装置、面型取像装置与处理装置。移动装置承载物体,并将物体移动至多个位置。投影装置产生第一光至物体。面型取像装置于每一位置上,感测物体因应于第一光而产生的第二光,以产生相位影像。处理装置耦接面型取像装置,接收相位影像,并将相位影像进行感兴趣区域处理,以产生多个感兴趣区域影像,且将感兴趣区域影像透过多步相位移法处理,以计算物体的表面高度分布。
本发明另提供一种三维量测装置,包括移动装置、投影装置、线型取像装置与处理装置。移动装置承载物体,并将物体移动至多个位置。投影装置依据调光条件,产生第一光至物体。线型取像装置于每一位置上,感测物体因应于第一光而产生的第二光,以产生相位影像。处理装置耦接线型取像装置,接收相位影像,并将相位影像进行感兴趣区域处理,以产生多个感兴趣区域影像,且将感兴趣区域影像透过多步相位移法处理,以计算物体的表面高度分布。其中,调光条件依据线型取像装置的像素尺寸、线型取像装置的像素间距、线型取像装置的镜头放大倍率、投影装置的镜头放大倍率与第一光和第二光之间的夹角进行调整。
本发明另提供一种三维量测装置的操作方法,包括下列步骤。产生第一光至物体。移动物体至多个位置。于每一位置上,感测物体因应于第一光而产生的第二光,以产生相位影像。接收相位影像,并将相位影像进行感兴趣区域处理,以产生多个感兴趣区域影像,且将感兴趣区域影像透过多步相位移法处理,以计算物体的表面高度分布。
本发明所揭露的三维量测装置与其操作方法,透过产生第一光至物体,并移动物体至多个位置,以及于每一位置上,感测物体因应于第一光而产生的第二光,以产生相位影像。接着,接收相位影像,并将相位影像进行感兴趣区域处理,以产生多个感兴趣区域影像,且将感兴趣区域影像透过多步相位移法处理,以计算物体的表面高度分布。另外,当取像装置为线型取像装置时,投影装置可依据调光条件产生第一光,其中调光条件依据线型取像装置的像素尺寸、线型取像装置的一像素间距、线型取像装置的镜头放大倍率、投影装置的镜头放大倍率与第一光和第二光之间的夹角进行调整。如此一来,可以有效地减少相位误差的影响,并增加对物体的表面高度分布的量测准确度及速度。
附图说明
为了对本发明的上述及其他方面有更佳的了解,下文特举实施例,并配合所附附图详细说明如下:
图1A为依据本发明的一实施例的的三维量测装置的示意图;
图1B为依据本发明的另一实施例的三维量测装置的示意图;
图2A、图2B与图2C为依据本发明的一实施例的移动装置移动物体的示意图;
图3为依据本发明的一实施例的面型取像装置所取得的相位影像与感兴趣区域影像的对应关系示意图;
图4A为依据本发明的另一实施例的的三维量测装置的示意图;
图4B为依据本发明的另一实施例的三维量测装置的示意图;
图5为依据本发明的一实施例的三维量测装置的操作方法的流程图;
图6为依据本发明的一实施例的三维量测装置的操作方法的流程图。
【符号说明】
100、400:三维量测装置
110:移动装置
120、420:投影装置
121:光源
122、421:光调变单元
123:投影镜头
130:面型取像装置
131:取像镜头
132、431:取像单元
140:处理装置
160:物体
170:法线
310_1~310_N、310_1_1~310_N_1、310_1_2~310_N_2、310_1_3~310_N_3:相位影像
430:线型取像装置
I1~I3:感兴趣区域影像
L1:第一光
L2:第二光
PS:像素尺寸
PP:像素间距
θ:夹角
θ1、θ2:角度
S502~S508、S602~S608:步骤
具体实施方式
本说明书的技术用语参照本技术领域的习惯用语,如本说明书对部分用语有加以说明或定义,该部分用语的解释以本说明书的说明或定义为准。本揭露的各个实施例分别具有一或多个技术特征。在可能实施的前提下,本技术领域具有通常知识者可选择性地实施任一实施例中部分或全部的技术特征,或者选择性地将这些实施例中部分或全部的技术特征加以组合。
在以下所列举的各实施例中,将以相同的标号代表相同或相似的元件或组件。
图1A为依据本发明的一实施例的三维量测装置的示意图。图1B为依据本发明的另一实施例的三维量测装置的示意图。请参考图1A及图1B,三维量测装置100包括移动装置110、投影装置120、面型取像装置130与处理装置140。
移动装置110可以承载物体160,并可对物体160进行移动,亦即可将物体160移动至多个不同的位置。在一实施例中,移动装置110可为单轴的移动装置。例如,移动装置110可以在X轴上对物体160进行移动,如图2A所示。或是,移动装置110可以在Y轴上对物体160进行移动,如图2B所示。在另一实施例中,移动装置110可为多轴的移动装置。例如,移动装置110可以在X轴及Y轴上对物体160进行移动,如图2C所示。
投影装置120产生第一光L1至物体160。在本实施例中,投影装置120可以包括光源121、光调变单元122与投影镜头123。光源121用于产生光,其中光源121所产生的光可为可见光或不可见光。进一步来说,光源单元121所产生的光可以为宽频白光、窄波蓝光或红外光等。光调变单元122可以改变光源121所产生的光的光图样。在本实施例中,光调变单元122例如为微阵列透镜、硅基液晶(liquid crystal on silicon,LCOS)或光栅等。投影镜头123具有一镜头放大倍率,且依据镜头放大倍率对上述光图样进行放大,以产生投影至物体160的第一光L1。
面型取像装置130于每一位置上,感测物体160因应于第一光L1而产生的第二光L2,以分别产生相位影像310_1~310_N,如图3所示。其中,N为大于1的正整数。另外,相位影像310_1~310_N分别对应不同位置。举例来说,相位影像310_1为物体160于位置1上时面型取像装置130产生的,相位影像310_2为物体160于位置2上时面型取像装置130产生的,其余则类推。在本实施例中,面型取像装置130可以包括取像镜头131与取像单元132。
取像镜头131具有一镜头放大倍率,且依据镜头放大倍率对上述第二光L2进行放大。取像单元132透过取像镜头131接收并感测第二光L2,以产生对应的相位影像310_1~310_N。在本实施例中,取像单元132例如为电荷耦合元件(charge coupled device,CCD)。
处理装置140耦接面型取像装置130。在本实施例中,处理装置140可以是微控制器、微处理器或其他具有资料处理功能的计算装置等。处理装置140接收面型取像装置130所产生的相位影像310_1~310_N。接着,处理装置140将上述相位影像310_1~310_N进行感兴趣区域(region of interest,ROI)处理,以产生多个感兴趣区域影像I1、I2、I3。
举例来说,处理装置140透过感兴趣区域处理,将相位影像310_1~310_N中对应0度、120度及240度的相位角的影像撷取出来,以取得对应0度的相位影像310_1_1~310_N_1、对应120度的相位影像310_1_2~310_N_2及对应240度的相位影像310_1_3~310_N_3。
接着,处理装置140将对应0度的相位影像310_1_1~310_N_1依序排列,以产生对应0度的感兴趣区域影像I1。处理装置140将对应120度的相位影像310_1_2~310_N_2依序排列,以产生对应120度的感兴趣区域影像I2。处理装置140将对应240度的相位影像310_1_3~310_N_3依序排列,以产生对应240度的感兴趣区域影像I3。
之后,处理装置140将感兴趣区域影像I1、I2、I3透过三步相位移法处理,以计算物体160的表面高度分布,亦即物体160的表面的各凸块(bump)的高度。在本实施例中,三步相位移法满足如下公式(1):
Figure BDA0002361292820000051
其中,φ(x,y)为物体160的表面的各凸块的高度,I1为对应0度的感兴趣区域影像,I2为对应120度的感兴趣区域影像,I3为对应240度的感兴趣区域影像。
在本实施例中,感兴趣区域影像I1~I3所对应的相位角的角度(即0度、120度、240度)为本发明的一种实施范例,不用于限制本发明实施例。使用者亦可视其需求调整感兴趣区域影像I1~I3所对应的相位角的角度,例如感兴趣区域影像I1和I2所对应的相位角的差距与感兴趣区域影像I2和I3所对应的相位角的差距相同。
举例来说,在一些实施例中,感兴趣区域影像I1可以对应0度的相位角,感兴趣区域影像I2对应130度的相位角,感兴趣区域影像I3对应260度的相位角。在一些实施例中,感兴趣区域影像I1可以对应0度的相位角,感兴趣区域影像I2对应90度的相位角,感兴趣区域影像I3对应180度的相位角。
在上述实施例中,处理装置140以三步相位移法为例进行说明,但本发明实施例不限于此。以下将列举其他实施例来说明处理装置140的其他操作。亦即,处理装置140取得不同数量的感兴趣区域影像,并透过其他相对应的多步相位移法对感兴趣影像进行处理,计算物体160的表面高度分布。
在一些实施例中,在处理装置140接收面型取像装置130所产生的相位影像310_1~310_N后,处理装置140将上述相位影像310_1~310_N进行感兴趣区域处理,以产生例如感兴趣区域影像I1、I2、I3、I4。
举例来说,处理装置140透过感兴趣区域处理,将相位影像310_1~310_N中对应0度、90度、180度及270度的相位角的影像撷取出来,以取得对应0度的相位影像310_1_1~310_N_1、对应90度的相位影像310_1_2~310_N_2、对应180度的相位影像310_1_3~310_N_3及对应270度的相位影像310_1_4~310_N_4。
接着,处理装置140将对应0度的相位影像310_1_1~310_N_1依序排列,以产生对应0度的感兴趣区域影像I1。处理装置140将对应90度的相位影像310_1_2~310_N_2依序排列,以产生对应90度的感兴趣区域影像I2。处理装置140将对应180度的相位影像310_1_3~310_N_3依序排列,以产生对应180度的感兴趣区域影像I3。处理装置140将对应270度的相位影像310_1_4~310_N_4依序排列,以产生对应270度的感兴趣区域影像I4。另外,本实施例的感兴趣区域影像I1、I2、I3、I4的产生方式可参考图3的实施例的说明,故在此不再赘述。
之后,处理装置140将感兴趣区域影像I1、I2、I3、I4透过四步相位移法处理,以计算物体160的表面高度分布,亦即计算物体160的表面的各凸块的高度。在本实施例,四步相位移法满足如下公式(2):
Figure BDA0002361292820000071
其中,φ(x,y)为物体160的表面的各凸块的高度,I1为对应0度的感兴趣区域影像,I2为对应90度的感兴趣区域影像,I3为对应180度的感兴趣区域影像,I4为对应270度的感兴趣区域影像。
在本实施例中,感兴趣区域影像I1~I4所对应的相位角的角度(即0度、90度、180度、270度)为本发明的一种实施范例,不用于限制本发明实施例。使用者亦可视其需求调整感兴趣区域影像I1~I4所对应的相位角的角度,例如感兴趣区域影像I1和I2所对应的相位角的差距与感兴趣区域影像I2与I3所对应的相位角的差距相同,且感兴趣区域影像I2和I3所对应的相位角的差距与感兴趣区域影像I3与I4所对应的相位角的差距相同。
举例来说,在一些实施例中,感兴趣区域影像I1可以对应0度的相位角,感兴趣区域影像I2对应45度的相位角,感兴趣区域影像I3对应90度的相位角,感兴趣区域影像I4对应135度的相位角。在一些实施例中,感兴趣区域影像I1可以对应0度的相位角,感兴趣区域影像I2对应60度的相位角,感兴趣区域影像I3对应120度的相位角,感兴趣区域影像I4对应180度的相位角。
在一些实施例中,在处理装置140接收面型取像装置130所产生的相位影像310_1~310_N后,处理装置140将上述相位影像310_1~310_N进行感兴趣区域处理,以产生例如感兴趣区域影像I1、I2、I3、I4、I5。
举例来说,处理装置140透过感兴趣区域处理,将相位影像310_1~310_N中对应0度、90度、180度、270度及360度的相位角的影像撷取出来,以取得对应0度的相位影像310_1_1~310_N_1、对应90度的相位影像310_1_2~310_N_2、对应180度的相位影像310_1_3~310_N_3、对应270度的相位影像310_1_4~310_N_4及对应360度的相位影像310_1_5~310_N_5。
接着,处理装置140将对应0度的相位影像310_1_1~310_N_1依序排列,以产生对应0度的感兴趣区域影像I1。处理装置140将对应90度的相位影像310_1_2~310_N_2依序排列,以产生对应90度的感兴趣区域影像I2。处理装置140将对应180度的相位影像310_1_3~310_N_3依序排列,以产生对应180度的感兴趣区域影像I3。
处理装置140将对应270度的相位影像310_1_4~310_N_4依序排列,以产生对应270度的感兴趣区域影像I4。处理装置140将对应360度的相位影像310_1_5~310_N_5依序排列,以产生对应360度的感兴趣区域影像I5。另外,本实施例的感兴趣区域影像I1、I2、I3、I4、I5的产生方式可参考图3的实施例的说明,故在此不再赘述。
之后,处理装置140将感兴趣区域影像I1、I2、I3、I4、I5透过五步相位移法处理,以计算物体160的表面高度分布,亦即物体160的表面的各凸块的高度。在本实施例,五步相位移法满足如下公式(3):
Figure BDA0002361292820000081
其中,φ(x,y)为物体160的表面的各凸块的高度,I1为对应0度的感兴趣区域影像,I2为对应90度的感兴趣区域影像,I3为对应180度的感兴趣区域影像,I4为对应270度的感兴趣区域影像,I5为对应360度的感兴趣区域影像。
在本实施例中,感兴趣区域影像I1~I5所对应的相位角的角度(即0度、90度、180度、270度、360度)为本发明的一种实施范例,不用于限制本发明实施例。使用者亦可视其需求调整感兴趣区域影像I1~I5所对应的相位角的角度,例如感兴趣区域影像I1和I2所对应的相位角的差距与感兴趣区域影像I2与I3所对应的相位角的差距相同,感兴趣区域影像I2和I3所对应的相位角的差距与感兴趣区域影像I3与I4所对应的相位角的差距相同,且感兴趣区域影像I3和I4所对应的相位角的差距与感兴趣区域影像I4与I5所对应的相位角的差距相同。
举例来说,在一些实施例中,感兴趣区域影像I1可以对应0度的相位角,感兴趣区域影像I2对应45度的相位角,感兴趣区域影像I3对应90度的相位角,感兴趣区域影像I4对应135度的相位角,感兴趣区域影像I5对应180度的相位角。在一些实施例中,感兴趣区域影像I1可以对应0度的相位角,感兴趣区域影像I2对应60度的相位角,感兴趣区域影像I3对应120度的相位角,感兴趣区域影像I4对应180度的相位角,感兴趣区域影像I5对应240度的相位角。
由上述实施例的说明,本发明实施例透过处理装置140对面型取像装置130所取得的相位影像进行处理,以产生感兴趣区域影像,再利用对应的多步相位移法对感兴趣区域影像进行处理,以产生物体160的表面高度分布。如此一来,可以有效地减少相位误差的影响,并增加对物体160的表面高度分布的量测准确度及速度。
另外,在一实施例中,当物体160为镜面物体(例如晶圆(wafer))时,第一光L1的角度θ1与第二光L2的角度θ2相等(如图1A所示),其中第一光L1为入射光,第二光L2为反射光,角度θ1为第一光L1与法线170之间的夹角,角度θ2为第二光L2与法线170之间的夹角。也就是说,三维量测装置100可以对晶圆的表面的凸块的高度进行量测。
在另一实施例中,当物体160为非镜面物体(例如印刷电路板(printed circuitboard,PCB))时,第一光L1的角度θ1与第二光L2的角度θ2(图未示,由于第二光L2与法线170重叠,则θ2=0度)不相等(如图1B所示),其中第一光L1为入射光,第二光L2为散射光。也就是说,三维量测装置100可以对印刷电路板的表面的凸块的高度进行量测。
此外,图1B所示的第一光L1的角度θ1与第二光L2的角度θ2不相等的方式仅为本发明的一种实施范例,不用于限制本发明实施例。使用者亦可对投影装置120及面型取像装置130的位置进行调整,使得第一光L1的角度θ1与第二光L2的角度θ2不相等,都可达到相同的效果。
在一实施例中,移动装置110每次移动物体160的距离关联于面型取像装置130的像素尺寸与镜头放大倍率。进一步来说,上述距离例如为像素尺寸除以镜头放大倍率。举例来说,假设像素尺寸例如为10um,镜头放大倍率为2倍,则上述距离为5um。也就是说,移动装置110每次移动物体160的距离为5um。假设像素尺寸例如为20um,镜头放大倍率为2倍,则上述距离为10um。也就是说,移动装置110每次移动物体160的距离为10um。其他的移动距离可参考如上的说明,故在此不再赘述。
在一实施例中,上述相位影像310_1~310_N的数量与物体160的尺寸相关联。举例来说,假设物体160的尺寸例如为45um,移动装置110每次移动物体160的距离为5um,则移动装置110移动物体160的次数为9次(45/5=9),且上述相位影像310_1~310_N的数量为9张相位影像。
假设物体160的尺寸例如为100um,上述距离为5um,则移动装置110移动物体160的总次数为20次(100/5=20),且上述相位影像310_1~310_N的数量为20张相位影像。其他的相位影像的数量与物体160的尺寸相关联的关系可参考如上的说明,故在此不再赘述。
在上述实施例中,移动装置110每次移动物体160的距离为一固定距离(例如为5um),亦即移动装置110对物体160进行逐点移动,使得三维量测装置100对物体160进行逐点扫描,以扫描物体160的全部三维形貌。但本发明不限于此,移动装置110每次移动物体160的距离可为固定距离或不为固定距离,亦即移动装置110对物体160进行跳点移动,使得三维量测装置100对物体160进行跳点扫描,以扫描物体160的特定点高度。
举例来说,移动装置110移动物体160的距离例如依序为5um、10um、15um、10um、5um等。另外,移动装置110移动物体160的距离例如依序为5um、5um、10um、10um、5um等。此外,移动装置110移动物体160的距离例如依序为5um、10um、5um、10um、5um等。其他距离的移动方式可参考如上的说明,故在此不再赘述。
图4A为依据本发明的另一实施例的三维量测装置的示意图。图4B为依据本发明的另一实施例的三维量测装置的示意图。请参考图4A及图4B,三维量测装置400包括移动装置110、投影装置420、线型取像装置430与处理装置140。在本实施例中,移动装置110和处理装置140与图1A和图1B的移动装置110和处理装置140相同或相似,可参考图1A和图1B的实施例的说明,故在此不再赘述。
投影装置420依据调光条件,产生第一光L1至物体160。在本实施例中,投影装置420可以包括光源121、光调变单元421与投影镜头123。其中,光源121和投影镜头123与图1A和图1B的光源121和投影镜头123相同或相似,故可参考图1A和图1B的实施例的说明,故在此不再赘述。
线型取像装置430于每一位置上,感测物体160因应于第一光L1而产生的第二光L2,以产生对应于每一位置的相位影像310_1~310_N,如图3所示。另外,相位影像310_1~310_N分别对应不同位置。举例来说,相位影像310_1为物体160于位置1上时线型取像装置430产生的,相位影像310_2为物体160于位置2上时线型取像装置430产生的,其余则类推。在本实施例中,线型取像装置430可以包括取像镜头131与取像单元431。其中,取像镜头131与图1A和图1B的取像镜头131相同或相似,故可参考图1A和图1B的实施例的说明,故在此不再赘述。
在本实施例中,光调变单元421也例如为微阵列透镜、硅基液晶(liquid crystalon silicon,LCOS)或光栅。另外,光调变单元421可以依据调光条件改变光源121所产生的光的光图样。在本实施例中,调光条件例如依据线型取像装置430的像素尺寸(pixel size)PS、线型取像装置430的像素间距(pixel pitch)PP、线型取像装置430的镜头放大倍率(亦即取像镜头131的镜头放大倍率)、投影装置420的镜头放大倍率(亦即投影镜头123的镜头放大倍率)与第一光L1和第二光L2之间的夹角θ进行调整。
取像单元431接收并感测第二光L2,以产生多个对应的相位影像,例如分别对应0度、120度与240度的相位影像。在本实施例中,取像单元431例如为多线电荷耦合元件(例如三线电荷耦合元件)。另外,透过上述调光条件所产生的第一光L1,使得第二光L2可以在不同的角度与取像单元431的取像相位相对应。也就是说,第二光L2可以与取像单元431的取像角度(即0度、120度与240度),使得取像单元431可以有效地产生对应0度、120度与240度的相位影像。如此,可以减少相位误差并增加量测上的准确度。
接着,处理装置140可以将线型取像装置430所取得的对应0度、120度与240度的相位影像进行感兴趣区域处理,以产生多个感兴趣区域影像I1、I2、I3。接着,处理装置140将感兴趣区域影像I1、I2、I3透过三步相位移法处理,以计算物体160的表面高度分布。另外,处理装置140对上述相位影像的处理方式可以参考如上图3的实施例的说明,故在此不再赘述。
在上述实施例中,取像单元431为三线电荷耦合元件,且处理装置140以三步相位移法对取像单元431所产生的相位影像进行处理,但本发明实施例不限于此。另外,取像单元431的取像角度所对应的0度、120度与240度的相位角为本发明的一种实施范例,不用于限制本发明实施例。使用者亦可视其需求调整取像单元431的取像角度。举例来说,取像单元431的取像角度可以对应0度、130度与260度的相位角。在一些实施例中,取像单元431的取像角度可以对应0度、90度与180度的相位角。
在一些实施例中,取像单元431可以为四线电荷耦合元件,且处理装置140可以四步相位移法对取像单元431所产生的相位影像进行处理,可以参考如上有关四步相位移法的实施例的说明,故在此不再赘述。另外,取像单元431的取像角度可以对应的0度、90度、180度、270度的相位角,但不用于限制本发明实施例。使用者亦可视其需求调整取像单元431的取像角度。举例来说,取像单元431的取像角度可以对应0度、45度、90度与135度的相位角。在一些实施例中,取像单元431的取像角度可以对应0度、60度、120度与180度的相位角。
在一些实施例中,取像单元431也可以为五线电荷耦合元件,且处理装置140可以五步相位移法对取像单元431所产生的相位影像进行处理,可以参考如上有关五步相位移法的实施例的说明,故在此不再赘述。另外,取像单元431的取像角度可以对应的0度、90度、180度、270度及360度的相位角,但不用于限制本发明实施例。使用者亦可视其需求调整取像单元431的取像角度。举例来说,取像单元431的取像角度可以对应0度、45度、90度、135度与180度的相位角。在一些实施例中,取像单元431的取像角度可以对应0度、60度、120度、180度与240度的相位角。
由上述实施例的说明,本发明实施例透过投影装置420依据调光条件产生第一光L1,使得物体160因应于第一光L2而产生的第二光L2可以与线型取像装置的取像单元431的取像相位相对应。接着,透过处理装置140对线型取像装置130所取得的相位影像进行处理,以产生感兴趣区域影像,再利用对应的多步相位移法对感兴趣区域影像进行处理,以产生物体160的表面高度分布。如此一来,可以有效地减少相位误差的影响,并增加对物体160的表面高度分布的量测准确度及速度。
另外,在一实施例中,当物体160为镜面物体(例如晶圆)时,第一光L1的角度θ1与第二光L2的角度θ2相等(如图4A所示),其中第一光L1为入射光,第二光L2为反射光,第一光L1的角度θ1为第一光L1与法线170之间的夹角,第二光L2的角度θ2为第二光L2与法线170之间的夹角。也就是说,三维量测装置400可以对晶圆的表面的凸块的高度进行量测。
在另一实施例中,当物体160为非镜面物体(例如印刷电路板)时,第一光L1的角度θ1与第二光L2的角度θ2(图未示,由于第二光L2与法线170重叠,则第二光L2的角度θ2=0度)不相等(如图4B所示),其中第一光L1为入射光,第二光L2为散射光。也就是说,三维量测装置400可以对印刷电路板的表面的凸块的高度进行量测。
此外,图4B所示的第一光L1的角度θ1与第二光L2的角度θ2不相等的方式仅为本发明的一种实施范例,不用于限制本发明实施例。使用者亦可对投影装置420及线型取像装置430的位置进行调整,使得第一光L1的角度θ1与第二光L2的角度θ2不相等,都可达到相同的效果。
在一实施例中,移动装置110每次移动物体160的距离关联于线型取像装置430的像素尺寸与镜头放大倍率。另外,每次移动物体160的距离可参考如上实施例的说明,故在此不再赘述。
在一实施例中,移动装置110每次移动物体160的距离可为固定距离,使得三维量测装置400对物体160进行逐点扫描,以扫描物体160的全部三维形貌。在另一实施例中,移动装置110每次移动物体160的距离可为固定距离或不为固定距离,使得三维量测装置400对物体160进行跳点扫描,以扫描物体160的特定点高度。另外,三维量测装置400的移动装置110的说明可参考如上实施例的说明,故在此不再赘述。
在一实施例中,线型取像装置430所产生的相位影像的数量与物体160的尺寸相关联。另外,相位影像的数量与物体160的尺寸的说明可参考如上实施例的说明,故在此不再赘述。
图5为依据本发明的一实施例的三维量测装置的操作方法的流程图。在步骤S502中,产生第一光至物体。在步骤S504中,移动物体至多个位置。在步骤S506中,于每一位置上,感测物体因应于第一光而产生的第二光,以产生相位影像。在步骤S508中,接收相位影像,并将相位影像进行感兴趣区域处理,以产生多个感兴趣区域影像,且将感兴趣区域影像透过多步相位移法处理,以计算物体的表面高度分布。
在本实施例中,当物体为镜面物体时,第一光的角度与第二光的角度相等,其中第一光为入射光,第二光为反射光。当物体为非镜面物体时,第一光的角度与第二光的角度不相等,其中第一光为入射光,第二光为散射光。每次移动物体的距离关联于取像装置的像素尺寸与一镜头放大倍率。上述相位影像的数量与物体的尺寸相关联。
图6为依据本发明的另一实施例的三维量测装置的操作方法的流程图。在步骤S602中,依据调光条件,产生第一光至物体,其中调光条件依据线型取像装置的像素尺寸、线型取像装置的像素间距、线型取像装置的镜头放大倍率、投影装置的镜头放大倍率与第一光和第二光之间的夹角进行调整。
在步骤S604中,移动物体至多个位置。在步骤S606中,于每一位置上,感测物体因应于第一光而产生的第二光,以产生相位影像。在步骤S608中,接收相位影像,并将相位影像进行感兴趣区域处理,以产生多个感兴趣区域影像,且将感兴趣区域影像透过多步相位移法处理,以计算物体的表面高度分布。
在本实施例中,当物体为镜面物体时,第一光的角度与第二光的角度相等,其中第一光为入射光,第二光为反射光。当物体为非镜面物体时,第一光的角度与第二光的角度不相等,其中第一光为入射光,第二光为散射光。每次移动物体的距离关联于取像装置的像素尺寸与一镜头放大倍率。上述相位影像的数量与物体的尺寸相关联。
综上所述,本发明所揭露的三维量测装置与其操作方法,透过产生第一光至物体,并移动物体至多个位置,以及于每一位置感测物体因应于第一光而产生的第二光,以产生相位影像接着,接收相位影像,并将相位影像进行感兴趣区域处理,以产生多个感兴趣区域影像,且将感兴趣区域影像透过多步相位移法处理,以计算物体的表面高度分布。
进一步来说,当取像装置为线型取像装置时,投影装置可依据调光条件产生第一光,其中调光条件依据线型取像装置的像素尺寸、线型取像装置的像素间距、线型取像装置的镜头放大倍率、投影装置的镜头放大倍率与第一光和第二光之间的夹角进行调整,使得物体因应于第一光而产生的第二光可以与线型取像装置的取像相位相对应。如此一来,可以有效地减少相位误差的影响,并增加对物体的表面高度分布的量测准确度及速度。
本发明虽以实施例揭露如上,然其并非用以限定本发明的范围,任何所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可做些许的更动与润饰,因此本发明的保护范围当视所附的权利要求书所界定的范围为准。

Claims (16)

1.一种三维量测装置,其特征在于,包括:
一移动装置,承载一物体,并将该物体移动至多个位置;
一投影装置,产生一第一光至该物体;
一面型取像装置,于每一所述位置上,感测该物体因应于该第一光而产生的一第二光,以产生一相位影像;以及
一处理装置,耦接该面型取像装置,接收该些相位影像,并将该些相位影像进行一感兴趣区域处理,以产生多个感兴趣区域影像,且将该些感兴趣区域影像透过一多步相位移法处理,以计算该物体的一表面高度分布;
其中,该处理装置透过该感兴趣区域处理,将该些相位影像中对应多个角度的相位角的影像撷取出来,以取得对应各个角度的该些相位影像,并将对应各个角度的该些相位影像依序排列,以产生对应各个角度的该些感兴趣区域影像。
2.根据权利要求1所述的三维量测装置,其特征在于,该第一光的角度与该第二光的角度相等,该第一光为一入射光,该第二光为一反射光。
3.根据权利要求1所述的三维量测装置,其特征在于,该第一光的角度与该第二光的角度不相等,该第一光为一入射光,该第二光为一散射光。
4.根据权利要求1所述的三维量测装置,其特征在于,该移动装置每次移动该物体的一距离关联于该面型取像装置的一像素尺寸与一镜头放大倍率。
5.根据权利要求1所述的三维量测装置,其特征在于,该些相位影像的数量与该物体的尺寸相关联。
6.一种三维量测装置,其特征在于,包括:
一移动装置,承载一物体,并将物体移动至多个位置;
一投影装置,依据一调光条件,产生一第一光至该物体;
一线型取像装置,于每一所述位置上,感测该物体因应于该第一光而产生的一第二光,以产生一相位影像;以及
一处理装置,耦接该线型取像装置,接收该些相位影像,并将该些相位影像进行一感兴趣区域处理,以产生多个感兴趣区域影像,且将该些感兴趣区域影像透过一多步相位移法处理,以计算该物体的一表面高度分布;
其中,该调光条件依据该线型取像装置的一像素尺寸、该线型取像装置的一像素间距、该线型取像装置的一镜头放大倍率、该投影装置的一镜头放大倍率与该第一光和该第二光之间的夹角进行调整;
其中,该处理装置透过该感兴趣区域处理,将该些相位影像中对应多个角度的相位角的影像撷取出来,以取得对应各个角度的该些相位影像,并将对应各个角度的该些相位影像依序排列,以产生对应各个角度的该些感兴趣区域影像。
7.根据权利要求6所述的三维量测装置,其特征在于,该第一光的角度与该第二光的角度相等,该第一光为一入射光,该第二光为一反射光。
8.根据权利要求6所述的三维量测装置,其特征在于,该第一光的角度与该第二光的角度不相等,该第一光为一入射光,该第二光为一散射光。
9.根据权利要求6所述的三维量测装置,其特征在于,该移动装置每次移动该物体的一距离关联于该线型取像装置的该像素尺寸与该镜头放大倍率。
10.根据权利要求6所述的三维量测装置,其特征在于,该些相位影像的数量与该物体的尺寸相关联。
11.一种三维量测装置的操作方法,其特征在于,包括:
产生一第一光至一物体;
移动该物体至多个位置;
于每一所述位置上,感测该物体因应于该第一光而产生的一第二光,以产生一相位影像;以及
接收该些相位影像,并将该些相位影像进行一感兴趣区域处理,以产生多个感兴趣区域影像,且将该些感兴趣区域影像透过一多步相位移法处理,以计算该物体的一表面高度分布;
其中,将该些相位影像进行该感兴趣区域处理,以产生该些感兴趣区域影像包括:
透过该感兴趣区域处理,将该些相位影像中对应多个角度的相位角的影像撷取出来,以取得对应各个角度的该些相位影像;以及
将对应各个角度的该些相位影像依序排列,以产生对应各个角度的该些感兴趣区域影像。
12.根据权利要求11所述的三维量测装置的操作方法,其特征在于,该第一光的角度与该第二光的角度相等,该第一光为一入射光,该第二光为一散射光。
13.根据权利要求11所述的三维量测装置的操作方法,其特征在于,该第一光的角度与该第二光的角度不相等,该第一光为一入射光,该第二光为一散射光。
14.根据权利要求11所述的三维量测装置的操作方法,其特征在于,每次移动该物体的一距离关联于一取像装置的一像素尺寸与一镜头放大倍率。
15.根据权利要求11所述的三维量测装置的操作方法,其特征在于,该些相位影像的数量与该物体的尺寸相关联。
16.根据权利要求11所述的三维量测装置的操作方法,其特征在于,产生该第一光至该物体的步骤包括:
依据一调光条件,产生该第一光至该物体;
其中该调光条件依据一线型取像装置的一像素尺寸、该线型取像装置的一像素间距、该线型取像装置的一镜头放大倍率、一投影装置的一镜头放大倍率与该第一光和该第二光之间的夹角进行调整。
CN202010022455.9A 2019-09-18 2020-01-09 三维量测装置与其操作方法 Active CN112525078B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108133526 2019-09-18
TW108133526A TWI735953B (zh) 2019-09-18 2019-09-18 三維量測裝置與其操作方法

Publications (2)

Publication Number Publication Date
CN112525078A CN112525078A (zh) 2021-03-19
CN112525078B true CN112525078B (zh) 2022-08-16

Family

ID=74868959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010022455.9A Active CN112525078B (zh) 2019-09-18 2020-01-09 三维量测装置与其操作方法

Country Status (3)

Country Link
US (1) US11248903B2 (zh)
CN (1) CN112525078B (zh)
TW (1) TWI735953B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3134448B1 (fr) * 2022-04-11 2024-04-12 Insidix Procédé de mesure topographique et machine de mesure topographique

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5881123A (en) * 1998-03-31 1999-03-09 Siemens Corporate Research, Inc. Simplified cone beam image reconstruction using 3D backprojection
TW201301078A (zh) * 2011-06-23 2013-01-01 Sonix Technology Co Ltd 體感偵測方法
TW201300725A (zh) * 2011-06-17 2013-01-01 Sonix Technology Co Ltd 體感偵測裝置
CN104677307A (zh) * 2013-12-02 2015-06-03 财团法人工业技术研究院 结合三维及二维形貌的量测方法及装置
CN108627512A (zh) * 2017-03-24 2018-10-09 德律科技股份有限公司 三维检测装置以及用于三维检测的方法
CN109510948A (zh) * 2018-09-30 2019-03-22 先临三维科技股份有限公司 曝光调整方法、装置、计算机设备和存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5646733A (en) 1996-01-29 1997-07-08 Medar, Inc. Scanning phase measuring method and system for an object at a vision station
US6501554B1 (en) * 2000-06-20 2002-12-31 Ppt Vision, Inc. 3D scanner and method for measuring heights and angles of manufactured parts
TW580556B (en) 2002-11-22 2004-03-21 Ind Tech Res Inst Method and system for measuring the three-dimensional appearance of an object surface
CN1508514A (zh) 2002-12-17 2004-06-30 财团法人工业技术研究院 物体表面三维形貌量测方法和系统
JP2006003212A (ja) 2004-06-17 2006-01-05 Konica Minolta Sensing Inc 位相計測システム
JP2007114071A (ja) 2005-10-20 2007-05-10 Omron Corp 三次元形状計測装置、プログラム、コンピュータ読み取り可能な記録媒体、及び三次元形状計測方法
CN1945204A (zh) * 2006-10-19 2007-04-11 上海大学 镜面物体表面三维轮廓测量装置和方法
DE102010030859B4 (de) * 2009-07-03 2019-01-24 Koh Young Technology Inc. Verfahren zum Untersuchen eines auf einem Substrat montierten Messobjektes
JP2011182933A (ja) * 2010-03-08 2011-09-22 Toshiba Corp 超音波診断装置及び関心領域設定用制御プログラム
CN102506711B (zh) * 2011-11-01 2013-07-17 江南大学 线激光视觉三维旋转扫描方法
US9163936B1 (en) 2012-05-07 2015-10-20 Physical Optics Corporation Three-dimensional profilometer
DE102012104282A1 (de) 2012-05-16 2013-11-21 Isra Vision Ag Verfahren und Vorrichtung zur Inspektion von Oberflächen eines untersuchten Objekts
JP6184289B2 (ja) * 2013-10-17 2017-08-23 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法、三次元画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP5582267B1 (ja) * 2014-01-17 2014-09-03 株式会社東光高岳 連続走査型計測装置
US10509977B2 (en) * 2014-03-05 2019-12-17 Sick Ivp Ab Image sensing device and measuring system for providing image data and information on 3D-characteristics of an object
US10482592B2 (en) * 2014-06-13 2019-11-19 Nikon Corporation Shape measuring device, structured object manufacturing system, shape measuring method, structured object manufacturing method, shape measuring program, and recording medium
TWI509216B (zh) * 2014-12-19 2015-11-21 用以取得場景中的深度資訊之裝置與方法
CN106168466B (zh) * 2015-05-21 2019-06-28 财团法人工业技术研究院 全域式影像检测系统及其检测方法
TWI575219B (zh) * 2016-01-06 2017-03-21 國立虎尾科技大學 Measurement method and measuring device of phase - type omni - directional angle deviation microscope
CN106546193B (zh) * 2016-10-12 2020-01-17 上海大学 一种高反射物体表面三维测量方法和系统
EP3538943A1 (en) * 2016-11-08 2019-09-18 Thermo Electron Scientific Instruments LLC System and method of dimensional calibration for an analytical microscope
TWI604411B (zh) 2016-12-21 2017-11-01 光寶電子(廣州)有限公司 基於結構光的曝光控制方法及曝光控制裝置
GB2560190A (en) * 2017-03-03 2018-09-05 Nvtek Electronic Co Ltd A calibration method for a camera which monitors a target board
CN107479015B (zh) * 2017-08-21 2020-07-24 上海联影医疗科技有限公司 磁共振校准扫描序列配置和图像获取的方法及系统
CN108332684A (zh) 2018-04-23 2018-07-27 中国科学院苏州生物医学工程技术研究所 一种基于结构光照明显微技术的三维轮廓测量方法
CN112639622B (zh) * 2018-09-04 2024-03-19 Asml荷兰有限公司 量测设备
CN110230995B (zh) * 2019-05-10 2021-01-05 首都师范大学 一种基于鬼成像的感兴趣区域成像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5881123A (en) * 1998-03-31 1999-03-09 Siemens Corporate Research, Inc. Simplified cone beam image reconstruction using 3D backprojection
TW201300725A (zh) * 2011-06-17 2013-01-01 Sonix Technology Co Ltd 體感偵測裝置
TW201301078A (zh) * 2011-06-23 2013-01-01 Sonix Technology Co Ltd 體感偵測方法
CN104677307A (zh) * 2013-12-02 2015-06-03 财团法人工业技术研究院 结合三维及二维形貌的量测方法及装置
CN108627512A (zh) * 2017-03-24 2018-10-09 德律科技股份有限公司 三维检测装置以及用于三维检测的方法
CN109510948A (zh) * 2018-09-30 2019-03-22 先临三维科技股份有限公司 曝光调整方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US11248903B2 (en) 2022-02-15
CN112525078A (zh) 2021-03-19
US20210080252A1 (en) 2021-03-18
TW202113305A (zh) 2021-04-01
TWI735953B (zh) 2021-08-11

Similar Documents

Publication Publication Date Title
US10126252B2 (en) Enhanced illumination control for three-dimensional imaging
US8548224B2 (en) Method for inspecting measurement object
US20140198185A1 (en) Multi-camera sensor for three-dimensional imaging of a circuit board
US7505033B2 (en) Speckle-based two-dimensional motion tracking
US9341469B2 (en) Continuous scan type measuring apparatus
CN107424186A (zh) 深度信息测量方法及装置
KR20010101576A (ko) 대상체를 검사하기 위한 방법 및 장치
US20180137637A1 (en) Three-dimensional measurement system and method thereof
US6778282B1 (en) Measuring positions of coplanarity of contract elements of an electronic component with a flat illumination and two cameras
TWI628415B (zh) 基於影像尺的定位量測系統
KR102011910B1 (ko) 3차원 형상 측정 장치 및 방법
CN112525078B (zh) 三维量测装置与其操作方法
CN102233468A (zh) 倾斜检查装置和倾斜检查方法
JP6792369B2 (ja) 回路基板の検査方法及び検査装置
JP4097255B2 (ja) パターンマッチング装置、パターンマッチング方法およびプログラム
KR20140075431A (ko) 정렬 장치 및 대상 정렬 방법
EP3244198A1 (en) Method and apparatus for inspecting a solder paste deposit with a digital mirror device
JPS63109307A (ja) チツプ部品の装着検査装置
JP4900951B2 (ja) 生産ラインの検査システム及び検査方法
JPH10267621A (ja) 物体の高さ測定装置及びその方法
CN111122924A (zh) 探针对准设备
WO2023236069A1 (zh) 对位校正系统及其方法
TW202349125A (zh) 對位校正系統及其方法
JP2020122696A (ja) 位置検出装置、位置検出ユニット、画像表示システムおよび位置検出方法
JPS6037731A (ja) 縮小投影露光装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant