CN113227707B - 三维形状测定装置、三维形状测定方法以及存储介质 - Google Patents

三维形状测定装置、三维形状测定方法以及存储介质 Download PDF

Info

Publication number
CN113227707B
CN113227707B CN201980087182.1A CN201980087182A CN113227707B CN 113227707 B CN113227707 B CN 113227707B CN 201980087182 A CN201980087182 A CN 201980087182A CN 113227707 B CN113227707 B CN 113227707B
Authority
CN
China
Prior art keywords
height data
height
dimensional shape
measurement
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980087182.1A
Other languages
English (en)
Other versions
CN113227707A (zh
Inventor
西贵行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN113227707A publication Critical patent/CN113227707A/zh
Application granted granted Critical
Publication of CN113227707B publication Critical patent/CN113227707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2527Projection by scanning of the object with phase change by in-plane movement of the patern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Abstract

三维形状测定装置根据投射有多个图案的多个图像,针对所述多个图案中的每一个图案,计算测定对象的高度数据,选择该计算出的各个高度数据中的、对所述测定对象预先设定的测定基准部位的高度的值与预先设定的高度设想值最接近的高度数据作为基准高度数据,求出该基准高度数据与其他所有的所述计算出的高度数据的高度的差异,在对所述基准高度数据以外的所有所述高度数据进行了偏移所述差异的量的校正的基础上,合成所述计算出的各高度数据,基于该合成后的高度数据来测定所述测定对象的三维形状。

Description

三维形状测定装置、三维形状测定方法以及存储介质
技术领域
本发明涉及三维形状的测定装置、特别是能够取得测定对象的高度信息的三维形状测定装置。
背景技术
以往,作为使用图像来测定物体的三维形状的技术,已知有如下的相移法:从投影仪等投射单元向测定对象投射具有周期性的图案,利用照相机等拍摄单元拍摄被投射了该图案的状态的测定对象,使用拍摄到的二维图像求出测定对象的立体形状。具体而言,通过对在所拍摄的图像中依赖于测定对象表面的形状(凹凸等)而产生的图案的变形进行分析,从而测定出测定对象的高度,并基于该测定对象的高度来求出三维形状。
此时,由于产生因检查对象的表面形状而图案被遮挡从而产生影子,因此无法测定高度的情况,因此一般通过配置多个投射单元以相对于测定对象从不同的方向投射图案,从而减少成为阴影的区域(例如专利文献1)。这样,从投射有从多个投射单元照射的图案的多个图像中取得多个高度数据,对它们进行合成而得到一个高度数据,测定三维形状。
对于所述那样的多个投射单元,虽然针对测定对象的高度基准统一,但由于经时变化、突发事件等,有时在各投射单元处所述的基准变化。另外,有时因异物的附着等而产生噪声。将这样的状态下取得的多个高度数据合成而得到的三维形状成为不适当的形状。
与此相对,提出了如下技术:对通过来自多个投射部的图案照射而取得的多个高度数据进行整合,计算出测定对象物的整合高度数据,由此提高整合高度数据的可靠性(例如,专利文献2)。
具体而言,在专利文献2中记载了:在得到从多个投射部照射的每个图案的测定对象的高度数据之后,以可靠度最高的投射部涉及的高度数据为基准,将剩余的高度数据排列、整合,由此提高整合高度数据的可靠性。并且,记载了:使用以按投射部求出的高度、信噪比、振幅、平均明亮度为中介变量的函数即可视性(visibility)信息以及灰度信息等,求出噪声区域,将各投射部的数据中的噪声最少的数据作为可靠度最高的数据(即,作为基准)。
现有技术文献
专利文献
专利文献1:日本特开2015-1381号公报
专利文献2:日本特开2012-112954号公报
发明内容
发明要解决的课题
然而,根据专利文献2所记载的方法,将噪声相对最少的数据作为基准数据来处理,但噪声的多少未必表示高度数据的精度,因此有可能将高度数据的精度相对较低的数据作为基准数据。另外,即使在原本基于来自所有的投射部的照射图案取得的测定对象的高度数据的可靠度均低(不充分高)的情况下,也从这样的数据中,以可靠度相对最高的数据为基准进行处理。这样,使用客观上可靠度不充分的高度数据而得到的整合高度数据、进而由此测定的三维形状的精度有可能变低。
本发明是鉴于所述那样的实际情况而完成的,其目的在于提供一种在对从多个投射单元投射了图案的测定对象物的多个图像取得的多个高度数据进行合成来测定所述测定对象物的三维形状的情况下,得到精度良好的合成数据的技术。
用于解决课题的手段
为了实现所述目的,本发明采用以下的结构。
本发明所涉及的三维形状测定装置具有:多个投射单元,其对测定对象投射图案;拍摄单元,其针对所述多个投射单元所投射的每个图案,拍摄包含被投射了所述图案的所述测定对象的像;以及测定单元,其通过对由所述拍摄单元拍摄到的图像进行处理来测定所述测定对象的三维形状,所述测定单元根据所述图像针对所述多个投射单元所投射的每个图案,计算所述测定对象的高度数据,选择计算出的各个该高度数据中的、针对所述测定对象而预先设定的测定基准部位的高度的值与预先设定的高度设想值最接近的高度数据作为基准高度数据,分别求出该基准高度数据与其他所有的计算出的所述高度数据的高度的差异,在对所述基准高度数据以外的所有所述高度数据各自进行了偏移所述差异的量的校正的基础上,将计算出的各所述高度数据进行合成,基于该合成后的高度数据来测定所述测定对象的三维形状。
根据上述那样的结构,在合成多个高度数据时,将最接近于预先设定的高度设想值的高度数据作为基准数据,在根据该基准数据对其他的高度数据进行了校正的基础上,对各数据进行合成,因此能够得到与高度设想值的误差少的合成数据。由此,例如,如果将高度设想值设为装置的校准后的设计值,则即使在由于经时变化等而装置的校准发生变化的情况下,也能够得到将该不良影响抑制到最小限度的精度良好的合成数据。并且,通过基于该合成数据对测定对象的三维形状进行测定,能够得到可靠度高的测定结果。
另外,也可以是,所述测定基准部位是如下这样的区域:对于拍摄所述多个投射单元投射的任意的图案而得到的图像,都能够计算出与实际的高度的误差少的高度数据。根据这样的结构,能够减少高度设想值与计算出的各个高度数据之间的误差,并且能够减小各高度数据间的差。因此,能够得到精度更良好的合成数据。
另外,也可以是,所述测定对象是电子电路基板或配置于该电子电路基板的部件,所述测定基准部位是设置于所述电子电路基板的基准标记或所述电子电路基板的基板面。另外,也可以是,所述测定基准部位是设置在所述三维形状测定装置内的夹具,所述拍摄单元一并拍摄所述测定对象和所述夹具。这样的部位通常不存在投射图案透过的可能性,并且是平坦的,周边也不存在成为投射图案的影子的构造。因此,根据投射了任意图案的图像,都能够计算出误差少的高度数据,适合作为测定基准部位。
另外,所述测定单元也可以判定计算出的各所述高度数据是否存在异常。在有异常的情况下,既可以中止测定,也可以通过某些输出单元发送警告。根据这样的结构,能够防止由于混合存在不正常的高度数据而取得可靠度低的合成数据。另外,在明显地计算出异常的值的情况下,有可能在测定对象的配置状态或者装置中发生了某些不良情况,能够尽早进行该确认。
另外,本发明能够理解为具有上述结构或功能的至少一部分的三维形状测定装置。另外,本发明也能够理解为具备该三维形状测定装置的检查装置、3维扫描仪、物体识别装置。
另外,本发明所涉及的三维形状测定方法是用于对测定对象的三维形状进行测定的方法,具有:设想值设定步骤,设定作为所述测定对象的高度测定的基准的测定基准部位的高度设想值;第一投射步骤,从第一投射单元向所述测定对象投射影像图案;第一拍摄步骤,拍摄包含在所述第一投射步骤中被投射了影像图案的所述测定对象的像;第二投射步骤,从第二投射单元向测定对象投射影像图案;第二拍摄步骤,拍摄包含在所述第二投射步骤中被投射了影像图案的所述测定对象的像;高度数据计算步骤,根据在所述第一拍摄步骤和所述第二拍摄步骤中拍摄到的各图像,针对每个该图像计算所述测定对象的高度数据;基准选择步骤,选择在所述高度数据计算步骤中计算出的多个高度数据中的、所述测定基准部位的高度的值为与所述高度设想值最接近的值的高度数据作为基准高度数据;差异量计算步骤,求出所述基准高度数据与其他高度数据的高度的值的差异;高度数据校正步骤,对所述基准高度数据以外的高度数据进行偏移在所述差异量计算步骤中求出的差异量的校正;合成数据制作步骤,将在所述高度数据校正步骤中校正后的高度数据与所述基准高度数据进行合成;以及三维形状测定步骤,基于在所述合成数据制作步骤中制作出的合成数据,测定所述测定对象的三维形状。
另外,也可以是,所述测定对象是电子电路基板或配置于该电子电路基板的部件,所述测定基准部位是设置于所述电子电路基板的基准标记或所述电子电路基板的基板面。另外,也可以是,所述测定基准部位是配置有所述测定对象的装置内的夹具,在各所述拍摄步骤中,一并拍摄所述测定对象和所述夹具。
另外,也可以是,所述三维形状的测定方法还具有判定在所述高度数据计算步骤中计算出的各高度数据是否存在异常的高度数据异常确认步骤。根据这样的结构,能够防止由于混合存在不正常的高度数据而取得可靠度低的合成数据。
另外,也可以是,所述三维形状的测定方法还具有将在所述差异量计算步骤中求出的差异的值存储在存储装置中的差异量登记步骤,在所述高度数据校正步骤中,通过参照在所述差异量登记步骤中登记的差异的值,进行偏移差异的值的校正。如果是这样的结构,则在测定多个相同形状的测定对象时,能够省略计算基准高度数据的处理,效率高。
另外,本发明还能够理解为用于使三维形状测定装置执行所述方法的程序、非暂时性地记录了这样的程序的计算机可读取的记录介质。
只要上述各个结构以及处理不产生技术上的矛盾,就能够相互组合而构成本发明。
发明效果
根据本发明,能够提供如下技术:在对根据从多个投射单元投射了图案的测定对象物的多个图像取得的多个高度数据进行合成,测定所述测定对象物的三维形状的情况下,得到精度良好的合成数据。
附图说明
图1是表示本发明的应用例所涉及的三维形状测定装置的结构的示意图。
图2是表示本发明的应用例所涉及的三维形状测定装置的三维形状测定处理的流程的流程图。
图3的(A)是表示实施方式1的基板检查装置的硬件结构的示意图。图3的(B)是实施方式1的基板检查装置的概略俯视图。
图4是例示实施方式1的检查对象的外观的图。
图5是表示实施方式1的控制装置的功能的功能框图。
图6是表示实施方式1的基板检查处理的过程的流程图。
具体实施方式
以下,参照附图对本发明的实施方式的一例进行说明。
<应用例>
(应用例的结构)
本发明例如能够应用于图1所示的三维形状测定装置。图1是表示本应用例所涉及的三维形状测定装置9的结构的示意图。三维形状测定装置9是对测定对象物O的三维形状进行测定的装置,如图1所示,作为主要的结构,具有作为投射单元的投影仪91a及91b、作为拍摄单元的照相机92、作为测定单元的控制装置93(例如计算机)。
投影仪91a和91b是对测定对象投射图案的单元。在此,所谓图案例如是亮度的变化示出周期性的条纹图案,能够在时间上使相位变化。在本应用例中,设从投影仪91a投射的图案为图案a,从投影仪91b投射的图案为图案b。投影仪91a、91b分别配置成相对于测定对象物O具有一定的倾斜角。
照相机92是拍摄被投射了图案的状态的测定对象物O并输出数字图像的单元。另外,以下,将由拍摄单元拍摄到的图像也表述为观测图像。照相机92例如构成为具有光学系统和图像传感器。如图1所示,照相机92配置为从测定对象物O的正上方拍摄测定对象物O。另外,投影仪91a和投影仪91b配置在以照相机92为中心沿着圆周方向相互对置的位置。
控制装置93具有投影仪91a、91b、照相机92以及输送机构的控制、针对从照相机92取入的图像的处理、三维形状测定等的功能,相当于本发明中的测定单元。控制装置93能够由具备CPU(Central Processing Unit:中央处理单元)、RAM(Random Access Memory:随机存取存储器)、非易失性的存储装置(例如硬盘驱动器、闪存等)、输入装置(例如键盘、鼠标、触摸面板等)、显示装置(例如液晶显示器等)的计算机构成。
在具有以上结构的三维形状测定装置9中进行测定对象物O的三维形状的测定时,一边改变从各投影仪投射到测定对象物O的图案的相位,一边利用照相机92拍摄多张图像,控制装置93例如通过相移法等对拍摄到的图像进行处理,由此对测定对象物O的三维形状进行测定。
(控制装置的功能)
接着,对与控制装置93的三维形状测定相关的功能进行说明。控制装置93具有图像获取部931、高度数据计算部932、校正值计算部933、合成数据制作部934和三维形状测定部935,作为与三维形状测定有关的功能。
图像取得部931是从照相机92取入用于三维形状测定的多个观测图像的功能,例如,分别按图案a、图案b取得被投射到测定对象物O的图案的相位各相差四分之一π的4张图像。在本应用例中,将拍摄了图案a的观测图像称为观测图像a,将拍摄了图案b的观测图像称为观测图像b。
高度数据计算部932是基于所取得的多个观测图像来计算测定对象O的高度数据的功能。例如,基于所取得的4张观测图像中的表示测定对象物O的表面上的一点的位置的像素的二维的相位差,分别在观测图像a、观测图像b中求出该点的高度。在本应用例中,将根据观测图像a计算出的高度数据作为高度数据a、根据观测图像b计算出的高度数据作为高度数据b进行说明。
校正值计算部933将由高度数据计算部932求出的高度数据a和高度数据b与预先登记在存储装置中的理想的高度数据即高度设想值进行比较,将最接近高度设想值的值的高度数据选定为基准高度数据。然后,计算被选择为高度数据的高度数据与其他高度数据的差分作为校正值。
合成数据制作部934在对基准高度数据以外的高度数据进行了偏移由校正值计算部933计算出的校正值的量的校正的基础上,制作合成了全部高度数据的合成数据。另外,高度数据的合成例如能够通过利用规定的方法将多个高度数据的曲线连接并取平均等方法来进行。由此,能够得到对在测定对象物O中在构造上由于来自一个方向的图案投射而成为阴影、高度的值所缺损的部分进行了补偿的合成数据。
三维形状测定部935基于所得到的合成数据来对测定对象O的三维形状进行测定。
(三维形状测定处理的流程)
接着,参照图2,对本应用例中的三维形状测定的过程进行说明。首先,控制装置93取得关于测定对象物O的测定基准部位的高度设想值(步骤S901)。具体而言,例如,用户经由输入单元将测定基准部位的设计值作为高度设想值存储在存储单元中。
接着,控制装置93使图案a从投影仪91a投射到测定对象物O(步骤S902),通过照相机92拍摄投射有图案a的状态的测定对象物O,图像取得部931取得观测图像a(步骤S903)。接着,控制装置93对于投影仪91b也同样地使其投射图案b(步骤S904),通过照相机92拍摄投射有图案a的状态的测定对象物O,图像取得部931取得观测图像b(步骤S905)。
接着,高度数据计算部932从观测图像a求出高度数据a,从观测图像b求出高度数据b(步骤S906)。然后,校正值计算部933将高度数据a和高度数据b的测定基准部位的高度的值与预先取得的测定基准部位的高度设想值进行比较,将具有更接近高度设想值的值的高度数据选定为基准高度数据(步骤S907)。在此,假设高度数据a被选定为基准高度数据来进行说明。校正值计算部933进一步计算作为基准高度数据的高度数据a与高度数据b的高度的值的差异,将该差异作为高度数据b的校正值(步骤S908)。具体而言,从高度数据a的高度的值减去高度数据b的高度的值来求出其差即可。
接着,合成数据制作部934对高度数据b进行偏移校正值的量的校正(步骤S909)。具体而言,例如,在步骤S908中从高度数据a减去高度数据b而得到的差是正值的情况下,进行对高度数据b加上该差的量的校正。相反,在所述差为负值的情况下,进行从高度数据b减去该差的量的校正。以下,将对高度数据b进行校正后的高度数据作为高度数据b2。
然后,合成数据制作部934将高度数据a和高度数据b2进行合成,制作合成数据(步骤S910),三维形状测定部935基于得到的合成数据对测定对象物O的三维形状进行测定(步骤S911),结束一系列的例程。
根据以上那样的本应用例所涉及的三维形状测定装置9的结构,例如即使在投影仪的配置关系因经时变化等而变化、各投影仪的相对于同一平面的高度数据在高度方向上偏离的情况下,也能够得到精度高的合成高度数据。进而,能够提高三维形状测定的可靠性。
<实施方式1>
接着,对作为用于实施本发明的方式的另一例的基板检查装置1进行说明。但是,该实施方式所记载的构成部件的尺寸、材质、形状、其相对配置等只要没有特别记载,则并非是将本发明的范围仅限定于此。
(基板检查装置的硬件结构)
基板检查装置1是通过所谓的相移法进行电子电路基板的三维形状的检查的外观检查装置,图3的(A)和(B)表示基板检查装置1的硬件结构的概要。如图3的(A)和(B)所示,基板检查装置1具有投影仪11c、11d、11e、11f、照相机12、控制装置13、基板输送单元14、基板保持机构15、夹具J,作为主要的硬件结构。
投影仪11c、11d、11e、11f是对基板K的表面投射图案的单元。图案例如是亮度的变化示出周期性的条纹图案,能够在时间上使相位变化。在本实施方式中,设从投影仪11c投射的图案为图案c,从投影仪11d投射的图案为图案d,从投影仪11e投射的图案为图案e,从投影仪11f投射的图案为图案f。各投影仪分别配置成相对于基板K具有一定的倾斜角。
照相机12是拍摄投射有图案的状态的基板K并输出数字图像的拍摄单元。照相机12例如构成为具有光学系统和图像传感器。如图3的(A)所示,照相机12配置为从基板K的正上方拍摄基板K。另外,如图3的(B)所示,各投影仪以照相机12为中心沿圆周方向各错开90度而等间隔地配置。
控制装置13具有各投影仪、照相机12以及基板输送单元14的控制、针对从照相机12取入的图像的处理、三维形状测定等的功能,相当于本发明中的测定单元。控制装置13能够由具备CPU、RAM、非易失性的存储装置(例如硬盘驱动器、闪存等)、输入装置(例如键盘、鼠标、触摸面板等)、显示装置(例如液晶显示器等)的计算机构成。后述的控制装置13的各功能能够通过将非易失性的存储装置中存储的程序加载到RAM,并由CPU执行该程序来实现。但是,也可以用专用的硬件来代替控制装置13的功能的全部或一部分。另外,也可以利用分布式计算、云计算的技术,通过多个计算机的协作来实现控制装置13的功能。
基板输送单元14例如构成为包含能够载置及移送基板K的轨道,将基板K输送至检查位置,将检查结束后的基板K从检查位置搬出。基板保持机构15是在检查期间保持被输送到检查位置的基板K的机构,例如用空气卡盘、把持爪等单元保持基板K。夹具J为了确认基板K的配置状态而以表面位于与基板K的基准面同一高度的方式配置于基板保持机构15。
在具有以上结构的基板检查装置1中,如下那样进行基板K的检查。即,一边改变从各投影仪投射到基板K的图案的相位,一边利用照相机12拍摄多张图像,控制装置13利用相移法处理拍摄到的图像,由此测定基板K的三维形状,判定其是否满足规定的检查基准。
另外,在图4中例示作为检查对象的基板K的外观。图中的F是作为本实施方式中的测定基准部位的基准标记。
(控制装置的功能)
接着,对控制装置13的与三维形状测定相关的功能进行说明。图5是表示控制装置13的与三维形状测定相关的功能的功能框图。作为与三维形状测定相关的功能,控制装置13具有图像取得部131、投影仪光量判定部132、高度数据计算部133、高度数据异常判定部134、校正值计算部135、校正值登记部136、合成数据制作部137、三维形状测定部138、合格与否判定部139。
在上述功能中,图像取得部131、高度数据计算部133、三维形状测定部138与在应用例中说明的功能相同,因此省略详细的说明。另外,在本实施方式中,将拍摄了图案c的观测图像称为观测图像c,将拍摄了图案d的观测图像称为观测图像d,将拍摄了图案e的观测图像称为观测图像e,将拍摄了图案f的观测图像称为观测图像f。另外,将根据观测图像c计算出的高度数据作为高度数据c,将根据观测图像d计算出的高度数据作为高度数据d,将根据观测图像e计算出的高度数据作为高度数据e,将根据观测图像f计算出的高度数据作为高度数据f。
投影仪光量判定部132在取得拍摄了基准标记F的观测图像时,判定照射到基准标记F的图案的光量的设定是否适当,在判断为未以适当的光量对基准标记F照射图案的情况下,应用重试用的光量设定而再次照射图案。
高度数据异常判定部134判定计算出的高度数据的值是否为正常的范围。具体而言,在观测图像中的构成测定基准部位(在本实施方式中为基准标记F)的像素的直方图形成以最频值为顶点的一个山的情况下,判断为该高度数据没有异常。另一方面,在上述直方图中存在多个山的情况下,高度数据异常判定部134判断为存在某种异常。具体而言,认为存在拍摄时基板K振动、在测定基准部位存在因某些理由而成为阴影的部分等异常。在这样判断为存在异常的情况下,取消后述的校正值的登记处理。
另外,高度数据异常判定部134在测定基准部位的高度的值与规定的高度设想值大幅偏离的情况下,也判断为高度数据存在异常。例如,可以考虑在规定的高度设想值为3mm时,计算出的高度数据中为6mm这样的情况。在这样的情况下,可以想到未正确配置基板K、装置存在不良情况等问题,因此也可以通过某些输出单元发出警告。
校正值计算部135将高度数据c、高度数据d、高度数据e、高度数据f的测定基准部位的高度的值与规定的高度设想值进行比较,将与高度设想值最接近的值的高度数据选定为基准高度数据。然后,计算被选择为高度数据的高度数据与其他高度数据的差分作为校正值。对基准高度数据以外的每个高度数据计算校正值。例如,在选择高度数据c作为基准高度数据的情况下,对高度数据d、高度数据e、高度数据f分别计算校正值d、校正值e、校正值f。以下,在本实施方式中,设为选择高度数据c作为基准高度数据来进行说明。
校正值登记部136将由校正值计算部135计算出的校正值d、校正值e、校正值f存储在存储单元中。
合成数据制作部137从存储部调用与高度数据d、高度数据e、高度数据f分别对应的校正值,进行从各高度数据偏移校正值的量的校正。由此,求出对各高度数据进行了校正的高度数据d2、该高度数据e2、该高度数据f2,将它们与高度数据c合成,制作合成数据。
合格与否判定部139判定三维形状测定部138测定出的基板K的三维形状是否满足规定的基准,并通过任意的输出单元输出其结果。
(基板检查处理的流程)
接着,参照图6,对本实施方式中的基板检查的过程进行说明。首先,控制装置13取得关于基板K的测定基准部位即基准标记F的高度设想值(步骤S101)。例如,用户也可以经由输入单元将基板K的基准面的高度设计值(例如3mm)作为高度设想值存储于存储单元。
接着,图像取得部131从各投影仪对基板K投射图案,利用照相机12对其进行摄影,由此取得关于图案c、图案d、图案e、图案f各自的观测图像(步骤S102)。具体的处理与应用例的情况相同,因此省略详细的说明。
接着,投影仪光量判定部132进行判定在观测图像c、观测图像d、观测图像e、观测图像f中照射到基准标记F的图案的光量的设定是否适当的处理(步骤S103)。在此,在未对基准标记F以适当的光量照射图案的情况下,所得到的高度数据的可靠性低,因此在判断为是不适当的光量的情况下,应用重试用的光量设定而再次照射图案。
接着,高度数据计算部133根据观测图像c、观测图像d、观测图像e、观测图像f,分别计算高度数据c、高度数据d、高度数据e、高度数据f(步骤S104)。
接着,高度数据异常判定部134判定计算出的各高度数据的值是否处于正常的范围、即是否存在异常(步骤S105)。在此,在没有异常的情况下,进入步骤S106,进行基准高度数据的计算。另一方面,在判定为有异常的情况下,跳过步骤S106至S108的处理,进入步骤S109。
在步骤S106中,校正值计算部135将各高度数据的测定基准部位(基准标记F)的高度的值与在步骤S101中取得的高度设想值进行比较,将具有更接近高度设想值的值的高度数据选定为基准高度数据。在本实施方式中,作为基准高度数据的是高度数据c。校正值计算部135进一步求出作为基准高度数据的高度数据c与其他高度数据的高度的值的差异,计算出校正值d、校正值e、校正值f(步骤S107)。
接着,校正值登记部136进行登记由校正值计算部135计算出的校正值d、校正值e、校正值f的处理(步骤S108)。具体而言,使存储单元存储各校正值。
接着,合成数据制作部137从存储部调用与高度数据d、高度数据e、高度数据f分别对应的校正值,进行从各高度数据偏移校正值的量的校正(步骤S109)。然后,求出作为各高度数据的校正后的数据的高度数据d2、该高度数据e2、该高度数据f2,将它们和高度数据c合成,制作合成高度数据(步骤S110)。
然后,三维形状测定部138基于所得到的合成高度数据来测定基板K的三维形状(步骤S111),合格与否判定部139基于该三维形状判定基板K是否满足规定的基准并输出结果(步骤S112),一系列的例程结束。
根据本实施方式这样的基板检查装置1的结构,通过投影仪光量判定部132自动判定投影仪的光量是否适当,因此能够抑制基于以不适当的光量取得的观测图像进行测定处理,能够以高可靠性进行三维形状的测定。另外,通过高度数据异常判定部134判定计算出的高度数据是否适当,因此能够防止使用不适当的数据制作合成高度数据,能够以高可靠性进行三维形状的测定。
<变形例>
另外,在上述实施方式1中,测定基准部位是设置于作为检查对象的基板K的基准标记,但测定基准部位不必一定是基准标记。例如,也可以将基板K的基板面的任意的位置设为测定基准部位。
另外,测定基准部位也可以不必设置在检查对象上。例如,也可以将设置于基板检查装置1的夹具J设为测定基准部位。若将夹具J作为测定基准部位,则不会产生成为阴影的区域,或者不会受到由输送引起的震动的影响,因此在计算高度数据时几乎不考虑计算出异常的值。因此,若将测定基准部位设为夹具J,则与在作为检查对象的基板K设置测定基准部位相比,能够得到可靠度高的高度数据。另外,由此也能够省略高度数据异常判定部134的判定处理。
另外,在本实施方式的基板检查装置1中,是配置4个投影仪的结构,但只要投影仪的数量为2以上,则是几个都可以。
<其他>
上述各实施方式只不过是例示性地说明本发明,本发明并不限定于上述的具体的方式。本发明能够在其技术思想的范围内进行各种变形。例如,在上述各例中,进行了取得关于全部投影仪的观测图像之后计算高度数据的处理,但也可以对每个投影仪进行图案投射、观测图像取得、高度数据计算的处理。
本发明的一个方式是一种三维形状测定装置,其特征在于,具有:多个投射单元(11c、11d、11e、11f),其对测定对象投射图案;拍摄单元(12),其针对所述多个投射单元所投射的每个图案,拍摄包含被投射了所述图案的所述测定对象的像;以及测定单元(13),其通过对由所述拍摄单元拍摄到的图像进行处理,来测定所述测定对象的三维形状,所述测定单元针对所述多个投射单元所投射的每个图案,根据所述图像计算所述测定对象的高度数据,选择该计算出的各个高度数据中的、针对所述测定对象而预先设定的测定基准部位的高度的值与预先设定的高度设想值最接近的高度数据作为基准高度数据,分别求出该基准高度数据与其他所有的所述计算出的高度数据的高度的差异,在对所述基准高度数据以外的所有所述高度数据分别进行了偏移所述差异的量的校正的基础上,将所述计算出的各高度数据进行合成,基于该合成后的高度数据来测定所述测定对象的三维形状。
另外,本发明的另一方式是一种三维形状的测定方法,是用于对测定对象的三维形状进行测定的方法,该三维形状的测定方法具有:设想值设定步骤(S901),设定作为所述测定对象的高度测定的基准的测定基准部位的高度设想值;第一投射步骤(S902),从第一投射单元向所述测定对象投射影像图案;第一拍摄步骤(S903),拍摄包含在所述第一投射步骤中被投射了影像图案的所述测定对象的像;第二投射步骤(S904),从第二投射单元向测定对象投射影像图案;第二拍摄步骤(S905),拍摄包含在所述第二投射步骤中被投射了影像图案的所述测定对象的像;高度数据计算步骤(S906),根据在所述第一拍摄步骤及所述第二拍摄步骤中拍摄到的各图像,按每个该图像计算所述测定对象的高度数据;基准选择步骤(S907),选择在所述高度数据计算步骤中计算出的多个高度数据中的、所述测定基准部位的高度的值为与所述高度设想值最接近的值的高度数据作为基准高度数据;差异量计算步骤(S908),求出所述基准高度数据与其他高度数据的高度的值的差异;高度数据校正步骤(S909),对所述基准高度数据以外的高度数据进行偏移在所述差异量计算步骤中求出的差异量的校正;合成数据制作步骤(S910),将在所述高度数据校正步骤中校正后的高度数据与所述基准高度数据进行合成;以及三维形状测定步骤(S911),基于在所述合成数据制作步骤中制作出的合成数据,测定所述测定对象的三维形状。
标号说明
1:基板检查装置;9:三维形状测定装置;11、91:投影仪;12、92:照相机;13、93:控制装置;14:基板输送单元;15:基板保持机构;J:夹具;K:基板;O:测定对象物。

Claims (11)

1.一种三维形状测定装置,其特征在于,具有:
多个投射单元,其对测定对象投射图案;
拍摄单元,其针对所述多个投射单元所投射的每个图案,拍摄包含被投射了所述图案的所述测定对象的像;以及
测定单元,其通过对由所述拍摄单元拍摄到的图像进行处理来测定所述测定对象的三维形状,
所述测定单元根据所述图像针对所述多个投射单元所投射的每个图案,计算所述测定对象的高度数据,选择计算出的各个该高度数据中的、针对所述测定对象而预先设定的测定基准部位的高度的值与预先设定的高度设想值最接近的高度数据作为基准高度数据,分别求出该基准高度数据与其他所有的计算出的所述高度数据的高度的差异,在对所述基准高度数据以外的所有所述高度数据各自进行了偏移所述差异的量的校正的基础上,将计算出的各所述高度数据进行合成,基于合成后的该高度数据来测定所述测定对象的三维形状。
2.根据权利要求1所述的三维形状测定装置,其特征在于,
所述测定基准部位是如下这样的区域:对于拍摄所述多个投射单元投射的任意的图案而得到的图像,都能够计算出与实际高度的误差少的高度数据。
3.根据权利要求2所述的三维形状测定装置,其特征在于,
所述测定对象是电子电路基板或配置于该电子电路基板的部件,
所述测定基准部位是设置于所述电子电路基板的基准标记或所述电子电路基板的基板面。
4.根据权利要求2所述的三维形状测定装置,其特征在于,
所述测定基准部位是设置在所述三维形状测定装置内的夹具,
所述拍摄单元一并拍摄所述测定对象和所述夹具。
5.根据权利要求1至4中的任一项所述的三维形状测定装置,其特征在于,
所述测定单元判定计算出的各所述高度数据是否存在异常。
6.一种三维形状测定方法,用于对测定对象的三维形状进行测定,该方法的特征在于,具有:
设想值设定步骤,设定作为所述测定对象的高度测定的基准的测定基准部位的高度设想值;
第一投射步骤,从第一投射单元向所述测定对象投射影像图案;
第一拍摄步骤,拍摄包含在所述第一投射步骤中被投射了影像图案的所述测定对象的像;
第二投射步骤,从第二投射单元向测定对象投射影像图案;
第二拍摄步骤,拍摄包含在所述第二投射步骤中被投射了影像图案的所述测定对象的像;
高度数据计算步骤,根据在所述第一拍摄步骤和所述第二拍摄步骤中拍摄到的各图像,针对每个该图像计算所述测定对象的高度数据;
基准选择步骤,选择在所述高度数据计算步骤中计算出的多个高度数据中的、所述测定基准部位的高度的值为与所述高度设想值最接近的值的高度数据作为基准高度数据;
差异量计算步骤,求出所述基准高度数据与其他高度数据的高度的值的差异;
高度数据校正步骤,对所述基准高度数据以外的高度数据进行偏移在所述差异量计算步骤中求出的差异量的校正;
合成数据制作步骤,将在所述高度数据校正步骤中校正后的高度数据与所述基准高度数据进行合成;以及
三维形状测定步骤,基于在所述合成数据制作步骤中制作出的合成数据,测定所述测定对象的三维形状。
7.根据权利要求6所述的三维形状测定方法,其特征在于,
所述测定对象是电子电路基板或配置于该电子电路基板的部件,
所述测定基准部位是设置于所述电子电路基板的基准标记或所述电子电路基板的基板面。
8.根据权利要求6所述的三维形状测定方法,其特征在于,
所述测定基准部位是配置有所述测定对象的装置内的夹具,
在各所述拍摄步骤中,一并拍摄所述测定对象和所述夹具。
9.根据权利要求6至8中的任一项所述的三维形状测定方法,其特征在于,
所述三维形状测定方法还具有判定在所述高度数据计算步骤中计算出的各高度数据是否存在异常的高度数据异常确认步骤。
10.根据权利要求6至8中的任一项所述的三维形状测定方法,其特征在于,
所述三维形状测定方法还具有将在所述差异量计算步骤中求出的差异的值存储在存储装置中的差异量登记步骤,
在所述高度数据校正步骤中,通过参照在所述差异量登记步骤中登记的差异的值,进行偏移差异的值的校正。
11.一种存储介质,其非暂时性地存储程序,该程序用于使三维形状测定装置执行具有权利要求6至10中的任一项所述的各步骤的处理。
CN201980087182.1A 2019-01-08 2019-12-27 三维形状测定装置、三维形状测定方法以及存储介质 Active CN113227707B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-001261 2019-01-08
JP2019001261A JP7139953B2 (ja) 2019-01-08 2019-01-08 三次元形状測定装置、三次元形状測定方法及びプログラム
PCT/JP2019/051531 WO2020145208A1 (ja) 2019-01-08 2019-12-27 三次元形状測定装置、三次元形状測定方法及びプログラム

Publications (2)

Publication Number Publication Date
CN113227707A CN113227707A (zh) 2021-08-06
CN113227707B true CN113227707B (zh) 2023-05-16

Family

ID=71521624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980087182.1A Active CN113227707B (zh) 2019-01-08 2019-12-27 三维形状测定装置、三维形状测定方法以及存储介质

Country Status (4)

Country Link
JP (1) JP7139953B2 (zh)
CN (1) CN113227707B (zh)
DE (1) DE112019006589T5 (zh)
WO (1) WO2020145208A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10318715A (ja) * 1997-05-22 1998-12-04 Topcon Corp 画像測定装置
CN1561502A (zh) * 2000-08-07 2005-01-05 皇家菲利浦电子有限公司 用于三维再现的捷联系统
CN101482398A (zh) * 2009-03-06 2009-07-15 北京大学 一种快速三维形貌测量的方法及装置
CN101887033A (zh) * 2009-05-13 2010-11-17 株式会社高永科技 对测量目标进行测量的方法
JP2014032161A (ja) * 2012-08-06 2014-02-20 Kddi Corp 画像処理装置及び方法
CN106403845A (zh) * 2016-09-14 2017-02-15 杭州思看科技有限公司 三维传感器系统及三维数据获取方法
CN106780386A (zh) * 2016-12-16 2017-05-31 武汉理工大学 一种三维激光扫描变形提取可靠性评价方法
CN108629840A (zh) * 2018-05-10 2018-10-09 苏州大学 一种建立logo三维轮廓的方法、装置和设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3427141B2 (ja) * 1995-07-18 2003-07-14 株式会社ニコン パターン位置測定方法及び装置
JP3853510B2 (ja) * 1998-04-08 2006-12-06 本田技研工業株式会社 車両用サブフレームの組立精度検査方法及びこの方法の実施に用いるダミーサスペンションアーム
JP4254204B2 (ja) * 2001-12-19 2009-04-15 富士ゼロックス株式会社 画像照合装置、画像形成装置及び画像照合プログラム
JP2006041604A (ja) 2004-07-22 2006-02-09 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理プログラム
US8068211B2 (en) 2007-07-06 2011-11-29 Canon Kabushiki Kaisha Exposure apparatus and method for manufacturing device
JP2009147228A (ja) 2007-12-17 2009-07-02 Nikon Corp 露光装置、露光方法及びデバイス製造方法
KR101547218B1 (ko) 2010-11-19 2015-08-25 주식회사 고영테크놀러지 기판 검사방법
JP5780659B2 (ja) 2013-06-13 2015-09-16 ヤマハ発動機株式会社 3次元形状測定装置
JP2015099050A (ja) * 2013-11-18 2015-05-28 セイコーエプソン株式会社 キャリブレーション方法、及び形状測定装置
JP6330574B2 (ja) 2014-08-20 2018-05-30 オムロン株式会社 基板検査装置のティーチング装置及びティーチング方法
US20160245641A1 (en) * 2015-02-19 2016-08-25 Microsoft Technology Licensing, Llc Projection transformations for depth estimation
CN104729428B (zh) * 2015-02-27 2018-12-14 湖北文理学院 基于同轴结构光的镜面零件三维形貌测量系统及测量方法
CN105551039B (zh) * 2015-12-14 2017-12-08 深圳先进技术研究院 结构光三维扫描系统的标定方法及装置
CN108345463B (zh) * 2018-01-30 2021-06-25 深圳市易尚展示股份有限公司 基于机器人的三维测量方法、装置、机器人和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10318715A (ja) * 1997-05-22 1998-12-04 Topcon Corp 画像測定装置
CN1561502A (zh) * 2000-08-07 2005-01-05 皇家菲利浦电子有限公司 用于三维再现的捷联系统
CN101482398A (zh) * 2009-03-06 2009-07-15 北京大学 一种快速三维形貌测量的方法及装置
CN101887033A (zh) * 2009-05-13 2010-11-17 株式会社高永科技 对测量目标进行测量的方法
JP2014032161A (ja) * 2012-08-06 2014-02-20 Kddi Corp 画像処理装置及び方法
CN106403845A (zh) * 2016-09-14 2017-02-15 杭州思看科技有限公司 三维传感器系统及三维数据获取方法
CN106780386A (zh) * 2016-12-16 2017-05-31 武汉理工大学 一种三维激光扫描变形提取可靠性评价方法
CN108629840A (zh) * 2018-05-10 2018-10-09 苏州大学 一种建立logo三维轮廓的方法、装置和设备

Also Published As

Publication number Publication date
JP7139953B2 (ja) 2022-09-21
CN113227707A (zh) 2021-08-06
DE112019006589T5 (de) 2021-12-16
JP2020112369A (ja) 2020-07-27
WO2020145208A1 (ja) 2020-07-16

Similar Documents

Publication Publication Date Title
US8437533B2 (en) Method of measuring a three-dimensional shape
US20130194569A1 (en) Substrate inspection method
US10565704B2 (en) Inspection method and inspection system
US9157874B2 (en) System and method for automated x-ray inspection
US20100060903A1 (en) Image Measuring Apparatus and Computer Program
JP4680640B2 (ja) 画像入力装置および画像入力方法
CN109425327B (zh) 检查系统和检查用图像的修正方法
JP2006023178A (ja) 3次元計測方法及び装置
JP6702234B2 (ja) 3次元測定装置、3次元測定方法、およびプログラム
CN113227707B (zh) 三维形状测定装置、三维形状测定方法以及存储介质
JP2008281481A (ja) 解像測定装置及び方法
JP4234703B2 (ja) 欠陥検査装置
JP2006084286A (ja) 3次元計測方法とその計測装置
JP7088232B2 (ja) 検査装置、検査方法、およびプログラム
JP6792369B2 (ja) 回路基板の検査方法及び検査装置
EP3070432B1 (en) Measurement apparatus
JP4772815B2 (ja) 補正パターン画像生成装置、パターン検査装置および補正パターン画像生成方法
JP2008170282A (ja) 形状測定装置
TW202113344A (zh) 外觀檢查裝置及其校正方法、及電腦可讀取的記錄媒體
JP5684628B2 (ja) パターン検査装置及びパターン検査方法
US20240062401A1 (en) Measurement system, inspection system, measurement device, measurement method, inspection method, and program
JP4261535B2 (ja) マスク検査装置におけるアライメント方法および評価方法
WO2022196083A1 (ja) 検査システム、検査管理装置、検査プログラム作成方法、及びプログラム
JP7051729B2 (ja) 試料検査装置及び試料検査方法
KR20130022415A (ko) 측정장치 및 이의 보정방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant