CN112710662A - 生成方法及装置、生成系统和存储介质 - Google Patents
生成方法及装置、生成系统和存储介质 Download PDFInfo
- Publication number
- CN112710662A CN112710662A CN202011566290.8A CN202011566290A CN112710662A CN 112710662 A CN112710662 A CN 112710662A CN 202011566290 A CN202011566290 A CN 202011566290A CN 112710662 A CN112710662 A CN 112710662A
- Authority
- CN
- China
- Prior art keywords
- sensor
- motion platform
- image
- piece
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
Landscapes
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请的生成方法包括通过第一传感器拍摄待测件的第一图像,所述待测件设置在运动平台上;获取所述第一图像中的至少部分区域为待测区域;计算所述第一传感器拍摄所述待测区域时,所述运动平台的第一坐标集;依据所述第一坐标集,及所述第一传感器与所述第二传感器的预设标定关系,计算所述第二传感器拍摄所述待测区域时,所述运动平台的第二坐标集;及依据所述第二坐标集生成所述运动平台的扫描路径。本申请的生成方法、生成装置、生成系统和非易失性计算机可读存储介质,可自动生成扫描路径,无需人为费时费力的手动确定扫描路径,扫描路径的生成效率较高,从而提高了检测效率。
Description
技术领域
本申请涉及机器视觉技术领域,特别涉及一种生成方法、生成装置、生成系统和非易失性计算机可读存储介质。
背景技术
目前,测量机的扫描路径实现一直是测量机编程的主要环节,业界现有主流的方式多是通过CAD图档的点位结合待测工件不同部分的实际位置信息进行手动打点编程的方式确定扫描路径,费时费力,影响检测效率。
发明内容
本申请提供了一种生成方法、生成装置、生成系统和非易失性计算机可读存储介质。
本申请实施方式的生成方法包括通过第一传感器拍摄待测件的第一图像,所述待测件设置在运动平台上;获取所述第一图像中的至少部分区域为待测区域;计算所述第一传感器拍摄所述待测区域时,所述运动平台的第一坐标集;依据所述第一坐标集,及所述第一传感器与所述第二传感器的预设标定关系,计算所述第二传感器拍摄所述待测区域时,所述运动平台的第二坐标集;及依据所述第二坐标集生成所述运动平台的扫描路径。
本申请实施方式的生成装置包括拍摄模块、第一获取模块、第一计算模块、第二计算模块和生成模块。所述拍摄模块用于通过第一传感器拍摄待测件的第一图像,所述待测件设置在运动平台上;所述第一获取模块用于获取所述第一图像中的至少部分区域为待测区域;所述第一计算模块用于计算所述第一传感器拍摄所述待测区域时,所述运动平台的第一坐标集;所述第二计算模块用于依据所述第一坐标集,及所述第一传感器与所述第二传感器的预设标定关系,计算所述第二传感器拍摄所述待测区域时,所述运动平台的第二坐标集;所述生成模块用于依据所述第二坐标集生成所述运动平台的扫描路径。
本申请实施方式的生成系统包括第一传感器、运动平台和处理器。所述第一传感器用于拍摄待测件的第一图像;所述待测件设置在所述运动平台上;所述运动平台用于获取第二图像;所述处理器用于获取所述第一图像中的至少部分区域为待测区域;计算所述第一传感器拍摄所述待测区域时,所述运动平台的第一坐标集;依据所述第一坐标集,及所述第一传感器与所述第二传感器的预设标定关系,计算所述第二传感器拍摄所述待测区域时,所述运动平台的第二坐标集;及依据所述第二坐标集生成所述运动平台的扫描路径。
本申请实施方式的一种包含计算机程序的非易失性计算机可读存储介质,当所述计算机程序被一个或多个处理器执行时,使得所述处理器执行所述生成方法。所述生成方法包括通过第一传感器拍摄待测件的第一图像,所述待测件设置在运动平台上;获取所述第一图像中的至少部分区域为待测区域;计算所述第一传感器拍摄所述待测区域时,所述运动平台的第一坐标集;依据所述第一坐标集,及所述第一传感器与所述第二传感器的预设标定关系,计算所述第二传感器拍摄所述待测区域时,所述运动平台的第二坐标集;及依据所述第二坐标集生成所述运动平台的扫描路径。
本申请的生成方法、生成装置、生成系统和非易失性计算机可读存储介质,通过第一传感器拍摄待测件的第一图像,然后计算第一传感器拍摄待测区域时,运动平台的第一坐标集,从而根据预设标定关系获取第二传感器拍摄待检区域时,运动平台的第二坐标集,从而依据第二坐标集自动生成运动平台的扫描路径,使得第二传感器依据扫描路径进行拍摄,无需人为费时费力的手动确定扫描路径,扫描路径的生成效率较高,从而提高了检测效率。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请某些实施方式的生成方法的流程示意图;
图2是本申请某些实施方式的生成装置的模块示意图;
图3是本申请某些实施方式的生成系统的平面示意图;
图4是本申请某些实施方式的生成方法的原理示意图;
图5是本申请某些实施方式的生成方法的原理示意图;
图6是本申请某些实施方式的生成方法的流程示意图;
图7是本申请某些实施方式的生成方法的流程示意图;
图8是本申请某些实施方式的生成方法的流程示意图;
图9是本申请某些实施方式的生成方法的流程示意图;及
图10是本申请某些实施方式的处理器和计算机可读存储介质的连接示意图。
具体实施方式
以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。另外,下面结合附图描述的本申请的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的限制。
请参阅图1至图3,本申请实施方式的生成方法包括以下步骤:
011:通过第一传感器20拍摄待测件200的第一图像,待测件200设置在运动平台30上;
012:获取第一图像中的至少部分区域为待测区域;
013:计算第一传感器20拍摄待测区域时,运动平台30的第一坐标集;
014:依据第一坐标集,及第一传感器20与第二传感器的预设标定关系,计算第二传感器40拍摄待测区域时,运动平台30的第二坐标集;
015:依据第二坐标集生成运动平台30的扫描路径。
本申请实施方式的生成装置10包括拍摄模块11、第一获取模块12、第一计算模块13、第二计算模块14和生成模块15。拍摄模块11用于通过第一传感器20拍摄待测件200的第一图像,待测件200设置在运动平台30上;第一获取模块12用于获取第一图像中的至少部分区域为待测区域;第一计算模块13用于计算第一传感器20拍摄待测区域时,运动平台30的第一坐标集;第二计算模块14用于依据第一坐标集,及第一传感器20与第二传感器的预设标定关系,计算第二传感器40拍摄待测区域时,运动平台30的第二坐标集;生成模块15用于依据第二坐标集生成运动平台30的扫描路径。也即是说,步骤011可以由拍摄模块11实现、步骤012可以由第一获取模块12执行、步骤013可以由第一计算模块13执行、步骤014可以由第二计算模块14执行、步骤015可以由生成模块15执行。
本申请实施方式的生成系统包括第一传感器20、第二传感器40、运动平台30和处理器50。第一传感器20用于拍摄待测件200的第一图像。第二传感器40用于拍摄第一图像的待测区域的图像。待测件200设置在运动平台30上。处理器50与第一传感器20、第二传感器40及运动平台30均连接;处理器50用于获取第一图像中的至少部分区域为待测区域;计算第一传感器20拍摄待测区域时,运动平台30的第一坐标集;依据第一坐标集,及第一传感器20与第二传感器40的预设标定关系,计算第二传感器40拍摄待测区域时,运动平台30的第二坐标集;及依据第二坐标集生成运动平台30的扫描路径。也即是说,步骤011可以由第一传感器20执行、步骤012至步骤015可以由处理器50执行。
具体地,生成系统100可以是测量机。可以理解,生成系统100的具体形式并不限于测量机,还可以是任意能够生成扫描路径的设备。
运动平台30包括XY运动平台31和Z运动平台32,第一传感器20和第二传感器40设置在运动平台30上,具体为:第一传感器20和第二传感器40设置在Z运动平台32,其中,XY运动平台31用于控制待测件200沿水平面移动,改变待测件200、和第一传感器20与第二传感器40在水平面的相对位置,Z运动平台32用于控制第一传感器20和第二传感器40沿垂直水平面的方向移动,如此,通过XY运动平台31和Z运动平台32配合实现第一传感器20和第二传感器40相对待测件200的三维位置(即,在水平面的相对位置和垂直水平面方向的相对位置)。
可以理解,运动平台30并不限于上述结构,只需能够改变第一传感器20和第二传感器40相对待测件200的三维位置即可。
例如,Z运动平台32设置在XY运动平台31上,第一传感器20和第二传感器40设置在Z运动平台,此时XY运动平台31移动即可带动Z运动平台32在水平面移动,XY运动平台31配合Z运动平台32即可改变第一传感器20和第二传感器40相对待测件200的三维位置;
再例如,待测件200设置在Z运动平台32上,此时XY运动平台31移动即可带动Z运动平台32在水平面移动,XY运动平台31配合Z运动平台32即可改变待测件200相对第一传感器20和第二传感器40的三维位置。
第一传感器20和第二传感器40可均为二维成像传感器,如第一传感器20为可见光摄像头,第二传感器40为深度摄像头;或者,第一传感器20为深度摄像头,第二传感器40为可见光摄像头;或者,第一传感器20和第二传感器40中的一个为二维成像传感器,另一个为测距传感器,如第一传感器20为可见光摄像头,第二传感器40为距离传感器,此时,
第二传感器40采集待测件200的信息即为:距离传感器通过采集待测件200不同位置的深度从而生成的深度图像;或者,第一传感器20为距离传感器,第二传感器40为可见光摄像头,此时第一传感器20拍摄的第一图像即为:距离传感器通过采集待测件200不同位置的深度从而生成的深度图像;或者,第一传感器20为深度摄像头,第二传感器40为距离传感器;或者,第一传感器20为距离传感器,第二传感器40为深度传感器等。本实施方式中,第一传感器20为可见光摄像头,第二传感器40为距离传感器,第二传感器40可以是通过光谱共聚焦的方式进行测距的。
在生成扫描路径时,运动平台30首先移动第一传感器20以使得第一传感器20位于待测件200的上方,从而拍摄待测件200以得到第一图像。
然后,处理器50获取第一图像中的待测区域,待测区域可以是待测件200整体,还可以是待测件200的一部分。待测区域为待测件200的一部分时,可预先在待测件200上标注出预定区域(如使用笔画出预定区域),处理器50识别第一图像中预定区域以作为待测区域,例如,待测件200为盖板,第一图像为盖板的整体的图像,待测区域为用户在第一图像上选取的一个区域(例如盖板的开孔所在区域);或者,在获取第一图像后,识别第一图像中待测件200的特定区域以作为待测区域,如根据待测件200的类型,可确定特定区域,如晶圆的特定区域为中心的图形区,而不是围绕图形区的安装区。
处理器50确定待测区域后,可计算第一传感器20拍摄待测区域时,运动平台30的第一坐标集。具体计算过程如下:第一传感器20拍摄第一图像时,处理器50获取运动平台30在物理坐标系的初始坐标;该初始坐标与第一图像中的一个像素是对应的,如该像素一般为第一图像的中心像素,此时,第一传感器20对准中心像素对应的待测件200的部分(即,该待测件200的部分位于第一传感器20的视场范围的中心)。当然,该像素也可以是第一图像中任一像素,本实施方式以初始坐标与第一图像的中心像素对应进行说明。
待测区域包括多个待测像素,每个待测像素对应待测件200的一个局部;由于初始坐标与中心像素存在对应关系,即第一图像的图像坐标系与运动平台30的物理坐标系存在对应关系,根据该对应关系及待测区域内的待测像素和中心像素的图像坐标的差值、及每个待测像素的实际物理尺寸,即可计算到第一传感器20对准任一待测像素对应的待测件200的局部进行拍摄时,对应的运动平台30的第一坐标,从而根据多个第一坐标计算得到第一传感器20拍摄待测区域时,运动平台30的第一坐标集。
第一传感器20和第二传感器40是预先经过标定的,两者存在预设标定关系,处理器50根据第一坐标集和预设标定关系即可计算第二传感器40拍摄待测区域时,运动平台30的第二坐标集。其中,第一传感器20与第二传感器40的预设标定关系可以是运动平台30的第一标定坐标与第二标定坐标的位置转换关系。第一传感器20能够清晰拍摄运动平台30上的标定件时(如标定件位于第一传感器20的景深范围内时,第一传感器20可清晰拍摄标定件时),运动平台30处于第一标定坐标,第二传感器40能够准确采集标定件的信息时(如标定件位于第二传感器40的景深范围内时,第二传感器40可清晰拍摄标定件时),运动平台30处于第二标定坐标。
例如,可将第一标定坐标和第二标定坐标的坐标差值作为第一传感器20与第二传感器40的预设标定关系,处理器50将第一坐标集中的第一坐标均减去该坐标差值,即可得到第二坐标集中对应的第二坐标,从而计算得到第二坐标集。第二坐标集为第二传感器40对准任一待测像素对应的待测件200的局部进行拍摄时的多个第二坐标的集合。
处理器50依据第二坐标集即可生成运动平台30的扫描路径。
例如,当第二传感器40每次仅能获取待测件200的一个局部的深度时(如第二传感器40为距离传感器),扫描路径可通过第二坐标集中所有第二坐标依次连接而成,如运动平台30按照第二坐标集进行逐个扫描,每次移动到一个第二坐标,获取该第二坐标对应的待测件200的局部的深度;然后依次完成所有第二坐标对应的待测件200的局部的深度的获取,以生成最终的深度图像;为了减小运动路径以提高拍摄效率,运动平台30可按照第二坐标集控制第二传感器40进行逐行扫描或逐列扫描。
再例如,当第二传感器40每次能获取待测件200的多个局部的深度时(如第二传感器40为深度摄像头),扫描路径依旧可通过第二坐标集中所有第二坐标依次连接而成,如运动平台30按照第二坐标集进行逐个扫描,每次移动到一个第二坐标进行一次拍摄,以获取该第二坐标对应的多个待测件200的局部的深度图像,并将该深度图像的中心像素对应的深度作为该第二坐标对应的深度,从而采集第二坐标对应的待测件200的局部的深度信息;然后依次完成所有第二坐标对应的待测件200的局部的深度信息的获取,以生成最终的深度图像。
又例如,当第二传感器40每次能获取待测件200的多个局部的深度时(如第二传感器40为深度摄像头),为了提高深度图像的拍摄效率,可将待测区域分为多个运动区域,每个运动区域包括多个待测件200的局部,然后将所有运动区域的中心的局部对应的第二坐标依次连接以得到扫描路径,从而使得第二传感器40每次均可获取多个待测件200的局部的深度,可提升待测区域的深度图像的获取效率。
请参阅图4,在一个例子中,待测区域P为矩形,包含9*9个待测像素(即,对应待测件200的9*9个局部),第二坐标集即包括9*9个第二坐标。当第二传感器40每次仅获取一个待测件200的局部的深度时,扫描路径S如图4,依次连接每个待测像素对应的第二坐标以形成扫描路径S。当第二传感器40每次获取多个待测件200(如3*3)的局部的深度时,扫描路径S如图5,可将9*9的待测区域P分为9个运动区域M,然后依次连接每个运动区域M的中心的像素对应的第二坐标以生成扫描路径S。
本申请的生成方法、生成装置10、生成系统100和非易失性计算机可读存储介质,通过第一传感器20拍摄待测件200的第一图像,然后计算第一传感器20拍摄待测区域时,运动平台30的第一坐标集,从而根据预设标定关系获取第二传感器40拍摄待检区域时,运动平台30的第二坐标集,从而依据第二坐标集自动生成运动平台30的扫描路径,使得第二传感器40依据扫描路径进行拍摄,无需人为费时费力的手动确定扫描路径,扫描路径的生成效率较高,从而提高了检测效率。
请参阅2、图3和图6,在某些实施方式中,步骤011包括:
0111:调节运动平台30,以使待测件200的整体位于第一传感器20的景深范围内及视场范围内;及
0112:拍摄待测件200的整体的图像作为第一图像。
在某些实施方式中,拍摄模块11还用于调节运动平台30,以使待测件200的整体位于第一传感器20的景深范围内及视场范围内;及拍摄待测件200的整体的图像作为第一图像。也即是说,步骤0111和步骤0112可以由拍摄模块11执行。
在某些实施方式中,处理器50还用于调节运动平台30,以使待测件200的整体位于第一传感器20的景深范围内及视场范围内;第一传感器20用于拍摄待测件200的整体的图像作为第一图像。也即是说,步骤0111可以由处理器50执行,步骤0112可以由第一传感器20执行。
具体地,由于不同待测件200的尺寸可能存在差异,有些待测件200尺寸较小,能够位于第一传感器20的景深范围和视场范围内。此时,Z运动平台32可先调节第一传感器20和待测件200的距离以使得待测件200位于第一传感器20的景深范围内,如使得待测件200位于第一传感器20的景深范围的中点处,如景深范围为5厘米至10厘米,则使得待测件200和第一传感器20的距离为7.5厘米。如此,待测件200位于第一传感器20的景深范围内时,第一传感器20能够对待测件200进行清晰的聚焦,从而提高拍摄质量。
然后XY运动平台31调节待测件200在水平面的位置,以使得待测件200位于视场范围内,若多次调节后,待测件200始终存在部分位于视场范围之外,则可在待测件200位于景深范围内时,适当加大待测件200和第一传感器20的距离,从而使得待测件200位于第一传感器20的视场范围内,此时第一传感器20即可拍摄得到待测件200的整体的图像,以作为第一图像。如此,能够通过一次拍摄实现待测件200整体的拍摄,有利于提升拍摄效率。
当然,待测件200可以是实际待检测的工件的一部分,或者待测件200即为待检测的工件的整体;例如,实际待检测的工件为晶圆,则待测件200可以是晶圆中心的图案区或整个晶圆;又例如,实际待检测的工件为盖板,则待测件200可以是盖板的曲面边缘或挖孔部分。在待测件200为实际待检测的工件的一部分,待测件200尺寸更小,有利于实现待测件200位于第一传感器20的景深范围和视场范围内。在待测件200为实际待检测的工件的整体时,第一图像能够包含全部待测件200的图像,防止仅拍摄待检测的工件的一部分时,导致待测件200存在未被拍摄到的部分,影响待测件200的检测效果。
请参阅图2、图3和图7,在某些实施方式中,步骤011还包括:
0113:调节运动平台30,以使待测件200的部分位于第一传感器20的景深范围内及视场范围内;
0114:拍摄待测件200的部分的图像作为局部图像;
0115:分别拍摄待测件200不同的多个部分的多个局部图像;及
0116:处理多个局部图像以获取第一图像。
在某些实施方式中,拍摄模块11还用于调节运动平台30,以使待测件200的部分位于第一传感器20的景深范围内及视场范围内;拍摄待测件200的部分的图像作为局部图像;分别拍摄待测件200不同的多个部分的多个局部图像;及处理多个局部图像以获取第一图像。也即是说,步骤0113至步骤0116可以由拍摄模块11执行。
在某些实施方式中,处理器50还用于调节运动平台30,以使待测件200的部分位于第一传感器20的景深范围内及视场范围内;第一传感器20还用于拍摄待测件200的部分的图像作为局部图像;分别拍摄待测件200不同的多个部分的多个局部图像;处理器50还用于处理多个局部图像以获取第一图像。也即是说,步骤0113和步骤0116可以由处理器50执行,步骤0114和步骤0115可以由第一传感器20执行。
具体地,在待测件200尺寸较大时,如待测件200高度(即待测件200在垂直水平面方向的高度)较高,待测件200的高度超过了景深范围的宽度,此时通过一次拍摄无法对待测件200所有高度部分均进行清晰的聚焦;因此,处理器50调节Z运动平台32以使得待测件200部分位于景深范围内,然后拍摄该待测件200部分的图像作为局部图像,然后再次调节Z运动平台32以使得待测件200的其他部分再次位于景深范围内,然后拍摄该待测件200的其他部分的图像作为局部图像,每次调节均清晰拍摄一个部分(即,清晰拍摄待测件200位于景深范围内的高度部分),调节次数根据待测件200的高度和景深范围的宽度的比例确定,如待测件200的高度和景深范围的宽度的比例为N,则调节次数为对N进行向上取整后的整数,如比例N=2.1,则调节次数为3。第一传感器20分多次拍摄后,即可得到待测件200所有高度部分均清晰聚焦的多张局部图像,处理器50将每张局部图像对应的位于景深范围内的待测件200的部分的图像进行合成,即可得到待测件200所有部分均清晰聚焦的整体图像,从而作为第一图像。
例如,当景深范围为5厘米至10厘米,则景深范围的宽度为5厘米,若待测件200的高度为10厘米,则需要进行两次拍摄,第一次调节以进行拍摄时,待测件200中高度为0到5厘米的部分位于景深范围内,第二次调节以进行拍摄时,待测件200中高度为5到10厘米的部分位于景深范围内,从而得到两张分别对待测件200不同高度部分清晰聚焦的局部图像,然后将两张局部图像中待测件200的0到5厘米高度的部分和5到10厘米高度的部分合成即可得到第一图像。
当待测件200的覆盖范围(即,待测件200在水平面的覆盖面积)大于第一传感器20的视场范围时,此时第一传感器20通过一次拍摄无法拍摄到完整的待测件200的图像。其中,第一传感器20的视场范围根据待测件200和第一传感器20的距离不同而发生改变,待测件200距离第一传感器20越远,待测件200对应的第一传感器20的视场范围则越大,此时待测件200越容易位于第一传感器20的视场范围内。
此时,处理器50可调节XY运动平台31,以使得待测件200的部分位于视场范围内,然后第一传感器20拍摄该待测件200的部分,即可得到局部图像;然后再次调节XY运动平台31,以使得待测件200的其他部分位于视场范围内,然后再次拍摄得到一张局部图像,每次调节XY运动平台31后均拍摄一张局部图像,通过将多个局部图像合成即可得到完整的待测件200的图像。同样地,调节次数根据待测件200的覆盖范围和第一传感器20的视场范围的比例确定,如待测件200的覆盖范围和第一传感器20的视场范围的比例为L,则调节次数为对L进行向上取整后的整数,如比例L=3.1,则调节次数为4。当然,由于待测件200的形状可能不规则或与视场范围的匹配性较差(如待测件200形状为圆形而视场范围为矩形),此时处理器50可检测合成后的第一图像中的待测件200是否完整,若不完整,则需要调整调节次数,如增加调节次数以拍摄未拍摄到的部分,从而保证最终合成的待测件200是完整的。
若待测件200的高度超过了景深范围的宽度,此时在调节Z运动平台32以使得待测件200的部分位于景深范围内后,处理器50可判断待测件200的覆盖范围是否大于第一传感器20的视场范围,若待测件200的覆盖范围小于或等于第一传感器20的视场范围,则只需拍摄一张局部图像;若待测件200的覆盖范围大于第一传感器20的视场范围,则保持当前景深位置不变,处理器50调节XY运动平台31以使得待测件200的部分位于视场范围内,然后多次调节待测件200的水平位置,以拍摄多个待测件200的部分,从而得到多张局部图像,通过多张局部图像能够合成待测件200的完整图像,且待测件200位于该在景深范围内的高度部分能够清晰聚焦;
然后处理器50调节Z运动平台32,以使得待测件200的其他部分位于景深范围内,处理器50再次判断待测件200的覆盖范围是否大于第一传感器20的视场范围,从而确定是否需要拍摄多张局部图像以合成待测件200的完整图像,处理器50根据每个高度部分位于景深范围时拍摄的一张或多张局部图像,最终合成在待测件200所有高度部分清晰聚焦的待测件200的第一图像。
请参阅图2、图3和图8,在某些实施方式中,待测区域包括多个待测像素,每个待测像素对应待测件200的一个局部;步骤013包括:
0131:分别计算多个局部清晰地位于第一传感器20的视场范围的中心时,运动平台30的多个第一坐标;及
0132:依据多个第一坐标,生成第一坐标集。
在某些实施方式中,第一计算模块13还用于分别计算多个局部清晰地位于第一传感器20的视场范围的中心时,运动平台30的多个第一坐标;及依据多个第一坐标,生成第一坐标集。也即是说,步骤131和步骤0132可以由第一计算模块13执行。
在某些实施方式中,处理器50还用于分别计算多个局部清晰地位于第一传感器20的视场范围的中心时,运动平台30的多个第一坐标;及依据多个第一坐标,生成第一坐标集。也即是说,步骤0131和步骤0132可以由处理器50执行。
具体地,处理器50确定待测区域后,可分别计算多个局部清晰地位于第一传感器20的视场范围的中心时(即,第一传感器20对准局部且局部位于第一传感器20的景深范围内),运动平台30的多个第一坐标。
在拍摄第一图像时,处理器50获取运动平台30在物理坐标系的初始坐标;该初始坐标与第一图像中的中心像素对应,此时,第一传感器20对准中心像素对应的待测件200的部分(即,中心像素对应的待测件200的部分位于第一传感器20的视场范围的中心)。
由于初始坐标与中心像素存在对应关系,即第一图像的图像坐标系与运动平台30的物理坐标系存在对应关系,根据该对应关系及待测区域内的待测像素和中心像素的图像坐标的差值、及每个待测像素的实际物理尺寸,即可计算到第一传感器20对准任一待测像素对应的待测件200的局部进行拍摄时,对应的运动平台30的第一坐标,从而根据多个第一坐标计算得到第一传感器20拍摄待测区域时,运动平台30的第一坐标集。
可以理解,运动平台30在物理坐标系的坐标为(X,Y,Z),X和Y表示XY运动平台31在水平面和坐标原点的相对位置,Z表示Z运动平台32在垂直水平面方向与坐标原点的相对位置。其中,坐标原点可任意选取,方便坐标的后续计算即可,如在初始状态下,待测件200的中心所在的位置为坐标原点。
由于第一图像是在同一Z坐标下拍摄,因此所有待测像素对应的运动平台30的Z坐标(如初始坐标中的Z=5)是相同的,且均处于同一可清晰地成像的景深处。只需改变运动平台30的X坐标和Y坐标(如初始坐标中的X=2,Y=3),即可使得第一传感器20对准任一待测像素对应的局部,因此,不同待测像素对应的第一坐标的差异仅在于X和Y。
例如,中心像素的图像坐标为(50,50),运动平台30的初始坐标为(2,3,5),单位为毫米(mm)。第一图像的实际物理尺寸为0.1mm,实际物理尺寸为0.1mm表示第一图像中每个像素对应物理坐标系中的长宽均为0.1mm的矩形局部。如待测像素的图像坐标为(40,40),则待测像素对应的第一坐标为(2-10*0.1,3-10*0.1,5),即(1,2,5)。因此,根据待测像素和中心像素的图像坐标的差值和实际物理尺寸,即可确定待测像素对应的第一坐标和初始坐标的坐标差值(如上述例子中的X坐标的差值为1,Y坐标的差值为1),从而根据初始坐标和坐标差值计算得到第一坐标。
请参阅图2、图3和图9,在某些实施方式中,生成方法还包括:
016:获取检测属性;
017:控制运动平台30沿扫描路径运动,且第二传感器40采集待测件200的信息;
018:依据检测属性,及第二传感器40采集的信息,输出检测结果。
在某些实施方式中,生成装置10还包括第二获取模块16、控制模块17和输出模块18。第二获取模块16用于获取检测属性;控制模块17用于控制运动平台30沿扫描路径运动,且第二传感器40采集待测件200的信息;输出模块18用于依据检测属性,及第二传感器40采集的信息,输出检测结果。也即是说,步骤016可以由第二获取模块16执行,步骤017可以由控制模块17执行,步骤018可以由输出模块18执行。
在某些实施方式中,处理器50还用于获取检测属性;运动平台30沿扫描路径运动,第二传感器40用于采集待测件200的信息;处理器50还用于依据检测属性、及第二传感器40采集的信息,输出检测结果。也即是说,步骤016和步骤018可以由处理器50执行,步骤017由运动平台30配合第二传感器40执行。
具体地,在确定了扫描路径时,此时运动平台30配合第二传感器40要开始沿扫描路径采集待测件200的信息。处理器50可预先获取需要检测的检测属性,如平面度、圆度、高度差等,检测属性可以是根据用户输入确定的,也可以是根据待测件200的类型确定的,不同类型的待测件200需要检测的属性一般是不同的。
此时运动平台30开始沿着扫描路径移动,扫描路径可包括多个拍摄节点,如图4,当第二传感器40每次仅采集一个局部的信息(如深度信息)时,每个第二坐标均作为一个拍摄节点,运动平台30每次移动到拍摄节点均进行信息采集;如图5,在第二传感器40每次可采集多个局部的信息时,则可以前述提到的每个运动区域M中心的待测像素对应的第二坐标为拍摄节点,从而减少采集次数(如图5的采集次数为图4的采集次数的1/9),有利于提高检测效率。
在运动平台30沿扫描路径移动完成后,第二传感器40即完成待测件200的所有局部的信息的采集,处理器50根据检测属性,对采集的信息进行检测,从而输出与检测属性对应的输出结果。
例如,检测属性为平面度,第二传感器40采集了每个局部的深度信息,根据不同局部的深度的差异,即可确定平面度。然后处理器50输出平面度信息以作为检测结果。
请参阅图10,本申请实施方式的一个或多个包含计算机程序302的非易失性计算机可读存储介质300,当计算机程序302被一个或多个处理器50执行时,使得处理器50可执行上述任一实施方式的标定方法。
例如,请结合图1至图3,当计算机程序302被一个或多个处理器50执行时,使得处理器50执行以下步骤:
011:通过第一传感器20拍摄待测件200的第一图像,待测件200设置在运动平台30上;
012:获取第一图像中的至少部分区域为待测区域;
013:计算第一传感器20拍摄待测区域时,运动平台30的第一坐标集;
014:依据第一坐标集,及第一传感器20与第二传感器的预设标定关系,计算第二传感器40拍摄待测区域时,运动平台30的第二坐标集;
015:依据第二坐标集生成运动平台30的扫描路径。
再例如,请结合图2、图3和图5,当计算机程序302被一个或多个处理器50执行时,处理器50还可以执行以下步骤:
0111:调节运动平台30,以使待测件200的整体位于第一传感器20的景深范围内及视场范围内;及
0112:拍摄待测件200的整体的图像作为第一图像。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施方式所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (15)
1.一种生成方法,其特征在于,包括:
通过第一传感器拍摄待测件的第一图像,所述待测件设置在运动平台上;
获取所述第一图像中的至少部分区域为待测区域;
计算所述第一传感器拍摄所述待测区域时,所述运动平台的第一坐标集;
依据所述第一坐标集,及所述第一传感器与第二传感器的预设标定关系,计算所述第二传感器拍摄所述待测区域时,所述运动平台的第二坐标集;及
依据所述第二坐标集生成所述运动平台的扫描路径。
2.根据权利要求1所述的生成方法,其特征在于,所述通过第一传感器拍摄待测件的第一图像,包括:
调节所述运动平台,以使所述待测件的整体位于所述第一传感器的景深范围内及视场范围内;及
拍摄所述待测件的整体的图像作为所述第一图像。
3.根据权利要求1所述的生成方法,其特征在于,所述通过第一传感器拍摄待测件的第一图像,包括:
调节所述运动平台,以使所述待测件的部分位于所述第一传感器的景深范围内及视场范围内;
拍摄所述待测件的部分的图像作为局部图像;
分别拍摄所述待测件不同的多个部分的多个局部图像;及
处理所述多个局部图像以获取所述第一图像。
4.根据权利要求1-3任一项所述的生成方法,其特征在于,所述第一传感器与所述第二传感器的预设标定关系,包括:
所述运动平台的第一标定坐标与第二标定坐标的位置转换关系,
其中,所述第一传感器能够清晰拍摄所述运动平台上的标定件时,所述运动平台处于所述第一标定坐标,所述第二传感器能够准确采集所述标定件的信息时,所述运动平台处于所述第二标定坐标。
5.根据权利要求1所述的生成方法,其特征在于,所述待测区域包括多个待测像素,每个所述待测像素对应所述待测件的一个局部;所述计算所述第一传感器拍摄所述待测区域时,所述运动平台的第一坐标集,包括:
分别计算多个所述局部清晰地位于所述第一传感器的视场范围的中心时,所述运动平台的多个第一坐标;及
依据多个所述第一坐标,生成所述第一坐标集。
6.根据权利要求1所述的生成方法,其特征在于,所述生成方法,还包括:
获取检测属性;
控制所述运动平台沿所述扫描路径运动,且所述第二传感器采集所述待测件的信息;
依据所述检测属性,及所述第二传感器采集的信息,输出检测结果。
7.一种生成装置,其特征在于,包括:
拍摄模块,用于通过第一传感器拍摄待测件的第一图像,所述待测件设置在运动平台上;
第一获取模块,用于获取所述第一图像中的至少部分区域为待测区域;
第一计算模块,用于计算所述第一传感器拍摄所述待测区域时,所述运动平台的第一坐标集;
第二计算模块,用于依据所述第一坐标集,及所述第一传感器与第二传感器的预设标定关系,计算所述第二传感器拍摄所述待测区域时,所述运动平台的第二坐标集;
生成模块,用于依据所述第二坐标集生成所述运动平台的扫描路径。
8.一种生成系统,其特征在于,包括:
第一传感器,用于拍摄待测件的第一图像;
第二传感器,用于拍摄所述第一图像的待测区域的图像;
运动平台,所述待测件设置在所述运动平台上;及
处理器,所述处理器用于:
获取所述第一图像中的至少部分区域为所述待测区域;
计算所述第一传感器拍摄所述待测区域时,所述运动平台的第一坐标集;
依据所述第一坐标集,及所述第一传感器与所述第二传感器的预设标定关系,计算所述第二传感器拍摄所述待测区域时,所述运动平台的第二坐标集;及
依据所述第二坐标集生成所述运动平台的扫描路径。
9.根据权利要求8所述的生成系统,其特征在于,所述处理器还用于调节所述运动平台,以使所述待测件的整体位于所述第一传感器的景深范围内及视场范围内;所述第一传感器还用于拍摄所述待测件的整体的图像作为所述第一图像。
10.根据权利要求8所述的生成系统,其特征在于,所述处理器还用于调节所述运动平台,以使所述待测件的部分位于所述第一传感器的景深范围内及视场范围内;所述第一传感器还用于拍摄所述待测件的部分的图像作为局部图像;分别拍摄所述待测件不同的多个部分的多个局部图像;所述处理器还用于处理所述多个局部图像以获取所述第一图像。
11.根据权利要求8-10任一项所述的生成系统,其特征在于,所述第一传感器与所述第二传感器的预设标定关系,包括:
所述运动平台的第一标定坐标与第二标定坐标的位置转换关系,
其中,所述第一传感器能够清晰拍摄所述运动平台上的标定件时,所述运动平台处于所述第一标定坐标,所述第二传感器能够准确采集所述标定件的信息时,所述运动平台处于所述第二标定坐标。
12.根据权利要求8所述的生成系统,其特征在于,所述待测区域包括多个待测像素,每个所述待测像素对应所述待测件的一个局部;所述处理器还用于分别计算多个所述局部清晰地位于所述第一传感器的视野中心时,所述运动平台的多个第一坐标;及依据多个所述第一坐标,生成所述第一坐标集。
13.根据权利要求8所述的生成系统,其特征在于,所述处理器还用于获取检测属性;所述运动平台沿所述扫描路径运动;所述第二传感器采集所述待测件的信息;所述处理器还用于依据所述检测属性、及所述第二传感器采集的信息,输出检测结果。
14.根据权利要求8所述的生成系统,其特征在于,所述第一传感器为二维成像传感器,所述第二传感器为测距传感器。
15.一种包含计算机程序的非易失性计算机可读存储介质,当所述计算机程序被一个或多个处理器执行时,使得所述处理器执行如权利要求1至6中任一项所述的生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011566290.8A CN112710662B (zh) | 2020-12-25 | 2020-12-25 | 生成方法及装置、生成系统和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011566290.8A CN112710662B (zh) | 2020-12-25 | 2020-12-25 | 生成方法及装置、生成系统和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112710662A true CN112710662A (zh) | 2021-04-27 |
CN112710662B CN112710662B (zh) | 2024-08-06 |
Family
ID=75546796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011566290.8A Active CN112710662B (zh) | 2020-12-25 | 2020-12-25 | 生成方法及装置、生成系统和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112710662B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113358056A (zh) * | 2021-05-31 | 2021-09-07 | 深圳中科飞测科技股份有限公司 | 工件表面形貌的扫描方法、扫描系统及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080316504A1 (en) * | 2002-05-17 | 2008-12-25 | Gsi Lumonics Corporation | Method and system for machine vision-based feature detection and mark verification in a workpiece or wafer marking system |
CN103988049A (zh) * | 2011-12-06 | 2014-08-13 | 赫克斯冈技术中心 | 具有摄像头的坐标测量机 |
US20170003113A1 (en) * | 2011-12-06 | 2017-01-05 | Hexagon Technology Center Gmbh | Coordinate measuring machine having a camera |
CN106643551A (zh) * | 2016-12-07 | 2017-05-10 | 苏州笛卡测试技术有限公司 | 一种叶片形状快速扫描装置及方法 |
CN107144236A (zh) * | 2017-05-25 | 2017-09-08 | 西安交通大学苏州研究院 | 一种机器人自动扫描仪及扫描方法 |
CN108225190A (zh) * | 2016-12-15 | 2018-06-29 | 卡尔蔡司工业测量技术有限公司 | 测量系统 |
JP2018111165A (ja) * | 2017-01-12 | 2018-07-19 | ファナック株式会社 | 視覚センサのキャリブレーション装置、方法及びプログラム |
CN108844459A (zh) * | 2018-05-03 | 2018-11-20 | 华中科技大学无锡研究院 | 一种叶片数字化样板检测系统的标定方法及装置 |
CN109186462A (zh) * | 2018-08-10 | 2019-01-11 | 江南大学 | 一种激光高速测量机及测量方法 |
CN110940267A (zh) * | 2018-09-25 | 2020-03-31 | 深圳中科飞测科技有限公司 | 测量方法及其测量系统 |
CN111435070A (zh) * | 2019-01-14 | 2020-07-21 | 深圳中科飞测科技有限公司 | 转换关系的获取方法、检测设备及检测方法 |
-
2020
- 2020-12-25 CN CN202011566290.8A patent/CN112710662B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080316504A1 (en) * | 2002-05-17 | 2008-12-25 | Gsi Lumonics Corporation | Method and system for machine vision-based feature detection and mark verification in a workpiece or wafer marking system |
CN103988049A (zh) * | 2011-12-06 | 2014-08-13 | 赫克斯冈技术中心 | 具有摄像头的坐标测量机 |
US20150049186A1 (en) * | 2011-12-06 | 2015-02-19 | Hexagon Technology Center Gmbh | Coordinate measuring machine having a camera |
US20170003113A1 (en) * | 2011-12-06 | 2017-01-05 | Hexagon Technology Center Gmbh | Coordinate measuring machine having a camera |
CN106643551A (zh) * | 2016-12-07 | 2017-05-10 | 苏州笛卡测试技术有限公司 | 一种叶片形状快速扫描装置及方法 |
CN108225190A (zh) * | 2016-12-15 | 2018-06-29 | 卡尔蔡司工业测量技术有限公司 | 测量系统 |
JP2018111165A (ja) * | 2017-01-12 | 2018-07-19 | ファナック株式会社 | 視覚センサのキャリブレーション装置、方法及びプログラム |
CN107144236A (zh) * | 2017-05-25 | 2017-09-08 | 西安交通大学苏州研究院 | 一种机器人自动扫描仪及扫描方法 |
CN108844459A (zh) * | 2018-05-03 | 2018-11-20 | 华中科技大学无锡研究院 | 一种叶片数字化样板检测系统的标定方法及装置 |
CN109186462A (zh) * | 2018-08-10 | 2019-01-11 | 江南大学 | 一种激光高速测量机及测量方法 |
CN110940267A (zh) * | 2018-09-25 | 2020-03-31 | 深圳中科飞测科技有限公司 | 测量方法及其测量系统 |
CN111435070A (zh) * | 2019-01-14 | 2020-07-21 | 深圳中科飞测科技有限公司 | 转换关系的获取方法、检测设备及检测方法 |
Non-Patent Citations (1)
Title |
---|
何晓波;王宏涛;陈琪;吴得信;: "几何量测量路径自动生成方法", 应用科技, no. 03, pages 53 - 56 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113358056A (zh) * | 2021-05-31 | 2021-09-07 | 深圳中科飞测科技股份有限公司 | 工件表面形貌的扫描方法、扫描系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112710662B (zh) | 2024-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8233041B2 (en) | Image processing device and image processing method for performing three dimensional measurements | |
JP6363863B2 (ja) | 情報処理装置および情報処理方法 | |
EP1343332B1 (en) | Stereoscopic image characteristics examination system | |
WO2012053521A1 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
CN112634376B (zh) | 标定方法及装置、标定设备和存储介质 | |
JP6299111B2 (ja) | レーザ加工装置 | |
US20150109418A1 (en) | Method and system for three-dimensional data acquisition | |
JP2014126430A (ja) | 欠陥検査方法および欠陥検査装置 | |
JP2012028949A (ja) | 画像処理装置及びその制御方法 | |
JP5385703B2 (ja) | 検査装置、検査方法および検査プログラム | |
CN109493418B (zh) | 一种基于LabVIEW的三维点云获取方法 | |
US9157874B2 (en) | System and method for automated x-ray inspection | |
CN110415363A (zh) | 一种基于三目视觉的散乱物识别定位方法 | |
CN112710662B (zh) | 生成方法及装置、生成系统和存储介质 | |
JP5336325B2 (ja) | 画像処理方法 | |
JP7151873B2 (ja) | 検査装置 | |
US8102516B2 (en) | Test method for compound-eye distance measuring apparatus, test apparatus, and chart used for the same | |
JP5136108B2 (ja) | 三次元形状計測方法および三次元形状計測装置 | |
CN115684012A (zh) | 视觉检测系统、校准方法、装置和可读存储介质 | |
US20080008381A1 (en) | Coordinate acquisition apparatus for test of printed board, and coordinate acquisition method and program for test thereof | |
JP4062100B2 (ja) | 形状測定装置 | |
CN109565544B (zh) | 位置指定装置及位置指定方法 | |
JP7262800B2 (ja) | 三次元画像生成システム、三次元画像生成方法、三次元画像生成プログラムおよび記録媒体 | |
JP2009186216A (ja) | 3次元形状測定装置 | |
JP4760072B2 (ja) | X線検査装置及びx線検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |