CN116380911A - 一种基于3d机器视觉的光学成像系统及方法 - Google Patents
一种基于3d机器视觉的光学成像系统及方法 Download PDFInfo
- Publication number
- CN116380911A CN116380911A CN202310334770.9A CN202310334770A CN116380911A CN 116380911 A CN116380911 A CN 116380911A CN 202310334770 A CN202310334770 A CN 202310334770A CN 116380911 A CN116380911 A CN 116380911A
- Authority
- CN
- China
- Prior art keywords
- main
- light source
- camera
- target detection
- detection object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012634 optical imaging Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 136
- 230000003287 optical effect Effects 0.000 claims abstract description 22
- 238000009792 diffusion process Methods 0.000 claims description 25
- 230000003595 spectral effect Effects 0.000 claims description 20
- 239000003086 colorant Substances 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 16
- 238000013461 design Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 239000011247 coating layer Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000010410 layer Substances 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P10/00—Technologies related to metal processing
- Y02P10/25—Process efficiency
Abstract
本发明公开了一种基于3D机器视觉的光学成像系统及方法,所述系统包括:棱镜主座,设有第一路通道、第二路通道和主路通道,相机模块,设于所述棱镜主座;光学模块,与所述相机模块相对设置;同轴光源模块,设于所述棱镜主座的侧部;多角度光源模块,设于所述棱镜主座的底部。本发明的系统通过同轴光源模块和多角度光源模块能够对目标检测物全方位照明,配合主相机、第一相机和第二相机采集目标检测物的二维信息,实现对不同深度颜色被测物的检测,且三维线扫相机对目标检测物进行线扫以得到三维信息,进而提高目标检测物的检测精度。
Description
技术领域
本发明涉及机器视觉领域,尤其涉及一种基于3D机器视觉的光学成像系统及方法。
背景技术
随着市场对芯片需求的不断增长,产量需求也逐年增长,相应的,生产工艺技术随之不断提升,芯片形态日趋复杂化。在生产过程中,需要对成品是否存在缺陷进行检测。芯片搭载在料片上,一块料片上可搭载数百块芯片。芯片体积小,排布密集,结构复杂。
在现有设计方案中,目前采用的方式是通过拍摄设备给芯片进行拍摄,通过不同的灯光来强化芯片的不同特征进行检测,但目前大多数拍摄设备所采集的是二维成像图,某些特征信息难以获取,从而传统的3D检测精度不高,并且3D检测对芯片材料具有较高要求,进而导致芯片检测的精度有待提高。
因此,现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足,本发明的目的在于提供一种基于3D机器视觉的光学成像系统及方法,旨在解决如何提高芯片检测的精度。
本发明的技术方案如下:
第一方面,本发明提供一种基于3D机器视觉的光学成像系统,其中,包括:
棱镜主座,设有第一路通道、第二路通道和主路通道,所述主路通道垂直于目标检测物的放置面,所述第一路通道和所述第二路通道分别与目标检测物的放置面倾斜,且所述第一路通道及第二路通道的末端均靠近所述主路通道的末端;
相机模块,设于所述棱镜主座;
光学模块,与所述第一路通道、所述第二路通道及所述主路通道连接,且与所述相机模块相对设置;
同轴光源模块,设于所述棱镜主座的侧部,且所述同轴光源模块的出光方向朝向所述光学模块;
多角度光源模块,设于所述棱镜主座的底部,用于对目标检测物进行照明;
其中,所述相机模块包括:主相机,连接于所述主路通道,用于采集目标检测物的主平面信息;第一相机,连接于所述第一路通道,用于采集目标检测物的第一平面信息;第二相机,连接于所述第二路通道,用于采集目标检测物的第二平面信息;三维线扫相机,设于所述棱镜主座,用于采集目标检测物的三维信息。
在一种实施方式中,所述相机模块还包括:主远心镜头,设于所述主路通道;第一远心镜头,设于所述第一路通道;第二远心镜头,设于所述第二路通道;
所述光学模块包括:分光棱镜,所述主相机、所述主远心镜头和所述分光棱镜沿所述主路通道方向依次设置;第一分光镜,所述第一相机、所述第一远心镜头和所述第一分光镜沿所述第一路通道方向依次设置;第二分光镜,所述第二相机、所述第二远心镜头和所述第二分光镜沿所述第二路通道方向依次设置。
在一种实施方式中,所述同轴光源模块包括:
主同轴光源,连接于所述主路通道,所述主同轴光源发出的光线经所述分光棱镜沿所述主路通道方向折射至目标检测物;
第一同轴光源,连接于所述第一路通道,所述第一同轴光源发出的光线经所述第一分光镜沿所述第一路通道方向折射至目标检测物;
第二同轴光源,连接于所述第二路通道,所述第二同轴光源发出的光线经所述第二分光镜沿所述第二路通道方向折射至目标检测物。
在一种实施方式中,所述棱镜主座的底部设有弧形结构,所述弧形结构背离所述同轴光源模块的一侧连接有圆顶灯罩,且所述圆顶灯罩的两侧呈开口状;
所述多角度光源模块包括沿所述圆顶灯罩内壁朝向目标检测物方向依次设置的补偿光源、圆顶光源和环形光源;
其中,所述补偿光源的出光方向朝向目标检测物,所述圆顶光源发出的光线经所述弧形结构反射至目标检测物,所述环形光源的出光方向朝向目标检测物。
在一种实施方式中,所述棱镜主座上连接有线扫固定架,所述线扫固定架位于所述主路通道背离所述第二路通道的一侧,所述三维线扫相机设于所述线扫固定架;和/或
所述棱镜主座上连接有光谱共焦座,所述光谱共焦座上设有光谱共焦传感器,且所述光谱共焦传感器的出光方向朝向被测物。
在一种实施方式中,所述第一路通道内连接有分光镜架,且所述分光镜架一端呈开口状,所述第一分光镜设于所述分光镜架的开口处;和/或
所述第一路通道首端连接有相机固定座,所述第一相机设于所述相机固定座,且所述相机固定座位于所述第一远光镜头背离所述第一分光镜的一侧;和/或
所述第一路通道内连接有夹块,所述第一远光镜头设于所述夹块,且所述第一相机通过所述相机固定座与所述第一远心镜头连接。
在一种实施方式中,还包括工装模块,所述工装模块与所述棱镜主座连接;所述工装模块包括:Z轴固定座;导轨,设置于所述棱镜主座;滑块,设于所述Z轴固定座,且与所述导轨滑动连接;驱动电机,设于所述Z轴固定座;丝杠,与所述驱动电机连接;螺母,与所述丝杠螺纹连接,且所述螺母连接于所述棱镜主座。
在一种实施方式中,,所述第一同轴光源包括:第一同轴底座,连接于所述第一路通道的一侧;第一同轴灯板,设于所述第一同轴底座内;第一扩散片,设于所述第一同轴灯板,所述第一同轴灯板的出光方向朝向所述第一扩散片。
在一种实施方式中,所述环形光源上设有环形扩散片;
所述分光棱镜包括朝向所述主远光镜头一侧的主膜层;
所述棱镜主座内设有黑绒布,且所述黑绒布位于所述主同轴光源和所述分光棱镜之间。
第二方面,本发明提供一种根据上述方案中任一项所述的基于3D机器视觉的光学成像系统的控制方法,其中,包括如下步骤:
启动同轴光源模块和多角度光源模块,控制主相机采集目标检测物的主平面信息,控制第一相机采集目标检测物的第一平面信息,控制第二相机采集目标检测物的第二平面信息;
控制三维线扫相机对目标检测物进行线扫,得到目标检测物对应的三维信息;
根据所述主平面信息、所述第一平面信息、所述第二平面信息和所述三维信息,确定目标检测物对应的三维图像;
获取目标检测物对应的模板图像,并根据所述模板图像和所述三维图像,得到目标检测物的检测结果。
有益效果:本发明提供了一种基于3D机器视觉的光学成像系统及方法,所述系统包括:棱镜主座,设有第一路通道、第二路通道和主路通道,相机模块,设于所述棱镜主座;光学模块,与所述相机模块相对设置;同轴光源模块,设于所述棱镜主座的侧部;多角度光源模块,设于所述棱镜主座的底部。本发明的系统通过同轴光源模块和多角度光源模块能够对目标检测物全方位照明,配合主相机、第一相机和第二相机采集目标检测物的二维信息,实现对不同深度颜色被测物的检测,且三维线扫相机对目标检测物进行线扫以得到三维信息,从而实现对目标检测物全面多方位检测,进而提高目标检测物的检测精度。
附图说明
图1为本发明的基于3D机器视觉的光学成像系统中棱镜主座内部的示意图;
图2为本发明的系统中三维线扫相机的左视图;
图3为本发明的第一同轴光源的拆解示意图;
图4中左图为本发明的弧形结构的仰视图,图4中右图为本发明的环形扩散片的示意图;
图5为本发明的工装模块的示意图。
附图标记说明:
100-相机模块;11-主相机;12-第一相机;13-第二相机;14-主远心镜头;15-第一远心镜头;16-第二远心镜头;17-第一相机固定座;18-第二相机固定座;19-三维线扫相机;191-线扫固定架;200-光学模块;21-分光棱镜;22-第一分光镜;23-第二分光镜;300-多角度光源模块;301-弧形结构;31-圆顶光源;32-环形光源;33-补偿光源;34-圆顶灯罩;35-环形扩散片;41-主同轴光源;411-第一同轴底座;412-第一同轴灯板;413-第一扩散片;42-第一同轴光源;43-第二同轴光源;51-Z轴固定座;52-电机;53-Z电机座;54-导轨;55-丝杆。
具体实施方式
本发明提供一种基于3D机器视觉的光学成像系统及方法,为使本发明的目的、技术方案及效果更加清楚、明确,以下对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
需说明的是,除非另有明确具体的规定和限定,术语“安装”、“连接”应做广义理解,例如,可以是螺钉安装,也可以是卡扣安装;可以是固定连接,也可以是拆卸连接;可以是直接相连,也可以通过中间媒介间接相连。当部件被称为“固定于”或“设置于”另一个部件,它可以直接在另一个部件上或者间接在该另一个部件上。当一个部件被称为是“连接于”另一个部件,它可以是直接连接到另一个部件或者间接连接至该另一个部件上。
还需说明的是,本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此,附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
现有技术中,目前采用的方式是通过拍摄设备给芯片进行拍摄,通过不同的灯光来强化芯片的不同特征进行检测。但目前大多数拍摄设备所采集的是二维成像图,某些特征信息难以获取。为使采集到更为精确的图像信息,需要获得其三维成像图,以满足各种不同的检测需求。此外,在生产实践中,镜头结构通常固定,故其景深也固定不变,要获取成像效果较好的三维图像,较小的景深难以满足成像效果。
为了解决上述问题,本发明提供了一种基于3D机器视觉的光学成像系统,如图1或图2所示,所述系统包括:
棱镜主座,设有第一路通道(第一侧路)、第二路通道(第二侧路)和主路通道(主路),所述主路通道垂直于目标检测物的放置面,所述第一路通道和所述第二路通道分别与目标检测物的放置面倾斜,且所述第一路通道及第二路通道的末端均靠近所述主路通道的末端;
相机模块100,设于所述棱镜主座(图中未示出);
光学模块200,与所述第一路通道、所述第二路通道及所述主路通道连接,且与所述相机模块100相对设置;
同轴光源模块,设于所述棱镜主座的侧部,且所述同轴光源模块的出光方向朝向所述光学模块;
多角度光源模块300,设于所述棱镜主座的底部,用于对目标检测物进行照明;多角度光源模块3000与所述光学模块200相连通;
其中,所述相机模块100包括:
主相机11,连接于所述主路通道,用于采集目标检测物的主平面信息;
第一相机13,连接于所述第一路通道,用于采集目标检测物的第一平面信息;
第二相机12,连接于所述第二路通道,用于采集目标检测物的第二平面信息;
三维线扫相机19,设于所述棱镜主座,用于采集目标检测物的三维信息。
需要说明的是,本实施例中的第一侧路为右路,第二侧路为后路,但不限于此,也可以设置第一侧路为后路,第二侧路为左路。棱镜主座为装置的壳体,棱镜主座包括三路结构,也就是一条主路及两条侧路(即右路和后路),各路通道内部中空,每路从顶部贯通于底部;右路的通道方向和后路的通道方向分别与水平面(与放置面平行)成一定倾斜角(即呈锐角);需要注意,主相机11、第一相机13和第二相机12均为2D工业相机,而三维线扫相机19为一体式3D相机。
具体地,光学模块200设于棱镜主座各光路(主路、第一侧路、第二侧路)内部,相机模块100设于棱镜主座各光路上方,且分别与各光路的通道方向处于同一直线,三维线扫相机19设于棱镜主座的主路背离第二侧路的一侧(即前端)。棱镜主座主路内部设有分光棱镜21;相机模块100分别设于棱镜主座顶部及主路侧面表面,且相机模块100均朝向棱镜主座底部设置,位于被测对象的特征成像的光路上,用于采集被测对象的图像信息;侧边同轴光源模块均设于棱镜主座的各路侧面,且出光方向均朝向各路内部设置;多角度光源模块300设于棱镜主座底部表面,与棱镜主座相连通,多角度光源模块300的出光方向朝向被测对象,多角度光源模块300内设有多个不同角度的光源,出射光线可将被测对象全方位打亮。
棱镜主座的主路竖直,右路以及后路与水平面成一定倾斜角,且三路共同朝向棱镜主座底部,棱镜主座底部呈漏斗状并带有一定弧度,即棱镜主座底部具有弧形结构301,棱镜主座设置有若干连接口。本发明中的目标检测物为芯片,但不限于此。也就是说,主路、右路和后路在垂直方向(即俯视时)上的布局相当于“L”的端点(即分别对应交点、右端点和上端点),主路的通道方向垂直放置面,也就是如图1所示主路由上向下正对目标检测物,且右路和后路由上向下(即从首端向末端)朝主路末端靠拢。
在本发明的较佳实施例中,正因为采用了上述的技术方案,本发明的系统通过同轴光源模块和多角度光源模块能够对目标检测物全方位照明,配合主相机、第一相机和第二相机采集目标检测物的二维信息,且三维线扫相机对目标检测物进行线扫以得到三维信息,从而实现对目标检测物全面多方位检测,以减少特征漏检的情况,进而提高目标检测物的检测精度。另外,通过主相机、第一相机和第二相机朝向目标检测物的设置方式,能够实现在不改变镜头结构的情况下能够获取大的景深。
在一种实施方式中,如图1所示,所述相机模块100还包括:主远心镜头14,设于所述主路通道;第一远心镜头15,设于所述第一路通道;第二远心镜头16,设于所述第二路通道;
所述光学模块200包括:分光棱镜21,所述主相机11、所述主远心镜头14和所述分光棱镜21沿所述主路通道方向依次设置;第一分光镜22,所述第一相机13、所述第一远心镜头16和所述第一分光镜21沿所述第一路通道方向依次设置;第二分光镜23,所述第二相机12、所述第二远心镜头15和所述第二分光镜22沿所述第二路通道方向依次设置。其中,在平行于目标检测物放置面的平面上,所述主相机11和第一相机13形成第一连线,主相机11和第二相机12形成第二连线,第一连线与第二连线的预设角度为九十度;第一分光镜23呈倾斜角度设置在右路,第二分光镜22呈倾斜角度设置在后路,第一分光镜和第二分光镜相对设置。
具体地,所述第一路通道内连接有分光镜架(图中未示出),且所述分光镜架一端呈开口状,所述第一分光镜设于所述分光镜架的开口处;第二路通道和主路通道内同样连接有分光镜架,且相应的分光棱镜和第二分光镜设于分光镜架的开口处。
在一种实施方式中,所述第一路通道首端连接有第一相机固定座18,所述第一相机23设于所述相机固定座,且所述相机固定座位于所述第一远光镜头背离所述第一分光镜的一侧;相应的,第二路通道首端(即上端)连接有第二相机固定座17。进一步,第一相机固定座18和第二相机固定座17呈楔形,从而使第一相机13和第二相机12相应倾斜并朝向棱镜主座底部(即主路通道末端)。
所述第一路通道内连接有夹块(图中未示出),所述第一远光镜头16设于所述夹块,且所述第一相机13通过所述相机固定座与所述第一远心镜头16连接;相应的,第二路通道和主路通道内均连接有夹块,夹块分别连接第二远心镜头和主远心镜头。
如图1或图2所示,第一相机11连接于主远心镜头14,主远心镜头14底部尺寸于棱镜主座主路内部尺寸相适配,并使用两个夹块(图未示)固定;第二相机12通过第二相机固定座17与第二远心镜头15相连接,第二远心镜头15底部与棱镜主座第二侧路内部尺寸相适配,并使用2个夹块固定(图未示);第一相机13通过第一相机固定座18与第一远心镜头16相连接,第一远心镜头16底部与棱镜主座第一侧路内部尺寸相适配,并使用两个夹块固定,所述远心镜头均含有透镜组,用于将光束进行扩束整形,将成像特征光投射到工业相机上;通过棱镜主座、三个远心镜头以及三个工业相机的配合,能在计算机的图像处理软件中得到三路成像,进行三个视角的拍摄,获取更多被测对象的细节。
在一种实施方式中,如图1所示,所述同轴光源模块包括:主同轴光源21,连接于所述主路通道,所述主同轴光源发出的光线经所述分光棱镜沿所述主路通道方向折射至目标检测物;第一同轴光源23,连接于所述第一路通道,所述第一同轴光源发出的光线经所述第一分光镜沿所述第一路通道方向折射至目标检测物;第二同轴光源22,连接于所述第二路通道,所述第二同轴光源发出的光线经所述第二分光镜沿所述第二路通道方向折射至目标检测物。
如图1或图4所示,所述棱镜主座的底部设有弧形结构301,所述弧形结构301背离所述同轴光源模块的一侧连接有圆顶灯罩34,且所述圆顶灯罩的两侧呈开口状;所述多角度光源模块300包括沿所述圆顶灯罩内壁朝向目标检测物方向依次设置的补偿光源33、圆顶光源31和环形光源32;其中,所述补偿光源33的出光方向朝向目标检测物,所述圆顶光源31发出的光线经所述弧形结构301反射至目标检测物,所述环形光源32的出光方向朝向目标检测物。弧形结构301与外罩连接,弧形结构101呈倒扣且中空的碗状。
具体地,如图4所示,圆顶灯罩34的一端与圆顶灯罩的另一端均呈开口状,圆顶灯罩的一端通过连接口与棱镜主座可拆卸连接;补偿光源33、圆顶光源31和环形光源32依次设于圆顶灯罩34的内壁上;补偿光源33上设有扩散片;圆环扩散片35设于所述环形光源32内部。需要注意,环形光源32的主要出光方向为水平朝向环形光源的圆心,且环形光源32的余光朝向目标检测物。
棱镜主座的底部的弧形结构301呈漏斗状或喇叭状,带有一定弧度,且弧形结构301一端内径至另一端的内径逐渐增大,弧形结构301下端连接圆顶灯罩34;棱镜主座的主路通道上端呈开口状,贯通于所述棱镜主座下表面,相同的,第一侧路和第二侧路上端呈开口状,向所述棱镜主座的底部表面成一定角度倾斜,贯通于所述棱镜主座下表面,棱镜主座侧面设有连接口,与同轴底座相连接,分光棱镜的部分相对于连接口设置。
具体的,多角度光源模块包括圆顶光源31、环形光源32、补偿光源33、圆顶灯罩34、环形扩散片35、补偿光扩散片(图未示),圆顶外罩34的一端可与弧形结构301连接,另一端与环形光源32相连接;圆顶光源31设于环形光源32的一端,圆顶光源31的外径小于环形光源32外径,其内径与环形光源32的内径相同,且环形光源32的内部设有环形扩散片35;弧形结构301设有两个连接口,其尺寸分别与两块补偿光灯板相适配,补偿光扩散片设于补偿光源33上。由于弧形结构301的形状以及补偿光源、环形光源32和圆顶光源31所设置的位置不同,相对于被测对象自下而上的方向设置,从而能够避免打光时出现灯光盲区或者亮度不均匀的情况,提升成像质量。需要注意,补偿光源33可设置在后路和/或右路,以便一体式3D相机19通过补偿光源33的中间缝隙对目标检测物进行三维信息采集。
在一些实施方式中,如图2所示,所述棱镜主座上连接有线扫固定架191,所述线扫固定架191位于所述主路通道背离所述第二路通道的一侧(即三维线扫相机19设置在棱镜主座的前侧),所述三维线扫相机19设于所述线扫固定架191。具体地,一体式3D相机19通过线扫固定架191连接于棱镜主座主路外侧表面上,棱镜主座背离分光棱镜21的端面上设有棱镜盖板,线扫固定架191设于棱镜主座前侧上,与棱镜盖板相对设置。通过设置线扫固定架使一体式3D相机与工业相机集成化,能够更全面地获取被测物的图像信息,提高了检测的精度和检测的效率。
在一些实施方式中,所述棱镜主座上连接有光谱共焦座,所述光谱共焦座上设有光谱共焦传感器,且所述光谱共焦传感器的出光方向朝向被测物。光谱共焦座设于棱镜主座主路侧面表面上(具体为棱镜主座前侧或左侧),且位于线扫固定架下方。光谱共焦传感器可对目标检测物进行检测,检测目标检测物的特征,通过安装光谱共焦传感器,满足对强吸光材料或者透明材料的检测。
当需要进行检测时,当目标检测物运输到检测装置下方时,启动同轴光源模块和多角度光源模块300,以将目标检测物全方位照明,从而凸显目标检测物的缺陷,避免出现视野盲区或者亮度不均匀的情况,主同轴光源41可射出光线,通过分光棱镜21将光线调整为射向目标检测物(即沿主路通道方向),第一同轴光源43可射出光线,通过第一分光镜23将光线调整为射向目标检测物,第二同轴光源42可射出光线,通过第二分光镜22将光线调整为射向目标检测物;多角度光源模块300环绕于目标检测物四周,射出的光线有多种角度,将目标检测物全方位打亮,提高检测范围;再通过相机模块100,采集目标检测物各路所反射的特征光,通过计算机将图像信息进行处理,将获取到的光信号转换成电信号显示在屏幕上,能够获得较好的成像效果,达到提高检测范围和检测效率的效果,也就是主相机11采集主平面信息、第一相机13采集第一平面信息、第二相机12采集第二平面信息,且目标检测物相对三维线扫相机19移动,以使三维线扫相机19采集三维信息。
本发明因设计了第一侧路和第二侧路,该设计实现了从三个角度获取被检测物的图像,以满足不同的检测需求,且对应设置两个相机固定座,相机固定座与相应侧路配合,运用沙姆定律,实现在不改变镜头结构的情况下能够获取大的景深;并添加线扫固定架和光谱共焦座,该设计便于3D线扫相机和光谱共焦传感器的安装,该设计实现了将多种测量方式集成化,实现了对被测对象全面、多方位的检测。因本发明添加了同轴光源模块、多角度光源模块,将被测对象全方位打亮,提升了成像质量。
在一种实施方式中,如图3所示,所述第一同轴光源43包括:第一同轴底座411,连接于所述第一路通道的一侧;第一同轴灯板412,设于所述第一同轴底座411内;第一扩散片413,设于所述第一同轴灯板412,所述第一同轴灯板412的出光方向朝向所述第一扩散片413。具体地,第一同轴灯座均设于棱镜主座的侧面,与棱镜主座可拆卸连接,第一同轴灯板412设于第一同轴灯座411内部,与第一同轴灯座的内部尺寸相适配,且第一同轴灯板412的出光方向朝向棱镜主座内部的第一分光镜,第一同轴灯板上设有若干个灯珠,第一扩散片413设于第一同轴灯座,位于棱镜主座与第一同轴灯板之间,第一扩散片均与第一同轴灯板相适配,用于将第一同轴灯板发出的光线均匀扩散。需要说明的是,第二同轴光源42和主同轴光源41均包括同轴灯板底座、同轴灯板和扩散片,结构相同或相似,在此不再赘述。
在一些实施方式中,所述环形光源32上设有环形扩散片35;扩散片内设有扩散物质,借助扩散物质对光线的折射、反射和散射,将光线雾化,使光线从光源均匀透出。应理解的是,本发明对于扩散片内的扩散物质不做具体限定。
所述分光棱镜21包括朝向所述主远光镜头14一侧的主膜层(即半透半反镀膜层);且所述第一分光镜16和第二分光镜15均包括半透半反镀膜层(膜层位于分光棱镜内部,对光线进行分光,一半透射,一半反射)。当主同轴光源41发出的光线经过分光棱镜21时,部分光线被折射射向目标检测物,当目标检测物反射回来的光线经过分光棱镜21时,部分光线会透过半透半反镀膜层,到达主相机接收面。
所述棱镜主座内设有黑绒布,且所述黑绒布位于所述主同轴光源和所述分光棱镜之间。棱镜主座的内侧朝向分光棱镜和朝向分光镜的侧面上均设有黑绒布,黑绒布吸收了杂散光,提升了成像质量。棱镜主座的主路的内侧和分光棱镜21之间设有黑绒布;相对于第一同轴光源的第一扩散片、第二同轴光源的第二扩散片,第一分光镜和第二分光镜分别至对应第一同轴光源、第二同轴光源之间设有黑绒布。具体地,所述棱镜主座的内侧相对于同轴光源的表面上均设置有黑绒布,用于吸收杂光,以减少杂光对成像的影响,提升成像质量。
在一种实施方式中,如图5所示,还包括工装模块,所述工装模块与所述棱镜主座连接;工装模块设于棱镜主座第一侧路的表面上,可以通过滑块在Z轴方向上移动,易于操控,从而提高成像质量。所述工装模块包括:Z轴固定座51;导轨54,设置于所述棱镜主座;驱动电机52,设于所述Z轴固定座51;丝杠53,与所述驱动电机52连接;螺母,与所述丝杠螺纹连接,且所述螺母连接于所述棱镜主座。
具体地,如图5所示,Z轴固定座51侧面设有连接口,棱镜主座第二侧路连接于导轨54,Z轴固定座51上设有滑块(图中未示处),棱镜主座能够沿导轨54方向上运动(即相对Z轴固定座上下运动);Z轴固定座51上表面设有Z电机座53,其内部为镂空结构,用于固定驱动电机52以及连接丝杆55;驱动电机52设于Z电机座53顶面,驱动电机52底部通过联轴器与丝杆55相连接,丝杆55上设有Z丝杆螺母块和轴承,Z丝杆螺母块通过连接件与棱镜主座连接,通过驱动电机52、丝杆55和Z丝杆螺母块的配合,能够通过计算机软件实现棱镜主座在Z轴方向上的控制,操作简便,提高了检测效率及精度,适应性强。
本发明通过Z轴固定座、Z电机座、驱动电机、Z丝杆螺母块、丝杆以及导轨,通过软件对电机的控制,驱动电机带动丝杆转动,实现了对本系统的Z轴方向上运动的控制,该设计便于3D视觉检测设备的升降,有效提高了稳定性、精度以及适用范围。
本发明的检测装置的工作原理:
当使用本发明进行检测时,当被测对象处于本发明下方时,通过对驱动电机52带动丝杆55转动,使棱镜主座在Z轴方向上运动,调整到合适位置时使棱镜主座稳定不动,以适应不同被测物清晰成像的需求;同轴光源模块射出光线,通过光学模块200将同轴光源模块的光路调整为从目标检测物的侧方射向目标检测物,且圆顶光源31、环形光源32和补偿光源33环绕设置在目标检测物四周,从各个角度射出光线,将光线均匀照射在目标检测物上;在通过主相机11和第一相机13、第二相机12以及分光棱镜、第一分光镜和第二分光镜的配合,将目标检测物反射的特征光转换为图像电信号;同时,一体式3D相机9对目标检测物进行扫面,获取目标信息,通过软件分析,可得到检测结果。应当注意的是,线扫固定架191上可以设置读码器,读取产品的序列号等信息,以满足检测需要;光谱共焦座上可安装光谱共焦传感器,以应对各种复杂结构的被测对象;通过集成化的设计,大幅度提高了检测范围和效率。
基于上述实施例,本发明还提供一种基于3D机器视觉的光学成像系统的控制方法,应用于上述学成像系统,所述控制方法包括如下步骤:
步骤S100、启动同轴光源模块和多角度光源模块,控制主相机采集目标检测物的主平面信息,控制第一相机采集目标检测物的第一平面信息,控制第二相机采集目标检测物的第二平面信息。
具体地,主平面信息为主图像、第一平面信息为第一图像,第二平面信息为第二图像,主图像、第一图像和第二图像均为二维图像;启动主同轴光源、圆顶光源和环形光源,控制主相机采集被测物的主平面信息;启动第一同轴光源、圆顶光源和环形光源,控制第一相机采集被测物的第一平面信息;启动第二同轴光源、圆顶光源和环形光源,控制第二相机采集被测物的第二平面信息。
步骤S200、控制三维线扫相机对目标检测物进行线扫,得到目标检测物对应的三维信息。
具体的,三维信息为初始三维图像,启动补偿光源,控制目标检测物移动,并控制三维线扫相机进行线扫,得到初始三维图像。
步骤S300、根据所述主平面信息、所述第一平面信息、所述第二平面信息和所述三维信息,确定目标检测物对应的三维图像。
具体地,根据主图像和初始三维图像确定主高度信息,根据第一图像和初始三维图像确定第一高度信息,根据第二图像和初始三维图像确定第二高度信息;根据主高度信息、第一高度信息和第二高度信息,得到三维图像。
所述步骤S300还包括:
控制光谱共焦传感器发生激光,得到图像补充信息;
根据主平面信息、所述第一平面信息、所述第二平面信息、所述三维信息和图像补充信息,得到目标检测物的三维图像。
步骤S400、获取目标检测物对应的模板图像,并根据所述模板图像和所述三维图像,得到目标检测物的检测结果。
具体的,将三维图像与模板图像进行对比分析,误差在预设阈值范围内时,检测结果为合格,误差在预设阈值范围外时,检测结果为不合格。
由于检测装置的具体结构以及工作步骤在上文已经详细阐述,具体有益效果在上文也已详细介绍,在此不再重复赘述。需要说明的是,上述步骤中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatile disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,ROM)或随机存储存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于3D机器视觉的光学成像系统,其特征在于,包括:
棱镜主座,设有第一路通道、第二路通道和主路通道,所述主路通道垂直于目标检测物的放置面,所述第一路通道和所述第二路通道分别与目标检测物的放置面倾斜,且所述第一路通道及第二路通道的末端均靠近所述主路通道的末端;
相机模块,设于所述棱镜主座;
光学模块,与所述第一路通道、所述第二路通道及所述主路通道连接,且与所述相机模块相对设置;
同轴光源模块,设于所述棱镜主座的侧部,且所述同轴光源模块的出光方向朝向所述光学模块;
多角度光源模块,设于所述棱镜主座的底部,用于对目标检测物进行照明;
其中,所述相机模块包括:
主相机,连接于所述主路通道,用于采集目标检测物的主平面信息;
第一相机,连接于所述第一路通道,用于采集目标检测物的第一平面信息;
第二相机,连接于所述第二路通道,用于采集目标检测物的第二平面信息;
三维线扫相机,设于所述棱镜主座,用于采集目标检测物的三维信息。
2.根据权利要求1所述的基于3D机器视觉的光学成像系统,其特征在于,所述相机模块还包括:
主远心镜头,设于所述主路通道;
第一远心镜头,设于所述第一路通道;
第二远心镜头,设于所述第二路通道;
所述光学模块包括:
分光棱镜,所述主相机、所述主远心镜头和所述分光棱镜沿所述主路通道方向依次设置;
第一分光镜,所述第一相机、所述第一远心镜头和所述第一分光镜沿所述第一路通道方向依次设置;
第二分光镜,所述第二相机、所述第二远心镜头和所述第二分光镜沿所述第二路通道方向依次设置。
3.根据权利要求2所述的基于3D机器视觉的光学成像系统,其特征在于,所述同轴光源模块包括:
主同轴光源,连接于所述主路通道,所述主同轴光源发出的光线经所述分光棱镜沿所述主路通道方向折射至目标检测物;
第一同轴光源,连接于所述第一路通道,所述第一同轴光源发出的光线经所述第一分光镜沿所述第一路通道方向折射至目标检测物;
第二同轴光源,连接于所述第二路通道,所述第二同轴光源发出的光线经所述第二分光镜沿所述第二路通道方向折射至目标检测物。
4.根据权利要求3所述的基于3D机器视觉的光学成像系统,其特征在于,所述棱镜主座的底部设有弧形结构,所述弧形结构背离所述同轴光源模块的一侧连接有圆顶灯罩,且所述圆顶灯罩的两侧呈开口状;
所述多角度光源模块包括沿所述圆顶灯罩内壁朝向目标检测物方向依次设置的补偿光源、圆顶光源和环形光源;
其中,所述补偿光源的出光方向朝向目标检测物,所述圆顶光源发出的光线经所述弧形结构反射至目标检测物,所述环形光源的出光方向朝向目标检测物。
5.根据权利要求2所述的基于3D机器视觉的光学成像系统,其特征在于,所述棱镜主座上连接有线扫固定架,所述线扫固定架位于所述主路通道背离所述第二路通道的一侧,所述三维线扫相机设于所述线扫固定架;和/或
所述棱镜主座上连接有光谱共焦座,所述光谱共焦座上设有光谱共焦传感器,且所述光谱共焦传感器的出光方向朝向被测物。
6.根据权利要求2所述的基于3D机器视觉的光学成像系统,其特征在于,所述第一路通道内连接有分光镜架,且所述分光镜架一端呈开口状,所述第一分光镜设于所述分光镜架的开口处;和/或
所述第一路通道首端连接有相机固定座,所述第一相机设于所述相机固定座,且所述相机固定座位于所述第一远光镜头背离所述第一分光镜的一侧;和/或
所述第一路通道内连接有夹块,所述第一远光镜头设于所述夹块,且所述第一相机通过所述相机固定座与所述第一远心镜头连接。
7.根据权利要求1所述的基于3D机器视觉的光学成像系统,其特征在于,还包括工装模块,所述工装模块与所述棱镜主座连接;所述工装模块包括:
Z轴固定座;
导轨,设置于所述棱镜主座;
滑块,设于所述Z轴固定座,且与所述导轨滑动连接;
驱动电机,设于所述Z轴固定座;
丝杠,与所述驱动电机连接;
螺母,与所述丝杠螺纹连接,且所述螺母连接于所述棱镜主座。
8.根据权利要求3所述的基于3D机器视觉的光学成像系统,其特征在于,所述第一同轴光源包括:
第一同轴底座,连接于所述第一路通道的一侧;
第一同轴灯板,设于所述第一同轴底座内;
第一扩散片,设于所述第一同轴灯板,所述第一同轴灯板的出光方向朝向所述第一扩散片。
9.根据权利要求4所述的基于3D机器视觉的光学成像系统,其特征在于,所述环形光源上设有环形扩散片;和/或
所述分光棱镜包括朝向所述主远光镜头一侧的主膜层;和/或
所述棱镜主座内设有黑绒布,且所述黑绒布位于所述主同轴光源和所述分光棱镜之间。
10.一种根据权利要求1至9任一项所述的基于3D机器视觉的光学成像系统的控制方法,其特征在于,包括如下步骤:
启动同轴光源模块和多角度光源模块,控制主相机采集目标检测物的主平面信息,控制第一相机采集目标检测物的第一平面信息,控制第二相机采集目标检测物的第二平面信息;
控制三维线扫相机对目标检测物进行线扫,得到目标检测物对应的三维信息;
根据所述主平面信息、所述第一平面信息、所述第二平面信息和所述三维信息,确定目标检测物对应的三维图像;
获取目标检测物对应的模板图像,并根据所述模板图像和所述三维图像,得到目标检测物的检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310334770.9A CN116380911A (zh) | 2023-03-27 | 2023-03-27 | 一种基于3d机器视觉的光学成像系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310334770.9A CN116380911A (zh) | 2023-03-27 | 2023-03-27 | 一种基于3d机器视觉的光学成像系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116380911A true CN116380911A (zh) | 2023-07-04 |
Family
ID=86965072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310334770.9A Pending CN116380911A (zh) | 2023-03-27 | 2023-03-27 | 一种基于3d机器视觉的光学成像系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116380911A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103837093A (zh) * | 2012-11-20 | 2014-06-04 | 鸿富锦精密工业(深圳)有限公司 | 光谱共焦传感器校准系统及方法 |
CN109765234A (zh) * | 2019-03-01 | 2019-05-17 | 泉州师范学院 | 同时对物体正反两个表面进行光学检测的装置及方法 |
CN211317228U (zh) * | 2020-03-04 | 2020-08-21 | 深圳市鑫三力自动化设备有限公司 | 一种适用于透明点胶轮廓检测的装置 |
CN112611763A (zh) * | 2019-09-20 | 2021-04-06 | 深圳市腾盛精密装备股份有限公司 | 一种基于光谱共焦的透明体检测方法及系统 |
CN114217493A (zh) * | 2021-12-23 | 2022-03-22 | 深圳市华拓半导体技术有限公司 | 一种光学成像系统 |
CN217237786U (zh) * | 2022-03-29 | 2022-08-19 | 聚时科技(上海)有限公司 | 一种融合2d与3d的6s检测测量光学装置 |
CN115809983A (zh) * | 2022-08-26 | 2023-03-17 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、系统、装置、设备、存储介质和产品 |
-
2023
- 2023-03-27 CN CN202310334770.9A patent/CN116380911A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103837093A (zh) * | 2012-11-20 | 2014-06-04 | 鸿富锦精密工业(深圳)有限公司 | 光谱共焦传感器校准系统及方法 |
CN109765234A (zh) * | 2019-03-01 | 2019-05-17 | 泉州师范学院 | 同时对物体正反两个表面进行光学检测的装置及方法 |
CN112611763A (zh) * | 2019-09-20 | 2021-04-06 | 深圳市腾盛精密装备股份有限公司 | 一种基于光谱共焦的透明体检测方法及系统 |
CN211317228U (zh) * | 2020-03-04 | 2020-08-21 | 深圳市鑫三力自动化设备有限公司 | 一种适用于透明点胶轮廓检测的装置 |
CN114217493A (zh) * | 2021-12-23 | 2022-03-22 | 深圳市华拓半导体技术有限公司 | 一种光学成像系统 |
CN217237786U (zh) * | 2022-03-29 | 2022-08-19 | 聚时科技(上海)有限公司 | 一种融合2d与3d的6s检测测量光学装置 |
CN115809983A (zh) * | 2022-08-26 | 2023-03-17 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、系统、装置、设备、存储介质和产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6820891B2 (ja) | ウェーハの検査システム及び方法 | |
US9863889B2 (en) | System and method for inspecting a wafer | |
EP3223001B1 (en) | System and method for capturing illumination reflected in multiple directions | |
US8885918B2 (en) | System and method for inspecting a wafer | |
SG173068A1 (en) | Methods for examining a bonding structure of a substrate and bonding structure inspection devices | |
US7625100B2 (en) | System and method for inside can inspection | |
CN116380912A (zh) | 一种基于激光线扫双目成像的光学检测装置及检测方法 | |
CN207866734U (zh) | 用于透明材料缺陷检测的矩阵式视觉检测系统 | |
CN116380911A (zh) | 一种基于3d机器视觉的光学成像系统及方法 | |
CN219179231U (zh) | 一种光学测试设备 | |
CN113483892B (zh) | 一种多光谱影像测量系统和方法 | |
CN112857264A (zh) | 一种简易的斜照明式彩色共聚焦测量系统及检测方法 | |
KR20230161285A (ko) | 검사 장치 및 이의 검사 방법 | |
CN113483892A (zh) | 一种多光谱影像测量系统和方法 | |
SG185301A1 (en) | System and method for inspecting a wafer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |