CN113487539A - 胶路质量分析方法、设备、系统及存储介质 - Google Patents

胶路质量分析方法、设备、系统及存储介质 Download PDF

Info

Publication number
CN113487539A
CN113487539A CN202110639699.6A CN202110639699A CN113487539A CN 113487539 A CN113487539 A CN 113487539A CN 202110639699 A CN202110639699 A CN 202110639699A CN 113487539 A CN113487539 A CN 113487539A
Authority
CN
China
Prior art keywords
glue
cloud data
point cloud
road
rubber
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110639699.6A
Other languages
English (en)
Inventor
杨延竹
彭明
张旭堂
于波
张华�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Geling Jingrui Vision Co ltd
Original Assignee
Shenzhen Geling Jingrui Vision Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Geling Jingrui Vision Co ltd filed Critical Shenzhen Geling Jingrui Vision Co ltd
Priority to CN202110639699.6A priority Critical patent/CN113487539A/zh
Publication of CN113487539A publication Critical patent/CN113487539A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种胶路质量分析方法、设备、系统及存储介质,胶路质量分析方法包括:获取待测工件的胶路的胶路底部点云数据、胶路截面点云数据,并获取待测工件的胶路的中心线位置信息;根据胶路截面点云数据和预设胶高阈值范围确定第一点云数据,并根据第一点云数据和预设算法确定峰值点位置信息;根据峰值点位置信息和中心线位置信息的差值确定中心线偏差值;根据峰值点位置信息和胶底平面确定胶路高度,根据胶路截面点云数据、胶底平面和预设距离阈值范围确定胶路宽度;根据中心线偏差值、胶路高度、胶路宽度和预设质量分析阈值范围确定质量分析结果。本发明的胶路的质量分析结果更加准确,且分析更加全面。

Description

胶路质量分析方法、设备、系统及存储介质
技术领域
本发明涉及胶路的技术领域,尤其是涉及一种胶路质量分析方法、设备、系统及存储介质。
背景技术
胶路工艺作为PCB性能的重要步骤,随着电子产业趋向于微型化、精密化、集成化,对于胶路工艺的要求越来愈高,且对于胶路的精度测量也愈发严格。目前,对于胶路质量分析方法主要利用胶路单条轮廓进行胶高和胶宽测量,但是进行胶高和胶宽测量时数据扰动大、测量精度和稳定性不高。
相关技术中,对于胶路质量分析主要通过3D相机进行胶路扫描,再对扫描出的单条轮廓点云数据进行分析处理,以得到胶路的胶高和胶宽数据。但是由于胶路密封性的影响,直接以峰值点作为中心点,则胶路的胶高和胶宽计算准确性低。因此,以准确性低的胶高和胶宽来分析胶路的质量,使得胶路质量分析的准确性较低。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种胶路质量分析方法,能够分析胶路质量更加准确和全面。
本发明还提出一种胶路质量分析设备。
本发明还提出一种胶路质量分析系统。
本发明还提出一种计算机可读存储介质。
第一方面,本发明的一个实施例提供了胶路质量分析方法,包括:
获取待测工件的胶路的胶路点云数据,并获取所述待测工件的胶路的中心线位置信息,所述胶路点云数据包括:胶路底部点云数据、胶路截面点云数据;
根据所述胶路底部点云数据和预设拟合算法确定胶底平面;
根据所述胶路截面点云数据和预设胶高阈值范围确定第一点云数据,并根据第一点云数据和预设算法确定峰值点位置信息;
根据所述峰值点位置信息和所述中心线位置信息的差值确定中心线偏差值;
根据所述峰值点位置信息和所述胶底平面确定胶路高度,根据所述胶路截面点云数据、所述胶底平面和预设距离阈值范围确定胶路宽度;
根据所述中心线偏差值、所述胶路高度、所述胶路宽度和预设质量分析阈值范围确定质量分析结果。
本发明实施例的胶路质量分析方法至少具有如下有益效果:通过拟合胶路底部点云数据以得到胶底平面,然后根据拟合的胶底平面、峰值点位置信息确定胶路高度,根据胶底平面、胶路截面点云数据和预设距离范围确定胶路宽度,然后再根据中心线偏差值、胶路宽度、胶路高度和预设质量分析阈值范围确定质量分析结果,使得胶路的质量分析结果更加准确,且分析更加全面。
根据本发明的另一些实施例的胶路质量分析方法,还包括:
采集所述待测工件的多个标记点,并根据所述多个标记点确定所述待测工件的相对位姿;
根据所述待测工件的所述相对位姿确定扫描路径,并根据所述扫描路径扫描所述待测工件的所述胶路以得到胶路点云数据。
根据本发明的另一些实施例的胶路质量分析方法,所述获取待测工件的胶路的胶路点云数据,并获取所述待测工件的胶路的中心线位置信息,包括:
获取所述待测工件的胶路的所述胶路点云数据;
检测所述待测工件的所述胶路的胶路边缘数据,根据所述胶路边缘数据计算所述中心线位置信息,或根据所述待测工件的所述多个标记点计算得到所述待测工件的所述胶路的所述中心线位置信息。
根据本发明的另一些实施例的胶路质量分析方法,还包括:
根据所述胶底平面和预设基准平面确定矫正角度;
根据所述矫正角度将所述胶底平面矫正于所述预设基准平面上。
根据本发明的另一些实施例的胶路质量分析方法,所述根据所述胶路截面点云数据和预设胶高阈值范围确定第一点云数据,并根据第一点云数据和预设算法确定峰值点位置信息,包括:
将所述胶路截面点云数据中满足预设胶高阈值范围的点云数据筛选出来以得到所述第一点云数据;
根据预设排序算法获取所述第一点云数据中Z轴坐标最高的点以得到所述峰值点位置信息。
根据本发明的另一些实施例的胶路质量分析方法,所述根据所述峰值点位置信息和所述胶底平面确定胶路高度,根据所述胶路截面点云数据、所述胶底平面和预设距离阈值范围确定胶路宽度,包括:
根据所述峰值点位置信息和所述胶底平面的距离以得到胶路高度;
计算所述胶路截面点云数据和所述胶底平面的距离以得到第一距离;
获取所述胶路截面点云数据中所述第一距离位于所述预设距离阈值范围内的点云数据以得到第二点云数据;
获取所述第二点云数据中左右边界的点以得到左边界点位置信息和右边界点位置信息;
根据所述左边界点位置信息和所述右边界点位置信息确定所述胶路宽度。
根据本发明的另一些实施例的胶路质量分析方法,所述预设质量分析阈值范围包括:预设第一阈值范围、预设第二阈值范围和预设第三阈值范围;所述质量分析结果包括:密封度分析结果和尺寸分析结果;所述根据所述中心线偏差值、所述胶路高度、所述胶路宽度和预设质量分析阈值范围确定胶路质量,包括:
根据所述中心线偏差值和所述预设第一阈值范围确定所述密封度分析结果;
根据所述胶路高度和所述预设第二阈值范围、所述胶路宽度和所述预设第三阈值范围确定所述尺寸分析结果。
第二方面,本发明的一个实施例提供了胶路质量分析设备:包括:至少一个处理器,以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面任一项所述的胶路质量分析方法。
本发明实施例的胶路质量分析设备至少具有如下有益效果:通过处理器执行第一方面的胶路质量分析方法,以便于胶路质量分析方法执行。
第三方面,本发明的一个实施例提供了胶路质量分析系统,包括:
如第一方面的胶路质量分析设备;
机架,用于承载所述胶路质量分析设备;
补光灯,用于提供光源照射所述胶路质量分析设备扫描的待测工件;
补光控制器,用于检测所述待测工件所处位置的亮度,并根据所述亮度调节所述补光灯的光源亮度。
本发明实施例的胶路质量分析系统至少具有如下有益效果:通过设置补光控制器和补光灯以对胶路质量分析设备需要扫描的待测工件进行补光,以便于胶路质量分析设备采集待测工件的胶路点云数据更加准确。
第四方面,本发明的一个实施例提供了计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如第一方面所述的胶路质量分析方法。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书以及附图中所特别指出的结构来实现和获得。
附图说明
图1是本发明实施例中胶路质量分析方法的一具体实施例流程示意图;
图2是本发明实施例中胶路质量分析方法的另一具体实施例流程示意图;
图3是本发明实施例中胶路质量分析方法的另一具体实施例流程示意图;
图4是本发明实施例中胶路质量分析方法的另一具体实施例流程示意图;
图5是本发明实施例中胶路质量分析方法的另一具体实施例流程示意图;
图6是本发明实施例中胶路质量分析方法的通过胶路截面点云数据示意图;
图7是本发明实施例中胶路质量分析方法的另一具体实施例流程示意图;
图8是本发明实施例中胶路质量分析方法的胶路高度计算示意图;
图9是本发明实施例中胶路质量分析方法的胶路款计算示意图;
图10是本发明实施例中胶路质量分析方法的另一具体实施例流程示意图。
具体实施方式
以下将结合实施例对本发明的构思及产生的技术效果进行清楚、完整地描述,以充分地理解本发明的目的、特征和效果。显然,所描述的实施例只是本发明的一部分实施例,而不是全部实施例,基于本发明的实施例,本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例,均属于本发明保护的范围。
在本发明的描述中,如果涉及到方位描述,例如“上”、“下”、“前”、“后”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。如果某一特征被称为“设置”、“固定”、“连接”、“安装”在另一个特征,它可以直接设置、固定、连接在另一个特征上,也可以间接地设置、固定、连接、安装在另一个特征上。
在本发明实施例的描述中,如果涉及到“若干”,其含义是一个以上,如果涉及到“多个”,其含义是两个以上,如果涉及到“大于”、“小于”、“超过”,均应理解为不包括本数,如果涉及到“以上”、“以下”、“以内”,均应理解为包括本数。如果涉及到“第一”、“第二”,应当理解为用于区分技术特征,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
胶路质量分析方法主要利用胶路单条轮廓进行胶高和胶宽的测量,然后判断胶高是否位于预设胶高范围、判断胶宽是否位于预设胶宽范围内以确定胶路的质量。但是传统的胶路质量分析方法数据扰动大,检测精度和稳定性较低。
相关技术中胶路质量分析主要利用3D相机扫描胶路,然后对扫描出的单条轮廓的点云数据进行分析处理,得到胶路的胶路高度和胶路宽度,以通过胶路高度和预设胶高范围、胶路宽度和预设胶宽范围确定胶路质量。但是相关技术中以峰值点作为中心点,没有考虑胶路工艺的密封性,且在测量的时候,以单条轮廓数据进行分析,没有考虑到检测波动带来的数据扰动,测量稳定性不强。
首先,对本申请中涉及的若干名词进行解析:
点云数据(point cloud data):是指在一个三维坐标系统中的一组向量的集合。扫描资料以点的形式记录,每一个点包含有三维坐标,有些可能含有颜色信息(RGB)或反射强度信息(Intensity)。
第一方面,参照图1,本发明实施例公开了一种胶路质量分析方法,包括:
S100、获取待测工件的胶路的胶路点云数据,并获取待测工件的胶路的中心线位置信息,胶路点云数据包括:胶路底部点云数据、胶路截面点云数据;
S200、根据胶路底部点云数据和预设拟合算法确定胶底平面;
S300、根据胶路截面点云数据和预设胶高阈值范围确定第一点云数据,并根据第一点云数据和预设算法确定峰值点位置信息;
S400、根据峰值点位置信息和中心线位置信息的差值确定中心线偏差值;
S500、根据峰值点位置信息和胶底平面确定胶路高度,根据胶路截面点云数据、胶底平面和预设距离阈值范围确定胶路宽度;
S600、根据中心线偏差值、胶路高度、胶路宽度和预设质量分析阈值范围确定质量分析结果。
通过获取待测工件的胶路的胶路点云数据和中心线位置信息,其中胶路点云数据包括:胶路底部点云数据和胶路截面点云数据。通过胶路截面点云数据和预设胶高范围确定第一点云数据,以筛选出符合峰值点的第一点云数据,然后再根据第一点云数据和预设算法确定峰值点位置信息。通过计算峰值点位置信息和中心线位置信息确定中心线偏差值,再根据胶路底部点云数据以预设拟合算法进行拟合以得到胶底平面。确定了胶底平面后,根据峰值位置信息和胶底平面计算得到胶路高度,再根据胶路截面点云数据、胶底平面和预设距离阈值范围确定胶路宽度,最后根据中心线偏差值、胶路高度、胶路宽度和预设质量分析阈值范围确定质量分析结果。因此通过计算中心线位置信息和峰值点位置信息的中心线偏差值,然后根据中心线偏差值和预设质量分析阈值范围确定胶路密封性是否合格,且通过拟合得到的胶底平面和峰值点位置信息确定胶路高度,再通过胶路截面点云数据、胶底平面和预设距离阈值范围确定胶路宽度,然后通过胶路高度、胶路宽度和预设质量分析阈值范围确定胶路尺寸是否符合预设胶路质量要求,使得胶路质量分析更加全面,且提高胶路质量分析的准确性。
其中,胶路点云数据包括:胶路底部点云数据和胶路截面点云数据,其中通过获取得到胶路点云数据后,利用点云拼接算法将扫描路径上点云拼接成完整的点云数据,得到完成的点云数据也即胶路点云数据,然后胶路点云数据进行阈值分割以得到胶路底部点云数据和胶路截面点云数据。
参照图2,在一些实施例中,胶路质量分析方法,还包括:
S010、采集待测工件的多个标记点,并根据多个标记点确定待测工件的相对位姿;
S020、根据待测工件的相对位姿确定并发送扫描路径,并根据扫描路径扫描待测工件的胶路以得到胶路点云数据。
由于待测工件上会设置标记点,通过采集待测工件上的多个标记点,并根据多个标记点解算出待测工件的相对位姿,然后根据待测工件的相对位姿进行扫描路径规划以得到扫描路径,则可以根据扫描路径扫描待测工件以得到胶路点云数据。因此通过根据自动规划的扫描路径进行扫描待测工件,以得到更加准确的胶路点云数据。
其中,待测工件上的多个标记点主要通过2D面阵相机和远心镜头来采集,且通过3D线扫描相机根据扫描路径对待测工件进行扫描以得到胶路点云数据。由于采集待测工件上的标记点只需要平面采集即可,所以采用2D面阵相机和远心镜头来采集待测工件的多个标记点更加简易,且胶路点云数据为三维坐标数据,所以通过3D线扫描相机可以采集符合要求的胶路点云数据。
参照图3,在一些实施例中,步骤S100包括:
S110、获取待测工件的胶路的胶路点云数据;
S120、检测待测工件的胶路的胶路边缘数据,根据胶路边缘数据计算中心线位置信息,或根据待测工件的多个标记点计算得到待测工件的胶路的中心线位置信息。
由于不同胶路对于密封性要求不同,导致中心线位置信息和峰值点位置信息不同,因此需要获取胶路的中心线位置信息来计算中心线位置信息和峰值点位置信息的中心线偏差值,通过中心线偏差值来判断胶路的密封性。
其中,计算胶路的中心线位置信息有两个方法,若未知待测工件的具体形状尺寸,则检测待测工件的胶路的边缘以得到胶路边缘数据,然后根据胶路边缘数据计算得到胶路的中心线位置信息。其中检测待测工件的胶路主要采用canny边缘检测算法进行检测。其中,canny边缘检测算法检测胶路以得到胶路边缘数据主要通过获取待测工件的胶路图像,然后将胶路图像和卷积模块进行卷积计算,以得到平滑滤波后的图像。对胶路图像通过如下公式进行卷积运算:
Figure BDA0003106819520000071
式中,胶路图像为f(x,y),h(x,y)为卷积模版,且g(x,y)为平滑后的图像。
计算得到平滑后的图像,再根据如下公式计算平滑后的图像的梯度:
Figure BDA0003106819520000081
通过计算平滑后图像的梯度以得到胶路边缘数据,因此根据胶路边缘数据计算得到中心线位置信息。
若已知待测工件的具体形状和尺寸,则根据多个标记点自动定位到胶路中心线上,然后直接计算中心线位置信息。因此,根据是否知晓待测工件的具体形状和尺寸以采用不同方法计算胶路的中心线位置信息,以便于根据不同情况计算中心先位置信息。
参照图4,在一些实施例中,胶路质量分析方法,还包括:
S700、根据胶底平面和预设基准平面确定矫正角度;
S800、根据矫正角度将胶底平面矫正于预设基准平面上。
由于待测工件放置在平面并不是绝对等平,所以一般的待测工件存在倾斜,传统分析胶路质量不考虑胶底平面倾斜,则计算得到胶高和胶宽不准确。因此通过根据胶路底部点云数据和预设拟合算法进行拟合以得到胶底平面,然后计算胶底平面和预设基准平面的矫正角度,根据矫正角度将拟合得到的胶底平面矫正于预设基准平面上。通过将拟合的胶底平面进行倾斜矫正以保证测量在同一个基准平面上进行,因此矫正得到胶底平面后,根据矫正后的胶底平面计算胶路高度和胶路宽度更加准确。
具体地,预设拟合算法在本实施例为最小二乘法,通过最小二乘法将胶路底部点云数据进行拟合以得到胶底平面,且胶路点云数据根据最小二乘法得到胶底平面具体如下:由于拟合后的胶底平面表达式为Ax+By-Z+C=0,因此根据胶路底部点云数据代入以下公式进行拟合以得到胶底平面:
Figure BDA0003106819520000082
通过将胶路底部点云数据代入公式(3)得到胶底平面,然后计算胶底平面和预设基准平面的夹角以得到矫正角度,最后根据矫正角度将胶底平面矫正于预设基准平面上,因此矫正胶底平面后,根据胶底平面计算胶路宽度和胶路高度准确。
例如,若计算胶底平面和预设基准平面之间的矫正角度为0,则表示胶底平面位于预设基准平面上,则无需对胶底平面进行矫正。若胶底平面和预设基准平面之间的矫正角度为8°,则根据8°逆向旋转胶底平面位于与预设基准平面上,以完成胶底平面的矫正。
参照图5,在一些实施例中,步骤S300包括:
S310、胶路截面点云数据中满足预设胶高阈值范围的点云数据筛选出来以得到第一点云数据;
S320、根据预设排序算法获取第一点云数据中Z轴坐标最高的点以得到峰值点位置信息。
将胶路截面点云数据中满足预设胶高阈值范围的点云数据筛选出来后以得到第一点云数据,然后根据预设排序算法获取第一点云数据中Z轴坐标最高的点以得到峰值点位置信息,使得峰值点位置信息计算准确且简易。
参照图6,图中为截面点云数据的分布示意图,图中TOP为峰值点,A为预设胶高阈值范围。B1为左侧窗口中各点的平均高度,B2为右侧窗口中个点的平均高度。预设胶高阈值范围由不同的胶路要求设置,其中胶路截面点云数据为同一个X轴坐标上的点云数据,因此存在多个胶路截面点云数据,每一个胶路截面点云数据的X轴坐标相同,但是Y轴坐标和Z轴坐标不同。根据预设胶高阈值范围筛选胶路截面点云数据主要将预设胶高阈值范围和胶路截面点云数据中的Z轴坐标比较,若Z轴坐标位于预设胶高阈值范围内则筛选出第一点云数据,然后以第一点云数据中Z轴坐标最大的点作为峰值点,并获取该点的峰值点位置信息,也即得到峰值点位置信息(x0,y0,z0)。通过将胶路截面点云数据筛选得到第一点云数据再进行排序,以减少排序操作,使得峰值点位置信息计算更加高效。
参照图7,在一些实施例中,步骤S500包括:
S510、根据峰值点位置信息和胶底平面的距离以得到胶路高度;
S520、计算胶路截面点云数据和胶底平面的距离以得到第一距离;
S530、获取胶路截面点云数据中第一距离位于预设距离阈值范围内的点云数据以得到第二点云数据;
S540、获取第二点云数据中左右边界的点以得到左边界点位置信息和右边界点位置信息;
S550、根据左边界点位置信息和右边界点位置信息确定胶路宽度。
计算得到峰值点位置信息后,即可根据峰值点位置信息和胶底平面的距离确定胶路高度,然后再根据胶路截面点云数据到胶底平面的距离以得到第一距离,获取胶路截面点云数据中第一距离落入预设距离阈值范围对应点云数据以得到第二点云数据,然后获取第二点云数据中位于左边界和右边界的左边界点位置信息和右边界点位置信息,然后根据左边界点位置信息和右边界点位置信息的Y轴坐标差值计算得到胶路宽度。
参照图8和图9,具体地,已知胶底平面为Ax+By-Z+C=0,因此通过胶底平面和峰值点位置信息代入以下公式即可计算得到胶路高度d。
Figure BDA0003106819520000101
由于胶路点云数据通过扫描得到,得到的胶路点云数据主要为胶路整个外部三维轮廓对应的点云数据,因此胶路截面点云数据主要为胶路截面外部轮廓的点云数据,则计算胶路截面点云数据中Z轴坐标和截面平面的距离以得到第一距离,然后根据预设距离阈值范围筛选掉第一距离不符合的胶路截面点云数据以得到第二点云数据,然后获取第二点云数据中Y坐标最小和最大的两个点云数据以得到左边界点位置信息和右边界点位置信息,然后根据左边界点位置信息和右边界点位置信息中的Y轴坐标差值计算得到胶路宽度,使得计算胶路宽度更加准确。
在一些实施例中,预设质量分析阈值范围包括:预设第一阈值范围、预设第二阈值范围和预设第三阈值范围;质量分析结果包括:密封度分析结果和尺寸分析结果。由于传统的胶路质量分析只是考虑胶路宽度和胶路高度是否满足预设要求,若满足则输出胶路质量优良的分析结果,反之输出胶路质量差的分析结果,但是胶路质量分析不仅受到尺寸影响,也受到胶路的密封度影响,若胶路的密封度差尽管胶路的尺寸符合该胶路都是不符合要求需要重新进行点胶操作。因此通过密封度分析结果和尺寸分析结果一起来判断胶路的质量,使得胶路质量分析更加准确。
参照图10,步骤S600包括:
S610、根据中心线偏差值和预设第一阈值范围确定密封度分析结果;
S620、根据胶路高度和预设第二阈值范围、胶路宽度和预设第三阈值范围确定尺寸分析结果。
其中,预设第一阈值范围、预设第二阈值范围和预设第三阈值范围根据不同胶路要求设定。根据峰值点位置信息和中心线位置信息的差值得到中心线偏差值,若中心线偏差值位于预设第一阈值范围内,则输出密封度良好的密封度分析结果,若中心线偏差值不位于预设第一范围内,则输出密封度差的密封度分析结果,以便于用户根据密封度分析结果清楚当前胶路的密封度状态。计算得到胶路宽度和胶路高度后,将胶路高度和预设第二阈值范围比较,胶路宽度和预设第三阈值范围比较,若胶路高度位于预设第二阈值范围内且胶路宽度位于预设第三阈值范围内,则输出胶路尺寸合格的尺寸分析结果;若胶路高度不位于预设第二阈值范围内和/或,胶路宽度不位于预设第三阈值范围内,则输出胶路尺寸不合格的尺寸分析结果。因此用户通过密封度分析结果和尺寸分析结果即可清楚当前胶路质量状况。
下面参考图1至图10以一个具体的实施例详细描述根据本发明实施例的胶路质量分析方法。值得理解的是,下述描述仅是示例性说明,而不是对发明的具体限制。
利用点云拼接算法将扫描路径上点云拼接成完整的点云数据。得到完成的点云数据也即胶路点云数据,然后胶路点云数据进行阈值分割以得到胶路底部点云数据和胶路截面点云数据,以获取待测工件的胶路点云数据,利用点云拼接算法将扫描路径上点云拼接成完整的点云数据。通过将胶路点云数据进行阈值分割以得到胶路底部点云数据和胶路截面点云数据。未知待测工件的具体形状尺寸,则检测待测工件的胶路的边缘以得到胶路边缘数据,然后根据胶路边缘数据计算得到胶路的中心线位置信息。若已知待测工件的具体形状和尺寸,则根据多个标记点自动定位到胶路中心线上,然后直接计算中心线位置信息。通过根据胶路底部点云数据和预设拟合算法进行拟合以得到胶底平面,然后计算胶底平面和预设基准平面的矫正角度,根据矫正角度将拟合得到的胶底平面矫正于预设基准平面上。将胶路截面点云数据中满足预设胶高阈值范围的点云数据筛选出来后以得到第一点云数据,然后根据预设排序算法获取第一点云数据中Z轴坐标最高的点以得到峰值点位置信息,通过胶底平面和峰值点位置信息代入公式(4)即可计算得到胶路高度。通过计算胶路截面点云数据中Z轴坐标和截面平面的距离以得到第一距离,然后根据预设距离阈值范围筛选第一距离不符合的胶路截面点云数据以得到第二点云数据,然后获取第二点云数据中Y坐标最小和最大的两个点云数据以得到左边界点位置信息和右边界点位置信息,然后根据左边界点位置信息和右边界点位置信息中的Y轴坐标差值计算得到胶路宽度。根据峰值点位置信息和中心线位置信息的差值得到中心线偏差值,若中心线偏差值位于预设第一阈值范围内,则输出密封度良好的密封度分析结果。若胶路高度位于预设第二阈值范围内且胶路宽度位于预设第三阈值范围内,则输出胶路尺寸合格的尺寸分析结果。因此本申请通过中心线位置信息和峰值点位置信息确定中心线偏差值,然后根据中心线偏差值和预设第一阈值范围确定胶路的密封度分析结果;再将拟合的胶底平面矫正于预设基准平面上,再根据矫正的胶底平面计算胶路高度和胶路宽度,以得到更加准确的胶路高度和胶路宽度,因此确定尺寸分析结果更加准确,本发明通过密封度分析结果和尺寸分析结果确定胶路的分析记过,使得分析结果具有更好的鲁棒性和精确性。
第二方面,本发明实施例还公开了胶路质量分析设备,包括:至少一个处理器,以及,与所述至少一个处理器通信连接的存储器;其中,存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面的胶路质量分析方法。
其中,胶路质量分析设备可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmentedreality,AR)\虚拟现实(virtual reality,VR)设备等包括上述折叠屏的设备,本申请实施例对该电子设备的具体形态不作特殊限制。
在本实施例中,胶路质量分析设备由集成3D线扫描相机、2D相机、远心镜头和工控机组成。
第三方面,本发明实施例还公开了一种胶路质量分析系统,包括:如第二方面的胶路质量分析设备;机架,用于承载胶路质量分析设备;补光灯,用于提供光源照射胶路质量分析设备扫描的待测工件;补光控制器用于检测待测工件所处位置的亮度,并根据亮度调节补光灯的光源亮度。
通过机架承载胶路质量分析设备,且机架内设有电控设备,电控设备根据制定的扫描路径沿X轴、Y轴做平移,以便于胶路质量分析设备上的3D相机扫描待测工件,同时补光控制器采集待测工件所处位置的亮度,再根据亮度调节补光灯的光源亮度,以便于胶路质量分析设备上的3D相机扫描待测工件更加清洗,以得到胶路点云数据更加准确。
第四方面,本发明实施例还公开了一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,计算机可执行指令用于使计算机执行如第一方面所述的胶路质量分析方法。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所属技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。此外,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。

Claims (10)

1.一种胶路质量分析方法,其特征在于,包括:
获取待测工件的胶路的胶路点云数据,并获取所述待测工件的胶路的中心线位置信息,所述胶路点云数据包括:胶路底部点云数据、胶路截面点云数据;
根据所述胶路底部点云数据和预设拟合算法确定胶底平面;
根据所述胶路截面点云数据和预设胶高阈值范围确定第一点云数据,并根据第一点云数据和预设算法确定峰值点位置信息;
根据所述峰值点位置信息和所述中心线位置信息的差值确定中心线偏差值;
根据所述峰值点位置信息和所述胶底平面确定胶路高度,根据所述胶路截面点云数据、所述胶底平面和预设距离阈值范围确定胶路宽度;
根据所述中心线偏差值、所述胶路高度、所述胶路宽度和预设质量分析阈值范围确定质量分析结果。
2.根据权利要求1所述的胶路质量分析方法,其特征在于,还包括:
采集所述待测工件的多个标记点,并根据所述多个标记点确定所述待测工件的相对位姿;
根据所述待测工件的所述相对位姿确定扫描路径,并根据所述扫描路径扫描所述待测工件的所述胶路以得到胶路点云数据。
3.根据权利要求2所述的胶路质量分析方法,其特征在于,所述获取待测工件的胶路的胶路点云数据,并获取所述待测工件的胶路的中心线位置信息,包括:
获取所述待测工件的胶路的所述胶路点云数据;
检测所述待测工件的所述胶路的胶路边缘数据,根据所述胶路边缘数据计算所述中心线位置信息,或根据所述待测工件的所述多个标记点计算得到所述待测工件的所述胶路的所述中心线位置信息。
4.根据权利要求1所述的胶路质量分析方法,其特征在于,还包括:
根据所述胶底平面和预设基准平面确定矫正角度;
根据所述矫正角度将所述胶底平面矫正于所述预设基准平面上。
5.根据权利要求1至4任一项所述的胶路质量分析方法,其特征在于,所述根据所述胶路截面点云数据和预设胶高阈值范围确定第一点云数据,并根据第一点云数据和预设算法确定峰值点位置信息,包括:
将所述胶路截面点云数据中满足预设胶高阈值范围的点云数据筛选出来以得到所述第一点云数据;
根据预设排序算法获取所述第一点云数据中Z轴坐标最高的点以得到所述峰值点位置信息。
6.根据权利要求1至4任一项所述的胶路质量分析方法,其特征在于,所述根据所述峰值点位置信息和所述胶底平面确定胶路高度,根据所述胶路截面点云数据、所述胶底平面和预设距离阈值范围确定胶路宽度,包括:
根据所述峰值点位置信息和所述胶底平面的距离以得到胶路高度;
计算所述胶路截面点云数据和所述胶底平面的距离以得到第一距离;
获取所述胶路截面点云数据中所述第一距离位于所述预设距离阈值范围内的点云数据以得到第二点云数据;
获取所述第二点云数据中左右边界的点以得到左边界点位置信息和右边界点位置信息;
根据所述左边界点位置信息和所述右边界点位置信息确定所述胶路宽度。
7.根据权利要求1至4任一项所述的胶路质量分析方法,其特征在于,所述预设质量分析阈值范围包括:预设第一阈值范围、预设第二阈值范围和预设第三阈值范围;所述质量分析结果包括:密封度分析结果和尺寸分析结果;所述根据所述中心线偏差值、所述胶路高度、所述胶路宽度和预设质量分析阈值范围确定胶路质量,包括:
根据所述中心线偏差值和所述预设第一阈值范围确定所述密封度分析结果;
根据所述胶路高度和所述预设第二阈值范围、所述胶路宽度和所述预设第三阈值范围确定所述尺寸分析结果。
8.一种胶路质量分析设备,其特征在于,包括:至少一个处理器,以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7任一项所述的胶路质量分析方法。
9.一种胶路质量分析系统,其特征在于,包括:
如权利要求8所述的胶路质量分析设备;
机架,用于承载所述胶路质量分析设备;
补光灯,用于提供光源照射所述胶路质量分析设备扫描的待测工件;
补光控制器,用于检测所述待测工件所处位置的亮度,并根据所述亮度调节所述补光灯的光源亮度。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的胶路质量分析方法。
CN202110639699.6A 2021-06-08 2021-06-08 胶路质量分析方法、设备、系统及存储介质 Pending CN113487539A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110639699.6A CN113487539A (zh) 2021-06-08 2021-06-08 胶路质量分析方法、设备、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110639699.6A CN113487539A (zh) 2021-06-08 2021-06-08 胶路质量分析方法、设备、系统及存储介质

Publications (1)

Publication Number Publication Date
CN113487539A true CN113487539A (zh) 2021-10-08

Family

ID=77934928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110639699.6A Pending CN113487539A (zh) 2021-06-08 2021-06-08 胶路质量分析方法、设备、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113487539A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114061765A (zh) * 2021-10-29 2022-02-18 歌尔股份有限公司 器件的胶路的检测方法、控制装置以及点胶装置
CN114252414A (zh) * 2021-11-29 2022-03-29 歌尔股份有限公司 检验胶路状态的装置及其检验方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2610212A1 (de) * 1976-03-11 1977-09-22 Mueller Bbm Gmbh Schwingungstilger zur daempfung von breitbandigen koerperschallschwingungen
EP1406060A1 (fr) * 2002-10-03 2004-04-07 Visio Nerf Procédé et appareil de contrôle d'un boudin d'extrusion, tel qu'un boudin de colle, et dispositif d'encollage
RU2376141C1 (ru) * 2008-05-26 2009-12-20 Общество с ограниченной ответственностью фирма "Рассвет-К" Способ изготовления напорных резинотканевых рукавов
WO2012059142A1 (en) * 2010-11-04 2012-05-10 Al.Pi. S.R.L. Sole for shoes having one or more vertical elements folded over each other, extensible and adaptable to the different width of the assembly last of the upper and to the variation of the conformation of the foot, even permanently
US20140216158A1 (en) * 2011-08-17 2014-08-07 Sergio José Sanabria Martin Air coupled ultrasonic contactless method for non-destructive determination of defects in laminated structures
CN107726985A (zh) * 2017-11-13 2018-02-23 易思维(天津)科技有限公司 一种三维实时涂胶检测方法与装置
US20180214321A1 (en) * 2017-01-31 2018-08-02 The Procter & Gamble Company Shaped nonwoven fabrics and articles including the same
CN108982546A (zh) * 2018-08-29 2018-12-11 燕山大学 一种智能机器人涂胶质量检测系统及方法
CN110068274A (zh) * 2019-05-29 2019-07-30 易思维(杭州)科技有限公司 涂胶传感器胶条检测示教方法
US20190257839A1 (en) * 2016-10-17 2019-08-22 Bruker Daltonik Gmbh Method for evaluating data from mass spectrometry, mass spectrometry method, and maldi-tof mass spectrometer
CN110918388A (zh) * 2019-11-27 2020-03-27 深圳市裕展精密科技有限公司 点胶装置及点胶方法
CN111024715A (zh) * 2019-12-30 2020-04-17 熵智科技(深圳)有限公司 一种胶路底平面提取方法及装置
CN112381781A (zh) * 2020-11-11 2021-02-19 征图智能科技(江苏)有限公司 基于3d点云的胶路缺陷检测方法
CN112862704A (zh) * 2021-01-22 2021-05-28 北京科技大学 一种基于3d视觉的喷胶及喷胶质量检测系统
CN112844981A (zh) * 2020-12-17 2021-05-28 深圳市高创自动化技术有限公司 一种增加胶水高度的点胶控制方式
CN112907683A (zh) * 2021-04-07 2021-06-04 歌尔光学科技有限公司 一种点胶平台的相机标定方法、装置及相关设备

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2610212A1 (de) * 1976-03-11 1977-09-22 Mueller Bbm Gmbh Schwingungstilger zur daempfung von breitbandigen koerperschallschwingungen
EP1406060A1 (fr) * 2002-10-03 2004-04-07 Visio Nerf Procédé et appareil de contrôle d'un boudin d'extrusion, tel qu'un boudin de colle, et dispositif d'encollage
RU2376141C1 (ru) * 2008-05-26 2009-12-20 Общество с ограниченной ответственностью фирма "Рассвет-К" Способ изготовления напорных резинотканевых рукавов
WO2012059142A1 (en) * 2010-11-04 2012-05-10 Al.Pi. S.R.L. Sole for shoes having one or more vertical elements folded over each other, extensible and adaptable to the different width of the assembly last of the upper and to the variation of the conformation of the foot, even permanently
US20140216158A1 (en) * 2011-08-17 2014-08-07 Sergio José Sanabria Martin Air coupled ultrasonic contactless method for non-destructive determination of defects in laminated structures
US20190257839A1 (en) * 2016-10-17 2019-08-22 Bruker Daltonik Gmbh Method for evaluating data from mass spectrometry, mass spectrometry method, and maldi-tof mass spectrometer
US20180214321A1 (en) * 2017-01-31 2018-08-02 The Procter & Gamble Company Shaped nonwoven fabrics and articles including the same
CN107726985A (zh) * 2017-11-13 2018-02-23 易思维(天津)科技有限公司 一种三维实时涂胶检测方法与装置
CN108982546A (zh) * 2018-08-29 2018-12-11 燕山大学 一种智能机器人涂胶质量检测系统及方法
CN110068274A (zh) * 2019-05-29 2019-07-30 易思维(杭州)科技有限公司 涂胶传感器胶条检测示教方法
CN110918388A (zh) * 2019-11-27 2020-03-27 深圳市裕展精密科技有限公司 点胶装置及点胶方法
CN111024715A (zh) * 2019-12-30 2020-04-17 熵智科技(深圳)有限公司 一种胶路底平面提取方法及装置
CN112381781A (zh) * 2020-11-11 2021-02-19 征图智能科技(江苏)有限公司 基于3d点云的胶路缺陷检测方法
CN112844981A (zh) * 2020-12-17 2021-05-28 深圳市高创自动化技术有限公司 一种增加胶水高度的点胶控制方式
CN112862704A (zh) * 2021-01-22 2021-05-28 北京科技大学 一种基于3d视觉的喷胶及喷胶质量检测系统
CN112907683A (zh) * 2021-04-07 2021-06-04 歌尔光学科技有限公司 一种点胶平台的相机标定方法、装置及相关设备

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
GUILLERMO OLIVER; PABLO GIL; FERNANDO TORRES: ""Robotic workcell for sole grasping in footwear manufacturing"", 《2020 25TH IEEE INTERNATIONAL CONFERENCE ON EMERGING TECHNOLOGIES AND FACTORY AUTOMATION (ETFA)》, 5 October 2020 (2020-10-05) *
KAI MENG: ""Optical Super-Resolution Imaging Study Based on Controlling Liquid-Immersed Microsphere"", 《2018 IEEE 13TH ANNUAL INTERNATIONAL CONFERENCE ON NANO/MICRO ENGINEERED AND MOLECULAR SYSTEMS (NEMS)》, 6 December 2018 (2018-12-06) *
TAISHEN WANG;JINGYI ZHANG;JINHUA DONG;SHUWAN PAN;LIXIN ZHENG: ""A Method for Generating Spray Trajectory of a Shoe Sole Based on Laser Vision"", 《2019 IEEE 4TH INTERNATIONAL CONFERENCE ON IMAGE, VISION AND COMPUTING (ICIVC)》, 6 February 2020 (2020-02-06) *
孙美卫;: "基于K最近邻的3D鞋底喷胶路径规划方法", 齐齐哈尔大学学报(自然科学版), no. 05, 15 September 2020 (2020-09-15) *
张紫辰;尤政: ""纯相位硅基液晶器件的芯片级封装技术"", 《电子学报》, 15 November 2015 (2015-11-15) *
彭;刘燕子;张东霖;: "基于HALCON的点胶质量检测系统设计", 包装工程, no. 15, 10 August 2018 (2018-08-10) *
徐雨晴;朱玉杰;郝艺婷: ""基于SPC的汽车零部件质量问题预警与改善"", 《经济师》, 5 February 2020 (2020-02-05) *
石钊铭;: "基于线阵光谱共焦的舰载显控台LED软板涂胶微纳级三维测量", 舰船电子工程, no. 08, 20 August 2020 (2020-08-20) *
郭超; 王勇; 王瑛: ""智能路径规划算法在鞋底点胶领域的应用研究"", 《 电子技术与软件工程》, 15 December 2020 (2020-12-15) *
陈?欣;汪涛;: "基于视觉的涂胶质量检测方法", 组合机床与自动化加工技术, no. 07, 20 July 2020 (2020-07-20) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114061765A (zh) * 2021-10-29 2022-02-18 歌尔股份有限公司 器件的胶路的检测方法、控制装置以及点胶装置
CN114252414A (zh) * 2021-11-29 2022-03-29 歌尔股份有限公司 检验胶路状态的装置及其检验方法
WO2023092690A1 (zh) * 2021-11-29 2023-06-01 歌尔股份有限公司 检验胶路状态的装置及其检验方法

Similar Documents

Publication Publication Date Title
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
CN108764257B (zh) 一种多视角的指针式仪表识别方法
US9787960B2 (en) Image processing apparatus, image processing system, image processing method, and computer program
US8121400B2 (en) Method of comparing similarity of 3D visual objects
US10424078B2 (en) Height measuring system and method
CN110490936B (zh) 车辆摄像头的标定方法、装置、设备及可读存储介质
CN113487539A (zh) 胶路质量分析方法、设备、系统及存储介质
WO2018046617A1 (en) Method and system for calibrating multiple cameras
US20150103148A1 (en) Method and apparatus for three-dimensional measurement and image processing device
CN112902874B (zh) 图像采集装置及方法、图像处理方法及装置、图像处理系统
US11971961B2 (en) Device and method for data fusion between heterogeneous sensors
CN112912932B (zh) 一种车载摄像头的标定方法、装置及终端设备
CN108510477B (zh) 试纸色块的定位方法及装置
CN104574312A (zh) 标靶图像求圆心的方法和装置
CN115953483A (zh) 一种参数标定方法、装置、计算机设备及存储介质
CN112422960A (zh) 摄像头模组的偏移估算方法及装置、存储介质、终端
CN117058411B (zh) 电池棱边外形瑕疵识别方法、装置、介质和设备
CN114792327A (zh) 图像处理方法及系统
CN112116665B (zh) 一种结构光传感器标定方法
CN115014248B (zh) 一种激光投射线的识别与平面度判定方法
CN112710227B (zh) 箱体体积测量方法及其系统
CN112734857B (zh) 相机内参和相机相对激光雷达外参的标定方法及电子设备
CN206583440U (zh) 一种投影图像视距检测系统
TW201317587A (zh) 尺寸檢測裝置及方法
CN114170319A (zh) 测试标板的调整方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination