CN112733838A - 基于深度学习的一次性输液针头组件定向检测方法及装置 - Google Patents
基于深度学习的一次性输液针头组件定向检测方法及装置 Download PDFInfo
- Publication number
- CN112733838A CN112733838A CN202011151745.XA CN202011151745A CN112733838A CN 112733838 A CN112733838 A CN 112733838A CN 202011151745 A CN202011151745 A CN 202011151745A CN 112733838 A CN112733838 A CN 112733838A
- Authority
- CN
- China
- Prior art keywords
- needle assembly
- front image
- detection
- disposable
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的一次性输液针头组件定向检测方法及装置,相机实时获取一正面图像并同步至处理模块进行预处理;将预处理后的正面图像作为一次性输液针头组件定向检测网络的输入,输出得到至少一目标检测框和对应的目标检测类别;根据目标检测类别判断预处理后的正面图像中任一一次性输液针头组件的朝向与预设朝向是否一致;大大提高了一次性输液针头组件朝向检测和定位的速度和精准度。
Description
技术领域
本发明涉及医疗器械技术领域,特别是涉及一种基于深度学习的一次性输液针头组件定向检测方法及装置。
背景技术
输液器在国内外都有很长的发展史,其中的配件一次性输液针头组件在组装过程中需要对针头刃面的朝向进行检测,并对其位置出现的偏差进行调整。
现有技术中对于检测一次性输液针头组件的方向及位置调整,主要是利用感应器去检测针头组件的刃面朝向,再利用控制器调整方向。这种采用传统感应器检测针头刃面的朝向,速度较慢、精准度较低,会影响整体的输液器生产效率。为此,本发明提供一种基于深度学习的一次性输液针头组件朝向检测方法及装置,以便提高一次性输液针头组件朝向的检测速度及精度。
发明内容
本发明的目的在于提供一种基于深度学习的一次性输液针头组件朝向检测方法及装置,以解决背景技术中现有的感应器检测针头刃面朝向的速度较慢、精准度较低的问题。
为实现上述目的,本发明提供技术方案如下:
一种基于深度学习的一次性输液针头组件定向检测方法,所述方法包括以下步骤:
S1、相机实时获取一正面图像并同步至处理模块,所述正面图像包括至少一转换座,且任一转换座上对应设有一一次性输液针头组件;
S2、处理模块对正面图像进行预处理;
S3、将预处理后的正面图像作为一次性输液针头组件定向检测网络的输入,输出得到至少一目标检测框和对应的目标检测类别;
S4、根据目标检测类别判断预处理后的正面图像中任一一次性输液针头组件的朝向与预设朝向是否一致,若是,则返回至S1,否则转动对应的转换座并返回至S1。
优选地,所述S2中,一次性针头组件定向检测网络的获取包括以下步骤:
S2.1、相机采集若干正面图像并同步至处理模块;
S2.2、处理模块对任一所述正面图像进行预处理,得到预处理后的正面图像;
S2.3、将任一预处理后的正面图像中任一一次性输液针头组件部分均作为目标区域,设置目标预设框和对应的目标预设类别,得到数据集;
S2.4、通过数据集训练YOLOv3网络模型,以最小化损失值为目标优化YOLOv3网络模型的模型参数,得到一次性输液针头组件定向检测网络。
优选地,所述预处理包括以下步骤:
A:采用加权平均法对正面图像进行灰度化,得到灰度图像;
B:采用双线性插值法对灰度图像进行空间变换,得到变换图像;
C:采用邻域去噪算法对变换图像降噪。
优选地,所述S3包括以下步骤:
S3.1、将预处理后的正面图像输入到一次性输液针头组件定向检测网络,得到所有的检测框的置信度、参数及对应的目标类别概率;
S3.2、排除置信度小于预设置信值的检测框,再进行非极大抑制操作,得到目标检测框,并根据目标类别概率在目标检测框上设置对应的目标检测类别。
应用所述的基于深度学习的一次性输液针头组件定向检测方法的检测装置,包括输送机构,输送机构的下料端配合设有若干转换座,输送机构及转换座均与一控制器配合设置,所述转换座正上方配合设有相机支撑架,相机支撑架上配合转换座上的一次性输液针头组件设有相机,所述相机与一处理模块连接,所述处理模块与控制器配合设置。
与现有技术相比,本发明的有益效果为:
本发明提供一种基于深度学习的一次性输液针头组件朝向检测方法,并用于医用配件的组装生产中,大大提高了一次性输液针头组件朝向检测和定位的速度和精准度。
附图说明
图1为本发明的流程图。
图2为本发明中的正面图像及目标检测框和目标检测类别。
图3为图2的结构示意图。
图4为图3中A的局部放大图。
图5为图3中B的局部放大图。
图中标记:1-正面图像,2-转换座,3-一次性输液针头组件,31- 针头刃面。
具体实施方式
下面将结合附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种一次性输液针头组件定向检测方法的检测装置,包括输送机构,输送机构的下料端配合设有若干转换座,输送机构及转换座均与一控制器配合设置,所述转换座正上方配合设有相机支撑架,相机支撑架上配合转换座上的一次性输液针头组件设有相机,所述相机与一处理模块连接,所述处理模块与控制器配合设置。
本发明中,控制器分别与输送机构、转换座连接,用于驱动输送机构将一次性输液针头组件输送至转换座上,以及用于驱动转换座转动一定角度以调整一次性输液针头组件的朝向;该控制器与处理模块连接,由处理模块对控制器进行控制;相机正对转换座上的一次性输液针头组件,以获取正面图像并同步至处理模块进行深度学习检测。本发明中,该处理模块为电脑。
一种基于深度学习的一次性输液针头组件定向检测方法,其特征在于,所述方法包括以下步骤:
S1、相机实时获取一正面图像并同步至处理模块,所述正面图像包括至少一转换座,且任一转换座上对应设有一一次性输液针头组件;
S2、处理模块对正面图像进行预处理;
S3、将预处理后的正面图像作为一次性输液针头组件定向检测网络的输入,输出得到至少一目标检测框和对应的目标检测类别;
S4、根据目标检测类别判断预处理后的正面图像中一次性输液针头组件的朝向与预设朝向是否一致,若是,则返回至S1,否则转动对应的转换座并返回至S1。
本发明中,相机按照固定频率拍摄,获取一幅正面图像,该正面图像包括若干阵列设置的转换座,且每一个转换座上均放置有一个一次性输液针头组件;将该正面图像预处理后作为一次性输液针头组件定向检测网络的输入,即可得到包含有目标检测框和对应的目标检测类别的预处理后的正面图像,具体来说输出得到的图像上有至少一目标检测框,该目标检测框设置在输出图像中的一次性输液针头组件部分,并标注有对应的目标检测类别;这里需要注意的是,输出的图像中一个一次性输液针头组件部分对应一个目标检测框和一个目标检测类别,且该目标检测类别为0°或者非0°。
本发明步骤4中,根据目标检测类别判断正面图像中一次性输液针头组件的朝向与预设朝向是否一致,即为判断目标检测类别是否为 0°,若为非0°,则需要转动转换座使得一次性输液针头组件统一朝向。此外本领域技术人员应当了解到,若一次性输液针头组件的刃面的预设朝向为朝向正面,也就是说目标检测类别为0°,那么非0°就表示一次性输液针头组件的正面朝向为朝向背面;举例来说,处理模块可以通过目标检测框的前后顺序和对应的目标检测类别来确定哪个转换座需要转动,本领域技术人员应当了解到,处理模块如何驱动控制器控制对应的转换座转动为本领域公知常识,本领域技术人员可根据实际情况自行设置。
所述S2中,一次性针头组件定向检测网络的获取包括以下步骤:
S2.1、相机采集若干正面图像并同步至处理模块;
S2.2、处理模块对任一所述正面图像进行预处理,得到预处理后的正面图像;
S2.3、将任一预处理后的正面图像中任一一次性输液针头组件部分均作为目标区域,设置目标预设框和对应的目标预设类别,得到数据集;
S2.4、通过数据集训练YOLOv3网络模型,以最小化损失值为目标优化YOLOv3网络模型的模型参数,得到一次性输液针头组件定向检测网络。
本发明步骤2.1中提到的“一次性输液针头组件的正面图像”,其包含若干个阵列设置的一次性输液针头组件。
本发明步骤2.3中,由于采集的任一正面图像均包括若干阵列设置的转换座,且转换座对应设置一次性输液针头组件,因此,需要对每个正面图像设置若干个目标预设框和目标预设类别,该目标预设类别用于表示对应的目标预设框内的一次性输液针头组件部分的针头刃面朝向与预设朝向是否一致,若是,则设置目标预设类别为“0°”,否则为“非0°”,举例来说,如果预设朝向为朝向正面,那么其他刃面不朝向正面的针头的目标预设类别为非0°;得到的数据集为{预处理后的正面图像,(目标预设框,目标预设类别)}的数据集。
本发明中,YOLOv3网络模型是以Darnet-53中前52层为主干特征提取网络,同时引入残差结构使网络可以更深;该主干特征提取网络对正面图像不断卷积,使得正面图像的宽和高会不断被压缩,通道数不断地扩张,从而得到一堆特征图;选取尺度为52×52,26×26, 13×13的三个特征图。将13*13的特征图作为有效特征图,尺度为 13*13的有效特征图通过卷积后再进行上采样并与尺度为26*26的特征层进行堆叠以构建特征金字塔,得到有效特征图,尺度为26*26的特征图通过卷积后再进行上采样并与尺度为52*52的特征图进行堆叠以构建特征金字塔,得到有效特征图,YOLOv3采用特征金字塔网络架构来实现多尺度检测,从而加强算法对目标检测的精准度。
有效特征图中的每个cell都会预测3个边界框,每个边界框都会预测3个内容:1)每个边界框的位置,由4个参数决定,分别为中心坐标tx和ty,边界框的高度th和宽度tw;2)每个边界框内是否真实地包含物体;3)N个类别。
YOLOv3网络采用公式:
其中(tx,ty,tw,th)就是YOLOv3网络模型的预测输出(网络学习目标);(cx,cy)是每个cell的偏移量,该偏移量以cell边长为单位,(pw,ph)则是预设的Anchor Box的边长,(bx,by,bw,bh)就是最终得到的预测出边界框的中心坐标和宽高。
YOLOv3网络模型将之前版本的单标签分类改进为多标签分类,网络结构上将原来用于单标签分类的Softmax分类器换成用于多标签分类的Logistic分类器;
将制作的数据集送入YOLOv3网络模型中,提取正面图像的特征,开始训练YOLOv3网络模型,保存损失值最小时的网络模型参数,得到最佳训练模型,将该最佳模型作为一次性输液针头组件定向检测网络;至于如何通过数据集对YOLOv3网络模型进行训练,至于为本领域公知常识,本领域技术人员可根据实际情况自行设置。
所述S3包括以下步骤:
S3.1、将预处理后的正面图像输入到一次性输液针头组件定向检测网络,得到所有检测框的置信度、参数以及对应的目标类别概率;
S3.2、排除置信度小于预设置信值的检测框,再进行非极大抑制操作,得到目标检测框,并根据目标类别概率在目标检测框上设置对应的目标检测类别。
本发明S3.1中,对实时采集的一次性输液针头组件的正面图像采样(resize)到416×416,再输入到一次性输液针头组件定向检测网络中进行前向推导,对预测特征图进行解码操作,预测特征图包括每个检测框的置信度值、类别概率值和坐标偏差值;解码得到的是检测框的中心坐标x,y,检测框宽高w,h,置信度c,还有条件类别概率。
本发明S3.2中通过排除置信度小于预设置信值所对应的检测框来减少检测框的数量,然后再进行非极大抑制操作来进一步筛选检测框;该非极大抑制操作为选出任一类别中置信度最高的检测框,对置信度最高的检测框与其他所有的检测框计算交并比,若交并比的值大于预设值,则说明两个框的重合程度比较大,则保留其中置信度最大的检测框;需要说明的是,这里的“其他所有的检测框”为该类别中置信度大于预设置信值的检测框。
本发明步骤S3.2中,在生产线获取的实时图像中也即在对应的正面图像中制作出经过非极大值抑制操作后的目标检测框,并在目标检测框左上角标注对应目标检测类别,该目标检测类别为0°或非 0°,是通过目标类别概率确定,该目标类别概率包括属于0°的概率和属于非0°的概率,当属于0°的概率大于非0°的概率时,则目标检测类别则为0°。
所述预处理包括以下步骤:
A:采用加权平均法对正面图像进行灰度化,得到灰度图像;
B:采用双线性插值法对灰度图像进行空间变换,得到变换图像;
C:采用邻域去噪算法对变换图像降噪。
本发明中,图像预处理的主要目的是消除图像中无关的信息,恢复有用的真实信息,增强有关信息的可检测性、最大限度地简化数据,预处理流程为图像灰度化、图像几何变换(又称空间变换)、图像增强。
其中使用加权平均法对彩色图像进行灰度化,得到了灰度图像,然后使用双线性插值法对图像进行空间变换;最后使用空间域法中的领域去噪算法改善图像的视觉效果;本发明中,双线性差值法及领域去噪算法均为本领域的公知常识,本领域技术人员可根据实际情况自行设置。
加权平均法是将三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感最高,对蓝色敏感最低,因此,按下式对RGB三分量进行加权平均能得到较合理的灰度图像,公式为:
f(i,j)=0.30R(i,j)+0.59G(i,j)+0.11B(i,j),其中(i,j)表示正面图像的像素坐标。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (5)
1.一种基于深度学习的一次性输液针头组件定向检测方法,其特征在于,所述方法包括以下步骤:
S1、相机实时获取一正面图像并同步至处理模块,所述正面图像包括至少一转换座,且任一转换座上对应设有一一次性输液针头组件;
S2、处理模块对正面图像进行预处理;
S3、将预处理后的正面图像作为一次性输液针头组件定向检测网络的输入,输出得到至少一目标检测框和对应的目标检测类别;
S4、根据目标检测类别判断预处理后的正面图像中任一一次性输液针头组件的朝向与预设朝向是否一致,若是,则返回至S1,否则转动对应的转换座并返回至S1。
2.如权利要求1所述的一种基于深度学习的一次性输液针头组件定向检测方法,其特征在于,所述S2中,一次性针头组件定向检测网络的获取包括以下步骤:
S2.1、相机采集若干正面图像并同步至处理模块;
S2.2、处理模块对任一所述正面图像进行预处理,得到预处理后的正面图像;
S2.3、将任一预处理后的正面图像中任一一次性输液针头组件部分均作为目标区域,设置目标预设框和对应的目标预设类别,得到数据集;
S2.4、通过数据集训练YOLOv3网络模型,以最小化损失值为目标优化YOLOv3网络模型的模型参数,得到一次性输液针头组件定向检测网络。
3.如权利要求1或2所述的一种基于深度学习的一次性输液针头组件定向检测方法,其特征在于,所述预处理包括以下步骤:
A:采用加权平均法对正面图像进行灰度化,得到灰度图像;
B:采用双线性插值法对灰度图像进行空间变换,得到变换图像;
C:采用邻域去噪算法对变换图像降噪。
4.如权利要求1所述的一种基于深度学习的一次性输液针头组件定向检测方法,其特征在于,所述S3包括以下步骤:
S3.1、将预处理后的正面图像输入到一次性输液针头组件定向检测网络,得到所有的检测框的置信度、参数及对应的目标类别概率;
S3.2、排除置信度小于预设置信值的检测框,再进行非极大抑制操作,得到目标检测框,并根据目标类别概率在目标检测框上设置对应的目标检测类别。
5.应用权利要求1-4任一项所述的基于深度学习的一次性输液针头组件定向检测方法的检测装置,包括输送机构,输送机构的下料端配合设有若干转换座,输送机构及转换座均与一控制器配合设置,所述转换座正上方配合设有相机支撑架,相机支撑架上配合转换座上的一次性输液针头组件设有相机,所述相机与一处理模块连接,所述处理模块与控制器配合设置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011151745.XA CN112733838A (zh) | 2020-10-26 | 2020-10-26 | 基于深度学习的一次性输液针头组件定向检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011151745.XA CN112733838A (zh) | 2020-10-26 | 2020-10-26 | 基于深度学习的一次性输液针头组件定向检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112733838A true CN112733838A (zh) | 2021-04-30 |
Family
ID=75597294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011151745.XA Pending CN112733838A (zh) | 2020-10-26 | 2020-10-26 | 基于深度学习的一次性输液针头组件定向检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112733838A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115294351A (zh) * | 2022-06-28 | 2022-11-04 | 中国科学院自动化研究所 | 图像特征提取方法、装置和电子设备 |
-
2020
- 2020-10-26 CN CN202011151745.XA patent/CN112733838A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115294351A (zh) * | 2022-06-28 | 2022-11-04 | 中国科学院自动化研究所 | 图像特征提取方法、装置和电子设备 |
CN115294351B (zh) * | 2022-06-28 | 2023-11-03 | 中国科学院自动化研究所 | 图像特征提取方法、装置和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106683048B (zh) | 一种图像超分辨率方法及设备 | |
EP3576017A1 (en) | Method, apparatus, and device for determining pose of object in image, and storage medium | |
CN110008806B (zh) | 信息处理装置、学习处理方法、学习装置及物体识别装置 | |
CN111414906A (zh) | 纸质票据图片的数据合成与文本识别方法 | |
CN111898668A (zh) | 一种基于深度学习的小目标物体检测方法 | |
CN112734646A (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
CN111784624A (zh) | 目标检测方法、装置、设备及计算机可读存储介质 | |
CN102737240B (zh) | 分析数字文档图像的方法 | |
CN112836748A (zh) | 一种基于crnn-ctc的铸件标识字符识别方法 | |
CN117576724A (zh) | 一种无人机飞鸟检测方法、系统、设备和介质 | |
CN115601562A (zh) | 一种使用多尺度特征提取的锦鲤鱼检测与识别方法 | |
CN110503002B (zh) | 一种人脸检测方法和存储介质 | |
CN116363750A (zh) | 人体姿态预测方法、装置、设备及可读存储介质 | |
CN112733838A (zh) | 基于深度学习的一次性输液针头组件定向检测方法及装置 | |
CN113487530B (zh) | 一种基于深度学习的红外与可见光融合成像方法 | |
CN113505629A (zh) | 一种基于轻量网络的智能仓储物件识别装置 | |
CN116758419A (zh) | 针对遥感图像的多尺度目标检测方法、装置和设备 | |
CN116884036A (zh) | 基于YOLOv5DA的生猪姿态检测方法、装置、设备及介质 | |
CN117058232A (zh) | 一种改进YOLOv8模型的养殖鱼群中鱼类目标个体的位置检测方法 | |
WO2023086398A1 (en) | 3d rendering networks based on refractive neural radiance fields | |
CN115424319A (zh) | 一种基于深度学习的斜视识别系统 | |
CN113420760A (zh) | 一种基于分割和形变lstm的手写体蒙古文检测和识别方法 | |
CN111899284A (zh) | 一种基于参数化esm网络的平面目标跟踪方法 | |
CN111597967A (zh) | 一种红外图像多目标行人识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |