CN114324358B - 一种针管针尖视觉缺陷检测方法及其检测装置 - Google Patents
一种针管针尖视觉缺陷检测方法及其检测装置 Download PDFInfo
- Publication number
- CN114324358B CN114324358B CN202111648190.4A CN202111648190A CN114324358B CN 114324358 B CN114324358 B CN 114324358B CN 202111648190 A CN202111648190 A CN 202111648190A CN 114324358 B CN114324358 B CN 114324358B
- Authority
- CN
- China
- Prior art keywords
- needle
- needle tube
- axis
- point
- intersection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 230000000007 visual effect Effects 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 3
- 241001411320 Eriogonum inflatum Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开的作为本发明第一方面的一种针管针尖视觉缺陷检测方法，包括以下步骤：步骤S10，获取针管针尖图像，并建立平面坐标系；步骤S20，获取针管针尖的顶点坐标；步骤S30，获取交点切线A和交点切线B；步骤S40，计算三个交点坐标；步骤S50，以三个交点坐标为顶点构建一个三角形，并计算该三角形的面积S；步骤S60，判断三角形的面积S是否超过预设值，以判定被检测的针管针尖是否为合格品。还公开了一种实现上述针管针尖视觉缺陷检测方法的检测装置。本发明检测效率高，检测精度高，降低了设备制造成本。
Description
技术领域
本发明涉及医疗器械技术领域，尤其涉及一种针管针尖视觉缺陷检测方法及其检测装置。
背景技术
医疗器械中有一类器械带有针管，其具有尖锐的针尖，以穿刺人体皮肤或者瓶塞等，这类医疗器械一般称为医用穿刺器械，广泛应用于人体皮肤穿刺、瓶塞穿刺等使用场景。针管在生成过程中，尤其是在针尖磨尖或粘结时，容易产生次品，比如弯钩、钝头、毛刺、异物、尖部倒置等缺陷，势必会导致使用时的不适，造成患者投诉，或者无法使用。针管在大批量生成时无法通过肉眼进行逐个检测，一般会在生产线上配备专门用于检测针尖的视觉检测装置，以检测针管是否存在这些缺陷。
现有的用于检测针尖的视觉检测装置的工作原理为采用多个摄像头对待检测的针管针尖拍摄不同角度的图像，并将这些图像与数据库内的历史图像进行比对，再根据比对结果判断被检测的针管针尖是否符合生产要求。但是，这种视觉检测装置需要采用多个摄像头进行拍摄，设备成本较高，同时还需要对不同角度的图像进行比对处理，检测效率较低。特别是高速检测的工艺环境下，检测效率就成为瓶颈，如果一味提高硬件速度，那么设备制造成本就更高。
为此，本申请人经过有益的探索和研究，找到了解决上述问题的方法，下面将要介绍的技术方案便是在这种背景下产生的。
发明内容
本发明所要解决的技术问题之一在于：针对现有技术的不足而提供一种成本低、检测效率高的针管针尖视觉缺陷检测方法。
本发明所要解决的技术问题之二在于：提供一种实现上述针管针尖视觉缺陷检测方法的检测装置。
作为本发明第一方面的一种针管针尖视觉缺陷检测方法，包括以下步骤：
步骤S10，对待检测的针管针尖进行拍照，以获取针管针尖图像，并在所述针管针尖图像内建立平面坐标系，垂直于针管轴线的方向作为平面坐标系中的X轴，平行于针管轴线的方向作为平面坐标系中的Y轴；
步骤S20，在针管针尖的顶部位置沿X轴方向进行寻边，以获取针管针尖的顶点X轴线X0，在针管针尖的顶部位置沿Y轴方向进行寻边，以获取针管针尖的顶点Y轴线Y0，顶点X轴线X0与顶点Y轴线Y0的交点(X0，Y0)即为针管针尖的顶点坐标；
步骤S30，将顶点Y轴线Y0沿Y轴方向下移一定距离后得到Y轴线Y1，并获取Y轴线Y1与针管针尖的左侧边缘之间的交点切线A和Y轴线Y1与针管针尖的右侧边缘之间的交点切线B；
步骤S40，计算交点切线A与交点切线B之间的交点坐标(X1，Y1)、交点切线A与顶点Y轴线Y0与之间的交点坐标(X2，Y0)以及交点切线A与顶点Y轴线Y0与之间的交点坐标(X3，Y0)；
步骤S50，以交点坐标(X1，Y1)、交点坐标(X2，Y0)和交点坐标(X3，Y0)为顶点构建一个三角形，并计算该三角形的面积S；
步骤S60，判断三角形的面积S是否超过预设值，若超过，则表明交点切线A与交点切线B之间的交点坐标(X1，Y1)与针管针尖的顶点坐标(X0，Y0)存在严重偏离，并判定该被检测的针管针尖为不合格产品，若未超过，则判定该被检测的针管针尖为合格产品。
在本发明的一个优选实施例中，在步骤S10中，对待检测的针管针尖进行拍照的设备采用一台30万像素以上的相机。
在本发明的一个优选实施例中，在步骤S30中，所述顶点Y轴线Y0沿Y轴方向下移的距离为0.2mm～1.2mm。
作为本发明第二方面的一种实现上述针管针尖视觉缺陷检测方法的检测装置，包括：
机架；
安装在所述机架上的用于对针管进行夹持的夹持机构；
安装在所述机架上的用于对针管针尖进行拍照的相机；
安装在所述机架上的用于提供拍照光源的光源组件；以及
上位机，所述上位机分别与所述夹持机构、相机和光源组件连接，用于分别对所述夹持机构、相机和光源组件进行控制，并获取所述相机拍摄的图像，再对获取到的图像进行视觉缺陷处理。
在本发明的一个优选实施例中，还包括可调节机构，所述可调节机构包括：
导轨，所述导轨设置在所述机架上；
滑动座，所述滑动座滑动配置在所述导轨上且可沿着所述导轨进行往复滑移；
驱动机构，所述驱动机构安装在所述机架上且与所述滑动座连接并与所述上位机连接，用于驱动所述滑动座沿着所述导轨进行往复滑移；
可调支架，所述可调支架安装在所述滑动座上且跟随所述滑动座移动；以及
设备安装板，所述设备安装板水平安装在所述可调支架上并由所述可调支架调节的高度，所述相机安装在所述设备安装板上且位于所述设备安装板的一侧，所述光源组件安装在所述设备安装板上且位于所述设备安装板的另一侧，所述相机与光源组件之间构成用于对被检测的针管针尖进行拍照的区域。
由于采用了如上技术方案，本发明的有益效果在于：本发明通过将针管针尖的顶点及顶点以下部分的左右侧形状构建一个理论三角形，通过计算三角形的面积，判断出被检测的针管针尖是否存在缺陷，检测效率高，检测精度高。同时，本发明只需通过一台相机对被检测的针管针尖进行拍照即可，有效地降低了设备制造成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的针管针尖视觉缺陷检测方法的流程图。
图2是本发明获取针管针尖图像的示意图。
图3是本发明获取针管针尖的顶点坐标的示意图。
图4是本发明获取针管针尖的交点切线A的示意图。
图5是本发明获取针管针尖的交点切线B的示意图。
图6是本发明的针管针尖的顶点坐标、交点切线A和交点切线B的示意图。
图7是本发明构建三角形的一种实施例中的示意图。
图8是本发明构建三角形的另一种实施例中的示意图。
图9是本发明的针管针尖视觉缺陷检测装置的一种实施例的结构示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
参见图1，图中给出的是一种针管针尖视觉缺陷检测方法，包括以下步骤：
步骤S10，对待检测的针管针尖进行拍照，以获取针管针尖图像，如图2所示，并在针管针尖图像内建立平面坐标系，垂直于针管轴线的方向作为平面坐标系中的X轴，平行于针管轴线的方向作为平面坐标系中的Y轴。在本实施例中，针管针尖图像以黑色显示，空白区域为白色背景。为了保证所拍摄的图像的清晰度，对待检测的针管针尖进行拍照的设备优选地采用一台30万像素以上的相机。
步骤S20，在针管针尖的顶部位置沿X轴方向进行寻边，以获取针管针尖的顶点X轴线X0，在针管针尖的顶部位置沿Y轴方向进行寻边，以获取针管针尖的顶点Y轴线Y0，顶点X轴线X0与顶点Y轴线Y0的交点(X0，Y0)即为针管针尖的顶点坐标，如图3所示。
步骤S30，将顶点Y轴线Y0沿Y轴方向下移一定距离后得到Y轴线Y1，并获取Y轴线Y1与针管针尖的左侧边缘之间的交点切线A(如图4所示)和Y轴线Y1与针管针尖的右侧边缘之间的交点切线B(如图5所示)。至此，得到针管针尖的顶点坐标(X0，Y0)以及交点切线A和交点切线B，如图6所示。在本实施例中，顶点Y轴线Y0沿Y轴方向下移的距离为0.2mm～1.2mm，优选地为0.5mm。
步骤S40，计算交点切线A与交点切线B之间的交点坐标(X1，Y1)、交点切线A与顶点Y轴线Y0与之间的交点坐标(X2，Y0)以及交点切线A与顶点Y轴线Y0与之间的交点坐标(X3，Y0)，如图7或图8所示。其中，图7和图8所示的针管针尖为不同角度拍摄的图像。
步骤S50，以交点坐标(X1，Y1)、交点坐标(X2，Y0)和交点坐标(X3，Y0)为顶点构建一个三角形，并计算该三角形的面积S，如图7或图8所示。
步骤S60，判断三角形的面积S是否超过预设值；若超过，则表明交点切线A与交点切线B之间的交点坐标(X1，Y1)与针管针尖的顶点坐标(X0，Y0)存在严重偏离，并判定该被检测的针管针尖为不合格产品；若未超过，则表明交点切线A与交点切线B之间的交点坐标(X1，Y1)与针管针尖的顶点坐标(X0，Y0)之间未发生严重偏离或者偏离量属于正常误差范围，并判定该被检测的针管针尖为合格产品。
如果针管针尖出现弯钩、钝头、毛刺、异物等缺陷，交点切线A与交点切线B之间的交点坐标(X1，Y1)与针管针尖的实际顶点坐标(X0，Y0)必然存在偏离，由此便可检测出针管针尖是否存在弯钩、钝头、毛刺、异物等缺陷。同时，还可以通过将视觉画面设定在一定的宽幅，长度超长的针管，其针管针尖已经偏离画面，以致无法显示，必然判定为不合格，若长度偏短的针管，其针管针尖离开画面，画面没有针管，无法运算，必然判定为不合格。
本发明通过将针管针尖的顶点及其顶点下面约0.5mm处的左右侧形状，构建一个理论三角形，通过计算三角形的面积，判断针管针尖是否存在缺陷。同时，本发明一般按照5微米级别配置，检测精度高，轻微的瑕疵均可被检测出来。本发明利用了针管针尖的头部具有一个斜切面的原理，采用一台相机拍摄会得到不同的形状，当对针管针尖的顶部形状放大后，均可以构建三角形，再借助算法，便可以一台相机识别缺陷，有效地降低了设备制造成本，并极大地提高了检测效率和生产效率。
参见图9，图中给出的是一种实现上述针管针尖视觉缺陷检测方法的检测装置，包括机架(图中未示出)、夹持机构、相机200、光源组件300、可调节机构400以及上位机(图中未示出)。
夹持机构安装在机架上，其用于对针管10进行夹持，并将针管10输送至拍摄区域，使得针管10的针管针尖11被相机200拍摄图像。在本实施例中，夹持机构包括夹板110以及夹持驱动组件(图中未示出)，夹板110可同时夹持多个针管10，夹持驱动组件用于驱动夹持110进行动作，逐一将针管10送至拍摄区域进行拍照。夹持驱动组件可采用气缸驱动结构、电机驱动结构等。
可调节机构400包括导轨410、滑动座420、驱动机构(图中未示出)、可调支架430以及设备安装板440。导轨410导轨设置在机架上。滑动座420滑动配置在导轨410上且可沿着导轨410进行往复滑移。驱动机构安装在机架上且与滑动座420连接，用于驱动滑动座420沿着导轨410进行往复滑移。在本实施例中，驱动机构可采用气缸驱动结构、电动驱动结构等。可调支架430安装在滑动座420上且跟随滑动座420移动。设备安装板440水平安装在可调支架430上并由可调支架430调节的高度。相机200安装在设备安装板440上且位于所述设备安装板的一侧，光源组件300安装在设备安装板440上且位于所述设备安装板的另一侧，相机200与光源组件300之间构成用于对被检测的针管针尖11进行拍照的区域。
上位机分别与夹持机构、相机200、光源组件300和驱动机构连接，用于分别对夹持机构、相机200、光源组件300和驱动机构进行控制，并获取相机200拍摄的图像，再对获取到的图像进行视觉缺陷处理。上位机内存储有用于对针管针尖图像进行视觉缺陷处理的算法程序，该算法程序执行上述针管针尖视觉缺陷检测方法中的步骤。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (5)
1.一种针管针尖视觉缺陷检测方法，其特征在于，包括以下步骤：
步骤S10，对待检测的针管针尖进行拍照，以获取针管针尖图像，并在所述针管针尖图像内建立平面坐标系，垂直于针管轴线的方向作为平面坐标系中的X轴，平行于针管轴线的方向作为平面坐标系中的Y轴；
步骤S20，在针管针尖的顶部位置沿X轴方向进行寻边，以获取针管针尖的顶点X轴线X0，在针管针尖的顶部位置沿Y轴方向进行寻边，以获取针管针尖的顶点Y轴线Y0，顶点X轴线X0与顶点Y轴线Y0的交点(X0，Y0)即为针管针尖的顶点坐标；
步骤S30，将顶点Y轴线Y0沿Y轴方向下移一定距离后得到Y轴线Y1，并获取Y轴线Y1与针管针尖的左侧边缘之间的交点切线A和Y轴线Y1与针管针尖的右侧边缘之间的交点切线B；
步骤S40，计算交点切线A与交点切线B之间的交点坐标(X1，Y1)、交点切线A与顶点Y轴线Y0与之间的交点坐标(X2，Y0)以及交点切线A与顶点Y轴线Y0与之间的交点坐标(X3，Y0)；
步骤S50，以交点坐标(X1，Y1)、交点坐标(X2，Y0)和交点坐标(X3，Y0)为顶点构建一个三角形，并计算该三角形的面积S；
步骤S60，判断三角形的面积S是否超过预设值，若超过，则表明交点切线A与交点切线B之间的交点坐标(X1，Y1)与针管针尖的顶点坐标(X0，Y0)存在严重偏离，并判定被检测的针管针尖为不合格产品，若未超过，则判定被检测的针管针尖为合格产品。
2.如权利要求1所述的针管针尖视觉缺陷检测方法，其特征在于，在步骤S10中，对待检测的针管针尖进行拍照的设备采用一台30万像素以上的相机。
3.如权利要求1所述的针管针尖视觉缺陷检测方法，其特征在于，在步骤S30中，所述顶点Y轴线Y0沿Y轴方向下移的距离为0.2mm～1.2mm。
4.一种实现如权利要求1至3中任一项所述的针管针尖视觉缺陷检测方法的检测装置，其特征在于，包括：
机架；
安装在所述机架上的用于对针管进行夹持的夹持机构；
安装在所述机架上的用于对针管针尖进行拍照的相机；
安装在所述机架上的用于提供拍照光源的光源组件；以及
上位机，所述上位机分别与所述夹持机构、相机和光源组件连接，用于分别对所述夹持机构、相机和光源组件进行控制，并获取所述相机拍摄的图像，再对获取到的图像进行视觉缺陷处理。
5.如权利要求4所述的检测装置，其特征在于，还包括可调节机构，所述可调节机构包括：
导轨，所述导轨设置在所述机架上；
滑动座，所述滑动座滑动配置在所述导轨上且可沿着所述导轨进行往复滑移；
驱动机构，所述驱动机构安装在所述机架上且与所述滑动座连接并与所述上位机连接，用于驱动所述滑动座沿着所述导轨进行往复滑移；
可调支架，所述可调支架安装在所述滑动座上且跟随所述滑动座移动；以及
设备安装板，所述设备安装板水平安装在所述可调支架上并由所述可调支架调节的高度，所述相机安装在所述设备安装板上且位于所述设备安装板的一侧，所述光源组件安装在所述设备安装板上且位于所述设备安装板的另一侧，所述相机与光源组件之间构成用于对被检测的针管针尖进行拍照的区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111648190.4A CN114324358B (zh) | 2021-12-30 | 2021-12-30 | 一种针管针尖视觉缺陷检测方法及其检测装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111648190.4A CN114324358B (zh) | 2021-12-30 | 2021-12-30 | 一种针管针尖视觉缺陷检测方法及其检测装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114324358A CN114324358A (zh) | 2022-04-12 |
| CN114324358B true CN114324358B (zh) | 2023-12-19 |
Family
ID=81019321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111648190.4A Active CN114324358B (zh) | 2021-12-30 | 2021-12-30 | 一种针管针尖视觉缺陷检测方法及其检测装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114324358B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104483321A (zh) * | 2014-10-31 | 2015-04-01 | 苏州捷碧医疗科技有限公司 | 一种基于机器视觉的注射针管自动检测系统和检测方法 |
| CN109765240A (zh) * | 2018-12-25 | 2019-05-17 | 浙江四点灵机器人股份有限公司 | 一种检测工业零件针脚缺陷装置及方法 |
| CN110108204A (zh) * | 2019-05-10 | 2019-08-09 | 苏州德创测控科技有限公司 | 利用镜头检测连接器pin针位置偏差的方法 |
| CN111687002A (zh) * | 2020-06-29 | 2020-09-22 | 常熟品智自动化科技有限公司 | 一种基于机器视觉的点胶机对针校准控制方法 |
| CN113393447A (zh) * | 2021-06-24 | 2021-09-14 | 四川启睿克科技有限公司 | 基于深度学习的针尖正位度检测方法及系统 |
-
2021
- 2021-12-30 CN CN202111648190.4A patent/CN114324358B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104483321A (zh) * | 2014-10-31 | 2015-04-01 | 苏州捷碧医疗科技有限公司 | 一种基于机器视觉的注射针管自动检测系统和检测方法 |
| CN109765240A (zh) * | 2018-12-25 | 2019-05-17 | 浙江四点灵机器人股份有限公司 | 一种检测工业零件针脚缺陷装置及方法 |
| CN110108204A (zh) * | 2019-05-10 | 2019-08-09 | 苏州德创测控科技有限公司 | 利用镜头检测连接器pin针位置偏差的方法 |
| CN111687002A (zh) * | 2020-06-29 | 2020-09-22 | 常熟品智自动化科技有限公司 | 一种基于机器视觉的点胶机对针校准控制方法 |
| CN113393447A (zh) * | 2021-06-24 | 2021-09-14 | 四川启睿克科技有限公司 | 基于深度学习的针尖正位度检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114324358A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210133950A1 (en) | Machine vision based automatic needle cannula inspection system and method of use | |
| CN105783723B (zh) | 基于机器视觉的精密模具表面加工精度检测装置及方法 | |
| CN105066890A (zh) | 螺纹孔检测装置 | |
| CN108801149B (zh) | 一种基于几何放大原理和单目计算机视觉的接触网几何参数测量方法 | |
| CN104990511A (zh) | 螺纹孔结构质量检测方法 | |
| WO2022188293A1 (zh) | 一种带有集成镜头的视觉检测系统 | |
| CN107388991B (zh) | 一种端面多圆角轴类零件圆角半径测量方法 | |
| JP2015017921A (ja) | 摺り板形状計測装置 | |
| CN105004275A (zh) | 螺纹孔三ccd相机检测机构 | |
| CN114754677B (zh) | 一种触摸屏和触控笔测试设备中自动精确定位的装置和方法 | |
| CN109146866A (zh) | 机器人对焊缝处理的方法及装置 | |
| CN117589129B (zh) | 一种车载式柔性接触网定位器坡度测量方法及系统 | |
| CN111257329A (zh) | 一种智能手机摄像头缺陷检测方法以及检测系统 | |
| CN105023018A (zh) | 一种喷码检测方法及系统 | |
| CN114324358B (zh) | 一种针管针尖视觉缺陷检测方法及其检测装置 | |
| CN115852763A (zh) | 一种视觉控制钢轨缺陷位置检测方法及系统 | |
| CN113418933A (zh) | 用于检测大尺寸物体的飞拍视觉成像检测系统及方法 | |
| CN105466943A (zh) | 一种毛刺检测机构 | |
| CN111263137B (zh) | 单图像的畸变检测处理方法 | |
| CN110864879B (zh) | 一种基于投影模块的tof深度模组平面度测试系统及方法 | |
| CN218723934U (zh) | 一种用于大幅面Mini LED面板的自动化检测装备 | |
| CN214408670U (zh) | 一种带有集成镜头的视觉检测系统 | |
| CN115355850A (zh) | 一种基于智能视觉的直角度的检测装置 | |
| CN112066896B (zh) | 曲面样品顶点定位方法、装置和椭偏仪 | |
| CN204924190U (zh) | 螺纹孔检测装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |