CN104680550A - 一种通过图像特征点的轴承表面瑕疵检测的方法 - Google Patents
一种通过图像特征点的轴承表面瑕疵检测的方法 Download PDFInfo
- Publication number
- CN104680550A CN104680550A CN201510134147.4A CN201510134147A CN104680550A CN 104680550 A CN104680550 A CN 104680550A CN 201510134147 A CN201510134147 A CN 201510134147A CN 104680550 A CN104680550 A CN 104680550A
- Authority
- CN
- China
- Prior art keywords
- image
- bearing
- detected
- point
- transformation matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种通过图像特征点的信息,进行轴承表面瑕疵检测的方法,该方法先对模板图像和待检测图像进行特征点提取,对图像提取特征点并建立特征集;对特征点描述的集合采用最近邻查找方法快速匹配,并消除错误的匹配点;对图像特征集利用特征匹配算法计算图像之间的变换矩阵,对检测图像经过变换矩阵变换,使模板图像与检测图像无旋转角度,对两者进行差异性比较,从而达到图像配准和瑕疵检测的目的。本发明通过图像特征点信息实现图像配准的方法实现了瑕疵检测的目的,能快速的实现图像的配准,并且能精确的检测出字符上的瑕疵。
Description
【技术领域】
本发明涉及对象特征、目标识别与图像配准领域,特别涉及一种基于图像特征点的轴承瑕疵检测的方法。
【背景技术】
轴承在工业生产和日常生活等行业中起着举足轻重的作用,所以对轴承质量性能和寿命要求越来越高,不仅是生产轴承厂家还是使用轴承的客户都是非常关心的问题。轴承在制造、运输过程中,由于各种原因,容易导致轴承防尘盖表面容易产生各种各样的瑕疵,这些问题会严重影响它的质量,会直接导致在使用的过程中出现问题,从而降低轴承的使用性能,造成不可估计的损失,还会对使用它的机器造成危害,容易形成多种安全隐患,不仅给企业正常生产造成影响,而且带来经济效益的损失,影响企业的信誉。所以在轴承出产前的质量检验工作是至关重要的。
目前,国内外轴承生产厂家常常采用人工目测的方式来对轴承防尘盖表面的进行检验。由于人工检测受体力等认为的各种因素的影响,容易造成漏检的现象,而且人工检测效率比较低,人工费用昂贵,随着机器化的发展,实现轴承表面瑕疵的自动检测势在必行。
常用的基于机器视觉的轴承瑕疵检测算法,一般可以转化为与模板图像的配准,然后对两者的差异进行分析。基于特征点的匹配算法能够根据图像特征进行匹配.由于特征点具有旋转、尺度缩放、亮度变化保持不变性,代表图像的局部特征,对视角变化、仿射变换、噪声也保持一定程度的稳定性,所以特征点能够在图像配准中实现精确匹配,达到检测出瑕疵的目的。
【发明内容】
本发明的目的在于提供一种基于图像特征点的轴承瑕疵检测方法,轴承图像瑕疵检测算法可以转化为待检测图像与模板图像的差异性比较,故可以通过基于特征点实现将模板图像与检测图像进行配准实现差异性比较。
为了达到本发明的目的,本发明提供一种基于图像特征点的轴承瑕疵检测方,所述方法包括:通过图像处理算法,对轴承图像进行预处理;通过特征点提取算法,提取图像特征点;通过特征点信息实现特征点对的匹配,对匹配关系建立变换矩阵;最后通过变换矩阵实现配准。
由于原始图像采集后,轴承在图像中的位置存在差异,对图像配准造成影响,所以对原始图像中的轴承进行提取。原始图像中含有的噪声,采用中值滤波,高斯平滑处理,消除噪声。
轴承区域图像的提取,首先利用形态学轮廓跟踪方法提取出最外圆的轮廓,然后通过Hough变换拟合方法,确定轴承的圆心(x,y)和半径r,根据轴承型号参数中的防尘盖所占半径比例,分离出防尘盖圆环,并截取出防尘盖区域。
特征点检测可分为3步,尺度空间极值点的检测、关键点的精确定位、关键点方向的分配.
通过特征点匹配通过特征向量集进行查找,得出最小错误概率p下的相应的变换矩阵M,用变换矩阵去筛选特征点,将不满足变换模型的误匹配点剔除。
根据变换矩阵进行变换形成与模板图像相匹配图像I′2(x′,y′),计算公式:
因为待检测图像I2(x,y)与模板图像I1(x,y)只存在旋转角度的差异,所以通过变换矩阵变换后的匹配图像I′2(x′,y′)与模板图像I1(x,y)不存在旋转角度的差异。
最后用误差平方和函数(SSD)与归一化自相关函数(SAD)对匹配图像I′2(x′,y′)与模板图像I1(x,y)进行相似度的衡量
通过设定误差阈值判定是否存在瑕疵,本文通过实验设定SSD<=100则判定为不含有瑕疵,同时NCC>=0.999则判定为不含有瑕疵,具有良好的检测效果。
【附图说明】
结合参考附图及接下来的详细描述,本发明将更容易理解,其中同样的附图标记对应同样的结构部件,其中:
图1基于特征点轴承瑕疵检测方法流程图;图2分别预处理阶段中轴承防尘盖提取前和提取后的结果,图1(a)原始图像,图1(b)为预处理之后的图像;图3为基于特征点的图像配准示意图。
【具体实施方式】
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明的目的在于提供一种基于特征点的轴承瑕疵检测方法。图1示出了本发明中的特征点检测瑕疵方法流程,请参考图1,所述方法首先模板图像与待检测图像分别进行特征点进行提取,然后对特征点进行描述,对特征点描述的集合采用最近邻算法快速近邻匹配,最后通过随机抽样一致算法消除错误的匹配点并计算出变换矩阵,通过变换矩阵实现图像的匹配,匹配完成后,对匹配结果进行评价。
图1中步骤S1图像预处理,首先利用形态学轮廓跟踪方法提取出最外圆的轮廓,然后通过Hough变换拟合方法,确定轴承的圆心(x,y)和半径r,根据轴承型号参数中的防尘盖所占半径比例,分离出防尘盖圆环,并截取出防尘盖区域。如图2所示,分别预处理阶段中轴承防尘盖提取前和提取后的结果。
步骤S2对预处理后图像特征点提取其步骤如下:
①高斯核是唯一可以产生多尺度空间的核,一个图像的尺度空间,L(x,y,δ),定义为原始图像I(x,y)与一个可变尺度的2维高斯函数G(x,y,δ)卷积运算:
L(x,y,σ)=G(x,y,σ)*I(x,y)
尺度规范化的拉普拉斯高斯算子(Laplacion Of Gaussian,简称LOG)算子具有真正的尺度不变性,使用高斯差分(DOG)算子近似尺度归一化的拉普拉斯高斯(LOG)算子
D(x,y,δ)=L(x,y,δ)-L(x,y,δ)
关键点是由DOG空间的局部极值点组成的。为寻找DOG函数的极值点,每一个像素点要和它所有的相邻点比较,看其是否比它的图像域和尺度域的相邻点大或者小。中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较,以确保在尺度空间和二维图像空间都检测到极值点。
②关键点的精确定位.为提高匹配的稳定性,通过对尺度空间DOG函数进行曲线拟合确定关键点的位置和尺度,设定阈值去除对比度低的关键点.由于DOG算子会产生较强的边缘响应,可通过利用Hessian矩阵计算特征点主曲率,设定阈值的方法,去除不稳定的边缘响应点.
③关键点方向的分配.通过关键点邻域像素梯度来为极值点赋予方向,采用梯度直方图进行统计,极值点周围区域梯度直方图的主峰值也是特征点方向,作为该关键点的方向,当存在另一个相当于主峰值80%能量的峰值时,则将这个方向认为是该关键点的辅方向.至此,特征点检测完毕,每一个特征点都包含位置、尺度和方向三方面信息.
步骤S3对特征点建立描述子如下:
特征点描述通过对关键点所在尺度确定描述子所需图像区域,计算区域内的梯度幅值和方向,在窗口中取(4×4)像素的区域形成一个种子点,共4×4个种子点,在每个种子点区域内分别计算8个方向的梯度累加值,绘制梯度方向的方向直方图.最终获得一个4×4×8=128维的特征描述向量.描述子向量元素在方向直方图每个方向上梯度幅值限制在一定门限以下,然后进行描述子向量规范化,关键点描述子向量的规范化正是可去除满足此模型的光照影响。由于图像各点的梯度是邻域像素相减得到,所以能去除由于图像灰度值整体漂移。
步骤S4 BBF特征点匹配:由128维特征向量构成的特征点描述子,通过最近邻算法在128维向量中进行查找,最近邻算法是一种改进的k-d树最近邻查询算法。最近邻算法有效地找到最近邻搜索问题的高维空间的近似解。
步骤S5随机抽样一致算法在SIFT特征筛选中的主要流程是:
(1)将模板图像特征点与待检测图像中相匹配的点集合看成一个样本集,从样本集中随机抽选一个RANSAC样本,即4个匹配点对。
(2)根据这4个匹配点对构造变换矩阵M。
(3)根据样本集,变换矩阵M,和误差度量函数计算满足当前变换矩阵的一致集(consensus),并返回一致集中元素个数。
(4)根据当前一致集中元素个数判断是否最优(最大)一致集,若是则更新当前最优一致集。
(5)更新当前错误概率p,若p大于允许的最小错误概率则重复(1)至(4)继续迭代,直到当前错误概率p小于最小错误概率。
最后通过最小错误概率p得出相应的变换矩阵M,用变换矩阵去筛选特征点,将不满足变换模型的误匹配点剔除。
最后用误差平方和函数(SSD)与归一化自相关函数(SAD)对匹配图像I′2(x′,y′)与模板图像I1(x,y)进行相似度的衡量
通过设定误差阈值判定是否存在瑕疵,本文通过实验设定SSD<=100则判定为不含有瑕疵,同时NCC>=0.999则判定为不含有瑕疵,具有良好的检测效果。
上述说明已经充分揭露了本发明的具体实施方式。需要指出的是,熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地,本发明的权利要求的范围也并不仅仅局限于所述具体实施方式。
Claims (5)
1.一种通过图像特征点的信息,进行轴承表面瑕疵检测的方法,所述方法包括:
对待检测图像进行预处理,通过Hough变换拟合方法和轴承防尘盖占轴承内外圆半径的比例,分割防尘盖图像,通过中值滤波阈值分割预处理圆环图像;
基于预处理后的待检测图像提取特征点,建立特征点描述子;
基于最近邻算法进行查找,使用汉明距离进行匹配筛选出更合适的匹配结果,并通过随机抽样一致算法消除误匹配点计算出变换矩阵。
通过变换矩阵,变换检测图像,并与模板图像匹配比较,最终检测出瑕疵。
2.根据权利要求1所述的对待检测图像进行预处理,通过圆形提取方法轴承防尘盖占轴承内外圆大小的比例,分割防尘盖图像,通过滤波方法阈值分割预处理圆环图像:
利用Hough变换拟合方法进行轴承圆心的定位以及外圆大小的计算。根据轴承的型号参数等先验知识能够得知防尘盖区域的内外大小占轴承外圆的比例,据此分离出以轴承圆心为中心的防尘盖圆环;采用自适应中值滤波滤除噪声,消除毛刺,并最大程度的保留图像边缘细节;利用最大类间方差法(Ostu)阈值分割圆环图像。
3.根据权利要求1预处理后的待检测图像提取特征点,建立特征点描述子,其中特征点提取为:
一个图像的尺度空间,L(x,y,δ),定义为原始图像I(x,y)与一个可变尺度的2维高斯函数G(x,y,δ)卷积运算:
L(x,y,σ)=G(x,y,σ)*I(x,y)
为了简化运算,使用高斯差分算子近似尺度归一化的拉普拉斯高斯算子
D(x,y,δ)=L(x,y,δ)-L(x,y,δ)
关键点是由DOG空间的局部极值点组成的。
4.根据权利要求3预处理后的待检测图像提取特征点,建立特征点描述子,其中描述子为:
特征点描述通过对关键点所在尺度确定描述子所需图像区域,计算区域内的梯度幅值和方向,在窗口中取(4×4)像素的区域形成一个种子点,共4×4个种子点,在每个种子点区域内分别计算8个方向的梯度累加值,绘制梯度方向的方向直方图.最终获得一个4×4×8=128维的特征描述向量。
5.根据权利要求1所述,通过变换矩阵,变换检测图像,并与模板图像匹配比较:
根据匹配的特征点集合用随机抽样一致算法求解模板图像与检测图像之间的变换矩阵M,设模板图像为I1(x,y),待检测图像为I2(x,y),I2(x,y)通过变换矩阵进行变换形成与模板图像相匹配图像I′2(x′,y′),计算公式:
为了消除待检测图像I2(x,y)与模板图像I1(x,y)存在旋转角度的差异,通过变换矩阵变换后的匹配图像I′2(x′,y′)与模板图像I1(x,y)不存在旋转角度的差异,完成了图像的匹配,通过对两幅图像的融合检测出瑕疵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510134147.4A CN104680550A (zh) | 2015-03-24 | 2015-03-24 | 一种通过图像特征点的轴承表面瑕疵检测的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510134147.4A CN104680550A (zh) | 2015-03-24 | 2015-03-24 | 一种通过图像特征点的轴承表面瑕疵检测的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104680550A true CN104680550A (zh) | 2015-06-03 |
Family
ID=53315543
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510134147.4A Pending CN104680550A (zh) | 2015-03-24 | 2015-03-24 | 一种通过图像特征点的轴承表面瑕疵检测的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104680550A (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106096490A (zh) * | 2016-02-02 | 2016-11-09 | 天津大学 | 一种带有文本行的柱面图像的定位方法 |
CN106408555A (zh) * | 2015-12-27 | 2017-02-15 | 华南理工大学 | 一种基于图像视觉的轴承表面瑕疵检测方法 |
CN107665350A (zh) * | 2016-07-29 | 2018-02-06 | 广州康昕瑞基因健康科技有限公司 | 图像识别方法及系统和自动聚焦控制方法及系统 |
CN107967471A (zh) * | 2017-09-20 | 2018-04-27 | 北京工业大学 | 一种基于机器视觉的表具自动识别方法 |
WO2018184255A1 (zh) * | 2017-04-06 | 2018-10-11 | 华为技术有限公司 | 图像校正的方法和装置 |
CN108765476A (zh) * | 2018-06-05 | 2018-11-06 | 安徽大学 | 一种偏振图像配准方法 |
CN110738082A (zh) * | 2018-07-20 | 2020-01-31 | 北京陌陌信息技术有限公司 | 人脸关键点的定位方法、装置、设备及介质 |
CN111609812A (zh) * | 2020-05-21 | 2020-09-01 | 荆州华力机械有限公司 | 用于检测转向器输入轴弯曲的检测系统 |
CN111709434A (zh) * | 2020-06-28 | 2020-09-25 | 哈尔滨工业大学 | 一种鲁棒的基于最近邻特征点匹配的多尺度模板匹配方法 |
CN111760292A (zh) * | 2020-07-07 | 2020-10-13 | 网易(杭州)网络有限公司 | 采样数据的检测方法、装置及电子设备 |
CN113689403A (zh) * | 2021-08-24 | 2021-11-23 | 中国科学院长春光学精密机械与物理研究所 | 基于特征间方位距的特征描述系统 |
CN113792728A (zh) * | 2021-08-06 | 2021-12-14 | 南宁学院 | 高精度视觉定位方法 |
CN113870454A (zh) * | 2021-09-29 | 2021-12-31 | 平安银行股份有限公司 | 基于人脸识别的考勤方法、装置、电子设备及存储介质 |
CN118372259A (zh) * | 2024-06-21 | 2024-07-23 | 深圳市亚博智能科技有限公司 | 一种基于视觉定位的机械臂智能控制方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100691855B1 (ko) * | 2005-12-29 | 2007-03-12 | 고려대학교 산학협력단 | 영상정보의 특징 추출장치 및 그 방법 |
CN101777129A (zh) * | 2009-11-25 | 2010-07-14 | 中国科学院自动化研究所 | 一种基于特征检测的图像匹配方法 |
CN102722731A (zh) * | 2012-05-28 | 2012-10-10 | 南京航空航天大学 | 一种基于改进sift算法的高效图像匹配方法 |
CN102749047A (zh) * | 2012-06-21 | 2012-10-24 | 郑州辰维科技股份有限公司 | 一种轧辊轴承座尺寸测量方法 |
CN104123542A (zh) * | 2014-07-18 | 2014-10-29 | 大连理工大学 | 一种轮毂工件定位的装置及其方法 |
-
2015
- 2015-03-24 CN CN201510134147.4A patent/CN104680550A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100691855B1 (ko) * | 2005-12-29 | 2007-03-12 | 고려대학교 산학협력단 | 영상정보의 특징 추출장치 및 그 방법 |
CN101777129A (zh) * | 2009-11-25 | 2010-07-14 | 中国科学院自动化研究所 | 一种基于特征检测的图像匹配方法 |
CN102722731A (zh) * | 2012-05-28 | 2012-10-10 | 南京航空航天大学 | 一种基于改进sift算法的高效图像匹配方法 |
CN102749047A (zh) * | 2012-06-21 | 2012-10-24 | 郑州辰维科技股份有限公司 | 一种轧辊轴承座尺寸测量方法 |
CN104123542A (zh) * | 2014-07-18 | 2014-10-29 | 大连理工大学 | 一种轮毂工件定位的装置及其方法 |
Non-Patent Citations (2)
Title |
---|
柴先涛 等: "基于特征点提取的轴承瑕疵工业在线检测", 《济南大学学报(自然科学版)》 * |
赵烨 等: "基于RANSAC的SIFT匹配优化", 《光电工程》 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106408555A (zh) * | 2015-12-27 | 2017-02-15 | 华南理工大学 | 一种基于图像视觉的轴承表面瑕疵检测方法 |
CN106096490A (zh) * | 2016-02-02 | 2016-11-09 | 天津大学 | 一种带有文本行的柱面图像的定位方法 |
CN106096490B (zh) * | 2016-02-02 | 2021-05-14 | 天津大学 | 一种带有文本行的柱面图像的定位方法 |
CN107665350A (zh) * | 2016-07-29 | 2018-02-06 | 广州康昕瑞基因健康科技有限公司 | 图像识别方法及系统和自动聚焦控制方法及系统 |
WO2018184255A1 (zh) * | 2017-04-06 | 2018-10-11 | 华为技术有限公司 | 图像校正的方法和装置 |
CN107967471A (zh) * | 2017-09-20 | 2018-04-27 | 北京工业大学 | 一种基于机器视觉的表具自动识别方法 |
CN108765476B (zh) * | 2018-06-05 | 2021-04-20 | 安徽大学 | 一种偏振图像配准方法 |
CN108765476A (zh) * | 2018-06-05 | 2018-11-06 | 安徽大学 | 一种偏振图像配准方法 |
CN110738082B (zh) * | 2018-07-20 | 2023-01-24 | 北京陌陌信息技术有限公司 | 人脸关键点的定位方法、装置、设备及介质 |
CN110738082A (zh) * | 2018-07-20 | 2020-01-31 | 北京陌陌信息技术有限公司 | 人脸关键点的定位方法、装置、设备及介质 |
CN111609812B (zh) * | 2020-05-21 | 2021-11-02 | 荆州华力机械有限公司 | 用于检测转向器输入轴弯曲的检测系统 |
CN111609812A (zh) * | 2020-05-21 | 2020-09-01 | 荆州华力机械有限公司 | 用于检测转向器输入轴弯曲的检测系统 |
CN111709434B (zh) * | 2020-06-28 | 2022-10-04 | 哈尔滨工业大学 | 一种鲁棒的基于最近邻特征点匹配的多尺度模板匹配方法 |
CN111709434A (zh) * | 2020-06-28 | 2020-09-25 | 哈尔滨工业大学 | 一种鲁棒的基于最近邻特征点匹配的多尺度模板匹配方法 |
CN111760292A (zh) * | 2020-07-07 | 2020-10-13 | 网易(杭州)网络有限公司 | 采样数据的检测方法、装置及电子设备 |
CN113792728A (zh) * | 2021-08-06 | 2021-12-14 | 南宁学院 | 高精度视觉定位方法 |
CN113689403A (zh) * | 2021-08-24 | 2021-11-23 | 中国科学院长春光学精密机械与物理研究所 | 基于特征间方位距的特征描述系统 |
CN113689403B (zh) * | 2021-08-24 | 2023-09-19 | 中国科学院长春光学精密机械与物理研究所 | 基于特征间方位距的特征描述系统 |
CN113870454A (zh) * | 2021-09-29 | 2021-12-31 | 平安银行股份有限公司 | 基于人脸识别的考勤方法、装置、电子设备及存储介质 |
CN118372259A (zh) * | 2024-06-21 | 2024-07-23 | 深圳市亚博智能科技有限公司 | 一种基于视觉定位的机械臂智能控制方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104680550A (zh) | 一种通过图像特征点的轴承表面瑕疵检测的方法 | |
CN111292305B (zh) | 一种改进型yolo-v3的金属加工表面缺陷检测方法 | |
CN102693409B (zh) | 一种快速的图像中二维码码制类型识别方法 | |
CN107748877B (zh) | 一种基于细节点和纹理特征的指纹图像识别方法 | |
CN102879401B (zh) | 基于模式识别和图像处理的纺织品瑕疵自动检测及分类方法 | |
CN102937595B (zh) | 一种pcb板检测方法、装置及系统 | |
WO2018107939A1 (zh) | 一种基于边缘完备度的图像分割最优识别方法 | |
CN105894036A (zh) | 一种应用于手机屏幕缺陷检测的图像特征模板匹配方法 | |
CN105160654A (zh) | 基于特征点提取的毛巾标签缺陷检测方法 | |
CN104751187A (zh) | 抄表图像自动识别方法 | |
CN107016394B (zh) | 一种交叉纤维特征点匹配方法 | |
CN102750531B (zh) | 用于票据文档定位格的手写体标记符号检测方法 | |
CN107066914A (zh) | 一种复杂背景下的二维条码图像定位方法及系统 | |
CN111353472B (zh) | 一种基于LBP和Gabor方向韦伯局部描述子的指静脉识别方法 | |
CN105005565A (zh) | 现场鞋底痕迹花纹图像检索方法 | |
Bellon et al. | Edge detection to guide range image segmentation by clustering techniques | |
Ma et al. | Fast surface defect detection using improved Gabor filters | |
CN103854278A (zh) | 基于连通区域质心形状上下文的印刷电路板图像配准方法 | |
Zhu et al. | A robust stamp detection framework on degraded documents | |
CN107330434A (zh) | 一种基于phog特征的电路图中电气符号识别方法 | |
CN105139012A (zh) | 基于图像预处理的外观专利检索系统 | |
CN102313740B (zh) | 太阳能电池板裂痕检测方法 | |
CN117197700A (zh) | 智能化无人巡检接触网缺陷识别系统 | |
CN102279925B (zh) | 链式处理人脸识别方法及系统 | |
Peng et al. | Automatic Crack Detection by Multi-Seeding Fusion on 1mm Resolution 3D Pavement Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150603 |