CN114972350A - 模具异常检测方法、装置、设备及存储介质 - Google Patents
模具异常检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114972350A CN114972350A CN202210913637.4A CN202210913637A CN114972350A CN 114972350 A CN114972350 A CN 114972350A CN 202210913637 A CN202210913637 A CN 202210913637A CN 114972350 A CN114972350 A CN 114972350A
- Authority
- CN
- China
- Prior art keywords
- mold
- current
- image
- preset
- current cavity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及冲压工程技术领域,尤其涉及一种模具异常检测方法、装置、设备及存储介质,该方法包括:在检测到振动信号时,获取待测模具的当前包络曲线;通过预设机理模型在检测到当前包络曲线偏离标准包络曲线时,获取待测模具的当前型腔图像;判断当前型腔图像与预设型腔图像之间的相似度是否超过预设阈值;若否,则判定待测模具存在异常。由于本发明先将待测模具的当前包络曲线与标准包络曲线进行比较,在当前包络曲线偏离标准包络曲线时,再将当前型腔图像与预设型腔图像进行比较,进一步确认待测模具是否存在异常,相比于现有的工作人员通过肉眼进行判断,提高了检测模具的精度。
Description
技术领域
本发明涉及冲压工程技术领域,尤其涉及一种模具异常检测方法、装置、设备及存储介质。
背景技术
目前,在冲压加工生产过程中,需在每一次冲压后对模具进行检测,判断模具表面是否存在缺陷或损坏,以免后续生产出的产品不合格。
但在现有技术中,一般都是通过工作人员肉眼直接观察模具表面是否存在缺陷或损坏,当工作人员出现误判时,容易导致已经出现损坏的模具依然在继续进行生产,浪费原材料的同时生产效率被拉低,进而如何精确检测模具表面是否存在异常,是一个亟待解决的问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种模具异常检测方法、装置、设备及存储介质,旨在解决现有技术中检测模具的精确度较低的技术问题。
为实现上述目的,本发明提供了一种模具异常检测方法,所述方法包括以下步骤:
在检测到振动信号时,获取待测模具的当前包络曲线;
通过预设机理模型在检测到所述当前包络曲线偏离标准包络曲线时,获取所述待测模具的当前型腔图像;
判断所述当前型腔图像与预设型腔图像之间的相似度是否超过预设阈值;
若否,则判定所述待测模具存在异常。
可选地,所述判断所述当前型腔图像与预设型腔图像之间的相似度是否超过预设阈值的步骤之前,还包括:
对所述当前型腔图像进行预处理,获得预处理后的当前型腔图像;
提取所述预处理后的当前型腔图像的感兴趣区域,得到提取后的当前型腔图像;
相应的,所述判断所述当前型腔图像与预设型腔图像之间的相似度是否超过预设阈值的步骤,包括:
判断所述提取后的当前型腔图像与预设型腔图像之间的相似度是否超过预设阈值。
可选地,所述判断所述提取后的当前型腔图像与预设型腔图像之间的相似度是否超过预设阈值的步骤之前,还包括:
将所述提取后的当前型腔图像进行分割,获得当前型腔子图像;
基于灰度比较所述当前型腔子图像与所述预设型腔图像之间的相似性,获得各当前型腔子图像对应的相关系数;
从各所述当前型腔子图像对应的相关系数中选取最大相关系数,并将所述最大相关系数作为所述提取后的当前型腔图像与预设型腔图像之间的相似度。
可选地,所述在检测到振动信号时,获取待测模具的当前包络曲线的步骤之前,还包括:
在检测到冲压机的角度信号时,采集标准模具冲压过程中的标准振动频率,并将所述标准振动频率转换成标准电压信号;
根据所述标准电压信号生成正常包络曲线;
基于所述正常包络曲线对初始机理模型进行训练,并在训练结果满足预设条件时,将训练后的机理模型作为预设机理模型。
可选地,所述若否,则判定所述待测模具存在异常的步骤之后,还包括:
提取所述当前型腔子图像的背部纹理特征;
基于所述背部纹理特征判断所述当前型腔子图像的缺陷形状;
根据所述缺陷形状对所述当前型腔子图像进行缺陷分类,获得所述当前型腔子图像的缺陷类型结果。
可选地,所述若否,则判定所述待测模具存在异常的步骤之后,还包括:
对所述当前型腔子图像分割,获得分割子图像;
判断各所述分割子图像中是否存在缺陷;
若是,则对存在缺陷的分割子图像进行标记;
根据标记结果对所述当前型腔子图像进行缺陷定位,获得所述当前型腔子图像的缺陷定位结果。
可选地,所述若否,则判定所述待测模具存在异常的步骤之后,还包括:
控制自动夹模器松开待测模具,并通过上升后的举模器将所述待测模具从冲压位置移动至移模臂上;
控制起吊装置对所述待测模具进行更换,并将更换后的待测模具放置于所述移模臂上;
通过所述上升后的举模器将所述更换后的待测模具从所述移模臂上移动至所述冲压位置;
控制所述自动夹模器夹紧所述待测模具以完成模具更换。
此外,为实现上述目的,本发明还提出一种模具异常检测装置,所述装置包括:
信号检测模块,用于在检测到振动信号时,获取待测模具的当前包络曲线;
图像获取模块,用于通过预设机理模型在检测到所述当前包络曲线偏离标准包络曲线时,获取所述待测模具的当前型腔图像;
图像判断模块,用于判断所述当前型腔图像与预设型腔图像之间的相似度是否超过预设阈值;
异常判定模块,用于若否,则判定所述待测模具存在异常。
此外,为实现上述目的,本发明还提出一种模具异常检测设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的模具异常检测程序,所述模具异常检测程序配置为实现如上文所述的模具异常检测方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有模具异常检测程序,所述模具异常检测程序被处理器执行时实现如上文所述的模具异常检测方法的步骤。
在本发明通过在检测到振动信号时,获取待测模具的当前包络曲线;通过预设机理模型在检测到所述当前包络曲线偏离标准包络曲线时,获取所述待测模具的当前型腔图像;判断所述当前型腔图像与预设型腔图像之间的相似度是否超过预设阈值;若否,则判定所述待测模具存在异常。由于本发明先将待测模具的当前包络曲线与标准包络曲线进行比较,在当前包络曲线偏离标准包络曲线时,再将当前型腔图像与预设型腔图像进行比较,进一步确认待测模具是否存在异常,相比于现有的工作人员通过肉眼进行判断,提高了检测模具的精度。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的模具异常检测设备结构示意图;
图2为本发明模具异常检测方法第一实施例的流程示意图;
图3为本发明模具异常检测方法第二实施例的流程示意图;
图4为本发明模具异常检测方法第三实施例的流程示意图;
图5为本发明模具异常检测装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的模具异常检测设备结构示意图。
如图1所示,该模具异常检测设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM),也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对模具异常检测设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及模具异常检测程序。
在图1所示的模具异常检测设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明模具异常检测设备中的处理器1001、存储器1005可以设置在模具异常检测设备中,所述模具异常检测设备通过处理器1001调用存储器1005中存储的模具异常检测程序,并执行本发明实施例提供的模具异常检测方法。
本发明实施例提供了一种模具异常检测方法,参考图2,图2为本发明模具异常检测方法第一实施例的流程示意图。
本实施例中,所述模具异常检测方法包括以下步骤:
步骤S10:在检测到振动信号时,获取待测模具的当前包络曲线;
需要说明的是,本实施例方法可以是应用在对模具表面进行异常检测的场景中,或者其它需要进行异常检测的场景中。本实施例的执行主体可以是具有数据处理、网络通信以及程序运行功能的模具异常检测设备,例如电脑,模具监视器等,或者是其它能够实现如同或相似功能的设备。此处以上述模具异常检测设备(以下简称设备)对本实施例和下述各实施例进行具体说明。
可理解的是,上述待测模具可以是固定在上述设备上的,用冲压工程的模具,在待测模具的下模表面可安装有高精度传感器,上述高精度传感器在设备进行冲压时可产生振动信号。
需要强调的是,上述高精度传感器与上述设备之间的连接方式可以是有线连接,也可以是无线连接,在本实施例中,为了便于后续待测模具的更换,本实施例中的高精度传感器与设备之间采用无线连接的方式进行连接。
应理解的是,上述当前包络曲线可以是反应上述设备在冲压过程中振动频率幅度变化的曲线,上述当前包络曲线可以是上述振动信号的峰值点连线。
在具体实现中,设备在进行冲压时,通过上述高精度传感器可获得待测模具的振动频率,也即上述的振动信号,根据振动信号的峰值点连线获得待测模具的当前包络曲线。
步骤S20:通过预设机理模型在检测到所述当前包络曲线偏离标准包络曲线时,获取所述待测模具的当前型腔图像;
需要说明的是,上述预设机理模型可以是用于检测当前包络曲线的模型,上述预设机理模型可保存在上述设备内部。
可理解的是,上述预设机理模型内部保存有标准包络曲线,上述标准包络曲线可以是上述待测模具在未存在任何异常时,通过上述高精度传感器采集到的振动信号生成的包络曲线。
需要强调的是,在上述当前型腔图像可以是待测模具的表面图像,本实施例中上述设备上安装有两个用于采集待测模具图像的摄像头,采用两个摄像头是为了防止存在视觉盲区,进一步提高检测精度,当然还可以采用更多数量的摄像头,本实施例对此不加以限制,在上述两个摄像头分别获取待测模具的当前型腔图像后,进行整合,形成一个完整的上述待测模具的当前型腔图像。
应理解的是,当待测模具存在异常时,高精度传感器检测到的振动信号与未存在异常时的振动信号不一致,进而导致待测模具存在异常时生成的当前包络曲线与未存在异常时的标准包络曲线也不一致。
在具体实现中,上述设备通过预设机理模型对当前包络曲线进行检测,当检测到当前包络曲线偏离标准包络曲线时,上述设备会通过摄像头获取待测模具的当前型腔图像。
进一步的,为了获得更加标准的预设机理模型,上述步骤S10之前,还包括:
在检测到冲压机的角度信号时,采集标准模具冲压过程中的标准振动频率,并将所述标准振动频率转换成标准电压信号;
需要说明的是,上述角度信号可以是冲压机在冲压过程中电机转动的信号,在冲压机开始冲压时,电机开始转动产生角度信号,上述设备可以检测到冲压机的角度信号,同时可以减少数据冗余。
可理解的是,上述标准模具可以是未存在异常的模具,上述标准振动频率可以是上述标准模具在冲压过程中通过高精度传感器采集到的振动频率。
在具体实现中,上述设备在检测到冲压机的角度信号时,通过高精度传感器采集上述标准模具在冲压过程中的标准振动频率,并将标准振动频率转换成电压形式,获得标准电压信号。
根据所述标准电压信号生成正常包络曲线;
需要说明的是,上述正常包络曲线可以是上述标准模具在冲压过程中振动频率幅度变化的曲线。
在具体实现中,上述设备会根据上述标准电压信号生成正常包络曲线。
基于所述正常包络曲线对初始机理模型进行训练,并在训练结果满足预设条件时,将训练后的机理模型作为预设机理模型。
需要说明的是,上述设备内部可存储有初始机理模型,设备可通过正常包络曲线对初始机理模型进行训练。
可理解的是,上述设备将上述正常包络曲线作为训练集,在对初始机理模型进行训练时,会不断调整内部的权重参数,上述预设条件可以是初始机理模型内部的权重参数达到预设参数,或者是其它能够实现本实施例中对当前包络曲线进行检测的条件,工作人员可根据实际情况自行设置。
在具体实现中,设备会基于正常包络曲线对内部的初始机理模型进行训练,不断调整内部权重参数,在权重参数达到预设参数时,表示训练结果满足预设条件,设备将训练后的机理模型作为预设机理模型。
步骤S30:判断所述当前型腔图像与预设型腔图像之间的相似度是否超过预设阈值;
需要说明的是,上述预设型腔图像可以是上述标准模具的表面图像,上述相似度可以是当前型腔图像与预设型腔图像之间的相关系数。
可理解的是,上述预设阈值可根据实际情况自行设置。
在具体实现中,上述设备会判断当前型腔图像与预设型腔图像之间的相关系数是否超过预设阈值。
步骤S40:若否,则判定所述待测模具存在异常。
需要说明的是,在上述设备判定待测模具存在异常时,会控制冲压机停止工作,发出提示信号,可以是指示灯提示,语音提示等,同时会将存在异常的待测模具的当前型腔图像显示在显示屏上。
本实施例是设备在进行冲压时,通过上述高精度传感器可获得待测模具的振动频率,也即上述的振动信号,根据振动信号的峰值点连线获得待测模具的当前包络曲线;同时上述设备在检测到冲压机的角度信号时,通过高精度传感器采集上述标准模具在冲压过程中的标准振动频率,并将标准振动频率转换成电压形式,获得标准电压信号;上述设备会根据上述标准电压信号生成正常包络曲线;设备会基于正常包络曲线对内部的初始机理模型进行训练,不断调整内部权重参数,在权重参数达到预设参数时,表示训练结果满足预设条件,设备将训练后的机理模型作为预设机理模型;上述设备通过预设机理模型对当前包络曲线进行检测,当检测到当前包络曲线偏离标准包络曲线时,上述设备会通过摄像头获取待测模具的当前型腔图像;上述设备会判断当前型腔图像与预设型腔图像之间的相关系数是否超过预设阈值;若否,则判定待测模具的表面存在异常。由于本实施例是先通过预设机理模型判断当前包络曲线是否偏离标准包络曲线,在偏离时,获取当前型腔图像,并判断当前型腔图像与预设型腔图像之间的相关系数是否大于预设阈值,若否则判定当前模具表面存在异常,一方面能够通过预设机理模型进行准确检测,另一方面能够通过预设型腔图像进行进一步判断,提身检测精度。
参考图3,图3为本发明模具异常检测方法第二实施例的流程示意图。
如图3所示,为了能提升相似度判断结果的准确度,进一步的,基于上述第一实施例的上述步骤S30之前,还包括:
步骤S301:对所述当前型腔图像进行预处理,获得预处理后的当前型腔图像;
需要说明的是,由于在连续冲压过程中,机器的震动、噪声干扰等影响因素会对上述摄像头的采集过程造成干扰,因此需对上述待测模具的当前型腔图像进行预处理。
可理解的是,上述预处理可以是均值滤波,中值滤波等,或者是其它能去除干扰的处理方式。
在具体实现中,上述设备会对采集到的当前型腔图像进行预处理,获得预处理后的当前型腔图像。
步骤S302:提取所述预处理后的当前型腔图像的感兴趣区域,得到提取后的当前型腔图像;
需要说明的是,上述感兴趣区域可以是上述当前型腔图像中的待测区域,可根据工作人员手动划分获得,将不需要检测的区域去除,保留待测区域,进而减少后续工作量。
在具体实现中,上述设备会提取预处理后的当前型腔图像的感兴趣区域,获得提取后的当前型腔图像。
相应的,上述步骤S30,包括:
步骤S303:判断所述提取后的当前型腔图像与预设型腔图像之间的相似度是否超过预设阈值。
需要说明的是,上述预设阈值可以用于划分异常模型与非异常模型之间的标准数值,可以根据实际情况自行设置。
进一步的,上述步骤S303之前,还包括:
将所述提取后的当前型腔图像进行分割,获得当前型腔子图像;
需要说明的是,上述对当前型腔图像进行分割可以是分割成预设大小的正方形图像,例如当前型腔图像为100×100的像素,可以将当前型腔图像分割成10×10大小的若干个当前型腔子图像,具体过程可以是例如从当前型腔图像左下角坐标(0,0)开始,分割(0,0)至(10,10)的当前型腔子图像a1,(0,1)至(10,11)的当前型腔子图像a2,依次分割至(0,90)至(10,100),同时分割(1,0)至(11,10)的当前型腔子图像b1,依次分割至(90,0)至(100,10),基于上述分割从当前型腔图像的左下角分割至右上角,获得各当前型腔子图像。
基于灰度比较所述当前型腔子图像与所述预设型腔图像之间的相似性,获得各当前型腔子图像对应的相关系数;
需要说明的是,将当前型腔子图像和预设型腔图像对应位置的图像分别进行灰度处理,基于灰度信息的配准方法,将当前型腔子图像的图像像素灰度值的概率分布图与预设型腔图像的像素灰度值的概率分布图进行归一化处理,计算上述两个图像的归一化相关系数,即可得到相似度。
从各所述当前型腔子图像对应的相关系数中选取最大相关系数,并将所述最大相关系数作为所述提取后的当前型腔图像与预设型腔图像之间的相似度。
需要说明的是,从上述各当前型腔子图像的相关系数中,选取最大值作为提取后的当前型腔图像与预设型腔图像之间的相似度。
在具体实现中,上述设备先将提取后的当前型腔子图像根据一定的规格进行分割,获得当前型腔子图像;将各当前型腔子图像进行灰度处理,与预设型腔图像对应位置进行归一化处理,获得对应的相关系数;从各相关系数中选取最大系数作为提取后的当前型腔图像与预设型腔图像之间的相似度,并判断该相似度是否超过预设阈值。
在本实施例中,上述设备会对采集到的当前型腔图像进行预处理,获得预处理后的当前型腔图像;上述设备会提取预处理后的当前型腔图像的感兴趣区域,获得提取后的当前型腔图像;上述设备先将提取后的当前型腔子图像根据一定的规格进行分割,获得当前型腔子图像;将各当前型腔子图像进行灰度处理,与预设型腔图像对应位置进行归一化处理,获得对应的相关系数;从各相关系数中选取最大系数作为提取后的当前型腔图像与预设型腔图像之间的相似度,并判断该相似度是否超过预设阈值。由于本实施例对当前型腔图像进行预处理,可以减少干扰,提取预处理后的当前型腔图像的感兴趣区域,可以减少运算量,提升效率,同时通过计算当前型腔子图像的相关系数,在从中选取最大值作为相似度,可以提升检测精度。
参考图4,图4为本发明模具异常检测方法第三实施例的流程示意图。
如图4所示,为了能够获得待测模具的异常原因以及异常位置,便于工作人员查看,本实施例基于上述各实施例,进一步的,上述步骤S40之后,还包括:
步骤S411:提取所述当前型腔子图像的背部纹理特征;
需要说明的是,上述背部纹理特征可以是当前型腔子图像像素点灰度级或颜色的某种变化,能反应出纹理基元和排列规则的特征。
可理解的是,上述设备内部可存储有检测模型,上述检测模型可用于对当前型腔图像的异常进行分析,获得异常原因以及异常位置。
在具体实现中,上述设备通过检测模型将当前型腔子图像通过卷积层,池化层,全连接层进行特征提取,获得背部纹理特征。
步骤S412:基于所述背部纹理特征判断所述当前型腔子图像的缺陷形状;
需要说明的是,上述缺陷形状可以是划伤、裂纹、变形、断边、切角,针孔,或者其它缺陷形状,本实施例对比不加以限制,本实施例中以上述6类进行说明。
在具体实现中,上述设备可通过检测模型获得当前型腔子图像上的缺陷形状。
步骤S413:根据所述缺陷形状对所述当前型腔子图像进行缺陷分类,获得所述当前型腔子图像的缺陷类型结果。
需要说明的是,在检测模型进行缺陷分类之前,需先通过数据集对检测模型进行训练,数据集分为6类,分别是划伤、裂纹、变形、断边、切角、针孔,数据集的图像大小可以是512×512,为了减少检测模型的计算量,可将512×512的图像进行下采样至128×128大小的图像,通过包括旋转在内的线性变化提高其泛化性,并使用填充策略在其边界周围填充0获得输入图像。
可理解的是,下采样可以是通过执行滑动窗口的方法对上述512×512大小的图像进行采样,滑动窗口的尺寸为128×128,以64像素步长沿上述512×512大小的图像的行、列进行滑动,可以获得49个结果的小块作为输入。
应理解的是,上述输入图像经过检测模型的训练可输出6个神经元,分别代表上述6个类型,其主要结构为 C(32,3,3)-S(2,2,2)-C(64,3,3)-S(2,2,2)-C(128,3,3)-C(128,3,3)-S(2,2,2)-FC(1024)-FC(1024)-FC(6),其中C(n,3,3)表示卷积层,用n个分类器及(3,3)大小矩阵来卷积,S(2,2,2)表示用2×2来进行下采样,步长为2,FC(n)表示用n个神经元来进行全连接。
需要强调的是,在检测模型的池化层中采用的池化策略层是最大池化,对小失真的输入图像有较好的鲁棒性。
需要说明的是,在训练过程中,可从训练集中随机选取50个样本来更新权重参数,结合了动量和学习率衰减到随机梯度下降优化器和权重的更新规则在每次迭代中如下:
其中,i是迭代指数,w是权重超参数,μ是动量系数,v是当前速度量,lr是学习率,d是衰减参数学习率,∇g是梯度的平均值,在每次迭代时小批量考虑w,将μ和d分别设置为0.9和0.012,以观察更快的收敛速度和更少的训练错误,每一层的权重参数均根据满足N~(0,2/n)的截断随机正态分布进行初始化,其中n表示两个之间的连接层数,将每一层的偏差值初始化为0,同时引入了L2正则化,在损失函数中添加一个权重衰减项来惩罚训练时使用的较大权重,避免过拟合,正则化系数设置为5×10^-5。
在具体实现中,上述设备根据缺陷形状对当前型腔子图像进行缺陷分类,获得分类结果并显示。
进一步的,为了获得缺陷的具体位置,上述步骤S40之后,还包括:
对所述当前型腔子图像分割,获得分割子图像;
需要说明的是,对当前型腔子图像的分割方式可以是对512×512大小的图像进行分割,滑动窗口的尺寸为128×128,以64像素步长沿上述512×512大小的图像的行、列进行滑动,可以获得49个结果的小块作为分割子图像。
判断各所述分割子图像中是否存在缺陷;
需要说明的是,检测模型在进行缺陷定位时,结构可以是C(32,3,3)-S(2,2,2)-C(64,3,3)-S(2,2,2)-C(128,3,3)-C(128,3,3)-S(2,2,2)-FC(1024)-FC(1024)-FC(2),其中C(n,3,3)表示卷积层,用n个分类器及(3,3)大小矩阵来卷积,S(2,2,2)表示用2×2来进行下采样,步长为2,FC(n)表示用n个神经元来进行全连接。
在具体实现中,上述设备对当前型腔子图像进行分割,获得49个结果作为分割子图像,并通过检测模型判断分割子图像中是否存在缺陷。
若是,则对存在缺陷的分割子图像进行标记;
需要说明的是,上述标记方法可以是用于区分其它分割子图像的方法,本实施例对此不加以限制。
根据标记结果对所述当前型腔子图像进行缺陷定位,获得所述当前型腔子图像的缺陷定位结果。
需要说明的是,上述缺陷定位可以是上述分割子图像在当前型腔图像之中的对应位置。
可理解的是,上述缺陷定位结果可用方框的形式在当前型腔图像中标记,方框的大小可以是分割子图像的大小。
在具体实现中,若存在缺陷,则上述设备会对对应的分割子图像进行标记,并根据标记结果在当前型腔图像中显示对应的位置。
进一步的,为了便于更换待测模具,上述步骤S40之后,还包括:
控制自动夹模器松开待测模具,并通过上升后的举模器将所述待测模具从冲压位置移动至移模臂上;
需要说明的是,上述自动夹模器可以是用于固定待测模具的器械,采用自动夹模器可减少固定模具时间。
可理解的是,上述举模器可安装在冲压机工作台上,举模器内部设有传动轴,举模器上升后可通过传动轴传送待测模具,上述移模臂可以是安装在冲压机一侧,上述移模臂用于放置取出后的待测模具,同时可放置更换后的待测模具。
在具体实现中,上述设备控制自动夹模器松开待测模具,并通过上升举模器内部传动轴,将待测模具从冲压位置移动至移模臂上。
控制起吊装置对所述待测模具进行更换,并将更换后的待测模具放置于所述移模臂上;
通过所述上升后的举模器将所述更换后的待测模具从所述移模臂上移动至所述冲压位置;
控制所述自动夹模器夹紧所述待测模具以完成模具更换。
在具体实现中,上述设备控制自动夹模器松开待测模具,并通过上升举模器内部传动轴,将待测模具从冲压位置移动至移模臂上后,控制起吊装置将待测模具移开,并将更换后的待测模具放置在移模臂上,通过上升后的举模器将更换后的待测模具传送至冲压位置,最后通过自动夹模器夹紧,进而完成自动更换模具的过程,无需工作人员手动移动待测模具并固定更换后的待测模具,提升安全性。
本实施例上述设备通过检测模型将当前型腔子图像通过卷积层,池化层,全连接层进行特征提取,获得背部纹理特征;通过检测模型获得当前型腔子图像上的缺陷形状;根据缺陷形状对当前型腔子图像进行缺陷分类,获得分类结果并显示;进而能显示缺陷类型,有助于工作人员进一步判断。同时上述设备对当前型腔子图像进行分割,获得49个结果作为分割子图像,并通过检测模型判断分割子图像中是否存在缺陷;若存在缺陷,则上述设备会对对应的分割子图像进行标记,并根据标记结果在当前型腔图像中显示对应的位置;进而能显示缺陷位置,帮助工作人员快速找到缺陷位置,提升检测效率。还同时控制自动夹模器松开待测模具,并通过上升举模器内部传动轴,将待测模具从冲压位置移动至移模臂上后,控制起吊装置将待测模具移开,并将更换后的待测模具放置在移模臂上,通过上升后的举模器将更换后的待测模具传送至冲压位置,最后通过自动夹模器夹紧,进而完成自动更换模具的过程,无需工作人员手动移动待测模具并固定更换后的待测模具,提升安全性。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有模具异常检测程序,所述模具异常检测程序被处理器执行时实现如上文所述的模具异常检测方法的步骤。
此外,参照图5,图5为本发明模具异常检测装置第一实施例的结构框图,本发明实施例还提出一种模具异常检测装置,所述模具异常检测装置包括:
信号检测模块501,用于在检测到振动信号时,获取待测模具的当前包络曲线;
图像获取模块502,用于通过预设机理模型在检测到所述当前包络曲线偏离标准包络曲线时,获取所述待测模具的当前型腔图像;
图像判断模块503,用于判断所述当前型腔图像与预设型腔图像之间的相似度是否超过预设阈值;
异常判定模块504,用于若否,则判定所述待测模具存在异常。
本实施例是设备在进行冲压时,通过上述高精度传感器可获得待测模具的振动频率,也即上述的振动信号,根据振动信号的峰值点连线获得待测模具的当前包络曲线;同时上述设备在检测到冲压机的角度信号时,通过高精度传感器采集上述标准模具在冲压过程中的标准振动频率,并将标准振动频率转换成电压形式,获得标准电压信号;上述设备会根据上述标准电压信号生成正常包络曲线;设备会基于正常包络曲线对内部的初始机理模型进行训练,不断调整内部权重参数,在权重参数达到预设参数时,表示训练结果满足预设条件,设备将训练后的机理模型作为预设机理模型;上述设备通过预设机理模型对当前包络曲线进行检测,当检测到当前包络曲线偏离标准包络曲线时,上述设备会通过摄像头获取待测模具的当前型腔图像;上述设备会判断当前型腔图像与预设型腔图像之间的相关系数是否超过预设阈值;若否,则判定待测模具的表面存在异常。由于本实施例是先通过预设机理模型判断当前包络曲线是否偏离标准包络曲线,在偏离时,获取当前型腔图像,并判断当前型腔图像与预设型腔图像之间的相关系数是否大于预设阈值,若否则判定当前模具表面存在异常,一方面能够通过预设机理模型进行准确检测,另一方面能够通过预设型腔图像进行进一步判断,提身检测精度。
本发明模具异常检测装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种模具异常检测方法,其特征在于,所述方法包括以下步骤:
在检测到振动信号时,获取待测模具的当前包络曲线;
通过预设机理模型在检测到所述当前包络曲线偏离标准包络曲线时,获取所述待测模具的当前型腔图像;
判断所述当前型腔图像与预设型腔图像之间的相似度是否超过预设阈值;
若否,则判定所述待测模具存在异常。
2.如权利要求1所述的模具异常检测方法,其特征在于,所述判断所述当前型腔图像与预设型腔图像之间的相似度是否超过预设阈值的步骤之前,还包括:
对所述当前型腔图像进行预处理,获得预处理后的当前型腔图像;
提取所述预处理后的当前型腔图像的感兴趣区域,得到提取后的当前型腔图像;
相应的,所述判断所述当前型腔图像与预设型腔图像之间的相似度是否超过预设阈值的步骤,包括:
判断所述提取后的当前型腔图像与预设型腔图像之间的相似度是否超过预设阈值。
3.如权利要求2所述的模具异常检测方法,其特征在于,所述判断所述提取后的当前型腔图像与预设型腔图像之间的相似度是否超过预设阈值的步骤之前,还包括:
将所述提取后的当前型腔图像进行分割,获得当前型腔子图像;
基于灰度比较所述当前型腔子图像与所述预设型腔图像之间的相似性,获得各当前型腔子图像对应的相关系数;
从各所述当前型腔子图像对应的相关系数中选取最大相关系数,并将所述最大相关系数作为所述提取后的当前型腔图像与预设型腔图像之间的相似度。
4.如权利要求1至3任一项所述的模具异常检测方法,其特征在于,所述在检测到振动信号时,获取待测模具的当前包络曲线的步骤之前,还包括:
在检测到冲压机的角度信号时,采集标准模具冲压过程中的标准振动频率,并将所述标准振动频率转换成标准电压信号;
根据所述标准电压信号生成正常包络曲线;
基于所述正常包络曲线对初始机理模型进行训练,并在训练结果满足预设条件时,将训练后的机理模型作为预设机理模型。
5.如权利要求4所述的模具异常检测方法,其特征在于,所述若否,则判定所述待测模具存在异常的步骤之后,还包括:
提取所述当前型腔子图像的背部纹理特征;
基于所述背部纹理特征判断所述当前型腔子图像的缺陷形状;
根据所述缺陷形状对所述当前型腔子图像进行缺陷分类,获得所述当前型腔子图像的缺陷类型结果。
6.如权利要求5所述的模具异常检测方法,其特征在于,所述若否,则判定所述待测模具存在异常的步骤之后,还包括:
对所述当前型腔子图像分割,获得分割子图像;
判断各所述分割子图像中是否存在缺陷;
若是,则对存在缺陷的分割子图像进行标记;
根据标记结果对所述当前型腔子图像进行缺陷定位,获得所述当前型腔子图像的缺陷定位结果。
7.如权利要求6所述的模具异常检测方法,其特征在于,所述若否,则判定所述待测模具存在异常的步骤之后,还包括:
控制自动夹模器松开待测模具,并通过上升后的举模器将所述待测模具从冲压位置移动至移模臂上;
控制起吊装置对所述待测模具进行更换,并将更换后的待测模具放置于所述移模臂上;
通过所述上升后的举模器将所述更换后的待测模具从所述移模臂上移动至所述冲压位置;
控制所述自动夹模器夹紧所述待测模具以完成模具更换。
8.一种模具异常检测装置,其特征在于,所述装置包括:
信号检测模块,用于在检测到振动信号时,获取待测模具的当前包络曲线;
图像获取模块,用于通过预设机理模型在检测到所述当前包络曲线偏离标准包络曲线时,获取所述待测模具的当前型腔图像;
图像判断模块,用于判断所述当前型腔图像与预设型腔图像之间的相似度是否超过预设阈值;
异常判定模块,用于若否,则判定所述待测模具存在异常。
9.一种模具异常检测设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的模具异常检测程序,所述模具异常检测程序配置为实现如权利要求1至7任一项所述的模具异常检测方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有模具异常检测程序,所述模具异常检测程序被处理器执行时实现如权利要求1至7任一项所述的模具异常检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210913637.4A CN114972350B (zh) | 2022-08-01 | 2022-08-01 | 模具异常检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210913637.4A CN114972350B (zh) | 2022-08-01 | 2022-08-01 | 模具异常检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114972350A true CN114972350A (zh) | 2022-08-30 |
CN114972350B CN114972350B (zh) | 2022-11-15 |
Family
ID=82970353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210913637.4A Active CN114972350B (zh) | 2022-08-01 | 2022-08-01 | 模具异常检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114972350B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116944278A (zh) * | 2023-05-11 | 2023-10-27 | 工业富联(佛山)产业示范基地有限公司 | 异物检测方法和相关设备 |
WO2024104489A1 (zh) * | 2022-11-18 | 2024-05-23 | 中国科学院深圳先进技术研究院 | 一种产品检测方法、终端及计算机可读存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110405537A (zh) * | 2019-07-17 | 2019-11-05 | 湘潭大学 | 一种基于深度学习的导轨精度预测模型的建立方法 |
CN110617964A (zh) * | 2019-07-29 | 2019-12-27 | 中国铁道科学研究院集团有限公司城市轨道交通中心 | 用于滚动轴承故障诊断的同步压缩变换阶比分析法 |
CN111677674A (zh) * | 2020-06-17 | 2020-09-18 | 武汉工程大学 | 一种故障检测方法及装置 |
CN112001482A (zh) * | 2020-08-14 | 2020-11-27 | 佳都新太科技股份有限公司 | 振动预测及模型训练方法、装置、计算机设备和存储介质 |
CN112734691A (zh) * | 2020-12-17 | 2021-04-30 | 郑州金惠计算机系统工程有限公司 | 一种工业制品缺陷检测方法、装置、终端设备及存储介质 |
CN112734706A (zh) * | 2020-12-31 | 2021-04-30 | 富泰华精密电子(郑州)有限公司 | 电子装置及焊点检测方法 |
CN113221759A (zh) * | 2021-05-17 | 2021-08-06 | 北京文安智能技术股份有限公司 | 基于异常检测模型的道路遗撒识别方法以及装置 |
CN113240642A (zh) * | 2021-05-13 | 2021-08-10 | 创新奇智(北京)科技有限公司 | 图像缺陷检测方法及装置、电子设备、存储介质 |
CN114117340A (zh) * | 2020-08-25 | 2022-03-01 | 北京福田康明斯发动机有限公司 | 一种发动机装配检测方法、装置、存储介质和电子设备 |
-
2022
- 2022-08-01 CN CN202210913637.4A patent/CN114972350B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110405537A (zh) * | 2019-07-17 | 2019-11-05 | 湘潭大学 | 一种基于深度学习的导轨精度预测模型的建立方法 |
CN110617964A (zh) * | 2019-07-29 | 2019-12-27 | 中国铁道科学研究院集团有限公司城市轨道交通中心 | 用于滚动轴承故障诊断的同步压缩变换阶比分析法 |
CN111677674A (zh) * | 2020-06-17 | 2020-09-18 | 武汉工程大学 | 一种故障检测方法及装置 |
CN112001482A (zh) * | 2020-08-14 | 2020-11-27 | 佳都新太科技股份有限公司 | 振动预测及模型训练方法、装置、计算机设备和存储介质 |
CN114117340A (zh) * | 2020-08-25 | 2022-03-01 | 北京福田康明斯发动机有限公司 | 一种发动机装配检测方法、装置、存储介质和电子设备 |
CN112734691A (zh) * | 2020-12-17 | 2021-04-30 | 郑州金惠计算机系统工程有限公司 | 一种工业制品缺陷检测方法、装置、终端设备及存储介质 |
CN112734706A (zh) * | 2020-12-31 | 2021-04-30 | 富泰华精密电子(郑州)有限公司 | 电子装置及焊点检测方法 |
CN113240642A (zh) * | 2021-05-13 | 2021-08-10 | 创新奇智(北京)科技有限公司 | 图像缺陷检测方法及装置、电子设备、存储介质 |
CN113221759A (zh) * | 2021-05-17 | 2021-08-06 | 北京文安智能技术股份有限公司 | 基于异常检测模型的道路遗撒识别方法以及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024104489A1 (zh) * | 2022-11-18 | 2024-05-23 | 中国科学院深圳先进技术研究院 | 一种产品检测方法、终端及计算机可读存储介质 |
CN116944278A (zh) * | 2023-05-11 | 2023-10-27 | 工业富联(佛山)产业示范基地有限公司 | 异物检测方法和相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114972350B (zh) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114972350B (zh) | 模具异常检测方法、装置、设备及存储介质 | |
US11551341B2 (en) | Method and device for automatically drawing structural cracks and precisely measuring widths thereof | |
CN111047655B (zh) | 基于卷积神经网络的高清摄像机布料疵点检测方法 | |
CN111951249A (zh) | 基于多任务学习网络的手机导光板缺陷可视化检测方法 | |
CN111539927B (zh) | 汽车塑料组合件紧固卡扣缺装检测装置的检测方法 | |
CN110276759B (zh) | 一种基于机器视觉的手机屏坏线缺陷诊断方法 | |
CN111028209B (zh) | 一种电话机丝印质量检测方法及系统 | |
CN114235837A (zh) | 基于机器视觉的led封装表面缺陷检测方法、装置、介质及设备 | |
CN112200776A (zh) | 芯片封装缺陷检测方法和检测装置 | |
CN116862910B (zh) | 基于自动化裁切生产的视觉检测方法 | |
CN114972230A (zh) | 一种生产线上电路板缺陷检测方法及系统 | |
CN113592839B (zh) | 基于改进Faster RCNN的配网线路典型缺陷诊断方法及系统 | |
CN114004858A (zh) | 基于机器视觉识别航空线缆表面编码的方法及装置 | |
CN117091953A (zh) | 试样形变的自动测量方法、计算机设备、系统及存储介质 | |
CN115423755A (zh) | 晶圆微加工结构缺陷检测方法及其装置、设备、介质 | |
CN110596118A (zh) | 印刷图案检测方法及印刷图案检测装置 | |
CN116465315B (zh) | 一种网版质量自动化检测方法及系统 | |
CN116091503A (zh) | 一种面板异物缺陷的判别方法、装置、设备及介质 | |
CN116106319A (zh) | 一种合成革瑕疵自动化检测方法及系统 | |
CN112329770B (zh) | 一种仪表刻度识别方法及装置 | |
CN115908304A (zh) | 汽车轮胎胎面花纹缺陷检测系统和方法 | |
CN112581472B (zh) | 一种面向人机交互的目标表面缺陷检测方法 | |
CN112562018B (zh) | 一种吊点跟随定位方法及系统 | |
CN113869407A (zh) | 一种基于单目视觉的车长测量方法和装置 | |
CN115965568A (zh) | 卫浴陶瓷表面缺陷检测方法与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |