CN116385431B - 基于红外热成像与点云结合的数控机床设备故障检测方法 - Google Patents

基于红外热成像与点云结合的数控机床设备故障检测方法 Download PDF

Info

Publication number
CN116385431B
CN116385431B CN202310612633.7A CN202310612633A CN116385431B CN 116385431 B CN116385431 B CN 116385431B CN 202310612633 A CN202310612633 A CN 202310612633A CN 116385431 B CN116385431 B CN 116385431B
Authority
CN
China
Prior art keywords
point cloud
sample
image
feature
fault detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310612633.7A
Other languages
English (en)
Other versions
CN116385431A (zh
Inventor
杨之乐
谭勇
肖溱鸽
朱俊丞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Hangmai CNC Software Shenzhen Co Ltd
Original Assignee
Zhongke Hangmai CNC Software Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Hangmai CNC Software Shenzhen Co Ltd filed Critical Zhongke Hangmai CNC Software Shenzhen Co Ltd
Priority to CN202310612633.7A priority Critical patent/CN116385431B/zh
Publication of CN116385431A publication Critical patent/CN116385431A/zh
Application granted granted Critical
Publication of CN116385431B publication Critical patent/CN116385431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Numerical Control (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明提供基于红外热成像与点云结合的数控机床设备故障检测方法，涉及图像处理技术领域，包括：获取待检测机床的红外图像和初始点云；对红外图像进行标记，生成标记图像，对初始点云进行标记，生成标记点云，标记图像中的标记框反映红外图像中待检测机床的目标设备所在区域，标记点云中的关联标志反映初始点云中的目标设备所在区域，目标设备在待检测机床中的检测优先级大于待检测机床中的其他设备；对标记图像进行特征提取，得到多个第一特征，对标记点云进行特征提取，得到多个第二特征；基于第一特征、第二特征和已训练的故障检测模型，获取待检测机床的故障检测结果。本发明可以实现机床故障设备的定位。

Description

基于红外热成像与点云结合的数控机床设备故障检测方法
技术领域
本发明涉及图像处理技术领域，尤其涉及基于红外热成像与点云结合的数控机床设备故障检测方法。
背景技术
在现有技术中，有通过红外热成像技术检测机床的热异常，进而确定机床的故障区域的方法，但是通过红外热成像技术生产的图像往往分辨率有限，不能提供足够的细节信息，使得机床的热异常检测不能定位到具体的机床设备。
发明内容
本发明提供基于红外热成像与点云结合的数控机床设备故障检测方法，用以解决现有技术中机床故障检测不能定位到具体的机床设备的缺陷，实现对机床故障设备的定位。
本发明提供一种基于红外热成像与点云结合的数控机床设备故障检测方法，包括：
获取待检测机床的红外图像和初始点云，所述红外图像是对所述待检测机床进行红外热成像生成的，所述初始点云是对所述待检测机床进行三维点云数据采集生成的；
对所述红外图像进行标记，生成标记图像，对所述初始点云进行标记，生成标记点云，所述标记图像中的标记框反映所述红外图像中所述待检测机床的目标设备所在区域，所述标记点云中的关联标志反映所述初始点云中的所述目标设备所在区域，所述目标设备在所述待检测机床中的检测优先级大于所述待检测机床中的其他设备；
对所述标记图像进行特征提取，得到多个第一特征，对所述标记点云进行特征提取，得到多个第二特征；
基于所述第一特征、所述第二特征和已训练的故障检测模型，获取所述待检测机床的故障检测结果，所述故障检测结果中包括所述待检测机床的故障设备。
根据本发明提供的一种基于红外热成像与点云结合的数控机床设备故障检测方法，所述对所述标记图像进行特征提取，得到多个第一特征，包括：
将所述标记图像与所述标记点云进行配准，得到所述标记图像中的标记特征点在所述标记点云中的坐标信息，其中，所述标记特征点包括所述标记图像中的标记框的顶点；
将所述标记图像分割为多个局部图像，提取每个所述局部图像对应的图像特征，将所述局部图像的所述图像特征与所述局部图像中包括的标记特征点在所述标记点云中的坐标信息结合，得到所述局部图像对应的所述第一特征。
根据本发明提供的一种基于红外热成像与点云结合的数控机床设备故障检测方法，所述将所述局部图像的所述图像特征与所述局部图像中包括的标记特征点在所述标记点云中的坐标信息结合，得到所述局部图像对应的所述第一特征，包括：
当所述局部图像中包括完整的标记框时，将完整的标记框的所有顶点在所述标记点云中的坐标信息与所述局部图像的所述图像特征结合，得到所述局部图像对应的所述第一特征；
当所述局部图像中包括不完整的标记框时，获取所述局部图像的目标顶点在所述标记点云中的坐标信息，将所述目标顶点和所述局部图像中的所述标记特征点在所述标记点云中的坐标信息、以及所述局部图像的所述图像特征结合，得到所述局部图像对应的所述第一特征；所述目标顶点为所述局部图像的顶点，且所述目标顶点在所述局部图像中包括的标记框内。
根据本发明提供的一种基于红外热成像与点云结合的数控机床设备故障检测方法，所述对所述标记点云进行特征提取，得到多个第二特征，包括：
将所述标记点云分割为多个局部点云，提取每个所述局部点云的几何特征，将所述局部点云的所述几何特征与所述局部点云中包括的标记结合，得到所述局部点云对应的所述第二特征。
根据本发明提供的一种基于红外热成像与点云结合的数控机床设备故障检测方法，所述故障检测模型包括第一故障检测子模型、第二故障检测子模型以及融合预测模块；所述基于所述第一特征、所述第二特征和已训练的故障检测模型，获取所述待检测机床的故障检测结果，包括：
将各个所述第一特征输入至所述第一故障检测子模型，获取所述第一故障检测子模型输出的第一预测特征；
将各个所述第二特征输入至所述第二故障检测子模型，获取所述第二故障检测子模型输出的第二预测特征；
将所述第一预测特征和所述第二预测特征输入至所述融合预测模块，通过所述融合预测模块对所述第一预测特征和所述第二预测特征进行融合，得到融合特征，并基于所述融合特征输出所述故障检测结果。
根据本发明提供的一种基于红外热成像与点云结合的数控机床设备故障检测方法，所述故障检测模型基于如下步骤训练得到：
从多组训练数据中确定目标训练数据，所述目标训练数据包括样本第一特征、样本第二特征以及故障检测结果标签；
将所述样本第一特征输入至所述第一故障检测子模型，获取样本第一预测特征；
将所述样本第二特征输入至所述第二故障检测子模型，获取样本第二预测特征；
将所述样本第一预测特征和所述样本第二预测特征输入至所述融合预测模块，获取所述融合预测模块输出的样本故障检测结果；
基于所述样本第一预测特征、所述样本第二预测特征、所述样本故障检测结果和所述故障检测结果标签确定所述目标训练数据对应的训练损失；
基于所述训练损失更新所述故障检测模型的参数。
根据本发明提供的一种基于红外热成像与点云结合的数控机床设备故障检测方法，所述基于所述样本第一预测特征、所述样本第二预测特征、所述样本故障检测结果和所述故障检测结果标签确定所述目标训练数据对应的训练损失，包括：
将所述样本第一预测特征和样本红外图像输入至第一目标检测模型中，获取所述第一目标检测模型输出的目标检测图像，所述样本第一特征是对样本标记图像进行特征提取得到的特征，所述样本标记图像是对所述样本红外图像进行标记得到的图像；
将所述样本第二预测特征和样本初始点云输入至第二目标检测模型中，获取所述第二目标检测模型输出的目标检测点云，所述样本第二特征是对样本标记点云进行特征提取得到的特征，所述样本标记点云是对所述样本初始点云进行标记得到的图像；
根据所述目标检测图像和所述样本标记图像确定第一损失，根据所述目标检测点云和所述样本标记点云确定第二损失，根据所述样本故障检测结果和所述故障检测结果标签确定第三损失；
基于所述第一损失、所述第二损失和所述第三损失确定所述训练损失。
本发明还提供一种基于红外热成像与点云结合的数控机床设备故障检测装置，包括：
初始数据采集模块，用于获取待检测机床的红外图像和初始点云，所述红外图像是对所述待检测机床进行红外热成像生成的，所述初始点云是对所述待检测机床进行三维点云数据采集生成的；
标记模块，用于对所述红外图像进行标记，生成标记图像，对所述初始点云进行标记，生成标记点云，所述标记图像中的标记框反映所述红外图像中所述待检测机床的目标设备所在区域，所述标记点云中的关联标志反映所述初始点云中的所述目标设备所在区域，所述目标设备在所述待检测机床中的检测优先级大于所述待检测机床中的其他设备；
特征提取模块，用于对所述标记图像进行特征提取，得到多个第一特征，对所述标记点云进行特征提取，得到多个第二特征；
故障设备预测模块，用于基于所述第一特征、所述第二特征和已训练的故障检测模型，获取所述待检测机床的故障检测结果，所述故障检测结果中包括所述待检测机床的故障设备。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于红外热成像与点云结合的数控机床设备故障检测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于红外热成像与点云结合的数控机床设备故障检测方法。
本发明提供的基于红外热成像与点云结合的数控机床设备故障检测方法，通过获取待检测机床的红外图像和点云，将红外图像和点云进行结合，充分利用了红外图像具有更多的热异常信息，以及点云具有更精准的位置信息的优点，将从二者提取到的特征进行结合用于检测机床的故障设备，可以实现对机床的故障设备的定位，在利用点云和红外图像进行故障设备检测时，还将机床的检测优先级高的设备进行标记，提升对机床的故障设备定位的准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于红外热成像与点云结合的数控机床设备故障检测方法的流程示意图；
图2是本发明提供的基于红外热成像与点云结合的数控机床设备故障检测装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中利用红外热成像技术对机床进行故障检测无法定位到具体的机床设备的缺陷，本发明提供一种基于红外热成像与点云结合的数控机床设备故障检测方法。本发明提供的基于红外热成像与点云结合的数控机床设备故障检测方法，可以是由电子设备或终端执行，电子设备或终端包括但不限于是计算机、服务器、智能移动终端等。
下面结合图1描述本发明提供的基于红外热成像与点云结合的数控机床设备故障检测方法。如图1所示，本发明提供的基于红外热成像与点云结合的数控机床设备故障检测方法，包括步骤：
S110、获取待预测机床的红外图像和初始点云，所述红外图像是对所述待检测机床进行红外热成像生成的，所述初始点云是对所述待检测机床进行三维点云数据采集生成的。
对所述待检测机床进行红外热成像生成红外图像，是现有技术，在此不再赘述，所述红外图像可以是单张或多张。所述初始点云可以是对所述待检测机床进行激光雷达采集三维点云数据获取。在一种可能的实现方式中，可以基于所述待检测机床的三维模型采集三维点云数据生成所述初始点云。
S120、对所述红外图像进行标记，生成标记图像，对所述初始点云进行标记，生成标记点云，所述标记图像中的标记框反映所述红外图像中所述待检测机床的目标设备所在区域，所述标记点云中的关联标志反映所述初始点云中的所述目标设备所在区域，所述目标设备在所述待检测机床中的检测优先级大于所述待检测机床中的其他设备。
对所述红外图像标记，是在所述红外图像中增加标记框，标记框内是所述待检测机床的目标设备所在区域。对所述初始点云标记，是对所述初始点云的部分点关联标志，关联标志的点组成的区域是所述待检测机床的目标设备所在的区域。值得说明的是所述标记图像中的标记框内的区域应大于所述目标设备所占的区域，所述标记点云中关联标志的点组成的区域应大于所述目标设备所占的区域，也就是说，对所述目标设备所占的区域进行放大后添加标记，以获取到更多的所述目标设备的周围信息，提升最终预测结果的准确性。
所述目标设备是在所述待检测机床中的检测优先级大于其他设备的设备，具体来说，机床由很多零部件设备组成，例如传动设备、驱动设备、固定设备等，本实施例提供的方法，为了提升检测准确性和效率，为所述待检测机床中的各个设备设置检测优先级，如果A设备的优先级高于B设备，说明A设备的重要程度高于B设备或者A设备的故障发生概率高于B设备，重要程度可以基于多种维度确定，例如维修成本、可替代性等。所述目标设备可以有多个，所述目标设备在所述待检测机床中的检测优先级大于所述待检测机床中的其他设备，指的是检测优先级最低的所述目标设备的检测优先级大于所述待检测机床中不是所述目标设备的设备。例如，可以设置一个优先级阈值，将检测优先级超出所述优先级阈值的设备作为所述目标设备。
本发明提供的方法，在获取到所述红外图像和所述初始点云后，对所述红外图像和所述初始点云进行标记，对所述红外图像和所述初始点云中所述目标设备所占的区域进行标记，可以将所述目标设备的位置信息带入到后续的处理中，提升故障设备的检测准确性。
本发明提供的方法，还包括步骤：
S130、对所述标记图像进行特征提取，得到多个第一特征，对所述标记点云进行特征提取，得到多个第二特征。
具体来说，所述对所述标记图像进行特征提取，得到多个第一特征，包括：
将所述标记图像与所述标记点云进行配准，得到所述标记图像中的标记特征点在所述标记点云中的坐标信息，其中，所述标记特征点为所述标记图像中的标记框的顶点；
将所述标记图像分割为多个局部图像，提取每个所述局部图像对应的图像特征，将所述局部图像的所述图像特征与所述局部图像中包括的标记特征点在所述标记点云中的坐标信息集合，得到所述局部图像对应的所述第一特征。
所述标记图像为二维图像，所述标记点云为三维图像，在将二者进行结合用于故障设备预测之前，需要对二者进行配准，实现坐标系的统一，二维图像和三维点云的配准是现有技术，在此不再赘述。
所述将所述局部图像的所述图像特征与所述局部图像中包括的标记特征点在所述标记点云中的坐标信息结合，得到所述局部图像对应的所述第一特征，包括：
当所述局部图像中包括完整的标记框时，将完整的标记框的所有顶点在所述标记点云中的坐标信息与所述局部图像的所述图像特征结合，得到所述局部图像对应的所述第一特征；
当所述局部图像中包括不完整的标记框时，获取所述局部图像的目标顶点在所述标记点云中的坐标信息，将所述目标顶点和所述局部图像中的所述标记特征点在所述标记点云中的坐标信息、以及所述局部图像的所述图像特征结合，得到所述局部图像对应的所述第一特征；所述目标顶点为所述局部图像的顶点，且所述目标顶点在所述局部图像中包括的标记框内。
对所述局部图像提取所述图像特征，可以是采用现有的通用图像数据库进行训练得到的特征提取模型来得到的，在一种可能的实现方式中，可以采用通用图像数据库训练一个图像目标检测模型，之后去掉这个图像目标检测模型的输出模块，得到用于对所述局部图像提取所述图像特征的所述特征提取模型。
为了方便后续模型处理，本发明中，对所述标记图像进行分割得到的各个所述局部图像的尺寸一致，而所述标记框可能不会完整地在一张所述局部图像中。由于所述标记框中限定的是一个区域，而实际上有标记框的几个顶点的位置实际上就可以在一定程度上反映区域，为了降低数据处理量，本发明提供的方法，只将所述标记图像中所述标记特征点的坐标信息与所述图像特征进行结合。当所述局部图像中包括不完整的标记框时，获取所述局部图像的目标顶点在所述标记点云中的坐标信息，将所述目标顶点和所述局部图像中的所述标记特征点在所述标记点云中的坐标信息、以及所述局部图像的所述图像特征结合，得到所述局部图像对应的所述第一特征。当所述局部图像中包括的都是完整的标记框时，那么将所述局部图像中包括的所述标记特征点在所述标记点云中的坐标信息与所述局部图像对应的所述图像特征结合，得到所述局部图像对应的所述第一特征。将坐标信息与所述图像特征相结合，可以是将坐标信息转化为向量，与所述图像特征的特征向量拼接。
所述对所述标记点云进行特征提取，得到多个第二特征，包括：
将所述标记点云分割为多个局部点云，提取每个所述局部点云的几何特征，将所述局部点云的所述几何特征与所述局部点云中包括的标记结合，得到所述局部点云对应的所述第二特征。
在本发明提供的方法中，对所述标记点云进行分割，得到多个局部点云，每个所述局部点云对应一个所述第二特征。对于每个所述局部点云，提取对应的几何特征，所述几何特征反映所述局部点云的几何形状信息，所述几何特征可以包括表面法向量、曲率等信息。可以将提取到的所述局部点云的几何信息编码为固定长度的向量表示，得到所述几何特征。将所述局部点云的所述几何特征与所述局部点云中包括的标记结合，可以是将带有标记的点的坐标进行编码后与所述几何特征拼接或融合，得到所述第二特征。
再次参阅图1，本发明提供的方法，还包括步骤：
S140、基于所述第一特征、所述第二特征和已训练的故障检测模型，获取所述待检测机床的故障检测结果，所述故障检测结果中包括所述待检测机床的故障设备。
得到所述第一特征和所述第二特征后，将所述第一特征和所述第二特征输入至已训练的故障检测模型，得到所述故障检测模型输出的所述故障检测结果，所述故障检测结果中包括所述待检测机床的故障设备，具体地，所述故障检测结果中包括所述待检测机床的故障设备在所述检测机床中的位置以实现对所述待检测机床的故障设备的准确定位。
所述故障检测模型包括第一故障检测子模型、第二故障检测子模型以及融合预测模型，所述基于所述第一特征、所述第二特征和已训练的故障检测模型，获取所述待检测机床的故障检测结果，包括：
将各个所述第一特征输入至所述第一故障检测子模型，获取所述第一故障检测子模型输出的第一预测特征；
将各个所述第二特征输入至所述第二故障检测子模型，获取所述第二故障检测子模型输出的第二预测特征；
将所述第一预测特征和所述第二预测特征输入至所述融合预测模块，通过所述融合预测模块对所述第一预测特征和所述第二预测特征进行融合，得到融合特征，并基于所述融合特征输出所述故障检测结果。
所述第一故障检测子模型用于对所述第一特征进行进一步处理以提取所述标记图像中关于故障设备的信息，所述第二故障检测子模型用于对所述第一特征进行进一步处理以提取所述标记点云中的机床设备在所述待检测机床中的位置信息，将所述第一故障检测子模型输出的所述第一预测特征和所述第二故障检测子模型输出的所述第二预测特征进行融合，并进行处理，提取反映故障设备在所述待检测机床中的具体位置的信息。
具体来说，所述第一故障检测子模型、所述第二故障检测子模型和所述融合预测模块都可以采用已有的神经网络模型的架构去构建，再利用本发明提供的训练方法进行训练，实现参数优化，得到已训练的故障检测模型。
所述故障检测模型基于如下步骤训练得到：
从多组训练数据中确定目标训练数据，所述目标训练数据包括样本第一特征、样本第二特征以及故障检测结果标签；
将所述样本第一特征输入至所述第一故障检测子模型，获取样本第一预测特征；
将所述样本第二特征输入至所述第二故障检测子模型，获取样本第二预测特征；
将所述样本第一预测特征和所述样本第二预测特征输入至所述融合预测模块，获取所述融合预测模块输出的样本故障检测结果；
基于所述样本第一预测特征、所述样本第二预测特征、所述样本故障检测结果和所述故障检测结果标签确定所述目标训练数据对应的训练损失；
基于所述训练损失更新所述故障检测模型的参数。
每更新一次所述故障检测模型的参数可以视为一次迭代，当所述故障检测模型的参数收敛后，迭代结束，所述故障检测模型训练完成。
具体地，所述基于所述样本第一预测特征、所述样本第二预测特征、所述样本故障检测结果和所述故障检测结果标签确定所述目标训练数据对应的训练损失，包括：
将所述样本第一预测特征和样本红外图像输入至第一目标检测模型中，获取所述第一目标检测模型输出的目标检测图像，所述样本第一特征是对样本标记图像进行特征提取得到的特征，所述样本标记图像是对所述样本红外图像进行标记得到的图像；
将所述样本第二预测特征和样本初始点云输入至第二目标检测模型中，获取所述第二目标检测模型输出的目标检测点云，所述样本第二特征是对样本标记点云进行特征提取得到的特征，所述样本标记点云是对所述样本初始点云进行标记得到的图像；
根据所述目标检测图像和所述样本标记图像确定第一损失，根据所述目标检测点云和所述样本标记点云确定第二损失，根据所述样本故障检测结果和所述故障检测结果标签确定第三损失；
基于所述第一损失、所述第二损失和所述第三损失确定所述训练损失。
正如前文所说明的，在机床中，存在着检测优先级更高的设备，为了提升模型计算效率，本申请提供的方法中，希望在所述故障预测模型中能够更加着重于检测优先级高的设备的特征处理，为了实现这个目的，在所述故障预测模型的训练过程中，针对利用所述第一故障检测子模型和所述第二故障检测子模型提取出的所述样本第一预测特征和所述样本第二预测特征，应该能够保留更多的关于检测优先级高的设备的信息，因此，本发明提供的方法中，将所述样本第一预测特征和所述样本红外图像输入至第一目标检测模型以实现对所述样本红外图像进行设备标记，将检测优先级高的设备标记出来，得到所述目标检测图像，所述样本第一预测特征是由所述样本第一特征得到的，而所述样本第一特征是基于所述样本红外图像对应的所述样本标记图像得到的，也就是说，对所述样本红外图像按照前文所说的方法进行标记，得到所述样本标记图像，再采用前文所说的方法对所述样本标记图像进行特征提取，得到所述样本第一特征。显然，所述目标检测图像与所述样本标记图像越一致，则说明所述样本第一预测特征中保留了越多关于检测优先级高的设备的信息。同理，所述样本第二特征是基于所述样本初始点云对应的所述样本标记点云得到的，所述目标检测点云与所述样本标记点云越一致，则说明所述样本第二预测特征中保留了越多关于检测优先级高的设备的信息。将所述第一损失和所述第二损失算入训练损失中，可以使得所述故障检测模型的训练效率更高。
综上所述，本发明提供的基于红外热成像与点云结合的数控机床设备故障检测方法，通过获取待检测机床的红外图像和点云，将红外图像和点云进行结合，充分利用了红外图像具有更多的热异常信息，以及点云具有更精准的位置信息的优点，将从二者提取到的特征进行结合用于检测机床的故障设备，可以实现对机床的故障设备的定位，在利用点云和红外图像进行故障设备检测时，还将机床的检测优先级高的设备进行标记，提升对机床的故障设备定位的准确性。
下面对本发明提供的基于红外热成像与点云结合的数控机床设备故障检测装置进行描述，下文描述的基于红外热成像与点云结合的数控机床设备故障检测方法装置与上文描述的基于红外热成像与点云结合的数控机床设备故障检测方法可相互对应参照。如图2所示，本发明提供的基于红外热成像与点云结合的数控机床设备故障检测装置包括：
初始数据采集模块210，用于获取待检测机床的红外图像和初始点云，所述红外图像是对所述待检测机床进行红外热成像生成的，所述初始点云是对所述待检测机床进行三维点云数据采集生成的；
标记模块220，用于对所述红外图像进行标记，生成标记图像，对所述初始点云进行标记，生成标记点云，所述标记图像中的标记框反映所述红外图像中所述待检测机床的目标设备所在区域，所述标记点云中的关联标志反映所述初始点云中的所述目标设备所在区域，所述目标设备在所述待检测机床中的检测优先级大于所述待检测机床中的其他设备；
特征提取模块230，用于对所述标记图像进行特征提取，得到多个第一特征，对所述标记点云进行特征提取，得到多个第二特征；
故障设备预测模块240，用于基于所述第一特征、所述第二特征和已训练的故障检测模型，获取所述待检测机床的故障检测结果，所述故障检测结果中包括所述待检测机床的故障设备。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行基于红外成像与点云结合的数控机床设备故障检测方法，该方法包括：获取待检测机床的红外图像和初始点云，所述红外图像是对所述待检测机床进行红外热成像生成的，所述初始点云是对所述待检测机床进行三维点云数据采集生成的；
对所述红外图像进行标记，生成标记图像，对所述初始点云进行标记，生成标记点云，所述标记图像中的标记框反映所述红外图像中所述待检测机床的目标设备所在区域，所述标记点云中的关联标志反映所述初始点云中的所述目标设备所在区域，所述目标设备在所述待检测机床中的检测优先级大于所述待检测机床中的其他设备；
对所述标记图像进行特征提取，得到多个第一特征，对所述标记点云进行特征提取，得到多个第二特征；
基于所述第一特征、所述第二特征和已训练的故障检测模型，获取所述待检测机床的故障检测结果，所述故障检测结果中包括所述待检测机床的故障设备。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于红外成像与点云结合的数控机床设备故障检测方法，该方法包括：获取待检测机床的红外图像和初始点云，所述红外图像是对所述待检测机床进行红外热成像生成的，所述初始点云是对所述待检测机床进行三维点云数据采集生成的；
对所述红外图像进行标记，生成标记图像，对所述初始点云进行标记，生成标记点云，所述标记图像中的标记框反映所述红外图像中所述待检测机床的目标设备所在区域，所述标记点云中的关联标志反映所述初始点云中的所述目标设备所在区域，所述目标设备在所述待检测机床中的检测优先级大于所述待检测机床中的其他设备；
对所述标记图像进行特征提取，得到多个第一特征，对所述标记点云进行特征提取，得到多个第二特征；
基于所述第一特征、所述第二特征和已训练的故障检测模型，获取所述待检测机床的故障检测结果，所述故障检测结果中包括所述待检测机床的故障设备。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于红外热成像与点云结合的数控机床设备故障检测方法，其特征在于，包括：
获取待检测机床的红外图像和初始点云，所述红外图像是对所述待检测机床进行红外热成像生成的，所述初始点云是对所述待检测机床进行三维点云数据采集生成的；
对所述红外图像进行标记，生成标记图像，对所述初始点云进行标记，生成标记点云，所述标记图像中的标记框反映所述红外图像中所述待检测机床的目标设备所在区域，所述标记点云中的关联标志反映所述初始点云中的所述目标设备所在区域，所述目标设备在所述待检测机床中的检测优先级大于所述待检测机床中的其他设备；
对所述标记图像进行特征提取，得到多个第一特征，对所述标记点云进行特征提取，得到多个第二特征；
基于所述第一特征、所述第二特征和已训练的故障检测模型，获取所述待检测机床的故障检测结果，所述故障检测结果中包括所述待检测机床的故障设备；
所述故障检测模型包括第一故障检测子模型、第二故障检测子模型以及融合预测模块；所述基于所述第一特征、所述第二特征和已训练的故障检测模型，获取所述待检测机床的故障检测结果，包括：
将各个所述第一特征输入至所述第一故障检测子模型，获取所述第一故障检测子模型输出的第一预测特征；
将各个所述第二特征输入至所述第二故障检测子模型，获取所述第二故障检测子模型输出的第二预测特征；
将所述第一预测特征和所述第二预测特征输入至所述融合预测模块，通过所述融合预测模块对所述第一预测特征和所述第二预测特征进行融合，得到融合特征，并基于所述融合特征输出所述故障检测结果；
所述故障检测模型基于如下步骤训练得到：
从多组训练数据中确定目标训练数据，所述目标训练数据包括样本第一特征、样本第二特征以及故障检测结果标签；
将所述样本第一特征输入至所述第一故障检测子模型，获取样本第一预测特征；
将所述样本第二特征输入至所述第二故障检测子模型，获取样本第二预测特征；
将所述样本第一预测特征和所述样本第二预测特征输入至所述融合预测模块，获取所述融合预测模块输出的样本故障检测结果；
基于所述样本第一预测特征、所述样本第二预测特征、所述样本故障检测结果和所述故障检测结果标签确定所述目标训练数据对应的训练损失；
基于所述训练损失更新所述故障检测模型的参数；
所述基于所述样本第一预测特征、所述样本第二预测特征、所述样本故障检测结果和所述故障检测结果标签确定所述目标训练数据对应的训练损失，包括：
将所述样本第一预测特征和样本红外图像输入至第一目标检测模型中，获取所述第一目标检测模型输出的目标检测图像，所述样本第一特征是对样本标记图像进行特征提取得到的特征，所述样本标记图像是对所述样本红外图像进行标记得到的图像；
将所述样本第二预测特征和样本初始点云输入至第二目标检测模型中，获取所述第二目标检测模型输出的目标检测点云，所述样本第二特征是对样本标记点云进行特征提取得到的特征，所述样本标记点云是对所述样本初始点云进行标记得到的图像；
根据所述目标检测图像和所述样本标记图像确定第一损失，根据所述目标检测点云和所述样本标记点云确定第二损失，根据所述样本故障检测结果和所述故障检测结果标签确定第三损失；
基于所述第一损失、所述第二损失和所述第三损失确定所述训练损失。
2.根据权利要求1所述的基于红外热成像与点云结合的数控机床设备故障检测方法，其特征在于，所述对所述标记图像进行特征提取，得到多个第一特征，包括：
将所述标记图像与所述标记点云进行配准，得到所述标记图像中的标记特征点在所述标记点云中的坐标信息，其中，所述标记特征点包括所述标记图像中的标记框的顶点；
将所述标记图像分割为多个局部图像，提取每个所述局部图像对应的图像特征，将所述局部图像的所述图像特征与所述局部图像中包括的标记特征点在所述标记点云中的坐标信息结合，得到所述局部图像对应的所述第一特征。
3.根据权利要求2所述的基于红外热成像与点云结合的数控机床设备故障检测方法，其特征在于，所述将所述局部图像的所述图像特征与所述局部图像中包括的标记特征点在所述标记点云中的坐标信息结合，得到所述局部图像对应的所述第一特征，包括：
当所述局部图像中包括完整的标记框时，将完整的标记框的所有顶点在所述标记点云中的坐标信息与所述局部图像的所述图像特征结合，得到所述局部图像对应的所述第一特征；
当所述局部图像中包括不完整的标记框时，获取所述局部图像的目标顶点在所述标记点云中的坐标信息，将所述目标顶点和所述局部图像中的所述标记特征点在所述标记点云中的坐标信息、以及所述局部图像的所述图像特征结合，得到所述局部图像对应的所述第一特征；所述目标顶点为所述局部图像的顶点，且所述目标顶点在所述局部图像中包括的标记框内。
4.根据权利要求1所述的基于红外热成像与点云结合的数控机床设备故障检测方法，其特征在于，所述对所述标记点云进行特征提取，得到多个第二特征，包括：
将所述标记点云分割为多个局部点云，提取每个所述局部点云的几何特征，将所述局部点云的所述几何特征与所述局部点云中包括的标记结合，得到所述局部点云对应的所述第二特征。
5.一种基于红外热成像与点云结合的数控机床设备故障检测装置，其特征在于，包括：
初始数据采集模块，用于获取待检测机床的红外图像和初始点云，所述红外图像是对所述待检测机床进行红外热成像生成的，所述初始点云是对所述待检测机床进行三维点云数据采集生成的；
标记模块，用于对所述红外图像进行标记，生成标记图像，对所述初始点云进行标记，生成标记点云，所述标记图像中的标记框反映所述红外图像中所述待检测机床的目标设备所在区域，所述标记点云中的关联标志反映所述初始点云中的所述目标设备所在区域，所述目标设备在所述待检测机床中的检测优先级大于所述待检测机床中的其他设备；
特征提取模块，用于对所述标记图像进行特征提取，得到多个第一特征，对所述标记点云进行特征提取，得到多个第二特征；
故障设备预测模块，用于基于所述第一特征、所述第二特征和已训练的故障检测模型，获取所述待检测机床的故障检测结果，所述故障检测结果中包括所述待检测机床的故障设备；
所述故障检测模型包括第一故障检测子模型、第二故障检测子模型以及融合预测模块；所述基于所述第一特征、所述第二特征和已训练的故障检测模型，获取所述待检测机床的故障检测结果，包括：
将各个所述第一特征输入至所述第一故障检测子模型，获取所述第一故障检测子模型输出的第一预测特征；
将各个所述第二特征输入至所述第二故障检测子模型，获取所述第二故障检测子模型输出的第二预测特征；
将所述第一预测特征和所述第二预测特征输入至所述融合预测模块，通过所述融合预测模块对所述第一预测特征和所述第二预测特征进行融合，得到融合特征，并基于所述融合特征输出所述故障检测结果；
所述故障检测模型基于如下步骤训练得到：
从多组训练数据中确定目标训练数据，所述目标训练数据包括样本第一特征、样本第二特征以及故障检测结果标签；
将所述样本第一特征输入至所述第一故障检测子模型，获取样本第一预测特征；
将所述样本第二特征输入至所述第二故障检测子模型，获取样本第二预测特征；
将所述样本第一预测特征和所述样本第二预测特征输入至所述融合预测模块，获取所述融合预测模块输出的样本故障检测结果；
基于所述样本第一预测特征、所述样本第二预测特征、所述样本故障检测结果和所述故障检测结果标签确定所述目标训练数据对应的训练损失；
基于所述训练损失更新所述故障检测模型的参数；
所述基于所述样本第一预测特征、所述样本第二预测特征、所述样本故障检测结果和所述故障检测结果标签确定所述目标训练数据对应的训练损失，包括：
将所述样本第一预测特征和样本红外图像输入至第一目标检测模型中，获取所述第一目标检测模型输出的目标检测图像，所述样本第一特征是对样本标记图像进行特征提取得到的特征，所述样本标记图像是对所述样本红外图像进行标记得到的图像；
将所述样本第二预测特征和样本初始点云输入至第二目标检测模型中，获取所述第二目标检测模型输出的目标检测点云，所述样本第二特征是对样本标记点云进行特征提取得到的特征，所述样本标记点云是对所述样本初始点云进行标记得到的图像；
根据所述目标检测图像和所述样本标记图像确定第一损失，根据所述目标检测点云和所述样本标记点云确定第二损失，根据所述样本故障检测结果和所述故障检测结果标签确定第三损失；
基于所述第一损失、所述第二损失和所述第三损失确定所述训练损失。
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述基于红外热成像与点云结合的数控机床设备故障检测方法。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于红外热成像与点云结合的数控机床设备故障检测方法。
CN202310612633.7A 2023-05-29 2023-05-29 基于红外热成像与点云结合的数控机床设备故障检测方法 Active CN116385431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310612633.7A CN116385431B (zh) 2023-05-29 2023-05-29 基于红外热成像与点云结合的数控机床设备故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310612633.7A CN116385431B (zh) 2023-05-29 2023-05-29 基于红外热成像与点云结合的数控机床设备故障检测方法

Publications (2)

Publication Number Publication Date
CN116385431A CN116385431A (zh) 2023-07-04
CN116385431B true CN116385431B (zh) 2023-08-11

Family

ID=86969721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310612633.7A Active CN116385431B (zh) 2023-05-29 2023-05-29 基于红外热成像与点云结合的数控机床设备故障检测方法

Country Status (1)

Country Link
CN (1) CN116385431B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933708A (zh) * 2015-06-07 2015-09-23 浙江大学 一种基于多谱三维特征融合的植被环境中障碍物检测方法
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法
CN112330676A (zh) * 2020-12-31 2021-02-05 中国电力科学研究院有限公司 基于红外点云的变电站/换流站缺陷诊断方法及系统
CN113269744A (zh) * 2021-05-20 2021-08-17 国网天津市电力公司 一种应用于输电线路设备缺陷的红外智能识别方法及系统
CN115294538A (zh) * 2022-05-19 2022-11-04 上海仙途智能科技有限公司 障碍物检测方法及装置、存储介质、终端

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110168559A (zh) * 2017-12-11 2019-08-23 北京嘀嘀无限科技发展有限公司 用于识别和定位车辆周围物体的系统和方法
US10768605B2 (en) * 2018-07-23 2020-09-08 Accenture Global Solutions Limited Augmented reality (AR) based fault detection and maintenance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933708A (zh) * 2015-06-07 2015-09-23 浙江大学 一种基于多谱三维特征融合的植被环境中障碍物检测方法
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法
CN112330676A (zh) * 2020-12-31 2021-02-05 中国电力科学研究院有限公司 基于红外点云的变电站/换流站缺陷诊断方法及系统
CN113269744A (zh) * 2021-05-20 2021-08-17 国网天津市电力公司 一种应用于输电线路设备缺陷的红外智能识别方法及系统
CN115294538A (zh) * 2022-05-19 2022-11-04 上海仙途智能科技有限公司 障碍物检测方法及装置、存储介质、终端

Also Published As

Publication number Publication date
CN116385431A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN110020620B (zh) 一种大姿态下的人脸识别方法、装置及设备
CN109840477B (zh) 基于特征变换的受遮挡人脸识别方法及装置
CN114155244B (zh) 缺陷检测方法、装置、设备及存储介质
CN114746898A (zh) 用于生成图像抠图的三分图的方法和系统
CN110705531B (zh) 缺失字符检测、缺失字符检测模型的建立方法及装置
CN110232418B (zh) 一种语义识别方法、终端及计算机可读存储介质
CN114419570A (zh) 一种点云数据识别方法、装置、电子设备及存储介质
CN113569852A (zh) 语义分割模型的训练方法、装置、电子设备及存储介质
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN115880536A (zh) 数据处理方法、训练方法、目标对象检测方法及装置
CN116843834A (zh) 一种三维人脸重建及六自由度位姿估计方法、装置及设备
CN115223166A (zh) 图片预标注方法、图片标注方法及装置、电子设备
CN115019135A (zh) 模型训练、目标检测方法、装置、电子设备及存储介质
CN114005019A (zh) 一种翻拍图像识别方法及其相关设备
CN116385431B (zh) 基于红外热成像与点云结合的数控机床设备故障检测方法
CN116543143A (zh) 一种目标检测模型的训练方法、目标检测方法及装置
CN116259040A (zh) 识别交通标志的方法、装置和电子设备
CN115602042A (zh) 空白图斑地球化学元素含量赋值方法、装置和电子设备
CN115311553A (zh) 目标检测方法、装置、电子设备及存储介质
CN112733670A (zh) 指纹特征提取方法、装置、电子设备及存储介质
CN116563840B (zh) 基于弱监督跨模态对比学习的场景文本检测与识别方法
CN116778534B (zh) 图像处理方法、装置、设备和介质
CN117173530B (zh) 目标异常检测方法及装置
CN118072135A (zh) 基于多模态模型的动作预测方法及系统
CN115909181A (zh) 模型更新方法及装置、设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant