CN114708587B - 一种基于图像识别的数控机床工件加工余量确定方法 - Google Patents

一种基于图像识别的数控机床工件加工余量确定方法 Download PDF

Info

Publication number
CN114708587B
CN114708587B CN202210627892.2A CN202210627892A CN114708587B CN 114708587 B CN114708587 B CN 114708587B CN 202210627892 A CN202210627892 A CN 202210627892A CN 114708587 B CN114708587 B CN 114708587B
Authority
CN
China
Prior art keywords
workpiece
model
real
determining
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210627892.2A
Other languages
English (en)
Other versions
CN114708587A (zh
Inventor
吴承科
刘祥飞
谭家娟
鲁江权
杨之乐
蒋锐
郭媛君
李骁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Hangmai CNC Software Shenzhen Co Ltd
Original Assignee
Zhongke Hangmai CNC Software Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Hangmai CNC Software Shenzhen Co Ltd filed Critical Zhongke Hangmai CNC Software Shenzhen Co Ltd
Priority to CN202210627892.2A priority Critical patent/CN114708587B/zh
Publication of CN114708587A publication Critical patent/CN114708587A/zh
Application granted granted Critical
Publication of CN114708587B publication Critical patent/CN114708587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23QDETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q1/00Members which are comprised in the general build-up of a form of machine, particularly relatively large fixed members
    • B23Q1/0009Energy-transferring means or control lines for movable machine parts; Control panels or boxes; Control parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于图像识别的数控机床工件加工余量确定方法,方法包括:获取待加工工件的图像数据,并对图像数据进行特征识别,确定图像数据中的工件形状特征,并基于工件形状特征,确定与工件形状特征所对应的参考3D模型,参考3D模型用于反映待加工工件在加工完成后的工件形状;获取待加工工件的激光点云数据,并基于激光点云数据,确定待加工工件的实时3D模型;根据实时3D模型与参考3D模型,确定待加工工件的加工余量。本发明可实现对加工余量的实时追踪,方便对待加工工件进行加工。

Description

一种基于图像识别的数控机床工件加工余量确定方法
技术领域
本发明涉及数控机床技术领域,尤其涉及一种基于图像识别的数控机床工件加工余量确定方法。
背景技术
随着数控加工技术的进步,越来越多的工件可利用数控机床来进行加工。目前的数控机床包括数控车床、数控铣床等,但是,目前的数据机床在对工件进行加工时,基本都是按照预先设置的加工工艺信息来调取对应的夹具、刀具等部件并按照预设的加工路径来对工件进行加工。但是并不会对工件的加工余量进行监控,以致于无法对工件的加工过程进行控制。
因此,现有技术还有待改进和提高。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种基于图像识别的数控机床工件加工余量确定方法,旨在解决现有技术中不会对工件的加工余量进行监控,以致于无法对工件的加工过程进行控制的问题。
为了解决上述技术问题,本发明所采用的技术方案如下:
第一方面,本发明提供一种基于图像识别的数控机床工件加工余量确定方法,其中,方法包括:
获取待加工工件的图像数据,并对图像数据进行特征识别,确定图像数据中的工件形状特征,并基于工件形状特征,确定与工件形状特征所对应的参考3D模型,参考3D模型用于反映待加工工件在加工完成后的工件形状;
获取待加工工件的激光点云数据,并基于激光点云数据,确定待加工工件的实时3D模型;
根据实时3D模型与参考3D模型,确定待加工工件的加工余量。
在一种实现方式中,获取待加工工件的图像数据,并对图像数据进行特征识别,确定图像数据中的工件形状特征,包括:
基于图像采集装置,采集待加工工件的图像数据;
将图像数据输入至预设的CNN边缘检测模型,确定图像数据中的图像边缘数据;
对图像边缘数据进行灰度特征提取,得到灰度特征数据;
根据灰度特征数据,确定工件形状特征。
在一种实现方式中,基于工件形状特征,确定与工件形状特征所对应的参考3D模型,包括:
基于工件形状特征,确定待加工工件所对应的工件类型;
将工件类型与预设的模型模板库进行匹配,确定参考3D模型,其中,模型模板库中用于反映工件形状特征、工件类型以及参考3D模型三者之间的映射关系。
在一种实现方式中,将工件类型与预设的模型模板库进行匹配,确定参考3D模型,包括:
基于工件类型在模型模板中找出与工件类型所对应的候选参考3D模型;
将工件形状特征与候选参考3D模型进行匹配,确定与工件形状特征所对应的参考3D模型。
在一种实现方式中,基于激光点云数据,确定待加工工件的实时3D模型,包括:
对激光点云数据进行分析,从激光点云数据中,确定工件的实时形状特征以及实时加工环境;
根据实时加工环境,确定所述实时加工环境所对应的加工工艺信息;
将实时形状特征与加工工艺信息进行匹配,确定加工工艺信息中,与实时形状特征所对应的加工进程;
基于加工进程与实时形状特征,生成实时3D模型。
在一种实现方式中,根据实时3D模型与参考3D模型,确定待加工工件的加工余量,包括:
将参考3D模型以及参考3D模型所对应的工件形状特征作为监控基准;
将参考3D模型所对应的工件形状特征与实时3D模型所对应的工件形状特征进行参数对比,确定加工余量。
在一种实现方式中,将参考3D模型所对应的工件形状特征与实时3D模型所对应的工件形状特征进行参数对比,确定加工余量,包括:
将参考3D模型所对应的工件形状特征与实时3D模型所对应的工件形状特征进行参数对比,确定参考3D模型所对应的工件形状特征与实时3D模型所对应的工件形状特征之间的差异数据;
根据差异数据,确定待加工工件的加工余量。
第二方面,本发明实施例还提供一种基于图像识别的数控机床工件加工余量确定系统,其中,系统包括:
参考3D模型确定模块,用于获取待加工工件的图像数据,并对图像数据进行特征识别,确定图像数据中的工件形状特征,并基于工件形状特征,确定与工件形状特征所对应的参考3D模型,参考3D模型用于反映待加工工件在加工完成后的工件形状;
实时3D模型生成模块,用于获取待加工工件的激光点云数据,并基于激光点云数据,确定待加工工件的实时3D模型;
加工余量确定模块,用于根据实时3D模型与参考3D模型,确定待加工工件的加工余量。
第三方面,本发明实施例还提供一种终端设备,终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于图像识别的数控机床工件加工余量确定程序,处理器执行基于图像识别的数控机床工件加工余量确定程序时,实现如上述方案中任一项的基于图像识别的数控机床工件加工余量确定方法的步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有基于图像识别的数控机床工件加工余量确定程序,基于图像识别的数控机床工件加工余量确定程序被处理器执行时,实现如上述方案中任一项的基于图像识别的数控机床工件加工余量确定方法的步骤。
有益效果:与现有技术相比,本发明提供了一种基于图像识别的数控机床工件加工余量确定方法,本发明首先获取待加工工件的图像数据,并对图像数据进行特征识别,确定图像数据中的工件形状特征,并基于工件形状特征,确定与工件形状特征所对应的参考3D模型,参考3D模型用于反映待加工工件在加工完成后的工件形状。然后,获取待加工工件的激光点云数据,并基于激光点云数据,确定待加工工件的实时3D模型。最后,根据实时3D模型与参考3D模型,确定待加工工件的加工余量。本发明基于图像识别的方式对待加工工件的图像数据进行识别,确定待加工工件的工件形状特征,并基于该工件形状特征确定对应的参考3D模型,基于该参考3D模型来与待加工工件的实时3D模型来确定加工余量,以便实现对加工余量的实时追踪,方便对待加工工件进行加工。
附图说明
图1为本发明实施例提供的基于图像识别的数控机床工件加工余量确定方法的具体实施方式的流程图。
图2为本发明实施例提供的基于图像识别的数控机床工件加工余量确定系统的原理框图。
图3为本发明实施例提供的终端设备的原理框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本实施例提供一种基于图像识别的数控机床工件加工余量确定方法,具体实施时,本实施例首先获取待加工工件的图像数据,并对图像数据进行特征识别,确定图像数据中的工件形状特征,并基于工件形状特征,确定与工件形状特征所对应的参考3D模型,参考3D模型用于反映待加工工件在加工完成后的工件形状。然后,获取待加工工件的激光点云数据,并基于激光点云数据,确定待加工工件的实时3D模型。最后,根据实时3D模型与参考3D模型,确定待加工工件的加工余量。本实施例基于图像识别的方式对待加工工件的图像数据进行识别,确定待加工工件的工件形状特征,并基于该工件形状特征确定对应的参考3D模型,基于该参考3D模型来与待加工工件的实时3D模型来确定加工余量,以便实现对加工余量的实时追踪,方便对待加工工件进行加工。
示例性方法
本实施例的基于图像识别的数控机床工件加工余量确定方法可应用在终端设备上,也可以应用于数控机床上,所述终端设备可为电脑,并与数控机床连接。所述终端设备还可直接设置为所述数控机床中的智能控制模块。具体如图1中所示,方法包括:
步骤S100、获取待加工工件的图像数据,对所述图像数据进行特征识别,确定所述图像数据中的工件形状特征,并基于所述工件形状特征,确定与所述工件形状特征所对应的参考3D模型,所述参考3D模型用于反映待加工工件在加工完成后的工件形状。
本实施例中的图像数据为待加工工件在执行下一个加工步骤之前的图像或者在待加工工件在执行加工步骤的过程中的图像。当得到待加工工件的图像数据后,本实施例对图像数据进行特征识别,识别出该图像数据中的工件形状特征,工件形状特征所反映的是待加工工件的形状。然后基于识别出的工件形状特征,确定与工件形状特征所对应的参考3D模型,参考3D模型用于反映待加工工件在加工完成后的工件形状,即该参考3D模型反映的待加工工件的最终设计状态。
在一种实现方式中,本实施例在确定工件形状特征时,包括如下步骤:
步骤S101、基于图像采集装置,采集待加工工件的图像数据;
步骤S102、将图像数据输入至预设的CNN边缘检测模型,确定图像数据中的图像边缘数据;
步骤S103、对图像边缘数据进行灰度特征提取,得到灰度特征数据;
步骤S104、根据灰度特征数据,确定工件形状特征。
具体地,本实施例基于图像采集装置对待加工工件进行图像采集,得到待加工工件的图像数据,该图像采集装置可在待加工工件在进行加工之前进行采集,也可以在执行某一个加工步骤之后进行采集。当采集得到图像数据后,本实施例将该图像数据输入至预设的CNN边缘检测模型,基于该CNN 边缘检测模型是基于大量训练图像对CNN网络(卷积神经网络)训练而成的,这些训练图像中包含了各种形状的工件的图像,并且还对每一张图像中的工件轮廓进行了标注,这样在使用这些训练图像进行训练时,CNN网络就可以从这些训练图像中学习到工件的轮廓信息,并形成一个CNN边缘检测模型。当图像采集装置(如相机)采集到待加工工件的图像数据之后,将该图像数据输入至CNN边缘检测模型,该CNN边缘检测模型检测到图像数据中的图像边缘数据,也就是该图像数据中待加工工件的边缘。在检测到图像边缘数据后,本实施例对该图像边缘数据进行灰度特征,进行灰度特征提取,得到灰度特征数据,灰度特征数据反映的是该待加工工的轮廓,由于图像采集装置采集到的图像数据为彩色图像,当彩色图像的待加工工件的边缘识别出来后,基于灰度特征的提取就可以将边缘的灰度数据提取,这些灰度数据刚好就是待加工工件的边缘上的灰度数据,而提取出的灰度数据为待加工工件的图像与背景之间的分界,因此根据灰度特征数据,就可以确定工件形状特征。
当确定出工件形状特征后,本实施例进一步根据工件形状特征确定与该工件形状特征所对应的参考3D模型,具体包括如下步骤:
步骤S11、基于工件形状特征,确定待加工工件所对应的工件类型;
步骤S12、将工件类型与预设的模型模板库进行匹配,确定参考3D模型,其中,模型模板库中用于反映工件形状特征、工件类型以及参考3D模型三者之间的映射关系。
具体地,本实施例根据工件形状特征,可确定出待加工工件所对应的工件类型,工件类型是基于形状特征进行划分的,比如工件形状特征为长条状,则对应的工件类型为轴。本实施例确定出工件类型是为了快速确定参考3D模型。在本实施例中,预先设置一个模型模板库,该模型模板库中设置有若干参考3D模型,并且还设置有工件形状特征、工件类型以及参考3D模型三者之间的映射关系,即工件形状特征--工件类型--参考3D模型。因此,本实施例首先可基于工件类型,在模型模板库中找出与工件类型对应的候选参考模型,然后再基于工件形状特征,从候选参考模型中筛选出与工件形状特征所对应的参考3D模型,由此可见,本实施例是基于金字塔决策的方式一步一步地确定出参考3D模型,实现高效且准确地确定参考3D模型。
在具体应用时,本实施例中的参考3D模型是基于待加工工件的设计图纸生成的,因此参考3D模型是待加工工件在加工完成后的理想状态。当然,本实施例也可针对该待加工工件的每一个加工进程完成后,都生成一个参考3D模型,以体现出该待加工工件在整个加工过程中形状以及尺寸的动态变化过程。因此,本实施例的模型模板库中可设置每一个待加工工件中每一个加工进程所对应的参考3D模型。
步骤S200、获取所述待加工工件的激光点云数据,并基于所述激光点云数据,确定待加工工件的实时3D模型。
本实施例在待加工工件被加工时,可实时采集工件在加工过程中的激光点云数据,由于激光点云数据是在待加工工件被加工的过程中实时采集的,因此这些激光点云反映了待加工工件在加工过程中对应的加工状态数据,所述加工状态数据用于反映所述工件的加工进程。也就是说,本实施例可根据激光点云数据确定此时待加工工件正在被执行哪一个加工步骤。当确定所述待加工工件的加工进程后,本实施例可确定所述待加工工件在所述加工进程下的参数数据,所述参数数据反映的是该工件的实时尺寸数据、实时形状数据等。基于这些参数数据,本实施例可实时生成待加工工件的实时3D模型,所述实时3D模型反映的是此时待加工工件的实时尺寸以及实时形状,并且由于该实时3D模型可反映出工件的详细的建模数据。
在一种实现方式中,本实施例在确定实时3D模型时,包括如下步骤:
步骤S301、对激光点云数据进行分析,从激光点云数据中,确定工件的实时形状特征以及实时加工环境;
步骤S302、根据实时加工环境,确定所述实时加工环境所对应的加工工艺信息;
步骤S303、将实时形状特征与加工工艺信息进行匹配,确定加工工艺信息中,与实时形状特征所对应的加工进程;
步骤S303、基于加工进程与实时形状特征,生成实时3D模型。
具体地,本实施例首先基于相机对待加工工件的点云数据进行扫描,得到所述激光点云数据。具体地,在采集时,可在该待加工工件开始执行加工步骤后利用双目相机采集待加工工件的图像,并通过多图像像素点进行匹配,生成点云数据,并且本实施例可控制双目相机每隔10秒对待加工工件进行图像采集,以得到该待加工工件在不同时间的激光点云数据。
在一种实现方式中,本实施例在所述待加工工件在加工时,对所述待加工工件进行扫描,首先得到稀疏点云数据。为了提高后续步骤中点云数据的分析准确度,本实施例基于MVS算法(multi view system从多视图的密集重建)对所述稀疏点云数据进行处理,得到稠密点云数据,并将所述稠密点云数据作为所述激光点云数据。也就是说,本实施例获取不同视图的稀疏点云数据,然后基于MVS算法将多视图的稀疏点云数据进行处理,得到稠密点云数据,即得到激光点云数据。
具体地,本实施例在获取到激光点云数据后,本实施例对该激光点云数据进行分析,由于该激光点云数据是直接对待加工工件进行扫描得到的,因此可以从该激光点云数据中确定该待加工工件的实时形状特征以及实时加工环境。在本实施例中,所述实时形状特征为该待加工工件在加工过程中的形状,由于工件在加工过程中会被车削、铣削等操作,因此待加工工件的形状是不断变化的,因此,本实施例所确定出的实时形状特征反映的是该待加工工件在加工过程中某一个时刻或者某一个阶段的形状。本实施例中的实时加工环境反映的是所述待加工工件此时的加工工艺信息,而加工工艺信息反映的是此时待加工工件位于哪一个加工步骤,或者说,此时待加工工件在被加工时使用的刀具或者夹具是什么。因此,本实施例就可以根据所述实时加工环境,确定所述加工环境所对应的加工工艺信息。
具体地,本实施例在确定待加工工件的实时形状特征与实时加工环境时,可基于预设的分割模型来对激光点云数据进行分割处理,从该激光点云数据中分别分割出用于反映实时形状特征的激光点云数据以及用于反映实时加工环境的激光点云数据,然后分别对这两种激光点云数据进行分析,从而确定实时形状特征以及实时加工环境。在另一种实现方式中,本实施例还可基于图像识别的方式来确定实时形状特征和实时加工环境。具体地,本实施例可对待加工加工在加工过程中拍摄图像数据,然后对图像数据进行识别。由于图像数据中可清楚的反映出待加工工件此刻的状态以及待加工工件在加工过程中使用的刀具、夹具等,因此就可以从该图像数据中得到工件形状特征以及加工环境特征,并根据工件形状特征确定工件的实时形状特征,以及根据加工环境特征确定实时加工环境。在确定实时形状特征后,本实施例还可以对图像数据中的工件进行测量,得到具体的实时形状参数和/或实时尺寸参数。
进一步地,由于本实施例确定出了待加工工件的实时形状特征,并且也确定出了待加工工件的加工工艺信息(即此时工件位于哪一个加工步骤),而待加工工件在执行每一个加工步骤时,都会有对应的形状,当某个加工步骤执行完成后,待加工工件的形状就会更新,因此本实施例在得到所述待加工工件的实时形状特征以及加工工艺信息后,就可以将此时获取到的实时形状特征与确定的加工工艺信息所对应的形状(即执行该加工步骤时,理论上工件所对应的形状)进行匹配,如果匹配成功了,则该加工工艺信息中的刀具和夹具以及具体的加工步骤,就是该待加工工件此时的加进程,即对应加工工艺信息中的哪一个加工步骤或者哪一些加工步骤。
接着,本实施例再根据确定出的加工进程与实时形状特征,生成实时3D模型。具体地,当确定所述待加工工件的加工进程后,本实施例可确定所述待加工工件在所述加工进程下的参数数据,所述参数数据反映的是该工件的实际尺寸数据等。基于将这些参数数据与实时形状特征进行结合,就可实时生成待加工工件的实时3D模型,所述实时3D模型反映的是此时待加工工件的实际尺寸以及实际形状,并且由于该实时3D模型可反映出此时的待加工工件的详细的建模数据。此外,本实施例在确定出当前加工进程所的对应的实时3D模型后,就可以调取与当前加工进程相同的参考3D模型,以便后续对于加工余量的分析。
步骤S300、根据所述实时3D模型与所述参考3D模型,确定所述待加工工件的加工余量。
由于所述实时3D模型反映的是此时待加工工件的实际尺寸以及实际形状,而参考3D模型反映的该待加工工件在加工完成后或者在某一个加工步骤完成后的设计尺寸和设计形状,因此,本实施例根据实时3D模型和参考3D模型,就可以确定出待加工工件的加工余量,所述加工余量反映的是实时3D模型与参考3D模型之间的差异。
在一种实现方式中,本实施例在确定加工余量时,包括如下步骤:
步骤S301、将参考3D模型以及参考3D模型所对应的工件形状特征作为监控基准;
步骤S302、将参考3D模型所对应的工件形状特征与实时3D模型所对应的工件形状特征进行参数对比,确定加工余量。
本实施例将参考3D模型以及参考3D模型所对应的工件形状特征作为监控基准,也就是以参考3D模型以及参考3D模型所对应的工件形状特征作为标准来对实时3D模型所对应的工件形状特征进行分析,以确定出加工余量。具体地,将参考3D模型所对应的工件形状特征与实时3D模型所对应的工件形状特征进行参数对比,确定参考3D模型所对应的工件形状特征与实时3D模型所对应的工件形状特征之间的差异数据。由于工件形状特征与尺寸数据是对应的,因此,基于参考3D模型所对应的工件形状特征与实时3D模型所对应的工件形状特征确定出的差异数据,就是参考3D模型与实时3D模型之间的尺寸差异数据,该尺寸差异数据即为加工余量。
在具体应用时,本实施例可针对待加工工件在完成每一个加工进程后都生成一个实时3D模型,然后将生成的实时3D模型将该加工进程所对应的参考3D模型进行比较,从而确定两者之间的尺寸差异数据,即得到此时的加工余量,这样可在加工过程中实现对待加工工件的加工余量进行实时监控,有利于及时调取相应的加工资源,从而保证加工质量。
综上,本实施例首先获取待加工工件的图像数据,并对图像数据进行特征识别,确定图像数据中的工件形状特征,并基于工件形状特征,确定与工件形状特征所对应的参考3D模型,参考3D模型用于反映待加工工件在加工完成后的工件形状。然后,获取待加工工件的激光点云数据,并基于激光点云数据,确定待加工工件的实时3D模型。最后,根据实时3D模型与参考3D模型,确定待加工工件的加工余量。本实施例基于图像识别的方式对待加工工件的图像数据进行识别,确定待加工工件的工件形状特征,并基于该工件形状特征确定对应的参考3D模型,基于该参考3D模型来与待加工工件的实时3D模型来确定加工余量,以便实现对加工余量的实时追踪,方便对待加工工件进行加工。
示例性系统
基于上述实施例,本发明还提供一种基于图像识别的数控机床工件加工余量确定系统,如图2中所示,所述系统包括:参考3D模型确定模块10、实时3D模型生成模块20以及加工余量确定模块30。具体地,所述参考3D模型确定模块10,用于获取待加工工件的图像数据,并对图像数据进行特征识别,确定图像数据中的工件形状特征,并基于工件形状特征,确定与工件形状特征所对应的参考3D模型,参考3D模型用于反映待加工工件在加工完成后的工件形状。所述实时3D模型生成模块20,用于获取待加工工件的激光点云数据,并基于激光点云数据,确定待加工工件的实时3D模型。所述加工余量确定模块30,用于根据实时3D模型与参考3D模型,确定待加工工件的加工余量。
在一种实现方式中,所述参考3D模型确定模块10,包括:
图像数据采集单元,用于基于图像采集装置,采集待加工工件的图像数据;
边缘数据提取单元,用于将图像数据输入至预设的CNN边缘检测模型,确定图像数据中的图像边缘数据;
灰度特征提取单元,用于对图像边缘数据进行灰度特征提取,得到灰度特征数据;
形状特征确定单元,用于根据灰度特征数据,确定工件形状特征。
在一种实现方式中,所述参考3D模型确定模块10,包括:
工件类型确定单元,用于基于工件形状特征,确定待加工工件所对应的工件类型;
模型确定单元,用于将工件类型与预设的模型模板库进行匹配,确定参考3D模型,其中,模型模板库中用于反映工件形状特征、工件类型以及参考3D模型三者之间的映射关系。
在一种实现方式中,所述模型确定单元,包括:
候选模型确定子单元,用于基于工件类型在模型模板中找出与工件类型所对应的候选参考3D模型;
参考3D模型生成子单元,用于将工件形状特征与候选参考3D模型进行匹配,确定与工件形状特征所对应的参考3D模型。
在一种实现方式中,所述实时3D模型生成模块20,包括:
激光点云分析单元,用于对激光点云数据进行分析,从激光点云数据中,确定工件的实时形状特征以及实时加工环境;
工艺信息分析单元,用于根据实时加工环境,确定所述实时加工环境所对应的加工工艺信息;
加工进程分析单元,用于将实时形状特征与加工工艺信息进行匹配,确定加工工艺信息中,与实时形状特征所对应的加工进程;
实时3D模型分析单元,用于基于加工进程与实时形状特征,生成实时3D模型。
在一种实现方式中,所述加工余量确定模块30,包括:
监控基准确定单元,用于将参考3D模型以及参考3D模型所对应的工件形状特征作为监控基准;
加工余量分析单元,用于将参考3D模型所对应的工件形状特征与实时3D模型所对应的工件形状特征进行参数对比,确定加工余量。
在一种实现方式中,所述加工余量分析单元,包括:
差异数据确定子单元,用于将参考3D模型所对应的工件形状特征与实时3D模型所对应的工件形状特征进行参数对比,确定参考3D模型所对应的工件形状特征与实时3D模型所对应的工件形状特征之间的差异数据;
加工余量确定子单元,用于根据差异数据,确定待加工工件的加工余量。
本实施例的基于图像识别的数控机床工件加工余量确定系统中各个模块的工作原理与上述方法实施例中各个步骤的原理相同,此处不再赘述。
基于上述实施例,本发明还提供了一种终端设备,该终端设备的原理框图可以如图3所示。该终端设备包括通过系统总线连接的处理器、存储器,处理器与存储器设置在主机中。其中,该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络通讯连接通信。该计算机程序被处理器执行时以实现一种基于图像识别的数控机床工件加工余量确定方法。
本领域技术人员可以理解,图3中示出的原理框图,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的终端设备的限定,具体的终端设备以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种终端设备,终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于图像识别的数控机床工件加工余量确定方法程序,处理器执行基于图像识别的数控机床工件加工余量确定方法程序时,实现如下操作指令:
获取待加工工件的图像数据,并对图像数据进行特征识别,确定图像数据中的工件形状特征,并基于工件形状特征,确定与工件形状特征所对应的参考3D模型,参考3D模型用于反映待加工工件在加工完成后的工件形状;
获取待加工工件的激光点云数据,并基于激光点云数据,确定待加工工件的实时3D模型;
根据实时3D模型与参考3D模型,确定待加工工件的加工余量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成的,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、运营数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双运营数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上,本发明公开了一种基于图像识别的数控机床工件加工余量确定方法,方法包括:获取待加工工件的图像数据,并对图像数据进行特征识别,确定图像数据中的工件形状特征,并基于工件形状特征,确定与工件形状特征所对应的参考3D模型,参考3D模型用于反映待加工工件在加工完成后的工件形状;获取待加工工件的激光点云数据,并基于激光点云数据,确定待加工工件的实时3D模型;根据实时3D模型与参考3D模型,确定待加工工件的加工余量。本发明可实现对加工余量的实时追踪,方便对待加工工件进行加工。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于图像识别的数控机床工件加工余量确定方法,其特征在于,方法包括:
获取待加工工件的图像数据,对所述图像数据进行特征识别,确定所述图像数据中的工件形状特征,并基于所述工件形状特征,确定与所述工件形状特征所对应的参考3D模型,所述参考3D模型用于反映待加工工件在加工完成后的工件形状;
获取所述待加工工件的激光点云数据,并基于所述激光点云数据,确定待加工工件的实时3D模型;
根据所述实时3D模型与所述参考3D模型,确定所述待加工工件的加工余量;
所述获取待加工工件的图像数据,对所述图像数据进行特征识别,确定所述图像数据中的工件形状特征,包括:
基于图像采集装置,采集所述待加工工件的图像数据;
将所述图像数据输入至预设的CNN边缘检测模型,确定所述图像数据中的图像边缘数据,其中,所述CNN 边缘检测模型是基于训练图像对CNN网络训练而成的,所述训练图像中包含了各种形状的工件的图像,且还对每一张图像中的工件轮廓进行了标注;
对所述图像边缘数据进行灰度特征提取,得到灰度特征数据,其中,所述灰度特征数据是待加工工件的边缘上的灰度数据,反映的是待加工工件的图像与背景之间的分界;
根据所述灰度特征数据,确定所述工件形状特征;
所述获取所述待加工工件的激光点云数据,包括:
在所述待加工工件在加工时,对所述待加工工件进行扫描,得到稀疏点云数据;
基于MVS算法对所述稀疏点云数据进行处理,得到稠密点云数据,并将所述稠密点云数据作为所述激光点云数据;
所述基于所述激光点云数据,确定待加工工件的实时3D模型,包括:
对所述激光点云数据进行分析,从所述激光点云数据中,确定所述待加工工件的实时形状特征以及实时加工环境;
根据所述实时加工环境,确定所述实时加工环境所对应的加工工艺信息;
将所述实时形状特征与所述加工工艺信息进行匹配,确定所述加工工艺信息中,与所述实时形状特征所对应的加工进程;
基于所述加工进程与所述实时形状特征,生成实时3D模型;
所述对所述激光点云数据进行分析,从所述激光点云数据中,确定所述待加工工件的实时形状特征以及实时加工环境,包括:
基于预设的分割模型来对激光点云数据进行分割处理,从所述激光点云数据中分别分割出用于反映实时形状特征的激光点云数据以及用于反映实时加工环境的激光点云数据;
分别对这两种激光点云数据进行分析,确定所述实时形状特征以及所述实时加工环境;
或者,
在所述待加工工件 在加工过程中拍摄图像数据,对图像数据进行识别;
从所述图像数据中得到工件形状特征以及加工环境特征,并根据工件形状特征确定工件的所述实时形状特征,以及根据加工环境特征确定所述实时加工环境。
2.根据权利要求1所述的基于图像识别的数控机床工件加工余量确定方法,其特征在于,所述基于所述工件形状特征,确定与所述工件形状特征所对应的参考3D模型,包括:
基于所述工件形状特征,确定所述待加工工件所对应的工件类型;
将所述工件类型与预设的模型模板库进行匹配,确定所述参考3D模型,其中,所述模型模板库中用于反映所述工件形状特征、所述工件类型以及所述参考3D模型三者之间的映射关系。
3.根据权利要求2所述的基于图像识别的数控机床工件加工余量确定方法,其特征在于,所述将所述工件类型与预设的模型模板库进行匹配,确定所述参考3D模型,包括:
基于所述工件类型,在模型模板中找出与所述工件类型所对应的候选参考3D模型;
将所述工件形状特征与所述候选参考3D模型进行匹配,确定与所述工件形状特征所对应的所述参考3D模型。
4.根据权利要求1所述的基于图像识别的数控机床工件加工余量确定方法,其特征在于,所述根据所述实时3D模型与所述参考3D模型,确定所述待加工工件的加工余量,包括:
将所述参考3D模型以及所述参考3D模型所对应的工件形状特征作为监控基准;
将所述参考3D模型所对应的工件形状特征与所述实时3D模型所对应的工件形状特征进行参数对比,确定加工余量。
5.根据权利要求1所述的基于图像识别的数控机床工件加工余量确定方法,其特征在于,所述将所述参考3D模型所对应的工件形状特征与所述实时3D模型所对应的工件形状特征进行参数对比,确定加工余量,包括:
将所述参考3D模型所对应的工件形状特征与所述实时3D模型所对应的工件形状特征进行参数对比,确定所述参考3D模型所对应的工件形状特征与所述实时3D模型所对应的工件形状特征之间的差异数据;
根据所述差异数据,确定待加工工件的加工余量。
6.一种基于图像识别的数控机床工件加工余量确定系统,其特征在于,系统包括:
参考3D模型确定模块,用于获取待加工工件的图像数据,对所述图像数据进行特征识别,确定所述图像数据中的工件形状特征,并基于所述工件形状特征,确定与所述工件形状特征所对应的参考3D模型,所述参考3D模型用于反映待加工工件在加工完成后的工件形状;
实时3D模型生成模块,用于获取所述待加工工件的激光点云数据,并基于所述激光点云数据,确定待加工工件的实时3D模型;
加工余量确定模块,用于获取所述待加工工件的激光点云数据,并基于所述激光点云数据,确定待加工工件的实时3D模型;
根据所述实时3D模型与所述参考3D模型,确定所述待加工工件的加工余量;
所述参考3D模型确定模块,包括:
图像数据采集单元,用于基于图像采集装置,采集待加工工件的图像数据;
边缘数据提取单元,用于将图像数据输入至预设的CNN边缘检测模型,确定图像数据中的图像边缘数据,其中,所述CNN 边缘检测模型是基于训练图像对CNN网络训练而成的,所述训练图像中包含了各种形状的工件的图像,且还对每一张图像中的工件轮廓进行了标注;
灰度特征提取单元,用于对图像边缘数据进行灰度特征提取,得到灰度特征数据,其中,所述灰度特征数据是待加工工件的边缘上的灰度数据,反映的是待加工工件的图像与背景之间的分界;
形状特征确定单元,用于根据灰度特征数据,确定工件形状特征;
所述实时3D模型生成模块,包括:
在所述待加工工件在加工时,对所述待加工工件进行扫描,得到稀疏点云数据;
基于MVS算法对所述稀疏点云数据进行处理,得到稠密点云数据,并将所述稠密点云数据作为所述激光点云数据;
所述实时3D模型生成模块,包括:
激光点云分析单元,用于对激光点云数据进行分析,从激光点云数据中,确定工件的实时形状特征以及实时加工环境;
工艺信息分析单元,用于根据实时加工环境,确定所述实时加工环境所对应的加工工艺信息;
加工进程分析单元,用于将实时形状特征与加工工艺信息进行匹配,确定加工工艺信息中,与实时形状特征所对应的加工进程;
实时3D模型分析单元,用于基于加工进程与实时形状特征,生成实时3D模型;
所述激光点云分析单元,包括:
基于预设的分割模型来对激光点云数据进行分割处理,从所述激光点云数据中分别分割出用于反映实时形状特征的激光点云数据以及用于反映实时加工环境的激光点云数据;
分别对这两种激光点云数据进行分析,确定所述实时形状特征以及所述实时加工环境;
或者,
在所述待加工工件 在加工过程中拍摄图像数据,对图像数据进行识别;
从所述图像数据中得到工件形状特征以及加工环境特征,并根据工件形状特征确定工件的所述实时形状特征,以及根据加工环境特征确定所述实时加工环境。
7.一种终端设备,其特征在于,终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于图像识别的数控机床工件加工余量确定程序,处理器执行基于图像识别的数控机床工件加工余量确定程序时,实现如权利要求1-5任一项的基于图像识别的数控机床工件加工余量确定方法的步骤。
8.一种计算机可读存储介质,其特征在于,计算机可读存储介质上存储有基于图像识别的数控机床工件加工余量确定程序,基于图像识别的数控机床工件加工余量确定程序被处理器执行时,实现如权利要求1-5任一项的基于图像识别的数控机床工件加工余量确定方法的步骤。
CN202210627892.2A 2022-06-06 2022-06-06 一种基于图像识别的数控机床工件加工余量确定方法 Active CN114708587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210627892.2A CN114708587B (zh) 2022-06-06 2022-06-06 一种基于图像识别的数控机床工件加工余量确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210627892.2A CN114708587B (zh) 2022-06-06 2022-06-06 一种基于图像识别的数控机床工件加工余量确定方法

Publications (2)

Publication Number Publication Date
CN114708587A CN114708587A (zh) 2022-07-05
CN114708587B true CN114708587B (zh) 2022-09-02

Family

ID=82177720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210627892.2A Active CN114708587B (zh) 2022-06-06 2022-06-06 一种基于图像识别的数控机床工件加工余量确定方法

Country Status (1)

Country Link
CN (1) CN114708587B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114911196B (zh) * 2022-07-15 2022-09-27 深圳市嘉鑫精密智造有限公司 一种基于精度控制的钣金件开发系统
CN115880645B (zh) * 2023-02-13 2023-05-12 深圳市泰丰隆自动化设备有限公司 基于多画面监测分析的首饰织链机的进度预测系统
CN115993804B (zh) * 2023-03-24 2023-06-20 中科航迈数控软件(深圳)有限公司 一种基于数控机床的刀具参数调整方法及相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005224942A (ja) * 2005-05-11 2005-08-25 Mitsubishi Electric Corp 数値制御装置
CN101634544A (zh) * 2009-09-02 2010-01-27 郑州辰维科技有限公司 一种水轮机叶片毛坯型面测量与加工余量分析方法
EP2213805A1 (de) * 2009-02-02 2010-08-04 Franz Sahler GmbH Verfahren zur Außendämmung eines Gebäudes
CN105867300A (zh) * 2016-05-26 2016-08-17 中国科学院等离子体物理研究所 一种对具有复杂轮廓的大型成型焊接件逆向再加工方法
CN108120373A (zh) * 2017-11-23 2018-06-05 北京星航机电装备有限公司 一种基于激光跟踪测量的复杂异形铸件测量检查方法
CN112614098A (zh) * 2020-12-17 2021-04-06 大连理工大学 一种基于增强现实的毛坯定位与加工余量分析方法
WO2021248650A1 (zh) * 2020-06-10 2021-12-16 南京英尼格玛工业自动化技术有限公司 一种针对高铁枕梁工艺孔的逆向重构方法
CN114048556A (zh) * 2021-10-19 2022-02-15 中国科学院合肥物质科学研究院 极向段的坡口加工方法、装置、加工设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005050209A1 (de) * 2005-10-20 2007-04-26 Ott, Reinhold, Waterloo Vorrichtung zur Einspeisung eines Videosignals in eine Anzeigevorrichtung und Betriebsverfahren hierfür
JP7025724B2 (ja) * 2017-04-17 2022-02-25 大日本印刷株式会社 基材成形工程の評価方法、パターン付き基材、プログラムおよび記録媒体
CN109782689B (zh) * 2019-01-10 2020-12-15 上海交通大学 一种基于大数据技术的数控加工的刀具管理方法及系统
CN110704974B (zh) * 2019-09-30 2023-08-01 江苏科技大学 基于数字孪生驱动的工艺模型的建模与使用方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005224942A (ja) * 2005-05-11 2005-08-25 Mitsubishi Electric Corp 数値制御装置
EP2213805A1 (de) * 2009-02-02 2010-08-04 Franz Sahler GmbH Verfahren zur Außendämmung eines Gebäudes
CN101634544A (zh) * 2009-09-02 2010-01-27 郑州辰维科技有限公司 一种水轮机叶片毛坯型面测量与加工余量分析方法
CN105867300A (zh) * 2016-05-26 2016-08-17 中国科学院等离子体物理研究所 一种对具有复杂轮廓的大型成型焊接件逆向再加工方法
CN108120373A (zh) * 2017-11-23 2018-06-05 北京星航机电装备有限公司 一种基于激光跟踪测量的复杂异形铸件测量检查方法
WO2021248650A1 (zh) * 2020-06-10 2021-12-16 南京英尼格玛工业自动化技术有限公司 一种针对高铁枕梁工艺孔的逆向重构方法
CN112614098A (zh) * 2020-12-17 2021-04-06 大连理工大学 一种基于增强现实的毛坯定位与加工余量分析方法
CN114048556A (zh) * 2021-10-19 2022-02-15 中国科学院合肥物质科学研究院 极向段的坡口加工方法、装置、加工设备及存储介质

Also Published As

Publication number Publication date
CN114708587A (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN114708587B (zh) 一种基于图像识别的数控机床工件加工余量确定方法
CN110434671B (zh) 一种基于特征测量的铸造件表面机加工轨迹校准方法
CN116009480B (zh) 一种数控机床的故障监测方法、装置、设备及存储介质
CN115993804B (zh) 一种基于数控机床的刀具参数调整方法及相关设备
US10884390B2 (en) Optimized control of a metal-cutting machine tool
CN114237155A (zh) 一种多轴数控加工的误差预测及补偿方法、系统及介质
CN114355953B (zh) 一种基于机器视觉的多轴伺服系统的高精度控制方法及系统
CN115690405B (zh) 一种基于机器视觉的加工轨迹优化方法及相关设备
CN115685876B (zh) 一种基于轨迹补偿的平面激光切割控制方法及系统
CN115629573B (zh) 一种加工程序自动编制方法、装置、终端设备及存储介质
CN115810133B (zh) 基于图像处理和点云处理的焊接控制方法及相关设备
CN114675599B (zh) 一种数控机床的加工特征排序方法及系统
CN112906215B (zh) 一种基于SolidWorks二次开发的管材刀路生成方法
CN116909208B (zh) 基于人工智能的壳体加工路径优化方法及系统
US10762699B2 (en) Machining parameter automatic generation system
KR20220085242A (ko) 공작기계용 기구물 종류 및 위치 인식 방법
CN108668441B (zh) 印刷电路板外形的制作方法、系统和计算机设备
CN114820750A (zh) 一种基于点云扫描的数控机床工件加工质量控制方法
CN116912241B (zh) 基于机器学习的cnc调机优化方法及系统
CN113618253B (zh) 激光加工方法、系统、激光加工控制器及存储介质
CN116400905B (zh) 一种用于调控多设备的代码自动生成方法及相关设备
Londoño Lopera et al. Positioning of the Cutting Tool of a CNC Type Milling Machine by Means of Digital Image Processing
CN115837606A (zh) 一种多模态数据的数控机床加工的故障缺陷识别方法
CN116883583A (zh) 一种鞋帮打磨喷涂方法、系统、终端设备及存储介质
CN116755402A (zh) 一种工件检测轨迹规划方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant