CN117348577B - 一种生产工艺仿真检测方法、装置、设备以及介质 - Google Patents
一种生产工艺仿真检测方法、装置、设备以及介质 Download PDFInfo
- Publication number
- CN117348577B CN117348577B CN202311648057.8A CN202311648057A CN117348577B CN 117348577 B CN117348577 B CN 117348577B CN 202311648057 A CN202311648057 A CN 202311648057A CN 117348577 B CN117348577 B CN 117348577B
- Authority
- CN
- China
- Prior art keywords
- processing
- robot
- coordinates
- node
- machining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 37
- 238000004088 simulation Methods 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 315
- 238000012937 correction Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000005856 abnormality Effects 0.000 claims abstract description 25
- 238000003754 machining Methods 0.000 claims description 96
- 238000003860 storage Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010998 test method Methods 0.000 claims description 3
- 239000000047 product Substances 0.000 description 25
- 238000009776 industrial production Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32339—Object oriented modeling, design, analysis, implementation, simulation language
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本申请涉及生产检测的技术领域,尤其涉及一种生产工艺仿真检测方法、装置、设备以及介质,该方法包括:获取指令对应信息以及加工图像信息,当检测到加工节点存在纠偏时,基于数字孪生模型以及指令对应信息确定当前纠偏指令以及与当前纠偏指令对应当前操作信息,基于加工图像信息确定机器人的实际操作信息,并将实际操作信息与当前操作信息进行轨迹匹配,确定机器人是否存在纠偏异常,若机器人存在纠偏异常,则获取机器人当前所在的原始位置以及加工图像,并对原始位置以及加工图像进行分析,生成机器人的加工运行轨迹,根据加工运行轨迹控制机器人由原始位置移动至不同加工位置进行不同加工操作。本申请提高了生产产品质量以及质量稳定性。
Description
技术领域
本申请涉及生产检测的技术领域,尤其是涉及一种生产工艺仿真检测方法、装置、设备以及介质。
背景技术
在工业生产中,各个生产环节的生产工艺质量均会影响最终产品的质量,因此对生产工艺检测在工业生产中起到了重要的作用,对各个生产环节中工艺不符合标准的节点进行及时改进,从而保证生产产品的质量。
目前,常采用机器人仿真检测技术对工业生产项目进行把控验证。具体地,分别将机器人设置于工业生产项目中每个生产节点处,然后根据每个生产节点对应的加工工序仿真模拟产品对象以及机器人的加工操作,得到每个生产节点对应的加工模型,然后获取每个生产节点对应的加工图像,采用数字孪生技术实现现实与虚拟模型的相互映射,当现实加工图像中存在产品对象的加工结构以及机器人的加工操作与虚拟加工模型不一时,通过虚拟加工模型分析推理得到现实机器人的修改纠偏工艺参数,并且以控制指令的方式自动的下发到实体机器人进行执行,从而达到了提高生产产品质量的效果。
但在机器人加工过程中,当存在某一加工节点的机器人发生纠偏异常时,机器人无法按照修改纠偏工艺参数进行自动化校正,此时,若不能及时发现并对机器人进行维护,机器人则始终按照正确的纠偏指令进行错误的纠偏操作,从而导致最终的生产产品无法满足质量要求。
发明内容
为了解决上述中的至少一项技术问题,本申请提供一种生产工艺仿真检测方法、装置、设备和介质。
第一方面,本申请提供一种生产工艺仿真检测方法,采用如下的技术方案:
获取指令对应信息以及加工图像信息,所述指令对应信息为纠偏指令与机器人对应的操作信息,所述加工图像信息为每个加工节点对应的实时图像信息;
当检测到加工节点存在纠偏时,基于数字孪生模型以及所述指令对应信息确定与所述加工节点对应的加工机器人的当前纠偏指令以及与所述当前纠偏指令对应当前操作信息;
基于所述加工图像信息确定所述机器人的实际操作信息,并将所述实际操作信息与所述当前操作信息进行轨迹匹配,确定所述机器人是否存在纠偏异常;
若所述机器人存在纠偏异常,则获取所述机器人当前所在的原始位置以及加工图像,并对所述原始位置以及加工图像进行分析,生成机器人的加工运行轨迹,所述原始位置为所述机器人加工器械的初始位置,所述加工图像为所述机器人表面安装的拍摄装置所拍摄的加工节点方向的图像;
根据所述加工运行轨迹控制机器人由所述原始位置移动至不同加工位置进行不同加工操作。
在一种可能实现的方式中,所述对所述原始位置以及加工图像进行分析,生成机器人的加工运行轨迹,包括:
检测当所述机器人位于所述原始位置时,所述加工图像中当前加工节点所对应的产品结构在所述加工图像中各自对应的结构区域;
基于所述数字孪生模型以及所述结构区域确定所述原始坐标、终止坐标以及原始加工轨迹,所述原始坐标为所述机器人在对所述结构区域进行加工时,初始加工位置在基准坐标系中的坐标,所述终止坐标为所述机器人在对所述结构区域加工结束后,结束位置在基准坐标系中的坐标,所述原始加工轨迹为机器人在所述结构区域进行加工过程中,由原始坐标至终止坐标在基准坐标系的移动轨迹以及移动轨迹对应的加工节点,所述基准坐标系为基于所述结构区域建立的二维坐标系;
根据所述原始加工轨迹确定所述机器人由所述原始坐标至所述终止坐标之间的加工节点坐标以及与所述加工节点坐标对应的加工操作;
基于所述原始位置以及原始坐标生成移动指令,控制所述机器人由原始位置移动至所述原始坐标,并基于所述加工节点坐标、加工操作以及终止坐标,生成机器人的加工运行轨迹。
在一种可能实现的方式中,所述基于所述加工节点坐标、加工操作以及终止坐标,生成机器人的加工运行轨迹,包括:
基于所述加工节点坐标以及加工操作确定每个加工节点所对应的节点起始坐标、节点终止坐标以及节点加工坐标,所述节点加工坐标为执行不同加工操作时,所述机器人的作业移动坐标;
根据每个加工节点对应的加工次序,确定节点起始坐标、节点终止坐标以及节点加工坐标的坐标排列;
基于所述基准坐标系对所述坐标排列中的坐标以及所述终止坐标进行轨迹连接,生成机器人的加工运行轨迹。
在一种可能实现的方式中,当检测到加工节点存在纠偏时,还包括:
当至少两个加工节点存在纠偏且与所述至少两个加工节点对应的机器人存在纠偏异常时,获取所述至少两个加工节点对应历史加工数据,并基于所述历史加工数据,确定所述至少两个加工节点对加工产品的目标影响权重;
将所述至少两个加工节点的目标影响权重进行比对,确定出所述至少两个加工节点的轨迹生成优先级。
在一种可能实现的方式中,所述基于所述历史加工数据,确定所述至少两个加工节点对加工产品的影响权重,包括:
基于所述历史加工数据,构建所述至少两个加工节点针对加工产品的影响关系架构;
基于所述影响关系架构,确定所述至少两个加工节点对应的候选影响权重;
对所述候选影响权重进行均值处理,确定所述目标影响权重。
第二方面,本申请提供一种生产工艺仿真检测装置,采用如下的技术方案:
一种生产工艺仿真检测装置,包括:
信息获取模块,用于获取指令对应信息以及加工图像信息,所述指令对应信息为纠偏指令与机器人对应的操作信息,所述加工图像信息为每个加工节点对应的实时图像信息;
信息确定模块,当检测到加工节点存在纠偏时,基于数字孪生模型以及所述指令对应信息确定与所述加工节点对应的加工机器人的当前纠偏指令以及与所述当前纠偏指令对应当前操作信息;
轨迹匹配模块,用于基于所述加工图像信息确定所述机器人的实际操作信息,并将所述实际操作信息与所述当前操作信息进行轨迹匹配,确定所述机器人是否存在纠偏异常;
轨迹生成模块,用于若所述机器人存在纠偏异常,则获取所述机器人当前所在的原始位置以及加工图像,并对所述原始位置以及加工图像进行分析,生成机器人的加工运行轨迹,所述原始位置为所述机器人加工器械的初始位置,所述加工图像为所述机器人表面安装的拍摄装置所拍摄的加工节点方向的图像;
加工控制模块,用于根据所述加工运行轨迹控制机器人由所述原始位置移动至不同加工位置进行不同加工操作。
在一种可能的实现方式中,所述轨迹生成模块在对所述原始位置以及加工图像进行分析,生成机器人的加工运行轨迹时,具体用于:
检测当所述机器人位于所述原始位置时,所述加工图像中当前加工节点所对应的产品结构在所述加工图像中各自对应的结构区域;
基于所述数字孪生模型以及所述结构区域确定所述原始坐标、终止坐标以及原始加工轨迹,所述原始坐标为所述机器人在对所述结构区域进行加工时,初始加工位置在基准坐标系中的坐标,所述终止坐标为所述机器人在对所述结构区域加工结束后,结束位置在基准坐标系中的坐标,所述原始加工轨迹为机器人在所述结构区域进行加工过程中,由原始坐标至终止坐标在基准坐标系的移动轨迹以及移动轨迹对应的加工节点,所述基准坐标系为基于所述结构区域建立的二维坐标系;
根据所述原始加工轨迹确定所述机器人由所述原始坐标至所述终止坐标之间的加工节点坐标以及与所述加工节点坐标对应的加工操作;
基于所述原始位置以及原始坐标生成移动指令,控制所述机器人由原始位置移动至所述原始坐标,并基于所述加工节点坐标、加工操作以及终止坐标,生成机器人的加工运行轨迹。
在另一种可能的实现方式中,所述轨迹生成模块在基于所述加工节点坐标、加工操作以及终止坐标,生成机器人的加工运行轨迹时,具体用于:
基于所述加工节点坐标以及加工操作确定每个加工节点所对应的节点起始坐标、节点终止坐标以及节点加工坐标,所述节点加工坐标为执行不同加工操作时,所述机器人的作业移动坐标;
根据每个加工节点对应的加工次序,确定节点起始坐标、节点终止坐标以及节点加工坐标的坐标排列;
基于所述基准坐标系对所述坐标排列中的坐标以及所述终止坐标进行轨迹连接,生成机器人的加工运行轨迹。
在另一种可能的实现方式中,所述装置还包括:权重确定模块以及优先级确定模块,其中,
所述权重确定模块,用于当至少两个加工节点存在纠偏且与所述至少两个加工节点对应的机器人存在纠偏异常时,获取所述至少两个加工节点对应历史加工数据,并基于所述历史加工数据,确定所述至少两个加工节点对加工产品的目标影响权重;
所述优先级确定模块,用于将所述至少两个加工节点的目标影响权重进行比对,确定出所述至少两个加工节点的轨迹生成优先级。
在另一种可能的实现方式中,所述权重确定模块在基于所述历史加工数据,确定所述至少两个加工节点对加工产品的影响权重时,具体用于:
基于所述历史加工数据,构建所述至少两个加工节点针对加工产品的影响关系架构;
基于所述影响关系架构,确定所述至少两个加工节点对应的候选影响权重;
对所述候选影响权重进行均值处理,确定所述目标影响权重。
第三面,本申请提供一种电子设备,采用如下的技术方案:
至少一个处理器;
存储器;
至少一个应用程序,其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行,所述至少一个应用程序配置用于:执行如第一方面任一项所述的一种生产工艺仿真检测方法。
第四方面,本申请提供一种计算机可读存储介质,采用如下的技术方案:
一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令所述计算机执行如第一方面任一项所述生产工艺仿真检测方法。
综上所述,本申请包括以下至少一种有益技术效果:
在对工业生产工艺进行检测时,获取指令对应信息以及加工图像信息,其中,指令对应信息为纠偏指令与机器人对应的操作信息,加工图像信息为每个加工节点对应的实时图像信息,当检测到加工节点存在纠偏时,基于数字孪生模型以及指令对应信息确定与加工节点对应的加工机器人的当前纠偏指令以及与当前纠偏指令对应当前操作信息,然后基于加工图像信息确定机器人的实际操作信息,并将实际操作信息与当前操作信息进行轨迹匹配,确定机器人是否存在纠偏异常,若机器人存在纠偏异常,则获取机器人当前所在的原始位置以及加工图像,并对原始位置以及加工图像进行分析,生成机器人的加工运行轨迹,原始位置为机器人加工器械的初始位置,加工图像为机器人表面安装的拍摄装置所拍摄的加工节点方向的图像,根据加工运行轨迹控制机器人由原始位置移动至不同加工位置进行不同加工操作,从而避免因机器人存在纠偏异常情况时导致加工产品出现质量问题,进而提高了生产产品的质量稳定性。
附图说明
图1为本申请实施例提供的一种生产工艺仿真检测方法的流程示意图。
图2为本申请实施例提供的一种生产工艺仿真检测装置的结构示意图。
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下结合附图1-图3对本申请作进一步详细说明。
本具体实施例仅仅是对本申请的解释,其并不是对本申请的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本申请的范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本申请实施例作进一步详细描述。
本申请实施例提供了一种生产工艺仿真检测方法的方法,由电子设备执行,该电子设备可以为服务器也可以为终端设备,其中,该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此,该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例在此不做限制,如图1所示,该方法包括:
步骤S10、获取指令对应信息以及加工图像信息。
其中,指令对应信息为纠偏指令与机器人对应的操作信息,加工图像信息为每个加工节点对应的实时图像信息。
具体地,指令对应信息为数字孪生模型向机器人发送不同纠偏指令后,机器人接收不同纠偏指令所做出的对应纠偏操作,也即纠偏指令与纠偏操作的对应关系,将该对应关系通过编程接口或网络通信发送至电子设备,从而获取指令对应信息。纠偏指令通常包括机器人的目标位置、姿态和其他相关参数。
加工图像信息的获取方式则是通过无人机获取,包括但不仅限于无人机获取这一种方式,在不同加工节点的机器人进行加工时,每个机器人处均设置有至少一个无人机,无人机实时拍摄机器人的加工过程,采集加工图像信息,然后通过无线通讯的方式将加工图像信息发送至电子设备。
步骤S11、当检测到加工节点存在纠偏时,基于数字孪生模型以及指令对应信息确定与加工节点对应的加工机器人的当前纠偏指令以及与当前纠偏指令对应当前操作信息。
具体地,建立一个数字孪生模型,该模型可以是物理模型、数学模型或仿真模型的结合,用于模拟实际加工过程。数字孪生模型可以基于机器学习、数据挖掘等技术进行训练和优化。通过实时监控加工节点的状态,可以检测到是否存在纠偏。这可以通过分析加工图像信息来实现,例如通过对比实际加工结果与预期结果的差异来判断是否存在误差。当检测到加工节点存在纠偏时,需要解析指令对应信息。这些信息包括机器人操作信息,例如机器人的目标位置、姿态和其他相关参数。基于数字孪生模型和指令对应信息,可以确定与加工节点对应的加工机器人的当前纠偏指令。数字孪生模型可以提供对实际加工过程的模拟和预测,从而帮助确定最佳的纠偏指令。
步骤S12、基于加工图像信息确定机器人的实际操作信息,并将实际操作信息与当前操作信息进行轨迹匹配,确定机器人是否存在纠偏异常。
具体地,通过机器人内置或外置的摄像头或其他图像采集设备,获取每个加工节点的实时图像信息。这些图像信息包括但不限于机器人操作工具的姿态、位置、速度等。基于加工图像信息,通过图像处理和识别技术,可以确定机器人的实际操作信息。例如,通过分析图像中的工具轨迹、工具姿态等,可以提取机器人的实际操作信息,如移动路径、工具选择、速度和加速度等。将实际操作信息与当前操作信息进行轨迹匹配,以评估机器人的运动轨迹是否与预期的轨迹相符。如果两条轨迹不一致,则表示存在纠偏异常。
步骤S13、若机器人存在纠偏异常,则获取机器人当前所在的原始位置以及加工图像,并对原始位置以及加工图像进行分析,生成机器人的加工运行轨迹。
其中,原始位置为机器人加工器械的初始位置,加工图像为机器人表面安装的拍摄装置所拍摄的加工节点方向的图像。
步骤S14,根据加工运行轨迹控制机器人由原始位置移动至不同加工位置进行不同加工操作。
基于上述实施例,在对工业生产工艺进行检测时,获取指令对应信息以及加工图像信息,其中,指令对应信息为纠偏指令与机器人对应的操作信息,加工图像信息为每个加工节点对应的实时图像信息,当检测到加工节点存在纠偏时,基于数字孪生模型以及指令对应信息确定与加工节点对应的加工机器人的当前纠偏指令以及与当前纠偏指令对应当前操作信息,然后基于加工图像信息确定机器人的实际操作信息,并将实际操作信息与当前操作信息进行轨迹匹配,确定机器人是否存在纠偏异常,若机器人存在纠偏异常,则获取机器人当前所在的原始位置以及加工图像,并对原始位置以及加工图像进行分析,生成机器人的加工运行轨迹,原始位置为机器人加工器械的初始位置,加工图像为机器人表面安装的拍摄装置所拍摄的加工节点方向的图像,根据加工运行轨迹控制机器人由原始位置移动至不同加工位置进行不同加工操作,从而避免因机器人存在纠偏异常情况时导致加工产品出现质量问题,进而提高了生产产品的质量稳定性。
本申请实施例的一种可能的实现方式,对原始位置以及加工图像进行分析,生成机器人的加工运行轨迹,包括:检测当机器人位于原始位置时,加工图像中当前加工节点所对应的产品结构在加工图像中各自对应的结构区域;基于数字孪生模型以及结构区域确定原始坐标、终止坐标以及原始加工轨迹,原始坐标为机器人在对结构区域进行加工时,初始加工位置在基准坐标系中的坐标,终止坐标为机器人在对结构区域加工结束后,结束位置在基准坐标系中的坐标,原始加工轨迹为机器人在结构区域进行加工过程中,由原始坐标至终止坐标在基准坐标系的移动轨迹以及移动轨迹对应的加工节点,基准坐标系为基于结构区域建立的二维坐标系;根据原始加工轨迹确定机器人由原始坐标至终止坐标之间的加工节点坐标以及与加工节点坐标对应的加工操作;基于原始位置以及原始坐标生成移动指令,控制机器人由原始位置移动至原始坐标,并基于加工节点坐标、加工操作以及终止坐标,生成机器人的加工运行轨迹。
本申请实施例的一种可能的实现方式,基于加工节点坐标、加工操作以及终止坐标,生成机器人的加工运行轨迹,包括:基于加工节点坐标以及加工操作确定每个加工节点所对应的节点起始坐标、节点终止坐标以及节点加工坐标,节点加工坐标为执行不同加工操作时,机器人的作业移动坐标;根据每个加工节点对应的加工次序,确定节点起始坐标、节点终止坐标以及节点加工坐标的坐标排列;基于基准坐标系对坐标排列中的坐标以及终止坐标进行轨迹连接,生成机器人的加工运行轨迹。
本申请实施例的一种可能的实现方式,当检测到加工节点存在纠偏时,还包括:当至少两个加工节点存在纠偏且与至少两个加工节点对应的机器人存在纠偏异常时,获取至少两个加工节点对应历史加工数据,并基于历史加工数据,确定至少两个加工节点对加工产品的目标影响权重;将至少两个加工节点的目标影响权重进行比对,确定出至少两个加工节点的轨迹生成优先级。
本申请实施例的一种可能的实现方式中,基于历史加工数据,确定至少两个加工节点对加工产品的影响权重,包括:基于历史加工数据,构建至少两个加工节点针对加工产品的影响关系架构;基于影响关系架构,确定至少两个加工节点对应的候选影响权重;对候选影响权重进行均值处理,确定目标影响权重。
下面对本申请实施例提供的一种生产工艺仿真检测装置进行介绍,下文描述的生产工艺仿真检测装置与上文描述的生产工艺仿真检测方法可相互对应参照,请参考图2,图2是本申请实施例提供的一种生产工艺仿真检测装置20的结构示意图,包括:
信息获取模块21,用于获取指令对应信息以及加工图像信息,指令对应信息为纠偏指令与机器人对应的操作信息,加工图像信息为每个加工节点对应的实时图像信息;
信息确定模块22,当检测到加工节点存在纠偏时,基于数字孪生模型以及指令对应信息确定与加工节点对应的加工机器人的当前纠偏指令以及与当前纠偏指令对应当前操作信息;
轨迹匹配模块23,用于基于加工图像信息确定机器人的实际操作信息,并将实际操作信息与当前操作信息进行轨迹匹配,确定机器人是否存在纠偏异常;
轨迹生成模块24,用于若机器人存在纠偏异常,则获取机器人当前所在的原始位置以及加工图像,并对原始位置以及加工图像进行分析,生成机器人的加工运行轨迹,原始位置为机器人加工器械的初始位置,加工图像为机器人表面安装的拍摄装置所拍摄的加工节点方向的图像;
加工控制模块25,用于根据加工运行轨迹控制机器人由原始位置移动至不同加工位置进行不同加工操作。
本申请实施例中的一种可能的实现方式,轨迹生成模块24在对原始位置以及加工图像进行分析,生成机器人的加工运行轨迹时,具体用于:
检测当机器人位于原始位置时,加工图像中当前加工节点所对应的产品结构在加工图像中各自对应的结构区域;
基于数字孪生模型以及结构区域确定原始坐标、终止坐标以及原始加工轨迹,原始坐标为机器人在对结构区域进行加工时,初始加工位置在基准坐标系中的坐标,终止坐标为机器人在对结构区域加工结束后,结束位置在基准坐标系中的坐标,原始加工轨迹为机器人在结构区域进行加工过程中,由原始坐标至终止坐标在基准坐标系的移动轨迹以及移动轨迹对应的加工节点,基准坐标系为基于结构区域建立的二维坐标系;
根据原始加工轨迹确定机器人由原始坐标至终止坐标之间的加工节点坐标以及与加工节点坐标对应的加工操作;
基于原始位置以及原始坐标生成移动指令,控制机器人由原始位置移动至原始坐标,并基于加工节点坐标、加工操作以及终止坐标,生成机器人的加工运行轨迹。
本申请实施例中的另一种可能的实现方式,轨迹生成模块24在基于加工节点坐标、加工操作以及终止坐标,生成机器人的加工运行轨迹时,具体用于:
基于加工节点坐标以及加工操作确定每个加工节点所对应的节点起始坐标、节点终止坐标以及节点加工坐标,节点加工坐标为执行不同加工操作时,机器人的作业移动坐标;
根据每个加工节点对应的加工次序,确定节点起始坐标、节点终止坐标以及节点加工坐标的坐标排列;
基于基准坐标系对坐标排列中的坐标以及终止坐标进行轨迹连接,生成机器人的加工运行轨迹。
本申请实施例中的另一种可能的实现方式,装置20还包括:权重确定模块以及优先级确定模块,其中,
权重确定模块,用于当至少两个加工节点存在纠偏且与至少两个加工节点对应的机器人存在纠偏异常时,获取至少两个加工节点对应历史加工数据,并基于历史加工数据,确定至少两个加工节点对加工产品的目标影响权重;
优先级确定模块,用于将至少两个加工节点的目标影响权重进行比对,确定出至少两个加工节点的轨迹生成优先级。
本申请实施例中的另一种可能的实现方式,权重确定模块在基于历史加工数据,确定至少两个加工节点对加工产品的影响权重时,具体用于:
基于历史加工数据,构建至少两个加工节点针对加工产品的影响关系架构;
基于影响关系架构,确定至少两个加工节点对应的候选影响权重;
对候选影响权重进行均值处理,确定目标影响权重。
下面对本申请实施例提供的一种电子设备进行介绍,下文描述的电子设备与上文描述的生产工艺仿真检测方法可相互对应参照。
本申请实施例提供了一种电子设备,如图3所示,图3为本申请实施例提供的一种电子设备的结构示意图,图3所示的电子设备300包括:处理器301和存储器303。其中,处理器301和存储器303相连,如通过总线302相连。可选地,电子设备300还可以包括收发器304。需要说明的是,实际应用中收发器304不限于一个,该电子设备300的结构并不构成对本申请实施例的限定。
处理器301可以是CPU(CentralProcessingUnit,中央处理器),通用处理器,DSP(DigitalSignalProcessor,数据信号处理器),ASIC(ApplicationSpecificIntegratedCircuit,专用集成电路),FPGA(FieldProgrammableGateArray,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请实施例公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器301也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线302可包括一通路,在上述组件之间传送信息。总线302可以是PCI(PeripheralComponentInterconnect,外设部件互连标准)总线或EISA(ExtendedIndustryStandardArchitecture,扩展工业标准结构)总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器303可以是ROM(ReadOnlyMemory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(RandomAccessMemory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(ElectricallyErasableProgrammableReadOnlyMemory,电可擦可编程只读存储器)、CD-ROM(CompactDiscReadOnlyMemory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器303用于存储执行本申请实施例方案的应用程序代码,并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码,以实现前述方法实施例所示的内容。
其中,电子设备包括但不限于:移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
下面对本申请实施例提供的一种计算机可读存储介质进行介绍,下文描述的计算机可读存储介质与上文描述的方法可相互对应参照。
本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上生产工艺仿真检测方法的步骤。
由于计算机可读存储介质部分的实施例与方法部分的实施例相互对应,因此计算机可读存储介质部分的实施例请参见方法部分的实施例的描述。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (6)
1.一种生产工艺仿真检测方法,其特征在于,包括:
获取指令对应信息以及加工图像信息,所述指令对应信息为纠偏指令与机器人对应的操作信息,所述加工图像信息为每个加工节点对应的实时图像信息;
当检测到加工节点存在纠偏时,基于数字孪生模型以及所述指令对应信息确定与所述加工节点对应的加工机器人的当前纠偏指令以及与所述当前纠偏指令对应当前操作信息;
基于所述加工图像信息确定所述机器人的实际操作信息,并将所述实际操作信息与所述当前操作信息进行轨迹匹配,确定所述机器人是否存在纠偏异常;
若所述机器人存在纠偏异常,则获取所述机器人当前所在的原始位置以及加工图像,并对所述原始位置以及加工图像进行分析,生成机器人的加工运行轨迹,所述原始位置为所述机器人加工器械的初始位置,所述加工图像为所述机器人表面安装的拍摄装置所拍摄的加工节点方向的图像;
根据所述加工运行轨迹控制机器人由所述原始位置移动至不同加工位置进行不同加工操作;
其中,所述对所述原始位置以及加工图像进行分析,生成机器人的加工运行轨迹,包括:
检测当所述机器人位于所述原始位置时,所述加工图像中当前加工节点所对应的产品结构在所述加工图像中各自对应的结构区域;
基于所述数字孪生模型以及所述结构区域确定所述原始坐标、终止坐标以及原始加工轨迹,所述原始坐标为所述机器人在对所述结构区域进行加工时,初始加工位置在基准坐标系中的坐标,所述终止坐标为所述机器人在对所述结构区域加工结束后,结束位置在基准坐标系中的坐标,所述原始加工轨迹为机器人在所述结构区域进行加工过程中,由原始坐标至终止坐标在基准坐标系的移动轨迹以及移动轨迹对应的加工节点,所述基准坐标系为基于所述结构区域建立的二维坐标系;
根据所述原始加工轨迹确定所述机器人由所述原始坐标至所述终止坐标之间的加工节点坐标以及与所述加工节点坐标对应的加工操作;
基于所述原始位置以及原始坐标生成移动指令,控制所述机器人由原始位置移动至所述原始坐标,并基于所述加工节点坐标、加工操作以及终止坐标,生成机器人的加工运行轨迹;
其中,所述基于所述加工节点坐标、加工操作以及终止坐标,生成机器人的加工运行轨迹,包括:
基于所述加工节点坐标以及加工操作确定每个加工节点所对应的节点起始坐标、节点终止坐标以及节点加工坐标,所述节点加工坐标为执行不同加工操作时,所述机器人的作业移动坐标;
根据每个加工节点对应的加工次序,确定节点起始坐标、节点终止坐标以及节点加工坐标的坐标排列;
基于所述基准坐标系对所述坐标排列中的坐标以及所述终止坐标进行轨迹连接,生成机器人的加工运行轨迹。
2.根据权利要求1所述的一种生产工艺仿真检测方法,其特征在于,当检测到加工节点存在纠偏时,还包括:
当至少两个加工节点存在纠偏且与所述至少两个加工节点对应的机器人存在纠偏异常时,获取所述至少两个加工节点对应历史加工数据,并基于所述历史加工数据,确定所述至少两个加工节点对加工产品的目标影响权重;
将所述至少两个加工节点的目标影响权重进行比对,确定出所述至少两个加工节点的轨迹生成优先级。
3.根据权利要求2所述的一种生产工艺仿真检测方法,其特征在于,所述基于所述历史加工数据,确定所述至少两个加工节点对加工产品的影响权重,包括:
基于所述历史加工数据,构建所述至少两个加工节点针对加工产品的影响关系架构;
基于所述影响关系架构,确定所述至少两个加工节点对应的候选影响权重;
对所述候选影响权重进行均值处理,确定所述目标影响权重。
4.一种生产工艺仿真检测装置,其特征在于,包括:
信息获取模块,用于获取指令对应信息以及加工图像信息,所述指令对应信息为纠偏指令与机器人对应的操作信息,所述加工图像信息为每个加工节点对应的实时图像信息;
信息确定模块,当检测到加工节点存在纠偏时,基于数字孪生模型以及所述指令对应信息确定与所述加工节点对应的加工机器人的当前纠偏指令以及与所述当前纠偏指令对应当前操作信息;
轨迹匹配模块,用于基于所述加工图像信息确定所述机器人的实际操作信息,并将所述实际操作信息与所述当前操作信息进行轨迹匹配,确定所述机器人是否存在纠偏异常;
轨迹生成模块,用于若所述机器人存在纠偏异常,则获取所述机器人当前所在的原始位置以及加工图像,并对所述原始位置以及加工图像进行分析,生成机器人的加工运行轨迹,所述原始位置为所述机器人加工器械的初始位置,所述加工图像为所述机器人表面安装的拍摄装置所拍摄的加工节点方向的图像;
加工控制模块,用于根据所述加工运行轨迹控制机器人由所述原始位置移动至不同加工位置进行不同加工操作;
所述轨迹生成模块在对所述原始位置以及加工图像进行分析,生成机器人的加工运行轨迹时,具体用于:
检测当所述机器人位于所述原始位置时,所述加工图像中当前加工节点所对应的产品结构在所述加工图像中各自对应的结构区域;
基于所述数字孪生模型以及所述结构区域确定所述原始坐标、终止坐标以及原始加工轨迹,所述原始坐标为所述机器人在对所述结构区域进行加工时,初始加工位置在基准坐标系中的坐标,所述终止坐标为所述机器人在对所述结构区域加工结束后,结束位置在基准坐标系中的坐标,所述原始加工轨迹为机器人在所述结构区域进行加工过程中,由原始坐标至终止坐标在基准坐标系的移动轨迹以及移动轨迹对应的加工节点,所述基准坐标系为基于所述结构区域建立的二维坐标系;
根据所述原始加工轨迹确定所述机器人由所述原始坐标至所述终止坐标之间的加工节点坐标以及与所述加工节点坐标对应的加工操作;
基于所述原始位置以及原始坐标生成移动指令,控制所述机器人由原始位置移动至所述原始坐标,并基于所述加工节点坐标、加工操作以及终止坐标,生成机器人的加工运行轨迹;
所述轨迹生成模块在基于所述加工节点坐标、加工操作以及终止坐标,生成机器人的加工运行轨迹时,具体用于:
基于所述加工节点坐标以及加工操作确定每个加工节点所对应的节点起始坐标、节点终止坐标以及节点加工坐标,所述节点加工坐标为执行不同加工操作时,所述机器人的作业移动坐标;
根据每个加工节点对应的加工次序,确定节点起始坐标、节点终止坐标以及节点加工坐标的坐标排列;
基于所述基准坐标系对所述坐标排列中的坐标以及所述终止坐标进行轨迹连接,生成机器人的加工运行轨迹。
5.一种电子设备,其特征在于,包括:
至少一个处理器;
存储器;
至少一个应用程序,其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行,所述至少一个应用程序配置用于:执行权利要求1至3任一项所述的一种生产工艺仿真检测方法。
6.一种计算机可读存储介质,其特征在于,存储有能够被处理器加载并执行如权利要求1至3中任一种生产工艺仿真检测方法的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311648057.8A CN117348577B (zh) | 2023-12-05 | 2023-12-05 | 一种生产工艺仿真检测方法、装置、设备以及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311648057.8A CN117348577B (zh) | 2023-12-05 | 2023-12-05 | 一种生产工艺仿真检测方法、装置、设备以及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117348577A CN117348577A (zh) | 2024-01-05 |
CN117348577B true CN117348577B (zh) | 2024-03-12 |
Family
ID=89366963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311648057.8A Active CN117348577B (zh) | 2023-12-05 | 2023-12-05 | 一种生产工艺仿真检测方法、装置、设备以及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117348577B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1996194A (zh) * | 2005-12-31 | 2007-07-11 | 清华大学 | 一种运动物体定位纠偏系统及其运动跟踪方法 |
CN102156969A (zh) * | 2011-04-12 | 2011-08-17 | 潘林岭 | 图像纠偏处理方法 |
CN103294059A (zh) * | 2013-05-21 | 2013-09-11 | 无锡普智联科高新技术有限公司 | 基于混合导航带的移动机器人定位系统及其方法 |
WO2018010373A1 (zh) * | 2016-07-13 | 2018-01-18 | 福建工程学院 | 打磨抛光机器人工件夹持的自动纠偏方法 |
CN110555840A (zh) * | 2019-09-06 | 2019-12-10 | 广东利元亨智能装备股份有限公司 | 闭环控制方法、装置、控制设备及可读存储介质 |
JP2019209422A (ja) * | 2018-06-04 | 2019-12-12 | 株式会社キーレックス | 多関節ロボット用の教示データ作成方法 |
CN110775688A (zh) * | 2019-11-08 | 2020-02-11 | 重庆东登科技有限公司 | 基于图像的卷材纠偏检测系统 |
CN112446130A (zh) * | 2020-10-15 | 2021-03-05 | 宝钢日铁汽车板有限公司 | 连续热镀锌机组退火炉的带钢跑偏仿真系统及控制方法 |
CN113538358A (zh) * | 2021-07-09 | 2021-10-22 | 深圳市行知行机器人技术有限公司 | 机器人行走纠偏方法、装置、智能机器人和存储介质 |
CN114510041A (zh) * | 2022-01-21 | 2022-05-17 | 深圳鹏行智能研究有限公司 | 一种机器人运动路径规划方法及机器人 |
WO2022179266A1 (zh) * | 2021-03-22 | 2022-09-01 | 中铁九局集团第四工程有限公司 | 盾构掘进姿态的纠偏控制方法和装置 |
CN115562299A (zh) * | 2022-10-27 | 2023-01-03 | 中国科学院深圳先进技术研究院 | 一种移动机器人的导航方法、装置、移动机器人及介质 |
CN115723133A (zh) * | 2022-11-22 | 2023-03-03 | 湘潭大学 | 一种基于虚实结合的机器人空间焊缝自动定位与纠偏系统 |
CN116100549A (zh) * | 2023-01-30 | 2023-05-12 | 奇瑞新能源汽车股份有限公司 | 机器人加工轨迹设计方法、控制装置及介质 |
CN116400709A (zh) * | 2023-05-06 | 2023-07-07 | 河南牧业经济学院 | 机器人轨迹确定方法、装置、机器人及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130205867A1 (en) * | 2012-02-10 | 2013-08-15 | Quaser Machine Tools, Inc. | Automatic rectifying system for machine tools |
-
2023
- 2023-12-05 CN CN202311648057.8A patent/CN117348577B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1996194A (zh) * | 2005-12-31 | 2007-07-11 | 清华大学 | 一种运动物体定位纠偏系统及其运动跟踪方法 |
CN102156969A (zh) * | 2011-04-12 | 2011-08-17 | 潘林岭 | 图像纠偏处理方法 |
CN103294059A (zh) * | 2013-05-21 | 2013-09-11 | 无锡普智联科高新技术有限公司 | 基于混合导航带的移动机器人定位系统及其方法 |
WO2018010373A1 (zh) * | 2016-07-13 | 2018-01-18 | 福建工程学院 | 打磨抛光机器人工件夹持的自动纠偏方法 |
JP2019209422A (ja) * | 2018-06-04 | 2019-12-12 | 株式会社キーレックス | 多関節ロボット用の教示データ作成方法 |
CN110555840A (zh) * | 2019-09-06 | 2019-12-10 | 广东利元亨智能装备股份有限公司 | 闭环控制方法、装置、控制设备及可读存储介质 |
CN110775688A (zh) * | 2019-11-08 | 2020-02-11 | 重庆东登科技有限公司 | 基于图像的卷材纠偏检测系统 |
CN112446130A (zh) * | 2020-10-15 | 2021-03-05 | 宝钢日铁汽车板有限公司 | 连续热镀锌机组退火炉的带钢跑偏仿真系统及控制方法 |
WO2022179266A1 (zh) * | 2021-03-22 | 2022-09-01 | 中铁九局集团第四工程有限公司 | 盾构掘进姿态的纠偏控制方法和装置 |
CN113538358A (zh) * | 2021-07-09 | 2021-10-22 | 深圳市行知行机器人技术有限公司 | 机器人行走纠偏方法、装置、智能机器人和存储介质 |
CN114510041A (zh) * | 2022-01-21 | 2022-05-17 | 深圳鹏行智能研究有限公司 | 一种机器人运动路径规划方法及机器人 |
CN115562299A (zh) * | 2022-10-27 | 2023-01-03 | 中国科学院深圳先进技术研究院 | 一种移动机器人的导航方法、装置、移动机器人及介质 |
CN115723133A (zh) * | 2022-11-22 | 2023-03-03 | 湘潭大学 | 一种基于虚实结合的机器人空间焊缝自动定位与纠偏系统 |
CN116100549A (zh) * | 2023-01-30 | 2023-05-12 | 奇瑞新能源汽车股份有限公司 | 机器人加工轨迹设计方法、控制装置及介质 |
CN116400709A (zh) * | 2023-05-06 | 2023-07-07 | 河南牧业经济学院 | 机器人轨迹确定方法、装置、机器人及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117348577A (zh) | 2024-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107263464B (zh) | 机器学习装置、机械系统、制造系统以及机器学习方法 | |
US20200338730A1 (en) | Trajectory planning device, trajectory planning method and program | |
US11331803B2 (en) | Mixed reality assisted spatial programming of robotic systems | |
EP3733355A1 (en) | Robot motion optimization system and method | |
CN111209978B (zh) | 三维视觉重定位方法、装置及计算设备、存储介质 | |
CN108829116B (zh) | 基于单目摄像头的避障方法及设备 | |
CN111185909B (zh) | 机器人运行工况获取方法、装置、机器人及存储介质 | |
CN113787521B (zh) | 基于深度学习的机器人抓取方法、系统、介质和电子设备 | |
US20220148119A1 (en) | Computer-readable recording medium storing operation control program, operation control method, and operation control apparatus | |
CN115351780A (zh) | 用于控制机器人设备的方法 | |
CN113081266A (zh) | 机器人配准方法、装置、电子设备及存储介质 | |
Burlacu et al. | Predictive control architecture for real-time image moments based servoing of robot manipulators | |
CN111708283B (zh) | 一种机器人仿真方法、设备以及计算机可读存储介质 | |
EP3542970A1 (en) | Method, device and system for replaying movement of robot | |
CN117348577B (zh) | 一种生产工艺仿真检测方法、装置、设备以及介质 | |
CN117444991A (zh) | 动态路径规划方法、多机械臂平台结构及相关装置 | |
Gayanov et al. | Estimating the trajectory of a thrown object from video signal with use of genetic programming | |
CN112975947A (zh) | 元器件引脚的矫正方法、装置、设备及存储介质 | |
CN114074321A (zh) | 机器人标定方法及装置 | |
CN111890364A (zh) | 机器人的运动控制方法、装置、电子设备及存储介质 | |
CN114571463B (zh) | 动作检测方法、装置、可读存储介质及电子设备 | |
US20220143836A1 (en) | Computer-readable recording medium storing operation control program, operation control method, and operation control apparatus | |
CN113420604B (zh) | 多人姿态估计方法、装置和电子设备 | |
CN114571460A (zh) | 机器人控制方法、装置及存储介质 | |
WO2024185134A1 (ja) | カメラ姿勢推定装置、カメラ姿勢推定方法、及びコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |