CN111633469A - 一种基于强化学习的自动刀具补偿方法 - Google Patents

一种基于强化学习的自动刀具补偿方法 Download PDF

Info

Publication number
CN111633469A
CN111633469A CN202010533272.3A CN202010533272A CN111633469A CN 111633469 A CN111633469 A CN 111633469A CN 202010533272 A CN202010533272 A CN 202010533272A CN 111633469 A CN111633469 A CN 111633469A
Authority
CN
China
Prior art keywords
machine tool
reinforcement learning
monitoring system
learning model
compensation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010533272.3A
Other languages
English (en)
Inventor
范怡菱
王昊
李晨阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Biluo Technology Co ltd
Original Assignee
Shenzhen Biluo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Biluo Technology Co ltd filed Critical Shenzhen Biluo Technology Co ltd
Priority to CN202010533272.3A priority Critical patent/CN111633469A/zh
Publication of CN111633469A publication Critical patent/CN111633469A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/09—Arrangements for observing, indicating or measuring on machine tools for indicating or measuring cutting pressure or for determining cutting-tool condition, e.g. cutting ability, load on tool
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q15/00—Automatic control or regulation of feed movement, cutting velocity or position of tool or work
    • B23Q15/20—Automatic control or regulation of feed movement, cutting velocity or position of tool or work before or after the tool acts upon the workpiece
    • B23Q15/22—Control or regulation of position of tool or workpiece
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/22—Arrangements for observing, indicating or measuring on machine tools for indicating or measuring existing or desired position of tool or work

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Numerical Control (AREA)

Abstract

本发明公开了一种基于强化学习的自动刀具补偿方法，包括如下步骤：S1、设置机床的监控系统；S2、所述监控系统获取机床的初始状态；S3、所述监控系统将初始状态输入强化学习模型，并得到推荐动作；S4、机床根据推荐动作做出对应的操作步骤；S5、机床的操作步骤完成后，监控系统又得到机床的反馈状态；S6、监控系统将反馈状态再输入强化学习模型，强化学习模型进行自我迭代优化。本发明能非监督地智能优化刀具加工参数，对刀具的损耗进行智能补偿，减少人工经验的依赖，提高刀具补偿的实时性，生产效率非常高。

Description

一种基于强化学习的自动刀具补偿方法
技术领域
本发明涉及刀具补偿方法领域，尤其涉及的是一种基于强化学习的自动刀具补偿方法。
背景技术
刀具补偿是机床加工中经常遇到的问题，由于温度变化，刀具磨损等原因，加工中刀具的位置参数需要进行一定的补偿。目前，补偿工作一般由工人测量加工完成的产品尺寸，对参数进行补偿，补偿效果依赖工人的经验，不能实时补偿，影响机床加工稳定性。
而强化学习的方法最近在各领域被广泛应用，通过智能体与环境的不断交互过程进行学习和提升，强化学习能在非监督的条件下实现系统的自优化。因此，将强化学习应用于刀具补偿中，实现刀具补偿的自动化。
发明内容
本发明所要解决的技术问题是：提供一种减少人工经验依赖、智能化、高效率的基于强化学习的自动刀具补偿方法。
本发明的技术方案如下：一种基于强化学习的自动刀具补偿方法，包括如下步骤：
S1、设置机床的监控系统；
S2、所述监控系统获取机床的初始状态；
S3、所述监控系统将初始状态输入强化学习模型，并得到推荐动作；
S4、机床根据推荐动作做出对应的操作步骤；
S5、机床的操作步骤完成后，监控系统又得到机床的反馈状态；
S6、监控系统将反馈状态再输入强化学习模型，强化学习模型进行自我迭代优化。
采用上述技术方案，所述的基于强化学习的自动刀具补偿方法中，所述初始状态和反馈状态为机床的参数。
采用上述各个技术方案，所述的基于强化学习的自动刀具补偿方法中，所述监控系统包括边缘计算端、云平台以及网络设备，所述边缘计算端通过网络设备与机床连接，所述边缘计算端与云平台连接，所述云平台同时与机床连接；
其中，所述边缘计算端从机床中获取参数并整理，再将整理好的参数输入机床的强化学习模型中或保存在云平台。
采用上述各个技术方案，所述的基于强化学习的自动刀具补偿方法中，所述强化学习模型包括DQN模型、AC模型、A3C模型、Q-learning模型。
采用上述各个技术方案，所述的基于强化学习的自动刀具补偿方法中，所述操作步骤包括对机床的刀具进行磨损补偿。
采用上述各个技术方案，本发明能非监督地智能优化刀具加工参数，对刀具的损耗进行智能补偿，减少人工经验的依赖，提高刀具补偿的实时性，生产效率非常高。
附图说明
图1为本发明的流程示意图。
具体实施方式
以下结合附图和具体实施例，对本发明进行详细说明。
本发明的技术方案中，主要包括三个要素分别是：状态、动作以及奖励。状态实际为机床系统的一些参数，表示机床系统当前所处的情况；动作是机床做的一些操作步骤；奖励则表示机床在做出一个动作之后得到的反馈。
具体如图1，本实施例提供了一种基于强化学习的自动刀具补偿方法，包括如下步骤：
S1、设置机床的监控系统。
S2、所述监控系统获取机床的初始状态，初始状态为机床最开始被监控系统获取时参数的相关参数，例如本实施例中的刀具参数，加工时长、已加工工件数等。
S3、所述监控系统将初始状态输入强化学习模型，并得到推荐动作；所述强化学习模型包括DQN模型、AC模型、A3C模型、Q-learning模型等，本实施例可选用其中的任意一种，比如DQN模型。当然，实际当中还可以采用未列出的其他强化学习模型，此处不做过多的赘述。
S4、机床根据推荐动作做出对应的操作步骤；所述操作步骤包括对机床的刀具进行磨损补偿。
S5、机床的操作步骤完成后，监控系统又得到机床的反馈状态，反馈状态为机床完成操作步骤后的相关参数。
S6、监控系统将反馈状态再输入强化学习模型，强化学习模型进行自我迭代优化。
上述步骤中，具体的监控系统包括边缘计算端、云平台以及网络设备，所述边缘计算端通过网络设备与机床连接，所述边缘计算端与云平台连接，所述云平台同时与机床连接。
所述边缘计算端利用数控系统协议直接从机床中获取参数并整理，再将整理好的参数输入机床的强化学习模型中或保存在云平台。为了提高加工效率，每套边缘计算端可满足10-20台机床设备的数据处理量，可支持不同机床系统的同时采集。
如图1，步骤S2-S6实际上为一个刀具补偿流程，一个补偿流程完成后，可进行循环，如步骤S6完成后，又回到步骤S2，再一次进行刀具补偿流程，如此循环，实现智能化。
采用上述各个技术方案，本发明能非监督地智能优化刀具加工参数，对刀具的损耗进行智能补偿，减少人工经验的依赖，提高刀具补偿的实时性，生产效率非常高。
以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于强化学习的自动刀具补偿方法，其特征在于，包括如下步骤：
S1、设置机床的监控系统；
S2、所述监控系统获取机床的初始状态；
S3、所述监控系统将初始状态输入强化学习模型，并得到推荐动作；
S4、机床根据推荐动作做出对应的操作步骤；
S5、机床的操作步骤完成后，监控系统又得到机床的反馈状态；
S6、监控系统将反馈状态再输入强化学习模型，强化学习模型进行自我迭代优化。
2.根据权利要求1所述的基于强化学习的自动刀具补偿方法，其特征在于，所述初始状态和反馈状态为机床的参数。
3.根据权利要求2所述的基于强化学习的自动刀具补偿方法，其特征在于，所述监控系统包括边缘计算端、云平台以及网络设备，所述边缘计算端通过网络设备与机床连接，所述边缘计算端与云平台连接，所述云平台同时与机床连接；
其中，所述边缘计算端从机床中获取参数并整理，再将整理好的参数输入机床的强化学习模型中或保存在云平台。
4.根据权利要求3所述的基于强化学习的自动刀具补偿方法，其特征在于，所述强化学习模型包括DQN模型、AC模型、A3C模型、Q-learning模型。
5.根据权利要求1所述的基于强化学习的自动刀具补偿方法，其特征在于，所述操作步骤包括对机床的刀具进行磨损补偿。
CN202010533272.3A 2020-06-11 2020-06-11 一种基于强化学习的自动刀具补偿方法 Pending CN111633469A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010533272.3A CN111633469A (zh) 2020-06-11 2020-06-11 一种基于强化学习的自动刀具补偿方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010533272.3A CN111633469A (zh) 2020-06-11 2020-06-11 一种基于强化学习的自动刀具补偿方法

Publications (1)

Publication Number Publication Date
CN111633469A true CN111633469A (zh) 2020-09-08

Family

ID=72325767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010533272.3A Pending CN111633469A (zh) 2020-06-11 2020-06-11 一种基于强化学习的自动刀具补偿方法

Country Status (1)

Country Link
CN (1) CN111633469A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048422A (zh) * 2022-05-16 2022-09-13 上海控软网络科技有限公司 一种工艺推荐方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2539984Y (zh) * 2002-03-28 2003-03-12 深圳职业技术学院 数控加工实时监控装置
CN102073300A (zh) * 2010-12-28 2011-05-25 华中科技大学 一种数控加工状态自学习的刀具磨损监控系统
US20150168938A1 (en) * 2013-12-16 2015-06-18 The University Of Tokyo Controller for Spindle Motor
CN109032078A (zh) * 2017-06-12 2018-12-18 发那科株式会社 机器学习装置、控制装置以及计算机可读介质
CN109491320A (zh) * 2018-10-31 2019-03-19 华中科技大学 一种基于强化学习的刀具路径生成与优化方法
CN110488759A (zh) * 2019-08-09 2019-11-22 西安交通大学 一种基于Actor-Critic算法的数控机床进给控制补偿方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2539984Y (zh) * 2002-03-28 2003-03-12 深圳职业技术学院 数控加工实时监控装置
CN102073300A (zh) * 2010-12-28 2011-05-25 华中科技大学 一种数控加工状态自学习的刀具磨损监控系统
US20150168938A1 (en) * 2013-12-16 2015-06-18 The University Of Tokyo Controller for Spindle Motor
CN109032078A (zh) * 2017-06-12 2018-12-18 发那科株式会社 机器学习装置、控制装置以及计算机可读介质
CN109491320A (zh) * 2018-10-31 2019-03-19 华中科技大学 一种基于强化学习的刀具路径生成与优化方法
CN110488759A (zh) * 2019-08-09 2019-11-22 西安交通大学 一种基于Actor-Critic算法的数控机床进给控制补偿方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐松林: ""深度强化学习概述"", 《电脑知识与技术》 *
邹萍: ""面向边缘计算的制造资源感知接入与智能网关技术研究"", 《计算机集成制造系统》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048422A (zh) * 2022-05-16 2022-09-13 上海控软网络科技有限公司 一种工艺推荐方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN105215987B (zh) 一种工业机器人工艺云系统及其工作方法
CN110187647B (zh) 模型训练方法及系统
CN106272484A (zh) 一种多异构工业机器人控制系统
CN115857439B (zh) 一种基于数字孪生的生产线数据映射及融合系统及方法
CN110244658B (zh) 一种基于改进bp神经网络提高裁床插补位置精度的方法
CN105302105A (zh) 智能日化生产线在线控制系统
CN105278513A (zh) 一种自动控制系统
CN111633469A (zh) 一种基于强化学习的自动刀具补偿方法
CN112784427B (zh) 一种基于数字孪生技术智能制造仿真系统
CN107991991A (zh) 一种基于加工工艺云知识库的数控机床智能控制系统及其工作方法
CN104991544A (zh) 一种缝纫机网络控制系统及方法
CN106292593A (zh) 一种面向工业生产的数字化车间建设方法
CN102323784B (zh) 一种轧钢棒材热锯控制系统
Tamayo et al. Automation of a steel wall framing assembly
CN104423368A (zh) 通过对多个系统进行分组而统一管理控制的控制装置
CN111562773A (zh) 一种制造执行系统与产线一体化虚拟调试的方法及系统
CN103309284A (zh) 一种应用于机床优化控制的电子标签识别系统
CN205983185U (zh) 一种面向工业生产的数字化车间
CN106886196A (zh) 与数控系统直接通讯的计算机辅助制造方法及装置和系统
CN111633324B (zh) 一种基于监控系统的涡轮叶片制造方法、装置和监控系统
CN101414170B (zh) 用于集成电路生产线的amhs系统及其实现方法
CN114800556A (zh) 一种基于工业机器人的自动化加工生产线
CN111178695B (zh) 一种区块链使能的车间动态协调运行方法
CN113406937A (zh) 一种应用于生产车间的数据监控系统
CN110532597B (zh) 基于压力轨迹预测和时间节点的空压机组调配系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200908