CN111745467A - 磨床的辅助装置以及辅助方法 - Google Patents

磨床的辅助装置以及辅助方法 Download PDF

Info

Publication number
CN111745467A
CN111745467A CN202010216899.6A CN202010216899A CN111745467A CN 111745467 A CN111745467 A CN 111745467A CN 202010216899 A CN202010216899 A CN 202010216899A CN 111745467 A CN111745467 A CN 111745467A
Authority
CN
China
Prior art keywords
grinding
grinding machine
state information
evaluation result
reward
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010216899.6A
Other languages
English (en)
Inventor
增田祐生
河原彻
村上慎二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JTEKT Corp
Original Assignee
JTEKT Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JTEKT Corp filed Critical JTEKT Corp
Publication of CN111745467A publication Critical patent/CN111745467A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B49/00—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation
    • B24B49/02—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation according to the instantaneous size and required size of the workpiece acted upon, the measuring or gauging being continuous or intermittent
    • B24B49/04—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation according to the instantaneous size and required size of the workpiece acted upon, the measuring or gauging being continuous or intermittent involving measurement of the workpiece at the place of grinding during grinding operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B1/00—Processes of grinding or polishing; Use of auxiliary equipment in connection with such processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B41/00—Component parts such as frames, beds, carriages, headstocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B49/00—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation
    • B24B49/14—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation taking regard of the temperature during grinding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B51/00—Arrangements for automatic control of a series of individual steps in grinding a workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources
    • G06Q10/1053—Employment or hiring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/34—Director, elements to supervisory
    • G05B2219/34082—Learning, online reinforcement learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Manufacturing & Machinery (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Constituent Portions Of Griding Lathes, Driving, Sensing And Control (AREA)
  • Grinding-Machine Dressing And Accessory Apparatuses (AREA)
  • Numerical Control (AREA)

Abstract

磨床的辅助装置具备：状态信息取得部，作为状态信息取得包含与通过磨床的控制装置能控制的多个动作指令数据相关的设定状态的磨削条件；评价结果取得部，取得被预先设定并在磨削条件下得到的多个评价对象的评价结果；报酬计算部，基于评价结果计算针对状态信息的报酬；策略存储部，存储根据在基于状态信息和报酬的强化学习中生成的价值函数而得到的策略且构成为以评价结果成为最佳的方式调整与状态信息对应的动作指令数据的策略；行动决定部，基于状态信息以及策略，从能够调整的多个动作指令数据的候补中决定调整的动作指令数据及调整动作指令数据的调整量；及行动信息输出部，将包含已由行动决定部决定的行动信息的内容向控制装置输出。

Description

磨床的辅助装置以及辅助方法
技术领域
本发明涉及磨床的辅助装置以及辅助方法。
背景技术
日本特开2018-051646号公报公开了根据存储于条件存储部的加工条件控制磨削装置的各构成要素，由此得到相同的加工结果的技术。日本特开2018-051646号公报所记载的技术，将施加于工件的负载或者主轴马达的负荷电流与基准值比较，在该差变大的情况下进行加工条件的调整，由此实现加工条件的最佳化。
在日本特开2018-051646号公报所记载的技术中，确定对工件施加的负载或者主轴马达的负荷电流与基准值的差变大的原因并不容易。因此，从能够控制的多个构成要素中，很难判断调整哪个构成要素会使加工条件最佳化。
发明内容
本发明提供一种进行用于使磨削条件最佳化的辅助的磨床的辅助装置以及辅助方法。
(1.第一磨床的辅助装置)
根据本发明的一实施方式，用于辅助包含控制装置的至少一个磨床的辅助装置具备：状态信息取得部，其作为状态信息取得包含与通过磨床的控制装置能够控制的多个动作指令数据相关的设定状态的磨削条件；评价结果取得部，其取得被预先设定并在上述磨削条件下得到的多个评价对象的评价结果；报酬计算部，其基于上述评价结果，计算针对上述状态信息的报酬；策略存储部，其存储根据在基于上述状态信息和上述报酬的强化学习中生成的价值函数而得到的策略、且构成为以上述评价结果成为最佳的方式调整与上述状态信息对应的上述动作指令数据的上述策略；行动决定部，其基于上述状态信息以及上述策略，从能够调整的上述多个动作指令数据的候补中决定要调整的上述动作指令数据以及上述动作指令数据被调整的调整量；以及行动信息输出部，其构成为将包含已由上述行动决定部决定的行动信息的内容向上述控制装置输出。上述评价对象包含：通过上述磨床实施磨削加工的工件的磨削品质，上述磨削加工后的砂轮的表面状态或者磨损量，以及实施上述工件的上述磨削加工所需的加工时间中的至少一个。
该磨床的辅助装置基于根据在强化学习中生成的价值函数而得到的策略，进行与状态信息对应的行动的决定(即、要调整的动作指令数据以及动作指令数据的调整量的决定)。另外，该辅助装置将与已决定的行动对应的行动信息向控制装置输出，从而辅助由磨床进行的磨削加工中的磨削条件的设定。
特别是，在由磨床进行的磨削加工中，与切削加工等相比要求高精度的加工。其另一方面，在由磨床进行的磨削加工中，随着磨削加工的推进而砂轮磨损，砂轮的直径发生变化。这样，在磨削条件时刻变化中，不容易进行针对多个评价对象的各个得到高的评价结果那样的动作指令数据的调整。
与此相对，辅助装置将与根据状态信息决定的行动相关的行动信息向控制装置输出，磨床基于从辅助装置输出的行动信息来调整动作指令数据。因此，磨床能够在磨削条件被最佳化的状态下进行磨削加工，其结果是，能够得到最佳的评价结果。
(2.第二磨床的辅助装置)
根据本发明的其它实施方式，用于辅助包含控制装置的至少一个磨床的辅助装置具备：状态信息取得部，其作为状态信息取得包含与通过磨床的控制装置能够控制的多个动作指令数据相关的设定状态的磨削条件；评价结果取得部，其取得被预先设定并在上述磨削条件下得到的多个评价对象的评价结果；报酬计算部，其基于上述评价结果，计算针对上述状态信息的报酬；价值函数存储部，其存储在基于上述状态信息和上述报酬的强化学习中生成的价值函数；策略存储部，其存储根据上述价值函数而得到的策略、且构成为以上述评价结果成为最佳的方式调整与上述状态信息对应的上述动作指令数据的上述策略；行动决定部，其基于上述状态信息以及上述策略，从能够调整的上述多个动作指令数据的候补中决定要调整的上述动作指令数据以及上述动作指令数据被调整的调整量；行动信息输出部，其构成为将包含已由上述行动决定部决定的行动信息的内容向上述控制装置输出；价值函数更新部，其构成为根据基于上述行动信息调整上述状态信息的调整后状态信息以及针对上述调整后状态信息的上述报酬，更新存储于上述价值函数存储部的上述价值函数；以及策略更新部，其基于上述更新后的价值函数更新上述策略。上述评价对象包含：通过上述磨床实施磨削加工的工件的磨削品质，上述磨削加工后的砂轮的表面状态，以及实施上述工件的磨削加工所需的加工时间中的至少一个。
该磨床的辅助装置进行将包含多个动作指令数据的设定状态的磨削条件作为状态信息，将要调整的动作指令数据以及动作指令数据的调整量作为行动信息的强化学习。而且，该辅助装置边进行基于状态信息、和针对该状态信息的报酬的强化学习，边更新用于决定行动信息的价值函数以及策略，由此能够实现策略的提高。
而且，该辅助装置基于根据在强化学习中生成的价值函数而得到的策略，决定与状态信息对应的行动，将与决定出的行动对应的行动信息向控制装置输出，从而辅助由磨床进行的磨削加工中的磨削条件的设定。而且，磨床基于从辅助装置输出的行动信息来调整动作指令数据，由此能够在磨削条件被最佳化的状态下进行磨削加工。其结果是，磨床能够得到最佳的评价结果。
(3.磨床的辅助方法)
根据本发明的其它实施方式，使用了上述第二辅助装置的磨床的辅助方法具备以下工序：作为第一学习，将上述评价结果推断部的上述推断评价结果作为上述评价结果来计算上述报酬；作为上述第一学习更新存储于上述价值函数存储部的上述价值函数，接着，基于更新后的上述价值函数更新上述策略；作为第二学习，基于实际进行了磨削加工时得到的上述评价结果来计算上述报酬；作为上述第二学习更新存储于上述价值函数存储部的上述价值函数。
该磨床的辅助方法在第一学习工序中，将评价结果推断部的推断评价结果作为评价结果来计算报酬，所以辅助装置能够进行强化学习而不进行实际的磨削加工。因此，辅助装置在第一学习工序中，能够避免伴随着不合格的产生、砂轮的早期磨损带来的成本的产生，并且能够实现短时间的策略的提高。另外，该磨床的辅助方法在第二学习工序中，基于实际进行了磨削加工时得到的评价结果来计算报酬。即辅助装置基于通过使用磨床的实际的磨削加工而得到的评价结果，进行强化学习，所以能够实现策略的进一步提高。
附图说明
图1是表示磨床辅助系统的简要结构的图。
图2是磨床的俯视图。
图3是表示磨床辅助系统的结构的功能框图。
图4是表示磨削品质推断装置的结构的功能框图。
图5是表示磨损量推断装置的结构的功能框图。
图6是表示粗磨进给动作的开始位置处的工件与砂轮的相对位置的图。
图7是表示辅助装置的学习阶段的结构的功能框图。
图8是表示由磨床辅助系统执行的学习工序的流程图。
图9是表示在学习工序中执行的第一学习工序的流程图。
图10是表示在学习工序中执行的第二学习工序的流程图。
图11是表示辅助装置的推断阶段的结构的功能框图。
图12是表示由磨床辅助系统执行的辅助工序的流程图。
具体实施方式
(1.磨床辅助系统1的概要)
首先，参照图1对磨床辅助系统1的概要进行说明。磨床辅助系统1具备：磨床生产线2、外部装置3、推断装置4以及辅助装置100。
磨床生产线2由对工件W进行磨削加工的多个磨床10构成。磨床10能够应用圆筒磨床、凸轮磨床等各种结构的磨床。外部装置3在检测通过磨床10磨削加工的工件W的磨削品质、磨削加工后的砂轮16(参照图2)的表面状态时使用。推断装置4在推断通过磨床10磨削加工的工件W的磨削品质、磨削加工后的砂轮16的磨损量时使用。即磨床辅助系统1在掌握工件W的磨削品质、砂轮16的表面状态时，能够取得外部装置3的检测结果，能够取得推断装置4的推断结果。
辅助装置100被设置为能够与构成磨床生产线2的各磨床10、外部装置3以及推断装置4通信。此外，辅助装置100能够作为被组装在一个磨床10的装置。辅助装置100对于预先设定的多个评价对象，进行用于使各个评价最大化的辅助。作为评价对象例如例示工件W的磨削品质、砂轮16的表面状态等。辅助装置100根据评价对象的评价结果，适当地调整能够由磨床10的控制装置20控制的动作指令数据。
具体地说，在辅助装置100存储有根据在强化学习中生成的价值函数得到的策略。而且，辅助装置100基于策略，从能够在当前的磨削条件下调整的多个动作指令数据的候补中决定要调整的动作指令数据的选择、以及已选择的动作指令数据的调整量。由此，磨床辅助系统1能够在各个磨床10中实现磨削条件的最佳化。
(2.磨床10的结构)
接下来，参照图2以及图3对磨床10的结构进行说明。在本实施方式中，以磨床10是砂轮座横动型的圆筒磨床的情况为例。但是，磨床辅助系统1作为磨床10，能够使用工作台横动型的磨床。磨床10主要具备：床身11、主轴箱12、尾座13、横动基座14、砂轮座15、砂轮16、尺寸控制装置17、砂轮修正装置18以及控制装置20。
床身11被固定于设置面上。主轴箱12被设置于床身11的上表面，将工件W支承为能够绕工件W的中心轴线(绕Z轴)旋转。尾座13被设置于在床身11的上表面，与主轴箱12对置的位置。而且，主轴箱12以及尾座13能够旋转地支承工件W的两端。工件W通过被设置于主轴箱12的马达12a的驱动而旋转。
横动基座14被设置为在床身11的上表面，能够沿工件W的中心轴线方向(Z轴方向)移动。横动基座14通过被设置于床身11的马达14a的驱动而移动。砂轮座15被设置于在横动基座14的上表面，能够向与工件W接近以及分离的方向(X轴方向)移动。砂轮座15通过被设置于横动基座14的马达15a的驱动而移动。
砂轮16被形成为圆盘状，被砂轮座15支承为能够旋转。砂轮16通过被设置于砂轮座15的马达16a的驱动而旋转。砂轮16利用结合材料固定多个磨粒而构成。在磨粒中存在一般磨粒和超级磨粒。作为一般磨粒公知有氧化铝、碳化硅等陶瓷质的材料等。作为超级磨粒是金刚石、或CBN。尺寸控制装置17被设置于床身11的上表面，具备能够与工件W的外周面接触的一对触头，计测工件W的加工部位的尺寸(直径)。
砂轮修正装置18对砂轮16的表面状态进行修正。砂轮修正装置18作为砂轮16的修正，进行整形和修整中的至少一方。并且，砂轮修正装置18还具有测定砂轮16的尺寸(直径)的功能。
这里，整形是定形作业，是在砂轮16因磨削而磨损的情况下根据工件W的形状而对砂轮16进行成型的作业，是消除因偏磨损而导致砂轮16的振动的作业等。修整是修整(变锋利)作业，是调整磨粒的突出量或创建磨粒的切削刃的作业。修整是对破损、堵塞、溢出等进行修正的作业，在通常整形后来进行。另外，整形和修整往往也没有被特别区别地实施。
如图3所示，控制装置20基于NC程序以及PLC的控制程序，控制各驱动装置。NC程序基于后述的动作指令数据而生成，控制装置20基于该NC程序，控制各驱动装置12a、14a、15a、16a、17、18(在图3中记载为“12a等”)。PLC的控制程序根据输入设备的指令信号的ON/OFF而使输出设备动作。
例如控制装置20基于由尺寸控制装置17测定的工件W的直径，进行磨削直到工件W成为精加工形状。另外，控制装置20在实施砂轮16的更换、修正(整形、修整)的情况下，控制各马达14a、15a、16a以及砂轮修正装置18等。此外，在图3中，工件W中被砂轮16磨削的部位作为磨削部位而表示。
磨床10还具备检测驱动装置12a等的实际动作数据的传感器21、检测构造部件15等的状态(表示构造部件15等状态的数据)的传感器22、检测与因磨削而变化的磨削部位W相关的数据(磨削部位数据)的传感器23。传感器21例如是检测马达12a的驱动电流的电流传感器，检测马达12a的当前位置(旋转角度)的位置传感器等。传感器21对于其它驱动装置14a、15a、16a、17、18也检测相同的信息。传感器22例如是检测构造部件15等的振动的振动传感器，检测构造部件15等的变形量的应变传感器，检测构造部件15等的温度、供磨床10配置的位置的气温的温度传感器等。振动传感器能够应用检测与振动对应的加速度的传感器，检测与振动对应的声波的传感器等。传感器23是检测因磨削而变化的工件W的尺寸(直径)的尺寸控制装置17，检测磨削时的磨削点温度的温度传感器等。
(3.外部装置3的例子)
接下来，对外部装置3的例子进行说明。在本实施方式中，作为外部装置3在磨床辅助系统1设置有以工件W为单位检测由磨床10通过砂轮16进行磨削加工的工件W的磨削品质数据的磨削品质检测装置。
磨削品质数据例如包含加工变质层数据(磨削烧伤等数据)、表面性状数据(表面粗糙度等数据)、震痕数据等。即，外部装置3是取得加工变质层数据(与磨削烧伤、磨削的软化层等相关的数据)的加工变质层检测器，取得表面性状数据(与表面粗糙度等相关的数据)的表面性状测定器，取得震痕数据的颤动检测器等。此外，外部装置3也可以设为直接取得该数据的装置。另外，外部装置3也可以是取得具有相关的其它数据，使用该其它数据来进行运算，由此取得目的数据的装置，即间接取得目的数据的装置。
加工变质层数据可以是与加工变质层的有无相关的数据，也可以是与加工变质层的程度相关的得分。表面性状数据例如可以是表面粗糙度的值，也可以是与表面粗糙度的程度相关的得分。另外，震痕数据可以是与震痕的有无相关的数据，也可以是与震痕的程度相关的得分。各得分例如由多个阶段的评分等来表示。
另外，磨床辅助系统1作为与砂轮16的表面状态对应的表面状态数据，能够取得由磨削品质检测装置检测出的工件W的磨削品质数据。此外，磨床辅助系统1作为外部装置3，也能够设置上述磨削品质检测装置以外的外部装置3(例如检测砂轮16的表面状态的装置等)。
(4.推断装置4的例子)
接下来，对推断装置4进行说明。推断装置4对于与预先设定的磨削加工相关的评价对象，推断在规定的磨削条件下磨床10对工件W进行磨削加工时的评价对象的评价结果。推断装置4例如具备推断工件W的磨削品质的磨削品质推断装置50、以及推断砂轮16的磨损量的磨损量推断装置60。此外，推断装置4能够是被组装于磨床10的装置，也能够是与磨床10不同的单元。
另外，推断装置4还作为磨削加工的模拟装置发挥功能。例如推断装置4具备接受由磨床辅助系统1的使用者进行的输入的输入装置4a、以及取得向输入装置4a输入的输入内容以及从辅助装置100输出的信息(行动信息)的磨削条件取得部41。另外，推断装置4具备存储基于磨削条件取得部41取得的输入内容以及信息而设定的假想的磨削条件的磨削条件存储部42。
而且，推断装置4还能够基于存储于磨削条件存储部42的假想的磨削条件进行磨削加工的模拟，推断针对在该磨削条件下磨床10对工件W进行磨削加工时的评价对象的评价结果。即推断装置4通过进行基于假想的磨削条件的磨削加工的模拟，由此不进行磨床10的实际的磨削加工，就能够推断评价对象的评价结果。
另外，推断装置4还能够基于磨床10实际进行磨削加工时所得到的磨削条件数据，推断评价对象的评价结果。在该情况下，辅助装置100也能够代替取得外部装置3的检测结果作为评价结果，取得推断装置4的推断结果作为评价结果。
(4-1.磨削品质推断装置50)
如图4所示，磨削品质推断装置50具备数据取得部51、磨削品质推断模型存储部52以及磨削品质推断部53。数据取得部51取得为了推断工件W的磨削品质所需的磨削条件数据。具体地说，数据取得部51作为磨削条件数据，取得动作指令数据。动作指令数据是每个工序的指令切入速度、工序切换时的移动体14、15的指令位置、砂轮16的指令旋转速度、工件W的指令旋转速度等。此外，由磨床10进行的工件W的磨削加工通过粗磨、精磨、细磨以及无火花磨削等多个磨削工序来进行，磨床10基于动作指令数据进行工序的切换。
另外，数据取得部51作为磨削条件数据，从传感器21取得被控制装置20控制的驱动装置12a等的实际动作数据。作为传感器21检测的实际动作数据例示了马达12a等的驱动电流，马达12a等的实际位置等。并且，数据取得部51作为磨削条件数据，从传感器22以及传感器23取得由砂轮16进行工件W的磨削时的实测数据。作为传感器22检测的实测数据例示构造部件15等的振动，构造部件15等的变形量，构造部件15等的温度，供磨床10配置的场所的气温等，作为传感器23检测的实测数据例示工件W的尺寸(外径)，磨削点温度等。而且，数据取得部51针对每个工件W，取得从磨削初期到磨削末期的实际动作数据以及实测数据。
此外，在推断装置4进行基于假想的磨削条件的磨削加工的模拟的情况下，数据取得部51取得存储于磨削条件存储部42的假想的磨削条件数据。即磨削条件数据包含动作指令数据、实际动作数据、实测数据。
磨削品质推断模型存储部52存储表示磨削条件数据与工件W的磨削品质的关系的磨削品质推断模型。磨削品质推断模型是使用机械学习生成的学习模型。磨削品质推断模型作为工件W的磨削品质，推断工件W的加工变质层的状态、工件W的表面性状以及工件W的震痕状态。此外，磨削品质推断模型并不限于推断上述全部的磨削品质的情况，也可以仅推断上述全部的磨削品质中的一部分。磨削品质推断部53基于数据取得部51取得的磨削条件数据、和存储于磨削品质推断模型存储部52的磨削品质推断模型，推断工件W的磨削品质。
(4-2.磨损量推断装置60)
如图5所示，磨损量推断装置60具备：砂轮座位置信息取得部61、温度信息取得部62、热位移量计算模型存储部63、热位移量计算部64以及磨损量计算部65。
砂轮座位置信息取得部61取得由被设置于磨床10的砂轮座位置检测装置60a检测出的砂轮座15的位置信息。砂轮座位置检测装置60a是检测砂轮座15的X轴方向的位置的装置，作为砂轮座位置检测装置60a例示了被安装于马达15a的编码器、被安装于横动基座14的直线标尺等。在本实施方式中，砂轮座位置信息取得部61作为位置信息，取得磨削加工结束时刻的砂轮座15在X轴方向的位置信息。
温度信息取得部62在与由砂轮座位置检测装置60a检测出的砂轮座15的位置信息对应的时刻，将传感器23检测出的构造部件15等的温度作为温度信息而取得。传感器23至少检测对工件W与砂轮16的轴间距离的变动造成影响的构造部件15等的温度。例如传感器23被安装于床身11、横动基座14、砂轮座15等。
此外，在推断装置4进行基于假想的磨削条件的磨削加工的模拟的情况下，砂轮座位置信息取得部61以及温度信息取得部62取得存储于磨削条件存储部42的假想的磨削条件数据。即磨削条件数据包含磨削加工结束时刻的砂轮座15的Z轴方向的位置信息以及对工件W与砂轮16的轴间距离的变动造成影响的构造部件15等的温度。
热位移量计算模型存储部63存储表示构造部件15等的温度与构造部件15等的热位移量的关系的热位移量计算模型。热位移量计算模型是使用机械学习生成的学习模型。热位移量计算模型作为构造部件15等的热位移量计算从位置信息减去基于表示工件W的磨削个数与位置信息的关系的回归式而计算出的砂轮16的磨损量而得到的值。此外，热位移量计算模型通过将该热位移量和构造部件15等的温度作为学习数据集的监督学习(教師有り学習)而生成。
热位移量计算部64基于构造部件15等的温度以及热位移量计算模型，计算构造部件15等的热位移量。具体地说，热位移量计算部64将由传感器23检测出的构造部件15等的温度作为输入数据，使用热位移量计算模型，由此输出热位移量。此外，热位移量是将没有热位移的状态作为基准的情况下的热位移量。
磨损量计算部65基于砂轮座15的位置信息以及由热位移量计算部64计算出的热位移量，计算砂轮16的磨损量。此外，砂轮16的磨损量可以是以这之前的工件W的刚磨削加工结束时刻为基准的砂轮16的磨损量，也可以是以前次修正后的时刻为基准的砂轮16的磨损量。
这里，参照图6对工件W与砂轮16的相对位置进行说明。此外，在本实施方式中，磨削加工进给动作包含用于进行粗磨的粗磨进给动作、用于进行精磨的精磨进给动作、用于进行细磨的细磨进给动作、用于进行无火花磨削的进给停止动作。而且，在图6中图示了砂轮16移动到用于进行粗磨的粗磨进给动作的开始位置时的工件W与砂轮16的相对位置。
如图6的从上起第一个图所示，工件W与砂轮16的轴间距离是Xd1。此时，砂轮16的外径是Dt1。工件W的外径是磨削前的原材料直径。工件W与砂轮16的分离距离是Xs1。
在图6的从上起第二个图中，因磨床10的构造部件15等的热位移、例如床身11、砂轮座15的热位移，工件W与砂轮16的轴间距离成为Xd2。此时的热位移量是ΔXh。这样，工件W与砂轮16的分离距离成为比Xs1大的Xs2。
在图6的从上起第三个图中，因砂轮16的磨损以及整形，砂轮16的外径变小，成为Dt2。工件W与砂轮16的轴间距离是与图6的从上起第一个图相同的Xd1。此时，工件W与砂轮16的分离距离成为比Xs1大的Xs3。
在图6的从上起第四个图中，工件W与砂轮16的轴间距离因磨床10的构造部件15等的热位移，是与图6的从上起第二个图相同的Xd2。热位移量是ΔXh。此时，工件W与砂轮16的分离距离成为比Xs1、Xs2、Xs3大的Xs4。
即由于砂轮16的磨损以及整形，以及磨床10的构造部件15等的热位移，工件W与砂轮16的分离距离发生变化。其结果是，即使粗磨进给动作的开始位置恒定，但从开始粗磨进给动作之后，砂轮16与工件W接触，实际进行粗磨之前的时间(以下称为“空磨削时间”)伴随着砂轮16的磨损量以及整形量、磨床10的构造部件15等的热位移量Xh而变化。
与此相对，在图6的从上起第二个图所示的例子中，掌握热位移量Xh，将粗磨进给动作的开始位置修正热位移量Xh，由此能够将工件W与砂轮16的分离距离设为与图6的从上起第一个图相同的Xs1。另外，在图6的从上起第三个图所示的例子中，掌握砂轮16的外径的变化量(Dt1-Dt2)，修正研进给动作的开始位置外径的变化量(Dt1-Dt2)，由此能够将工件W与砂轮16的分离距离设为与图6的从上起第一个图相同的Xs1。此时，工件W与砂轮16的轴间距离成为Xd3。
同样，在图6的从上起第四个图所示的例子中，掌握热位移量Xh以及砂轮16的外径的变化量(Dt1-Dt2)，用(Xh+(Dt1-Dt2))修正粗磨进给动作的开始位置，由此能够将工件W与砂轮16的分离距离设为与图6的从上起第一个图相同的Xs1。此时，工件W与砂轮16的轴间距离成为Xd3。
这样，磨床10掌握热位移量Xh以及砂轮16的外径Dt1、Dt2，对粗磨进给动作的开始位置进行修正，由此使工件W与砂轮16的分离距离恒定。由此，磨床10能够缩短空磨削时间，其结果是，能够实现磨削周期时间的缩短。另外，磨床辅助系统1基于对粗磨进给动作的开始位置进行修正时磨损量计算部65计算的砂轮16的磨损量，来推断砂轮16的磨损量或者表面状态。
(5.在学习阶段中发挥功能的辅助装置100的结构)
接下来，参照图7对在学习阶段中发挥功能的辅助装置100的结构进行说明。如图7所示，辅助装置100作为在学习阶段中发挥功能的构成，具备以下的结构。即、辅助装置100主要具备：状态信息取得部110、评价结果取得部120、报酬计算部130、价值函数存储部140、策略存储部150、行动决定部160、行动信息输出部170、价值函数更新部180以及策略更新部190。
图1所示的辅助装置100具备至少一个处理器、和至少一个存储器。另外，状态信息取得部110、评价结果取得部120、报酬计算部130、价值函数存储部140、策略存储部150、行动决定部160、行动信息输出部170、价值函数更新部180以及策略更新部190包含于处理器或者存储器中的任一方。
如图1所示，辅助装置100只要是能够与在磨床生产线2的各磨床10、外部装置3以及推断装置4中形成的一种计算机网络通信的装置即可。例如辅助装置100可以是本领域技术人员周知的计算机，或者是其它的计算机，但并不限于图1所示的结构。
状态信息取得部110作为状态信息取得包含能够由控制装置20控制的多个动作指令数据的设定状态的磨削条件。例如状态信息取得部110作为状态信息，取得砂轮16与工件W的旋转速度比、砂轮16的切入量、砂轮16的进给速度、粗磨、精磨以及细磨的时间分配、加工量等的比例、无火花磨削时的砂轮16的转速、构造部件15等的温度、供磨床10配置的场所的气温等。
评价结果取得部120关于预先设定的评价对象，取得在规定的磨削条件下得到的评价对象的评价结果。例如评价结果取得部120作为评价结果，取得磨削加工后的工件W的磨削品质、磨削加工后的砂轮16的表面状态或者磨损量、工件W的加工所需的加工时间、磨床10的消耗电力、对工件W施加的加工负荷、磨床生产线2的各个磨床10的运转率等。评价结果取得部120能够从被设置于磨床10的各种传感器等、外部装置3以及推断装置4取得针对评价对象的评价结果。
另外，评价结果取得部120作为评价结果能够取得被设置于推断装置4的磨削品质推断装置50、磨损量推断装置60的推断评价结果。即评价结果取得部120能够取得磨削品质推断装置50、磨损量推断装置60推断出的推断评价结果以及使用磨床10实际进行磨削加工时得到的评价结果双方。
报酬计算部130基于在规定的磨削条件下得到的评价对象的评价结果，计算针对该状态信息(磨削条件)的报酬。报酬计算部130在评价结果良好的情况下，对状态信息赋予正的报酬，另一方面在评价结果不良好的情况下，对状态信息赋予负的报酬(罚规)。
例如报酬计算部130关于作为评价结果之一的工件W的磨削品质，在该磨削品质是预先设定的基准以上的情况下，赋予正的报酬。另一方面，报酬计算部130在该磨削品质低于该基准的情况下，赋予负的报酬。另外，报酬计算部130关于作为评价结果之一的砂轮16的表面状态或者磨损量，在该表面状态是预先设定的基准以上的情况下，或者砂轮16的磨损量是预先设定的基准以下的情况下，赋予正的报酬。另一方面，报酬计算部130在该表面状态低于该基准的情况下，或者砂轮16的磨损量超过该基准的情况下，赋予负的报酬。
同样，报酬计算部130关于作为评价结果之一的加工时间，在该加工时间是被设定的基准以下的情况下，赋予正的报酬，另一方面在该加工时间超过该基准的情况下，赋予负的报酬。并且，报酬计算部130关于作为评价结果之一的磨床10的运转率，在该运转率是预先设定的基准以上的情况下，赋予正的报酬，另一方面在该运转率低于该基准的情况下，赋予负的报酬。
另外，报酬计算部130关于作为评价结果之一的磨床10的消耗电力，在该消耗电力是预先设定的基准以下的情况下，赋予正的报酬，另一方面，在该消耗电力超过该基准的情况下，赋予负的报酬。并且，报酬计算部130关于作为评价结果之一的加工负荷，在该加工负荷是预先设定的基准以下的情况下，赋予正的报酬，另一方面，在该加工负荷超过该基准的情况下，赋予负的报酬。
这样，报酬计算部130以评价对象为单位计算报酬。另外，报酬计算部130赋予与按每个评价对象设定的基准与评价结果之差对应的报酬。即、对评价结果与基准之差在正方向大的情况，赋予比评价结果与基准之差在正方向小的情况大的报酬。同样，对评价结果与基准之差在负方向大的情况，赋予比评价结果与基准之差在负向小的情况大的罚规。
价值函数存储部140存储在基于状态信息取得部110取得的状态信息和报酬计算部130计算出的报酬的强化学习中生成的价值函数。价值函数是在学习阶段中，为了以评价对象的评价结果成为最佳的方式得到与对应于状态信息的动作指令数据的调整相关的策略而生成的函数。价值函数例如通过Q学习，Sarsa，蒙特卡罗法等强化学习算法而生成。
策略存储部150存储根据存储于价值函数存储部140的价值函数而得到的策略。策略是用于从能够调整的多个动作指令数据的候补中选择要调整的动作指令数据，决定选择出的动作指令数据的调整量的基准。
行动决定部160基于状态信息以及策略，选择要调整的动作指令数据，决定选择出的动作指令数据的调整量。此时，行动决定部160根据策略以及强化学习算法，折中基于价值函数的选择(利用)与没有基于价值函数的选择(探查)并且进行动作指令数据的选择。
行动信息输出部170将行动决定部160的决定内容作为行动信息向磨床10的控制装置20输出。而且，控制装置20基于从行动信息输出部170取得的行动信息调整动作指令数据，磨床10在基于行动信息调整后的新的磨削条件(调整后状态信息)下，进行针对新的工件W的磨削加工。然后，状态信息取得部110将调整后的新的磨削条件作为新的状态信息取得，评价结果取得部120取得在新的磨削条件下得到的评价对象的评价结果。接着，报酬计算部130基于在新的磨削条件下得到的评价结果，计算针对新的状态信息(调整后状态信息)的报酬。
另外，行动信息输出部170能够将行动信息向推断装置4输出。在该情况下，推断装置4的磨削条件取得部41取得行动信息，更新存储于磨削条件存储部42的假想的磨削条件。而且，推断装置4基于更新后的新的假想的磨削条件进行磨削加工的模拟，推断在该磨削条件下磨床10对工件W进行磨削加工的情况下的针对评价对象的评价结果。
然后，状态信息取得部110将存储于磨削条件取得部41的假想的磨削条件作为新的状态信息取得，评价结果取得部120取得推断装置4的评价对象的推断评价结果。接着，报酬计算部130基于推断装置4的推断评价结果，计算针对新的状态信息的报酬。即报酬计算部130将针对使状态从调整前的状态信息向调整后状态信息迁移的行动信息的评价、作为针对调整后状态信息(新的状态信息)的报酬来计算。
价值函数更新部180根据基于行动信息进行了调整的新的状态信息(调整后状态信息)以及针对新的状态信息(调整后状态信息)的报酬，更新存储于价值函数存储部140的价值函数。此外，价值函数更新部180只要基于强化学习算法更新价值函数即可，例如在赋予了负的报酬的情况下，能够停止价值函数的更新。策略更新部190基于更新后的价值函数，更新存储于策略存储部150的策略。
(6.学习工序)
这里，参照图8所示的流程图对在学习阶段中磨床辅助系统1进行的学习工序进行说明。
如图8所示，磨床辅助系统1作为在学习工序中进行的最初的工序，执行使用推断装置4的推断评价结果进行强化学习的第一学习工序(S1)。然后，磨床辅助系统1执行使用在由磨床10进行的实际磨削加工后得到的实际的评价结果进行强化学习的第二学习工序(S2)。
关于该点，在进行辅助装置100的强化学习时，在价值函数存储部140存储有辅助装置100的使用者制作出的暂定的价值函数，在策略存储部150存储有使用者制作出的暂定的策略。另外，最初的磨削条件由使用者暂定地设定。
即对于在学习阶段的初始阶段存储于价值函数存储部140的价值函数而言，改善的余地较多，从价值函数得到的策略也未成熟。因此，在磨床10基于未成熟的策略进行了调整的新的磨削条件下进行磨削加工的情况下，评价对象的评价结果不是良好的可能性也变高。其结果是，存在伴随着不合格的产生、砂轮16的早期磨损的成本增大的担忧。
因此，辅助装置100在学习工序的初始阶段中，使用推断装置4的推断评价结果进行强化学习。在该情况下，辅助装置100能够进行强化学习而不进行实际的磨削加工，所以能够避免伴随着不合格的产生、砂轮16的早期磨损的成本的产生。而且在该情况下，辅助装置100与边实际进行磨削加工边进行强化学习的情况相比，能够以短时间得到针对评价对象的评价结果，所以能够以短时间进行价值函数以及策略的更新。
然后，辅助装置100在策略已提高的阶段，使用由磨床10实际进行磨削加工后而得到的实际的评价结果进行强化学习。由此，辅助装置100能够抑制不合格的产生以及砂轮16的早期磨损并且能够实现策略的进一步提高。
(6-1.第一学习工序)
接下来，参照图9所示的流程图对在学习工序中执行的第一学习工序(S1)进行说明。
如图9所示，辅助装置100作为在第一学习工序(S1)中执行的最初的工序，进行初始设定(S11)。在S11的工序中，辅助装置100的使用者将使用者生成的暂定的价值函数以及策略存储于价值函数存储部140以及策略存储部150。另外，磨削条件取得部41取得由使用者使用推断装置4的输入装置4a输入的暂定的磨削条件，并存储于磨削条件存储部42。
在S11的工序后，行动决定部160从能够调整的多个动作指令数据的候补中选择要调整的动作指令数据，决定选择出的动作指令数据的调整量(S12)。然后，行动信息输出部170基于行动决定部160的决定内容，将行动信息向推断装置4输出(S13)。
在S13的工序后，推断装置4基于磨削条件取得部41从行动信息输出部170取得的行动信息调整磨削条件，将调整后的磨削条件作为新的磨削条件存储于磨削条件存储部42(S14)。然后，推断装置4推断在调整后的新的磨削条件下得到的评价对象的评价结果(S15)。
在S15的工序后，辅助装置100将存储于推断装置4的磨削条件存储部42的新的磨削条件作为状态信息而取得，并且作为评价结果取得评价对象的推断评价结果(S16)。接下来，报酬计算部130基于推断评价结果，计算针对调整后的磨削条件的报酬(针对行动信息的评价)(S17)。
在S17的工序后，价值函数更新部180基于新的状态信息以及针对该状态信息的报酬，更新存储于价值函数存储部140的价值函数(S18)。此外，在S18的工序中，价值函数更新部180还能够根据强化学习算法，省略价值函数的更新。即价值函数更新部180可以在每次计算报酬时，基于该报酬进行价值函数的更新，也可以在进行了规定次数的报酬的计算之后计算报酬的平均值、不匀(例如标准偏差)等，基于该报酬的平均值进行价值函数的更新。另外，价值函数更新部180也可以仅在计算出的报酬是正的报酬的情况下，进行价值函数的更新，仅在计算出的报酬或者罚规与预先设定的基准值之差大的情况下，进行价值函数的更新。
在S18的工序后，策略更新部190基于更新后的价值函数，进行存储于策略存储部150的策略的更新(S19)。然后，辅助装置100进行是否结束第一学习工序(S1)的判定(S20)。例如使用者能够将进行规定次数(例如1000次)的推断装置4的磨削加工的模拟设定为第一学习工序(S1)的结束条件。而且，辅助装置100在第一学习工序(S1)的结束条件成立的情况下(S20：是)，结束本工序，在第一学习工序(S1)的结束条件不成立的情况下(S20：否)，返回S12的工序。
这样，辅助装置100在第一学习工序(S1)中，能够进行强化学习而不进行实际的磨削加工。因此，辅助装置100在学习阶段的初始阶段中，能够避免伴随不合格的产生、砂轮16的早期磨损的成本的产生，并且能够实现短时间的策略的提高。
(6-2.第二学习工序)
接下来，参照图10所示的流程图对在学习工序中执行的第二学习工序(S2)进行说明。
如图10所示，行动决定部160作为在第二学习工序(S2)中执行的最初的工序，从能够调整的多个动作指令数据的候补中选择要调整的动作指令数据，决定选择出的动作指令数据的调整量(S21)。此外，S21的工序与第一学习工序(S1)中的S12的工序相同。然后，行动信息输出部170基于行动决定部160的决定内容，将行动信息向控制装置20输出(S22)。
在S22的工序后，控制装置20基于从行动信息输出部170取得的行动信息调整磨削条件，在调整后的新的磨削条件下，进行磨床10的实际的磨削加工(S23)。然后，状态信息取得部110作为新的状态信息(调整后状态信息)取得调整后的新的磨削条件，评价结果取得部120取得在调整后的磨削条件下得到的评价对象的评价结果(S24)。
在S24的工序后，报酬计算部130基于评价结果取得部120取得的评价结果，计算针对新的状态信息的报酬(针对行动信息的评价)(S25)。接着，价值函数更新部180基于新的状态信息以及针对该状态信息的报酬，更新存储于价值函数存储部140的价值函数(S26)。接着，策略更新部190基于更新后的价值函数，进行存储于策略存储部150的策略的更新(S27)。此外，从S25～S27的工序与第一学习工序(S1)中的S17～S19的工序相同。
然后，辅助装置100进行是否结束第二学习工序(S2)的判定(S28)。例如使用者能够将进行规定次数(例如1000次)的磨床10的磨削加工设定为第二学习工序(S2)的结束条件。而且，辅助装置100在第二学习工序(S2)的结束条件成立的情况下(S28：是)，结束本工序，在第二学习工序(S2)的结束条件没有成立的情况下(S28：否)，返回S21的工序。
这样，辅助装置100在第二学习工序(S2)中，基于通过使用了磨床10的实际的磨削加工而得到的评价结果，进行强化学习，所以能够实现策略的进一步提高。
如以上说明那样，辅助装置100在学习阶段中，进行将包含多个动作指令数据的设定状态的磨削条件作为状态信息，将要调整的动作指令数据以及动作指令数据的调整量作为行动信息的强化学习。而且，辅助装置100边进行基于状态信息、和针对该状态信息的报酬的强化学习，边更新用于决定行动信息的价值函数以及策略，由此能够实现策略的提高。
另外，评价结果取得部120能够取得磨削品质推断装置50、磨损量推断装置60推断出的推断评价结果、以及使用磨床10实际进行磨削加工时得到的评价结果双方。而且，辅助装置100能够根据强化学习的进展状况等，取得磨削品质推断装置50、磨损量推断装置60的推断评价结果、以及实际进行磨削加工时得到的评价结果的任一个。由此，辅助装置100能够提高强化学习的学习效率，并且能够避免伴随着不合格的产生、砂轮16的早期磨损的成本的产生。
(7.在推断阶段中发挥功能的辅助装置100的结构)
接下来，参照图11对在推断阶段中发挥功能的辅助装置100的结构进行说明。如图11所示，辅助装置100作为在推断阶段中发挥功能的构成，具备以下的结构。即、辅助装置100主要具备状态信息取得部110、评价结果取得部120、报酬计算部130、策略存储部150、行动决定部160、以及行动信息输出部170。此外，在推断阶段中发挥功能的辅助装置100的上述各结构与在学习阶段中发挥功能的辅助装置100的对应的结构同等。
除此之外，辅助装置100还具备进行对报酬计算部130赋予给多个评价对象各自的报酬的加权的加权部131。加权部131在多个评价对象中的一部分的评价对象的重要度比其它评价对象的重要度高的情况下，针对该一部分的评价对象，与其它评价对象相比增大赋予的报酬或者罚规的程度。此外，针对各个评价对象的报酬的加权能够由使用者进行设定。
例如，在作为评价对象的一部分的工件W的磨削品质的重要度比其它评价对象高的情况下，加权部131在磨削品质良好的情况下，使针对状态信息的报酬比通常高，另一方面在磨削品质不是良好的情况下，使针对状态信息的罚规比通常重。由此，辅助装置100能够进行成为与评价对象的重要度对应的最佳磨削条件的行动(要调整的动作指令数据以及动作指令数据的调整量)的决定。此外，加权部131也能够包含在学习阶段中的辅助装置100的结构。
(8.辅助工序)
接下来，参照图12所示的流程图对由磨床辅助系统1执行的辅助工序进行说明。此外，在图12所示的流程图中，辅助工序在磨床10的磨削加工结束时开始。
如图12所示，作为在辅助工序中执行的最初的工序，状态信息取得部110作为状态信息取得被设定在控制装置20的磨削条件，评价结果取得部120取得在该磨削条件下得到的评价对象的评价结果(S31)。此外，评价结果取得部120能够从被设置于磨床10的各种传感器等、外部装置3以及推断装置4取得针对评价对象的评价结果。另外，评价结果取得部120也可以代替来自外部装置3的评价结果，作为评价结果取得被设置于推断装置4的磨削品质推断装置50以及磨损量推断装置60的推断结果。接下来，报酬计算部130基于评价结果取得部120取得的评价结果，计算针对状态信息的报酬(S32)。
在S32的工序后，行动决定部160基于状态信息取得部110取得的状态信息和存储于策略存储部150的策略，从能够调整的多个动作指令数据的候补中选择要调整的动作指令数据，决定选择出的动作指令数据的调整量(S33)。接下来，行动信息输出部170基于行动决定部160的决定内容，将行动信息向控制装置20输出(S34)。然后，控制装置20基于从行动信息输出部170取得的行动信息调整磨削条件，在调整后的磨削条件下，开始由磨床10进行的新的磨削加工(S35)。
若S35的工序结束，则磨床辅助系统1结束辅助工序。而且，磨床辅助系统1在每次磨床10的磨削加工结束时，重新开始辅助工序。
如以上说明那样，辅助装置100在推断阶段中，基于从在学习阶段的强化学习中生成的价值函数得到的策略，进行与状态信息对应的行动(要调整的动作指令数据以及动作指令数据的调整量的决定)。另外，辅助装置100将与已决定的行动对应的行动信息向控制装置20输出，从而辅助由磨床10进行的磨削加工中的磨削条件的设定。
关于该点，特别是，在磨床10的磨削加工中，与切削加工等相比要求高精度的加工。其另一方面，在磨床10的磨削加工中，随着磨削加工的推进而砂轮16磨损，砂轮16的直径变化。这样，在磨削条件时刻变化中，进行针对多个评价对象的各个得到高的评价结果那样的动作指令数据的调整是不容易的。
与此相对，辅助装置100将与根据状态信息而决定的行动相关的行动信息向控制装置20输出，磨床10基于从辅助装置100输出的行动信息来调整动作指令数据。因此，磨床10能够在磨削条件被最佳化的状态下进行磨削加工，其结果是，能够得到最佳的评价结果。
另外，辅助装置100基于策略进行调整的动作指令数据的选择、以及选择出的动作指令数据的调整量的决定。在该情况下，辅助装置100在多个评价对象中的一部分的评价结果是不良的情况下，能够维持良好的评价对象的评价结果并且进行提高不良的评价结果那样的磨削条件的调整。即辅助装置100能够辅助评价结果针对多个评价对象的每一个都成为良好的磨削条件的设定。
例如，在评价对象是磨削加工后的工件W的磨削品质的情况下，辅助装置100若工件W的磨削品质不良，则能够进行改善磨削品质那样的动作指令数据的调整。此外，磨削品质不良的情况例示了工件W产生了加工变质层的情况，工件W的表面性状是规定阈值以上的情况，工件W产生了震痕的情况等。
另外，在评价对象是砂轮16的表面状态的情况下，辅助装置100能够根据砂轮16的表面状态，在最佳的时刻进行砂轮16的整形或者修整。在该情况下，与磨床10在砂轮16的表面状态良好时进行整形或者修整的情况相比，能够延长砂轮16的工具寿命。而且在该情况下，磨床10能够减少整形或者修整的次数，相应地能够减少伴随着整形或者修整的磨削加工的停止次数。而且在该情况下，能够防止磨床10在砂轮16的表面状态恶化的状态下进行磨削加工，所以能够抑制不合格的产生。
并且，在评价对象是砂轮16的磨损量的情况下，辅助装置100例如在一个工件W的磨削加工中的砂轮16的磨损量超过基准的情况下，能够进行磨损量变少那样的动作指令数据的调整。因此，磨床10能够实现砂轮16的工具寿命的长期化。
辅助装置100在评价对象是加工时间的情况下，在加工时间超过基准的情况下，能够进行加工时间变短那样的动作指令数据的调整。由此，磨床10能够实现磨削周期时间的缩短。
除此之外，辅助装置100在评价对象是磨床生产线2的各个磨床10的运转率的情况下，在一个磨床10的运转率低于基准的情况下，能够进行提高该一个磨床10的运转率那样的动作指令数据的调整。另外，在被设定的生产规划中是成为瓶颈的工序的情况下，有时构成磨床生产线2的磨床10的一部分的运转率下降。与此相对，辅助装置100能够根据成为瓶颈的工序来调整各个磨床10的加工时间。例如辅助装置100较长地确保成为瓶颈的工序以外的工序的加工时间，从而能够实现工件W的磨削品质、砂轮16的磨损量的提高。
辅助装置100在评价对象是磨床10的消耗电力的情况下，在消耗电力超过基准的情况下，能够进行消耗电力变小那样的动作指令数据的调整。由此，磨床10能够实现消耗电力的减少。另外，辅助装置100在评价对象是磨削加工时对工件W施加的加工负荷的情况下，在加工负荷超过基准的情况下，能够进行加工负荷变小那样的动作指令数据的调整。由此，磨床10能够抑制磨削加工时的磨削阻力。
辅助装置100在评价对象是磨削品质的不匀程度的情况下，在不匀程度超过基准的情况下，能够进行标准离差变小那样的动作指令数据的调整。例如在供磨床10配置的场所的气温、构造部件15等的温度不同的情况下，即使其它磨削条件相同，往往磨削品质的评价结果也不同。与此相对，辅助装置100在学习阶段中，在存在由供磨床10配置的场所的气温、构造部件15等的温度引起的磨削品质的不匀程度变大的趋势的情况下，能够生成进行与供磨床10配置的场所的气温、构造部件15等的温度对应的动作指令数据的调整那样的策略。
此外，辅助装置100在将磨削品质的不匀程度作为评价对象的情况下，在进行了规定次数的磨削加工或者磨削加工的模拟的时刻，计算磨削品质的不匀程度。例如，辅助装置100求出同磨削品质与基准之差相关的标准偏差，由此计算磨削品质的不匀程度。此外，磨削品质的不匀程度的计算也可以通过外部装置3来进行。
(9.其它)
以上，虽基于上述实施方式对本发明进行了说明，但本发明并不限于上述实施方式，容易地推断出在不脱离本发明的宗旨的范围内能够进行各种变形改进。例如，学习工序虽以在进行了第一学习工序(S1)之后进行第二学习工序(S2)的情况为例进行了说明，但学习工序也可以仅进行第二学习工序(S2)。

Claims (17)

1.一种用于辅助包含控制装置的至少一个磨床的辅助装置，其特征在于，具备：
状态信息取得部，其作为状态信息取得包含与通过磨床的控制装置能够控制的多个动作指令数据相关的设定状态的磨削条件；
评价结果取得部，其取得被预先设定并在上述磨削条件下得到的多个评价对象的评价结果；
报酬计算部，其基于上述评价结果，计算针对上述状态信息的报酬；
策略存储部，其存储根据在基于上述状态信息和上述报酬的强化学习中生成的价值函数而得到的策略、且构成为以上述评价结果成为最佳的方式调整与上述状态信息对应的上述动作指令数据的上述策略；
行动决定部，其基于上述状态信息以及上述策略，从能够调整的上述多个动作指令数据的候补中决定要调整的上述动作指令数据以及上述动作指令数据被调整的调整量；以及
行动信息输出部，其构成为将包含已由上述行动决定部决定的行动信息的内容向上述控制装置输出，
上述评价对象包含：
通过上述磨床实施磨削加工的工件的磨削品质，
上述磨削加工后的砂轮的表面状态或者磨损量，以及
实施上述工件的上述磨削加工所需的加工时间中的至少一个。
2.根据权利要求1所述的磨床的辅助装置，其特征在于，
上述报酬计算部在上述磨削品质是预先设定的基准以上的情况下，赋予上述正的报酬。
3.根据权利要求1所述的磨床的辅助装置，其特征在于，
上述报酬计算部在上述砂轮的表面状态是预先设定的第一基准以上的情况下，或者在上述砂轮的磨损量是预先设定的第二基准以下的情况下，赋予上述正的报酬。
4.根据权利要求1所述的磨床的辅助装置，其特征在于，
上述报酬计算部在上述加工时间是预先设定的基准以下的情况下，赋予上述正的报酬。
5.根据权利要求1所述的磨床的辅助装置，其特征在于，
上述评价对象还包含上述磨床的消耗电力，
上述报酬计算部在上述消耗电力是预先设定的基准以下的情况下，赋予上述正的报酬。
6.根据权利要求1所述的磨床的辅助装置，其特征在于，
上述评价对象还包含在上述磨削加工中对上述工件施加的加工负荷，
上述报酬计算部在上述加工负荷是预先设定的基准以下的情况下，赋予上述正的报酬。
7.根据权利要求1所述的磨床的辅助装置，其特征在于，
上述至少一个磨床包含多个磨床，磨床生产线由上述多个磨床构成，
上述评价对象还包含上述磨床生产线中的各个上述磨床的运转率，
上述报酬计算部在上述运转率是预先设定的基准以上的情况下，赋予上述正的报酬。
8.根据权利要求1～7中任一项所述的磨床的辅助装置，其特征在于，
上述磨床的辅助装置具备加权部，该加权部进行上述报酬计算部对上述多个评价对象的每一个赋予的上述报酬的加权。
9.根据权利要求1～8中任一项所述的磨床的辅助装置，其特征在于，
上述磨削条件还包含供上述磨床配置的场所的温度，或者上述磨床的温度。
10.根据权利要求9所述的磨床的辅助装置，其特征在于，
上述评价对象还包含上述磨削品质的不匀程度，
上述报酬计算部在上述不匀程度是预先设定的基准以下的情况下，赋予上述正的报酬。
11.根据权利要求1～10中任一项所述的磨床的辅助装置，其特征在于，上述磨床的辅助装置还具备：
价值函数存储部，其存储上述价值函数；
价值函数更新部，其构成为根据基于上述行动信息调整上述状态信息的调整后状态信息以及针对上述调整后状态信息的上述报酬，更新存储于上述价值函数存储部的上述价值函数；以及
策略更新部，其基于上述更新后的价值函数更新上述策略。
12.一种用于辅助包含控制装置的至少一个磨床的辅助装置，其特征在于，具备：
状态信息取得部，其作为状态信息取得包含与通过磨床的控制装置能够控制的多个动作指令数据相关的设定状态的磨削条件；
评价结果取得部，其取得被预先设定并在上述磨削条件下得到的多个评价对象的评价结果；
报酬计算部，其基于上述评价结果，计算针对上述状态信息的报酬；
价值函数存储部，其存储在基于上述状态信息和上述报酬的强化学习中生成的价值函数；
策略存储部，其存储根据上述价值函数而得到的策略、且构成为以上述评价结果成为最佳的方式调整与上述状态信息对应的上述动作指令数据的上述策略；
行动决定部，其基于上述状态信息以及上述策略，从能够调整的上述多个动作指令数据的候补中决定要调整的上述动作指令数据以及上述动作指令数据被调整的调整量；
行动信息输出部，其构成为将包含已由上述行动决定部决定的行动信息的内容向上述控制装置输出；
价值函数更新部，其构成为根据基于上述行动信息调整上述状态信息的调整后状态信息以及针对上述调整后状态信息的上述报酬，更新存储于上述价值函数存储部的上述价值函数；以及
策略更新部，其基于上述更新后的价值函数更新上述策略，
上述评价对象包含：
通过上述磨床实施磨削加工的工件的磨削品质，
上述磨削加工后的砂轮的表面状态，以及
实施上述工件的磨削加工所需的加工时间中的至少一个。
13.根据权利要求11或者12所述的磨床的辅助装置，其特征在于，
上述磨床的辅助装置还具备：
推断模型存储部，其存储表示上述状态信息与上述评价结果的关系的评价结果推断模型；以及
评价结果推断部，其基于上述状态信息与上述评价结果推断模型，推断在调整后的上述磨削条件下得到的上述评价结果，
上述评价结果取得部构成为作为上述评价结果取得上述评价结果推断部推断出的推断评价结果。
14.根据权利要求13所述的磨床的辅助装置，其特征在于，
上述评价结果取得部构成为取得上述推断评价结果、以及使用上述磨床实际进行了磨削加工时得到的上述评价结果中的至少一个。
15.根据权利要求13或者14所述的磨床的辅助装置，其特征在于，
上述评价结果推断模型存储部作为上述评价结果推断模型，存储表示上述状态信息与上述磨削品质的关系的磨削品质推断模型，
上述评价结果推断部基于上述状态信息与上述磨削品质推断模型，推断在上述磨削条件下进行了磨削加工的上述工件的上述磨削品质。
16.根据权利要求13或者14所述的磨床的辅助装置，其特征在于，
上述评价结果推断模型存储部作为上述评价结果推断模型，存储表示上述状态信息与上述磨床的构造部件的热位移量的关系的热位移量计算模型，
上述评价结果推断部根据基于上述状态信息以及上述热位移量计算模型计算出的上述热位移量、和上述状态信息，来计算上述砂轮的磨损量。
17.一种磨床的辅助方法，是使用了权利要求13～16中任一项所述的磨床的辅助装置的磨床的辅助方法，其特征在于，具备以下工序：
作为第一学习，将上述评价结果推断部的上述推断评价结果作为上述评价结果来计算上述报酬；
作为上述第一学习更新存储于上述价值函数存储部的上述价值函数，接着，基于更新后的上述价值函数更新上述策略；
作为第二学习，基于实际进行了磨削加工时得到的上述评价结果来计算上述报酬；
作为上述第二学习更新存储于上述价值函数存储部的上述价值函数。
CN202010216899.6A 2019-03-27 2020-03-25 磨床的辅助装置以及辅助方法 Pending CN111745467A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019059569A JP7302226B2 (ja) 2019-03-27 2019-03-27 研削盤の支援装置及び支援方法
JP2019-059569 2019-03-27

Publications (1)

Publication Number Publication Date
CN111745467A true CN111745467A (zh) 2020-10-09

Family

ID=72604074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010216899.6A Pending CN111745467A (zh) 2019-03-27 2020-03-25 磨床的辅助装置以及辅助方法

Country Status (3)

Country Link
US (1) US11597056B2 (zh)
JP (1) JP7302226B2 (zh)
CN (1) CN111745467A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114473870A (zh) * 2022-03-11 2022-05-13 新代科技(苏州)有限公司 磨床监测系统及监测方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112020007149B4 (de) * 2020-07-03 2023-09-21 Mitsubishi Electric Corporation Zuordnungsunterstützungsprogramm, Zuordnungsunterstützungsvorrichtung, Zuordnungslernprogramm, Zuordnungslernvorrichtung und computerlesbares Speichermedium
JPWO2022153936A1 (zh) * 2021-01-14 2022-07-21
JP7229621B1 (ja) * 2022-07-20 2023-02-28 株式会社ジーベックテクノロジー システム及びプログラム
CN116993230B (zh) * 2023-09-26 2023-12-15 山东省智能机器人应用技术研究院 一种机器打磨作业质量评估系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128318A (ja) * 2005-11-04 2007-05-24 Japan Science & Technology Agency 状態推定方法、状態推定装置、状態推定システム及びコンピュータプログラム
US20120191235A1 (en) * 2007-11-27 2012-07-26 Purdue Research Foundation Intelligent optimization method and system therefor
US20130153694A1 (en) * 2010-09-02 2013-06-20 Harald Held Method for Controlling a Mill System Having at Least One Mill, in Particular an Ore Mill or Cement Mill
JP2017030135A (ja) * 2015-07-31 2017-02-09 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
CN106392772A (zh) * 2015-07-31 2017-02-15 发那科株式会社 机械学习装置、主轴更换判定装置、控制装置、机床
JP2017068566A (ja) * 2015-09-30 2017-04-06 ファナック株式会社 工作機械の工具補正の頻度を最適化する機械学習装置及び機械学習方法、並びに該機械学習装置を備えた工作機械
CN107102619A (zh) * 2016-02-19 2017-08-29 发那科株式会社 机器学习装置、工业机械单元、制造系统及机器学习方法
CN107704984A (zh) * 2016-08-09 2018-02-16 发那科株式会社 具有传感器和机械学习部的作业管理系统
JP2018097680A (ja) * 2016-12-14 2018-06-21 ファナック株式会社 制御システム及び機械学習装置
JP2018106417A (ja) * 2016-12-26 2018-07-05 ファナック株式会社 数値制御装置及び機械学習装置
JP2018120453A (ja) * 2017-01-26 2018-08-02 ファナック株式会社 行動情報学習装置、行動情報最適化システム及び行動情報学習プログラム
CN108573310A (zh) * 2017-03-08 2018-09-25 发那科株式会社 精加工量预测装置以及机器学习装置
CN108693829A (zh) * 2017-04-07 2018-10-23 发那科株式会社 控制装置
US20190291270A1 (en) * 2018-03-20 2019-09-26 Fanuc Corporation Controller, machine learning device, and system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03239469A (ja) * 1990-02-16 1991-10-25 Matsushita Electric Works Ltd 研削加工装置
JP2018051646A (ja) 2016-09-27 2018-04-05 株式会社ディスコ 研削装置
JP2019162712A (ja) * 2018-03-20 2019-09-26 ファナック株式会社 制御装置、機械学習装置及びシステム

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128318A (ja) * 2005-11-04 2007-05-24 Japan Science & Technology Agency 状態推定方法、状態推定装置、状態推定システム及びコンピュータプログラム
US20120191235A1 (en) * 2007-11-27 2012-07-26 Purdue Research Foundation Intelligent optimization method and system therefor
US20130153694A1 (en) * 2010-09-02 2013-06-20 Harald Held Method for Controlling a Mill System Having at Least One Mill, in Particular an Ore Mill or Cement Mill
JP2017030135A (ja) * 2015-07-31 2017-02-09 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
CN106392772A (zh) * 2015-07-31 2017-02-15 发那科株式会社 机械学习装置、主轴更换判定装置、控制装置、机床
JP2017068566A (ja) * 2015-09-30 2017-04-06 ファナック株式会社 工作機械の工具補正の頻度を最適化する機械学習装置及び機械学習方法、並びに該機械学習装置を備えた工作機械
CN107102619A (zh) * 2016-02-19 2017-08-29 发那科株式会社 机器学习装置、工业机械单元、制造系统及机器学习方法
CN107704984A (zh) * 2016-08-09 2018-02-16 发那科株式会社 具有传感器和机械学习部的作业管理系统
JP2018097680A (ja) * 2016-12-14 2018-06-21 ファナック株式会社 制御システム及び機械学習装置
JP2018106417A (ja) * 2016-12-26 2018-07-05 ファナック株式会社 数値制御装置及び機械学習装置
JP2018120453A (ja) * 2017-01-26 2018-08-02 ファナック株式会社 行動情報学習装置、行動情報最適化システム及び行動情報学習プログラム
CN108573310A (zh) * 2017-03-08 2018-09-25 发那科株式会社 精加工量预测装置以及机器学习装置
CN108693829A (zh) * 2017-04-07 2018-10-23 发那科株式会社 控制装置
US20190291270A1 (en) * 2018-03-20 2019-09-26 Fanuc Corporation Controller, machine learning device, and system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114473870A (zh) * 2022-03-11 2022-05-13 新代科技(苏州)有限公司 磨床监测系统及监测方法
CN114473870B (zh) * 2022-03-11 2023-02-28 新代科技(苏州)有限公司 磨床监测系统及监测方法

Also Published As

Publication number Publication date
JP2020157425A (ja) 2020-10-01
US11597056B2 (en) 2023-03-07
JP7302226B2 (ja) 2023-07-04
US20200306928A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
CN111745467A (zh) 磨床的辅助装置以及辅助方法
JP7230555B2 (ja) 研削盤の動作指令データ更新装置
JP7305945B2 (ja) 工作機械
US20200033842A1 (en) Grinding quality estimation model generating device, grinding quality estimating device, poor quality factor estimating device, grinding machine operation command data adjustment model generating device, and grinding machine operation command data updating device
JP2637488B2 (ja) 数値制御研削盤
CN110851921A (zh) 砂轮表面状态的推定模型生成、推定装置、磨床的动作指令数据的调整模型生成、更新装置
JP2007175815A (ja) 砥石車の修正方法及び修正装置
JP7225626B2 (ja) 研削加工に関する学習モデル生成装置、推定装置および動作指令データ更新装置
JP2020069599A (ja) 工作機械の支援装置および工作機械システム
JP3710575B2 (ja) 研削盤の研削制御方法
JP7172636B2 (ja) 工作機械のメンテナンス支援装置および工作機械システム
JP7271983B2 (ja) 熱変位量推定装置および研削盤
JPH08168957A (ja) 研削装置
JP7388528B2 (ja) 研削品質推定モデル生成装置、研削品質推定装置、不良品質発生要因推定装置、および、研削盤の動作指令データ更新装置
JP2000343425A (ja) 研削盤
JP7487503B2 (ja) びびり予測システム
JP7310273B2 (ja) 表面粗さ推定装置及び表面粗さ推定方法
JP7424463B2 (ja) 研削品質推定モデル生成装置、研削品質推定装置、および、研削盤の動作指令データ更新装置
JP2024073875A (ja) 表面粗さ推定システムおよび加工システム
JP2021171888A (ja) ツルーイング装置
JP2022147691A (ja) 加工状態推定方法及び加工状態推定システム
JP2023150900A (ja) 研削加工システム
JP2005018531A (ja) カム研削方法
JP2023158578A (ja) 研削加工システム
JP2020114614A (ja) 表面粗さ推定装置および工作機械システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Aichi

Applicant after: JTEKT Corp.

Address before: Osaka, Japan

Applicant before: JTEKT Corp.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination