CN106814698B - 具备芯焊接位置决定功能的线放电加工机的仿真装置 - Google Patents

具备芯焊接位置决定功能的线放电加工机的仿真装置 Download PDF

Info

Publication number
CN106814698B
CN106814698B CN201611099526.5A CN201611099526A CN106814698B CN 106814698 B CN106814698 B CN 106814698B CN 201611099526 A CN201611099526 A CN 201611099526A CN 106814698 B CN106814698 B CN 106814698B
Authority
CN
China
Prior art keywords
mentioned
welding section
length
section
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611099526.5A
Other languages
English (en)
Other versions
CN106814698A (zh
Inventor
白井健一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN106814698A publication Critical patent/CN106814698A/zh
Application granted granted Critical
Publication of CN106814698B publication Critical patent/CN106814698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4093—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine
    • G05B19/40937—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine concerning programming of machining or material parameters, pocket machining
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23H—WORKING OF METAL BY THE ACTION OF A HIGH CONCENTRATION OF ELECTRIC CURRENT ON A WORKPIECE USING AN ELECTRODE WHICH TAKES THE PLACE OF A TOOL; SUCH WORKING COMBINED WITH OTHER FORMS OF WORKING OF METAL
    • B23H5/00—Combined machining
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23H—WORKING OF METAL BY THE ACTION OF A HIGH CONCENTRATION OF ELECTRIC CURRENT ON A WORKPIECE USING AN ELECTRODE WHICH TAKES THE PLACE OF A TOOL; SUCH WORKING COMBINED WITH OTHER FORMS OF WORKING OF METAL
    • B23H9/00—Machining specially adapted for treating particular metal objects or for obtaining special effects or results on metal objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • G05B19/21—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path using an incremental digital measuring device
    • G05B19/25—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path using an incremental digital measuring device for continuous-path control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/402—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23H—WORKING OF METAL BY THE ACTION OF A HIGH CONCENTRATION OF ELECTRIC CURRENT ON A WORKPIECE USING AN ELECTRODE WHICH TAKES THE PLACE OF A TOOL; SUCH WORKING COMBINED WITH OTHER FORMS OF WORKING OF METAL
    • B23H7/00—Processes or apparatus applicable to both electrical discharge machining and electrochemical machining
    • B23H7/02—Wire-cutting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23H—WORKING OF METAL BY THE ACTION OF A HIGH CONCENTRATION OF ELECTRIC CURRENT ON A WORKPIECE USING AN ELECTRODE WHICH TAKES THE PLACE OF A TOOL; SUCH WORKING COMBINED WITH OTHER FORMS OF WORKING OF METAL
    • B23H7/00—Processes or apparatus applicable to both electrical discharge machining and electrochemical machining
    • B23H7/14—Electric circuits specially adapted therefor, e.g. power supply
    • B23H7/20—Electric circuits specially adapted therefor, e.g. power supply for programme-control, e.g. adaptive
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45043—EDM machine, wire cutting
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45221—Edm, electrical discharge machining, electroerosion, ecm, chemical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Thermal Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Numerical Control (AREA)
  • Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)

Abstract

本发明涉及一种具备芯焊接位置决定功能的线放电加工机的仿真装置，该线放电加工机进行从被加工物切割芯的加工。该仿真装置计算使芯与被加工物焊接的焊接区间的位置和长度，计算该位置和长度的评价值，对该位置和长度的调整进行机械学习。在该机械学习中，取得焊接区间的位置和长度以及评价值作为状态数据，根据该状态数据和计算出的回报条件计算回报，使用该计算出的回报对焊接区间的位置和长度的调整进行机械学习。

Description

具备芯焊接位置决定功能的线放电加工机的仿真装置
技术领域
本发明涉及一种线放电加工机的仿真装置，特别涉及一种具有根据芯的形状等环境状态来决定芯的焊接位置和焊接数量的功能的线放电加工机的仿真装置。
背景技术
图9是从上方观察到通过线放电加工机进行了加工的被加工物的图。
通过线放电加工机从加工开始孔31开始被加工物3的加工。通过加工槽32表示线电极(未图示)所通过的加工路径。在现有的线放电加工机的加工方法中，有以下问题，即在切断芯33时，切断后的芯33与线电极接触，线电极断线，在切断芯33时线电极和被加工物3经由芯33短路而划伤芯33以及被加工物3。
因此，使用以下技术，即在加工被加工物3时在加工路径上形成的加工槽32的一部分中由使线电极熔融的熔融物形成将芯33和被加工物3进行焊接的焊接区间34，从而在加工结束时防止芯33落下。日本特开2014-024132号公报中作为为了使在放电加工中产生的芯33不落下而将芯33与被加工物3焊接的技术，公开一种修正用于加工的程序的技术，使得根据芯33的形状在加工路径上均匀地配置焊接区间34和焊接休止区间35。
在使用上述的现有技术时，需要根据芯33的形状来计算加工路径上的焊接区间34的位置和长度、焊接区间34与焊接区间34之间的间隔(焊接休止区间35的长度)、设置在加工路径上的焊接区间34的个数，并且根据该计算的结果来生成焊接用程序。
例如，在图10A所示的芯33和图10B所示的芯3中，两者的形状不同，因此芯33很好地保持平衡，并且通过适当的力拆卸芯33的焊接区间34的位置和长度、焊接区间34与焊接区间34之间的间隔(焊接休止区间35的长度)、设置在加工路径上的焊接区间34的个数也不同。因此，必须对在图10A所示的形状的芯33和图10B所示的形状的芯33形成不同的焊接用程序。
在计算出与芯33的形状对应的上述各值(焊接区间34的位置和长度、焊接休止区间35的长度、焊接区间34的个数)时，必须考虑与芯33的形状对应的平衡(重心等)、保持性、易脱落性、易加工性的差异。这里，考虑保持性是因为如果焊接区间34的长度和数量少则不能够支撑芯33，考虑易脱落性是因为如果焊接区间34的位置较差，或者焊接区间34的长度和数量比需要的多，则从被加工物33切断芯33需要多余的力，考虑易加工性是因为如果焊接区间34的数量比需要的多，则线放电加工时的加工条件的切换变多，加工时间延长。
然而，在上述的日本特开2014-024132号公报中公开的技术中，停留在将加工路径上的焊接区间34的位置和长度设为均等的情况，在考虑了芯33的形状后没有计算焊接区间34的位置和长度等，因此根据放电加工而形成的芯的形状，会缺少平衡、保持性、易脱落性、易加工性。
发明内容
因此本发明的目的在于提供一种具备使用机械学习或深层学习(深度学习DeepLearning)自动决定焊接位置的功能的线放电加工机的仿真装置。
本发明的一个实施方式的线放电加工机的仿真装置中，该线放电加工机根据包括程序的加工的前提条件进行从被加工物切割芯的加工，该仿真装置具备：焊接区间计算部，其计算在从上述被加工物切割上述芯时，为了使上述芯与上述被加工物焊接而在上述加工的加工路径上形成的焊接区间的位置和长度并输出；动作评价部，其计算用于评价由上述焊接区间计算部输出的上述焊接区间的位置和长度的评价值；以及机械学习器，其对上述焊接区间的位置和长度的调整进行机械学习。并且，上述机械学习器具有：状态观测部，其取得上述焊接区间的位置和长度以及上述评价值作为上述焊接区间的状态数据；回报条件设定部，其设定回报条件；回报计算部，其根据上述状态数据和上述回报条件来计算回报；焊接区间调整学习部，其对上述焊接区间的位置和长度的调整进行机械学习；以及焊接区间调整输出部，其根据上述焊接区间调整学习部对上述焊接区间的位置和长度的调整的机械学习结果以及上述状态数据将上述焊接区间的位置和长度的调整对象以及调整量决定为调整行为并输出。上述焊接区间计算部根据上述焊接区间调整输出部输出的调整行为重新计算上述焊接区间的位置和长度并输出。上述焊接区间调整学习部构成为，根据上述调整行为、由上述状态观测部基于上述焊接区间计算部重新计算的上述焊接区间的位置和长度而取得的上述状态数据、上述回报计算部基于上述状态数据计算出的上述回报，对上述焊接区间的位置和长度的调整进行机械学习。
上述评价值能够包括根据上述焊接区间的位置和长度计算出的支撑芯的力、根据上述焊接区间的位置和长度计算出的使芯落下时所需要的力、根据上述焊接区间的位置和长度计算出的支撑芯的位置的平衡中的至少任意一个。
上述仿真装置还具备存储上述焊接区间调整学习部学习的结果的学习结果存储部，上述焊接区间调整输出部构成为，根据上述焊接区间调整学习部学习的上述焊接区间的位置和长度的调整的学习结果、上述学习结果存储部中存储的上述焊接区间的位置和长度的调整的学习结果来调整上述焊接区间的位置和长度。
上述回报条件被设定为：当上述焊接区间的个数少时，或者支撑上述芯的位置的平衡良好时，赋予正回报；当上述焊接区间的个数多时、焊接区间长度比预先设定的焊接区间的最小距离短时、支撑上述芯的力的大小比预先设定的预定阈值要小时、使上述芯落下时的力的大小为大时或者支撑上述芯的位置的平衡差时，赋予负的回报。
上述仿真装置构成为，与至少一个其它仿真装置连接，与上述其它仿真装置之间相互交换或共享机械学习的结果。
本发明的其它实施方式的机械学习器构成为，对在通过根据包括程序的加工的前提条件进行从被加工物切割芯的加工的线放电加工机从上述被加工物切割上述芯时，为了使上述芯与上述被加工物焊接而在上述加工的加工路径上形成的焊接区间的位置和长度的调整进行机械学习，该机械学习器具有：状态观测部，其取得上述焊接区间的位置和长度以及用于上述焊接区间的位置和长度的评价的评价值作为上述焊接区间的状态数据；回报条件设定部，其设定回报条件；回报计算部，其根据上述状态数据和上述回报条件来计算回报；焊接区间调整学习部，其对上述焊接区间的位置和长度进行机械学习；以及焊接区间调整输出部，其根据上述焊接区间调整学习部对上述焊接区间的位置和长度的调整的机械学习结果以及上述状态数据将上述焊接区间的位置和长度的调整对象以及调整量决定为调整行为并输出。并且，上述焊接区间调整学习部构成为，根据上述输出的调整行为、由上述状态观测部根据基于该调整行为重新计算的上述焊接区间的位置和长度而取得的上述状态数据、上述回报计算部根据上述状态数据计算出的上述回报，对上述焊接区间的位置和长度的调整进行机械学习。
根据本发明，能够自动决定与根据使芯落下的力和位置对焊接距离和焊接个数优化而得的芯的形状对应的最佳的焊接位置，能够根据程序自动生成焊接用程序。
附图说明
通过参照附图说明以下的实施方式，能够更加明确本发明的上述以及其它目的、特征。
图1是说明强化学习算法的基本概念的图。
图2是表示神经元的模型的示意图。
图3是表示具有三层权值的神经网络的示意图。
图4是表示本发明一个实施方式的、导入了机械学习器的线放电加工机的仿真装置的、与芯的各个焊接区间的位置和长度的调整的机械学习相关的图。
图5是说明在图4的仿真装置进行处理的各个数据的例子(焊接区间的位置和长度的定义)的图。
图6是本发明的一个实施方式的仿真装置的功能框图。
图7A是表示成为执行仿真的对象的程序(编辑前的程序)的一例。
图7B是表示将根据基于机械学习的结果而调整的焊接区间的位置以及长度来焊接被加工物中的芯的代码嵌入图7A所示的程序中的编辑后的程序的一例。
图8是表示图6的仿真装置中的焊接区间调整学习部进行的机械学习的流程的流程图。
图9是说明通过将芯与被加工物进行焊接而防止芯的落下的现有技术的图。
图10A以及图10B是说明与芯的形状对应的焊接区间的位置差异的图。
具体实施方式
本发明中，将成为人工智能的机械学习器导入加工被加工物的线放电加工机的仿真装置。在该仿真装置进行的仿真中，作为加工的前提条件赋予成为加工对象的工件(芯)的形状、工件厚度、工件素材的密度、焊接区间最小距离、每个焊接单位长度的承受力、使芯落下时的力等各个值。并且，作为加工的前提条件而赋予这些各值时针对相对于被加工物的芯的各焊接区间的位置和长度(‘加工状态的数据’)进行与芯的各焊接区间的位置和长度的调整相关的机械学习，由此能够导出与加工的前提条件对应的最佳的芯的各个焊接区间的位置和长度。
以下，简单说明本发明导入的机械学习。
<1.机械学习>
这里，简单说明机械学习。关于机械学习以如下方式来实现，即通过分析从输入到进行机械学习的装置(以下为机械学习器)的数据的集合提取其中有用的规则、知识表现、判断基准等，输出其判断结果，并且进行知识的学习。机械学习的方法各种各样，但是大致区分为“有教师学习”、“无教师学习”、“强化学习”。进一步，有一种在实现这些方法的基础上学习特征量本身的提取的被称为“深层学习”的方法。
“有教师学习”指通过将某个输入和结果(标签)的数据集大量地赋予机械学习器来学习这些数据集中的特征，并能够根据输入推定结果的模型、即能够以归纳的方式获得其相关性的方法。该方法能够使用后述的神经网络等算法来实现。
“无教师学习”指通过只将输入数据大量地赋予学习装置，学习输入数据如何分布，即使不赋予对应的教师输出输入也学习针对输入数据进行压缩、分类、整形等的装置的方法。能够将这些数据集的特征聚类到相似者之间等。使用其结果设置任意的基准并且进行使其为最佳的输出的分配，由此能够实现输出的预测。另外作为“无教师学习”和“有教师学习”的中间的问题设定，也有称为“半有教师学习”的，这相当于一部分只存在输入和输出的数据组，而另外的部分仅有输入的数据的情况。在本实施方式中，通过无教师学习使用即使实际上没有使加工机工作也能够取得的数据，能够有效地进行学习。
“强化学习”不仅指判定、分类也指通过学习行为，根据行为赋予环境的相互作用来学习适当的行为、即用于使将来得到的回报最大的学习的方法。在该强化学习中，机械学习器能够从完全不知道行为所引起的结果或者不完全知道的状态来开始学习。另外，为了仿真人类的动作能够将事先学习(上述的有教师学习、逆强化学习的方法)的状态设为初始状态，也能够从良好的开始地点开始学习。
另外，需要考虑在针对加工机适用机械学习的情况下，加工机开始实际动作，能够得到其结果作为数据、即需要一边试错一边搜索最佳的行为。因此，本发明中，作为机械学习器的主要学习算法采用通过赋予回报，机械学习器自动学习用于达到目标的行为的强化学习算法。
图1是说明强化学习算法的基本概念的图。
在强化学习中，通过成为学习的主体的智能体(机械学习器)与成为控制对象的环境(控制对象系统)之间的交换，推进智能体的学习和行为。更具体地说，
(1)智能体观测某个时间点的环境的状态st，
(2)根据观测结果和过去的学习选择自己能够采取的行为at并执行行为
at，
(3)根据某些规则以及行为at的执行，环境的状态st变化为下一个状态st+1，
(4)智能体根据作为行为at结果的状态变化来获得回报rt+1，
(5)智能体根据状态st、行为at、回报rt+1以及过去的学习结果来推进学习的交换在智能体和环境之间进行。
在强化学习的初始阶段，智能体完全不知道在上述(2)的行为选择中用于选择针对环境的状态st的最佳行为at的价值判断的基准。因此，智能体根据某个状态st选择各种行为at，根据针对此时的行为at赋予的回报rt+1，学习更佳行为的选择、即正确的价值判断的基准。
在上述(5)的学习中，智能体获得观测到的状态st、行为at、回报rt+1的映射作为成为用于判断将来能够取得的回报量的基准的信息。例如，如果在各个时刻中能够取得的状态的个数为m、能够取得的行为的个数为n，则通过重复行为来得到存储针对由状态st和行为at形成的组的回报rt+1的m×n的2维阵列。
然后，使用表示根据上述得到的映射而选择出的状态、行为如何好的函数即价值函数(评价函数)在重复行为过程中更新价值函数(评价函数)，从而学习针对状态的最佳的行为。
状态函数是表示某个状态st是如何好的状态的价值函数。该状态价值函数表现为将状态设为参数的函数，并且在重复行为过程中的学习中，根据针对某个状态中的行为而得到的回报、通过该行为而要变化的未来状态的价值等来更新该状态价值函数。根据强化学习的算法定义状态价值函数的更新式，例如，在强化学习算法之一的TD学习中，通过以下的公式(1)来更新状态价值函数。另外，在该公式(1)中α被称为学习系数，γ被称为折扣率，将它们定义在0<α≤1、0<γ≤1的范围内。
V(st)←V(st)+α[rt+1+γV(st+1)-V(st)]……(1)
另外，行为价值函数是表示在某个状态st下行为at是如何好的行为的价值函数。行为价值函数表现为将状态和行为作为参数的函数，并且在重复行为过程中的学习中，根据针对某个状态的行为而得到的回报、通过该行为而要变化的未来状态的行为价值等来更新行为价值函数。根据强化学习的算法定义行为价值函数的更新式，例如，在代表性的强化学习算法之一的Q学习中，通过以下的公式(2)来更新行为价值函数。另外，在该公式(2)中α被称为学习系数，γ被称为折扣率，将它们定义在0<α≤1、0<γ≤1的范围内。
该公式表示根据返回了行为at的结果的回报rt+1来更新状态st下的行为at的评价值Q(st、at)的方法。表示如果回报rt+1和行为at的下一个状态的最佳行为max(a)的评价值Q(st、max(a))比状态st下的行为at的评价值Q(st、at)大，则增大Q(st、at)，相反如果小，则减小Q(st、at)。即，使某个状态的某个行为的价值接近基于作为结果而即时返回的回报和该行为的下一个状态的最佳行为的价值。
在Q学习中，通过重复这样的更新，最终以Q(st、at)成为期待值E[Σtrt]为目标(按照最佳的行为在状态变化时取得期待值。当然，因为不知道这个情况所以必须一边搜索一边学习)。
并且，在上述(2)的行为选择中，使用通过过去的学习而生成的价值函数(评价函数)来选择当前状态st中涉及将来的回报(rt+1+rt+2+……)成为最大的行为at(在使用状态价值函数时，使用用于转移到价值最高状态的行为、行为价值函数时，在该状态中价值最高的行为)。另外，在智能体的学习中也有以学习的进展为目的，在上述(2)的行为选择中以一定的概率选择随机的行为的情况(ε贪婪法)。
另外，作为存储作为学习结果的价值函数(评价函数)的方法，有针对所有的状态行为对(s、a)将该值保持为表(行为价值表)的方法和准备近似上述价值函数那样的函数的方法。在后者的方法中，通过随机梯度下降法等方法调整近似函数的参数，由此能够实现上述更新式。作为近似函数，能够使用神经网络等有教师学习器。
神经网络由例如模仿了图2所示的神经元的模型的神经网络的计算装置以及存储器等构成。图2是表示神经元的模型的示意图。
如图2所示，神经元输出针对多个输入x(这里作为一例，输入x1～输入x3)的输出y。各输入x1～输入x3与该输入x所对应的权值w(w1～w3)相乘。由此，神经元输出通过以下的公式(3)表现的输出y。另外，在该公式(3)中，输入x、输出y以及权值w都是向量。另外，θ是偏置，fk是激活函数。
接着，参照图3说明具有组合了上述神经元的3层权值的神经网络。
图3是表示具有D1～D3的三层权值的神经网络的示意图。从神经网络的左侧输入多个输入x(这里作为一例，输入x1～输入x3)，从右侧输出结果y(这里作为一例，结果y1～结果y3)。
具体地说，输入x1～输入x3与对应的权值相乘后输入到3个神经N11～N13中的每一个中。与这些输入相乘的权值汇总标记为w1。神经元N11～N13分别输出z11～z13。这些z11～z13被汇总标记为特征向量z1，能够视为提取了输入向量的特征量的向量。该特征向量z1是权值w1和权值w2之间的特征向量。
z11～z13与对应的权值相乘后输入到2个神经元N21、N22的每一个中。与这些特征向量相乘的权值被汇总标记为w2。神经元N21、N22分别输出z21、z22。这些被汇总标记为特征向量z2。该特征向量z2是权值w2和权值w3之间的特征向量。
特征向量z21、z22与对应的权值相乘后输入给3个神经元N31～N33的每一个。与这些特征向量相乘的权值被汇总标记为w3。
最后，神经元N31～N33分别输出结果y1～结果y3。
神经网络的动作有学习模式和价值预测模式，在学习模式中使用学习数据集学习权值w，使用其参数在预测模式中进行加工机的行为判断(为了方便，写为预测，但是可以是检测、分类、推论等多种任务)。
能够即时学习在预测模式下实际运转加工机而得到的数据，反映到下一行为(在线学习)，也能够使用预先收集到的数据群进行汇总后的学习，以后一直通过该参数进行检测模式(批量学习)。也能够执行中间的、某个程度数据滞留时的学习模式。
能够通过误差逆传输法(反向传播)学习权值w1～w3。误差的信息从右侧进入流到左侧。误差逆传输法是对各神经元调整各自的权值，使得输入了输入x时的输出y与真正的输出y(教师)之间的差值变小的方法。
神经网络能够将层进一步增加到3层以上(称为深层学习)。能够只根据教师数据自动获得阶段地进行输入的特征提取并回归结果的计算装置。
通过将这样的神经网络用作近似函数，能够一边重复上述的强化学习过程中的上述(1)～(5)，一边将上述价值函数(评价函数)存储为神经网络来推进学习。
在某个环境中学习结束后，即使在新的环境中也能够通过进行追加的学习来推进学习以便适应该环境。因此，如本发明那样将学习适用于线放电加工机的仿真装置中的芯的各个焊接区间的位置和长度的调整，由此即使是适用于新的加工前提条件(成为加工对象的工件形状、工件厚度、工件素材的密度、焊接区间最小距离、每个焊接单位长度的承受力、使芯落下时的力等)的情况下，在过去的芯的各焊接区间的位置和长度的调整学习中进行新的加工前提条件的追加学习，由此能够在短时间内进行芯的各焊接区件的位置和长度的调整的学习。
另外，在强化学习中，作为将多个智能体经由网络等连接而成的系统，在智能体之间共享状态s、行为a、回报r等信息并分别用于学习，由此，能够通过进行各自的智能体考虑其它智能体的环境来学习的分散强化学习，而进行高效的学习。
在本发明中，在被组装到多个环境(线放电加工机的仿真装置)的多个智能体(机械学习器)经由网络连接的状态下进行分散机械学习，由此能够高效地进行线放电加工机的仿真装置中的芯的各焊接区间的位置和长度的调整的学习。
另外，作为强化学习的算法，知道有Q学习、SARSA法、TD学习、AC法等各种方法，但是作为应用于本发明的方法也可以采用任意的强化学习算法。上述各强化学习算法是众所周知的，所以省略本说明书中的各算法的详细说明。
以下，根据具体的实施方式说明导入了机械学习器的本发明的线放电加工机的仿真装置。
<2.实施方式>
图4是表示在本发明一个实施方式的、导入了机械学习器的线放电加工机的仿真装置中与芯的各个焊接区间的位置和长度的调整的机械学习相关的图。另外，图4只表示在本实施方式的线放电加工机的仿真装置的机械学习的说明所需要的结构。
在该实施方式中，机械学习器20将基于通过仿真装置1决定的加工的前提条件的芯的各焊接区间的位置和长度作为用于确定环境(<1.机械学习>所说明的状态st)的信息(状态信息)来输入。能够取得芯的各焊接区间的位置和长度的值作为通过焊接区间计算部10计算出的结果。
在本实施方式中，机械学习器20将芯的各焊接区间的位置和长度的调整行为(在<1.机械学习>说明的行为at)输出给环境。
图5是说明在本实施方式的仿真装置1进行处理的各个数据的例子的图。
在本实施方式的仿真装置1中，将在从线放电加工的加工路径上的被加工物3切割芯33的部分路径内最初进行加工的位置设为外围开始点，将最后加工的位置设为外围结束点时，对于设置在该加工路径上的多个(n个)焊接区间1～n，通过离外围开始点的距离Di来定义焊接区间i(i＝1～n)的位置。能够通过该距离Di和焊接区间i的长度Li来确定加工路径上的芯的各焊接区间的位置和长度。
能够通过由焊接区间计算部10计算出的各焊接区间的位置Di和长度Li的值来定义上述的状态信息，另外，也能够通过机械学习器20输出的上述值Di、Li的调整对象的选择及其调整量来定义上述的调整行为。
另外，本实施方式中，采用焊接区间的个数大小(正回报、负回报)、焊接区间长度不足最小距离(负回报)、使芯落下时需要的力的大小(负回报)、支撑工件(芯)的平衡(正回报、负回报)等作为对机械学习器20赋予的回报(在<1.机械学习>说明的回报rt)。另外，关于是否根据任意的数据决定回报，作业者可以进行适当设定。
进一步，在本实施方式中，机械学习器20根据上述的输入数据、输出数据、回报进行机械学习。在该机械学习中，在某个时刻t，通过输入数据的组合定义状态st，对该定义的状态st进行的各焊接区间的位置以及长度的调整成为行为at，另外，根据作为通过该行为at进行了各焊接区间的位置以及长度的调整的结果而新得到的输入数据进行了评价计算的值成为回报rt+1，如“<1.机械学习>”说明的那样，通过将其应用到与机械学习的算法对应的价值函数(评价函数)的更新式来推进学习。
使用图6的功能框图说明本发明的一个实施方式的仿真装置的结构概略。
如果将图6所示的仿真装置的结构与图1所示的强化学习的要素对比，则图6所示的机械学习器20与图1所示的智能体对应，另外，图6所示的、除去机械学习器20的焊接区间计算部10、动作评价部11等的结构与图1所示的环境对应。
图6所示的线放电加工机的仿真装置1具备仿真基于程序的线放电加工机的动作的功能，包括具备了仿真功能的个人计算机和线放电加工机的数值控制装置、CAD/CAM、仿真专用的计算机等。
该仿真装置1所具备的焊接区间计算部10根据通过作业者设定并存储在存储器(未图示)中的加工的前提条件12来计算将芯与被加工物焊接的焊接区间的位置和长度。该焊接区间计算部10根据加工前提条件12中包括的程序来计算加工路径的形状，确定该计算出的加工路径中的外围开始点以及外围结束点，从而确定工件(芯)的形状。然后，该焊接区间计算部10决定设置在该确定后的芯的外围的各焊接区间的位置以及长度。焊接区间计算部10可以使用上述日本特开2014-024132号公报所公开的现有技术的方法来决定机械学习开始时的各焊接区间的位置以及长度，另外也可以使作业者输入初次的各焊接区间的位置以及长度。
焊接区间计算部10在存储器(未图示)中暂时存储计算出的各焊接区间的位置以及长度作为中间数据13，进一步输出给后述的动作评价部11以及机械学习器20。
另外，焊接区间计算部10根据从机械学习器20输出的各焊接区间的位置以及长度的调整，对作为中间数据13而暂时存储的各焊接区间的位置以及长度进行调整。焊接区间计算部10首先对暂时存储的各焊接区间的位置以及长度增加从机械学习器20输出的各焊接区间的位置以及长度的调整，接着作为其结果在产生焊接区间重叠等竞争的情况下修正作为调整对象的焊接区间以外的焊接区间的位置或长度，消除该竞争。然后，将调整后的各焊接区间的位置以及长度作为中间数据13进行覆盖，并且输出给后述的动作评价部11以及机械学习器20。
焊接区间计算部10只要从机械学习器20输出各焊接区间的位置以及长度的调整，就重复并执行上述动作。
动作评价部11计算针对从焊接区间计算部10输出的各焊接区间的位置以及长度的评价值。作为动作评价部11计算出的评价值的例子，列举支撑芯的力是什么程度的值、使芯落下时所需要的力是多少，或者支撑芯的位置平衡(在芯重心位置的每个焊接区间基于承受力的旋转力矩)为如何等。使用仿真装置1标准具备的仿真功能来计算这些评价值。
动作评价部11计算基于计算出的评价值的评价点并记录其履历。当根据该履历确认评价点的收敛时(在过去预定次数期间看不到上升、维持固定的值、在预定值之间振动等)，视为在该时间点计算出了最佳的各焊接区间的位置以及长度，在针对焊接区间计算部10、NC程序生成部14以及机械学习器20指令了机械学习动作的结束后，输出当前的各焊接区间的位置以及长度作为最佳的各焊接区间的位置以及长度。另外，动作评价部11在看不到评价点的收敛的情况下，对机械学习器20输出计算出的评价值。
如果指令了来自动作评价部11的机械学习动作的结束，则NC程序生成部14根据焊接区间计算部10最终计算出的焊接区间的位置和长度来生成焊接区间的输出指令，生成将该生成后的指令嵌入到加工前提条件12中包括的(编辑前的)程序后(编辑后的)的程序并输出。
图7A表示成为执行仿真的对象的程序的一例。另外，图7B表示将根据基于机械学习的结果进行调整的焊接区间的位置及长度来焊接被加工物的芯的代码嵌入图7A所示的程序后的编辑后的程序的一例。
在图7A所示的编辑前的程序中，Mxx表示线连接的M代码，Mxy表示线切断的M代码。另外，在编辑前的程序中，如图7A的右图所示，通过N20～N70的进给指令使线电极分别向X轴方向、Y轴方向移动并进行芯的切割。
另一方面，在图7B所示的编辑后的程序中，Myy表示焊接区间开始的加工条件设定M代码，Mzz表示焊接区间结束的加工条件设定M代码。如图7B所示，NC程序生成部14根据焊接区件的位置以及长度划分图7A所示的程序的加工路径，将焊接区件开始的加工条件设定M代码Myy、焊接区间结束的加工条件设定M代码Mzz嵌入到与各焊接区间的开始、结束位置对应的地方，由此生成图7B的右图所示的用于进行加工的编辑后的程序。
通过焊接区间计算部10计算并输出各焊接区间的位置以及长度，并且当通过动作评价部11输出评价值时，机械学习器20进行焊接区间的位置以及长度的调整动作及其调整动作的学习。
该机械学习器20具备状态观测部21、状态数据存储部22、回报条件设定部23、回报计算部24、焊接区间调整学习部25、学习结果存储部26以及焊接区间调整输出部27。机械学习器20可以如图6所示那样具备在仿真装置1内，也可以具备在仿真装置1外的个人计算机等中。
状态观测部21将从焊接区间计算部10得到的各焊接区间的位置以及长度、从动作评价部11输出的评价值观测为状态数据，并在机械学习器20内取得。
状态数据存储部22输入并存储状态数据，将存储后的该状态数据输出给回报计算部24和焊接区间调整学习部25。输入的状态数据可以是通过仿真装置1的最新运行取得的数据，也可以是通过过去的运行取得的数据。另外，状态数据存储部22输入并存储其它仿真装置1或集中管理系统30中存储的状态数据，将状态数据存储部22存储的状态数据输出给其它仿真装置1或集中管理系统30。
回报条件设定部23设定并存储赋予由作业者输入的机械学习的回报的条件。回报有正回报和负回报，能够适当设定。对回报条件设定部23的输入可以是来自通过集中管理系统30所使用的个人计算机或平板终端等，也能够经由仿真装置1所具备的MDI设备(未图示)进行输入，由此能够更简单地进行设定。
回报计算部24根据通过回报条件设定部23设定的条件，分析从状态观测部21或状态数据存储部22输入的状态数据，将计算出的回报输出给焊接区间调整学习部25。
以下，表示通过本实施方式的回报条件设定部23进行设定的回报条件的例子。
[回报1：焊接区间的个数大小(正回报、负回报)]
当焊接区间的个数比预先设定的阈值少时，根据其程度赋予正的回报。另外，当比预先设定的阈值多时，根据其程度赋予负的回报。
[回报2：焊接区间长度不足最小距离(负回报)]
当焊接区间的长度比作为加工前提条件12而设定的焊接区间最小距离短时，根据其程度赋予负的回报。当有多个长度比焊接区间最小距离短的焊接区间时，只增加与其对应的量的负回报。
[回报3：支撑芯的力的大小(负回报)]
当通过动作评价部11计算出的、支撑芯的力小于根据工件形状(程序)和工件的厚度以及工件素材的密度计算出的芯的重量时，根据其程度来赋予负的回报。
[回报4：使芯落下时所需要的力的大小(负回报)]
当通过动作评价部11计算出的、使芯落下时所需要的力大于预先设定的阈值时，根据其程度来赋予负的回报，
[回报5：支撑芯的平衡(正回报、负回报)]
当通过动作评价部11计算出的、在芯重心位置的每个焊接区间基于承受力的旋转力矩小于预先设定的阈值(接近0)时，根据其程度来赋予正的回报，当大于预先设定的阈值时，根据其程度赋予负的回报。
焊接区间调整学习部25根据从状态观测部21或状态数据存储部22输入的状态数据、该焊接区间调整学习部25进行的各焊接区间的位置以及长度的调整结果(焊接区间调整输出部27输出的调整行为)以及通过回报计算部24计算出的回报来进行机械学习(强化学习)。
这里，在焊接区间调整学习部25进行的机械学习中，通过某个时刻t的状态数据的组合来定义状态st，根据该定义的状态st来决定各焊接区间的位置以及长度的调整动作成为行为at。另外，通过后述的焊接区间调整输出部27决定各焊接区间的位置以及长度的调整，该决定后的各焊接区间的位置以及长度的调整被输出给焊接区间计算部10。然后，焊接区间计算部10执行各焊接区间的位置以及长度的调整并输出新的各焊接区间的位置以及长度。根据作为其结果而得到的数据(焊接区间计算部10以及动作评价部11的输出)，通过上述回报计算部24计算出的值成为回报rt+1。
根据所应用的学习算法来决定用于学习的价值函数。例如，当使用Q学习时，按照上面的公式(2)更新行为价值函数Q(st、at)来推进学习即可。
使用图8的流程图来说明焊接区间调整学习部25所进行的机械学习的流程。以下，按照各个步骤进行说明。
[步骤SA01]如果开始机械学习，则状态观测部21取得仿真装置1的状态数据。
[步骤SA02]焊接区间调整学习部25根据状态观测部21取得的状态数据来确定当前的状态st。
[步骤SA03]焊接区间调整学习部25根据过去的学习结果和在步骤SA02确定的状态st来选择行为at(各焊接区间的位置以及长度的调整)。
[步骤SA04]执行在步骤SA03选择出的行为at。
[步骤SA05]状态观测部21取得焊接区间计算部10以及动作评价部11输出的数据作为仿真装置1的状态数据。在该阶段中，仿真装置1的状态根据从时刻t到时刻t+1的时间推移和在步骤SA04执行的行为at而发生变化。
[步骤SA06]回报计算部24根据在步骤SA05取得的状态数据来计算回报rt+1。
[步骤SA07]焊接区间调整学习部25根据在步骤SA02确定的状态st、在步骤SA03选择出的行为at以及在步骤SA06计算出的回报rt+1来推进机械学习，返回步骤SA02。
返回图6，学习结果存储部26存储焊接区间调整学习部25学习的结果。另外，当焊接区间调整学习部25再使用学习结果时，学习结果存储部26将该存储的学习结果输出给焊接区间调整学习部25。如上所述，对于学习结果的存储，通过近似函数、阵列或多值输出的SVM和神经网络等有教师学习器等来存储所使用的机械学习算法所对应的价值函数即可。
另外，将其它仿真装置1或集中管理系统30所存储的学习结果输入并存储到学习结果存储部26中，或者也能够将学习结果存储部26所存储的学习结果输出给其它仿真装置1或集中管理系统30。
焊接区间调整输出部27根据焊接区间调整学习部25学习的结果和当前的状态数据来决定各焊接区间的位置以及长度的调整对象及其调整量。这里所说的各焊接区间的位置以及长度的调整对象及其调整量的决定相当于用于机械学习的行为a。各焊接区间的位置以及长度的调整例如将组合了成为调整对象的焊接区间和该焊接区间的位置以及长度的变更量后的数据准备为能够选择的行为(例如，将行为1＝焊接区间1的长度设为+0.1mm、将行为2＝焊接区间1的位置设为+0.5mm、将焊接区间8的长度设为0mm(删除)、……)，可以根据过去的学习结果选择将来得到的回报为最大的行为。能够选择的行为可以作为同时调整多个焊接区间的行为(例如、将行为j＝所有的焊接区间的长度设为1mm、……)，还可以设为同时调整长度和位置的行为。另外，可以采用上述的ε贪婪法，以预定的概率来选择随机的行为，由此谋求焊接区间调整学习部25的学习进展。另外，作为行为的选择结果，当不存在成为调整对象的焊接区间时，不选择该行为而选择其它的行为。
另外，焊接区间调整输出部27将通过行为的选择而决定的各焊接区间的位置以及长度的调整输出给焊接区间计算部10。
之后，如上所述，焊接区间计算部10根据从焊接区间调整输出部27输出的各焊接区间的位置以及长度的调整来计算新的各焊接区间的位置以及长度，进行动作评价部11进行的评价值的计算以及与状态观测部21的状况相关的数据的取得，重复机械学习，从而能够得到更优的学习结果。
当使用上述学习结束后的学习数据实际运行线放电加工机时，机械学习器20不进行新的学习而安装在线放电加工机上，并直接使用学习结束时的学习数据进行运行。
另外，将学习结束了的机械学习器20(或者是将其它机械学习器20的结束后的学习数据复制到学习结果存储部26中的机械学习器)安装到其它线放电加工机上，直接使用学习结束时的学习数据来进行运行。
仿真装置1的机械学习器20可以单独进行机械学习，但是如果多个仿真装置1还具备分别与外部通信的通信单元，则能够发送接收分别由状态数据存储部22存储的状态数据和由学习结果存储部26存储的学习结果并共享，能够更高效地进行机械学习。例如，一边使多个仿真装置1中不同的调整量在预定的范围内分别变动，一边通过在各自的仿真装置1之间交换状态数据和学习数据来并行地推进学习，由此能够高效地学习。
这样在多个仿真装置1之间进行交换时，通信即使经由集中管理系统30等主机，仿真装置1之间也可以直接通信，也可以使用云，但是会有处理大量数据的情况，因此尽量优选通信速度快的通信单元。
以上，说明了本发明的实施方式，但是本发明不限于上述实施方式的例子，能够通过增加适当的变更以各种方式来实施。

Claims (6)

1.一种线放电加工机的仿真装置，根据包括程序的加工的前提条件进行从被加工物切割芯的加工，其特征在于，
该线放电加工机的仿真装置具备：
焊接区间计算部，其计算在从上述被加工物切割上述芯时，为了使上述芯与上述被加工物焊接而在上述加工的加工路径上形成的焊接区间的位置和长度并输出；
动作评价部，其计算用于评价由上述焊接区间计算部输出的上述焊接区间的位置和长度的评价值；以及
机械学习器，其对上述焊接区间的位置和长度的调整进行机械学习，
上述机械学习器具有：
状态观测部，其取得上述焊接区间的位置和长度以及上述评价值作为上述焊接区间的状态数据；
回报条件设定部，其设定回报条件；
回报计算部，其根据上述状态数据和上述回报条件来计算回报；
焊接区间调整学习部，其对上述焊接区间的位置和长度的调整进行机械学习；以及
焊接区间调整输出部，其根据上述焊接区间调整学习部对上述焊接区间的位置和长度的调整的机械学习结果以及上述状态数据，将包含上述焊接区间的位置和长度的至少一个的调整对象以及该调整对象的调整量决定为调整行为并输出，
上述焊接区间计算部根据上述焊接区间调整输出部输出的调整行为重新计算上述焊接区间的位置和长度并输出，
上述焊接区间调整学习部根据上述调整行为、由上述状态观测部基于上述焊接区间计算部重新计算的上述焊接区间的位置和长度而取得的上述状态数据以及上述回报计算部基于上述状态数据计算出的上述回报，对上述焊接区间的位置和长度的调整进行机械学习，
上述动作评价部在计算出的评价值收敛的情况下，指令上述机械学习器结束机械学习动作，
上述机械学习器接受来自上述动作评价部的结束机械学习动作的指令后结束机械学习动作，输出最佳焊接位置。
2.根据权利要求1所述的线放电加工机的仿真装置，其特征在于，
上述评价值包括根据上述焊接区间的位置和长度计算出的支撑芯的力、根据上述焊接区间的位置和长度计算出的使芯落下时所需要的力、根据上述焊接区间的位置和长度计算出的支撑芯的位置的平衡中的至少任意一个。
3.根据权利要求1或2所述的线放电加工机的仿真装置，其特征在于，
上述线放电加工机的仿真装置还具备存储上述焊接区间调整学习部所学习的结果的学习结果存储部，
上述学习结果存储部将再使用学习结果时存储的学习结果输出到上述焊接区间调整学习部。
4.根据权利要求2所述的线放电加工机的仿真装置，其特征在于，
上述回报条件为：当上述焊接区间的个数少时，或者支撑上述芯的位置的平衡良好时，赋予正回报；当上述焊接区间的个数多时、焊接区间长度比预先设定的焊接区间的最小距离短时、支撑上述芯的力的大小比预先设定的预定阈值小时、使上述芯落下时的力的大小为大时或者支撑上述芯的位置的平衡差时，赋予负的回报。
5.根据权利要求1所述的线放电加工机的仿真装置，其特征在于，
上述线放电加工机的仿真装置与至少一个其它仿真装置连接，与上述其它仿真装置之间相互交换或共享机械学习的结果。
6.一种机械学习器，对在根据包括程序的加工的前提条件进行从被加工物切割芯的加工的线放电加工机中从上述被加工物切割上述芯时，为了使上述芯与上述被加工物焊接而在上述加工的加工路径上形成的焊接区间的位置和长度的调整进行机械学习，其特征在于，
该机械学习器具有：
状态观测部，其取得上述焊接区间的位置和长度以及用于评价上述焊接区间的位置和长度的评价值作为上述焊接区间的状态数据；
回报条件设定部，其设定回报条件；
回报计算部，其根据上述状态数据和上述回报条件来计算回报；
焊接区间调整学习部，其对上述焊接区间的位置和长度的调整进行机械学习；以及
焊接区间调整输出部，其根据上述焊接区间调整学习部对上述焊接区间的位置和长度的调整的机械学习结果以及上述状态数据，将包含上述焊接区间的位置和长度的至少一个的调整对象以及该调整对象的调整量决定为调整行为并输出，
上述焊接区间调整学习部根据上述输出的调整行为、由上述状态观测部根据基于该调整行为重新计算的上述焊接区间的位置和长度而取得的上述状态数据、上述回报计算部根据上述状态数据计算出的上述回报，对上述焊接区间的位置和长度的调整进行机械学习，
上述机械学习器从外部接受结束机械学习动作的指令后结束机械学习动作，输出最佳焊接位置。
CN201611099526.5A 2015-11-30 2016-11-29 具备芯焊接位置决定功能的线放电加工机的仿真装置 Active CN106814698B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-233294 2015-11-30
JP2015233294A JP6348098B2 (ja) 2015-11-30 2015-11-30 機械学習を使った中子の溶着位置決定機能を備えたワイヤ放電加工機のシミュレーション装置

Publications (2)

Publication Number Publication Date
CN106814698A CN106814698A (zh) 2017-06-09
CN106814698B true CN106814698B (zh) 2019-05-21

Family

ID=57737535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611099526.5A Active CN106814698B (zh) 2015-11-30 2016-11-29 具备芯焊接位置决定功能的线放电加工机的仿真装置

Country Status (4)

Country Link
US (2) US10442023B2 (zh)
EP (1) EP3173171B1 (zh)
JP (1) JP6348098B2 (zh)
CN (1) CN106814698B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6930901B2 (ja) 2017-11-09 2021-09-01 株式会社Ｎｔｔファシリティーズ 制振制御システム、制振制御方法、振動解析装置及び振動解析方法
JP7019396B2 (ja) * 2017-11-30 2022-02-15 日本電産マシンツール株式会社 工作機械の制御方法、工作機械の制御装置、工作機械の設定支援装置、工作機械の制御システム及びプログラム
JP6740299B2 (ja) * 2018-08-24 2020-08-12 ファナック株式会社 加工条件調整装置及び機械学習装置
BR112021005358A2 (pt) * 2018-12-13 2021-06-15 Andritz Inc. controlador de instalação industrial
JP6885975B2 (ja) * 2019-01-31 2021-06-16 ファナック株式会社 ワイヤ断線予測装置
JP2020131374A (ja) * 2019-02-20 2020-08-31 ファナック株式会社 制御装置
US11669077B2 (en) 2019-07-03 2023-06-06 Mitsubishi Electric Corporation Machine learning apparatus, numerical control apparatus, wire electric discharge machine, and machine learning method
US11338381B2 (en) 2019-07-26 2022-05-24 Pratt & Whitney Canada Corp. Method and system for wire electro-discharge machining a component
US11579582B2 (en) 2019-09-27 2023-02-14 Pratt & Whitney Canada Corp. Methods and systems for wire electric discharge machining and validation of parts
US11554433B2 (en) 2019-09-27 2023-01-17 Pratt & Whitney Canada Corp. Methods and systems for wire electric discharge machining and validation of parts
US11904417B2 (en) 2019-10-15 2024-02-20 International Business Machines Corporation Automated material welding
CN114467091A (zh) * 2019-11-06 2022-05-10 赫克斯冈技术中心 用于在制造中进行强化学习的虚拟环境的系统和方法
WO2022210472A1 (ja) * 2021-03-29 2022-10-06 ファナック株式会社 加工条件調整装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002096220A (ja) * 2000-09-21 2002-04-02 Mitsubishi Electric Corp ワイヤ放電加工装置
JP2011204036A (ja) * 2010-03-25 2011-10-13 Institute Of National Colleges Of Technology Japan 経験強化型強化学習システム、経験強化型強化学習方法および経験強化型強化学習プログラム
CN103537769A (zh) * 2012-07-10 2014-01-29 发那科株式会社 电火花线切割机以及电火花线切割机用自动编程装置
JP2014024132A (ja) * 2012-07-25 2014-02-06 Seibu Electric & Mach Co Ltd ワイヤ放電加工機用の加工用プログラム編集方法及び加工用プログラム編集システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4116868C2 (de) * 1991-05-23 1995-07-27 Agie Ag Ind Elektronik Verfahren zur Bearbeitung von Werkstücken, insbesondere zur funkenerosiven Bearbeitung von Werkstücken mittels eines Drahtes
JPH04354653A (ja) * 1991-05-31 1992-12-09 Mitsubishi Electric Corp 加工条件生成装置
JPH0819918A (ja) * 1994-07-07 1996-01-23 Mitsubishi Electric Corp ワイヤ放電加工方法及びその装置
JP4140174B2 (ja) * 2000-06-28 2008-08-27 ブラザー工業株式会社 ワイヤ放電加工機の制御装置及び制御方法，並びに記憶媒体
JP4335880B2 (ja) * 2006-02-20 2009-09-30 三菱重工業株式会社 溶接トーチの動作シミュレーション方法および装置
JP4413209B2 (ja) * 2006-07-21 2010-02-10 富士通テン株式会社 シミュレーション装置
JP2008200809A (ja) * 2007-02-20 2008-09-04 Fanuc Ltd パンチ加工用プログラム作成装置及びパンチ加工用プログラム作成用のプログラムを記憶した記録媒体並びにワイヤカット放電加工機
US9298172B2 (en) * 2007-10-11 2016-03-29 International Business Machines Corporation Method and apparatus for improved reward-based learning using adaptive distance metrics
JP5651091B2 (ja) * 2011-01-28 2015-01-07 西部電機株式会社 ワイヤ放電加工における工作物切り残し加工方法
JP5813517B2 (ja) * 2012-01-13 2015-11-17 株式会社ソディック ワイヤ放電加工機の加工プログラム生成装置
JP2013147175A (ja) * 2012-01-20 2013-08-01 Toyota Motor Corp 車両の電動パワーステアリング装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002096220A (ja) * 2000-09-21 2002-04-02 Mitsubishi Electric Corp ワイヤ放電加工装置
JP2011204036A (ja) * 2010-03-25 2011-10-13 Institute Of National Colleges Of Technology Japan 経験強化型強化学習システム、経験強化型強化学習方法および経験強化型強化学習プログラム
CN103537769A (zh) * 2012-07-10 2014-01-29 发那科株式会社 电火花线切割机以及电火花线切割机用自动编程装置
JP2014024132A (ja) * 2012-07-25 2014-02-06 Seibu Electric & Mach Co Ltd ワイヤ放電加工機用の加工用プログラム編集方法及び加工用プログラム編集システム

Also Published As

Publication number Publication date
US10589368B2 (en) 2020-03-17
US20190329341A1 (en) 2019-10-31
EP3173171B1 (en) 2019-08-14
US20170151618A1 (en) 2017-06-01
JP2017100203A (ja) 2017-06-08
JP6348098B2 (ja) 2018-06-27
CN106814698A (zh) 2017-06-09
EP3173171A1 (en) 2017-05-31
US10442023B2 (en) 2019-10-15

Similar Documents

Publication Publication Date Title
CN106814698B (zh) 具备芯焊接位置决定功能的线放电加工机的仿真装置
CN108241342B (zh) 数值控制装置以及机器学习装置
CN108227482A (zh) 控制系统以及机器学习装置
Mei et al. An efficient feature selection algorithm for evolving job shop scheduling rules with genetic programming
CN106483934B (zh) 数值控制装置
CN106557069B (zh) 机械学习装置和方法以及具有该机械学习装置的机床
CN106560751B (zh) 机器学习装置、机器学习方法及具备机器学习装置的机床
CN106557075B (zh) 生成最佳的加速/减速的机床
JP6438450B2 (ja) レーザ加工ロボットの加工順序を学習する機械学習装置、ロボットシステムおよび機械学習方法
CN108345273A (zh) 数值控制装置及机器学习装置
CN106552974B (zh) 具有移动轴异常负载警告功能的线放电加工机
CN108241296A (zh) 学习组装动作的机器学习装置以及部件组装系统
CN109955115A (zh) 切屑去除装置以及信息处理装置
JP2017033525A (ja) 複数の製造機械を有する製造セルを制御するセルコントロールシステム、生産システム、制御方法及び制御プログラム
CN106560997A (zh) 机械学习装置以及电动机控制装置
CN110501973A (zh) 模拟装置
Li et al. Reinforcement learning algorithms for online single-machine scheduling
CN112180853A (zh) 基于多种群策略的柔性作业车间调度混合优化方法
CN108427378B (zh) 数值控制装置
CN108080751A (zh) 数值控制装置
CN109202394A (zh) 部件供给装置以及机器学习装置
CN109725597A (zh) 测试装置以及机器学习装置
CN111461284A (zh) 数据离散化方法、装置、设备及介质
Öztürk Use of genetic algorithm to design optimal neural network structure
Wu et al. An improved discrete pigeon-inspired optimisation algorithm for flexible job shop scheduling problem

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant