CN109308048A - 加工机械系统以及制造系统 - Google Patents

加工机械系统以及制造系统 Download PDF

Info

Publication number
CN109308048A
CN109308048A CN201810785054.1A CN201810785054A CN109308048A CN 109308048 A CN109308048 A CN 109308048A CN 201810785054 A CN201810785054 A CN 201810785054A CN 109308048 A CN109308048 A CN 109308048A
Authority
CN
China
Prior art keywords
processing
processing equipment
workpiece
rote learning
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810785054.1A
Other languages
English (en)
Other versions
CN109308048B (zh
Inventor
桑原旦幸
武井纪夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN109308048A publication Critical patent/CN109308048A/zh
Application granted granted Critical
Publication of CN109308048B publication Critical patent/CN109308048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/408—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by data handling or data format, e.g. reading, buffering or conversion of data
    • G05B19/4086—Coordinate conversions; Other special calculations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03—Observing, e.g. monitoring, the workpiece
    • B23K26/032—Observing, e.g. monitoring, the workpiece using optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/414—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33056—Reinforcement learning, agent acts, receives reward, emotion, action selective
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33321—Observation learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35356—Data handling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/49—Nc machine tool, till multiple
    • G05B2219/49065—Execute learning mode first for determining adaptive control parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Optimization (AREA)
  • Human Computer Interaction (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Plasma & Fusion (AREA)
  • Robotics (AREA)
  • Geometry (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Operations Research (AREA)
  • Numerical Control (AREA)
  • General Factory Administration (AREA)

Abstract

本发明提供一种加工机械系统(1)以及制造系统，其保持加工后的产品的质量并使制造成本最小。该加工机械系统(1)具备：加工机械，其进行工件的加工；控制装置(23)，其根据加工条件控制该加工机械；状态获取装置，其获取加工中的加工机械的状态；检查装置(24)，其检查加工后的工件；机械学习装置(3)，其根据由检查装置(24)产生的检查结果和在状态获取装置中所获取的加工机械的状态进行机械学习，机械学习装置(3)根据机械学习的结果，更改加工条件，以提高工件的加工精度，或者使工件的不合格率最小。

Description

加工机械系统以及制造系统
技术领域
本发明涉及加工机械系统以及制造系统。
背景技术
通常，在进行机械加工、组装的工厂中，由组合有机床、注塑成型机、工业机器人等加工机械的加工机械系统构成加工单元，以该加工单元为单位，进行工件的加工、焊接等作业。
在这种加工机械系统中，在检查加工后的工件的阶段判断为异常而需要调整加工条件时，需要停止相应的加工机械，由人手调整加工条件。
专利文献1中公开了一种产品加工条件设定装置，所述装置求出加工后的产品的加工结果、即数值信息与规格信息的偏差量，根据该偏差量，无需停止设备，能够实时校正加工条件。
现有技术文献
专利文献
专利文献1：日本特开平5-104395号公报
发明内容
发明要解决的问题
然而，由于产品的规格信息、即设计数据优先考虑质量，有时对该产品最终要求的性能过于严格。在这种情况下，如专利文献1那样，根据产品的规格信息与产品的加工结果的偏差量校正加工条件而提高加工精度，在制造成本方面，未必是最佳的。
本发明是鉴于上述情况而做出的，目的在于提供一种加工机械系统以及制造系统，其能够在保持所加工的产品的质量的同时，使制造成本最小。
用于解决问题的方案
为了达到上述目的，本发明提供以下方案。
本发明的第一方案是一种加工机械系统，其具备：加工机械，其进行工件的加工；控制装置，其根据加工条件控制该加工机械；状态获取装置，其获取所述加工中的所述加工机械的状态；检查装置，其检查所述加工后的所述工件；以及机械学习装置，其根据由该检查装置产生的检查结果和在所述状态获取装置中所获取的所述加工机械的状态进行机械学习，所述机械学习装置根据所述机械学习的结果，更改所述加工条件，以提高所述工件的加工精度，或者使所述工件的不合格率最小。
根据本方案所涉及的加工机械系统，通过控制装置根据加工条件控制进行工件的加工的加工机械，通过状态获取装置获取加工中的加工机械的状态。另一方面，通过检查装置检查加工后的工件。并且，通过机械学习装置根据获得的加工机械的状态和工件的检查结果，进行机械学习，并更改加工条件，以提高工件的加工精度，或者使工件的不合格率最小。
通过如此，能够防止加工精度高于必要的程度而增加制造成本。
在上述第一方案所涉及的加工机械系统中，所述加工机械、所述控制装置、所述状态获取装置、以及所述检查装置，均可以经由通信网络与所述机械学习装置相互连接。
本发明的第二方案是一种制造系统，其具备多个上述加工机械系统，当利用一个加工机械系统加工后的同一种类的所述工件利用其他加工机械系统进行加工时，将所述一个加工机械系统中的针对所述工件的所述加工条件和所述检查结果作为所述其他加工机械系统中的所述机械学习用的学习数据进行共享。
通过如此，能够提高学习效率。
本发明的第三方案是一种制造系统，其具备：加工机械，其进行工件的加工；控制装置，其根据加工条件控制该加工机械；状态获取装置，其获取所述加工中的所述加工机械的状态；检查装置，其检查所述加工后的所述工件；评价试验装置，其进行作为最终产品的所述工件的评价试验；以及机械学习装置，其根据由该评价试验装置进行的所述评价试验的结果、由所述检查装置产生的检查结果、以及在所述状态获取装置中所获取的所述加工机械的状态进行机械学习，所述机械学习装置根据所述机械学习的结果，更改所述加工条件和所述检查装置中的检查条件，以使所述最终产品的成本最小。
根据上述第三方案所涉及的制造系统，通过控制装置根据加工条件控制进行工件的加工的加工机械，通过状态获取装置获取加工中的加工机械的状态。并且，通过检查装置检查加工后的工件。另一方面，通过评价试验装置进行作为最终产品的工件的评价试验。并且，根据由评价试验装置进行的评价试验的结果、由检查装置产生的检查结果、以及加工机械的状态进行机械学习，更该加工条件和检查条件，以使最终产品的成本最小。
由此，根据作为最终产品的工件的性能评价试验结果，能够确定最优加工条件和最优检查条件，从而能够使最终产品的成本最小。
在上述第三方案所涉及的制造系统中，所述加工机械、所述控制装置、所述状态获取装置、所述检查装置、以及所述评价试验装置均可以经由通信网络与所述机械学习装置相互连接。
发明效果
根据本发明，取得如下效果：能够保持加工的工件的质量并将制造成本控制在最小。
附图说明
图1是表示本发明第一实施方式所涉及的加工机械系统的示意性构成的框图。
图2是表示图1的加工机械系统所具备的机械学习装置的示意性构成框图。
图3是表示在图2的机械学习装置中所执行的处理的流程图。
图4是表示本发明第二实施方式所涉及的制造系统的示意性构成框图。
图5是表示图4的制造系统所具备的机械学习装置的示意性构成的框图。
图6是表示在图5的机械学习装置中执行的处理的流程图。
图7是说明本发明的第一和第二实施方式中的强化学习的框架的图。
附图标记说明
1 加工机械系统
2 加工单元
3、13 机械学习装置
4 通信网络
5 评价试验装置
10 制造系统
21 切削机械(加工机械)
22 传感器(状态获取装置)
23 控制装置
24 检查装置
具体实施方式
第一实施方式
下面参照附图，对根据本发明第一实施方式的加工机械系统详细说明。另外，在本实施方式中，作为加工机械，以切削机械为例进行说明，但不限于此，也可以是注塑成型机或弧焊机器人等。
如图1所示，本实施方式的加工机械系统1具备加工单元2和机械学习装置3，该加工单元2具备：切削机械(加工机械)21，其进行工件加工；控制装置23，其控制切削机械21；传感器(状态获取装置)22，其安装于切削机械21上，并获取切削机械21状态；以及检查装置24，其检查加工后的工件。加工单元2所具备的切削机械21、传感器22、控制装置23和检查装置24均经由以太网(注册商标)或FL-NET等通信网络4与机械学习装置3连接。
在加工单元2中，控制装置23根据机械学习装置3中所确定的加工条件，控制切削机械21来进行工件加工。由传感器22检测出加工中的切削机械21的状态，并作为状态数据发送至机械学习装置3。另一方面，检查装置24实施由切削机械21加工的加工后的工件的检查。在检查装置24的检查中，根据工件的设计数据和加工后的工件，计算加工误差，并进行工件不合格率的判定，将检查结果数据发送至机械学习装置3。然后，在机械学习装置3中，根据切削机械21的状态数据和由检查装置24获得的检查结果数据进行学习。
本实施方式中的机械学习装置3构成为，进行强化学习。强化学习的框架由代理人、环境和它们之间的相互作用组成。图7中示出了采用马尔科夫决策过程(MDP)作为用于记述相互作用的数理模型时的强化学习的框架。
另外，在本实施方式中，采用马尔科夫决策过程作为数理模型，但还可以采用代理人不能直接接收状态的部分观测马尔可夫决策过程等。
代理人是确定行动的主体，在本实施方式中，机械学习装置3相当于代理人。环境是代理人进行相互作用的对象，在本实施方式中，成为控制对象的切削机械21相当于环境。状态表示切削机械21的状态，例如，主轴的旋转速度、进给速度、工具的位置、切削负荷、外部干扰、工件的位置等。行动是作为代理人的机械学习装置3对作为控制对象的切削机械21施加的作用，例如，主轴的旋转角度或进给速度等加工条件。报酬是对行动的即时性好处。代理人确定行动的规则被称为策略。
更为具体地，代理人与环境执行以下步骤。
步骤1：代理人根据在时刻t观测到的环境的状态st进行决策，并输出行动at。
步骤2：环境状态转变为st+1，将与该转变对应的报酬rt给予代理人。
步骤3：将时刻由t推进至t+1，返回步骤1。
代理人的学习目标是使收益最大化，或寻求用于使收益最大化的策略。收益是在某一期间所获得的累计报酬，最简单的收益是总报酬。在强化学习中，常使用折扣报酬和作为收益。时刻t的收益Gt由式子(1)定义。
数式(1):
其中，γ是折扣率(0≤γ＜1)。
状态价值函数是从某一状态根据策略π确定行动时所获得的收益Gt的期望值，用Vπ(s)表示。此外，行动价值函数除了状态外，还将行动加入条件中，用Qπ(s，a)表示。
作为在可转变的两种状态s、s’中成立的关系，贝尔曼方程成立。式子(2)中示出了关于在某一策略π下的状态价值函数的贝尔曼方程。
数式(2):
其中，S是状态集合，A(s)是状态s下的行动集合。π(a|s)是在状态s下确定行动a的概率，P(s’|s,a)是在状态s下确定行动a时，转变至状态s’的转变概率，R(s,a,s’)是在状态s下确定行动a并转变至状态s’时所获得的报酬的期望值。
式子(3)中示出了关于某一策略π下的行动价值函数的贝尔曼方程。
数式(3):
作为利用试行错误所得到的经验求解式子(3)中所示出的关于行动价值函数的贝尔曼方程的算法之一，例如，已知Sarsa。Sarsa如式子(4)所示，为如下的学习算法：当作为在状态st下选择行动at的结果，观测到报酬rt+1和下一个转变的状态st+1时，由在转变至一小时步长后的状态下所选择的行动at+1来更新行动价值Q(st，at)。
数式(4):
Q(st，at)←(1-α)Q(st，at)+α(rt+1+γQ(st+1，at+1)) (4)
本实施方式中的机械学习装置4构成为，除了上述Sarsa以外，还能够采用TD学习、Q学习、AC(Actor-Critic)法等公知的算法进行强化学习。
机械学习装置3具备：相互经由母线连接的、未图示的处理器、ROM(Read OnlyMemory)、RAM(Random Access Memory)等主存储装置、HDD(Hard Disk Drive)等辅助存储装置、以及与外部设备之间进行各种数据交换的外部接口等，处理器构成为实现后述的各种功能。另外，机械学习装置3可以装备于控制加工单元2的单元控制器上。
如图2所示，机械学习装置3在功能上具备：判定数据获取部31、状态观测部32、决策部33、以及学习部34。
在机械学习装置3中，判定数据获取部31与学习部34所具备的报酬计算部341连接。报酬计算部341与学习部34所具备的价值函数更新部342连接。状态观测部32与学习部34所具备的价值函数更新部342连接。学习部34所具备的价值函数更新部342与决策部33连接。
判定数据获取部31构成为，获取在检查装置24(参照图1)中所检查的加工后的工件的检查结果数据，即加工后的工件的加工误差和工件的合格与否判定结果。
状态观测部32构成为，从安装于切削机械21上的传感器22和/或控制切削机械21的控制装置23获取表示工件加工中的切削机械21的状态的状态数据。在工件加工中，每隔预定时间获取一次状态数据，并以时间序列存储于未图示的存储器中。另外，可以根据需要加工该状态数据，以使其成为适于后面阶段的学习部34所使用的形式。
学习部34所具备的报酬计算部341构成为，根据由判定数据获取部31获取的加工后的工件的加工误差和工件的合格与否判定结果，计算报酬。
学习部34所具备的价值函数更新部342构成为，根据由报酬计算部341计算出的报酬和由状态观测部32获取的状态数据，逐次更新价值函数。
决策部33构成为，根据由价值函数更新部342更新的价值函数，确定行动、即新的加工条件，并将确定的加工条件发送至控制装置23。
下面，参照图2和图3，对机械学习装置3中的处理进一步进行详细说明。
首先，在决策部33中，将确定的加工条件输出至控制装置23(图3的步骤SA1)。学习刚开始时，将预设的初始值作为加工条件输出。该初始值，例如，可以通过事先进行批量学习，从而设定价值函数的初始值，并根据此来确定加工条件的初始值。
在加工单元2中，控制装置23根据决策部33输出的加工条件，使切削机械21运行，使其加工工件。表示正在加工工件的切削机械21的状态的状态数据由安装于切削机械21上的传感器22检测出，或者从保持在控制装置23中的内部数据中获得。该状态数据经由通信网络4发送至机械学习装置3，并由状态观测部32获取(图3的步骤SA2)。
另一方面，加工后的工件由加工单元2中的检查装置24进行检查。检查结果数据经由通信网络4发送至机械学习装置3，并由判定数据获取部31获取(图3的步骤SA3)。
接着，在报酬计算部341中进行报酬的计算(图3的步骤SA4～SA9)。
首先，将在判定数据获取部31中作为检查结果数据所获得的工件加工误差与一小时步长之前获得的工件加工误差进行比较，判定误差值是否变小(步骤SA4)。若误差值变小，则增加报酬(步骤SA5)，若误差值与上一次相等或者变大，则减少报酬(步骤SA6)。
然后，将在判定数据获取部31中作为检查结果数据所获得的工件的不合格率与一小时步长之前获得的工件的不合格率进行比较，判定不合格率是否变小(步骤SA7)。若不合格率变小，则增加报酬(步骤SA8)，若不合格率与上一次相等或者变大，则减少报酬(步骤SA9)。
另外，在上述判定中，将本次的不合格率与一小时步长前的不合格率进行比较，取而代之，也可以以由本次检查所获得的工件的合格与否判定作为判定基准。在这种情况下，判定工件“合格”时，增加报酬，判定工件“不合格”时，减少报酬。
然后，在价值函数更新部342中，根据由报酬计算部341计算出的报酬和由状态观测部32获取的状态数据，更新价值函数(图3的步骤SA10)。
最后，判断是否继续学习(图3的步骤SA11)，若继续学习，则返回步骤SA1，根据更新后的价值函数，在决策部33中输出新的加工条件，之后，重复步骤SA2～步骤SA11的处理。若不继续学习，则结束机械学习部3中的处理。
这样，在本实施方式中，在报酬计算部341中根据上述两个阶段的判定基准进行报酬的增减。因此，即便工件加工误差与一小时步长前的加工误差相比变大，报酬减少，在未判定为“不合格”时，也能够增加报酬。由此，能够防止加工精度高于必要的程度而增加制造成本。
另外，优选地，在与上述加工机械系统1不同的其他加工机械系统中加工同一种类的工件时，将加工机械系统1中的加工条件和检查结果作为所述其他加工机械系统中的机械学习用的学习数据进行共享。或者还可以在上述加工机械系统1和所述其他加工机械系统中，通过共享价值函数，进行分散式学习。
通过如此，能够提高学习效率。
第二实施方式
下面，参照附图对根据本发明的第二实施方式的制造系统进行详细说明。另外，在本实施方式中，作为加工机械，以切削机械为例进行说明，但不限于此，也可以是注塑成型机或弧焊机器人等。
如图4所示，本实施方式的制造系统10具备：加工单元2、评价试验装置5、以及机械学习装置13。该加工单元2具备：切削机械(加工机械)21，其进行工件加工；控制装置23，其控制切削机械21；传感器(状态获取装置)22，其安装于切削机械21上，并获取切削机械21状态；以及检查装置24，其检查加工后的工件。加工单元2所具备的切削机械21、传感器22、控制装置23和检查装置24、以及评价试验装置5均经由以太网(注册商标)或FL-NET等通信网络4与机械学习装置13连接。
制造系统10可以具备多个加工单元2。另外，由于由加工单元2实施的处理与上述第一实施方式相同，因此省略说明。
评价试验装置5构成为，对作为最终产品的工件的性能进行评价。即评价试验装置5在具备多个加工单元2的情况下，在所有加工单元2中的工件加工结束后，对加工后的工件的性能评价。另外，优选地，以非破坏性试验实施评价试验。
本实施方式中的机械学习装置13与第一实施方式的机械学习装置3相同，构成为进行强化学习，具备：未图示的处理器、主存储装置、辅助存储装置、外部接口等，处理器构成为实现后述的各种功能。
如图5所示，机械学习装置13在功能上具备：判定数据获取部131、状态观测部132、决策部133、以及学习部34。
在机械学习装置13中，判定数据获取部131与学习部34所具备的报酬计算部341连接。报酬计算部341与学习部34所具备的价值函数更新部342连接。状态观测部132与学习部34所具备的价值函数更新部342连接。学习部34所具备的价值函数更新部342与决策部133连接。
判定数据获取部131构成为，获取在评价试验装置5(参照图4)中所评价的加工后的工件的评价试验结果。
状态观测部132构成为，从安装于切削机械21上的传感器22和/或控制切削机械21的控制装置23获取表示工件加工中的切削机械21的状态的状态数据，并从检查装置24获取检查结果数据。在工件加工中，每隔预定时间获取一次状态数据，并以时间序列存储于未图示的存储器中。另外，可以根据需要加工该状态数据，以使其成为适于后面阶段的学习部34使用的形式。检查结果数据中还包括在检查装置24中判定合格与否时所使用的检查条件(阈值)的相关信息。
学习部34所具备的报酬计算部341构成为，根据由判定数据获取部131获取的评价试验结果，计算报酬。
学习部34所具备的价值函数更新部342构成为，根据由报酬计算部341计算出的报酬、由状态观测部132获取的状态数据以及检查结果数据，逐次更新价值函数。
决策部133构成为，根据由价值函数更新部342更新的价值函数，确定行动、即新的加工条件和新的检查条件，并将所确定的加工条件发送至控制装置23，将确定的检查条件发送至检查装置24。
下面，参照图5和图6对机械学习装置13中的处理进一步进行详细说明。
首先，在决策部133中，将确定的加工条件和检查条件输出至控制装置23(图6的步骤SB1)。在学习刚开始时，分别输出预设的初始值作为加工条件和检查条件。
然后，在加工单元2中，控制装置23根据由决策部133输出的加工条件，使切削机械21运行，使其加工工件。表示正在加工工件的切削机械21的状态的状态数据由安装于切削机械21上的传感器22检测出，或者从控制装置23保持的内部数据中获得。该状态数据经由通信网络4发送至机械学习装置13，并由状态观测部132获取(图6的步骤SB2)。此外，由检查装置24根据由决策部133输出的检查条件，对加工后的工件进行检查。检查结果数据经由通信网络4发送至机械学习装置13，并由状态观测部132获取(图6的步骤SB3)。
另一方面，完成所有加工工序的加工后的工件在评价试验装置5中进行工件的性能评价。评价试验结果经由通信网络4发送至机械学习装置13，并由判定数据获取部131获取(图6的步骤SB4)。
接着，在报酬计算部341中，进行报酬的计算(图6的步骤SB5～SB7)。将由判定数据获取部131获得的评价试验结果与一小时步长前获得的评价试验结果进行比较，判定最终产品的成品率是否变大(步骤SB5)。若作为最终产品的工件的成品率变大，则增加报酬(步骤SB6)，若作为最终产品的工件的成品率与上一次相等或变小，则减少报酬(步骤SB7)。
另外，在上述判定中，将本次的成品率与一小时步长前的成品率进行比较，取而代之，也可以以通过本次评价试验获得的工件的合格与否判定作为判定基准。在这种情况下，判定作为最终产品的工件“合格”时，增加报酬，判定工件“不合格”时，减少报酬。
然后，在价值函数更新部342中，根据由报酬计算部341计算出的报酬、由状态观测部132获取的状态数据以及检查结果数据，更新价值函数(图6的步骤SB8)。
最后，判断是否继续学习(图6的步骤SB9)，若继续学习，则返回步骤SB1，根据更新后的价值函数，在决策部133中输出新的加工条件和新的检查条件，之后，重复步骤SB2～步骤SB9的处理。若不继续学习，则结束机械学习部13中的处理。
这样，在本实施方式中，在报酬计算部341中，根据作为最终产品的工件的评价试验结果计算出报酬。此外，在状态观测部132中，不仅获取切削机械21的状态数据，还获取检查装置24的检查条件。并且，根据该报酬、切削机械21的状态数据以及检查装置24的检查条件，更新价值函数，确定新的加工条件和新的检查条件。
由此，根据作为最终产品的工件的性能评价试验结果，能够确定最优加工条件和最优检查条件，因而能够使最终产品的成本最小。
上面参照附图对本发明的实施方式进行了详细说明，但具体的构成不限于这些实施方式，还包括不脱离本发明主旨范围的设计改变等。

Claims (5)

1.一种加工机械系统，其特征在于，具备：
加工机械，其进行工件的加工；
控制装置，其根据加工条件控制该加工机械；
状态获取装置，其获取所述加工中的所述加工机械的状态；
检查装置，其检查所述加工后的所述工件；以及
机械学习装置，其根据由该检查装置产生的检查结果和在所述状态获取装置中所获取的所述加工机械的状态进行机械学习，
所述机械学习装置根据所述机械学习的结果，更改所述加工条件，以提高所述工件的加工精度，或者使所述工件的不合格率最小。
2.根据权利要求1所述的加工机械系统，其特征在于，
所述加工机械、所述控制装置、所述状态获取装置、以及所述检查装置均经由通信网络与所述机械学习装置相互连接。
3.一种制造系统，其特征在于，
具备多个权利要求1或2所述的加工机械系统，
当利用一个加工机械系统加工后的同一种类的所述工件利用其他加工机械系统进行加工时，将所述一个加工机械系统中的针对所述工件的所述加工条件和所述检查结果作为所述其他加工机械系统中的所述机械学习用的学习数据进行共享。
4.一种制造系统，其特征在于，具备：
加工机械，其进行工件的加工；
控制装置，其根据加工条件控制该加工机械；
状态获取装置，其获取所述加工中的所述加工机械的状态；
检查装置，其检查所述加工后的所述工件；
评价试验装置，其进行作为最终产品的所述工件的评价试验；以及
机械学习装置，其根据由该评价试验装置进行的所述评价试验的结果、由所述检查装置产生的检查结果、以及在所述状态获取装置中所获取的所述加工机械的状态进行机械学习，
所述机械学习装置根据所述机械学习的结果，更改所述加工条件和所述检查装置中的检查条件，以使所述最终产品的成本最小。
5.根据权利要求4所述的制造系统，其特征在于，
所述加工机械、所述控制装置、所述状态获取装置、所述检查装置、以及所述评价试验装置均经由通信网络与所述机械学习装置相互连接。
CN201810785054.1A 2017-07-27 2018-07-17 加工机械系统以及制造系统 Active CN109308048B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-145401 2017-07-27
JP2017145401A JP6756676B2 (ja) 2017-07-27 2017-07-27 製造システム

Publications (2)

Publication Number Publication Date
CN109308048A true CN109308048A (zh) 2019-02-05
CN109308048B CN109308048B (zh) 2023-04-25

Family

ID=65004337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810785054.1A Active CN109308048B (zh) 2017-07-27 2018-07-17 加工机械系统以及制造系统

Country Status (4)

Country Link
US (1) US10935967B2 (zh)
JP (1) JP6756676B2 (zh)
CN (1) CN109308048B (zh)
DE (1) DE102018117423A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112589286A (zh) * 2020-12-21 2021-04-02 天津长荣科技集团股份有限公司 一种快速添加激光模板的方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117521725A (zh) * 2016-11-04 2024-02-06 渊慧科技有限公司 加强学习系统
US11065707B2 (en) * 2017-11-29 2021-07-20 Lincoln Global, Inc. Systems and methods supporting predictive and preventative maintenance
JP6949896B2 (ja) * 2019-03-27 2021-10-13 ファナック株式会社 砥石選定装置及び砥石選定方法
JP6856162B2 (ja) * 2019-09-24 2021-04-07 ダイキン工業株式会社 制御システム
EP4055613A4 (en) * 2019-11-06 2023-11-22 Hexagon Technology Center GmbH SYSTEMS AND METHODS FOR VIRTUAL ENVIRONMENT FOR REINFORCEMENT LEARNING IN MANUFACTURING
JP7464383B2 (ja) * 2019-12-10 2024-04-09 ファナック株式会社 ワークモデルの修正量を学習する機械学習装置、制御装置、加工システム、及び機械学習方法
EP3923094A1 (en) * 2020-06-09 2021-12-15 Siemens Aktiengesellschaft Inspection rate adaptation
JP7438316B1 (ja) 2022-11-30 2024-02-26 マキノジェイ株式会社 工作機械

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04354653A (ja) * 1991-05-31 1992-12-09 Mitsubishi Electric Corp 加工条件生成装置
CN101738981A (zh) * 2009-12-04 2010-06-16 清华大学 基于机器学习的机器人磨削方法
CN106406236A (zh) * 2015-07-30 2017-02-15 发那科株式会社 具有加工时间测量功能和在机测量功能的加工装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2961622B2 (ja) 1990-09-29 1999-10-12 豊田工機株式会社 インテリジェント加工システム
KR920002268A (ko) 1990-07-17 1992-02-28 유끼노리 가까즈 인텔리젠트가공장치
JPH05104395A (ja) 1991-10-17 1993-04-27 Hokuriku Nippon Denki Software Kk 学習制御機能を有する製品加工条件設定装置
US6108887A (en) * 1995-03-23 2000-08-29 Lucent Technologies, Inc. Method for analyzing and modifying a sequence of manufacturing operations
DE10152765B4 (de) * 2001-07-13 2015-11-12 Siemens Aktiengesellschaft Verfahren zur elektronischen Bereitstellung von Diensten für Maschinen über eine Datenkommunikationsverbindung
JP2004160564A (ja) 2002-11-11 2004-06-10 Mori Seiki Co Ltd 工作機械
US7706595B2 (en) * 2003-11-07 2010-04-27 Cyberoptics Corporation Pick and place machine with workpiece motion inspection
JP2006068901A (ja) 2005-11-16 2006-03-16 Makino Milling Mach Co Ltd 工作機械の制御装置
US7424338B1 (en) * 2007-04-02 2008-09-09 Honda Motor Co., Ltd. Broken tool detection system
WO2013037693A2 (de) * 2011-09-15 2013-03-21 Convergent Information Technologies Gmbh System und verfahren zur automatisierten erstellung von roboterprogrammen
US8995749B2 (en) * 2013-03-28 2015-03-31 Mitutoyo Corporation Enhanced edge detection tool for edges of irregular surfaces
JP2016071407A (ja) 2014-09-26 2016-05-09 ファナック株式会社 ホストコンピュータ上の制御用ソフトウェアを使用した数値制御装置
JP5997330B1 (ja) * 2015-07-31 2016-09-28 ファナック株式会社 主軸交換の要否を判定できる機械学習装置、主軸交換判定装置、制御装置、工作機械及び生産システム、並びに機械学習方法
JP6063013B1 (ja) 2015-08-27 2017-01-18 ファナック株式会社 びびり或いは工具摩耗／破損の発生を抑制する加工条件調整機能を有する数値制御装置
JP6625914B2 (ja) * 2016-03-17 2019-12-25 ファナック株式会社 機械学習装置、レーザ加工システムおよび機械学習方法
JP6348137B2 (ja) 2016-03-24 2018-06-27 ファナック株式会社 工作物の良否を判定する加工機械システム
EP3440543A4 (en) * 2016-04-05 2019-08-28 Deakin University SYSTEMS AND METHOD FOR MANUFACTURING A PRODUCT
JP6140331B1 (ja) 2016-04-08 2017-05-31 ファナック株式会社 主軸または主軸を駆動するモータの故障予知を学習する機械学習装置および機械学習方法、並びに、機械学習装置を備えた故障予知装置および故障予知システム
JP6517762B2 (ja) * 2016-08-23 2019-05-22 ファナック株式会社 人とロボットが協働して作業を行うロボットの動作を学習するロボットシステム
JP6557198B2 (ja) 2016-09-06 2019-08-07 ファナック株式会社 数値制御装置
WO2018194960A1 (en) * 2017-04-18 2018-10-25 D5Ai Llc Multi-stage machine learning and recognition
JP6530779B2 (ja) * 2017-04-20 2019-06-12 ファナック株式会社 加工不良要因推定装置
JP6549644B2 (ja) * 2017-06-27 2019-07-24 ファナック株式会社 機械学習装置、ロボット制御システム及び機械学習方法
JP6592039B2 (ja) * 2017-07-04 2019-10-16 ファナック株式会社 熱変位補正装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04354653A (ja) * 1991-05-31 1992-12-09 Mitsubishi Electric Corp 加工条件生成装置
CN101738981A (zh) * 2009-12-04 2010-06-16 清华大学 基于机器学习的机器人磨削方法
CN106406236A (zh) * 2015-07-30 2017-02-15 发那科株式会社 具有加工时间测量功能和在机测量功能的加工装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112589286A (zh) * 2020-12-21 2021-04-02 天津长荣科技集团股份有限公司 一种快速添加激光模板的方法及装置
CN112589286B (zh) * 2020-12-21 2022-05-27 天津长荣科技集团股份有限公司 一种快速添加激光模板的方法及装置

Also Published As

Publication number Publication date
JP6756676B2 (ja) 2020-09-16
CN109308048B (zh) 2023-04-25
US20190033839A1 (en) 2019-01-31
US10935967B2 (en) 2021-03-02
JP2019025561A (ja) 2019-02-21
DE102018117423A1 (de) 2019-01-31

Similar Documents

Publication Publication Date Title
CN109308048A (zh) 加工机械系统以及制造系统
US9964931B2 (en) Numerical controller with machining condition adjustment function which reduces chatter or tool wear/breakage occurrence
CN108628256B (zh) 机械学习装置以及热位移修正装置
Blaser et al. Adaptive learning control for thermal error compensation of 5-axis machine tools
US11048215B2 (en) Tool selecting apparatus and machine learning device
JP6542713B2 (ja) 異常負荷検出の閾値を学習する機械学習器，数値制御装置および機械学習方法
Yang et al. The improvement of thermal error modeling and compensation on machine tools by CMAC neural network
US20200061768A1 (en) Information processing method, information processing system, and information processing device
US20170185063A1 (en) Machine tool
JP2017030067A (ja) 加工時間測定機能とオンマシン測定機能を有する制御装置付き加工装置
CN103235553B (zh) 一种基于分数阶的数控加工尺寸误差自动补偿方法
US20210078126A1 (en) Method for correcting tool parameters of a machine tool for machining of workpieces
JP6450732B2 (ja) 数値制御装置
Martinov et al. Real-time diagnosis and forecasting algorithms of the tool wear in the CNC systems
CN110501972B (zh) 热位移校正装置
CN108931959A (zh) 控制装置及机械学习装置
CN109690431B (zh) 用于估计误差传播的方法
Pereverzev et al. Optimization of control programs for numerically controlled machine tools by dynamic programming
JP2021057030A (ja) 制御システム
CN107742004B (zh) 一种基于历史数据的数控机床主轴数据仿真方法
US20220197242A1 (en) Fluctuation amount estimation device in machine tool and correction amount calculation device
CN104536385A (zh) 一种数控机床加工程序的修正方法
Kvrgic et al. A control algorithm for improving the accuracy of five-axis machine tools
KR20200131475A (ko) 공작기계의 열변위 보정 방법 및 시스템
Naumann et al. Optimization of characteristic diagram based thermal error compensation via load case dependent model updates

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant