CN114474462A - 机器学习方法、机器学习装置以及机器学习程序 - Google Patents

机器学习方法、机器学习装置以及机器学习程序 Download PDF

Info

Publication number
CN114474462A
CN114474462A CN202111218465.0A CN202111218465A CN114474462A CN 114474462 A CN114474462 A CN 114474462A CN 202111218465 A CN202111218465 A CN 202111218465A CN 114474462 A CN114474462 A CN 114474462A
Authority
CN
China
Prior art keywords
resin
processing
machine learning
temperature
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111218465.0A
Other languages
English (en)
Other versions
CN114474462B (zh
Inventor
入谷一夫
山口和郎
源内达雄
岩崎伸
黑田好则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobe Steel Ltd
Original Assignee
Kobe Steel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobe Steel Ltd filed Critical Kobe Steel Ltd
Publication of CN114474462A publication Critical patent/CN114474462A/zh
Application granted granted Critical
Publication of CN114474462B publication Critical patent/CN114474462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29B—PREPARATION OR PRETREATMENT OF THE MATERIAL TO BE SHAPED; MAKING GRANULES OR PREFORMS; RECOVERY OF PLASTICS OR OTHER CONSTITUENTS OF WASTE MATERIAL CONTAINING PLASTICS
    • B29B7/00—Mixing; Kneading
    • B29B7/30—Mixing; Kneading continuous, with mechanical mixing or kneading devices
    • B29B7/58—Component parts, details or accessories; Auxiliary operations
    • B29B7/72—Measuring, controlling or regulating
    • B29B7/728—Measuring data of the driving system, e.g. torque, speed, power, vibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29B—PREPARATION OR PRETREATMENT OF THE MATERIAL TO BE SHAPED; MAKING GRANULES OR PREFORMS; RECOVERY OF PLASTICS OR OTHER CONSTITUENTS OF WASTE MATERIAL CONTAINING PLASTICS
    • B29B7/00—Mixing; Kneading
    • B29B7/30—Mixing; Kneading continuous, with mechanical mixing or kneading devices
    • B29B7/34—Mixing; Kneading continuous, with mechanical mixing or kneading devices with movable mixing or kneading devices
    • B29B7/38—Mixing; Kneading continuous, with mechanical mixing or kneading devices with movable mixing or kneading devices rotary
    • B29B7/46—Mixing; Kneading continuous, with mechanical mixing or kneading devices with movable mixing or kneading devices rotary with more than one shaft
    • B29B7/48—Mixing; Kneading continuous, with mechanical mixing or kneading devices with movable mixing or kneading devices rotary with more than one shaft with intermeshing devices, e.g. screws
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29B—PREPARATION OR PRETREATMENT OF THE MATERIAL TO BE SHAPED; MAKING GRANULES OR PREFORMS; RECOVERY OF PLASTICS OR OTHER CONSTITUENTS OF WASTE MATERIAL CONTAINING PLASTICS
    • B29B7/00—Mixing; Kneading
    • B29B7/30—Mixing; Kneading continuous, with mechanical mixing or kneading devices
    • B29B7/58—Component parts, details or accessories; Auxiliary operations
    • B29B7/72—Measuring, controlling or regulating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C48/00—Extrusion moulding, i.e. expressing the moulding material through a die or nozzle which imparts the desired form; Apparatus therefor
    • B29C48/001—Combinations of extrusion moulding with other shaping operations
    • B29C48/0022—Combinations of extrusion moulding with other shaping operations combined with cutting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C48/00—Extrusion moulding, i.e. expressing the moulding material through a die or nozzle which imparts the desired form; Apparatus therefor
    • B29C48/03—Extrusion moulding, i.e. expressing the moulding material through a die or nozzle which imparts the desired form; Apparatus therefor characterised by the shape of the extruded material at extrusion
    • B29C48/04—Particle-shaped
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C48/00—Extrusion moulding, i.e. expressing the moulding material through a die or nozzle which imparts the desired form; Apparatus therefor
    • B29C48/03—Extrusion moulding, i.e. expressing the moulding material through a die or nozzle which imparts the desired form; Apparatus therefor characterised by the shape of the extruded material at extrusion
    • B29C48/05—Filamentary, e.g. strands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C48/00—Extrusion moulding, i.e. expressing the moulding material through a die or nozzle which imparts the desired form; Apparatus therefor
    • B29C48/25—Component parts, details or accessories; Auxiliary operations
    • B29C48/255—Flow control means, e.g. valves
    • B29C48/2552—Flow control means, e.g. valves provided in the feeding, melting, plasticising or pumping zone, e.g. screw, barrel, gear-pump or ram
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C48/00—Extrusion moulding, i.e. expressing the moulding material through a die or nozzle which imparts the desired form; Apparatus therefor
    • B29C48/25—Component parts, details or accessories; Auxiliary operations
    • B29C48/30—Extrusion nozzles or dies
    • B29C48/345—Extrusion nozzles comprising two or more adjacently arranged ports, for simultaneously extruding multiple strands, e.g. for pelletising
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C48/00—Extrusion moulding, i.e. expressing the moulding material through a die or nozzle which imparts the desired form; Apparatus therefor
    • B29C48/25—Component parts, details or accessories; Auxiliary operations
    • B29C48/36—Means for plasticising or homogenising the moulding material or forcing it through the nozzle or die
    • B29C48/365—Means for plasticising or homogenising the moulding material or forcing it through the nozzle or die using pumps, e.g. piston pumps
    • B29C48/37—Gear pumps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C48/00—Extrusion moulding, i.e. expressing the moulding material through a die or nozzle which imparts the desired form; Apparatus therefor
    • B29C48/25—Component parts, details or accessories; Auxiliary operations
    • B29C48/36—Means for plasticising or homogenising the moulding material or forcing it through the nozzle or die
    • B29C48/50—Details of extruders
    • B29C48/69—Filters or screens for the moulding material
    • B29C48/691—Arrangements for replacing filters, e.g. with two parallel filters for alternate use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C48/00—Extrusion moulding, i.e. expressing the moulding material through a die or nozzle which imparts the desired form; Apparatus therefor
    • B29C48/25—Component parts, details or accessories; Auxiliary operations
    • B29C48/88—Thermal treatment of the stream of extruded material, e.g. cooling
    • B29C48/911—Cooling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29B—PREPARATION OR PRETREATMENT OF THE MATERIAL TO BE SHAPED; MAKING GRANULES OR PREFORMS; RECOVERY OF PLASTICS OR OTHER CONSTITUENTS OF WASTE MATERIAL CONTAINING PLASTICS
    • B29B7/00—Mixing; Kneading
    • B29B7/30—Mixing; Kneading continuous, with mechanical mixing or kneading devices
    • B29B7/34—Mixing; Kneading continuous, with mechanical mixing or kneading devices with movable mixing or kneading devices
    • B29B7/38—Mixing; Kneading continuous, with mechanical mixing or kneading devices with movable mixing or kneading devices rotary
    • B29B7/40—Mixing; Kneading continuous, with mechanical mixing or kneading devices with movable mixing or kneading devices rotary with single shaft
    • B29B7/42—Mixing; Kneading continuous, with mechanical mixing or kneading devices with movable mixing or kneading devices rotary with single shaft with screw or helix
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29B—PREPARATION OR PRETREATMENT OF THE MATERIAL TO BE SHAPED; MAKING GRANULES OR PREFORMS; RECOVERY OF PLASTICS OR OTHER CONSTITUENTS OF WASTE MATERIAL CONTAINING PLASTICS
    • B29B7/00—Mixing; Kneading
    • B29B7/30—Mixing; Kneading continuous, with mechanical mixing or kneading devices
    • B29B7/34—Mixing; Kneading continuous, with mechanical mixing or kneading devices with movable mixing or kneading devices
    • B29B7/38—Mixing; Kneading continuous, with mechanical mixing or kneading devices with movable mixing or kneading devices rotary
    • B29B7/46—Mixing; Kneading continuous, with mechanical mixing or kneading devices with movable mixing or kneading devices rotary with more than one shaft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29B—PREPARATION OR PRETREATMENT OF THE MATERIAL TO BE SHAPED; MAKING GRANULES OR PREFORMS; RECOVERY OF PLASTICS OR OTHER CONSTITUENTS OF WASTE MATERIAL CONTAINING PLASTICS
    • B29B9/00—Making granules
    • B29B9/02—Making granules by dividing preformed material
    • B29B9/06—Making granules by dividing preformed material in the form of filamentary material, e.g. combined with extrusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C48/00—Extrusion moulding, i.e. expressing the moulding material through a die or nozzle which imparts the desired form; Apparatus therefor
    • B29C48/25—Component parts, details or accessories; Auxiliary operations
    • B29C48/92—Measuring, controlling or regulating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • Thermal Sciences (AREA)
  • Processing And Handling Of Plastics And Other Materials For Molding In General (AREA)
  • Extrusion Moulding Of Plastics Or The Like (AREA)

Abstract

本发明提供机器学习方法、机器学习装置以及机器学习程序。机器学习方法获取包含有关树脂的颗粒状态的物理量和处理条件的状态变量，基于状态变量，计算出对处理条件的决定结果的奖励，基于计算出的奖励更新用于根据状态变量决定处理条件的函数，通过反复进行函数更新，从而决定获得奖励最多的处理条件。据此，不依靠熟练的技术人员的长年的经验，也能容易地决定对所要求的树脂的颗粒状态的适当的处理条件。

Description

机器学习方法、机器学习装置以及机器学习程序
技术领域
本发明涉及机器学习树脂处理装置的处理条件的技术。
背景技术
到目前为止，作为连续混炼树脂等材料的连续混炼装置(continuous kneadingdevice)已有日本专利公开公报特开2012-051363号公开的装置等。
日本专利公开公报特开2012-051363号的连续混炼装置具备内部空洞的机筒和收容在该机筒内的混炼转子。该混炼转子被配置成轴心大致平行，并且可以朝向彼此不同的方向旋转。
在此种连续混炼装置中，将被供给到机筒内的原料导向混炼转子之间，并使用设置在混炼转子的混炼螺杆对被导入的原料赋予剪切力，从而材料被混炼。为了制造高质量的混炼树脂以及其混炼树脂的颗粒，要求适当决定混炼条件。
但是，以往，混炼条件是由熟练的技术人员依据长年的经验来决定的。因此，针对所要求的树脂的颗粒状态，容易地决定适当的处理条件困难。
发明内容
本发明为了解决上述问题而做出的发明，其目的在于提供能容易地决定对所要求的树脂的颗粒状态的适当的处理条件的机器学习方法、机器学习装置以及机器学习程序。
本发明一个方式涉及的机器学习方法是机器学习装置决定树脂处理装置的处理条件的机器学习方法，其中，所述树脂处理装置具有：树脂处理部，其具有旋转的螺杆以及覆盖所述螺杆的处理容器，将被供给的树脂混炼并输出；供给器，将所述树脂供给到所述树脂处理部；以及，制粒机，在所述树脂处理部的下游将从所述树脂处理部输出的树脂形成为颗粒，所述机器学习方法包括以下步骤：获取包含有关所述树脂的颗粒状态的至少一个物理量和至少一个处理条件的状态变量；基于所述状态变量，计算对所述至少一个处理条件的决定结果的奖励；基于所述奖励，更新用于根据所述状态变量决定所述至少一个处理条件的函数；以及，通过反复进行所述函数的更新，从而决定获得所述奖励最多的处理条件，其中，所述至少一个处理条件是有关所述树脂的第一参数、有关所述供给器的第二参数、有关所述树脂处理部的操作条件的第三参数、有关混炼后的树脂的第四参数、有关所述树脂处理装置的温度的第五参数、有关所述制粒机的第六参数、有关所述树脂处理装置的工作状况的第七参数之中的至少其中之一，所述至少一个物理量是混炼质量以及颗粒质量之中的至少其中之一。
本发明另一个方面涉及的机器学习装置用于决定树脂处理装置的处理条件，其中，所述树脂处理装置具有：树脂处理部，其具有旋转的螺杆以及覆盖所述螺杆的处理容器，将被供给的树脂混炼并输出；供给器，将所述树脂供给到所述树脂处理部；以及，制粒机，在所述树脂处理部的下游将从所述树脂处理部输出的树脂形成为颗粒，所述机器学习装置包括：状态获取部，获取包含有关所述树脂的颗粒状态的至少一个物理量和至少一个处理条件的状态变量；奖励计算部，基于所述状态变量，计算对所述至少一个处理条件的决定结果的奖励；更新部，基于所述奖励，更新用于根据所述状态变量决定所述至少一个处理条件的函数；以及，决定部，通过反复进行所述函数的更新，从而决定获得所述奖励最多的处理条件，其中，所述至少一个处理条件是有关所述树脂的第一参数、有关所述供给器的第二参数、有关所述树脂处理部的操作条件的第三参数、有关所述混炼后的树脂的第四参数、有关所述树脂处理装置的温度的第五参数、有关所述制粒机的第六参数、有关所述树脂处理装置的工作状况的第七参数之中的至少其中之一，所述至少一个物理量是混炼质量以及颗粒质量之中的至少其中之一。
本发明又一个方面涉及的机械学习程序是决定树脂处理装置的处理条件的机器学习装置的机器学习程序，其中，所述树脂处理装置具有：树脂处理部，其具有旋转的螺杆以及覆盖所述螺杆的处理容器，将被供给的树脂混炼并输出；供给器，将树脂供给到所述树脂处理部；以及，制粒机，在所述树脂处理部的下游将从所述树脂处理部输出的树脂形成为颗粒，所述机器学习程序使计算机作为以下的各个部发挥功能：状态获取部，获取包含有关所述树脂的颗粒状态的至少一个物理量和至少一个处理条件的状态变量；奖励计算部，基于所述状态变量，计算对所述至少一个处理条件的决定结果的奖励；更新部，基于所述奖励，更新用于根据所述状态变量决定所述至少一个处理条件的函数；以及，决定部，通过反复进行所述函数的更新，从而决定获得所述奖励最多的处理条件，其中，所述至少一个处理条件是有关所述树脂的第一参数、有关所述供给器的第二参数、有关所述树脂处理部的操作条件的第三参数、有关所述混炼后的树脂的第四参数、有关所述树脂处理装置的温度的第五参数、有关所述制粒机的第六参数、有关所述树脂处理装置的工作状况的第七参数之中的至少其中之一，所述至少一个物理量是混炼质量以及颗粒质量之中的至少其中之一。
根据本发明，不依靠熟练的技术人员的长年的经验，也能容易地决定对所要求的树脂的颗粒状态的适当的处理条件。
附图说明
图1是在本发明的实施方式中成为学习对象的挤出机的整体结构图。
图2是成为学习对象的混炼机的整体结构图。
图3是使实施方式的树脂处理装置进行机器学习的机器学习系统的整体结构图。
图4是表示处理条件的一个例子的示意图。
图5是表示处理条件的一个例子的示意图。
图6是表示物理量的一个例子的示意图。
图7是表示图3所示的机器学习系统中的处理的一例的流程图。
图8是本发明的变形例涉及的机器学习系统的整体结构图。
具体实施方式
在本实施方式中，将2种树脂处理装置作为学习对象。第一个树脂处理装置是图1所示的挤出机100。第二个树脂处理装置是图2所示的混炼机101。首先，说明挤出机100。
图1是在本发明的实施方式中成为学习对象的挤出机100的整体结构图。挤出机100包含供给器1、树脂处理部2、驱动装置3、调整阀4、转换片(transitionpiece)(T/P)部5、齿轮泵6、换网器(screen changer)7、以及制粒机8。
供给器1将作为原料的树脂供给到树脂处理部2。供给器1包含贮存部11、原料供给装置12以及料斗13。贮存部11贮存作为原料的树脂。原料供给装置12调整贮存在贮存部11的树脂向树脂处理部2的供给量。料斗13将从原料供给装置12供给的树脂投入到树脂处理部2。
树脂处理部2还被称为挤出部，一边混炼树脂一边向调整阀4输出。树脂处理部2包含沿处理容器25的长度方向平行配置的2根螺杆(图略)和覆盖螺杆的处理容器25。处理容器25可以进行加热及冷却。
树脂处理部2还包含前端部23和门24。前端部23封闭处理容器25。门24被设置在树脂处理部2的中间部，可以沿上下方向开闭。
驱动装置3旋转驱动各螺杆。调整阀4被设置在树脂处理部2的下游侧，调整从树脂处理部2输出的树脂向下游侧的供给量。转换片部(transition piece portion)5被设置在调整阀4与齿轮泵6之间，将从调整阀4输出的树脂输出到齿轮泵6。
齿轮泵6被设置在转换片部5的下游侧。换网器7被设置在齿轮泵6的下游侧。制粒机8被设置在换网器7的下游侧。制粒机8包含模板处理部81、水槽82以及刀具驱动部83。模板处理部81被设置在换网器7的下游侧。刀具驱动部83将从制粒机8输出的树脂切断为颗粒状。
以上是挤出机100的说明。下面，说明混炼机101。图2是成为学习对象的混炼机101的整体结构图。下面，对于混炼机101，只说明与挤出机100的不同点。
在混炼机101，与挤出机100的主要的不同点在于树脂处理部200。在树脂处理部2，螺杆具有单桨叶，而在树脂处理部200，螺杆具有进行混炼的混炼桨叶进行挤出的挤出桨叶。
在挤出机100，树脂处理部2能够对树脂施加将树脂从树脂处理部2输出所需的压力，因此，齿轮泵6不是必需的构成要素。
树脂处理部200还被称为混炼部，包含第一腔室210、第二腔室220、前端部230、门240、处理容器250以及末端部260。处理容器250覆盖2根螺杆(图略)。2根螺杆分别向相反方向旋转。如上所述，2根螺杆各自具有混炼桨叶和挤出桨叶。
树脂在第一腔室210被混炼后，通过门240被挤出到第二腔室220，在第二腔室220被混炼后，通过末端部260被挤出到齿轮泵6。
在处理容器250的中间部设置有门240。
前端部230还被称为驱动端，封闭处理容器250的上游侧。末端部260还被称为水端(water end)，封闭处理容器250的下游侧。转换片部5被设置在树脂处理部200与齿轮泵6之间。从齿轮泵6起下游侧的结构与挤出机100相同，因此省略说明。
图3是使实施方式的树脂处理装置进行机器学习的机器学习系统的整体结构图。机器学习系统包含树脂处理装置500、通信装置300以及服务器400。树脂处理装置500是挤出机100或混炼机101。服务器400和通信装置300通过网络NT1可互相通信地被连接。通信装置300和树脂处理装置500通过网络NT2可互相通信地被连接。网络NT1例如是互联网等广域通信网。网络NT2例如是局域网。服务器400例如是由1台以上的计算机构成的云服务器。通信装置300例如是使用树脂处理装置500的用户所持有的计算机。通信装置300作为将树脂处理装置500连接于网络NT1的网关而发挥功能。通信装置300通过在用户自身所持有的计算机上安装专用的应用软件而实现。或者，通信装置300也可以是由树脂处理装置500的制造厂商提供给用户的专用的装置。
以下，具体说明各装置的结构。服务器400包含处理器410和通信部420。处理器410是包含CPU等的控制装置。处理器410包含奖励计算部411、更新部412、决定部413以及学习控制部414。处理器410所具备的各功能块可以通过处理器410执行使计算机作为机器学习系统的服务器400发挥功能的机器学习程序而实现，也可以通过专用的电路而实现。
奖励计算部411基于状态观测部121观测到的状态变量计算对至少一个处理条件的决定结果的奖励。
更新部412基于奖励计算部411计算出的奖励更新用于根据状态观测部121观测到的状态变量决定处理条件的函数。作为函数，采用后述的行动价值函数。
决定部413通过变更至少一个处理条件并反复进行函数的更新，从而决定获得奖励最多的处理条件。
学习控制部414负责机器学习的整体控制。本实施方式的机器学习系统通过强化学习来学习处理条件。强化学习是指代理人(agent)(行动主体)基于环境状况选择某个行动，基于所选择的行动使环境变化，并将伴随环境变化的奖励赋予代理人，从而让代理人学习选择更好的行动的机器学习方法。作为强化学习，可以采用Q学习和TD学习。在以下说明中，以Q学习为例进行说明。在本实施方式中，奖励计算部411、更新部412、决定部413、学习控制部414以及后述的状态观测部121相当于代理人。在本实施方式中，通信部420是获取状态变量的状态获取部的一例。
通信部420由将服务器400连接于网络NT1的通信电路形成。通信部420通过通信装置300接收状态观测部121观测到的状态变量。通信部420通过通信装置300向树脂处理装置500发送决定部413决定的处理条件。
通信装置300包含发送器301和接收器302。发送器301向服务器400发送从树脂处理装置500发送来的状态变量，并且向树脂处理装置500发送从服务器400发送来的处理条件。接收器302接收从树脂处理装置500发送来的状态变量，并且接收从服务器400发送来的处理条件。
树脂处理装置500包含通信部110、处理器120、传感器部130、输入部140以及存储器150。
通信部110是用于将树脂处理装置500连接于网络NT2的通信电路。通信部110向服务器400发送状态观测部121观测到的状态变量。通信部110接收服务器400的决定部413决定的处理条件。通信部110接收学习控制部414决定的后述的处理执行命令。
处理器120是包含CPU等的计算机。处理器120包含状态观测部121、处理执行部122以及输入判断部123。通信部110向服务器400发送状态观测部121获取的状态变量。处理器120所具备的各功能块例如通过CPU执行使CPU作为机器学习系统的树脂处理装置500发挥功能的机器学习程序而实现。
状态观测部121在执行处理后获取传感器部130检测出的物理量。状态观测部121在执行处理后观测包含有关树脂的颗粒状态的至少一个物理量和至少一个处理条件的状态变量。具体而言，状态观测部121基于传感器部130的测量值以及处理执行部122的设定值获取处理条件。此外，状态观测部121基于传感器部130的测量值等来获取物理量。
图4及图5是表示处理条件的一个例子的示意图。处理条件被大致地分类为中分类(medium classification)。中分类包含有关树脂的第一参数、有关供给器1的第二参数、有关混炼处理部的操作条件的第三参数、有关混炼后的树脂的第四参数、有关树脂处理装置的温度的第五参数、有关制粒机8的第六参数、有关树脂处理装置的工作状况的第七参数、以及有关齿轮泵6的第八参数之中的至少其中之一。表中，用户设定标上了○的参数是用户通过操作输入部140可以指定值的参数。另外，这些参数可以作为机器学习的学习对象，也可以不作为学习对象。在这些参数被作为学习对象的情况下，也可以省略由用户输入值。表中，可学习参数标上了○的参数是特别优选学习的参数。但这只是一个例子而已，也可以将可学习参数没有标上○的参数作为学习对象。
第一参数包含S/C(换网器7)前树脂压力、模板前树脂压力、S/C前后树脂压力、以及网尺寸之中的至少其中之一。S/C前树脂压力是换网器7的入口的树脂的压力。模板前树脂压力是模板处理部81的入口的树脂的压力。S/C前后树脂压力是换网器7的入口与出口之间的树脂的压力。网尺寸表示换网器7的网孔尺寸(细度)。构成第一参数的各种压力值可利用图略的压力传感器来测量。网尺寸由用户输入值。
第二参数包含原料分子量分布、原料MI、原料粒径分布、原料温度、料斗内O2浓度、料斗N2流量、DEN2流量、门N2流量、WEN2流量、以及预混合的方法之中的至少其中之一。原料分子量分布表示构成树脂的1种以上的原料的分子量的分布。原料MI是在圆筒容器内将一定量的合成树脂在规定温度下加热及加压，并从设置在圆筒容器底部的开口部(喷嘴)挤出合成树脂时的每10分钟被挤出的合成树脂的量。原料粒径分布是构成树脂的各原料的比例的测量值。原料温度是被投入树脂处理部2、200的树脂(原料)的温度。
料斗内O2浓度是连接于树脂处理部2、200的原料投入口的料斗13内的氧浓度。料斗N2流量是被供给到料斗13的氮流量。DEN2流量是在前端部23、230被供给到螺杆与处理容器25、250的间隙的氮流量。门N2流量是被供给到门24、240与处理容器25、250的间隙的氮流量。WEN2流量是在处理容器250的末端部260被供给到处理容器250与螺杆的间隙的氮流量。预混合方法是被投入树脂处理部2、200之前的树脂的原料以及添加剂的混合方法。在第二参数中，除了预混合的方法以外，用流量计、温度计、浓度计等各种传感器来测量。预混合方法由用户输入。
第三参数包含生产量、螺杆转数、门开度、齿轮泵入口的压力、螺杆动力以及比能量之中的至少其中之一。生产量是构成树脂的原料的每单位时间的处理量。螺杆转数是螺杆的每单位时间的转数。门开度是门24、240的开度。齿轮泵入口压力是齿轮泵6的入口的压力。螺杆动力用螺杆的旋转转矩×转数来定义，是原料处理所需的能量。比能量用螺杆动力/生产量来定义，是处理所需的能量。构成第三参数的这些值由处理执行部122设定。另外，关于生产量，也可以使用用户设定的值。
第四参数包含门树脂温度、齿轮泵入口的树脂温度、齿轮泵出口的树脂温度、以及模板前树脂温度之中的至少其中之一。门树脂温度是门24、240的树脂的温度。门树脂温度可利用门24、240的开度来控制。齿轮泵入口的树脂温度是齿轮泵6的入口的树脂温度。齿轮泵入口的树脂温度可通过调整齿轮泵入口的树脂压力来控制。齿轮泵出口的树脂温度是齿轮泵6的出口的树脂温度。模板前树脂温度是模板处理部81的上游侧的树脂温度。构成第四参数的各种温度利用温度计来测量。
参照图5。第五参数包含第一腔室温度、第二腔室温度、T/P温度、齿轮泵温度、换网器温度、模板支撑件温度、以及热油温度之中的至少其中之一。
第一腔室温度是第一腔室210的金属的温度。第二腔室温度是第二腔室220的金属的温度。另外，在挤出机100中，第一腔室温度采用处理容器25中比门24靠上游侧的金属的温度，第二腔室温度采用处理容器25中比门24靠下游侧的金属的温度。
T/P温度是转换片部5的金属的温度。齿轮泵温度是齿轮泵6的金属的温度。换网器温度是换网器7的金属的温度。模板支撑件温度是模板处理部81所具有的支撑件的金属的温度。热油温度是模板处理部81的升温用的热油的温度。第五参数所具有的各种温度可通过调整分别加热第一腔室210、第二腔室220、转换片部5、齿轮泵6、换网器7、模板支撑件、以及热油的加热器的温度来控制。第五参数所具有的各种温度利用温度计来测量。
第六参数包含启动、刀转数、刀推压、刀回压、刀对准、以及PCW温度之中的至少其中之一。启动是制粒机8的开始方法。刀转数是刀具驱动部83所具有的刀的转数。刀推压是将所述刀推压于模板的力。刀回压是使刀离开模板的力。刀对准是刀和模板的平行度。PCW温度是为了挤出颗粒而使用的水的温度。第六参数所具有的各种值由处理执行部122设定。
第七参数包含机械振动数、24小时以内的关机次数、24小时以上的关机次数、分解清扫后的工作时间、针对每个级别的总工作时间、硬级别的总工作时间、以及阈值以上的螺杆动力的工作时间之中的至少其中之一。
机械振动数是树脂处理装置500的机械振动数。24小时以内的关机次数是树脂处理装置500的24小时以内的关机次数。24小时以上的关机次数是树脂处理装置500的24小时以上的关机次数。分解清扫后的工作时间是树脂处理装置500的分解清扫后的工作时间。针对每个级别的总工作时间是树脂处理装置500针对树脂的每个种类的工作时间的累积时间。硬级别的总工作时间是树脂处理装置500针对关键的特定的硬级别的树脂的工作时间的累积时间。阈值以上的螺杆动力的工作时间是螺杆以阈值以上的动力工作的树脂处理装置500的累积工作时间。
第八参数包含转数、动力以及比能量之中的至少其中之一。转数是齿轮泵6所具有的齿轮泵转子的转数。动力是使齿轮泵转子旋转的动力。比能量是齿轮泵动力除以生产量的值。第八参数所具有的各种值由处理执行部122设定。
图6是表示物理量的一个例子的示意图。物理量包含混炼质量以及颗粒质量之中的至少其中之一。混炼质量是有关被形成为颗粒的树脂的混炼质量的物理量。颗粒质量是有关被形成为颗粒的树脂的颗粒质量的物理量。混炼质量包含MI(熔融指数)偏移(shift)、凝胶数、强度以及填料的分散。
MI偏移用颗粒MI/粉末MI来定义。MI偏移利用MI测量机进行测量。凝胶数是颗粒在规定厚度下的每1m2或每1ft2的凝胶数。凝胶数利用膜成形机以及凝胶计数器来测量。强度是利用夏比冲击试验机等来测量的拉伸强度。填料的分散是在规定厚度下的每1m2或每1ft2的填料凝集块数。填料的分散利用膜成形机以及凝胶计数器来测量。
颗粒质量包含色调、黑斑(black specification)、颗粒形状、拖尾(tail)、长颗粒、小颗粒(mini-pellet)、聚团(cluster)、细颗粒(fine)以及颗粒含水率(pelletadhesion moisture percentage)之中的至少其中之一。色调是利用色差计测量的颗粒的黄色成分量。黑斑是每单位量的包含黑点的颗粒个数。黑斑是通过目视测量的。颗粒形状根据颗粒的长径×短径×MD方向(Machine Direction：树脂流动方向)的长度而测量。
拖尾是每单位量的包含拖尾的颗粒个数。拖尾通过目视可以测量到。长颗粒是通过振动筛筛选而残留在振动筛上并被排出的每生产量的颗粒量。长颗粒通过测量长颗粒的重量而进行。
小颗粒是通过振动筛筛选而落下并被排出的每生产量的颗粒量。小颗粒通过测量小颗粒的重量而获得。聚团是通过振动筛筛选而残留在振动筛上并被排出的每生产量的颗粒量。聚团通过测量聚团的重量而获得。细颗粒是每单位时间用PCW过滤器捕捉的颗粒量。细颗粒通过测量颗粒的重量而获得。颗粒含水率是干燥机出口的颗粒粘附水分。
另外，图6所示的物理量全部被离线测量。离线测量是例如利用与树脂处理装置500独立存在的测量机来测量的方法。该测量结果例如通过用户操作输入部140而被输入到树脂处理装置500。
下面，说明处理条件对物理量带来的影响程度。首先，说明第二参数的影响度。原料分子量分布对图6所示的凝胶数以及强度波及较大影响(第一影响度的影响)，对颗粒形状以及拖尾波及比第一影响度小的第二影响度的影响。原料MI对图6所示的MI偏移、颗粒形状、拖尾、长颗粒、小颗粒、聚团以及细颗粒波及第一影响度的影响。原料粒径分布对图6所示的凝胶数波及第一影响度的影响。原料温度对MI偏移波及第二影响度的影响。料斗内O2浓度以及料斗N2流量分别对图6所示的MI偏移、色调以及黑斑波及第一影响度的影响。料斗N2流量、DEN2流量、门N2流量以及WEN2流量分别对图6所示的色调以及黑斑波及第一影响度的影响。预混合的方法对图6所示的凝胶数以及填料的分散波及第一影响度的影响。
下面，说明第三参数的影响度。生产量对图6所示的凝胶数、强度、填料的分散以及颗粒含水率波及第一影响度的影响，对MI偏移、颗粒形状以及拖尾波及第二影响度的影响。螺杆转数、门开度、齿轮泵入口压力以及比能量分别对图6所示的MI偏移、凝胶数、强度、填料的分散、色调以及黑斑波及第一影响度的影响。
下面，说明第四参数的影响度。门树脂温度以及齿轮泵入口的树脂温度分别对图6所示的MI偏移、凝胶数、强度、填料的分散、色调以及黑斑波及第一影响度的影响，对颗粒形状、拖尾、长颗粒、小颗粒、聚团、细颗粒以及颗粒含水率波及第二影响度的影响。齿轮泵出口的树脂温度对图6所示的MI偏移、色调以及黑斑波及第一影响度的影响，对凝胶数、强度、填料的分散、颗粒形状、拖尾、长颗粒、小颗粒、聚团、细颗粒以及颗粒含水率波及第二影响度的影响。模板前树脂温度对图6所示的MI偏移、色调、黑斑、颗粒形状、拖尾、长颗粒、小颗粒、聚团、细颗粒以及颗粒含水率波及第一影响度的影响，对凝胶数、强度、填料的分散波及第二影响度的影响。
下面，说明第六参数的影响度。第六参数全部对图6所示的MI偏移波及第二影响度的影响。此外，热油温度对图6所示的颗粒形状、拖尾、长颗粒、小颗粒、聚团以及细颗粒波及第一影响度的影响。
下面，说明第七参数的影响度。启动对颗粒形状、拖尾、长颗粒、小颗粒、聚团以及细颗粒波及第一影响度的影响。刀转数、刀推压、刀回压以及刀对准对颗粒形状、拖尾、聚团以及细颗粒波及第一影响度的影响。PCW温度对颗粒形状、拖尾、长颗粒、小颗粒、聚团、细颗粒以及颗粒含水率波及第一影响度的影响。
下面，说明第八参数的影响度。24小时以内的关机次数、24小时以上的关机次数、分解清扫后的工作时间、每级别的总工作时间分别对黑斑波及第一影响度的影响。
另外，上述的各种参数与物理量的影响度关系只是一个例子而已，上文中未提及的处理条件的参数也有可能以小于第二影响度的第三影响度对物理量波及影响。
返回参照图3。处理执行部122控制树脂处理装置500执行的处理。输入判断部123自动或手动判断是否为批量生产工序。输入判断部123在自动判断是否为批量生产工序的情况下，当输入到输入部140的条件号的输入次数超过了基准次数时，判断为树脂处理装置500处于批量生产工序。条件号是用于确定某一处理条件的识别号。利用条件号被确定的处理条件至少包含图4及图5所示的处理条件中的在用户设定记载了○的处理条件。
输入判断部123在手动判断是否为批量生产工序的情况下，当输入部140被输入了是批量生产工序的内容的数据时，判断为树脂处理装置500处于批量生产工序。在处于批量生产工序的情况下，树脂处理装置500不进行机器学习。
存储器150例如是非易失性的存储装置，存储最终被决定的最适合的处理条件等。
传感器部130是用于测量图4及图5中例示的处理条件以及图6中例示的物理量的各种传感器。具体而言，传感器部130是温度计、压力计等。输入部140是键盘以及鼠标等输入装置。在图3中，传感器部130被设置在树脂处理装置500的内部，但这只是一个例子而已，也可以设置在树脂处理装置500的外部，传感器部130的设置部位没有特别限定。
图7是表示图2所示的机器学习系统中的处理的一例的流程图。在步骤S1，学习控制部414获取用户利用输入部140输入的处理条件的输入值。在此获取的输入值是对图4及图5列出的处理条件中在用户设定记载了○的处理条件的输入值。
在步骤S2，学习控制部414决定至少一个处理条件和对各处理条件的设定值。在此，成为设定对象的处理条件是图4及图5列举的处理条件中的可以设定设定值的至少一个处理条件。可以设定设定值的至少一个处理条件包含例如在图4及图5中在可学习参数记载了○的处理条件。在此，被决定的处理条件的设定值相当于强化学习中的行动。
具体而言，学习控制部414对成为设定对象的处理条件各自随机地选择设定值。在此，针对各处理条件，从规定的范围内随机地选择设定值。作为处理条件的设定值的选择方法，可以采用例如ε-greedy法(s-贪婪算法)。
在步骤S3，学习控制部414通过向树脂处理装置500发送处理执行命令，从而让树脂处理装置500开始处理。如果通信部110接收处理执行命令，则处理执行部122按照处理执行命令设定处理条件，并开始处理。处理执行命令包含在步骤S1被设定的处理条件的输入值以及在步骤S2被决定的处理条件的设定值等。
如果处理结束，状态观测部121观测状态变量(步骤S4)。具体而言，状态观测部121将图6记载的物理量和图4及图5记载的处理条件中成为观测对象的处理条件作为状态变量而获取。物理量例如可以通过由用户操作输入部140而被输入到树脂处理装置500，也可以通过测量物理量的测量器与树脂处理装置500进行通信从而被输入到树脂处理装置500。状态观测部121通过通信部110将获取的状态变量发送到服务器400。
在步骤S5，决定部413评价物理量。在此，决定部413通过判断在步骤S4获取的物理量中成为评价对象的物理量(以下，称为对象物理量)是否达到规定的基准值来评价物理量。对象物理量是图6列出的物理量中的1个或多个物理量。在对象物理量为多个的情况下，基准值则存在与各对象物理量相对应的多个基准值。基准值可以采用例如表示对象物理量达到了一定的基准的情况的预先规定的值。
基准值例如可以是包含上限值和下限值的值。此时，在对象物理量进入到上限值与下限值的范围内的情况下，判断为达到了基准值。基准值可以是一个值。此时，在对象物理量超过基准值的情况下，或者低于基准值的情况下，判断为满足一定的基准。
决定部413在判断为对象物理量达到了基准值的情况下(在步骤S6为是)，将在步骤S2设定的处理条件作为最终的处理条件而输出(步骤S7)。另一方面，决定部413在判断为物理量未达到基准值的情况下(在步骤S6为否)，使处理前进到步骤S8。另外，在对象物理量为多个的情况下，决定部413当判断为所有对象物理量达到了基准值时，在步骤S6判断为是即可。
在步骤S8，奖励计算部411判断对象物理量是否接近基准值。在判断为对象物理量接近基准值的情况下(在步骤S8为是)，奖励计算部411使对代理人的奖励增大(步骤S9)。另一方面，在判断为对象物理量没有接近基准值的情况下(在步骤S8为否)，奖励计算部411使对代理人的奖励减少(步骤S10)。此时，奖励计算部411按照预先规定的奖励的增减值增减奖励即可。另外，在对象物理量为多个的情况下，奖励计算部411对多个对象物理量各自进行步骤S8的判断即可。此时，奖励计算部411针对多个对象物理量的每一个，基于步骤S8的判断结果增减奖励即可。此外，奖励的增减值可以根据对象物理量而采用不同的值。
此外，在对象物理量没有接近基准值的情况下(在步骤S8为否)，也可以省略减少奖励的处理(步骤S10)。此时，仅在对象物理量接近基准值的情况下赋予奖励。
在步骤S11，更新部412利用赋予代理人的奖励更新行动价值函数。本实施方式中采用的Q学习是学习在某一环境状态s下选择行动a的价值亦即Q值(Q(s，a))的方法。另外，环境状态s相当于所述流程的状态变量。并且，在Q学习中，当处于某一环境状态s时，选择Q(s，a)最高的行动a。在Q学习中，通过反复试验，在某一环境状态s下采取各种行动a，利用此时的奖励学习正确的Q(s，a)。行动价值函数Q(st，at)的更新式用以下的式(1)来表示。
Figure BDA0003310912000000121
其中，st、at分别表示时刻t的环境状态和行动。通过行动at，环境状态变化为st+1，根据该环境状态的变化，计算出奖励rt+1。此外，标上max的项是环境状态st+1下选择了此时已知的价值最高的行动a时的Q值(Q(st+1，a))乘以γ的值。在此，γ是折扣率，取0＜γ≤1(通常为0.9～0.99)的值。α是学习系数，取0＜α≤1(通常为0.1左右)的值。
该更新式，如果基于行动a在下一个环境状态st+1采取最佳行动时的Q值的γ·maxQ(st+1，a)大于在状态s下的行动a的Q值即Q(st，at)，则使Q(st，at)变大。另一方面，该更新式，如果γ·maxQ(st+1，a)小于Q(st，at)，则使Q(st，at)变小。也就是说，使某一状态st下的某一行动a的价值接近基于其的下一个状态st+1下的最佳的行动的价值。据此，决定最适合的处理条件。
如果步骤S11的处理结束，处理就返回到步骤S2，处理条件的设定值被更新，以相同的方法行动价值函数被更新。虽然更新部412更新了行动价值函数，但本发明并不限定于此，也可以更新行动价值表。
关于Q(s，a)，也可以对所有的状态和行动的组(s，a)的值以表形式被保存。或者，关于Q(s，a)，也可以利用使对所有的状态和行动的组(s，a)的值近似的近似函数来表示。该近似函数可由多层结构的神经网络构成。此时，神经网络进行实时学习实际上让树脂处理装置500动作而得到的数据，并反映到下一个行动的在线学习即可。
以往，在树脂处理装置中，通过以得到满足要求的树脂颗粒的方式使处理条件变化，由此进行了处理条件的开发。为了得到良好的处理条件，要求发现关于树脂的颗粒状态的评价与处理条件之间的关系性。但是，得到了如下见解：如图4及图5所示处理条件的种类庞大，因此，规定此种关系性需要极多的物理模型，利用物理模型描述此种关系性是困难的。而且，想要构筑此种物理模型，还要求人为地发现哪个参数对哪个物理量的评价带来影响，因此该构筑是困难的。
根据本实施方式，上述的第一～第八参数中的至少其中之一参数和混炼质量及颗粒质量中的至少其中之一物理量作为状态变量而被观测。并且，基于被观测到的状态变量，计算出对于处理条件的决定结果的奖励，基于计算出的奖励，用于根据状态变量决定处理条件的行动价值函数被更新，该更新被反复进行，学习获得奖励最多的处理条件。如上所述，本实施方式不利用上述的物理模型而通过机器学习决定处理条件。其结果，本实施方式可以不依靠熟练的技术人员的长年的经验而容易地决定适合的处理条件。
另外，本发明可以采用以下的变形例。
(1)图8是本发明的变形例涉及的机器学习系统的整体结构图。该变形例涉及的机器学习系统由树脂处理装置500A单体构成。树脂处理装置500A包含处理器120A、输入部180以及传感器部190。处理器120A包含机器学习部160以及处理执行部(processingexecution unit)170。机器学习部160包含奖励计算部161、更新部162、决定部163以及学习控制部164。奖励计算部161～学习控制部164分别与图3所示的奖励计算部411～学习控制部414相同。处理执行部170包含状态观测部171、处理执行部172以及输入判断部173。状态观测部171～输入判断部173分别与图3所示的状态观测部121、处理执行部122以及输入判断部123相同。输入部180以及传感器部190分别与图3所示的输入部140以及传感器部130相同。在本变形例中，状态观测部121是获取状态信息的状态获取部的一例。另外，传感器部190可以被设置在树脂处理装置500A的内部，也可以被设置在树脂处理装置500A的外部，传感器部190的设置部位没有特别限定。
如上所述，根据该变形例涉及的机器学习系统，能够以树脂处理装置500A单体学习最适合的处理条件。
(2)在上述的流程中，处理结束后观测了状态变量，但这是一个例子，也可以在一次处理中多次观测状态变量。例如，在状态变量只由可以瞬时测量的参数构成的情况下，可以在一次处理中观测多个状态变量。据此，可以缩短学习时间。
(3)本发明涉及的通信方法通过图3所示的树脂处理装置500与服务器400通信时的各种处理而执行。此外，本发明涉及的学习程序通过让计算机作为图3所示的服务器400发挥功能的程序来实现。
(实施方式的概括)
本发明一个方式涉及机器学习方法，是机器学习装置决定树脂处理装置的处理条件的机器学习方法，其中，所述树脂处理装置具有：树脂处理部，其具有旋转的螺杆以及覆盖所述螺杆的处理容器，将被供给的树脂混炼并输出；供给器，将所述树脂供给到所述树脂处理部；以及，制粒机，在所述树脂处理部的下游将从所述树脂处理部输出的树脂形成为颗粒，所述机器学习方法包括以下步骤：获取包含有关所述树脂的颗粒状态的至少一个物理量和至少一个处理条件的状态变量；基于所述状态变量，计算对所述至少一个处理条件的决定结果的奖励；基于所述奖励，更新用于根据所述状态变量决定所述至少一个处理条件的函数；以及，通过反复进行所述函数的更新，从而决定获得所述奖励最多的处理条件，其中，所述至少一个处理条件是有关所述树脂的第一参数、有关所述供给器的第二参数、有关所述树脂处理部的操作条件的第三参数、有关混炼后的树脂的第四参数、有关所述树脂处理装置的温度的第五参数、有关所述制粒机的第六参数、有关所述树脂处理装置的工作状况的第七参数之中的至少其中之一，所述至少一个物理量是混炼质量以及颗粒质量之中的至少其中之一。
根据本方式，有关树脂的第一参数、有关供给器的第二参数、有关树脂处理部的操作条件的第三参数、有关混炼后的树脂的第四参数、有关树脂处理装置的温度的第五参数、有关制粒机的第六参数、有关树脂处理装置的工作状况的第七参数之中的至少一个处理条件作为状态变量而被获取。而且，关于被颗粒化的树脂的混炼质量以及颗粒质量之中的至少一个物理量作为状态变量而被获取。
并且，基于获取的状态变量，计算出对处理条件的决定结果的奖励，基于计算出的奖励，用于根据状态变量决定处理条件的函数被更新，该更新被反复进行，由此学习获得奖励最多的处理条件。因此，本构成可以不依靠熟练的技术人员的长年的经验而容易地决定处理条件。
在上述机器学习方法中，优选所述树脂处理装置还包括：齿轮泵，被设置在所述树脂处理部与所述制粒机之间，将混炼后的树脂从所述树脂处理部抽出，所述至少一个处理条件还包含有关所述齿轮泵的第八参数。
根据本方式，由于有关齿轮泵的第八参数作为状态变量而被获取，因此，可以决定更适合的处理条件。
在上述机器学习方法中，优选：所述第一参数是表示被设置在所述树脂处理部的下游侧并过滤所述树脂中的杂质的换网器的入口的树脂的压力的换网器前树脂压力、表示所述制粒机所具有的模板处理部的入口的所述树脂的压力的模板前树脂压力、所述换网器的入口与出口间的所述树脂的差压、表示所述换网器的网孔细度的网尺寸之中的至少其中之一。
根据本方式，由于采用换网器前树脂压力、模板前树脂压力、换网器的入口与出口间的树脂的差压、表示换网器的网孔细度的网尺寸之中的至少其中之一作为第一参数，因此可以决定更适合的处理条件。
在上述机器学习方法中，优选：所述第二参数是表示构成所述树脂的1种以上的原料的分子量的分布的原料分子量分布、原料MI、原料粒径分布、原料温度、所述供给器所具有的料斗的氧浓度、所述料斗的氮流量、在所述处理容器的前端部被供给到所述螺杆与所述处理容器的间隙的氮的流量、被供给到设置于所述处理容器的中间部的门与所述处理容器的间隙的氮的流量、在所述处理容器的末端部被供给到所述处理容器与所述螺杆的间隙的氮的流量、表示投入所述树脂处理部之前的所述1种以上的原料以及添加剂的混合方法的预混合方法之中的至少其中之一。
根据本方式，由于采用原料分子量分布、原料MI、原料粒径分布、原料温度、料斗的氧浓度、料斗的氮流量、在处理容器的前端部被供给到螺杆与处理容器的间隙的氮的流量、被供给到门与处理容器的间隙的氮的流量、在处理容器的末端部被供给到处理容器与螺杆的间隙的氮的流量、预混合方法之中的至少其中之一作为第二参数，因此可以决定更适合的处理条件。
在上述机器学习方法中，优选：所述第三参数是表示构成所述树脂的原料的每单位时间的处理量的生产量、所述螺杆的每单位时间的转数、被设置在所述处理容器的中间部的门的开度、被设置在树脂处理部的下游的齿轮泵的入口压力、螺杆动力、以及用所述螺杆动力/所述生产量被定义的比能量之中的至少其中之一。
根据本方式，由于采用树脂的生产量、螺杆的每单位时间的转数、门开度、齿轮泵入口压力、螺杆动力以及比能量之中的至少其中之一作为第三参数，因此可以决定更适合的处理条件。
在上述机器学习方法中，优选：所述第四参数是被设置在所述处理容器的中间部的门的所述树脂的温度、被设置在所述树脂处理部的下游的齿轮泵的入口的所述树脂的温度、所述齿轮泵的出口的所述树脂的温度、所述制粒机所具有的模板处理部的上游侧的所述树脂的温度之中的至少其中之一。
根据本方式，由于采用门的树脂温度、齿轮泵入口的树脂温度、齿轮泵出口的树脂温度、模板处理部的上游侧的树脂温度之中的至少其中之一作为第四参数，因此可以决定更适合的处理条件。
在上述机器学习方法中，优选：所述第五参数是所述树脂处理部的上游侧的第一腔室的温度、在所述树脂处理部设置在所述第一腔室的下游侧的第二腔室的温度、被设置在所述树脂处理部与设置在所述树脂处理部的下游侧的齿轮泵之间的转换片部的温度、所述齿轮泵的温度、设置在所述齿轮泵的下游侧的换网器的温度、所述制粒机的温度、以及所述制粒机的升温油的温度之中的至少其中之一。
根据本方式，由于采用第一腔室温度、第二腔室温度、转换片部温度、齿轮泵温度、换网器温度、制粒机温度、以及制粒机的升温油温度之中的至少其中之一作为第五参数，因此可以决定更适合的处理条件。
在上述机器学习方法中，优选：所述第六参数是所述制粒机的开始方法、所述制粒机所具有的刀的转数、所述刀的推压、所述刀的回压、所述刀的对准、以及为了挤出颗粒而使用的水的温度之中的至少其中之一。
根据本方式，由于采用制粒机的开始方法、制粒机的刀的转数、刀推压、刀回压、刀对准、用于挤出颗粒的水的温度之中的至少其中之一作为第六参数，因此可以决定更适合的处理条件。
在上述机器学习方法中，优选：所述第七参数是所述树脂处理装置的机械振动数、所述树脂处理装置的24小时以内的关机次数、所述树脂处理装置的24小时以上的关机次数、所述树脂处理装置的分解清扫后的工作时间、每个所述树脂的种类的累积工作时间、每个特定树脂的种类的累积工作时间、以及所述螺杆以阈值以上的动力工作的累积工作时间之中的至少其中之一。
根据本方式，由于采用树脂处理装置的机械振动数、24小时以内的关机次数和24小时以上的关机次数、分解清扫后的工作时间、每个树脂种类的累积工作时间、每个特定树脂种类的累积工作时间、以及螺杆以阈值以上的动力工作的累积工作时间之中的至少其中之一作为第七参数，因此可以决定更适合的处理条件。
在上述机器学习方法中，优选：所述第八参数是所述齿轮泵的转数、所述齿轮泵的动力、作为将所述齿轮泵的动力除以所述树脂的生产量的值的比能量之中的至少其中之一。
根据本方式，由于采用齿轮泵的转数、齿轮泵的动力、作为将齿轮泵的动力除以树脂的生产量的值的比能量之中的至少其中之一作为第八参数，因此可以决定更适合的处理条件。
在上述机器学习方法中，优选：所述函数利用深层强化学习实时被更新。
根据本方式，由于函数的更新利用深层强化学习实时进行，因此，可以准确且迅速地进行函数更新。
在上述机器学习方法中，优选：在所述奖励的计算中，在所述至少一个物理量接近与各物理量相对应的规定的基准值的情况下，使所述奖励增大，在所述至少一个物理量没有接近与各物理量相对应的基准值的情况下，使所述奖励减少。
根据本方式，由于随着物理量接近基准值而奖励增大，因此，可以使物理量迅速地达到基准值。
另外，在本发明中，上述的机器学习方法具有的各处理可以安装在所具备的机器学习装置中，也可以作为机器学习程序而被安装并流通。该机器学习装置可由服务器形成，也可以由树脂处理装置形成。

Claims (14)

1.一种机器学习方法，是机器学习装置决定树脂处理装置的处理条件的机器学习方法，其中，所述树脂处理装置具有：
树脂处理部，其具有旋转的螺杆以及覆盖所述螺杆的处理容器，将被供给的树脂混炼并输出；
供给器，将所述树脂供给到所述树脂处理部；以及，
制粒机，在所述树脂处理部的下游将从所述树脂处理部输出的树脂形成为颗粒，
其特征在于，所述机器学习方法包括以下步骤：
获取包含有关所述树脂的颗粒状态的至少一个物理量和至少一个处理条件的状态变量；
基于所述状态变量，计算对所述至少一个处理条件的决定结果的奖励；
基于所述奖励，更新用于根据所述状态变量决定所述至少一个处理条件的函数；以及，
通过反复进行所述函数的更新，从而决定获得所述奖励最多的处理条件，其中，
所述至少一个处理条件是有关所述树脂的第一参数、有关所述供给器的第二参数、有关所述树脂处理部的操作条件的第三参数、有关混炼后的树脂的第四参数、有关所述树脂处理装置的温度的第五参数、有关所述制粒机的第六参数、有关所述树脂处理装置的工作状况的第七参数之中的至少其中之一，
所述至少一个物理量是混炼质量以及颗粒质量之中的至少其中之一。
2.根据权利要求1所述的机器学习方法，其特征在于，所述树脂处理装置还包括：
齿轮泵，被设置在所述树脂处理部与所述制粒机之间，将混炼后的树脂从所述树脂处理部抽出，
所述至少一个处理条件还包含有关所述齿轮泵的第八参数。
3.根据权利要求1所述的机器学习方法，其特征在于，
所述第一参数是表示被设置在所述树脂处理部的下游侧并过滤所述树脂中的杂质的换网器的入口的树脂的压力的换网器前树脂压力、表示所述制粒机所具有的模板处理部的入口的所述树脂的压力的模板前树脂压力、所述换网器的入口与出口间的所述树脂的差压、表示所述换网器的网孔细度的网尺寸之中的至少其中之一。
4.根据权利要求1所述的机器学习方法，其特征在于，
所述第二参数是表示构成所述树脂的1种以上的原料的分子量的分布的原料分子量分布、原料MI、原料粒径分布、原料温度、所述供给器所具有的料斗的氧浓度、所述料斗的氮流量、在所述处理容器的前端部被供给到所述螺杆与所述处理容器的间隙的氮的流量、被供给到设置于所述处理容器的中间部的门与所述处理容器的间隙的氮的流量、在所述处理容器的末端部被供给到所述处理容器与所述螺杆的间隙的氮的流量、表示投入所述树脂处理部之前的所述1种以上的原料以及添加剂的混合方法的预混合方法之中的至少其中之一。
5.根据权利要求1所述的机器学习方法，其特征在于，
所述第三参数是表示构成所述树脂的原料的每单位时间的处理量的生产量、所述螺杆的每单位时间的转数、被设置在所述处理容器的中间部的门的开度、被设置在树脂处理部的下游的齿轮泵的入口压力、螺杆动力、以及用所述螺杆动力/所述生产量被定义的比能量之中的至少其中之一。
6.根据权利要求1所述的机器学习方法，其特征在于，
所述第四参数是被设置在所述处理容器的中间部的门的所述树脂的温度、被设置在所述树脂处理部的下游的齿轮泵的入口的所述树脂的温度、所述齿轮泵的出口的所述树脂的温度、所述制粒机所具有的模板处理部的上游侧的所述树脂的温度之中的至少其中之一。
7.根据权利要求1所述的机器学习方法，其特征在于，
所述第五参数是所述树脂处理部的上游侧的第一腔室的温度、在所述树脂处理部设置在所述第一腔室的下游侧的第二腔室的温度、被设置在所述树脂处理部与设置在所述树脂处理部的下游侧的齿轮泵之间的转换片部的温度、所述齿轮泵的温度、设置在所述齿轮泵的下游侧的换网器的温度、所述制粒机的温度、以及所述制粒机的升温油的温度之中的至少其中之一。
8.根据权利要求1所述的机器学习方法，其特征在于，
所述第六参数是所述制粒机的开始方法、所述制粒机所具有的刀的转数、所述刀的推压、所述刀的回压、所述刀的对准、以及为了挤出颗粒而使用的水的温度之中的至少其中之一。
9.根据权利要求1所述的机器学习方法，其特征在于，
所述第七参数是所述树脂处理装置的机械振动数、所述树脂处理装置的24小时以内的关机次数、所述树脂处理装置的24小时以上的关机次数、所述树脂处理装置的分解清扫后的工作时间、每个所述树脂的种类的累积工作时间、每个特定树脂的种类的累积工作时间、以及所述螺杆以阈值以上的动力工作的累积工作时间之中的至少其中之一。
10.根据权利要求2所述的机器学习方法，其特征在于，
所述第八参数是所述齿轮泵的转数、所述齿轮泵的动力、作为将所述齿轮泵的动力除以所述树脂的生产量的值的比能量之中的至少其中之一。
11.根据权利要求1所述的机器学习方法，其特征在于，
所述函数利用深层强化学习实时被更新。
12.根据权利要求1至11种任一项所述的机器学习方法，其特征在于，
在所述奖励的计算中，在所述至少一个物理量接近与各物理量相对应的规定的基准值的情况下，使所述奖励增大，在所述至少一个物理量没有接近与各物理量相对应的基准值的情况下，使所述奖励减少。
13.一种机器学习装置，用于决定树脂处理装置的处理条件，其中，所述树脂处理装置具有：
树脂处理部，其具有旋转的螺杆以及覆盖所述螺杆的处理容器，将被供给的树脂混炼并输出；
供给器，将所述树脂供给到所述树脂处理部；以及，
制粒机，在所述树脂处理部的下游将从所述树脂处理部输出的树脂形成为颗粒，
其特征在于，所述机器学习装置包括：
状态获取部，获取包含有关所述树脂的颗粒状态的至少一个物理量和至少一个处理条件的状态变量；
奖励计算部，基于所述状态变量，计算对所述至少一个处理条件的决定结果的奖励；
更新部，基于所述奖励，更新用于根据所述状态变量决定所述至少一个处理条件的函数；以及，
决定部，通过反复进行所述函数的更新，从而决定获得所述奖励最多的处理条件，其中，
所述至少一个处理条件是有关所述树脂的第一参数、有关所述供给器的第二参数、有关所述树脂处理部的操作条件的第三参数、有关所述混炼后的树脂的第四参数、有关所述树脂处理装置的温度的第五参数、有关所述制粒机的第六参数、有关所述树脂处理装置的工作状况的第七参数之中的至少其中之一，
所述至少一个物理量是混炼质量以及颗粒质量之中的至少其中之一。
14.一种机器学习程序，是决定树脂处理装置的处理条件的机器学习装置的机器学习程序，其中，所述树脂处理装置具有：
树脂处理部，其具有旋转的螺杆以及覆盖所述螺杆的处理容器，将被供给的树脂混炼并输出；
供给器，将树脂供给到所述树脂处理部；以及，
制粒机，在所述树脂处理部的下游将从所述树脂处理部输出的树脂形成为颗粒，
其特征在于，所述机器学习程序使计算机作为以下的各个部发挥功能：
状态获取部，获取包含有关所述树脂的颗粒状态的至少一个物理量和至少一个处理条件的状态变量；
奖励计算部，基于所述状态变量，计算对所述至少一个处理条件的决定结果的奖励；
更新部，基于所述奖励，更新用于根据所述状态变量决定所述至少一个处理条件的函数；以及，
决定部，通过反复进行所述函数的更新，从而决定获得所述奖励最多的处理条件，其中，
所述至少一个处理条件是有关所述树脂的第一参数、有关所述供给器的第二参数、有关所述树脂处理部的操作条件的第三参数、有关所述混炼后的树脂的第四参数、有关所述树脂处理装置的温度的第五参数、有关所述制粒机的第六参数、有关所述树脂处理装置的工作状况的第七参数之中的至少其中之一，
所述至少一个物理量是混炼质量以及颗粒质量之中的至少其中之一。
CN202111218465.0A 2020-10-26 2021-10-19 机器学习方法、机器学习装置以及机器学习程序 Active CN114474462B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-179177 2020-10-26
JP2020179177A JP2022070134A (ja) 2020-10-26 2020-10-26 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び樹脂処理装置

Publications (2)

Publication Number Publication Date
CN114474462A true CN114474462A (zh) 2022-05-13
CN114474462B CN114474462B (zh) 2024-08-09

Family

ID=78598684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111218465.0A Active CN114474462B (zh) 2020-10-26 2021-10-19 机器学习方法、机器学习装置以及机器学习程序

Country Status (3)

Country Link
EP (1) EP3988270B1 (zh)
JP (1) JP2022070134A (zh)
CN (1) CN114474462B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114800510B (zh) * 2022-05-06 2024-01-23 武汉理工大学 考虑产品零件失效特征的工业机器人拆解序列规划方法
JP2024029918A (ja) * 2022-08-23 2024-03-07 株式会社日立製作所 プラスチックリサイクル支援装置及びプラスチックリサイクル支援方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012026271A1 (ja) * 2010-08-27 2012-03-01 ポリプラスチックス株式会社 シミュレーション装置、プログラム、及び記録媒体
US20170031330A1 (en) * 2015-07-28 2017-02-02 Fanuc Corporation Injection molding system for the calculation of optimum operating conditions and machine learning therefor
CN106961236A (zh) * 2015-09-30 2017-07-18 发那科株式会社 电动机驱动装置
CN107199397A (zh) * 2016-03-17 2017-09-26 发那科株式会社 机器学习装置、激光加工系统以及机器学习方法
CN108227482A (zh) * 2016-12-14 2018-06-29 发那科株式会社 控制系统以及机器学习装置
CN108363356A (zh) * 2017-01-26 2018-08-03 发那科株式会社 行动信息学习装置、行动信息最优化系统以及计算机可读介质
CN110809510A (zh) * 2017-06-13 2020-02-18 株式会社日本制钢所 螺杆形状推断装置、螺杆形状推断方法、螺杆形状推断程序
JP6737944B1 (ja) * 2019-07-16 2020-08-12 株式会社神戸製鋼所 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置
JP2020152097A (ja) * 2019-03-15 2020-09-24 株式会社日本製鋼所 樹脂フィルム製造装置及び樹脂フィルム製造方法
JP2020163783A (ja) * 2019-03-29 2020-10-08 三井化学株式会社 物性情報推測方法、物性情報推測モデル生成方法、装置、及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3437401B2 (ja) * 1997-03-05 2003-08-18 株式会社神戸製鋼所 樹脂混練造粒装置の運転方法および運転制御装置
WO2001024991A1 (en) * 1999-10-01 2001-04-12 E.I. Du Pont De Nemours And Company Method for control of extrusion process
JP4491011B2 (ja) * 2007-11-28 2010-06-30 株式会社神戸製鋼所 混練処理装置の負荷監視方法及び負荷監視装置
JP5832172B2 (ja) 2010-08-05 2015-12-16 株式会社神戸製鋼所 連続混練装置
US10018997B2 (en) * 2013-06-28 2018-07-10 Fisher-Rosemount Systems, Inc. Non-intrusive data analytics in a process control system
US11182676B2 (en) * 2017-08-04 2021-11-23 International Business Machines Corporation Cooperative neural network deep reinforcement learning with partial input assistance

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012026271A1 (ja) * 2010-08-27 2012-03-01 ポリプラスチックス株式会社 シミュレーション装置、プログラム、及び記録媒体
US20170031330A1 (en) * 2015-07-28 2017-02-02 Fanuc Corporation Injection molding system for the calculation of optimum operating conditions and machine learning therefor
CN106393618A (zh) * 2015-07-28 2017-02-15 发那科株式会社 能够计算出最佳操作条件的注射成形系统及其机械学习
CN106961236A (zh) * 2015-09-30 2017-07-18 发那科株式会社 电动机驱动装置
CN107199397A (zh) * 2016-03-17 2017-09-26 发那科株式会社 机器学习装置、激光加工系统以及机器学习方法
CN108227482A (zh) * 2016-12-14 2018-06-29 发那科株式会社 控制系统以及机器学习装置
CN108363356A (zh) * 2017-01-26 2018-08-03 发那科株式会社 行动信息学习装置、行动信息最优化系统以及计算机可读介质
CN110809510A (zh) * 2017-06-13 2020-02-18 株式会社日本制钢所 螺杆形状推断装置、螺杆形状推断方法、螺杆形状推断程序
JP2020152097A (ja) * 2019-03-15 2020-09-24 株式会社日本製鋼所 樹脂フィルム製造装置及び樹脂フィルム製造方法
JP2020163783A (ja) * 2019-03-29 2020-10-08 三井化学株式会社 物性情報推測方法、物性情報推測モデル生成方法、装置、及びプログラム
JP6737944B1 (ja) * 2019-07-16 2020-08-12 株式会社神戸製鋼所 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置

Also Published As

Publication number Publication date
EP3988270A1 (en) 2022-04-27
EP3988270B1 (en) 2024-07-31
CN114474462B (zh) 2024-08-09
JP2022070134A (ja) 2022-05-12

Similar Documents

Publication Publication Date Title
CN114474462B (zh) 机器学习方法、机器学习装置以及机器学习程序
DE102016009203C5 (de) Spritzgusssystem zum Berechnen optimaler Betriebsbedingungen und Maschinenlernvorrichtung dafür
US11812765B2 (en) Supervisory machine intelligence controls for production of meat substitutes
AU770819B2 (en) Method and apparatus for rheometry, and its application to control of polymer manufacture
KR20220108797A (ko) 중합체 점도 품질을 제어하기 위한 방법 및 제어 시스템
WO2022158071A1 (ja) 異常検知システム、成形機システム、異常検知装置、異常検知方法及びコンピュータプログラム
WO2022132050A1 (en) System and method for processing extrusion data during an extrusion process
US20230338963A1 (en) Method and Arrangement for Industrial Scale Production of a Suspension for a Battery
WO2023213975A1 (en) Industrial extruder, process and method thereof
WO2021241278A1 (ja) 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び混練装置
CN113813814B (zh) 一种强力混合机的犁头角度调节方法及系统
CN115955921B (zh) 用于生产肉类替代品的监督机器智能控制
CN115862784B (zh) 一种密炼机混炼门尼粘度预测方法
WO2023188494A1 (ja) シミュレーション装置、シミュレーション方法及びシミュレーションプログラム
CN115768612A (zh) 模拟装置、模拟方法以及模拟程序
Ma et al. Modelling and comparison of wheat flour extrusion cooking behaviours in two different twin-screw extrusion systems
JP2023112693A (ja) 製造条件制御装置、方法、及びプログラム
WO2001024991A1 (en) Method for control of extrusion process
CN117875779A (zh) 基于状态转移模型的制曲工艺参数内在影响链路分析方法
CN118655929A (zh) 用于控制薄板烘丝机筒壁温度的预警方法
CN118406309A (zh) 一种塑料耐候色母粒
CN116238065A (zh) 密炼机运行在线监测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant