CN111372704B - 模具温度异常预兆检测装置以及存储介质 - Google Patents

模具温度异常预兆检测装置以及存储介质 Download PDF

Info

Publication number
CN111372704B
CN111372704B CN201880071615.XA CN201880071615A CN111372704B CN 111372704 B CN111372704 B CN 111372704B CN 201880071615 A CN201880071615 A CN 201880071615A CN 111372704 B CN111372704 B CN 111372704B
Authority
CN
China
Prior art keywords
mold
image data
sign
temperature abnormality
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880071615.XA
Other languages
English (en)
Other versions
CN111372704A (zh
Inventor
西泽实
森田贵美子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Publication of CN111372704A publication Critical patent/CN111372704A/zh
Application granted granted Critical
Publication of CN111372704B publication Critical patent/CN111372704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B22—CASTING; POWDER METALLURGY
    • B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
    • B22D46/00—Controlling, supervising, not restricted to casting covered by a single main group, e.g. for safety reasons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B22—CASTING; POWDER METALLURGY
    • B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
    • B22D17/00—Pressure die casting or injection die casting, i.e. casting in which the metal is forced into a mould under high pressure
    • B22D17/08—Cold chamber machines, i.e. with unheated press chamber into which molten metal is ladled
    • B22D17/10—Cold chamber machines, i.e. with unheated press chamber into which molten metal is ladled with horizontal press motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B22—CASTING; POWDER METALLURGY
    • B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
    • B22D17/00—Pressure die casting or injection die casting, i.e. casting in which the metal is forced into a mould under high pressure
    • B22D17/20—Accessories: Details
    • B22D17/22—Dies; Die plates; Die supports; Cooling equipment for dies; Accessories for loosening and ejecting castings from dies
    • B22D17/2218—Cooling or heating equipment for dies
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B22—CASTING; POWDER METALLURGY
    • B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
    • B22D17/00—Pressure die casting or injection die casting, i.e. casting in which the metal is forced into a mould under high pressure
    • B22D17/20—Accessories: Details
    • B22D17/32—Controlling equipment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C45/00—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor
    • B29C45/17—Component parts, details or accessories; Auxiliary operations
    • B29C45/72—Heating or cooling
    • B29C45/73—Heating or cooling of the mould
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C45/00—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor
    • B29C45/17—Component parts, details or accessories; Auxiliary operations
    • B29C45/76—Measuring, controlling or regulating
    • B29C45/78—Measuring, controlling or regulating of temperature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186—Fuzzy logic; neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Injection Moulding Of Plastics Or The Like (AREA)
  • Moulds For Moulding Plastics Or The Like (AREA)
  • Molds, Cores, And Manufacturing Methods Thereof (AREA)
  • Radiation Pyrometers (AREA)
  • Multimedia (AREA)

Abstract

模具温度控制系统(1)具有：推理模型生成部(24)，基于以规定的间隔取得的模具的多个热图像数据、以及与多个热图像数据建立了关联的教导数据，将从多个热图像数据之中提取到的连续的规定数量的时间序列图像数据作为一个样本数据进行学习，生成用于检测模具的温度异常的预兆的推理模型；模具温度异常度推理(54)，基于模具的规定数量的时间序列图像数据，使用推理模型来检测规定数量后的模具的温度异常的预兆的产生；以及警告灯请求发送部(56)，在检测出模具的温度异常的预兆的产生时，控制警告灯(5)的点亮。

Description

模具温度异常预兆检测装置以及存储介质
技术领域
本发明的实施方式是涉及对压铸机、注射成型机等中使用的模具的温度异常的预兆进行检测的模具温度异常预兆检测装置以及存储介质的发明。
背景技术
以往，进行使用了模具的金属部件或树脂部件等的制造。
例如，由压铸机进行的铸造包括使铝溶液等熔融金属(日：溶湯)流入模具、使其凝固、并取出铸造件的铸造工序。在铸造部件的缺陷中，有浇注不满、气孔(日：鋳巣)，这些缺陷有时占缺陷整体的70％。由于均是模具的温度异常所引起的缺陷，因此模具温度被作为压铸铸造现场中的重要的品质管理项目来处理。
模具的温度控制有时也通过如下方式进行：使用热电偶(thermocouple)那样的温度传感器来检测模具的温度，基于检测出的温度来控制模具的加热器，但热电偶仅能够检测定点的温度。
因此，例如，若存在脱模剂的不均匀的散布等，则由脱模剂的散布带来的冷却效果也变得不均匀，即使产生热蓄积，由于在热电偶中仅能够进行定点测量，并且热蓄积的部位也不是始终在相同的场所产生，因此有时无法检测出热蓄积部位，所以有时会产生浇注不良、气孔不良。
因此，导入能够测量模具的表面整体的红外线热象仪，并由制造现场的专家进行如下处理：根据红外线热象仪图像来分析热蓄积的预兆产生机制，并根据热蓄积的预兆来调整脱模剂的散布的方向、量等，由此进行模具温度控制以不产生模具的温度异常。
但是，由专家进行的红外线热象仪图像分析是人为的方法，因此无法广泛应用于多数工厂以及多数产品。
现有技术文献
专利文献
日本专利第5637287号公报
发明内容
用于解决技术问题的手段
因此，本实施方式的目的在于，提供一种能够根据红外线热象仪图像检测模具的温度异常的预兆的模具温度异常预兆检测装置以及存储介质。
实施方式的模具温度异常预兆检测装置具有：模型生成部，基于以规定的间隔取得的模具的多个热图像数据、以及与所述多个热图像数据建立了关联的教导数据，将从所述多个热图像数据之中提取到的连续的规定数量的时间序列图像数据作为一个样本数据进行学习，生成用于检测所述模具的温度异常的预兆的推理模型；推理执行部，基于所述模具的所述规定数量的时间序列图像数据，使用所述推理模型来检测所述规定数量后的所述模具的所述温度异常的预兆的产生；以及信息输出部，在所述推理执行部检测出所述模具的所述温度异常的预兆的产生时，输出规定的信息。
附图说明
图1是实施方式的模具温度控制系统的构成图。
图2是用于说明实施方式的铝等熔融金属向压铸机7中的模具腔室注射的注射系统的示意图。
图3是表示实施方式的热图像的例子的图。
图4是用于说明实施方式的热图像数据保存部21的数据结构的图。
图5是用于说明实施方式的现场专家教导数据保存部22的数据结构的图。
图6是用于说明实施方式的预处理数据临时保存部23a的数据结构的图。
图7是用于说明实施方式的推理模型数据保存部51的数据结构的图。
图8是实施方式的推理模型生成处理的时序图。
图9是用于说明实施方式的预处理数据与教导数据的对应关系的图。
图10是用于说明实施方式的将N张预处理图像作为输入数据来预测N次压射(shot)后的产品的合格/不合格的推理模型的图。
图11是表示实施方式的机器控制规则保存部52的数据结构的图。
图12是表示实施方式的异常预兆判定规则保存部53的数据结构的图。
图13是表示实施方式的上次判定临时保存部55a的数据结构的图。
图14是表示实施方式的热图像数据临时保存部61a的数据结构的图。
图15是实施方式的从红外线热象仪数据的收集到推理执行请求的发送为止的处理的时序图。
图16是实施方式的从推理执行到警告灯(patrol lamp)点亮为止的处理的时序图。
图17是实施方式的从模具的温度异常的预兆的判定起到压铸机的运转停止为止的处理的时序图。
图18是表示实施方式的从模具的温度的正常判定到压铸机的再次运转为止的处理的流程的例子的流程图。
图19是表示实施方式的梯度数据的可视化处理的流程的例子的流程图。
图20是表示实施方式的推理关注数据组的一个例子的图。
图21是表示实施方式的显示于监视器6的可视化的梯度数据的显示例的图。
具体实施方式
以下，参照附图对实施方式进行说明。
(系统构成)
图1是本实施方式的模具温度控制系统的构成图。模具温度控制系统1包括推理模型生成装置2、模具温度自动控制装置3、红外线热象仪4、警告灯5、以及作为显示装置的监视器6。
模具温度自动控制装置3向所连接的压铸机7输出控制信号。在图1中，示出了与模具温度自动控制装置3连接的一个压铸机7，但也可以在模具温度自动控制装置3上连接多个压铸机，使模具温度自动控制装置3能够进行多个压铸机的控制。
压铸机7包括控制模具D的动作的机器动作控制部8。模具温度自动控制装置3向压铸机7的机器动作控制部8输出控制信号。
红外线热象仪4被设置为，拍摄模具D的规定的区域。在存在多个压铸机时，红外线热象仪4也可以按每个压铸机设置。如后述那样，在推理模型生成装置2、模具温度自动控制装置3的推理执行指示部62以后的推理处理中，从红外线热象仪4输出的红外线热象仪数据中，使用将压铸的铸造件制作的各压射中的规定的定时下获得的热图像。
推理模型生成装置2生成关于压铸机的模具D的推理模型，模具温度自动控制装置3基于所生成的推理模型，进行模具D的温度异常的预兆检测、压铸机7的自动控制等。由此，推理模型生成装置2与模具温度自动控制装置3构成模具温度异常预兆检测装置。
图2是用于说明铝等熔融金属向压铸机7中的模具腔室注射的注射系统的示意图。
两个模具D1、D2的一个模具D1在每次压射时向箭头A所示的方向移动，与模具D2紧贴，从而合模。在模具D1与D2紧贴的期间，浇道(runner)R内的熔融金属M通过柱塞P的移动被注射并填充到两个模具D1、D2内的模具腔室内。
之后，在模具腔室内的熔融金属M被保压并冷却之后，模具D1向与箭头A所示的方向相反的方向移动，两个模具D1、D2开模，取出成型出的铸造件。
另外，在制造铸造件的中途，进行脱模剂的散布，以使铸造件容易从模具脱落。另外，在复杂结构的模具中，离散剂难以均匀地散布，若脱模剂的不均匀的散布继续，则会在模具的内侧表面上产生微小的高温部位，不久成为较大的热蓄积而产生浇注不满、气孔不良。
红外线热象仪4对模具进行拍摄，使得包含模具D1、D2中的一个模具的模具腔室侧的内侧表面。如后述那样，红外线热象仪4的图像在每次压射时以一定的定时被收集。
图3是表示热图像的例子的图。图3是表示包含模具的内侧表面的、由红外线热象仪4拍摄而得的图像的例子的示意图，在此，未示出热分布的状态。由于红外线热象仪4从倾斜方向对模具的内侧表面进行拍摄，因此矩形的模具腔室用梯形表示。在红外线热象仪4的图像SM中，腔室内侧表面的区域Di由虚线表示。图像的切取区域rSM由双点划线表示。
从按照每次压射得到的红外线热象仪4的图像SM中，切取包含腔室内侧表面的区域Di在内的区域，该切取区域rSM的图像被用于后述的模型生成、推理处理等。
将切取区域rSM的图像用于模型生成等是为了提高模型生成等的精度，但也可以将红外线热象仪4的图像SM整体用于模型生成、推理处理等。
另外，在以下的例子中，红外线热象仪4为一台，对两个模具中的一个模具的模具腔室内侧表面进行拍摄，但也可以设置两台以上红外线热象仪4，在每次压射时对两个模具双方的模具腔室内侧表面进行拍摄。
接下来，返回至图1，对推理模型生成装置2的构成进行说明。
(推理模型生成装置的构成)
推理模型生成装置2是包括如下硬件电路的计算机：包括中央处理装置(以下，称为CPU)、ROM、RAM等的控制部11(用虚线表示)；包括闪存、硬盘驱动装置等的存储装置12(用虚线表示)；以及键盘、监视器、鼠标、数据输入及输出接口等输入输出接口(以下，省略为输入输出I/F)13(用虚线表示)等。
推理模型生成装置2还具有热图像数据保存部21、现场专家教导数据保存部22、热图像预处理部23、预处理数据临时保存部23a、以及推理模型生成部24。
热图像数据保存部21、现场专家教导数据保存部22以及预处理数据临时保存部23a是存储数据的存储区域，包含在存储装置12中。
热图像预处理部23与推理模型生成部24是软件程序，记录于存储装置12，由控制部11的CPU读出并执行。
热图像数据保存部21是保存由用户指定并登记的热图像数据组的存储部。
图4是用于说明热图像数据保存部21的数据结构的图。
如图4所示，热图像数据保存部21是包含关于各热图像的拍摄日期时间、产品的识别符(以下，省略为ID)即产品ID、组装有拍摄对象的模具的压铸机的ID即压铸机ID、热图像的ID即热图像ID、以及热图像数据而构成的数据库。
热图像数据组是使用红外线热象仪4对实际通过压铸机进行铸造时的模具进行拍摄后得到的图像的集合体。在登记于热图像数据保存部21的热图像中，混有所制造的产品的铸造品质良好时的拍摄图像与铸造品质差时的拍摄图像。
热图像数据是JPEG、BMP等文件格式的数据，在本实施方式中为彩色图像。
现场专家对作为计算机的推理模型生成装置2进行操作，将预先累积的热图像数据组登记在热图像数据保存部21。
现场专家教导数据保存部22是保存由用户指定的教导数据组的存储部。在现场专家教导数据保存部22中，登记与热图像、即通过红外线热象仪4获得的作为热分布图像的热图像相关联的教导数据。
图5是用于说明现场专家教导数据保存部22的数据结构的图。
如图5所示，现场专家教导数据保存部22包含热图像ID与教导数据而构成。
教导数据是现场专家判断铸造件的品质(合格品、不合格品中的某一个)而设定的数据。与铸造时的热图像数据相关联。教导数据与热图像数据的关联通过热图像ID而进行。
如以上那样，现场专家能够操作作为计算机的推理模型生成装置2，将预先设定的教导数据组登记在现场专家教导数据保存部22。
热图像预处理部23从热图像数据保存部21，取得热图像ID列表所含的热图像的热图像数据组。
热图像ID列表是，用户对推理模型生成装置2提出模型生成的执行请求时由用户指定的列表，对推理模型的生成中所使用的热图像进行确定。
当用户对推理模型生成装置2提出模型生成的执行请求时，控制部11执行热图像预处理部23，之后，执行推理模型生成部24。
热图像预处理部23将所取得的热图像数据组作为输入，执行预处理。在预处理中，为了提高后述的模型生成处理的效率，进行归一化的处理，以使热图像的各像素值收敛于0～1的范围的值。
在预处理中，对所有热图像，进行从彩色图像转换为黑白图像并制作黑白热图像数据的转换处理。
另外，在预处理中，进行平均值图像数据生成处理，该平均值图像数据生成处理中，根据所有黑白热图像数据，制作以像素为单位相加并且除以255而取得平均值的平均图像数据。所制作的平均图像数据暂时被保存在存储装置12的规定的区域。
然后，在预处理中，执行以黑白热图像为单位、减去所制作的平均图像数据并制作预处理数据的预处理数据制作处理。
热图像预处理部23将所制作的所有预处理数据登记在预处理数据临时保存部23a。
图6是用于说明预处理数据临时保存部23a的数据结构的图。
如图6所示，预处理数据临时保存部23a包含热图像ID与预处理数据而构成。
预处理数据是JPEG、BMP等文件格式形式的数据。
如上述那样，热图像预处理部23仅对通过红外线热象仪4获得的热图像中的规定的切取区域进行预处理。
红外线热象仪4以也包含模具的关注区域以外的区域的方式对模具进行拍摄，因此从这样获得的热图像中，如图3所示那样，仅切取作为关注区域的切取区域rSM，对该切取的区域的图像数据进行预处理。后述的模具异常温度推理处理也针对相同的关注区域即切取区域rSM而进行。这是因为，有通过仅对关注区域进行预处理等而推理精度提高的情况。
另外，也可以如上述那样，对图像SM整体进行预处理。
推理模型生成部24在热图像预处理部23执行后被执行。
推理模型生成部24进行如下处理：对保存在预处理数据临时保存部23a的预处理数据执行基于深度学习的学习，生成推理模型。本实施方式的推理模型生成部24按照压铸机的每次铸造，制作确定了如下边界面的神经网络型的推理模型，该边界面能够从描绘了表示模具的温度的热图像的各像素数据的空间上将合格品与不合格品很好地分离。
在此，所谓推理模型，是由神经网络的结构信息以及神经网络中的各种权重等的参数信息构成的神经网络型的推理模型，所述神经网络的结构信息是构成神经网络的输入层、隐藏层及输出层的结构信息。
神经网络型的推理模型的生成方法通过基于深度学习的学习而进行。所谓基于深度学习的学习，是以推理出的输出数据与针对输入数据的教导数据(正解)之间的误差变少的方式，将各层的权重(ω1···ωN)一点一点地更新为适当的值，并求出最佳的权重(即推理模型)的处理。
在本实施方式的神经网络中，由于热图像数据为对象，因此使用了图像分析中经常使用的CNN(Convolution Neural Network：卷积神经网络)。另外，关于CNN，参照了如下文献：Y.LeCun,B.Boser,J.S.Denker,D.Henderson,R.E.Howard、W.Hubbard、andL.D.Jackel著，“应用于手写体邮政编码识别的误差反向传播法”(日语：「ワイ·ルクン、ビー·ボザー、ジェイ·エス·デンカー、ディ·ヘンダーソン、アール·イー·ハワード、ダブリュ·ハバード、エル·ディ·ジャカル著、「手書きジップコード認識に適用される誤差逆伝播法」)神经计算，1卷，541～551页，1989(Y.LeCun,B.Boser,J.S.Denker,D.Henderson,R.E.Howard、W.Hubbard、and L.D.Jackel,"Backpropagation applied tohandwritten zip code recognition",Neural Computation,vol.1、pp.541-551、1989.)。
另外，在本实施方式中，在产生铸造件的不良情况的模具的温度变成异常之前，根据热图像的时间序列变化来检测异常的预兆。因此，在想要检测从当前的铸造起N(N为正的整数)次后的铸造时的模具的温度异常的预兆的情况下，将“N张”的热图像数据作为输入，将N次后的教导数据作为输出，制作推理模型。通过这种推理模型，可捕捉热图像的时间序列变化的特征。
例如，在预处理后的热图像为m×k(m为图像的纵向的像素数，k为图像的横向的像素数)、N为3的情况下，1个样本为具有m×k×N的维数的像素值数据。
本实施方式的推理模型根据多个样本数据而制作，例如是用于根据紧前的连续的过去N张热图像来推理这之后的N次压射后所制造的铸造件的合格/不合格、并输出表示温度异常的预兆的等级的异常度的模型。异常度用数值表示，在此为0.0～1.0的范围的值，即以概率这一形式输出。异常度表示如下情况：值越低，容易制造合格品的精确度越高，值越高，容易制造不合格品的精确度越高。
在计算异常度的推理处理中，执行如下处理：输入数据流向上述的推理模型的输入层、隐藏层、输出层，最后生成输出数据。表示异常度的概率将来自最后的隐藏层的输出值作为输入，通过归一化指数(Softmax)函数求出。在此，所谓归一化指数函数是指，在正常与异常等两个概率分布之间定义的尺度。
推理模型生成部24制作的推理模型数据MD作为规定的形式的数据文件，被登记在模具温度自动控制装置3的推理模型数据保存部51。若推理模型生成装置2与模具温度自动控制装置3通过通信线连接，则推理模型数据被从推理模型生成装置2发送至模具温度自动控制装置3，并被登记在推理模型数据保存部51。若推理模型生成装置2与模具温度自动控制装置3未通过通信线连接，则将推理模型数据MD存储于存储卡等存储介质，管理者将该存储卡的数据登记在推理模型数据保存部51。
另外，由预处理部制作的平均图像数据也与推理模型数据MD一起被向模具温度自动控制装置3发送等，并被登记在热图像预处理部63。
推理模型数据包括对赋予给输入层的输入计算神经网络的输出层的各输出节点的值所需的信息。在此，计算各输出节点的值所需的信息是各边缘的权重、偏置的值、其他激活函数的参数等各种参数。
图7是用于说明推理模型数据保存部51的数据结构的图。图7表示关于多个推理模型的推理模型被登记在推理模型数据保存部51中的例子，各推理模型按每个压铸机且每个产品生成并登记在推理模型数据保存部51。
如图7所示，推理模型数据保存部51包含推理模型ID、产品ID、压铸机ID、热图像列表以及推理模型数据而构成。
推理模型ID是用于识别推理模型的ID。
产品ID是用于识别产品(在此为铸造件)的ID。
压铸机ID是用于识别压铸机的ID。
热图像列表是为了生成推理模型而使用的热图像ID的列表信息。
推理模型数据是确定推理模型的矩阵形式的模型参数组。
接下来，对以上那样的构成的推理模型生成装置2中的推理模型的生成处理进行说明。
图8是推理模型生成处理的时序图。
首先，用户向推理模型生成装置2发送热图像ID列表(C1)。即，希望通过推理模型生成装置2制作推理模型的用户，通过推理模型生成装置2的键盘等，对推理模型生成装置2输入或赋予用于推理模型生成的热图像的列表信息。
输入输出I/F13向热图像预处理部23发送所输入的热图像ID列表(C2)。
热图像预处理部23从热图像数据保存部21一并取得热图像ID列表所示的热图像数据组(C3)。
热图像预处理部23将所取得的热图像数据组作为输入，执行上述的预处理(C4)。
热图像预处理部23将所有预处理数据登记在预处理数据临时保存部23a(C5)。
用户向推理模型生成部24请求推理模型的生成的执行(C6)。
推理模型生成部24从预处理数据临时保存部23a一并取得预处理数据组(C7)。
推理模型生成部24从现场专家教导数据保存部22一并取得教导数据(C8)。
在此，预处理数据不是以样本为单位，而是一并取得。所取得的预处理数据与教导数据通过热图像ID而关联。
推理模型生成部24执行基于深度学习的学习，生成推理模型(C9)。对推理模型生成部24输入的输入数据是预处理数据与教导数据的对(pair)，输出数据是推理模型数据MD。
推理模型中的神经网络的结构(输入层的节点数、隐藏层的数量、输出层的节点数、各隐藏层的节点数等)由用户预先设定。
由此，推理模型数据MD是该神经网络的结构中的权重等参数数据的组。
在此，对本实施方式的推理模型进行说明。
图9是用于说明预处理数据与教导数据的对应关系的图。
在图9中，按照时间序列获得每次压射的预处理数据的图像G，与多个图像G对应的教导数据被赋予给推理模型生成部24。
在图9中，获得图像G1时的产品为合格品，同样，获得图像G1之后的图像G2、G3时的产品也为合格品，但当获得图像G3之后的图像G4、G5时的产品为不合格品时，基于图像G中的规定温度以上的区域HA的变化，能够预测N次压射之后的产品的合格/不合格。
本实施方式的推理模型成为如下模型：在将N设为3时，根据紧前的过去3张图像预测在3次压射后所制造的产品的合格/不合格。由此，推理模型生成部24生成将N张预处理图像作为输入数据来预测N次压射后的产品的合格/不合格的推理模型数据。
图10是用于说明将N张预处理图像作为输入数据来预测N次压射后的产品的合格/不合格的推理模型的图。
在图10中，在获得作为预处理图像的图像G11之后，进行下一次的压射、即合模、注射、保压、冷却、开模以及取出，制造产品。
预处理数据与教导数据通过热图像ID而关联，推理模型生成部24基于通过各压射制作的产品的教导数据(为合格品或不合格品的信息)，通过学习而生成推理模型数据MD，推理模型数据MD根据连续的3次压射量的预处理数据来推理3次压射后的产品是合格品还是不合格品。
在图10的情况下，对于以连续的图像G11、G12、G13为一个样本数据的推理模型的输入而言，得到图像G16时所制作的产品为“合格品”这一教导数据与推理模型的输出对应。同样，对于以连续的图像G12、G13、G14为一个样本数据的推理模型的输入而言，得到图像G17时所制作的产品为“合格品”这一教导数据与推理模型的输出对应。同样，对于以连续的图像G13、G14、G15为一个样本数据的推理模型的输入而言，得到图像G18时所制作的产品为“不合格品”这一教导数据与推理模型的输出对应。
样本数据的各热图像数据是以规定的间隔取得的模具的图像数据。推理模型生成部24基于多个热图像数据和与多个热图像数据关联的教导数据，生成用于检测模具的温度异常的预兆的推理模型。此时，推理模型生成部24将从多个热图像数据之中提取到的连续的规定数量(N)的时间序列图像数据作为一个样本数据进行学习。
即，推理模型生成部24构成模型生成部，该模型生成部基于以规定的间隔取得的模具的多个热图像数据、以及与多个热图像数据关联的教导数据，将从多个热图像数据之中提取到的连续的规定数量(N)的时间序列图像数据作为一个样本数据进行学习，生成用于检测模具的温度异常的预兆的推理模型。
如以上那样，将时间序列上连续的规定数量的预处理图像汇总而作为一个样本数据赋予给推理模型生成部24，用于基于深度学习的推理模型的生成。
如上述那样，推理模型生成部24将多个样本数据赋予给推理模型的神经网络，计算包括神经网络中的各层的各节点的权重系数等在内的推理模型数据MD。在此，基于模具的热图像生成能够根据过去的多个图像来推理多个后的产品是合格品还是不合格品的推理模型。
如上述那样，推理模型生成部24将所生成的推理模型数据MD例如经由通信线发送至模具温度自动控制装置3，并保存在推理模型数据保存部51(C10)。
如以上那样，生成推理模型。
保存在推理模型数据保存部51的推理模型数据MD被模具温度自动控制装置3的管理者设置在后述的模具温度异常度推理部54。
(模具温度自动控制装置的构成)
返回至图1，模具温度自动控制装置3是包括如下构成的计算机：包括CPU、ROM、RAM等的控制部41(用虚线表示)；包括闪存、硬盘驱动装置等的存储装置42(用虚线表示)；以及键盘、监视器、鼠标、数据输入接口等输入输出I/F(未图示)。
模具温度自动控制装置3具有：推理模型数据保存部51、机器控制规则保存部52、异常预兆判定规则保存部53、模具温度异常度推理部54、模具温度异常预兆判定部55、警告灯请求发送部56、机器动作请求发送部57、推理关注区域可视化处理部58、模具温度监视器显示处理部59、红外线热象仪数据收集部60、红外线热象仪图像转换部61、推理执行指示部62、以及热图像预处理部63。
推理模型数据保存部51、机器控制规则保存部52、以及异常预兆判定规则保存部53是存储数据的存储区域，包含在存储装置42中。
模具温度异常度推理部54、模具温度异常预兆判定部55、警告灯请求发送部56、机器动作请求发送部57、推理关注区域可视化处理部58、模具温度监视器显示处理部59、红外线热象仪数据收集部60、红外线热象仪图像转换部61、推理执行指示部62、以及热图像预处理部63为软件程序，记录于存储装置42，由控制部41的CPU读出并执行。
推理模型数据保存部51是储存上述的推理模型数据MD的存储部。
机器控制规则保存部52是储存控制压铸机7的动作的机器控制规则的存储部。机器控制规则由以上次的判定ID、当前的判定ID、机器控制为一组的记录的集合体构成。关于机器控制规则的数据结构，之后进行叙述。
图11是表示机器控制规则保存部52的数据结构的图。机器控制规则由以上次的判定ID、当前的判定ID、机器控制为一组的记录的集合体构成。
异常预兆判定规则保存部53是储存异常预兆判定规则的存储部。
图12是表示异常预兆判定规则保存部53的数据结构的图。
异常预兆判定规则由以判定规则、判定ID、警告灯控制为一组的两个以上的记录构成。记录数相当于异常度的等级数，在本实施方式中，定义有三个等级。例如“JudgeRule01”具有正常等级的意思，“JudgeRule02”具有警告等级的意思，“JudgeRule03”具有错误等级的意思。对各判定规则，定义了异常度的范围。在警告灯控制中，针对适合的判定规则，定义由警告灯点亮的颜色。
模具温度异常度推理部54基于推理模型，执行推理上述的异常度的推理处理。更具体而言，模具温度异常度推理部54执行将接收到的N张量的预处理数据作为输入数据来检测N次压射后的模具的温度异常的预兆的产生的推理处理，输出0.0至1.0的范围的值即异常度。
模具温度异常度推理部54向模具温度异常预兆判定部55发送所输出的异常度数据AD。
模具温度异常预兆判定部55基于异常预兆判定规则与异常度，执行异常预兆判定处理。
因而，模具温度异常度推理部54与模具温度异常预兆判定部55构成推理执行部，该推理执行部基于模具的规定数量(N)的时间序列图像数据，使用推理模型来检测规定数量(N)后的模具的温度异常的预兆的产生。
模具温度异常预兆判定部55基于判定结果，决定对警告灯5的动作指示，向警告灯请求发送部56输出，并将表示压铸机7的动作内容的控制信息向机器动作请求发送部57输出。
模具温度异常预兆判定部55将判定结果储存于上次判定临时保存部55a。上次判定临时保存部55a可以是存储装置42的存储器区域，也可以是规定的寄存器。
图13是表示上次判定临时保存部55a的数据结构的图。在上次判定临时保存部55a中能够储存上次判定ID。
返回至图1，警告灯请求发送部56是向警告灯5发送动作请求信号的处理部。
机器动作请求发送部57向压铸机7的机器动作控制部8发送接收到的机器控制信息。例如，若接收到的机器控制信息为运转再次开始，则压铸机7的机器动作控制部8基于接收到的机器控制信息(运转再次开始)，使压铸机7的运转再次开始。
推理关注区域可视化处理部58执行使关注区域的梯度数据可视化的处理。
关于推理关注区域可视化处理部58中的处理，之后进行叙述。
模具温度监视器显示处理部59基于来自推理关注区域可视化处理部58的图像数据，执行生成显示于监视器6的图像的处理。
红外线热象仪数据收集部60是根据红外线热象仪4所输出的红外线热象仪数据收集红外线热象仪图像的处理部。红外线热象仪数据收集部60基于压铸机7的动作，取得规定的定时的红外线热象仪图像。取得红外线热象仪图像的定时例如为开始模具的压射的规定时间前的定时。推理模型生成装置2使用的热图像数据也是以与该定时相同的定时取得的数据。
红外线热象仪图像转换部61将数值数据的红外线热象仪数据转换为彩色图像，制作热图像数据。
红外线热象仪图像转换部61将热图像数据登记在热图像数据临时保存部61a。
图14是表示热图像数据临时保存部61a的数据结构的图。热图像数据临时保存部61a包含拍摄日期时间、产品ID、压铸机ID、热图像ID以及热图像数据。热图像数据临时保存部61a的数据结构与图4的热图像数据保存部21的数据结构相同。
另外，如图1中虚线所示，储存于热图像数据临时保存部61a的数据也可以经由通信线、或者通过人工手动地经由存储介质储存于热图像数据保存部21，使得够在推理模型的更新时使用。
红外线热象仪图像转换部61是在N张量的热图像的图像转换结束后、向推理执行指示部62发送推理执行请求的处理部。在推理执行请求中，包含N张量的热图像。
推理执行指示部62向热图像预处理部63发送N张量的热图像而指示推理的执行。
热图像预处理部63对接收到的N张量的热图像进行预处理。在预处理中，与推理模型生成装置2的热图像预处理部23同样地进行归一化处理，以使其收敛于0～1的范围的值。
即，热图像预处理部63针对所有热图像，从彩色图像转换为黑白图像，并制作黑白热图像数据。
热图像预处理部63以黑白热图像为单位，减去所制作的平均图像数据，制作预处理数据。
另外，平均图像数据是在推理模型生成时制作、并预先登记在热图像预处理部的数据。
热图像预处理部63向模具温度异常度推理部54发送N张量的预处理数据。
(作用)
接下来，对模具温度自动控制装置3的动作进行说明。
1)从红外线热象仪数据的收集到推理执行请求的发送为止的处理
首先，对从红外线热象仪数据的收集到推理执行请求的发送为止的处理进行说明。
图15是从红外线热象仪数据的收集到推理执行请求的发送为止的处理的时序图。图15的处理在压铸机7运转过程中被执行。
红外线热象仪4对设置于压铸机7的模具D进行拍摄，测量模具D的温度，并输出红外线热象仪数据(C11)。红外线热象仪数据是从模具D放射的红外线的数值数据的集合体。
红外线热象仪4向红外线热象仪数据收集部60发送测量出的红外线热象仪数据(C12)。
红外线热象仪数据收集部60向红外线热象仪图像转换部61传递红外线热象仪数据，请求图像转换的执行(C13)。
红外线热象仪图像转换部61将数值数据的红外线热象仪数据转换为彩色图像，制作热图像数据(C14)。
红外线热象仪图像转换部61将热图像数据登记在热图像数据临时保存部61a(C15)。
红外线热象仪图像转换部61在N张量的热图像的图像转换结束后，向推理执行指示部62发送推理执行请求(C16)。在推理执行请求中，包含N张量的热图像。
C12至C16以压铸机7的压射为单位被反复执行。
以上为从红外线热象仪数据的收集到推理执行请求的发送为止的处理的流程。
2)从推理执行到警告灯点亮为止的处理
接下来，对从推理执行到警告灯点亮为止的处理进行说明。
图16是从推理执行到警告灯点亮为止的处理的时序图。
如图16所示，推理执行指示部62向热图像预处理部63发送N张量的热图像(C21)。
热图像预处理部63对接收到的N张量的热图像进行预处理(C22)。在预处理中，如上述那样，与模型生成处理同样地进行归一化处理，以使其收敛于0～1的范围的值。
热图像预处理部63向模具温度异常度推理部54发送N张量的预处理数据(C23)。
模具温度异常度推理部54将接收到的N张量的预处理数据作为输入，基于推理模型执行推理处理(C24)，输出0.0至1.0的范围的值的异常度。即，构成推理执行部的模具温度异常度推理部54基于模具的规定数量(N)的时间序列图像数据即预处理数据，使用推理模型来输出异常度数据。
模具温度异常度推理部54向模具温度异常预兆判定部55发送所输出的异常度(C25)。
模具温度异常预兆判定部55从异常预兆判定规则保存部53(图12)取得异常预兆判定规则(C26)。
模具温度异常预兆判定部55基于所取得的异常预兆判定规则与异常度，执行异常预兆判定(C27)。即，构成推理执行部的模具温度异常预兆判定部55基于异常度，检测规定数量(N)后的模具的温度异常的预兆的产生。
例如，若异常度为0.7，则根据图12的判定规则，判定ID相当于“JudgeRule02”，输出判定ID的“JudgeRule02”和警告灯控制信息的“黄”。另外，若异常度为0.9，则根据图12的判定规则，判定ID相当于“JudgeRule03”，输出判定ID的“JudgeRule03”和警告灯控制信息的“红”。
模具温度异常预兆判定部55从上次判定临时保存部55a取得上次判定ID(C28)。在图13的情况下，上次铸造时的判定结果为正常，因此在预兆检测前取得所保存的“JudgeRule01”。所取得的上次判定ID被用于后述的压铸机7的再次运转处理。
模具温度异常预兆判定部55在上次判定临时保存部55a中临时保存当前的判定ID的“JudgeRule02”(C29)。
以上的C21至C29的处理与异常预兆判定相关。
模具温度异常预兆判定部55向警告灯请求发送部56发送警告灯点亮请求，使得以判定出的颜色(在上述的例子中为黄)点亮(C30)。
警告灯请求发送部56接受警告灯点亮请求，在上述的情况下，向警告灯5输出点亮指示，以使警告灯5以规定的颜色点亮(C31)。
由此，警告灯请求发送部56构成在检测出产生模具的温度异常的预兆时输出规定的信息的信息输出部。
其结果，警告灯5是在受理与指示相应的颜色的点亮指示而使警告灯5点亮的、在上述的例子中以黄色点亮的告知部。警告灯5的显示将存在模具的温度异常的产生的预兆的情况告知给生产线的作业者以及管理者。
因而，警告灯5构成向管理者等告知温度异常的预兆的产生的告知部。
以上的C30至C31的处理与警告灯的控制相关。
接下来，对检测到模具的温度异常的预兆后、停止压铸机7的运转、之后模具的温度降低而恢复到正常温度、使压铸机7再次运转为止的处理进行说明。
3)从模具的温度异常的预兆的判定到压铸机的运转停止为止的处理
图17是从模具的温度异常的预兆的判定到压铸机的运转停止为止的处理的时序图。
模具温度异常预兆判定部55从机器控制规则保存部52取得机器控制规则(C41)。
模具温度异常预兆判定部55根据在上述的图16的序列号C28取得的上次判定ID、以及当前的判定ID，选择适合的规则的记录并读出。例如，若上次判定ID为“JudgeRule01”、当前的判定ID为“JudgeRule02”，则在图11中，第二个记录适合，进行机器控制而选择“运转停止”。模具温度异常预兆判定部55向机器动作请求发送部发送机器控制(运转停止)(C42)。
机器动作请求发送部57向压铸机7的机器动作控制部8发送接收到的机器控制(运转停止)(C43)。
机器动作控制部8基于接收到的机器控制(运转停止)，执行压铸机7的控制(运转停止)。
第二个记录记述了如下规则：由于检测出从正常状态变为异常状态的预兆，因此在制造因模具的温度异常导致的不合格品之前，使压铸机7停止。
由此，当检测出N次压射后制造出不合格品的温度异常的预兆时，模具温度异常预兆判定部55在制造不合格品的N次压射前的时刻，使压铸机7停止。
如以上那样，机器动作请求发送部57构成在检测出模具的温度异常的预兆的产生时输出规定的信息的信息输出部。然后，机器动作请求发送部57将对使用模具来制造产品的制造装置即压铸机7的动作控制的请求信号发送至压铸机7。特别是，在模具温度异常度推理部54检测出模具的温度异常的预兆的产生时，机器动作请求发送部57将使压铸机7停止的请求信号发送至压铸机7。
通过使压铸机7停止，模具的温度不再上升，而开始下降。
如以上那样，警告灯5的颜色由蓝色变为黄色(或红色)，从而压铸机7的管理者能够获知热蓄积的预兆的产生。
而且，由于压铸机7也停止，因此例如能够在由于由脱模剂的不均匀散布引起的模具的温度异常的原因而产生不合格之前，发现热蓄积的预兆，因此能够减少不合格数。
特别是，若在模具持续热蓄积的状态下继续铸造，则在模具中残留铝等的渣滓，因此停止压铸机7而进行模具的清洁，因而产生停机时间。但是，如上述那样，由于能够在产生不合格品之前发现热蓄积，因此不再继续铸造，能够避免模具的清洁，作为结果，也能够实现停机时间的减少。
4)从模具的温度的正常判定到压铸机的再次运转为止的处理
接下来，对从模具的温度的正常判定到压铸机的再次运转为止的处理进行说明。
即使压铸机7停止，红外线热象仪4的红外线热象仪数据也在红外线热象仪数据收集部60中以规定的间隔被收集。该规定的间隔与压铸机7可动时的数据收集周期相同或大致相同。
通过压铸机7的停止，当模具的温度降低而成为规定的正常温度时，压铸机7再次运转。
图18是表示从模具的温度的正常判定到压铸机的再次运转为止的处理的流程的例子的流程图。图18的处理在控制部41的控制下进行。
当模具温度异常预兆判定部55检测到模具的温度异常的预兆而压铸机7停止时，执行从红外线热象仪数据的收集到推理执行请求的发送为止的处理(步骤(以下，省略为S)1)。S1的处理与上述的C12～C16的处理对应。
接下来，模具温度异常度推理部54执行基于上述的推理模型的推理，模具温度异常预兆判定部55进行异常预兆判定，执行当前的判定ID的临时保存为止的处理(S2)。S2的处理与上述的C22～C29的处理对应。
然后，模具温度异常预兆判定部55判定模具的温度是否已变成正常温度(S3)。
若异常度在规定的值的范围内、在上述的例子中是0.0到小于0.6的值，则判定为模具的温度已变成正常温度，但当异常度未落入规定的值的范围时，模具的温度未变成正常温度，因此处理返回到S1。即，反复进行S1、S2的处理，直到模具的温度恢复到正常温度为止。
若异常度在规定的值的范围内、在上述的例子中为0.0至小于0.6的值，则假设模具的温度已变成正常温度，执行从红外线热象仪数据的收集到推理执行请求的发送的处理(S4)。S4的处理与S1的处理相同。即，假设模具已恢复到正常温度，执行上述的C12～C16。
在S4的处理后，模具温度异常预兆判定部55执行从推理执行到警告灯点亮的处理(S5)。S5的处理与上述的C21至C31的处理对应。
在S5中，模具温度异常预兆判定部55使用所取得的异常预兆判定规则与异常度，执行异常预兆判定。例如，若假设异常度为0.3，则根据图12的判定规则，符合“JudgeRule01”，基于判定ID的“JudgeRule01”，输出使警告灯5的颜色为蓝的控制信号。
模具温度异常预兆判定部55从上次判定临时保存部55a取得上次判定ID。由于上次铸造时的判定结果为警告(黄)，因此取得在预兆检测前保存的“JudgeRule02”。
另外，模具温度异常预兆判定部55对上次判定临时保存部55a登记当前的判定ID的“JudgeRule01”。
模具温度异常预兆判定部55向警告灯请求发送部56发送使蓝点亮的警告灯点亮请求。警告灯5受理蓝的点亮指示，使警告灯5的颜色为蓝而进行点亮。
接下来，模具温度异常预兆判定部55执行使停止中的压铸机再次运转的运转再次开始处理(S6)。
具体而言，模具温度异常预兆判定部55从机器控制规则保存部52取得机器控制规则。
模具温度异常预兆判定部55根据在上述的S4取得的上次判定ID(“JudgeRule02”)和当前的判定ID(“JudgeRule01”)，寻找适合的规则的记录。在图11中，第三个记录适合，作为机器控制而选择“运转再次开始”。模具温度异常预兆判定部55向机器动作请求发送部57发送机器控制(运转再次开始)。
机器动作请求发送部57向压铸机7的机器动作控制部8发送接收到的机器控制(运转再次开始)。机器动作控制部8基于接收到的机器控制(运转再次开始)，使压铸机7的运转再次开始。
即，在将使压铸机7停止的请求信号发送至压铸机7之后、模具温度异常度推理部54未检测出模具的温度异常的预兆的产生时，机器动作请求发送部57将使压铸机7再次运转的请求信号发送至压铸机7。
如以上那样，当检测出模具的温度异常的预兆时，通过警告灯5的颜色的变化使管理者获知模具的温度异常的预兆。
管理者能够采取通过观察热图像而在模具的表面的温度较高的部分散布脱模剂来使模具的表面温度降低等应对措施。
此外，当检测出模具的温度异常的预兆时，基于机器控制规则，压铸机7停止运转，防止了不合格品的产生。
而且，在压铸机暂时停止之后，当模具的温度返回到正常温度时，压铸机7自动地再次运转。
由此，可自动地防止不合格品的产生，并且现场管理者无需通过手动使压铸机7的运转再次开始，因此也可以不进行压铸机7的运转再次开始的管理。
5)推理时的关注区域中的梯度数据的可视化处理
然而，虽然能够在监视器6中显示模具的热图像，但也可以在发生了温度异常时，基于所生成的推理模型，使温度异常的状态显示于监视器6。
热图像使用颜色来显示热分布，但用户只要不是熟练的现场专家，则难以判断当成为何种热分布时容易产生不合格品、或着当成为何种热分布时不产生不合格品。
因此，在本实施方式中，生成使上述的推理模型的梯度数据可视化的图像，并重叠显示于热图像。
图19是表示梯度数据的可视化处理的流程的例子的流程图。
当现场管理者等用户从输入输出I/F(未图示)向模具温度自动控制装置3赋予规定的指示时，控制部41执行图19的处理。
首先，推理关注区域可视化处理部58将N张量的预处理数据作为输入，执行误差反向传播法，输出针对输入的推理关注数据组(S11)。关于误差反向传播法，参照了“Rumelhart,David E.；Hinton,Geoffrey E.,Williams,Ronald J.著，‘基于误差反向传播法的学习显示’，1986年10月8日，自然323(6088)”(日语：デビット·イー·ランメルハート、ジェフリー·イー·ヒントン、ロナルド·ジェイ·ウイリアムス著、「誤差逆伝播法による学習表示」)(Rumelhart,David E.；Hinton,Geoffrey E.,Williams,Ronald J.(8 October1986).“Learning representations by back-propagating errors”.Nature 323(6088))。
误差反向传播的处理按照预先设置的推理模型而执行。
推理关注数据组是通过误差反向传播法对N张量的预处理数据集合的全部计算梯度矢量，并将该计算出的梯度矢量排列而得的矩阵。
在此，构成梯度矢量的偏微分的值能够使用链式法则等来计算。链式法则是指如下关系式，即：在对合成有多个函数的合成函数进行微分时，其导数由各个导数的积给出。
图20是表示推理关注数据组的一个例子的图。示出了输入变量为n个(图像的纵像素数(m)×横像素数(k)×图像张数(N))的情况下的例子。用虚线表示的推理关注数据组的各行的梯度矢量是根据每次铸造的热图像数据集合计算出的偏微分值。
具体而言，第1行表示第K次铸造时的梯度矢量，第2行表示第(K+1)次铸造时的梯度矢量，第3行表示第(K+2)次铸造时的梯度矢量，第L行表示第(K+L)次铸造时的梯度矢量。
当用户指示用于可视化处理的N张量的预处理数据时，从图20所示的数据中选择对应的N张量的推理关注数据组。
推理关注区域可视化处理部58执行将推理关注数据组的各梯度矢量的值转换为像素值的处理，并作为推理关注图像数据而输出(S12)。即，推理关注数据组的各梯度矢量被归一化为取绝对值后的0～255的值，并被图像数据化。
推理关注区域可视化处理部58根据N张量的推理关注数据组制作推理关注区域平均图像数据(S13)。
推理关注区域可视化处理部58以数据为单位，输出进行了与预处理数据对应的热图像数据的N张热图像和在S13中制作的平均图像数据的平均图像的合成后的推理关注区域图像数据(S14)。若为上述的例，则输出重叠有3张热图像与平均图像的推理关注区域图像的数据。
另外，N也可以为1，在该情况下，在S14中，将1张热图像与在S12中转换后的图像进行合成。
推理关注区域可视化处理部58向模具温度监视器显示处理部59供给推理关注区域图像数据，可视化后的梯度数据与热图像被重叠显示于监视器6的画面上(S15)。由此，可视化后的梯度数据能够表示热图像上的每个区域的误差分布。
如以上那样，推理关注区域可视化处理部58与模具温度监视器显示处理部59构成可视化处理部，该可视化处理部进行用于使关于推理模型的各层的规定参数的、所指定的热图像的梯度矢量可视化而显示于监视器6上的处理。
图21是表示显示于监视器6的可视化后的梯度数据的显示例的图。
在图21中，用虚线表示的区域Vi是将梯度矢量按每个热图像的区域进行了图像化而得到的图像(以下，称为梯度矢量图像)，因此用户能够根据重叠于热图像上的梯度矢量图像的模样的状态直观地获知模具的温度状态。
由此，用户能够将显示于监视器6的、多个异常时的梯度矢量图像与多个正常时的梯度矢量图像进行比较，因此能够通过在异常时以及正常时的判定中观察梯度矢量图像，进行模具的温度的正常·异常的判定、予知等。
另外，用户还能够期待根据异常时的梯度矢量图像，进行对模具设计的反馈。
如上述那样，例如，脱模剂存在每次不均匀地散布的情况，因此热蓄积的部位也不会始终在相同的场所产生。因此，也存在难以制订基于在精准位置(pinpoint)处的脱模剂散布的冷却对策的问题。但是，通过对于上述那样的热蓄积的预兆部位也进行推定并可视化，用户能够用眼睛判断检测出热蓄积的预兆的部位，因此能够进行在精准位置处的脱模剂散布，能够期待模具的冷却也被加速，不合格数也进一步减少。
以往，由专家进行的红外线热象仪图像分析是人为的方法，因此难以广泛应用于多数工厂以及多数产品。
但是，根据上述的实施方式，与以往的现场专家同样，能够根据模具的时间序列数据(热图像)自动检测热蓄积的产生的预兆。
而且，能够实现在检测出热蓄积预兆后、到模具返回到正常温度为止，使压铸机临时停止并再次开始的自动控制。
另外，也能够推断热蓄积的预兆部位，并进行可视化。
如以上那样，根据本实施方式，能够提供一种能够根据红外线热象仪图像来检测模具的温度异常的预兆的模具温度异常预兆检测装置以及存储介质。
另外，在上述的实施方式中，对模具为压铸机7中所使用的模具的例子进行了说明，但上述的实施方式也能够应用于注射成型机中所使用的模具。
另外，执行以上说明的动作的程序的整体或一部分，作为计算机程序产品，被记录或者存储于软盘、CD－ROM等可移动介质、硬盘等存储介质中。该程序由计算机读取而执行动作的全部或一部分。或者，能够经由通信网络流通或提供该程序的整体或一部分。使用者经由通信网络下载该程序并安装到计算机中、或者从记录介质安装到计算机中，从而能够容易地实现上述的模具温度异常预兆检测装置。
对本发明的几个实施方式进行了说明，但这些实施方式是作为例子而示出的，并不意图限定发明的范围。这些新的实施方式能够以其他各种方式来实施，在不脱离发明的主旨的范围内，能够进行各种省略、替换、变更。这些实施方式及其变形包含在发明的范围及主旨中，并且包含在权利要求书所记载的发明及其等价的范围内。
本申请是将2017年11月6日在日本提出的特愿2017－213994号作为优先权主张的基础而提出申请的，上述的公开内容被引用在本申请说明书、权利要求书中。

Claims (9)

1.一种模具温度异常预兆检测装置，具有：
模型生成部，基于以规定的间隔取得的模具的多个热图像数据、以及与所述多个热图像数据建立了关联的教导数据，将从所述多个热图像数据之中提取到的连续的规定数量的时间序列图像数据作为一个样本数据进行学习，生成用于检测所述模具的温度异常的预兆的推理模型，所述推理模型是包含输入层、隐藏层及输出层的神经网络型的推理模型；
推理执行部，基于所述模具的所述规定数量的时间序列图像数据，使用所述推理模型，来检测所述规定数量后的所述模具的所述温度异常的预兆的产生；
信息输出部，在所述推理执行部检测出所述模具的所述温度异常的预兆的产生时，输出规定的信息；
可视化处理部，进行如下处理：通过误差反向传播法针对被从所述规定数量的时间序列图像数据中指定出的时间序列图像数据的各像素，计算梯度矢量，将计算出的所述梯度矢量的值转换为规定的像素值的范围内的像素值，并将转换后的所述像素值重叠于所指定的所述时间序列图像数据上，从而使所指定的所述时间序列图像数据的梯度矢量可视化而显示于监视器上；以及
控制部，在所述推理执行部检测到所述规定数量后的所述模具的所述温度异常的预兆的产生时，停止所述模具的制造，并继续所述模具的热图像数据的取得和所述温度异常的预兆的检测，在所述推理执行部不再检测到所述温度异常的预兆的产生时，使所述信息输出部输出表示该意思的信息，进而再次运转所述模具的制造。
2.如权利要求1所述的模具温度异常预兆检测装置，其中，
所述模型生成部通过基于深度学习的学习而进行所述推理模型的生成。
3.如权利要求1所述的模具温度异常预兆检测装置，其中，
所述信息输出部向告知部输出所述规定的信息，该告知部告知所述温度异常的预兆的产生。
4.如权利要求3所述的模具温度异常预兆检测装置，其中，
所述告知部是警告灯，
所述信息输出部是对所述警告灯进行点亮指示以使该警告灯以规定的颜色点亮的请求发送部。
5.如权利要求1所述的模具温度异常预兆检测装置，其中，
所述信息输出部是将对于制造装置的动作控制的请求信号发送至所述制造装置的请求发送部，所述制造装置使用所述模具来制造产品。
6.如权利要求5所述的模具温度异常预兆检测装置，其中，
在所述推理执行部检测出所述模具的所述温度异常的预兆的产生时，所述请求发送部将使所述制造装置停止的请求信号发送至所述制造装置。
7.如权利要求6所述的模具温度异常预兆检测装置，其中，
在将使所述制造装置停止的请求信号发送至所述制造装置之后、所述推理执行部未检测出所述模具的所述温度异常的预兆的产生时，所述请求发送部将使所述制造装置再次运转的请求信号发送至所述制造装置。
8.一种存储介质，能够被计算机读取，记录有进行如下处理的程序：
基于以规定的间隔取得的模具的多个热图像数据以及与所述多个热图像数据建立了关联的教导数据、将从所述多个热图像数据之中提取到的连续的规定数量的时间序列图像数据作为一个样本数据进行学习而生成用于检测所述模具的温度异常的预兆的推理模型，所述推理模型是包含输入层、隐藏层及输出层的神经网络型的推理模型；
基于所述模具的所述规定数量的时间序列图像数据，使用所述推理模型，来检测所述规定数量后的所述模具的所述温度异常的预兆的产生；
当检测出所述模具的所述温度异常的预兆的产生时输出规定的信息；
通过误差反向传播法针对被从所述规定数量的时间序列图像数据中指定出的时间序列图像数据的各像素，计算梯度矢量，将计算出的所述梯度矢量的值转换为规定的像素值的范围内的像素值，并将转换后的所述像素值重叠于所指定的所述时间序列图像数据上，从而使所指定的所述时间序列图像数据的梯度矢量可视化而显示于监视器；以及
在检测到所述规定数量后的所述模具的所述温度异常的预兆的产生时，停止所述模具的制造，并继续所述模具的热图像数据的取得和所述温度异常的预兆的检测，在不再检测到所述温度异常的预兆的产生时，输出表示该意思的信息，进而再次运转所述模具的制造。
9.一种模具温度异常预兆检测方法，其中，
基于以规定的间隔取得的模具的多个热图像数据、以及与所述多个热图像数据建立了关联的教导数据，将从所述多个热图像数据之中提取到的连续的规定数量的时间序列图像数据作为一个样本数据进行学习，生成用于检测所述模具的温度异常的预兆的推理模型，所述推理模型是包含输入层、隐藏层及输出层的神经网络型的推理模型，
基于所述模具的所述规定数量的时间序列图像数据，使用所述推理模型，来检测所述规定数量后的所述模具的所述温度异常的预兆的产生，当检测出所述模具的所述温度异常的预兆的产生时，输出规定的信息，
通过误差反向传播法针对被从所述规定数量的时间序列图像数据中指定出的时间序列图像数据的各像素，计算梯度矢量，将计算出的所述梯度矢量的值转换为规定的像素值的范围内的像素值，并将转换后的所述像素值重叠于所指定的所述时间序列图像数据上，从而使所指定的所述时间序列图像数据的梯度矢量可视化而显示于监视器，
在检测到所述规定数量后的所述模具的所述温度异常的预兆的产生时，停止所述模具的制造，并继续所述模具的热图像数据的取得和所述温度异常的预兆的检测，在不再检测到所述温度异常的预兆的产生时，输出表示该意思的信息，进而再次运转所述模具的制造。
CN201880071615.XA 2017-11-06 2018-03-27 模具温度异常预兆检测装置以及存储介质 Active CN111372704B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-213994 2017-11-06
JP2017213994A JP6591509B2 (ja) 2017-11-06 2017-11-06 金型温度異常予兆検知装置及びプログラム
PCT/JP2018/012544 WO2019087427A1 (ja) 2017-11-06 2018-03-27 金型温度異常予兆検知装置及び記憶媒体

Publications (2)

Publication Number Publication Date
CN111372704A CN111372704A (zh) 2020-07-03
CN111372704B true CN111372704B (zh) 2022-10-28

Family

ID=66331563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880071615.XA Active CN111372704B (zh) 2017-11-06 2018-03-27 模具温度异常预兆检测装置以及存储介质

Country Status (6)

Country Link
US (1) US11501509B2 (zh)
EP (1) EP3708274A4 (zh)
JP (1) JP6591509B2 (zh)
KR (1) KR102363152B1 (zh)
CN (1) CN111372704B (zh)
WO (1) WO2019087427A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020190956A (ja) * 2019-05-22 2020-11-26 株式会社東芝 製造条件出力装置、品質管理システム及びプログラム
JP7277272B2 (ja) * 2019-06-11 2023-05-18 ファナック株式会社 機械学習装置、予測装置、及び制御装置
JP2021005846A (ja) * 2019-06-27 2021-01-14 オリンパス株式会社 積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路
JP2021026505A (ja) * 2019-08-05 2021-02-22 ギリア株式会社 情報処理装置および情報処理用プログラム
JP6716185B1 (ja) * 2019-09-05 2020-07-01 株式会社ソディック 射出成形機の画像記録装置
JP7345976B2 (ja) * 2019-09-12 2023-09-19 ジヤトコ株式会社 鋳造金型用の温度測定装置
KR102298755B1 (ko) * 2019-11-29 2021-09-07 한국생산기술연구원 딥러닝을 이용한 다이캐스팅 공정 관리 시스템
KR102144576B1 (ko) * 2020-03-16 2020-08-13 (주)사이버테크프랜드 사출 제조 제어 시스템
JP7483436B2 (ja) 2020-03-23 2024-05-15 住友重機械工業株式会社 射出成形機及びステータス決定装置
KR102417415B1 (ko) 2020-11-06 2022-07-06 한국생산기술연구원 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템
WO2022210424A1 (ja) * 2021-03-31 2022-10-06 住友重機械工業株式会社 品質予測装置及びその方法、プログラム並びに記録媒体
KR102400577B1 (ko) * 2021-12-14 2022-05-23 (주)대양아이앤디 냉각장치가 포함된 사출금형
CN115446276A (zh) * 2022-10-05 2022-12-09 大连理工大学 基于卷积神经网络识别结晶器铜板v型黏结特征的连铸漏钢预警方法
KR102574092B1 (ko) 2023-03-14 2023-09-04 주식회사 아이투프럼 인공지능 기반 온도 및 진동 센서 데이터를 활용한 금형 이상 여부 판단 방법, 장치 및 시스템
CN116341995A (zh) * 2023-05-30 2023-06-27 深圳市鼎盛精密工业有限公司 一种模具生命周期管理方法、系统及电子设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5637287B2 (zh) 1973-08-08 1981-08-29
JPS6059375B2 (ja) 1978-07-31 1985-12-25 松下電工株式会社 簡易水洗便器のハンドル構造
JP2718800B2 (ja) * 1990-01-25 1998-02-25 富士通株式会社 連続鋳造のブレークアウト予知処理方式
JPH0477219A (ja) * 1990-07-19 1992-03-11 Toshiba Corp 成形支援エキスパートシステム
JPH08267528A (ja) * 1995-03-31 1996-10-15 Seikosha Co Ltd 金型監視装置
JP3083757B2 (ja) * 1996-03-28 2000-09-04 株式会社日本製鋼所 樹脂可塑化用シリンダの温度制御方法および温度制御装置
EP1689573A4 (en) * 2003-11-20 2011-02-09 William A Nicol SENSOR SYSTEM AND METHOD THEREFOR
JP5487474B2 (ja) 2006-02-28 2014-05-07 昭和電工株式会社 熱間鍛造による鍛造方法
JP2008040647A (ja) * 2006-08-03 2008-02-21 Meiwa E Tec:Kk 温度制御装置
JP5301310B2 (ja) * 2009-02-17 2013-09-25 株式会社日立製作所 異常検知方法及び異常検知システム
CN102147290A (zh) * 2011-01-14 2011-08-10 北京广微积电科技有限公司 红外成像温度监测方法和系统
JP5808605B2 (ja) * 2011-08-17 2015-11-10 株式会社日立製作所 異常検知・診断方法、および異常検知・診断システム
JP5895672B2 (ja) * 2012-04-03 2016-03-30 マツダ株式会社 金型温度監視装置及びその監視方法
JP5917340B2 (ja) * 2012-08-29 2016-05-11 住友重機械工業株式会社 射出成形機
JP5800289B2 (ja) * 2013-02-26 2015-10-28 村田機械株式会社 型締装置の管理システム
CN103240832B (zh) * 2013-05-23 2015-05-13 无锡新开河储罐有限公司 滚塑工艺中模具温度的自动控制方法
CN104809722B (zh) * 2015-04-13 2018-09-28 国家电网公司 一种基于红外热像的电气设备故障诊断方法
CN106980729B (zh) * 2015-07-24 2018-08-17 安徽工业大学 一种基于混合模型的连铸漏钢预报方法
JP6059375B1 (ja) 2016-02-09 2017-01-11 ファナック株式会社 生産制御システムおよび統合生産制御システム
JP6666795B2 (ja) 2016-05-31 2020-03-18 株式会社小松製作所 作業車両
JP2018124990A (ja) * 2017-01-31 2018-08-09 キヤノン株式会社 モデル生成装置、評価装置、モデル生成方法、評価方法及びプログラム
CN107067026A (zh) * 2017-02-16 2017-08-18 国网江苏省电力公司电力科学研究院 基于深度神经网络的电力设备故障检测方法
CN107020366A (zh) * 2017-04-21 2017-08-08 苏州春兴精工股份有限公司 模具温度采集方法

Also Published As

Publication number Publication date
US11501509B2 (en) 2022-11-15
WO2019087427A1 (ja) 2019-05-09
EP3708274A4 (en) 2021-08-18
CN111372704A (zh) 2020-07-03
KR20200065037A (ko) 2020-06-08
JP2019084556A (ja) 2019-06-06
EP3708274A1 (en) 2020-09-16
KR102363152B1 (ko) 2022-02-15
JP6591509B2 (ja) 2019-10-16
US20200257916A1 (en) 2020-08-13

Similar Documents

Publication Publication Date Title
CN111372704B (zh) 模具温度异常预兆检测装置以及存储介质
JP7265318B2 (ja) 機械学習器により成形条件を調整する射出成形機システム
JP7021052B2 (ja) 製品状態推定装置
JP7297831B2 (ja) 製造条件出力装置、品質管理システム及びプログラム
US20220318667A1 (en) Intelligent real-time defect prediction, detection, and ai driven automated correction solution
US20200230884A1 (en) Method and apparatus for monitoring a quality of an object of a 3d-print-job series of identical objects
CN113466236A (zh) 检查结果显示装置及记录介质
KR102524151B1 (ko) 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법
JP2020140365A (ja) 製品品質不良予測システム
US20220397892A1 (en) Prediction system, prediction method, and non-transitory storage medium
JP2022514584A (ja) 検査方法および検査システム
US11758310B2 (en) Management system and calculation method
CN116724224A (zh) 加工面判定装置、加工面判定程序、加工面判定方法、加工系统、推论装置及机器学习装置
CN114623935A (zh) 基于红外热成像仪成像数据的钢包准投准停模型应用方法
JP2021114257A (ja) 品質予測装置、品質予測方法、品質予測プログラム、学習装置、および学習済みモデル
JP6898382B2 (ja) 射出成形機稼動管理に対する支援方法
JP7337297B1 (ja) 連続鋳造システム及び湯面推定方法
WO2023145549A1 (ja) 射出成形方法、成形条件導出装置、およびコンピュータ読み込み可能な記憶媒体
JP7450517B2 (ja) 加工面判定装置、加工面判定プログラム、加工面判定方法、及び、加工システム
TW202144588A (zh) 高爐之爐況學習方法、爐況學習裝置、異常檢測方法、異常檢測裝置及操作方法
JP2021162330A (ja) 表示制御装置及び制御プログラム
KR20230064873A (ko) 열화상 카메라를 활용한 사출 금형 온도 분포 검사 시스템
JP2021162329A (ja) 表示制御装置及び制御プログラム
Cashion et al. Part quality assessment using convolution neural networks in high pressure die casting
JPS6054256A (ja) 連続鋳造機の異常診断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant