JP2022107954A - Die management system - Google Patents

Die management system Download PDF

Info

Publication number
JP2022107954A
JP2022107954A JP2021002680A JP2021002680A JP2022107954A JP 2022107954 A JP2022107954 A JP 2022107954A JP 2021002680 A JP2021002680 A JP 2021002680A JP 2021002680 A JP2021002680 A JP 2021002680A JP 2022107954 A JP2022107954 A JP 2022107954A
Authority
JP
Japan
Prior art keywords
contamination
mold
level
unit
management system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021002680A
Other languages
Japanese (ja)
Other versions
JP7189633B2 (en
Inventor
義敏 仲田
Yoshitoshi Nakata
大輔 今村
Daisuke Imamura
直輝 村田
Naoki Murata
新 榊原
Arata Sakakibara
敬介 志田
Keisuke Shida
友彰 山崎
Tomoaki Yamazaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KOJIMA PLASTICS KK
Original Assignee
KOJIMA PLASTICS KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KOJIMA PLASTICS KK filed Critical KOJIMA PLASTICS KK
Priority to JP2021002680A priority Critical patent/JP7189633B2/en
Publication of JP2022107954A publication Critical patent/JP2022107954A/en
Application granted granted Critical
Publication of JP7189633B2 publication Critical patent/JP7189633B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

To make it possible to determine whether cleaning of a die is necessary or not while suppressing degrading of a through-put in a molding process.SOLUTION: A die management system includes an imaging unit 40 and a level estimation unit 30. The imaging unit 40 images a surface of a molded product molded with the die. The level estimation unit 30 includes: an input layer to which a product image being an imaged image of the molded product is input; and an output layer which outputs, according to the inputted product image, a degree of contamination of the die used for molding the molded product being an origin of the product image.SELECTED DRAWING: Figure 3

Description

本明細書では、成形用の金型の洗浄要否を判定する金型管理システムが開示される。 This specification discloses a mold management system that determines whether or not a mold for molding needs to be cleaned.

従来から、製品の良否判定や異常判定を、画像認識を用いて行う管理システムが知られている。例えば特許文献1では、電線の端子圧着部の撮像画像に基づいて良否判定を行っている。この良否判定には、ディープラーニング等の機械学習を用いたニューラルネットワークが用いられる。 2. Description of the Related Art Conventionally, there has been known a management system that uses image recognition to determine the quality or abnormality of a product. For example, in Japanese Patent Laid-Open No. 2002-100000, quality determination is performed based on a captured image of a terminal crimping portion of an electric wire. A neural network using machine learning such as deep learning is used for this pass/fail judgment.

特開2020-52044号公報JP 2020-52044 A

ところで、管理対象物の画像を直接撮像することが困難な場合がある。例えば成型用の金型の洗浄要否を判定する際に、金型の加工面を撮像しようとすると、例えば雄型金型と雌型金型が離隔されたときを狙って加工面を撮像する必要がある。しかしながらそのような場合であっても、この離隔距離は、成型品が取り出せれば足りることから、加工面の全体を撮像するには十分でない場合がある。また、成型品の全体を撮像できる程度に雄型金型と雌型金型を離隔させ、さらにその間に撮像器を差し入れ、しかる後に加工面を撮像する等のプロセスを設けると、成形工程のスループット(単位時間当たりの処理量)が低下する。 By the way, there are cases where it is difficult to directly capture an image of an object to be managed. For example, when trying to image the machined surface of the mold when determining whether or not cleaning of the mold for molding is necessary, the machined surface is imaged, for example, when the male mold and female mold are separated. There is a need. However, even in such a case, this separation distance is sufficient if the molded product can be taken out, and may not be sufficient to image the entire processed surface. In addition, if the male mold and the female mold are separated to the extent that the entire molded product can be imaged, an imaging device is inserted between them, and then a process such as imaging the processed surface is provided, the throughput of the molding process can be improved. (Processing amount per unit time) is reduced.

そこで本明細書では、成形工程のスループットの低下を抑制しつつ、金型の洗浄要否を判定可能な、金型管理システムが開示される。 Therefore, the present specification discloses a mold management system capable of determining whether or not cleaning of the mold is necessary while suppressing a decrease in the throughput of the molding process.

本明細書では、金型管理システムが開示される。このシステムは、撮像部、及び推定部を備える。撮像部は、金型により成形された成形製品の表面を撮像する。推定部は、成形製品の撮像画像である製品画像が入力される入力層と、入力された製品画像に応じて、当該製品画像の元となる成形製品の成形に用いられた金型の汚れ度を出力する出力層を備える。 Disclosed herein is a mold management system. This system includes an imaging unit and an estimating unit. The imaging unit images the surface of the molded product molded by the mold. The estimating unit stores an input layer to which a product image, which is a photographed image of a molded product, is input, and the contamination degree of the mold used for molding the molded product that is the basis of the product image, according to the input product image. It has an output layer that outputs

上記構成によれば、金型の表面状態が転写された成型製品の表面を、所望のアングルで撮像可能となり、金型の洗浄要否を精度よく判定可能となる。また、成型後ラインを流れる成型製品を撮像すればよいので、成形工程のスループットの低下が抑制される。 According to the above configuration, it is possible to image the surface of the molded product to which the surface state of the mold is transferred at a desired angle, and it is possible to accurately determine whether or not the mold needs to be cleaned. Moreover, since it is only necessary to image the molded product flowing through the line after molding, the throughput of the molding process is prevented from being lowered.

また上記構成において、金型管理システムは、洗浄作業設定部を備えてもよい。洗浄作業設定部は、複数の製品画像に基づく汚れ度を時系列に並べて当該汚れ度の進行状況を求めるとともに、汚れ度の進行状況と、金型が用いられる成形工程の前後工程に基づいて、金型の洗浄工程を設定する。 Further, in the above configuration, the mold management system may include a cleaning work setting section. The cleaning work setting unit arranges the degree of contamination based on a plurality of product images in chronological order to obtain the progress of the degree of contamination, and based on the progress of the degree of contamination and the processes before and after the molding process in which the mold is used, Set the mold cleaning process.

上記構成によれば、成型工程とその前工程、及び、成形工程とその後工程との間に待機時間を生じさせないようなタイミングで、洗浄要と判定される前段階における洗浄(前倒し洗浄)が可能となる。 According to the above configuration, it is possible to perform cleaning (advance cleaning) in the previous stage when it is determined that cleaning is necessary at a timing that does not cause a waiting time between the molding process and the previous process, and between the molding process and the subsequent process. becomes.

また上記構成において、洗浄作業設定部は、汚れ度の進行状況に基づいて、汚れ度が洗浄要と判定される閾値汚れ度に到達するまでの成形回数である残余回数を推定するとともに、推定された残余回数に到達するまでに係る時間内における、前後工程の工程計画に設定された休止期間に少なくとも一部重複するように、金型の洗浄工程を設定してもよい。 Further, in the above configuration, the cleaning work setting unit estimates, based on the progress of the degree of contamination, the remaining number of times, which is the number of times of molding until the degree of contamination reaches the threshold contamination degree at which it is determined that cleaning is necessary. The mold cleaning process may be set so as to at least partially overlap with the pause periods set in the process plans of the preceding and succeeding processes within the time required to reach the remaining number of times.

上記構成によれば、成形工程の前工程または後工程の休止期間と同じタイミングで金型洗浄を行うことができ、スループットの低下を抑制可能となる。 According to the above configuration, the mold cleaning can be performed at the same timing as the pause period of the pre-process or post-process of the molding process, and it is possible to suppress a decrease in throughput.

また上記構成において、推定部の出力層より出力された直近の汚れ度と、出力層より出力された汚れ度の履歴とを並列して表示部に表示させる表示制御部が備えられてよい。 Further, in the above configuration, a display control unit may be provided that causes the display unit to display the most recent contamination degree output from the output layer of the estimation unit and the history of the contamination degree output from the output layer in parallel.

成形製品の表面に汚れが生じる場合、金型加工面の汚れが転写される場合と、成形工程におけるガス焼け等の作業不良とに原因を求めることが出来る。後者のような作業不良が突発的に発生し、これに基づいて高い汚れ度が判定されると、金型の加工面は清浄であるにも関わらず洗浄要と誤判定されるおそれがある。そこで上記構成のように、汚れ度の履歴が表示されることで、汚れの発生が突発的なものであるか継続的なものであるかを確認可能となり、汚れの原因推定が可能となる。 When the surface of the molded product becomes dirty, the cause can be found in the case where the dirt is transferred to the surface of the mold processed, and the work failure such as gas burning in the molding process. If an operation failure such as the latter occurs suddenly and a high degree of contamination is determined on the basis of this, there is a risk of an erroneous determination that cleaning is required even though the machined surface of the mold is clean. Therefore, by displaying the history of the degree of contamination as in the above configuration, it is possible to confirm whether the occurrence of contamination is sudden or continuous, and to estimate the cause of the contamination.

また上記構成において、推定部は、製品画像を入力データとし汚れ度を出力データとする教師データにより学習された画像認識用のニューラルネットワークを備えていてよい。 In the above configuration, the estimating section may include a neural network for image recognition that has been trained using teacher data in which the product image is input data and the degree of contamination is output data.

上記構成によれば、通常の成形工程で得られる画像を教師データとして用いることができ、学習用の画像を別途用意する手間を省くことが出来る。 According to the above configuration, an image obtained in a normal molding process can be used as teacher data, and the trouble of separately preparing an image for learning can be saved.

また上記構成において、推定部は、加工面が同型の複数の金型別の教師データにより学習されてよい。この場合、出力層から汚れ度が複数の金型別に出力される。 Further, in the above configuration, the estimating unit may learn from teaching data for each of a plurality of molds having the same type of machined surface. In this case, the contamination degree is output for each of the plurality of molds from the output layer.

上記構成によれば、複数の同型の金型がそれぞれ判別可能となり、複数の同型の金型の中から洗浄を要する金型が精度よく抽出可能となる。 According to the above configuration, a plurality of molds of the same type can be distinguished from each other, and a mold requiring cleaning can be accurately extracted from the plurality of molds of the same type.

また上記構成において、推定部の出力層は、それぞれの汚れ度に対する確度を出力してもよい。この場合、金型管理システムは、参照データ記憶部及び類似度算出部を備える。参照データ記憶部は、教師データに含まれる製品画像を推定部の入力層に入力させたときのそれぞれの汚れ度の確度の分布を示す確度分布が記憶される。類似度算出部は、直近の製品画像に基づく確度分布に対する、参照データ記憶部に記憶された確度分布の類似度を、教師データの複数の製品画像について求めるとともに、求められた類似度の分布を、教師データの出力データである汚れ度別に求める。 Further, in the above configuration, the output layer of the estimation unit may output the accuracy for each degree of contamination. In this case, the mold management system includes a reference data storage section and a similarity calculation section. The reference data storage unit stores a probability distribution indicating the probability distribution of each degree of contamination when the product image included in the training data is input to the input layer of the estimation unit. The similarity calculation unit obtains the similarity of the probability distribution stored in the reference data storage unit with respect to the probability distribution based on the most recent product image for a plurality of product images of the teacher data, and calculates the distribution of the obtained similarity. , is obtained for each degree of contamination, which is the output data of the teacher data.

一般的に、ニューラルネットワークでは、出力層における複数のクラス(ここでは汚れ度)のうち、最も確度の高いクラスが正解として出力される。上記構成では、出力層による各クラスの確度の分布が用いられる。さらに、直近の製品画像に基づく確度分布と、教師データの各製品画像をニューラルネットワークに入力したときの確度分布とを比較した類似度が求められ、さらにその類似度の分布が、教師データの正解データ(出力データ)であるクラス(汚れ度)別に求められる。例えば、高い類似度を高頻度に持つクラスが、直近の製品画像に対応するクラスであると推定可能となる。 Generally, in a neural network, among a plurality of classes (dirtyness here) in the output layer, the class with the highest accuracy is output as the correct answer. In the above configuration, the probability distribution of each class by the output layer is used. Furthermore, the similarity is obtained by comparing the probability distribution based on the most recent product image and the probability distribution when each product image of the training data is input to the neural network. It is obtained for each class (contamination degree) that is data (output data). For example, it is possible to presume that a class that frequently has a high degree of similarity is the class that corresponds to the most recent product image.

本明細書で開示される金型管理システムによれば、成形工程のスループットの低下を抑制しつつ、金型の洗浄要否を判定可能となる。 According to the mold management system disclosed in this specification, it is possible to determine whether or not the mold needs to be cleaned while suppressing a decrease in the throughput of the molding process.

本実施形態に係る金型管理システムのハードウェア構成を例示する図である。It is a figure which illustrates the hardware constitutions of the metal mold|die management system which concerns on this embodiment. 本実施形態に係る金型管理システムの機能ブロックを例示する図である。It is a figure which illustrates the functional block of the metal mold|die management system which concerns on this embodiment. レベル推定部のニューラルネットワーク構成を例示する図である。FIG. 4 is a diagram illustrating a neural network configuration of a level estimator; レベル推定部を学習させる教師データを例示する図である。FIG. 4 is a diagram illustrating teacher data for learning a level estimation unit; 複数の同型の金型による成形製品を区別可能となっている画像認識の例を示す図である。FIG. 10 is a diagram showing an example of image recognition capable of distinguishing products molded by a plurality of molds of the same type; レベル推定部のニューラルネットワーク構成の別例を示す図である。FIG. 10 is a diagram showing another example of the neural network configuration of the level estimation unit; レベル推定部によるレベル(汚れ度)の履歴グラフを例示する図(1/2)である。FIG. 11 is a diagram (1/2) illustrating a history graph of levels (dirtyness) by the level estimating unit; レベル推定部によるレベル(汚れ度)の履歴グラフを例示する図(2/2)である。FIG. 11 is a diagram (2/2) exemplifying a history graph of levels (contamination degrees) by the level estimating unit; レベル推定部の出力層の確度分布に関する類似度の算出について説明する図である。FIG. 10 is a diagram illustrating calculation of a similarity regarding the probability distribution of the output layer of the level estimator; 確度分布の類似度の分布を、レベル別に表した例を示す図である。FIG. 10 is a diagram showing an example of distribution of similarity of probability distributions for each level; 金型の前倒し洗浄のスケジュール設定について説明する図である。It is a figure explaining the schedule setting of forward cleaning of a metal mold|die.

<全体構成>
図1に、本実施形態に係る金型管理システムが例示される。後述されるように、当該システムは、インサート成形用の金型の汚れ度レベルを出力する。この汚れ度レベルの出力に当たり、当該金型によって成形された製品である、成形製品の撮像画像が用いられる。つまり本実施形態に係る金型管理システムでは、金型の加工面の汚れが転写された成形製品の表面が監視され、成形製品の表面の汚れ度に応じて金型の洗浄要否が判断される。この金型管理システムは、金型管理装置10及び撮像器40(撮像部)を含んで構成される。
<Overall composition>
FIG. 1 illustrates a mold management system according to this embodiment. As described below, the system outputs the contamination level of the insert mold. A photographed image of a molded product, which is a product molded by the mold, is used to output the contamination level. In other words, in the mold management system according to the present embodiment, the surface of the molded product to which the dirt on the processed surface of the mold is transferred is monitored, and the need for cleaning the mold is determined according to the degree of dirt on the surface of the molded product. be. This mold management system includes a mold management device 10 and an imaging device 40 (imaging unit).

撮像器40(撮像部)は例えばインサート成形の作業現場に設置されたカメラデバイスであり、インサート成形とその後工程との間の搬送ライン上に設けられる。搬送ラインには、図示しない位置決め用のピンやくぼみ等が設けられており、搬送ラインを流れる複数の成形製品を同一角度で撮像可能となっている。撮像器40は、例えばCMOSやCCD等の撮像デバイスを含んで構成され、インサート成形装置により製造された、言い換えると金型により成形された、成形製品の表面を撮像する。 The imaging device 40 (imaging unit) is, for example, a camera device installed at an insert molding work site, and is provided on a transfer line between insert molding and subsequent processes. The conveying line is provided with positioning pins and depressions (not shown), so that a plurality of molded products flowing along the conveying line can be imaged at the same angle. The imaging device 40 includes, for example, an imaging device such as CMOS or CCD, and images the surface of a molded product manufactured by an insert molding apparatus, in other words, molded by a mold.

金型管理装置10は、例えばコンピュータ機器から構成される。金型管理装置10は、演算装置のCPU11と、記憶装置としてのシステムメモリ12及びストレージ13を備える。ストレージ13は例えばハードディスクドライブ(HDD)やソリッドステートドライブ(SSD)等の非一過性の記憶装置であってよい。また金型管理装置10は、キーボードやマウス等の入力装置である入力部14と、撮像器40等の外部機器との情報の入出力を管理する入出力コントローラ15を備える。 The mold management apparatus 10 is composed of computer equipment, for example. The mold management apparatus 10 includes a CPU 11 as an arithmetic unit, and a system memory 12 and a storage 13 as storage devices. The storage 13 may be a non-transitory storage device such as a hard disk drive (HDD) or solid state drive (SSD). The mold management apparatus 10 also includes an input unit 14 which is an input device such as a keyboard and a mouse, and an input/output controller 15 which manages input/output of information to/from an external device such as an imaging device 40 .

さらに金型管理装置10は、撮像器40が撮像した撮像画像を処理する画像処理ユニットとして、GPU16(Graphics Processing Unit)、フレームメモリ17、RAMDAC18(Random Access Memory Digital-to-Analog Converter)、及び表示制御部19を備える。加えて金型管理装置10は、処理済みの画像を表示する表示部20を備える。なお、金型管理装置10は、入力部14と表示部20とが一体となったタッチパネルディスプレイを備えていてもよい。 Furthermore, the mold management apparatus 10 includes a GPU 16 (Graphics Processing Unit), a frame memory 17, a RAMDAC 18 (Random Access Memory Digital-to-Analog Converter), and a display unit as image processing units for processing the captured image captured by the imaging device 40. A control unit 19 is provided. In addition, the mold management apparatus 10 includes a display section 20 that displays processed images. The mold management apparatus 10 may include a touch panel display in which the input section 14 and the display section 20 are integrated.

GPU16は、画像処理用の演算装置であり、後述する成形製品に基づく金型の汚れ度判定を行う際に主に稼働される。フレームメモリ17は、撮像器40により撮像されGPU16により演算処理された画像を記憶する記憶装置である。RAMDAC18は、フレームメモリ17に記憶された画像データを、アナログディスプレイである表示部20向けのアナログ信号に変換する。 The GPU 16 is an arithmetic unit for image processing, and is mainly operated when determining the degree of contamination of a mold based on a molded product, which will be described later. The frame memory 17 is a storage device that stores images captured by the imaging device 40 and processed by the GPU 16 . The RAMDAC 18 converts the image data stored in the frame memory 17 into analog signals for the display unit 20, which is an analog display.

表示制御部19は、GPU16、フレームメモリ17、及びRAMDAC18を通して処理された画像を表示部20に表示させる。例えば表示制御部19は、撮像器40による撮像画像と、汚れ度判定の根拠となった箇所を強調する強調表示(ヒートマップ)等を表示部20に重畳表示可能となっている。 The display control unit 19 causes the display unit 20 to display images processed through the GPU 16 , the frame memory 17 and the RAMDAC 18 . For example, the display control unit 19 can superimpose an image captured by the imaging device 40 on the display unit 20, such as a highlighted display (heat map) that emphasizes the location that is the basis for determining the degree of contamination.

また後述されるように、レベル推定部30(図2参照)により、入力された撮像画像に対して、金型の洗浄が必要な水準の汚れ度(レベル)が出力されると、これを受けて表示制御部19は表示部20に警告表示を出力させる。また、洗浄作業設定部33により算出された前倒し洗浄を含めた工程計画が、表示制御部19によって表示部20に表示される。 As will be described later, when the level estimating unit 30 (see FIG. 2) outputs the degree of contamination (level) that requires cleaning of the mold for the input captured image, it is received. Then, the display control unit 19 causes the display unit 20 to output a warning display. Further, the process plan including forward cleaning calculated by the cleaning work setting unit 33 is displayed on the display unit 20 by the display control unit 19 .

一方、レベル推定部30により金型の洗浄が不要な水準の汚れ度(レベル)と判定されると、これを受けて表示制御部19は、表示部20に合格表示を出力させる。 On the other hand, when the level estimating unit 30 determines that the level of contamination (level) does not require cleaning of the mold, the display control unit 19 receives this and causes the display unit 20 to output an acceptance display.

なお、図1では、金型管理装置10に表示部20が含まれているが、例えば入力部14及び表示部20以外の構成を含んだ金型管理装置10(コンピュータ)が、組立現場から離れたサーバ室に設置されてよい。また表示部20は、インサート成形の作業者が閲覧可能となるように、作業現場に設置されてもよい。 In FIG. 1, the mold management apparatus 10 includes the display unit 20. For example, the mold management apparatus 10 (computer) including components other than the input unit 14 and the display unit 20 is separated from the assembly site. It may be installed in a separate server room. Also, the display unit 20 may be installed at the work site so as to be viewable by an insert molding operator.

また、表示部20と入力部14が一体化されたタッチパネルディスプレイが作業現場に設置されてもよい。後述されるように、レベル推定部30により洗浄を要するレベルが出力されると、成形作業が一旦停止される。成形作業が再開されるように、タッチパネルディスプレイには、確認ボタンが表示されてもよい。 Also, a touch panel display in which the display unit 20 and the input unit 14 are integrated may be installed at the work site. As will be described later, when the level estimator 30 outputs a level requiring cleaning, the molding operation is temporarily stopped. A confirmation button may be displayed on the touch panel display so that the molding operation can be resumed.

成形作業が一旦停止されると、成型機にて成形作業を行う作業員が成形製品や金型の加工面を目視して、問題が無ければ、つまり金型の加工面の汚れが問題の無い水準であると判断したときに、確認ボタンが作業員により押下げ操作される。 Once the molding work is stopped, the worker who performs the molding work in the molding machine visually checks the processed surface of the molded product and the mold, and if there is no problem, that is, there is no problem with the contamination of the processed surface of the mold. When it is determined that the level is reached, the confirmation button is pushed down by the worker.

図2には、金型管理装置10の機能ブロックが、図1で示したハードウェアブロックと混合した形で例示される。この機能ブロック図は、例えばストレージ13に記憶されるか、または、DVD等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶されたプログラムを、CPU11が実行することで構成される。 FIG. 2 exemplifies the functional blocks of the mold management apparatus 10 in a form mixed with the hardware blocks shown in FIG. This functional block diagram is configured by the CPU 11 executing a program stored in, for example, the storage 13 or a non-transitory computer-readable storage medium such as a DVD.

金型管理装置10は、機能ブロックとして、レベル推定部30、累積値算出部31、類似度算出部32、洗浄作業設定部33、及び参照データ記憶部35を備える。なお、累積値算出部31、類似度算出部32、洗浄作業設定部33、及び参照データ記憶部35は、金型の汚れ度推定の精度を高めるために、レベル推定部30に対して付随的に設けられる。 The mold management apparatus 10 includes a level estimation unit 30, a cumulative value calculation unit 31, a similarity calculation unit 32, a cleaning work setting unit 33, and a reference data storage unit 35 as functional blocks. Note that the cumulative value calculation unit 31, the similarity calculation unit 32, the cleaning work setting unit 33, and the reference data storage unit 35 provide an additional provided in

<レベル推定部>
レベル推定部30は、例えば、入力層、隠れ層、及び出力層を備えた、画像認識用のニューラルネットワークを備える。入力層には、成形製品の撮像画像データである製品画像データが入力される。例えば入力層のノード数は、撮像画像の画素数と等しくてよい。
<Level estimation unit>
The level estimator 30 comprises, for example, a neural network for image recognition comprising an input layer, a hidden layer and an output layer. Product image data, which is captured image data of a molded product, is input to the input layer. For example, the number of nodes in the input layer may be equal to the number of pixels in the captured image.

出力層には複数のノードが設けられる。それぞれのノードに対して、汚れ度(レベル)を表すクラスの確度が出力される。確度は例えば百分率で出力される。さらに各ノードの確度の内、最も高い値の確度を持つクラス(レベル)が、入力された撮像画像に対応する汚れ度として出力される。 A plurality of nodes are provided in the output layer. For each node, the probability of the class representing the dirtiness (level) is output. The accuracy is output, for example, as a percentage. Further, the class (level) having the highest accuracy among the accuracy of each node is output as the contamination degree corresponding to the input captured image.

例えば図3に例示されるように、成形製品の表面の汚れ度合いに応じて汚れ度が複数段階に分けられる。この汚れ度は、製品画像の元となる成形製品の成形に用いられた金型の汚れ度を示す。例えば図3では、レベル1からレベル9まで、汚れ度が9段階に分けられる。ここでは、レベル1からレベル9に向かうほど、汚れが進んでいると評価される。 For example, as exemplified in FIG. 3, the degree of contamination is divided into a plurality of stages according to the degree of contamination on the surface of the molded product. This degree of contamination indicates the degree of contamination of the mold used for molding the molded product that is the basis of the product image. For example, in FIG. 3, the degree of contamination is divided into nine levels from level 1 to level 9. Here, it is evaluated that the degree of contamination progresses from level 1 to level 9.

隠れ層は、入力層と出力層の間に設けられる。入力層に撮像画像が含まれることから、レベル推定部30は、例えば、画像認識用の畳み込みニューラルネットワーク(CNN)を備え、隠れ層には、畳み込み層とプーリング層とが設けられる。 A hidden layer is provided between the input layer and the output layer. Since the captured image is included in the input layer, the level estimation unit 30 includes, for example, a convolutional neural network (CNN) for image recognition, and the hidden layer includes a convolution layer and a pooling layer.

図4には、ニューラルネットワークを備えるレベル推定部30の学習用の教師データが例示される。この例では、4500個の成形製品の撮像画像データが入力データとして用いられる。洗浄直後の金型で成形された成形製品をNo.1として、No.4500まで成形製品の表面が撮像される。金型の加工面に生じた汚れが成形製品の表面に転写され、No.1からNo.4500に至る過程で、当該表面に生じる汚れの面積は拡がっていく。例えばNo.4001からNo.4500までの成形製品の表面は、製品の外観検査で不良品と判定される可能性が高いものであって、金型の加工面の洗浄が必要となる。 FIG. 4 illustrates training teacher data for the level estimation unit 30 having a neural network. In this example, captured image data of 4500 molded products are used as input data. The molded product molded with the mold immediately after cleaning was designated as No. 1, No. Up to 4500 the surface of the molded product is imaged. Dirt generated on the working surface of the mold is transferred to the surface of the molded product, and No. 1 to No. In the process of reaching 4500, the area of contamination on the surface increases. For example, No. 4001 to No. The surfaces of molded products up to 4500 are highly likely to be judged as defective in the appearance inspection of the product, and cleaning of the working surface of the mold is required.

このような製品画像は、例えば成形後の後工程への移動時において、搬送ラインにて運ばれる成形製品の表面が撮像器40(撮像部)によって撮像される。これらの撮像画像は、通常のインサート成形工程で得られる画像であり、レベル推定部30への学習のために加工条件等を意図的に変更させることなく得られる。 As for such a product image, for example, when the product is moved to a post-process after molding, the surface of the molded product carried on the conveying line is imaged by the imaging device 40 (imaging unit). These captured images are images obtained in a normal insert molding process, and are obtained without intentionally changing processing conditions and the like for learning of the level estimating section 30 .

No.1からNo.4500までの成形製品の撮像画像、つまり製品画像は、500枚ごとに汚れ度のレベル別に分けられる。つまり入力データである製品画像No.1-No.500のそれぞれに対して、出力データ、つまり正解データとして汚れ度レベル1が与えられる。同様にして、製品画像No.501-No.1000のそれぞれに対して、レベル2が与えられ、製品画像No.1001-No.1500のそれぞれに対して、レベル3が与えられる。また、製品画像No.1501-No.2000のそれぞれに対して、レベル4が与えられ、製品画像No.2001-No.2500のそれぞれに対して、レベル5が与えられる。さらに製品画像No.2501-No.3000のそれぞれに対して、レベル6が与えられ、製品画像No.3001-No.3500のそれぞれに対して、レベル7が与えられる。最後に、製品画像No.3501-No.4000のそれぞれに対して、レベル8が与えられ、製品画像No.4001-No.4500のそれぞれに対して、レベル9が与えられる。 No. 1 to No. Captured images of up to 4500 molded products, that is, product images, are divided into 500-sheet contamination levels. That is, the product image No. which is the input data. 1-No. 500, the contamination degree level 1 is given as output data, that is, correct data. Similarly, product image No. 501-No. For each of the 1000 product image no. 1001-No. For each of the 1500, a level of 3 is given. Also, the product image No. 1501-No. 2000 were given a level of 4 and product image no. 2001-No. For each of the 2500, a level of 5 is given. Furthermore, the product image No. 2501-No. 3000 are given a level of 6 and product image no. 3001-No. For each of the 3500, level 7 is given. Finally, product image No. 3501-No. 4000 are given a level of 8 and product image no. 4001-No. For each of the 4500, level 9 is given.

このような教師データを用いて学習された、学習済みのニューラルネットワークが、レベル推定部30に実装される。実際のインサート成形により成形された成形製品の撮像画像(製品画像)がレベル推定部30の入力層に入力されると、出力層のそれぞれのノードから、各汚れ度のレベルの確度が出力される。さらにその中から最も確度の高いレベルが回答として出力される。例えば図3の例では、入力された製品画像に対して確度の最も高いレベル2が最終的な値として出力される。 A trained neural network trained using such teacher data is implemented in the level estimation unit 30 . When a captured image (product image) of a molded product actually molded by insert molding is input to the input layer of the level estimating section 30, the accuracy of each contamination level is output from each node of the output layer. . Furthermore, the level with the highest accuracy among them is output as an answer. For example, in the example of FIG. 3, level 2, which has the highest accuracy with respect to the input product image, is output as the final value.

以下では適宜、出力層の各ノードに各レベルに対する確度が出力される態様が「確度出力」と記載される。また、各レベルの確度の内、最も高確度のレベルが回答として出力される態様が「回答出力」と記載される。 Hereinafter, the manner in which the accuracy for each level is output to each node of the output layer will be referred to as "accuracy output" as appropriate. Also, the manner in which the highest level of accuracy among the accuracy of each level is output as an answer is described as "answer output".

回答出力されたレベルの値は累積値算出部31(図2参照)、類似度算出部32、洗浄作業設定部33、及び表示制御部19に送られる。前三者については後述される。表示制御部19は、受信した汚れ度のレベルを表示部20に表示させる。このとき表示制御部19は、汚れ度のレベルに応じて表示部20への表示形態を変化させてもよい。例えばレベル1~6では、正常表示として、緑色の背景で表示部20にレベルが表示される。またレベル7,8では、注意表示として、黄色の背景で表示部20にレベルが表示される。さらにレベル9では、警告表示として、赤色の背景で表示部20にレベルが表示される。これにより、成形作業中の作業員に、金型洗浄の要否を判断させることが出来る。 The level values output as answers are sent to the cumulative value calculator 31 (see FIG. 2), the similarity calculator 32 , the cleaning work setting unit 33 , and the display controller 19 . The former three will be discussed later. The display control unit 19 causes the display unit 20 to display the received contamination level. At this time, the display control unit 19 may change the display mode on the display unit 20 according to the level of dirtiness. For example, levels 1 to 6 are displayed on the display unit 20 with a green background as normal display. At levels 7 and 8, the level is displayed on the display unit 20 with a yellow background as a caution display. Furthermore, at level 9, the level is displayed on the display unit 20 with a red background as a warning display. As a result, it is possible for the operator during the molding operation to determine whether or not the mold needs to be cleaned.

<同型金型の判別>
図3では、一個の金型により成形された製品表面に基づいて、当該金型の汚れ度を推定するレベル推定部30が例示されたが、本実施形態に係るレベル推定部30は、この形態に限られない。例えば、少なくとも加工面が同型の金型が複数個ある場合に、どの金型であるかを推定(同定)したうえで、その金型の汚れ度を推定してもよい。
<Distinction of molds of the same type>
FIG. 3 illustrates the level estimation unit 30 for estimating the degree of contamination of a single mold based on the surface of the product molded by the mold. is not limited to For example, when there are a plurality of molds having at least the same type of machining surface, the degree of contamination of the mold may be estimated after estimating (identifying) which mold it is.

この場合、教師データとして、図4に示す4500枚の製品画像データが、それぞれの金型別に設けられる。例えば少なくとも加工面が同型の金型が8個ある場合には、4500枚の製品画像データが8種類用意され、そのそれぞれに対してクラスとして汚れ度のレベルが設定される。 In this case, 4500 pieces of product image data shown in FIG. 4 are provided for each mold as training data. For example, if there are at least 8 molds with the same type of machined surface, 4500 sheets of product image data are prepared for 8 types, and the contamination level is set as a class for each of them.

図5には、レベル推定部30が同型の金型をそれぞれ判別する様子が例示される。図5には、同型の金型No.5~No.7により成形された成形製品の撮像画像(製品画像)にヒートマップが重畳された画像が例示される。 FIG. 5 illustrates how the level estimating unit 30 discriminates molds of the same type. FIG. 5 shows the mold No. of the same type. 5 to No. An image in which a heat map is superimposed on a captured image (product image) of a molded product molded by 7 is exemplified.

このヒートマップでは、各金型を判別する根拠となった注目部位が強調表示される。それぞれの製品画像において注目部位が異なっており、精度良く同型金型を判別できていることが示されている。これは例えば、それぞれの金型で、加工面上の鋳肌等の表面特性が異なり、この異なる表面形状が成形製品に転写され、その転写形状に基づいて、金型が判別されていると考えられる。 In this heat map, the parts of interest used as the basis for discriminating each mold are highlighted. The parts of interest are different in each product image, indicating that the molds of the same type can be accurately discriminated. For example, each mold has different surface characteristics such as the casting surface on the machined surface, and this different surface shape is transferred to the molded product. be done.

このような、複数の同型金型別に、汚れ度のレベルを出力するニューラルネットワークが、図6に例示される。このニューラルネットワークでは、出力層のノード数が、同型の金型の個数×レベル数となる。例えば同型金型が8個あり、レベルが9段階に分けられている場合に、出力層のノード数は72となる。 FIG. 6 exemplifies such a neural network that outputs the degree of contamination level for each of a plurality of molds of the same type. In this neural network, the number of nodes in the output layer is the number of molds of the same type times the number of levels. For example, if there are eight molds of the same type and the levels are divided into nine stages, the number of nodes in the output layer is 72.

この態様においては、レベル推定部30から表示制御部19に、汚れ度レベルと金型番号が出力される。これを受けて表示制御部19は、表示部20に、汚れ度レベルに加えて金型番号も表示させる。 In this mode, the contamination level and the mold number are output from the level estimation section 30 to the display control section 19 . In response to this, the display control unit 19 causes the display unit 20 to display the mold number in addition to the contamination level.

<レベルの履歴利用>
成形製品の表面に汚れが生じる原因として、金型加工面の汚れが成形製品に転写する場合と、成形時の樹脂の蒸発に伴ういわゆるガス焼けによる場合とが考えられる。後者は金型を洗浄する必要は無いため、後者の原因により汚れ度のレベルが高いと推定されたときには、表示部20への警告表示は避けた方が好ましい。
<Use level history>
Contamination on the surface of a molded product may be caused by the transfer of contamination on the surface of the mold to the molded product, or by so-called gas burning due to evaporation of resin during molding. Since the latter does not require cleaning of the mold, it is preferable to avoid displaying a warning on the display unit 20 when the level of contamination is estimated to be high due to the latter cause.

そこで、成形製品の汚れの原因を推定するために、汚れ度の履歴情報が利用されてもよい。累積値算出部31は、レベル推定部30から回答出力される汚れ度のレベルの履歴を時系列に記憶する。そして累積値算出部31は、例えば直近の汚れ度のレベル値と、そこから遡って複数点(例えば99点)の過去のレベル値とを、表示制御部19に送信する。 Therefore, historical information on the degree of contamination may be used to estimate the cause of the contamination of the molded product. The cumulative value calculation unit 31 stores the history of the contamination levels output from the level estimation unit 30 in chronological order. Then, the cumulative value calculator 31 transmits to the display controller 19, for example, the most recent contamination level value and past level values of a plurality of points (for example, 99 points) retroactively therefrom.

表示制御部19は、累積値算出部31から受信した汚れ度のレベル値を図7に例示されるようなヒストグラムを作成する。このヒストグラムでは、横軸に汚れ度のレベルが示され、縦軸に当該レベル値を持つデータの点数(製品画像の枚数)が示される。 The display control unit 19 creates a histogram as illustrated in FIG. 7 from the contamination degree level values received from the cumulative value calculation unit 31 . In this histogram, the horizontal axis indicates the level of the degree of contamination, and the vertical axis indicates the number of data points (the number of product images) having the corresponding level value.

例えば図7には、汚れ度レベル5のデータが1点プロットされ、残りはレベル1,2に分布される。このことから、汚れ度レベル5と判定された成形製品の汚れの原因は突発的なものであり、汚れが継続的に生じる金型加工面の汚れに起因しないと推定できる。例えば表示制御部19は、レベル推定部30により回答出力された直近の汚れ度レベルに並列させて、図7のレベル値の履歴に基づくヒストグラムを表示部20に表示させる。 For example, in FIG. 7, one point of data of contamination level 5 is plotted, and the rest are distributed to levels 1 and 2. FIG. From this, it can be inferred that the cause of the contamination of the molded product determined to be contamination level 5 is sudden and not due to the continuous contamination of the mold processing surface. For example, the display control unit 19 causes the display unit 20 to display a histogram based on the level value history of FIG.

ここで、成形製品の汚れの原因が金型の加工面の汚れである場合、定常的にその汚れが成形製品に転写される。したがって、レベル値によるヒストグラムは、図8のように、レベル値が高い方に、ヒストグラムの柱が成長、移動するような推移を辿る。このようなヒストグラムの変化に基づいて、汚れ度レベルが設定されてもよい。例えば、頻度が閾値(例えば50)を超過したレベルを、直近の製品画像に対応する汚れ度レベルとしてもよい。 Here, when the dirt on the molded product is caused by the dirt on the working surface of the mold, the dirt is constantly transferred to the molded product. Therefore, as shown in FIG. 8, the histogram based on the level values traces a transition such that the pillars of the histogram grow and move toward higher level values. The contamination level may be set based on such histogram changes. For example, the level at which the frequency exceeds a threshold (eg, 50) may be set as the contamination level corresponding to the most recent product image.

レベル推定部30により回答出力された汚れ度レベルと、レベル値のヒストグラムに基づく汚れ度レベルとが異なる場合は、前者の汚れ度レベルを判定する基準となった成形製品の汚れが、金型の汚れに由来するものでは無い可能性がある。このような場合に、表示制御部19は、レベル推定部30により回答出力された直近の汚れ度レベルと、図7、図8のヒストグラムに基づく汚れ度レベルとを表示部20に並列表示させるとともに、背景を点滅させる等の警告表示を行わせ、作業者の確認を促す。 If the contamination level output by the level estimating unit 30 is different from the contamination level based on the histogram of the level values, the contamination of the molded product used as the criterion for determining the former contamination level is the same as that of the mold. It may not be caused by dirt. In such a case, the display control unit 19 causes the display unit 20 to display in parallel the most recent contamination level output by the level estimating unit 30 and the contamination level based on the histograms of FIGS. , to display a warning such as blinking the background to prompt the operator to confirm.

<類似度の算出>
上記の実施形態では、レベル推定部30による回答出力を用いて、金型の汚れ度レベルが推定されたが、レベル推定部30の出力層の各ノードに出力される確度の分布を用いて、汚れ度レベルが推定されてもよい。
<Similarity calculation>
In the above embodiment, the contamination level of the mold is estimated using the response output by the level estimation unit 30. However, using the probability distribution output to each node of the output layer of the level estimation unit 30, A contamination level may be estimated.

図2を参照して、参照データ記憶部35には、レベル推定部30の教師データが記憶される。教師データは、入力データである製品画像と、出力データであるレベルとが対となって記憶される。教師データの製品画像をレベル推定部30に入力したときに、出力層の各ノードにはそれぞれ確度が出力される。このうち、教師データにおいて上記出力データとして記憶されたレベルが最高確度を得る。 Referring to FIG. 2, teacher data of level estimation unit 30 is stored in reference data storage unit 35 . The teacher data is stored in pairs of product images as input data and levels as output data. When a product image of teacher data is input to the level estimation unit 30, the probability is output to each node of the output layer. Among these, the level stored as the output data in the teacher data obtains the highest accuracy.

この、教師データに含まれる製品画像をレベル推定部の入力層に入力させたときの、出力層の各ノードから出力された汚れ度レベルの確度の分布、つまり確度分布が、参照データ記憶部35に記憶される。類似度算出部32は、この確度分布データを、例えば全ての教師データ分、参照データ記憶部35から抽出する。さらに類似度算出部32には、レベル推定部30から、直近の製品画像に対して確度出力された確度分布データが送信される。 The accuracy distribution of the contamination level output from each node of the output layer when the product image included in the training data is input to the input layer of the level estimation unit, that is, the accuracy distribution is stored in the reference data storage unit 35. stored in The similarity calculation unit 32 extracts the probability distribution data for all the teacher data from the reference data storage unit 35, for example. Further, the similarity calculation unit 32 is transmitted from the level estimation unit 30 with the probability distribution data output with respect to the most recent product image.

類似度算出部32は、直近の製品画像の確度分布と、教師データの確度分布との類似度を求める。類似度は例えばコサイン類似度が用いられる。例えば図9を参照して、直近の製品画像の確度分布が、(2.5,99.8,・・・,1.5,0.8)のように、レベルの数(ここでは9)の成分を持つベクトルに置き換えられる。同様にして教師データの確度分布も(2.3,99.9,・・・,1.6,0.5)のように、レベルの数の成分を持つベクトルに置き換えられる。 The similarity calculator 32 obtains the similarity between the probability distribution of the most recent product image and the probability distribution of the teacher data. For example, cosine similarity is used as similarity. For example, referring to FIG. 9, the probability distribution of the most recent product image is (2.5, 99.8, . is replaced by a vector with the components of Similarly, the probability distribution of the teacher data is also replaced by a vector having components of the number of levels, such as (2.3, 99.9, . . . , 1.6, 0.5).

ここで、n個の成分を持つ2つのベクトルa,bのコサイン類似度は、下記数式1のようにして求められる。

Figure 2022107954000002
Here, the cosine similarity between two vectors a and b having n components is obtained by Equation 1 below.
Figure 2022107954000002

上記数式1で求められた値が1(Cos=0°、平行)に近い場合、類似度が高いことになり、-1に近くなるほど類似度が低くなる。類似度算出部32は、このような類似度を、直近の製品画像に対する確度分布と、教師データ内の全ての確度分布について求める。 When the value obtained by Equation 1 is close to 1 (Cos=0°, parallel), the similarity is high, and the closer it is to -1, the lower the similarity. The similarity calculation unit 32 obtains such similarity for the probability distribution for the most recent product image and all probability distributions in the teacher data.

さらに類似度算出部32は、求められた類似度の分布(類似度分布)を、汚れ度レベル別に纏める。この汚れ度レベルは、教師データの出力データである正解データ(クラス)に対応する。図10には、汚れ度レベル別の、類似度分布のヒストグラムが例示される。このヒストグラムでは、横軸が類似度を示し、縦軸が画像の枚数(頻度)を示す。なおこの例では、横軸を離散的な値とするために、類似度は小数第一位まで求められる。 Further, the similarity calculation unit 32 summarizes the obtained similarity distribution (similarity distribution) for each contamination level. This contamination degree level corresponds to the correct data (class) which is the output data of the teacher data. FIG. 10 exemplifies a histogram of similarity distribution for each contamination level. In this histogram, the horizontal axis indicates the degree of similarity, and the vertical axis indicates the number of images (frequency). In this example, the degree of similarity is obtained to the first decimal place so that the horizontal axis is a discrete value.

各類似度に、それぞれのレベルの頻度がプロットされる。例えば高い類似度(0.8~0.9)では、汚れ度レベル1の教師データの頻度が高くなっている。この場合、直近の製品画像と、汚れ度レベル1の教師データとが、高頻度で高い類似度を取得している。このような観点から、例えば、図10のハッチング領域に例示されるような、高類似度(例えば0.8以上)かつ高頻度(例えば50以上)の領域(選出領域)に含まれる汚れ度レベルが、直近の製品画像に対して与えられる汚れ度レベルとして選択される。 For each similarity, the frequency of each level is plotted. For example, at a high degree of similarity (0.8 to 0.9), the frequency of training data with dirtiness level 1 is high. In this case, the most recent product image and the training data with the contamination degree level 1 acquire a high degree of similarity with high frequency. From this point of view, for example, the contamination level included in a region (selected region) with a high similarity (for example, 0.8 or higher) and a high frequency (for example, 50 or higher), such as the hatched region in FIG. is chosen as the contamination level given to the most recent product image.

類似度算出部32は、レベル推定部30から送られた、直近の製品画像データに対して、図10のような類似度分布ヒストグラムを作成するとともに、選出領域(図10のハッチング領域)に含まれる汚れ度レベルを表示制御部19に送信する。表示制御部19は、レベル推定部30の回答出力による汚れ度レベルと、類似度算出部32による類似度ヒストグラム及び選出領域に含まれる汚れ度レベルを表示部20に表示させる。 The similarity calculation unit 32 creates a similarity distribution histogram as shown in FIG. Then, the contamination level is transmitted to the display control unit 19 . The display control unit 19 causes the display unit 20 to display the contamination level based on the response output from the level estimation unit 30, the similarity histogram from the similarity calculation unit 32, and the contamination level included in the selected region.

レベル推定部30から回答出力された汚れ度レベルと、類似度算出部32から出力された汚れ度レベルとが一致する場合には、そのレベル値が、直近の製品画像に対する汚れ度レベルとして確定される。 When the contamination level output from the level estimation unit 30 and the contamination level output from the similarity calculation unit 32 match, the level value is determined as the contamination level for the most recent product image. be.

一方、レベル推定部30から回答出力された汚れ度レベルと、類似度算出部32から出力された汚れ度レベルとが異なる場合には、例えばガス焼け等による突発的な汚れが生じた可能性がある。この場合、作業者に成形製品の確認を促すために、例えば表示制御部19は、レベル推定部30から回答出力された汚れ度レベルと、類似度算出部32から出力された汚れ度レベルとを表示部20に並列表示させるとともに、背景画像を点滅させる等の警告表示を行わせる。 On the other hand, if the contamination level output from the level estimation unit 30 and the contamination level output from the similarity calculation unit 32 are different, there is a possibility that sudden contamination has occurred due to, for example, gas burning. be. In this case, in order to prompt the operator to check the molded product, for example, the display control unit 19 compares the contamination level output from the level estimation unit 30 and the contamination level output from the similarity calculation unit 32. Along with parallel display on the display unit 20, warning display such as blinking of the background image is performed.

以上説明したように、レベル推定部30による汚れ度レベルの回答出力に加えて、任意に、累積値算出部31によるレベル値の履歴情報を活用し、また、類似度算出部32による類似度分布を活用することで、より精度の高い、汚れ度の推定が可能となる。 As described above, in addition to the contamination level response output by the level estimation unit 30, the history information of the level values by the cumulative value calculation unit 31 is arbitrarily used, and the similarity distribution by the similarity calculation unit 32 is used. By utilizing , it is possible to estimate the degree of contamination with higher accuracy.

<前倒し洗浄計画の設定>
例えば、金型洗浄の必要な汚れ度レベルをレベル9と設定したときに、レベル9に到達する前に、インサート成形工程の前後工程の工程計画に基づいて、洗浄プロセスを前倒しに実行する前倒し洗浄を行うことで、工程全体のスループットの低下が抑制できる。
<Set forward cleaning plan>
For example, when the contamination level required for mold cleaning is set to level 9, before reaching level 9, the cleaning process is carried out ahead of schedule based on the process plan for the processes before and after the insert molding process. can suppress a decrease in the throughput of the entire process.

例えば、上述した図7、図8のように、汚れ度レベルの履歴に基づいて、その先の汚れ度レベルの推移、つまり、汚れ度の進行状況が予測可能となる。例えば、複数の製品画像に基づく汚れ度レベルを時系列に並べて、汚れ度レベルの進行状況が求められる。具体的には、ある汚れ度レベルから次のレベルに移行するまでに係る成形製品の累計数が、汚れ度レベルの履歴情報から求めることが出来る。例えば上述したように、図4の教師データでは、成形製品500個置きに汚れ度レベルが設定されていたことから、これと同一の製造条件下では、成形製品500個置きに汚れ度レベルが推移することが推定できる。 For example, as shown in FIGS. 7 and 8 described above, based on the history of the contamination level, it is possible to predict the future transition of the contamination level, that is, the progress of the contamination level. For example, the contamination level based on a plurality of product images is arranged in chronological order to obtain the progress of the contamination level. Specifically, the cumulative number of molded products from a certain contamination level to the next level can be obtained from the contamination level history information. For example, as described above, in the teaching data of FIG. 4, the contamination level was set for every 500 molded products. It can be estimated that

また、汚れ度レベルの進行状況として、例えば汚れ度レベル1からレベル4まで、各レベルの成形製品個数に基づいて、それ以降のレベル5からレベル9までの、各レベルの成形製品個数が推定できる。例えば汚れ度レベル9を金型洗浄が必要な閾値汚れ度とすると、直近の製品画像に対する汚れ度レベルと、上記汚れ度レベルの推移推定に基づけば、汚れ度閾値(レベル9)に到達するまでの成形回数(ショット回数)である残余回数を求めることが出来る。 Further, as the progress of the contamination level, for example, based on the number of molded products at each level from contamination level 1 to level 4, the number of molded products at each level from level 5 to level 9 can be estimated. . For example, if the contamination degree level 9 is the threshold contamination degree that requires mold cleaning, based on the contamination degree level for the most recent product image and the transition estimation of the contamination degree level, until the contamination degree threshold value (level 9) is reached, It is possible to obtain the remaining number of times, which is the number of times of molding (number of shots).

洗浄作業設定部33(図2参照)は、このような成形工程の残余回数を求めるとともに、洗浄対象である金型を用いたインサート成形工程の前後工程の工程計画を参照して、金型の前倒し洗浄の計画を立てる。 The cleaning work setting unit 33 (see FIG. 2) obtains the remaining number of times of such molding processes, and refers to the process plan of the processes before and after the insert molding process using the mold to be cleaned, thereby determining the mold. Plan for forward cleaning.

図11には、インサート成形工程と、その前工程及び後工程の工程計画が例示される。なおこの図では、成形製品の個数が「Lot」としてカウントされる。例えばLot1~Lot500は、洗浄済みの金型を用いた1個目から500個目の成形製品を示している。 FIG. 11 exemplifies the insert molding process and process plans for the pre-process and post-process. In this figure, the number of molded products is counted as "Lot". For example, Lot 1 to Lot 500 indicate the 1st to 500th molded products using cleaned molds.

またこの例では、汚れ度レベルがレベル3からレベル4に切り替わる時点で汚れ度レベルの推移推定を行っている。この推定は例えば線形近似を用いて行われる。推移推定により、推定時点から、閾値汚れ度であるレベル9に到達するまでの残余回数が求められる。 Also, in this example, the contamination level transition estimation is performed at the time when the contamination level is switched from level 3 to level 4. FIG. This estimation is performed using linear approximation, for example. By transition estimation, the remaining number of times from the time of estimation until level 9, which is the threshold dirtiness, is reached is obtained.

洗浄作業設定部33は、直近の成形工程から残余回数に到達するまでの時間である残余回数期間中に、前工程または後工程にメンテナンス期間(休止期間)が計画されているか否かを確認する。例えば図11では、残余回数期間中に後工程にメンテナンスの計画が立てられている。そこで洗浄作業設定部33は、汚れ度レベルがレベル9に到達する前段階の、推定上ではレベル7の時に、後工程のメンテナンスと並行して、つまり後工程の休止期間に少なくとも一部重複するようにして、金型洗浄を実施する前倒し洗浄を行うように、インサート成形工程の工程計画を変更する。変更後の工程計画は、表示制御部19を介して表示部20に表示される。また、表示部20に表示させるデータとして、図11に例示される汚れ度の推移推定データが含まれてもよい。 The cleaning work setting unit 33 confirms whether or not a maintenance period (rest period) is planned for the previous process or the subsequent process during the remaining number of times period, which is the time from the most recent molding process until the remaining number of times is reached. . For example, in FIG. 11, maintenance is planned for the post-process during the remaining number of times period. Therefore, the cleaning work setting unit 33 sets the cleaning work setting unit 33 so that at least a part of the maintenance period of the post-process is overlapped with the maintenance of the post-process when the contamination level reaches level 9, which is presumed to be level 7. In this way, the process plan of the insert molding process is changed so as to carry out front-loaded cleaning for cleaning the mold. The changed process plan is displayed on the display unit 20 via the display control unit 19 . Further, the data to be displayed on the display unit 20 may include contamination degree transition estimation data illustrated in FIG. 11 .

表示部20を閲覧する、インサート成形作業中の作業者は、洗浄作業設定部33により設定された前倒し洗浄工程を含む工程計画をもとに、金型の洗浄を行う。また、洗浄作業設定部33により設定された工程計画が、作業者によって編集されてもよい。 A worker who is performing an insert molding operation and views the display unit 20 cleans the mold based on the process plan including the forward cleaning process set by the cleaning operation setting unit 33 . Also, the process plan set by the cleaning work setting unit 33 may be edited by the operator.

以上説明したように、本実施形態に係る金型管理システムでは、金型の表面状態が転写された成型製品の表面を、所望のアングルで撮像可能となり、金型の洗浄要否を精度よく判定可能となる。また、成型後ラインを流れる成型製品を撮像すればよいので、成形工程のスループットの低下が抑制される。 As described above, in the mold management system according to the present embodiment, it is possible to image the surface of the molded product to which the surface condition of the mold is transferred at a desired angle, and to accurately determine whether the mold needs to be cleaned. It becomes possible. Moreover, since it is only necessary to image the molded product flowing through the line after molding, the throughput of the molding process is prevented from being lowered.

加えて、レベル推定部30による汚れ度レベルの推定に加えて、累積値算出部31による汚れ度レベルの履歴データや、類似度算出部32による類似度分布を利用することで、汚れ度レベルの推定を精度よく行うことが出来る。さらに、洗浄作業設定部33による前倒し洗浄の実行により、前工程及び後工程の少なくとも一方とのメンテナンス工程と並行した金型洗浄が可能となり、前工程からインサート成形工程及び後工程までの一連の工程におけるスループットの低下を抑制可能となる。 In addition to contamination level estimation by the level estimating unit 30, the contamination level history data by the cumulative value calculating unit 31 and the similarity distribution by the similarity calculating unit 32 are used to estimate the contamination level. Estimation can be performed with high accuracy. Furthermore, by executing forward cleaning by the cleaning work setting unit 33, mold cleaning can be performed in parallel with at least one of the pre-process and post-process maintenance process, and a series of processes from the pre-process to the insert molding process and the post-process are possible. It is possible to suppress the decrease in throughput in

10 金型管理装置、19 表示制御部、20 表示部、30 レベル推定部(推定部)、31 累積値算出部、32 類似度算出部、33 洗浄作業設定部、35 参照データ記憶部、40 撮像器(撮像部)。
10 mold management device, 19 display control unit, 20 display unit, 30 level estimation unit (estimation unit), 31 cumulative value calculation unit, 32 similarity calculation unit, 33 cleaning work setting unit, 35 reference data storage unit, 40 imaging device (imaging unit).

Claims (7)

金型により成形された成形製品の表面を撮像する撮像部と、
成形製品の撮像画像である製品画像が入力される入力層と、入力された前記製品画像に応じて、当該製品画像の元となる成形製品の成形に用いられた前記金型の汚れ度を出力する出力層を備える推定部と、
を備える、金型管理システム。
an imaging unit that captures an image of the surface of the molded product molded by the mold;
An input layer to which a product image, which is a photographed image of a molded product, is input, and according to the input product image, the degree of contamination of the mold used for molding the molded product that is the basis of the product image is output. an estimator comprising an output layer that
A mold management system.
請求項1に記載の金型管理システムであって、
複数の前記製品画像に基づく前記汚れ度を時系列に並べて当該汚れ度の進行状況を求めるとともに、前記汚れ度の進行状況と、前記金型が用いられる成形工程の前後工程に基づいて、前記金型の洗浄工程を設定する洗浄作業設定部を備える、金型管理システム。
The mold management system according to claim 1,
The degree of contamination based on the plurality of product images is arranged in chronological order to determine the progress of the degree of contamination, and based on the progress of the degree of contamination and the processes before and after the molding process in which the mold is used, the metal mold is obtained. A mold management system comprising a cleaning work setting unit for setting a mold cleaning process.
請求項2に記載の金型管理システムであって、
前記洗浄作業設定部は、前記汚れ度の進行状況に基づいて、前記汚れ度が洗浄要と判定される閾値汚れ度に到達するまでの成形回数である残余回数を推定するとともに、推定された前記残余回数に到達するまでに係る時間内における、前記前後工程の工程計画に設定された休止期間に少なくとも一部重複するように、前記金型の前記洗浄工程を設定する、
金型管理システム。
The mold management system according to claim 2,
The cleaning work setting unit estimates, based on the progress of the contamination degree, the remaining number of times, which is the number of times of molding until the contamination degree reaches a threshold contamination degree at which it is determined that cleaning is necessary, and the estimated remaining number of times. setting the cleaning process of the mold so as to at least partially overlap with the rest period set in the process plan of the preceding and following processes within the time required to reach the remaining number of times;
Mold management system.
請求項1から3のいずれか一項に記載の金型管理システムであって、
前記推定部の前記出力層より出力された直近の前記汚れ度と、前記出力層より出力された前記汚れ度の履歴とを並列して表示部に表示させる表示制御部を備える、金型管理システム。
The mold management system according to any one of claims 1 to 3,
A mold management system comprising a display control unit that causes a display unit to display in parallel the most recent contamination degree output from the output layer of the estimation unit and the history of the contamination degree output from the output layer. .
請求項1から4のいずれか一項に記載の金型管理システムであって、
前記推定部は、前記製品画像を入力データとし前記汚れ度を出力データとする教師データにより学習された画像認識用のニューラルネットワークを備える、
金型管理システム。
The mold management system according to any one of claims 1 to 4,
The estimating unit includes a neural network for image recognition trained by teacher data having the product image as input data and the contamination level as output data,
Mold management system.
請求項5に記載の金型管理システムであって、
前記推定部は、加工面が同型の複数の前記金型別の前記教師データにより学習され、前記出力層から前記汚れ度を複数の前記金型別に出力する、金型管理システム。
The mold management system according to claim 5,
The estimating unit is a mold management system, wherein the estimating unit learns from the training data for each of the plurality of molds having the same type of machined surface, and outputs the contamination degree for each of the plurality of molds from the output layer.
請求項5または6に記載の金型管理システムであって、
前記推定部の前記出力層は、それぞれの前記汚れ度に対する確度を出力し、
前記教師データに含まれる前記製品画像を前記推定部の前記入力層に入力させたときのそれぞれの前記汚れ度の確度の分布を示す確度分布が記憶された参照データ記憶部を備え、
直近の前記製品画像に基づく前記確度分布に対する、前記参照データ記憶部に記憶された前記確度分布の類似度を、前記教師データの複数の前記製品画像について求めるとともに、求められた前記類似度の分布を、前記教師データの前記出力データである前記汚れ度別に求める、類似度算出部を備える、
金型管理システム。
The mold management system according to claim 5 or 6,
The output layer of the estimating unit outputs an accuracy for each of the contamination degrees,
a reference data storage unit storing a probability distribution indicating the probability distribution of each of the contamination degrees when the product image included in the training data is input to the input layer of the estimation unit;
The similarity of the probability distribution stored in the reference data storage unit to the probability distribution based on the most recent product image is obtained for the plurality of product images of the teacher data, and the distribution of the obtained similarity is obtained for each of the contamination levels that are the output data of the teacher data,
Mold management system.
JP2021002680A 2021-01-12 2021-01-12 Mold management system Active JP7189633B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021002680A JP7189633B2 (en) 2021-01-12 2021-01-12 Mold management system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021002680A JP7189633B2 (en) 2021-01-12 2021-01-12 Mold management system

Publications (2)

Publication Number Publication Date
JP2022107954A true JP2022107954A (en) 2022-07-25
JP7189633B2 JP7189633B2 (en) 2022-12-14

Family

ID=82556295

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021002680A Active JP7189633B2 (en) 2021-01-12 2021-01-12 Mold management system

Country Status (1)

Country Link
JP (1) JP7189633B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102545144B1 (en) * 2023-01-13 2023-06-21 주식회사 아이브 Apparatus and method for providing defective product inspection solution based on deep learning algorithm
CN116913827A (en) * 2023-09-12 2023-10-20 威海奥牧智能科技有限公司 Chip cleaning system and method based on liquid supply of pulse-free pump
WO2024063053A1 (en) * 2022-09-22 2024-03-28 国立大学法人東北大学 Information processing device, system, program, and presentation method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013123872A (en) * 2011-12-15 2013-06-24 National Printing Bureau Quality inspection apparatus for production machine
JP2014069382A (en) * 2012-09-28 2014-04-21 Nec Corp Defect factor determination device, defect occurrence predictor, defect factor determination system, defect factor determination method, and program
JP2016168732A (en) * 2015-03-12 2016-09-23 ファナック株式会社 Injection molding system for performing mold cleaning
JP2018153872A (en) * 2017-03-15 2018-10-04 ファナック株式会社 Cleaning process optimization apparatus and machine learning apparatus
JP2019072866A (en) * 2017-10-12 2019-05-16 第一精工株式会社 Imaging method in resin sealing device, and resin sealing device
JP2021041454A (en) * 2019-09-13 2021-03-18 東洋機械金属株式会社 Molding system
JP2021160243A (en) * 2020-03-31 2021-10-11 住友重機械工業株式会社 Management device
JP2021186104A (en) * 2020-05-27 2021-12-13 リンナイ株式会社 Facility for tableware, operation method of facility for tableware, learning device for facility for tableware and learning method for facility for tableware

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013123872A (en) * 2011-12-15 2013-06-24 National Printing Bureau Quality inspection apparatus for production machine
JP2014069382A (en) * 2012-09-28 2014-04-21 Nec Corp Defect factor determination device, defect occurrence predictor, defect factor determination system, defect factor determination method, and program
JP2016168732A (en) * 2015-03-12 2016-09-23 ファナック株式会社 Injection molding system for performing mold cleaning
JP2018153872A (en) * 2017-03-15 2018-10-04 ファナック株式会社 Cleaning process optimization apparatus and machine learning apparatus
JP2019072866A (en) * 2017-10-12 2019-05-16 第一精工株式会社 Imaging method in resin sealing device, and resin sealing device
JP2021041454A (en) * 2019-09-13 2021-03-18 東洋機械金属株式会社 Molding system
JP2021160243A (en) * 2020-03-31 2021-10-11 住友重機械工業株式会社 Management device
JP2021186104A (en) * 2020-05-27 2021-12-13 リンナイ株式会社 Facility for tableware, operation method of facility for tableware, learning device for facility for tableware and learning method for facility for tableware

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024063053A1 (en) * 2022-09-22 2024-03-28 国立大学法人東北大学 Information processing device, system, program, and presentation method
KR102545144B1 (en) * 2023-01-13 2023-06-21 주식회사 아이브 Apparatus and method for providing defective product inspection solution based on deep learning algorithm
CN116913827A (en) * 2023-09-12 2023-10-20 威海奥牧智能科技有限公司 Chip cleaning system and method based on liquid supply of pulse-free pump
CN116913827B (en) * 2023-09-12 2023-12-12 威海奥牧智能科技有限公司 Chip cleaning system and method based on liquid supply of pulse-free pump

Also Published As

Publication number Publication date
JP7189633B2 (en) 2022-12-14

Similar Documents

Publication Publication Date Title
JP7189633B2 (en) Mold management system
EP3062263A1 (en) Method and apparatus for work quality control
CN110738135B (en) Method and system for judging and guiding worker operation step standard visual recognition
DE102018200280B4 (en) VISUAL SENSOR ABNORMALITÄTSURSACHEN-ESTIMATES SYSTEM
JP5157359B2 (en) Time-series data analysis device, time-series data analysis system, control method for time-series data analysis device, program, and recording medium
JP6652549B2 (en) Chip removal device and information processing device
DE112013006312T5 (en) Methods and systems for improved automated visual inspection of a physical asset
CN101571914A (en) Abnormal behavior detection device
JP2006323538A (en) System and method for monitoring abnormality
EP4137901A1 (en) Deep-learning-based real-time process monitoring system, and method therefor
CN110895716A (en) Inspection apparatus and machine learning method
CN116050678A (en) Die-casting product processing test system and method based on cloud computing
JP2007279840A (en) Factor estimation device, factor estimation method, program, and computer-readable recording medium
CN110895717A (en) Inspection apparatus and machine learning method
JP6702297B2 (en) Abnormal state diagnosis method and abnormal state diagnosis device
CN116724224A (en) Machining surface determination device, machining surface determination program, machining surface determination method, machining system, inference device, and machine learning device
US11120541B2 (en) Determination device and determining method thereof
JP6662222B2 (en) Abnormal state diagnostic method and abnormal state diagnostic apparatus for manufacturing process
JP7166106B2 (en) Installation environment estimation device and program
CN117911415B (en) Automatic equipment supervision system and method based on machine vision
JP6865913B1 (en) Predictive maintenance device, predictive maintenance method, and learning device
CN114066971A (en) Self-adaptive safe cushion pushing system
CN114937028B (en) Intelligent identification and recognition linear sliding table module quality detection method and system
JP7495834B2 (en) Work evaluation system and method
JP2017146662A (en) Moving body monitor system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221125

R150 Certificate of patent or registration of utility model

Ref document number: 7189633

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150