JP2020112883A

JP2020112883A - 金属材料生産システムおよび金属材料生産方法

Info

Publication number: JP2020112883A
Application number: JP2019001384A
Authority: JP
Inventors: 岳己磯松; Takemi Isomatsu; 正靖笠原; Masayasu Kasahara; 勇曹; Isamu So
Original assignee: Furukawa Electric Co Ltd
Current assignee: Furukawa Electric Co Ltd
Priority date: 2019-01-08
Filing date: 2019-01-08
Publication date: 2020-07-27
Anticipated expiration: 2039-01-08
Also published as: JP7233224B2

Abstract

【課題】金属材料の生産工程において、金属材料の最適な工程条件を決定することができ、人間による工程条件の調整の手間を抑制することができる金属材料生産システムを提供する。【解決手段】金属材料生産システムは、金属材料生産部と機械学習部とを有し、機械学習部は、金属材料生産部において実行中の金属材料生産に関する物理量を観測する状態観測部と、物理量をデータとして記憶する物理量データ記憶部と、機械学習における報酬条件を設定する報酬条件設定部と、物理量のデータおよび報酬条件に基づいて報酬を算出する報酬計算部と、報酬計算部で算出した報酬、物理量データおよび金属材料生産部で設定されている工程条件に基づいて工程条件調整の機械学習を行う工程条件学習部と、学習結果を記憶する学習済み条件記憶部と、学習結果に基づいて金属材料生産部を構成する各設備の工程条件の調整量を決定して出力する工程条件出力部と、を備える。【選択図】図１

Description

本発明は、金属材料生産部と機械学習部とを有する金属材料生産システムおよび金属材料生産方法に関し、特に、金属材料生産部を構成する複数の設備において、各設備における工程の数や順序（以下、「工程条件」ということもある。）を、熟練オペレータ（人）による調整を行なわなくても、常に最適な工程条件で安定して金属材料を製造することができる金属材料生産システムを実現する。

金属材料の生産工程は、まず溶解・鋳造、熱間圧延の順に行い、次いで冷間圧延や焼鈍、酸洗などを複数の設備にて繰り返し行うものである。金属材料を製造するには、金属材料に求められる機械特性、電気的特性、形状、表面状態などの品質に応じて、その製造時における複数の設備に無数に存在する工程条件の中から、１つの工程条件を選択して製造する必要がある。また、その材質、幅、板厚などの設計も考慮して、工程条件を決定する必要がある。さらに、金属材料のロットごとの納期、生産にあたっての技術的困難性（例えば、求められる板厚が極端に薄いなど）、生産の進捗状況、同一の設備内で同時に製造される様々な金属材料との相関などによっても製造設備や処理・加工の順序を適宜決定する必要がある。

ある材質で特定の形状にするには、冷間圧延、連続焼鈍、冷間圧延、高温の連続焼鈍の順に行うが（詳細は後述する。）、同一の材質でも、例えば形状が異なり且つ短納期の場合は、工程の数や工程の順序が変更されることがある。

したがって、製造する金属材料ごとに、工程条件の最適な値を決定する条件出し作業を行う必要がある。しかしながら、各工程の最適な工程条件を見出すには、熟練オペレータ（人）が、経験に基づいて加工後の形状や表面状態を、検出器や目視にて状況を確認しながら各種操作条件を調整し、最適になるよう操作する必要がある。そのため、オペレータが時間をかけて最適の工程条件を決定する必要がある。また、経験の少ないオペレータが、熟練オペレータのように各設備の最適な工程条件を決定できるようになるには、長期間の教育が必要であった。

オペレータによる最適条件の条件出し作業を軽減するための従来技術として、一般に、検出器で検知した数値が規定を外れるとアラームが鳴る技術や、検出器で検出した表面欠陥部のサイズや位置をモニターで示す技術がある。

また、特許文献１は、射出成形機の条件出し作業において、成形条件を変更した際にその変更した条件の履歴を保持しておき、適切な成形を達成していた特定の時点における過去の成形条件を再生する場合において、その変更履歴を現在から特定の時点の時点まで遡って読み出す技術が開示されている。このような技術によれば、過去の射出成形条件をデータの容量を小さくして、容易に再生することができる。

特開平１１−３３３８９９号公報

以上のような技術では、条件出し作業を軽減し得るものではあるが、作業を行うオペレータの技術レベルによっては、最適な操作条件を算出するまでに長時間を要することがある。また、複数のオペレータ同士でも、それぞれ最適な操作条件にずれ（差）が生じることがあり、オペレータが異なる場合には、同じ操作条件で同様の品質が担保されないこともある。

本発明は、以上のような実情に鑑みなされたものであり、特に、金属材料生産部を構成する複数の設備において、各設備の工程条件を、熟練オペレータ（人）による調整を行なわなくても、常に最適な工程条件で安定して金属材料を製造することができる金属材料生産システムおよび金属材料生産方法を提供することを目的とする。

本発明者らは、上述した課題を解決すべく鋭意検討を重ねた。その結果、金属材料生産部と機械学習部とを有する金属材料生産システムであって、前記機械学習部は、前記金属材料生産部において実行中の金属材料生産に関する物理量を観測する状態観測部［Ａ］と、前記状態観測部［Ａ］で観測した前記物理量を、データとして記憶する物理量データ記憶部［Ｂ］と、機械学習における報酬条件を設定する報酬条件設定部［Ｃ］と、前記状態観測部［Ａ］で観測した前記物理量のデータ、および前記報酬条件設定部［Ｃ］で設定された前記報酬条件に基づいて報酬を算出する報酬計算部［Ｄ］と、前記報酬計算部［Ｄ］で算出した前記報酬、前記物理量データ、および前記金属材料生産部で設定されている工程条件に基づいて工程条件調整の機械学習を行う工程条件学習部［Ｅ］と、前記工程条件学習部［Ｅ］で機械学習した学習結果を記憶する学習済み条件記憶部［Ｆ］と、前記工程条件学習部［Ｅ］での前記学習結果に基づいて、前記金属材料生産部を構成する各設備の工程条件の調整量を決定して出力する工程条件出力部［Ｇ］と、を備えることにより、特に、金属材料生産部を構成する複数の設備において、各設備の工程条件を、熟練オペレータ（人）による調整を行なわなくても、常に最適な工程条件で安定して金属材料を製造することができる金属材料生産システムを提供することができることを見出し、本発明を完成するに至った。

すなわち、本発明の要旨構成は以下のとおりである。
［１］金属材料生産部と機械学習部とを有する金属材料生産システムであって、前記機械学習部は、前記金属材料生産部において実行中の金属材料生産に関する物理量を観測する状態観測部［Ａ］と、前記状態観測部［Ａ］で観測した前記物理量を、データとして記憶する物理量データ記憶部［Ｂ］と、機械学習における報酬条件を設定する報酬条件設定部［Ｃ］と、前記状態観測部［Ａ］で観測した前記物理量のデータ、および前記報酬条件設定部［Ｃ］で設定された前記報酬条件に基づいて報酬を算出する報酬計算部［Ｄ］と、前記報酬計算部［Ｄ］で算出した前記報酬、前記物理量データ、および前記金属材料生産部で設定されている工程条件に基づいて工程条件調整の機械学習を行う工程条件学習部［Ｅ］と、前記工程条件学習部［Ｅ］で機械学習した学習結果を記憶する学習済み条件記憶部［Ｆ］と、前記工程条件学習部［Ｅ］での前記学習結果に基づいて、前記金属材料生産部を構成する各設備の工程条件の調整量を決定して出力する工程条件出力部［Ｇ］と、を備えることを特徴とする、金属材料生産システム。
［２］前記物理量データ記憶部［Ｂ］、前記報酬条件設定部［Ｃ］、前記報酬計算部［Ｄ］、前記工程条件学習部［Ｅ］および前記学習済み条件記憶部［Ｆ］に、前記金属材料生産部で製造された金属材料を用いて測定した金属材料の表面状態、形状、材料強度および曲げ加工性からなる外部データとして入力し、前記工程条件学習部［Ｅ］の学習に使用することを特徴とする［１］に記載の金属材料生産システム。
［３］前記学習済み記憶部［Ｆ］に記憶された学習結果を前記工程条件学習部［Ｅ］の学習に使用することを特徴とする、［１］または［２］に記載の金属材料生産システム。
［４］前記工程条件学習部［Ｅ］で学習した結果を、前記工程条件出力部［Ｇ］に反映させて、前記金属材料生産部の制御ユニットに指示を出すことを特徴とする、［１］〜［３］のいずれか１つに記載の金属材料生産システム。
［５］前記報酬計算部［Ｄ］は、良好な表面状態の画像データ、厚さのばらつきが小さいデータおよび板材のテンションのばらつきが小さいデータのうちの少なくとも１つのデータを、その寄与の程度に応じてプラスの報酬を与えるように算出することを特徴とする、［１］〜［４］のいずれか１つに記載の金属材料生産システム。
［６］前記報酬計算部［Ｄ］は、表面状態の粗い画像データ、厚さのばらつきが大きいデータおよび板材のテンションのばらつきが大きいデータのうちの少なくとも１つのデータを、その寄与の程度に応じてマイナスの報酬を与えるように算出することを特徴とする、［１］〜［５］のいずれか１つに記載の金属材料生産システム。
［７］前記報酬計算部［Ｄ］は、前記物理量のデータにあらかじめ許容範囲が設定され、前記物理量のデータの数値が、前記許容範囲内に収まると、プラスの報酬を与えるように算出することを特徴とする、［１］〜［６］のいずれか１つに記載の金属材料生産システム。
［８］前記報酬計算部［Ｄ］は、前記物理量のデータにあらかじめ許容範囲値が設定され、前記物理量のデータの数値が、前記許容範囲外になると、前記許容範囲の限界値からの前記物理量のデータの数値のずれ幅に応じてマイナスの報酬を与えるように算出することを特徴とする、［１］〜［７］のいずれか１つに記載の金属材料生産システム。
［９］金属材料を生産するに際し、状態観測部［Ａ］により、実行中の金属材料生産に関する物理量を観測する工程と、物理量データ記憶部［Ｂ］に前記物理量をデータとして記憶する工程と、報酬条件設定部［Ｃ］により、機械学習における報酬条件を設定する工程と、報酬計算部［Ｄ］により、前記状態観測部［Ａ］で観測した前記物理量のデータ、および前記報酬条件設定部［Ｃ］で設定された前記報酬条件に基づいて報酬を算出する工程と、工程条件学習部［Ｅ］により、前記報酬計算部［Ｄ］が算出した前記報酬、前記物理量データ、および前記金属材料生産部で設定されている工程条件に基づいて工程条件調整の機械学習を行う工程と、学習済み条件記憶部［Ｆ］に前記工程条件学習部［Ｅ］で機械学習した学習結果を記憶する工程と、工程条件出力部［Ｇ］により、前記工程条件学習部［Ｅ］での前記学習結果に基づいて、前記金属材料生産部を構成する各設備の工程条件の調整量を決定して出力する工程と、を備えることを特徴とする、金属材料生産方法。

本発明によれば、特に、金属材料生産部を構成する複数の設備において、各設備の工程条件を、熟練オペレータ（人）による調整を行なわなくても、常に最適な工程条件で安定して金属材料を製造することができる。

本実施形態に係る金属材料生産システムの概略模式図である。本実施形態に係る金属材料生産部の概略模式図である。機械学習モデルを説明するための概略図である。本実施形態に係る金属材料生産部で行なわれる一連の工程を説明するための概略製造フロー図であって、冷間圧延工程と熱処理工程について、複数の工程条件から選択可能である場合を示す。

以下、本発明の実施形態を、図面を参照しながら詳細に説明するが、本発明は以下の実施形態に何ら限定されるものではない。

＜金属材料生産システム＞
本実施形態の金属材料生産システムは、金属材料生産部と機械学習部とを有する金属材料生産システムであって、前記機械学習部は、前記金属材料生産部において実行中の金属材料生産に関する物理量を観測する状態観測部［Ａ］と、前記状態観測部［Ａ］で観測した前記物理量を、データとして記憶する物理量データ記憶部［Ｂ］と、機械学習における報酬条件を設定する報酬条件設定部［Ｃ］と、前記状態観測部［Ａ］で観測した前記物理量のデータ、および前記報酬条件設定部［Ｃ］で設定された前記報酬条件に基づいて報酬を算出する報酬計算部［Ｄ］と、前記報酬計算部［Ｄ］で算出した前記報酬、前記物理量データ、および前記金属材料生産部で設定されている工程条件に基づいて工程条件調整の機械学習を行う工程条件学習部［Ｅ］と、前記工程条件学習部［Ｅ］で機械学習した学習結果を記憶する学習済み条件記憶部［Ｆ］と、前記工程条件学習部［Ｅ］での前記学習結果に基づいて、前記金属材料生産部を構成する各設備の工程条件の調整量を決定して出力する工程条件出力部［Ｇ］と、を備えることを特徴とするものである。図１は、本実施形態に係る金属材料生産システムの概略模式図である。

このような金属材料生産システムによれば、特に、金属材料生産部を構成する複数の設備において、各設備の工程条件を、熟練オペレータ（人）による調整を行なわなくても、常に最適な工程条件で安定して金属材料を製造することができる。また、条件出し作業が少なくなることから、金属材料の原料のロスが低減され、また、製造される金属材料の物性のばらつきも小さくなるため、コスト面での利点も非常に大きい。

〔金属材料生産部〕
金属材料生産部は、金属材料の生産を行うシステムである。このような金属材料生産システムは、例えば溶解・鋳造、均質化熱処理、熱間圧延、表面切削（面削）、冷間圧延、熱処理、表面研磨、防錆処理などを行うことができるそれぞれの工程を有している。そして、これらの装置には、各々多種の条件が存在する。しかも、製造すべき金属材料の機械特性、電気的特性、形状、表面状態などの品質や、材質、幅、板厚などの設計も考慮して、その条件を設計する必要があることから、通常、金属材料の最適な工程条件を決定するには多大な労力やコストを要するが、後述する機械学習部により、各生産工程における最適な工程条件についての機械学習を行うことにより、金属材料の最適な工程条件を決定することができる。

具体的に、金属材料生産部において、Ｃｕ−Ｎｉ−Ｓｉ合金の製造を行う場合について図２を用いて説明する。図２は、本実施形態に係る金属材料生産部の概略模式図である。Ｃｕ−Ｎｉ−Ｓｉ合金の生産方法を構成する工程は、まずＣｕに対してＮｉを１．０〜５．０質量％、Ｓｉを０．２５〜１．２５質量％添加して、溶解鋳造［１］し、その後、保持温度９００℃以上で均質化熱処理［２］を行う。次いで、熱間圧延［３］を行い、鋳塊の約１／１０の板厚に圧延後、水焼き入れ［４］する。次に、表面の酸化膜を除去する面削［５］を行った後、合計の加工率が７０％以上となるよう冷間圧延［６］し、保持温度７００〜１０００℃で１秒〜６０分の溶体化熱処理［７］を施して急冷を行う。次に、保持温度４００〜６００℃で１０分〜１２時間の時効析出熱処理［８］を行い、析出強化を行う。その後、表面の酸洗および研磨工程［９］、仕上冷間圧延［１０］、調質焼鈍［１１］の順に行い、０．０５〜０．８ｍｍ程度の板厚に仕上げて金属材料製品とする。このようなＣｕ−Ｎｉ−Ｓｉ合金を製造する金属材料生産部で行われる一連の工程としては、主に上述した１１の生産工程が挙げられる。そして、この一連の工程においては、例えば水焼き入れ［４］以降の工程の順序は、ある程度の柔軟性があり、また、各生産工程には複数の装置がある可能性もある。その一方で、このような銅合金材料は、一般に成分系の異なる合金（例えばりん青銅、純銅、Ｃｕ−Ｎｉ−Ｓｉ系合金等）を同じ設備（製造ライン）で多品種少量生産するため、他の製品の製造工程との兼ね合いや納期、製造の技術的困難性も考慮して順序や工程数、そして使用する装置を選択する必要がある。

本実施形態の金属材料生産システムで製造する金属材料としては、特に限定されず、多種の金属を製造することができる。特に中品種中量生産、ロット生産および多品種少量生産工程では、特に効果をより発揮し得る。

具体的に、金属材料生産部は、例えば銅合金材料の生産を行うことが好ましい。上述したとおり銅合金材料の製造は、一般に成分系の異なる合金（例えばりん青銅、純銅、Ｃｕ−Ｎｉ−Ｓｉ系合金等）を同じ設備で量産する。多品種少量生産であるため、特定の製品専用の製造ラインを作らずに共通の設備で順番や条件を変更して量産している。したがって、他の製品（品種）の製造を考慮して、工程条件を設定する必要があるため、本実施形態の金属材料生産システムの導入による、労力やコストの削減効果が大きい。一方で、例えば、鉄鋼材料の製造は、溶解鋳造から最終の板材に至るまで一貫して連続的に行われる。鉄鋼材料の製造では１つの品種の生産数量が極めて多いために、鋳造機から圧延機などの設備を特定の製品専用の連続製造ライン（単一ライン）として用いて、少品種大量生産を行っている。このような生産では他の製品の製造を考慮する必要はない。ただし、鉄鋼材料のような大量生産を行なう製造ラインであっても、例えば納期などによっては工程を減らす設備や、工程の順序を変更するような設備では、本実施形態の金属材料生産システムを導入することで一定の効果が得られる。

〔機械学習部〕
機械学習部は、金属材料生産部において実行中の金属材料生産に関する物理量を観測する状態観測部［Ａ］と、状態観測部［Ａ］で観測した物理量を、データとして記憶する物理量データ記憶部［Ｂ］と、機械学習における報酬条件を設定する報酬条件設定部［Ｃ］と、状態観測部［Ａ］で観測した物理量のデータ、および報酬条件設定部［Ｃ］に設定された報酬条件に基づいて報酬を算出する報酬計算部［Ｄ］と、報酬計算部［Ｄ］で算出した報酬、物理量データ、および金属材料生産部で設定されている工程条件に基づいて工程条件調整の機械学習を行う工程条件学習部［Ｅ］と、工程条件学習部［Ｅ］で機械学習した学習結果を記憶する学習済み条件記憶部［Ｆ］と、工程条件学習部［Ｅ］での学習結果に基づいて、金属材料生産部を構成する各設備の工程条件の調整量を決定して出力する工程条件出力部［Ｇ］と、を備えるものである。この機械学習部により、上述した金属材料生産部の各設備における工程条件を機械学習して、最適な工程条件を決定することができる。以下、各部の動作について説明する。

（状態観測部［Ａ］）
状態観測部［Ａ］は、金属材料生産部において実行中の金属材料生産に関する物理量を観測するものである。

状態観測部［Ａ］は、物理量のデータを送信可能な状態で物理量データ記憶部［Ｂ］に接続される。また、状態観測部［Ａ］は、物理量のデータを送信可能な状態で報酬計算部［Ｄ］および工程条件学習部［Ｅ］に接続されてもよい。

ここで、物理量は、各設備における処理対象の材料の物性値であればよく、例えば処理対象の材料の形状、寸法、厚さ、表面状態、板材のテンション等が挙げられる。また、物理量としては、金属材料の生産の進捗状況、特に目的とする納期までの進捗状況の良否を用いることもできる。状態観測部［Ａ］においては、これらをセンサー等により測定する。測定したデータは、後述する物理量データ記憶部［Ｂ］に送信されるとともに、報酬計算部［Ｄ］、工程条件学習部［Ｅ］にも送信される。物理量のデータを報酬計算部［Ｄ］、工程条件学習部［Ｅ］に送信する場合において、物理量データ記憶部［Ｂ］を経由してもしなくてもよい。

（物理量データ記憶部［Ｂ］）
物理量データ記憶部［Ｂ］は、前記状態観測部［Ａ］で観測した前記物理量を、データとして記憶するものである。物理量データ記憶部は、例えば各種記録媒体（各種メモリ等）であってもよい。

物理量データ記憶部［Ｂ］は、物理量のデータを受信可能な状態で状態観測部［Ａ］に接続される。また、物理量データ記憶部［Ｂ］は、物理量のデータを送信可能な状態で報酬計算部［Ｄ］および工程条件学習部［Ｅ］に接続されてもよい。

（報酬条件設定部［Ｃ］）
報酬条件設定部［Ｃ］は、機械学習における報酬条件を設定するものである。この報酬条件設定部［Ｃ］で設定した報酬条件を基に、後述する報酬計算部［Ｄ］で報酬が計算され、その報酬を基に、工程条件学習部［Ｅ］において工程条件を学習して、最適な工程条件を決定する。

報酬条件設定部［Ｃ］は、報酬条件を送信可能な状態で少なくとも報酬計算部［Ｄ］に接続される。

報酬条件としては、例えば、処理対象の材料の形状、寸法、厚さ、表面状態、板材のテンションなど物理量のデータの許容範囲や、それらのばらつきの許容範囲などが挙げられる。なお、報酬条件は、例えば寸法、厚さ、テンションなどの定量的なデータに基づくものであってもよく、また、例えば表面状態の画像データによる良否など定性的なデータに基づくものであってもよい。

また、報酬条件は、例えば金属加工を行う際などに、金属材料を用いて測定した金属材料の表面状態、形状、材料強度および曲げ加工性などの外部データに基づいて判断される条件を更に加えてもよい。ここで、「外部データ」とは、当該金属材料生産システムの内部すなわち状態観測部［Ａ］で測定されるような材料の物性とは異なるものであり、その金属材料生産システムで生産し終えた後の金属材料の物性である。

なお、報酬条件設定部における報酬条件の設定は、作業者のこれまでの経験やこれまで機械学習した結果に基づいて、作業者による手入力又は自動入力で設定を行う。

（報酬計算部［Ｄ］）
報酬計算部［Ｄ］は、前記状態観測部［Ａ］で観測した前記物理量のデータ、および前記報酬条件設定部［Ｃ］に設定された前記報酬条件に基づいて報酬を算出するものである。すなわち、報酬計算部［Ｄ］は、前記状態観測部［Ａ］で観測した前記物理量のデータが、前記報酬条件設定部［Ｃ］で設定された前記報酬条件の充足の成否を判断し、または報酬条件の充足・不足の程度を算出し、そしてその報酬条件の充足の成否、または充足・不足の程度に応じてあらかじめ設定された報酬を与えるように算出する。なお、報酬計算部［Ｄ］における報酬の決定方法の詳細は後述する。

報酬計算部［Ｄ］は、物理量のデータを受信可能な状態で状態観測部［Ａ］または物理量データ記憶部［Ｂ］に接続される。また、報酬計算部［Ｄ］は、報酬条件を受信可能な状態で報酬条件設定部［Ｄ］に接続される。さらに、報酬計算部［Ｄ］は、報酬を送信可能な状態で工程条件学習部［Ｅ］に接続される。

報酬計算部［Ｄ］は、例えば、前記物理量のデータにあらかじめ許容範囲が設定され、前記物理量のデータの数値が、前記許容範囲内に収まると、プラスの報酬を与えるように算出し、一方で、前記物理量のデータの数値が、前記許容範囲外になると、前記許容範囲の限界値からの前記物理量のデータの数値のずれ幅に応じてマイナスの報酬を与えるように算出することができる。

報酬計算部［Ｄ］は、例えば、良好な表面状態の画像データ、厚さのばらつきが小さいデータおよび板材のテンションのばらつきが小さいデータのうちの少なくとも１つのデータを、その寄与の程度に応じてプラスの報酬を与えるように算出する。一方で、報酬計算部［Ｄ］が、表面状態の粗い画像データ、厚さのばらつきが大きいデータおよび板材のテンションのばらつきが大きいデータのうちの少なくとも１つのデータを、その寄与の程度に応じてマイナスの報酬を与えるように算出する。

（工程条件学習部［Ｅ］）
工程条件学習部［Ｅ］は、報酬計算部［Ｄ］で算出した報酬、物理量データ、および金属材料生産部で設定されている工程条件に基づいて工程条件調整の機械学習を行うものである。このようにして、工程条件学習部［Ｅ］は、報酬計算部［Ｄ］で重みづけした報酬の計算結果と、物理量データ記憶部で記憶したデータを基に、その金属材料を生産したときの工程条件によって機械学習を行う。

工程条件学習部［Ｅ］は、物理量のデータを受信可能な状態で状態観測部［Ａ］または物理量データ記憶部［Ｂ］に接続される。また、工程条件学習部［Ｅ］は、報酬を受信可能な状態で報酬計算部［Ｄ］に接続される。さらに、工程条件学習部［Ｅ］は、学習結果を送信可能な状態で学習済み条件記憶部［Ｆ］および工程条件出力部［Ｇ］に接続される。なお、工程条件学習部［Ｅ］は、学習結果を送信可能な状態で学習済み条件記憶部［Ｆ］に受信可能な状態で報酬計算部［Ｄ］に接続されてもよい。

前記物理量データ記憶部［Ｂ］、前記報酬条件設定部［Ｃ］、前記報酬計算部［Ｄ］、前記工程条件学習部［Ｅ］および前記学習済み条件記憶部［Ｆ］の少なくともいずれか１つに、前記金属材料生産部で製造された金属材料を用いて測定した金属材料の表面状態、形状、材料強度および曲げ加工性からなる外部データとして入力し、前記工程条件学習部［Ｅ］の学習に使用することもできる。

また、下記で説明する学習済み記憶部［Ｆ］に記憶された学習結果を前記工程条件学習部［Ｅ］の学習に使用することができる。

なお、金属材料の生産時において、状態観測部［Ａ］の物理量の観測にともなう工程条件の更新は、逐次に行ってもよく、また、一定の時期に行ってもよい。

（学習済み条件記憶部［Ｆ］）
学習済み条件記憶部［Ｆ］は、前記工程条件学習部［Ｅ］で機械学習した学習結果を記憶するものである。また、好ましくは、前記工程条件学習部［Ｅ］に学習結果を送信して、反映させることができるものである。学習済み条件記憶部［Ｆ］は、例えば各種記録媒体（各種メモリ等）であってよい。また、学習済み条件記憶部［Ｆ］は、物理量データ記憶部［Ｂ］と同一のものであってもよい。

学習済み条件記憶部［Ｆ］は、学習結果を受信可能な状態で少なくとも工程条件学習部［Ｅ］に接続される。また、学習済み条件記憶部［Ｆ］は、学習結果を送信可能な状態で少なくとも工程条件学習部［Ｅ］に接続されてもよい。

学習済み条件記憶部において記憶するデータは、生産された金属材料の報酬の計算結果と、物理量データ記憶部と、その金属材料を生産したときに金属材料生産部に設定されている工程条件の対応関係であってよい。

（工程条件出力部［Ｇ］）
工程条件出力部［Ｇ］は、前記工程条件学習部［Ｅ］での前記学習結果に基づいて、前記金属材料生産部で製造される金属材料の工程条件の調整量を決定して出力するものである。

工程条件出力部［Ｇ］は、学習結果を受信可能な状態で少なくとも工程条件学習部［Ｅ］に接続される。また、工程条件出力部［Ｇ］は、工程条件の調整量を送信可能な状態で金属材料生産部の各工程の設備に接続される。

この工程条件出力部［Ｇ］は、金属材料生産部の制御ユニットと通信可能な状態で接続するなどして、前記金属材料生産部の制御ユニットに指示を出すように構成してもよい。このような構成とすることで、金属材料生産システムの自動化を達成することができる。

なお、機械学習部の状態観測部［Ａ］、物理量データ記憶部［Ｂ］、報酬条件設定部［Ｃ］、報酬計算部［Ｄ］、工程条件学習部［Ｅ］、学習済み条件記憶部［Ｆ］および工程条件出力部［Ｇ］は、各々が通信可能な状態で接続されていてよい。

〔機械学習〕
以下、本実施形態の金属材料生産システムにおける報酬条件設定部［Ｃ］、報酬計算部［Ｄ］および工程条件学習部［Ｅ］で行う機械学習について、状態価値関数と行動価値関数を使用して説明する。図３は、機械学習モデルを説明するための概略図である。

強化学習では、環境から得られる最終的な累積報酬を最大化することで学習を行う。累積報酬は下記の式で与えられる。

（ここで、Ｔは最終時刻、γは遠い将来に得られる報酬ほど割り引いて評価するための割引率であり、０≦γ≦１である。）

強化学習では、報酬を評価してその評価を最大化することで学習を行う。ここでは、現在の状態がどのくらい良いのかを測る関数として価値関数を考える。どのくらい良いのか、ということを、将来にわたって得られる報酬によって定義する。

方策πは、状態ｓ∈Ｓで行動ａ∈Ａ（ｓ）をとることであり、π（ｓ，a）と表す。
方策πのもとで、状態ｓの価値は下記の状態価値関数（ｓｔａｔｅｖａｌｕｅｆｕｎｃｔｉｏｎｆｏｒｐｏｌｉｃｙ π）で定式化できる。

状態価値関数Ｖ^π（ｓ）は、ある状態ｓがどのくらい良い状態であるのかを示す価値関数である。状態価値関数は、状態を引数とする関数として表現され、行動を繰り返す中での学習において、ある状態における行動に対して得られた報酬や、該行動により移行する未来の状態の価値などに基づいて更新される。

方策πのもとで、状態ｓにおいて行動ａをとることの価値は、下記の行動価値関数（ａｃｔｉｏｎｖａｌｕｅｆｕｎｃｔｉｏｎｆｏｒｐｏｌｉｃｙ π）によって定義できる。

行動価値関数Ｑ^π（ｓ，ａ）は、ある状態ｓにおいて行動ａがどのくらい良い行動であるのかを示す価値関数である。行動価値関数は、状態と行動を引数とする関数として表現され、行動を繰り返す中での学習において、ある状態における行動に対して得られた報酬や、該行動により移行する未来の状態における行動の価値などに基づいて更新される。

個の価値関数を記憶する方法としては、近似関数を用いる方法や、配列を用いる方法以外にも、例えば状態ｓが多くの状態をとるような場合には状態ｓ_ｔ、行動ａ_ｔを入力として価値(評価)を出力する多値出力のサポートベクターマシン（ＳＶＭ）やニューラルネットワークなどの教師あり学習器を用いるようにしてもよい。

機械学習は、以下の（１）〜（５）の繰り返しによって進められる（図４参照）。
（１）環境の状態ｓ（ｓを観測）
（２）行動ａ（観測結果と過去の学習に基づいて自分が取れる行動ａ_ｔを選択して行動ａ_ｔを実行）
（３）環境の状態ｓの変化（行動ａ_ｔが実行されることで、環境の状態ｓ_ｔが次の状態ｓ_ｔ＋１へ変化）
（４）報酬ｒ（行動ａ_ｔの結果としての状態変化に基づいて、機械学習器が報酬ｒ_ｔ＋１を受け取る）
（５）報酬ｒに基づく学習（エージェントが状態ｓ_ｔ、行動ａ_ｔ、報酬ｒ_ｔ＋１および過去の学習結果に基づいて学習を進める。）

ある環境において、学習が終了した後に、新たな環境に置かれた場合でも追加の学習を行うことでその環境に適応するように学習を進めることができる。よって、本発明のように生産設備（金属材料生産部）の最適条件の算出に適応することで、これまでにないような金属材料の厚さ、長さ、幅、硬さ、表面状態などから最適な加工条件を条件出しなどによって決める必要がなくなり、大幅な時間短縮が可能となる。

そして、以上のような金属材料生産システムにおいては、金属材料の生産時には、金属材料生産部の各工程で測定した物理量データを観測する状態観測部［Ａ］によって機械学習を行う。また、生産終了後出荷前の最終製品の引張試験の結果や表面状態からなる外部データや、出荷後の金属材料加工後の金属材料の表面状態、形状、材料強度（引張試験の結果など）および曲げ加工性からなる外部データを用いて機械学習を行う。このようにしてより多くのデータを用いることで、設備履歴と性能、表面状態などのパラメータが追加され、より最適な工程条件を算出することができ、製造時間とオフゲージが大幅に低減することができる。なお、このような場合において、物理量データや外部データは一度物理量データ記憶部［Ｂ］に保存してもよい。また、外部データは逐次にインターネットを経由して金属材料生産システムの各部で授受してもよい。

〔金属材料生産システムの動作の具体例〕
上述したＣｕ−Ｎｉ−Ｓｉ合金の工程を一例として、本実施形態の金属材料生産システムの動作をより具体的に説明する。

金属材料生産システムの導入前において、工場の作業日誌または設備の端末（検査成績のデータ）に記録したデータ、すなわち入力溶解鋳造［１］の溶解温度、均質化熱処理［２］の測定温度および保持時間、熱間圧延［３］の圧延速度および各圧延パスの圧延加工率、水焼き入れ［４］時の水の流量、面削［５］の回数および面削寸法、冷間圧延［６］の圧延加工率、圧延パス数および圧延速度、溶体化熱処理［７］の昇温速度、到達温度および冷却速度、時効析出熱処理［８］の到達温度、保持時間および冷却速度、研磨工程［９］の研磨速度および研磨紙の番手、仕上冷間圧延［１０］の加工率、圧延パス数および圧延速度、ならびに調質焼鈍［１１］の昇温速度および到達温度について、機械学習させて金属材料生産を行う。

図４に、本実施形態に係る金属材料生産部で行なわれる一連の工程を説明するための概略製造フロー図であって、冷間圧延工程と熱処理工程について、複数の工程条件から選択可能である場合を示す。溶解鋳造［１］、均質加熱処理［２］、熱間圧延［３］、水焼き入れ［４］、面削［５］の順に加工を行った後、次の工程で冷間圧延［６Ａ、６Ｂ］に進む。ここで、同じ材質であっても、設備の稼動状態や工程設計の違いで４段ロールの圧延機を使った冷間圧延［６Ａ］と、６段ロールを使った冷間圧延［６Ｂ］のいずれかを使うことになる。同じく、各冷間圧延の後の熱処理には、走間式の熱処理［７Ａ］とバッチ式の熱処理［７Ｂ］のいずれかを使うことになる。このように、同じ金属材料であっても、種々の理由にて使用する設備が異なることがある。同じ金属材料を異なる設備で加工するのに比べて、同じ設備を使用し、しかも連続して使用することで、例えば圧延機での条件出しや設定の調整の回数が少なくなるとともに、学習の機会が増加するため、大幅な時間の短縮が期待される。

次に、同一の金属材料生産システムで、上述の生産に用いたＣｕ−Ｎｉ−Ｓｉ合金とは異なる組成の銅合金を生産する場合について説明する。Ｃｕ−Ｎｉ−Ｓｉ合金を例に説明したことと同様に、工場の作業日誌または設備の端末に記録したデータ（検査成績のデータ）を学習する。このような学習を複数種の組成・添加元素の合金で繰り返すことにより、各工程の最適な工程条件を機械学習するとともに、それぞれの合金の組成・添加元素の分量をその差異的な工程条件と関連付け、その結果を工程条件学習済み記憶部［Ｆ］に記憶することができる。そして、生産開始後、合金の組成および添加元素の分量を報酬条件設定部［Ｃ］に入力し、その合金の組成および添加元素の分量のデータより、学習済み条件記憶部［Ｆ］に最も近い学習済み工程条件を呼び出す。学習済み条件記憶部から生産条件をオフラインまたはオンラインのいずれかで各設備に指示し、工程条件をセットし、金属材料生産を行う。

繰り返し述べているとおり、金属材料生産において、他の製品ロットの金属材料生産を同時に行う場合、工程の数や順序はそれらの納期や技術的困難性などとの兼ね合いで変更することがある。具体的に、ロットＸを上述した工程で生産するに際し、短納期のロットＹや、金属材料生産部が製造可能な板厚のうち下限付近のロットＺも同時に生産する必要が生じた場合について説明する。例えば、ロットＸの冷間圧延［６］を、ロットＹやロットＺの後にするか、別の圧延機で冷間圧延［６］を行うかを判断する必要がある。その際に、本実施形態に係る金属材料生産システムでは、各金属材料の生産の進行状況を状態観測部［Ａ］で読み取り、報酬計算部［Ｄ］および工程条件学習部［Ｅ］に伝達する。報酬計算部［Ｄ］では、良好な進行状況であればプラスの報酬を与えるように算出し、工程条件学習部［Ｅ］に送信する。工程条件学習部［Ｅ］では、報酬、良好な進捗状況および冷間圧延［６］を行ったときに設定されている工程条件（工程の数や順序）に基づいて機械学習を行い、最適化する。そしてこの最適化後の工程条件を、金属材料生産部にフィードバックし、次の製造ロットから工程条件を最適化する。ここで、工程条件学習部［Ｅ］においては、金属材料の表面状態、形状、材料強度（引張試験の結果など）、曲げ加工性からなる外部データをさらに用いてもよい。

＜金属材料生産方法＞
本実施形態の金属材料生産方法は、金属材料を生産するに際し、状態観測部［Ａ］により、実行中の金属材料生産に関する物理量を観測する工程と、物理量データ記憶部［Ｂ］に物理量をデータとして記憶する工程と、報酬条件設定部［Ｃ］により、機械学習における報酬条件を設定する工程と、報酬計算部［Ｄ］により、状態観測部［Ａ］で観測した物理量のデータ、および報酬条件設定部［Ｃ］に設定された報酬条件に基づいて報酬を算出する工程と、工程条件学習部［Ｅ］により、報酬計算部［Ｄ］が算出した報酬、物理量データ、および金属材料生産部に設定されている工程条件に基づいて工程条件調整の機械学習を行う工程と、学習済み条件記憶部［Ｆ］に工程条件学習部［Ｅ］で機械学習した学習結果を記憶する工程と、工程条件出力部［Ｇ］により、工程条件学習部［Ｅ］での学習結果に基づいて、金属材料生産部を構成する各設備の工程条件の調整量を決定して出力する工程と、を備えることを特徴とするものである。

すなわち、このような金属材料生産方法によれば、上記の金属材料生産システムにより、金属材料の生産工程において、金属材料の最適な工程条件を決定することができ、人間による工程条件の調整の手間を抑制することができる。また、条件出し作業が少なくなることから、金属材料の原料のロスが低減され、また、製造される金属材料の物性のばらつきも小さくなるため、コスト面での利点も非常に大きい。

次に、本発明の効果をさらに明確にするために、本発明例について説明するが、本発明はこれら実施例に限定されるものではない。

金属材料メーカーＡ社では、図２に示す金属材料生産部を用いてＣｕ−Ｎｉ−Ｓｉ合金を断続的に製造している。Ｃｕ−Ｎｉ−Ｓｉ合金の生産工程は、まずＣｕに対してＮｉを１．０〜５．０質量％、Ｓｉを０．２５〜１．２５質量％添加して、溶解鋳造［１］し、その後、保持温度９００℃以上で均質化熱処理［２］を行う。次いで、熱間圧延［３］を行い、鋳塊の約１／１０の板厚に圧延後、水焼き入れ［４］する。次に、表面の酸化膜を除去する面削［５］を行った後、合計の加工率が７０％以上となるよう冷間圧延［６］し、保持温度７００〜１０００℃で１秒〜６０分の溶体化熱処理［７］を施して急冷を行う。次に、保持温度４００〜６００℃で１０分〜１２時間の時効析出熱処理［８］を行い、析出強化を行う。その度、表面の酸洗および研磨工程［９］、仕上冷間圧延［１０］、調質焼鈍［１１］の順に行い、０．０５〜０．８ｍｍ程度の板厚に仕上げて金属材料製品とする。金属材料メーカーＡ社では、熱間圧延［３］、冷間圧延［６］、溶体化熱処理［７］、時効析出熱処理［８］および研磨工程［９］、調質焼鈍［１１］の各工程については、順序を変更することができる。このうち、冷間圧延［３］、時効析出熱処理［８］および調質焼鈍［１１］の各工程については、複数回行ってもよい。さらに、研磨工程［９］については、省略してもよい。

Ａ社は、このＣｕ−Ｎｉ−Ｓｉ合金以外にも同一の設備で複数のＣｕ系合金を製造しており、Ｃｕ−Ｎｉ−Ｓｉ合金の製造開始にあたっては、都度、製造工程の条件出し作業を行っている。

本発明の金属材料生産システムの導入前、Ａ社では、製造工程の条件出し作業として、オペレータが当該Ｃｕ−Ｎｉ−Ｓｉ合金および並行して生産する他のＣｕ系合金のそれぞれの納期や、生産の困難性を考慮して、自己の経験に基づき、熱間圧延［３］、冷間圧延［６］、溶体化熱処理［７］、時効析出熱処理［８］、研磨工程［９］および調質焼鈍［１１］の各工程の順序などの工程条件を決定していた。この場合における、Ｃｕ−Ｎｉ−Ｓｉ合金の製造開始から出荷までの合計時間は平均して９日間であった。また、各設備での条件出し時に発生する材料の端部の材料ロス（オフゲージ）は平均して１０％であった。さらに、オペレータにより工程条件に大きな差異が生じていた。

その後、金属材料メーカーＡ社では、本発明の金属材料生産システムを導入した。この金属材料生産システムでは、外部データを使用せずに、これまでの工場の作業日誌または設備の端末に記録したデータ、すなわち入力溶解鋳造［１］の溶解温度、均質化熱処理［２］の測定温度と保持時間、熱間圧延［３］の圧延速度と各圧延パスの圧延加工率、水焼き入れ［４］時の水の流量、面削［５］の回数と面削寸法、冷間圧延［６］の圧延加工率と圧延パス数、圧延速度、溶体化熱処理［７］の昇温速度、到達温度、冷却速度、時効析出熱処理［８］の到達温度、保持時間、冷却速度、研磨工程［９］の研磨速度、研磨紙の番手、仕上冷間圧延［１０］の圧延加工率と圧延パス数、圧延速度および調質焼鈍［１１］の昇温速度と到達温度について、機械学習させた。工程条件学習済み記憶部から生工程条件をオンラインで各設備に指示し、条件をセットし、金属材料生産を行った。

この結果、製造工程の条件出し作業としての、熱間圧延工程や冷間圧延工程の条件についてオペレータによる目視での確認作業や台帳を見て過去の条件との詳細な確認作業、手作業による圧延ロールギャップや焼鈍速度の調整、熱間圧延時の圧延速度と圧延加工率の条件についての検出器による確認作業が短縮され、Ｃｕ−Ｎｉ−Ｓｉ合金の製造開始から出荷までの合計時間は平均して７日間に短縮された。また、各設備での条件出し時に発生する材料の端部の材料ロス（オフゲージ）が６％に減少した。さらに、オペレータにより工程条件に大きな差異が生じなかった。

その後、金属材料メーカーＡ社では、さらに金属材料の表面、金属材料の形状、材料強度および曲げ加工性のデータを外部データとして用いて、金属材料の生産を行なった。この結果、製造工程の条件出し作業としての、Ｃｕ−Ｎｉ−Ｓｉ合金の製造開始から出荷までの合計時間は平均して４日間に短縮された。また、各設備での条件出し時に発生する材料の端部の材料ロス（オフゲージ）が４％に減少した。さらに、オペレータにより工程条件に大きな差異が生じなかった。

Claims

金属材料生産部と機械学習部とを有する金属材料生産システムであって、
前記機械学習部は、
前記金属材料生産部において実行中の金属材料生産に関する物理量を観測する状態観測部［Ａ］と、
前記状態観測部［Ａ］で観測した前記物理量を、データとして記憶する物理量データ記憶部［Ｂ］と、
機械学習における報酬条件を設定する報酬条件設定部［Ｃ］と、
前記状態観測部［Ａ］で観測した前記物理量のデータ、および前記報酬条件設定部［Ｃ］で設定された前記報酬条件に基づいて報酬を算出する報酬計算部［Ｄ］と、
前記報酬計算部［Ｄ］で算出した前記報酬、前記物理量データ、および前記金属材料生産部で設定されている工程条件に基づいて工程条件調整の機械学習を行う工程条件学習部［Ｅ］と、
前記工程条件学習部［Ｅ］で機械学習した学習結果を記憶する学習済み条件記憶部［Ｆ］と、
前記工程条件学習部［Ｅ］での前記学習結果に基づいて、前記金属材料生産部を構成する各設備の工程条件の調整量を決定して出力する工程条件出力部［Ｇ］と、を備えることを特徴とする、金属材料生産システム。
前記物理量データ記憶部［Ｂ］、前記報酬条件設定部［Ｃ］、前記報酬計算部［Ｄ］、前記工程条件学習部［Ｅ］および前記学習済み条件記憶部［Ｆ］に、前記金属材料生産部で製造された金属材料を用いて測定した金属材料の表面状態、形状、材料強度および曲げ加工性からなる外部データとして入力し、前記工程条件学習部［Ｅ］の学習に使用することを特徴とする請求項１に記載の金属材料生産システム。
前記学習済み記憶部［Ｆ］に記憶された学習結果を前記工程条件学習部［Ｅ］の学習に使用することを特徴とする、請求項１または２に記載の金属材料生産システム。
前記工程条件学習部［Ｅ］で学習した結果を、前記工程条件出力部［Ｇ］に反映させて、前記金属材料生産部の制御ユニットに指示を出すことを特徴とする、請求項１〜３のいずれか１つに記載の金属材料生産システム。
前記報酬計算部［Ｄ］は、良好な表面状態の画像データ、厚さのばらつきが小さいデータおよび良好な進捗状況のデータのうちの少なくとも１つのデータを、その寄与の程度に応じてプラスの報酬を与えるように算出することを特徴とする、請求項１〜４のいずれか１つに記載の金属材料生産システム。
前記報酬計算部［Ｄ］は、表面状態の粗い画像データ、厚さのばらつきが大きいデータおよび良好でない進捗状況のデータのうちの少なくとも１つのデータを、その寄与の程度に応じてマイナスの報酬を与えるように算出することを特徴とする、請求項１〜５のいずれか１つに記載の金属材料生産システム。
前記報酬計算部［Ｄ］は、前記物理量のデータにあらかじめ許容範囲が設定され、前記物理量のデータの数値が、前記許容範囲内に収まると、プラスの報酬を与えるように算出することを特徴とする、請求項１〜６のいずれか１つに記載の金属材料生産システム。
前記報酬計算部［Ｄ］は、前記物理量のデータにあらかじめ許容範囲値が設定され、前記物理量のデータの数値が、前記許容範囲外になると、前記許容範囲の限界値からの前記物理量のデータの数値のずれ幅に応じてマイナスの報酬を与えるように算出することを特徴とする、請求項１〜７のいずれか１つに記載の金属材料生産システム。
金属材料を生産するに際し、
状態観測部［Ａ］により、実行中の金属材料生産に関する物理量を観測する工程と、
物理量データ記憶部［Ｂ］に前記物理量をデータとして記憶する工程と、
報酬条件設定部［Ｃ］により、機械学習における報酬条件を設定する工程と、
報酬計算部［Ｄ］により、前記状態観測部［Ａ］で観測した前記物理量のデータ、および前記報酬条件設定部［Ｃ］で設定された前記報酬条件に基づいて報酬を算出する工程と、
工程条件学習部［Ｅ］により、前記報酬計算部［Ｄ］が算出した前記報酬、前記物理量データ、および前記金属材料生産部で設定されている工程条件に基づいて工程条件調整の機械学習を行う工程と、
学習済み条件記憶部［Ｆ］に前記工程条件学習部［Ｅ］で機械学習した学習結果を記憶する工程と、
工程条件出力部［Ｇ］により、前記工程条件学習部［Ｅ］での前記学習結果に基づいて、前記金属材料生産部を構成する各設備の工程条件の調整量を決定して出力する工程と、を備えることを特徴とする、金属材料生産方法。