JP2020182966A - 判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体 - Google Patents

判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体 Download PDF

Info

Publication number
JP2020182966A
JP2020182966A JP2019088664A JP2019088664A JP2020182966A JP 2020182966 A JP2020182966 A JP 2020182966A JP 2019088664 A JP2019088664 A JP 2019088664A JP 2019088664 A JP2019088664 A JP 2019088664A JP 2020182966 A JP2020182966 A JP 2020182966A
Authority
JP
Japan
Prior art keywords
image
model
welding
determination
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019088664A
Other languages
English (en)
Other versions
JP7357463B2 (ja
Inventor
哲男 坂井
Tetsuo Sakai
哲男 坂井
泰佑 鷲谷
Taisuke Washiya
泰佑 鷲谷
康友 塩見
Yasutomo Shiomi
康友 塩見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2019088664A priority Critical patent/JP7357463B2/ja
Priority to US16/854,981 priority patent/US11216934B2/en
Priority to DE102020205295.6A priority patent/DE102020205295A1/de
Priority to CN202010376107.1A priority patent/CN112001876A/zh
Publication of JP2020182966A publication Critical patent/JP2020182966A/ja
Application granted granted Critical
Publication of JP7357463B2 publication Critical patent/JP7357463B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Arc Welding Control (AREA)
  • Laser Beam Processing (AREA)
  • Image Processing (AREA)

Abstract

【課題】判定の精度を向上できる、判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体を提供する。【解決手段】実施形態に係る判定装置は、処理部を備える。処理部は、溶接時の溶接箇所を撮影した第1画像が入力されると、画像が適切か判定するための第1モデルに前記第1画像を入力する。処理部は、前記第1モデルによって前記第1画像が適切と判定されたときには、前記第1画像を用いて溶接の適否を判定し、前記第1モデルによって前記第1画像が不適切と判定されたときには、前記溶接箇所の撮影条件を補正するための情報を出力する。【選択図】図1

Description

本発明の実施形態は、判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体に関する。
溶接の質を判定する判定装置がある。判定の精度は、高いことが望ましい。
特開2018−192524号公報
本発明が解決しようとする課題は、判定の精度を向上できる、判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体を提供することである。
実施形態に係る判定装置は、処理部を備える。処理部は、溶接時の溶接箇所を撮影した第1画像が入力されると、画像が適切か判定するための第1モデルに前記第1画像を入力する。処理部は、前記第1モデルによって前記第1画像が適切と判定されたときには、前記第1画像を用いて溶接の適否を判定し、前記第1モデルによって前記第1画像が不適切と判定されたときには、前記溶接箇所の撮影条件を補正するための情報を出力する。
実施形態に係る判定装置を備えた溶接システムの構成を例示する模式図である。 実施形態に係る判定装置の機能構成を例示する模式図である。 実施形態に係る溶接システムの動作を例示するフローチャートである。 第1実施例における溶接工程を例示する模式図である。 第1実施例において得られる画像の一例である。 第1実施例において得られる画像の一例である。 第2実施例における溶接工程を例示する模式図である。 第2実施例において得られる画像の一例である。 第3実施例における溶接工程を例示する模式図である。 第3実施例において得られる画像の一例である。 第3実施例において得られる画像の一例である。 実施形態の第1変形例に係る判定装置の機能構成を例示する模式図である。 実施形態の第2変形例に係る判定装置の機能構成を例示する模式図である。 実施形態の第2変形例に係る判定装置による処理を例示する画像である。 実施形態の第2変形例に係る判定装置による処理を例示する画像である。 実施形態の第2変形例に係る判定装置による処理を例示する画像である。 実施形態の第3変形例に係る判定装置の機能構成を例示する模式図である。 実施形態の第3変形例に係る判定装置による処理を例示する画像である。 実施形態の第3変形例に係る判定装置による処理を例示する画像である。 実施形態の第3変形例に係る判定装置による処理を例示する画像である。 実施形態の第3変形例に係る判定装置による処理を例示する画像である。 実施形態の第3変形例に係る判定装置による処理を例示する画像である。 実施形態の第3変形例に係る判定装置による処理を例示する画像である。 実施形態に係る判定装置を備えた別の溶接システムを例示する模式図である。 学習装置の動作を例示するフローチャートである。 実施形態に係る判定装置のハードウェア構成を例示する模式図である。
以下に、本発明の各実施形態について図面を参照しつつ説明する。
図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
図1は、実施形態に係る判定装置を備えた溶接システムの構成を例示する模式図である。
溶接システム1は、判定装置10、溶接装置20、及び記憶装置30を備える。
溶接装置20は、2つ以上の部材を溶接して一体化する。溶接装置20は、例えば、アーク溶接又はレーザ溶接を実行する。アーク溶接は、具体的には、Tungsten Inert Gas(TIG)溶接、Metal Inert Gas(MIG)溶接、Metal Active Gas(MAG)溶接、又は炭酸ガスアーク溶接などである。ここでは、主に、溶接装置20がTIG溶接を行う例について説明する。
溶接装置20は、例えば、ヘッド21、アーム22、電力供給部23、ガス供給部24、ワイヤ25、撮像部26、照明部27、及び制御部28を含む。
ヘッド21には、タングステン製の電極21aが設けられている。電極21aの先端は、ヘッド21から露出している。例えば、ヘッド21は、複数のリンクを含む多関節のアーム22に取り付けられる。又は、ヘッド21は、作業者が把持する溶接トーチに設けられても良い。
電力供給部23は、電極21a及び溶接対象Sと電気的に接続される。電力供給部23によって電極21aと溶接対象Sとの間に電圧が印加され、アーク放電が生じる。電極21a及び溶接対象Sの一方が共通電位(例えばグランド電位)に設定され、電力供給部23は電極21a及び溶接対象Sの他方の電位のみを制御しても良い。
ガス供給部24は、ヘッド21に接続される。ガス供給部24は、ヘッド21に不活性ガスを供給する。又は、ガス供給部24は、不活性ガスと活性ガスの混合ガスを供給しても良い。ヘッド21に供給されたガスは、電極21aが露出したヘッド21の先端から、溶接対象Sに向けて吹き付けられる。
ワイヤ25の先端は、アーク放電が生じている空間に配される。アーク放電によりワイヤ25の先端が溶融し、溶接対象Sに滴下する。溶融したワイヤ25が凝固することで、溶接対象Sが溶接される。ワイヤ25は、例えば、アーム22に対して固定され、溶融の進行に合わせて自動で供給される。
撮像部26は、溶接時に、溶接が行われている箇所を撮影する。撮像部26は、溶接箇所を撮影して静止画を取得する。又は、撮像部26は、動画を撮影しても良い。撮像部26は、動画の一部を切り出して静止画を取得する。撮像部26は、例えば、CCDイメージセンサ又はCMOSイメージセンサを含むカメラである。
照明部27は、撮像部26によってより鮮明な画像が得られるように、溶接時の溶接箇所を照らす。溶接箇所を照らさなくても後述する判定に使用できる画像が得られるのであれば、照明部27は設けられていなくても良い。
制御部28は、溶接装置20の上述した各構成要素の動作を制御する。例えば、制御部28は、アーム22を駆動させながらアーク放電を発生させ、溶接対象Sを所定の方向に沿って溶接していく。また、制御部28は、撮像部26の設定、照明部27の設定などを制御しても良い。
制御部28は、撮像部26が取得した画像を記憶装置30に記憶する。例えば、制御部28は、撮影した画像と、撮影時の溶接条件と、撮影時の撮影条件と、を関連付けて記憶装置30に記憶する。
溶接条件は、例えば、印加電圧、ガス流量、電流値、ワイヤ供給速度、又は溶接速度を含む。撮影条件は、例えば、露光時間、絞り、又は感度(ISO)などの撮像部26の設定を含む。撮影条件は、照明部27の設定を含んでも良い。例えば、照明部27へパルス電流が供給されるときには、撮影条件は、パルス幅、パルス周波数、デューティ比、又はピーク値をさらに含む。なお、ここでは、複数の項目が「又は」によって接続されて列挙されているときには、それらの項目の全てが含まれても良いし、それらの項目の一部のみが含まれても良いことを意味する。
図2は、実施形態に係る判定装置の機能構成を例示する模式図である。
判定装置10は、処理部11を含む。処理部11は、例えば、入力部11a、第1判定部11b、抽出部11c、第2判定部11d、及び出力部11eを含む。
判定装置10は、溶接装置20及び記憶装置30と有線接続又は無線接続される。判定装置10は、溶接装置20及び記憶装置30とネットワークを介して接続されても良い。判定装置10、溶接装置20、及び記憶装置30が、1つの装置に組み込まれても良い。
入力部11aは、記憶装置30にアクセスし、記憶装置30に記憶された画像IMを取得する。又は、制御部28から処理部11へ、画像が直接送信されても良い。入力部11aは、制御部28から送られたデータを受け付ける。
入力部11aに溶接時の画像が入力されると、第1判定部11bは、学習済みの第1モデルM1を参照する。第1モデルM1は、溶接時に撮影された画像が適切か判定するために用いられる。第1判定部11bは、学習済みの第1モデルM1に画像を入力し、画像が適切か判定する。第1モデルM1によって画像が不適切と判定されるとき、第1モデルM1は、撮影条件を補正するための情報をさらに出力する。
例えば、第1モデルM1は、ニューラルネットワークである。第1モデルM1は、学習データを用いて予め学習される。学習データは、溶接時に撮影された複数の画像と、複数のラベルと、を含む。複数のラベルは、複数の画像が適切かどうかをそれぞれ示す。また、複数のラベルは、適切では無い画像について、それらの画像がどのように不適切かを示す。
例えば、第1モデルM1によって画像が暗すぎ又は明るすぎないか判定される。第1モデルM1によって画像が暗すぎる又は明るすぎると判定されると、第1判定部11bは、そのことを示す情報を出力する。第1モデルM1は、より適切な画像を撮影するための、撮影条件の具体的な補正量を出力しても良い。
一例として、第1モデルM1によって、画像が明るすぎると判定され、そのことを示す情報が出力される。出力部11eは、その情報を制御部28へ送信する。制御部28は、情報を受信すると、画像がより暗くなるように、撮影条件を変更する。例えば、制御部28は、露光時間の短縮、絞りの増大、感度の低減、パルス幅の短縮、パルス周波数の低減、デューティ比の低減、又はピーク値の低減を実行する。制御部28は、変更した撮影条件で、再度、溶接時の溶接個所を撮影する。
第1モデルM1によって画像が適切と判定されると、抽出部11cは、学習済みの第2モデルM2を参照する。第2モデルM2は、画像から溶接に関する特徴を抽出するために用いられる。例えば、第2モデルM2は、ニューラルネットワークである。第2モデルM2は、学習データを用いて予め学習される。学習データは、適切な複数の画像と、それらの画像に基づく特徴をそれぞれ示す複数の画像と、を含む。
抽出部11cは、学習済みの第2モデルM2に画像を入力し、溶接に関する特徴を抽出する。特徴が抽出されると、第2判定部11dは、学習済みの第3モデルM3を参照する。第3モデルM3は、溶接が適切か判定するために用いられる。第3モデルM3は、記憶装置30又は他の記憶装置に記憶される。第2判定部11dは、特徴を示す画像を第3モデルM3に入力し、その画像が示す溶接が適切か判定する。
例えば、第3モデルM3は、ニューラルネットワークである。第3モデルM3は、学習データを用いて予め学習される。学習データは、溶接に関する特徴を示す複数の画像と、それらの画像に示される溶接の適否をそれぞれ示す複数のラベルと、を含む。
第3モデルM3は、溶接が不適切と判定されるときに、溶接条件の補正量をさらに出力しても良い。この場合、学習データの各ラベルは、溶接の適否を示すとともに、不適切な溶接について補正量を示す。補正量が示されたラベルを用いて学習させることで、第3モデルM3から溶接条件の補正量を出力できるようになる。
又は、第3モデルM3は、溶接の適否では無く、補正量のみを出力するように学習されても良い。この場合、第3モデルM3によって出力された補正量がゼロ又は微小であるときは、第3モデルM3によって溶接が適切と判定されているとみなすことができる。
出力部11eは、第2判定部11dによる判定結果を外部に出力する。例えば、第3モデルM3によって補正量が出力されるとき、出力部11eは、その補正量を制御部28へ送信する。制御部28は、補正量に応じて、溶接条件を変更する。
一例として、溶接の位置が標準の位置からずれているときには、第3モデルM3によってその溶接は不適切と判定される。溶接の位置は、電極21aの位置に対応する。この場合、第3モデルM3は、より適切な溶接のために、電極21aの位置の補正量を出力する。
出力部11eは、判定結果と、判定に用いられた画像が得られたときの溶接条件と、を関連付けても良い。出力部11eは、関連付けた情報INを記憶装置30に記憶する。例えば、溶接装置20は、溶接時に、記憶装置30の情報INを参照する。溶接装置20は、情報INに基づいて、より適切な溶接を実行できるように、溶接条件を調整する。
例えば、記憶装置30には、複数の判定結果と、複数の溶接条件と、がそれぞれ関連付けられて記憶される。このような関連付けられた情報の集合は、プロセスマップと呼ばれる。判定結果と溶接条件が蓄積されていくことで、溶接装置20により実行される溶接の質を向上させることができる。
実施形態の効果を説明する。
アーク溶接及びレーザ溶接では、溶接時に局所的に強い光が発生する。このため、撮影条件を適切に設定しないと、溶接の適否の判定に使用できる画像が得られない。また、開先幅、開先の形状、開先中の溶接位置、隅肉溶接時の部材形状などの溶接時の状況に応じても、得られる画像が変化する。従って、撮影された画像にばらつきが生じやすい。例えば、撮影された画像が明るすぎると、溶接の様子が画像に十分に表れず、画像に基づく溶接の適否を判定できない。
この課題について、実施形態では、判定装置10の処理部11が、撮像部26により撮影された画像が適切か、第1モデルを用いて判定する。これにより、第1モデルによって適切と判定された画像のみを用いて、溶接の適否を判定できる。例えば、明るすぎる又は暗すぎる画像は、溶接の適否の判定に使用されない。この結果、溶接の適否をより精度良く判定できる。
さらに、処理部11は、第1モデルによって画像が不適切と判定されたときに、撮影条件を補正するための情報を出力する。この情報に基づいて、撮像部26による撮影条件が補正される。これにより、溶接の適否の判定に有用な画像が得られ易くなる。
また、処理部11は、第1モデルによって画像が適切と判定されたときに、第2モデルを用いて、画像から溶接に関する特徴を抽出する。処理部11は、抽出された特徴を用いて溶接の適否を判定する。具体的には、処理部11は、抽出された特徴を第3モデルに入力することで、特徴で示される溶接の適否を判定する。この方法によれば、画像全体に基づいて溶接の適否を判定する場合に比べて、判定の精度を向上させることができる。
別の判定方法の例として、以下の方法がある。
記憶装置30には、良好な溶接時の様子を予め撮影した比較画像が記憶される。処理部11は、第1モデルによって画像が適切と判定されると、その画像と、比較画像と、を比べる。例えば、処理部11は、それらの画像の類似性が高いとき、溶接が良好と判定する。類似性は、特徴量の差で表すことができる。処理部11は、特徴量の差と予め設定された閾値とを比較することで、溶接の適否を判定する。
この方法によっても、溶接の適否を判定することが可能である。ただし、より望ましくは、処理部11は、第2モデル及び第3モデルを用いて溶接の適否を判定する。第2モデルにより、画像から溶接に関する特徴が抽出されることで、溶接の適否をより精度良く判定できる。
図3は、実施形態に係る溶接システムの動作を例示するフローチャートである。
まず、撮像部26が、溶接時の溶接箇所を撮影し、画像(第1画像)を取得する(ステップS1)。処理部11の第1判定部11bは、第1モデルを用いて、画像が適切か判定する(ステップS2)。画像が不適切であるとき、出力部11eから制御部28へ情報が送信され、撮影条件が補正される(ステップS3)。
画像が適切であるとき、抽出部11cは、第2モデルを用いて画像から溶接に関する特徴(第1特徴)を抽出する(ステップS4)。第2判定部11dは、第3モデルを用いて、その特徴で示される溶接の適否を判定する(ステップS5)。溶接が不適切であるとき、出力部11eから制御部28へ情報が送信され、溶接条件が補正される(ステップS6)。
溶接が適切と判定されたとき、又は溶接条件を補正した後、出力部11eは、情報を出力する(ステップS7)。例えば、出力部11eは、撮影された画像、撮影時の溶接条件、及び撮影時の撮影条件に、判定結果を関連付けて記憶装置30に記憶する。
(第1実施例)
図4は、第1実施例における溶接工程を例示する模式図である。
図5(a)〜図5(i)、図6(a)、及び図6(b)は、第1実施例において得られる画像の一例である。
第1実施例では、図4に表した第1部材91aと第2部材92aをTIG溶接する。第1部材91aは、開先に設けられた第1壁面SW1を有する。第2部材92aは、開先に設けられた第2壁面SW2を有する。
第1壁面SW1と第2壁面SW2の間に電極21aの先端及びワイヤ25の先端を配し、アーク放電を発生させる。ワイヤ25が溶融し、溶融池WPが形成される。溶融池WPが凝固することで、第1部材91aと第2部材92aが溶接される。
撮像部26は、図4に表した溶接時の様子を、溶融池WP、電極21aの先端、及びワイヤ25の先端が見える角度から撮影する。撮像部26により画像が取得されると、処理部11の第1判定部11bは、第1モデルを用いて画像が適切か判定する。
図5(a)〜図5(c)は、暗すぎると判定された画像の例である。図5(d)〜図5(f)は、適切と判定された画像の例である。図5(g)〜図5(i)は、明るすぎると判定された画像の例である。
図5(a)〜図5(c)に表した画像が第1モデルに入力されると、第1モデルは、画像が不適切であることを示す判定結果とともに、画像をより明るくするための撮影条件の補正量を出力する。図5(g)〜図5(i)に表した画像が第1モデルに入力されると、第1モデルは、画像が不適切であることを示す判定結果とともに、画像をより暗くするための撮影条件の補正量を出力する。
図6(a)は、第1モデルによって適切と判定された画像を表している。抽出部11cは、図6(a)に表した画像を第2モデルに入力する。この結果、図6(b)の画像中の破線BL及び点線DLで示す線分が特徴として抽出される。図6(b)の例では、抽出された線分を、図6(a)の画像に重ねて表示されている。この例に限らず、第2モデルM2は、元の画像を含まず、且つ抽出された線分のみを含む画像を出力しても良い。
図6(b)に表した画像において、破線BLは、それぞれ、第1壁面SW1及び第2壁面SW2に対応する。点線DLは、溶融池WPの端部に対応する。第2判定部11dは、図6(b)に表した画像を第3モデルに入力し、溶接の適否を判定する。
図6(b)に表した画像では、点線DLの両端が、それぞれ破線BLに接している。これは、第1壁面SW1と第2壁面SW2との間の中央で溶接が行われていることを意味する。例えば、図6(b)の画像で示される溶接は、適切と判定される。
一方、点線DLの端部が破線BLから離れている、又は破線BL同士を結ぶ方向において点線DLの中央が破線BL同士の中心から外れていると、その溶接は不適切と判定される。例えば、第3モデルは、適切な位置で溶接されるように、電極21aの移動量を出力する。
(第2実施例)
図7は、第2実施例における溶接工程を例示する模式図である。
図8(a)及び図8(b)は、第2実施例において得られる画像の一例である。
第2実施例では、図7に表した第1部材91bと第2部材92bをMIG溶接する。第1部材91b及び第2部材92aは、開先に設けられた第1壁面SW1及び第2壁面SW2をそれぞれ有する。
ワイヤ25の先端は、電極21aから引き出され、第1壁面SW1と第2壁面SW2の間に配される。ワイヤ25と溶接対象との間でアーク放電を発生させ、ワイヤ25を溶融させる。これにより、溶融池WPが形成され、第1部材91bと第2部材92bが溶接される。
撮像部26は、図7に表した溶接時の様子を、溶融池WP及びワイヤ25の先端が見える角度から撮影する。図8(a)は、第1モデルによって適切と判定された画像を表している。抽出部11cは、図8(a)に表した画像を第2モデルに入力する。この結果、図8(b)の画像中の破線BL、点線DL、及び鎖線CLで示す線分が特徴として抽出される。
図8(b)に表した画像において、破線BLは、それぞれ、第1壁面SW1及び第2壁面SW2に対応する。点線DLは、溶融池WPの端部に対応する。鎖線CLは、ワイヤ25の先端に対応する。第2判定部11dは、図8(b)に表した画像を第3モデルに入力し、溶接の適否を判定する。
図8(b)に表した画像では、破線BL同士を結ぶ方向において、点線DLが破線BL同士の間の中央に位置している。例えば、図8(b)の画像で示される溶接は、適切と判定される。
(第3実施例)
図9は、第3実施例における溶接工程を例示する模式図である。
図10(a)〜図10(d)、図11(a)、及び図11(b)は、第3実施例において得られる画像の一例である。
第3実施例では、図9に表した第1部材91cと第2部材92cをレーザ溶接する。第1部材91c及び第2部材92cは、互いに接して設けられ、その接触部分にレーザLが照射される。
レーザLが照射されると、第1部材91c及び第2部材92cが溶融し、溶融池WPが形成される。溶融池WPが冷却されると、凝固層SLが形成される。第1部材91cと第2部材92cの接触部分に順次レーザLを照射することで、第1部材91cと第2部材92cが溶接される。
撮像部26は、図9に表した溶接時の様子を、溶融池WP及びレーザLの照射点が見える角度から撮影する。例えば、撮像部26は、図10(a)に表した画像を取得する。第1判定部11bは、図10(a)に表した画像を第1モデルに入力し、適切か判定する。
例えば、図10(a)に表した画像は、暗すぎるために不適切と判定される。出力部11eは、画像がより明るくなるように、撮影条件の補正量を制御部28へ送信する。
変更された撮影条件にて、撮像部26は、溶接時の様子を再度撮影する。例えば、撮像部26は、図10(b)に表した画像を取得する。第1判定部11bは、図10(b)に表した画像を第1モデルM1に入力し、適切か再度判定する。
第1モデルM1は、画像の一部に基づいてその画像が適切か判定するように学習されても良い。図10(c)及び図10(d)は、撮像部26が取得した画像の一例である。図10(c)及び図10(d)において、右側の暗い部分は、溶融池(液体)である。その他の明るい部分は、部材及び凝固層(固体)である。
例えば、第1モデルによる判定には、画像のコントラストが影響する。画像における最大輝度と最小輝度の差に応じて、画像が明るすぎる又は暗すぎると判定される。画像においては、溶融池が鮮明に写されていることが望ましい。従って、溶融池の部分に基づく最小輝度と、その他の固体部分に基づく最大輝度と、から画像が適切か判定されることが望ましい。
例えば図10(c)の破線BLで表したように、溶融池の一部と固体部分の一部の両方を含む画像の一部分のみに基づいて画像が適切か判定することが望ましい。こうすることで、画像に含まれる意図しない黒点又は白点によって、画像の判定の精度が低下することを抑制できる。
また、図10(c)及び図10(d)に表したように、溶融池のサイズ及び位置は画像ごとに変化しうる。このため、第1モデルM1は、判定に用いる部分を画像ごとに抽出できるように学習されていることが望ましい。例えば、図10(d)に表した画像では、破線BLの位置及び大きさが、図10(c)における破線BLの位置及び大きさと異なる。
図11(a)は、上述した処理を経て、モデルM1によって適切と判定された画像を表している。抽出部11cは、図11(a)に表した画像を第2モデルに入力する。この結果、図11(b)の画像中の破線BL、点線DL、及び鎖線CLで示す線分が特徴として抽出される。
図11(b)に表した画像において、破線BLは、凝固層SLの外縁に対応する。点線DLは、溶融池WPの外縁に対応する。鎖線CLは、レーザLの照射点の外縁に対応する。第2判定部11dは、図11(b)に表した画像を第3モデルに入力し、溶接の適否を判定する。
図11(b)に表した画像では、鎖線CLの形状が真円に近いため、溶接は適切と判定される。この他に、鎖線CLのサイズ又は形状の時間ごとの変化、点線DLの所定方向における長さの時間ごとの変化、破線BL同士の距離の時間ごとの変化、1つの画像における破線BL同士の距離の変化などに基づいて、溶接の適否が判定されても良い。
時間の経過に伴う変化に基づいて溶接の適否を判定する場合、第3モデルM3もそれに応じて学習される。この場合、例えば、第3モデルM3は、再帰型ニューラルネットワーク(RNN)である。望ましくは、第3モデルM3は、Long Short-Term Memory(LSTM)構造を有する。例えば、第3モデルM3は、時系列データと、その時系列データの適否を示すラベルと、を用いて学習される。
(第1変形例)
図12は、実施形態の第1変形例に係る判定装置の機能構成を例示する模式図である。
第1変形例に係る判定装置10aにおいて、処理部11は、抽出部11cを含まない。第1モデルM1によって画像が適切と判定されると、第2判定部11dは、記憶装置30に記憶された第3モデルM3を用いて、画像から直接溶接の適否を判断する。また、第3モデルM3からは、溶接が不適切と判定されたときに、溶接条件の補正量が出力される。
このように、第1変形例に係る判定装置10aでは、特徴が抽出されず、第1モデルM1によって適切と判定された画像から、第3モデルM3によって溶接の適否が直接判定される。このため、図2に表した判定装置10に比べて、計算量を低減できる。一方、図2に表した判定装置10では、画像からの特徴の抽出及び溶接の判定が異なるモデルを用いて実行される。このため、処理部11からの出力に異常が生じたときでも、モデルを個々に点検、調整、又は交換できる。すなわち、使用するモデルのメンテナンスが容易となる。
(第2変形例)
図13は、実施形態の第2変形例に係る判定装置の機能構成を例示する模式図である。
第2変形例に係る判定装置10bでは、抽出部11caが第2モデルM2を用いて特徴を抽出する際に、直接抽出される、又は補正された画像に対する特徴が抽出される。例えば、第2モデルM2に入力される画像が、基準となる状態に対して回転、拡大、又は縮小されているとき、第2モデルM2は、入力された画像を回転、拡大、又は縮小した画像に対する特徴を出力する。
その他に、第2モデルM2は、入力された画像をコントラスト調整した画像に対する特徴を出力しても良い。第2モデルM2は、入力された画像に欠陥、傷、又は下地のビード痕が含まれるとき、欠陥、傷、又はビード痕を除去した画像に対する特徴を抽出する。又は、第2モデルM2は、入力された画像のビード幅を拡大又は縮小した画像に対する特徴を出力しても良い。すなわち、画像に対する補正は、回転、拡大、縮小、コントラスト調整、欠陥の除去、傷の除去、ビード痕の除去、又はビード幅の変更を含みうる。
例えば、第2モデルM2の学習時に、欠陥、傷、又はビード痕が含まれない画像を用いていると、欠陥、傷、又はビード痕を含む画像が入力されたときに、第2モデルM2は溶接に関する特徴を適切に抽出できない可能性がある。また、学習時に使用した画像と比べて、第2モデルに入力される画像が回転、拡大、又は縮小されていると、溶接に関する特徴を適切に抽出できない可能性がある。又は、溶接に関する特徴を抽出できたとしても、その後に第3モデルM3により、抽出された特徴に基づく溶接の適否を正確に判定できない可能性がある。
上述したように、第2モデルM2が、入力された画像を補正した画像に対する特徴を出力可能であることで、抽出された特徴に基づいて溶接の適否をより精度良く判定できる。
図14(a)〜図14(d)、図15(a)〜図15(d)、図16(a)、及び図16(b)は、実施形態の第2変形例に係る判定装置による処理を例示する画像である。
図14(a)〜図14(d)、図15(a)〜図15(d)、図16(a)、及び図16(b)では、TIG溶接の様子が示されている。
図14(a)に表した画像は、例えば、画像における溶接池のサイズが標準よりも大きい。図14(b)に表した画像は、標準の画像に対して回転している。図14(c)に表した画像は、第1モデルM1によって適切と判定されたが、コントラストが標準の画像よりも高い。図14(a)〜図14(c)に表した画像が第2モデルに入力されると、これらの画像から直接抽出される特徴に対して、回転、縮小、又はコントラスト調整がなされた図14(d)に表した特徴が出力される。
図15(a)に表した画像では、欠陥DFが写っている。第2モデルにより、欠陥DFが除去された図15(b)に表した画像に基づく特徴が出力される。また、図15(c)に表した画像では、ビード幅Wが標準よりも広い。第2モデルにより、ビード幅Wが縮小された図15(d)に表した画像に基づく特徴が出力される。
他の例として、図16(a)に表した画像では、傷Fが写っている。また、図16(b)に表した画像では、ビード痕Bが写っている。第2モデルにより、傷F及びビード痕Bが除去された画像に基づく特徴が出力される。
(第3変形例)
図17は、実施形態の第3変形例に係る判定装置の機能構成を例示する模式図である。
第2変形例に係る判定装置10cにおいて、処理部11は、評価部11fを含む。評価部11fは、抽出部11cによって出力された特徴を評価する。
具体的には、評価部11fは、抽出部11cによって特徴が抽出されると、その特徴を補正する。補正は、特徴の補完、不要な部分の削除、又は特徴の鮮明化などを含む。評価部11fは、抽出された特徴と、補正された特徴と、を比較する。これらの特徴の差が小さいほど、評価部11fは、第2モデルM2の性能を高く評価する。
一例として、評価部11fは、抽出された特徴(第1特徴)を示す画像と、補正された特徴(第2特徴)を示す画像と、の差を計算する。差は、2つの画像の対応する画素同士を比較し、変化している画素の数をカウントすることで得られる。評価部11fは、変化数を予め設定された閾値(第1閾値)と比較する。評価部11fは、変化数が閾値よりも大きいとき、第2モデルM2の再学習又は交換が望ましいと判定する。例えば、第2モデルM2を再学習又は交換するよう求める情報が、出力部11eからユーザへ出力される。
撮像部26による取得される画像の傾向が変化したときなどに、第2モデルM2が特徴を適切に画像から抽出できなくなる可能性がある。画像に基づく溶接の適否の判定と併せて第2モデルM2が評価されることで、判定の精度の低下を抑制することができる。
図18(a)、図18(b)、図19(a)〜図19(f)、図20(a)〜図20(c)、図21(a)〜図21(c)、図22(a)〜図22(c)、及び図23(a)〜図23(c)は、実施形態の第3変形例に係る判定装置による処理を例示する画像である。
図18(a)〜図23(c)では、TIG溶接の様子が示されている。
図18(a)は、第1モデルによって適切と判定された画像の一例である。抽出部11cは、図18(a)に表した画像を第2モデルに入力する。これにより、図18(b)に表した特徴が抽出される。
図18(b)に表した画像には、開先の壁面に対応する2つの線L1及びL2と、溶融池の端部に対応する線L3と、が含まれる。例えば、図18(b)の画像では、線L1及びL2は、赤色で表される。線L3は、緑色で表される。その他の部分は、青色で表される。評価部11fは、図18(b)に表した画像を補正する。例えば、評価部11fは、補正において、特徴を示す線を削除又は補完し、且つ画像に含まれるノイズを除去する。以下では、補正の具体的な一例を説明する。
図19(a)、図19(b)、及び図19(c)の画像は、図18(b)に表した画像を色ごとに分けたものである。図19(a)の画像は、線L1及びL2のみを含む。図19(b)の画像は、線L3のみを含む。図19(c)の画像は、他の要素のみを含む。この例では、図19(c)の画像には、実質的に何も含まれていない。
評価部11fは、各画像を二値化する。二値化は、線L1〜L3の輝度が、その他の部分の輝度と異なるように、実行される。評価部11fは、二値画像に、縮小処理及び拡大処理の少なくともいずれかを加える。例えば、評価部11fは、二値画像に、縮小処理と拡大処理の両方を加える。評価部11fは、拡大処理及び縮小処理を、複数回実行しても良い。拡大処理と縮小処理が交互に繰り返されても良い。拡大処理と縮小処理の実行順序は、適宜変更可能である。評価部11fは、縮小処理又は拡大処理の実行時に、回転処理を加えてもいい。これにより、図19(d)〜図19(f)に表した画像が生成される。縮小処理及び拡大処理により、画像中のノイズが除去される。
評価部11fは、図20(a)に表したように、線L1及びL2を含む画像に2つの領域(領域R1及び領域R2)を設定する。領域R1と領域R2の境界は、画像の第1方向D1の中心である。第1方向D1は、線L1及びL2を結ぶ方向である。また、評価部11fは、線L1及びL2を含む画像について、第1方向D1の各点における、第2方向D2の濃淡値の合計を算出する。第2方向D2は、第1方向D1に垂直な方向である。
図20(b)は、濃淡値の合計の算出結果を表す。図20(b)において、横軸は、第1方向D1における位置Pを表す。縦軸は、濃淡値の合計Sumを表す。評価部11fは、領域R1及びR2のそれぞれにおける合計Sumのピークを検出する。領域R1又はR2で複数のピークが検出された場合、画像の第1方向D1の中心により近いピークのみを残し、他のピークは除去する。これにより、領域R1及びR2のそれぞれに、1つの線のみが存在する画像が得られる。
例えば、モデルから出力された画像において、線L1及びL2以外に、一方向に沿った別の線が存在する可能性がある。上記の処理により、中心から遠い線は、除去される。図20(a)及び図20(b)の例では、領域R1及びR2で、それぞれ1つのピークのみが検出されている。このため、図20(a)及び図20(b)の例では、ピークの削除は行われない。次に、評価部11fは、線L1及びL2を直線近似する。これにより、図20(a)に表した画像から、図20(c)に表した画像が得られる。
評価部11fは、線L1及びL2の位置情報を基に、図19(e)に表した画像に対して、図21(a)に表したように、5つの領域R11〜R15を設定する。領域R11とR12の境界の位置は、線L1の位置に対応する。領域R14とR15の境界の位置は、線L2の位置に対応する。領域R12〜R14は、線L1に対応する境界と線L2に対応する境界との間の領域を、3等分することで設定される。
評価部11fは、線L3の一部が領域R11及びR15に存在するとき、その部分を除去する。すなわち、評価部11fは、領域R11及びR15に含まれる画素の輝度を、全て黒色に対応する値に設定する。また、評価部11fは、領域R12及びR14に存在する線L3の一部を、曲線近似する。評価部11fは、領域R13に存在する線L3の一部には、処理を加えない。これらの処理により、図21(b)に表した画像が生成される。
評価部11fは、図19(f)に表した画像と、図20(c)に表した画像と、図21(b)に表した画像と、を結合し、図21(c)に表した画像を生成する。図18(b)に表した画像では、線L1〜L3が不鮮明であったが、補正によりこれらの線が鮮明となっている。評価部11fは、図18(b)に表した画像と、図21(c)に表した画像と、を比較し、画素の変化数をカウントする。評価部11fは、変化数に基づいて、第2モデルの性能を評価する。
図22(a)〜図22(c)及び図23(a)〜図23(c)は、その他の例を表す。
評価部11fは、図22(a)の画像を第2モデルに入力し、図22(b)の画像を取得する。図22(b)の画像では、線L1が不鮮明となっている。また、図22(b)の画像には、線L1〜L3に加え、線L4が含まれている。補正により、線L1が鮮明となり、線L4が除去される。評価部11fは、図22(b)の画像に、上記と同様の処理を加えて補正し、図22(c)の画像を生成する。
評価部11fは、図22(b)に表した画像と、図22(c)に表した画像と、を比較し、画素の変化数をカウントする。評価部11fは、変化数に基づいて、第2モデルの性能を評価する。
同様に、評価部11fは、図23(a)の画像を第2モデルに入力し、図23(b)の画像を取得する。評価部11fは、図23(b)の画像を補正し、図23(c)の画像を生成する。評価部11fは、図23(b)に表した画像と、図23(c)に表した画像と、を比較し、画素の変化数をカウントする。評価部11fは、変化数に基づいて、第2モデルの性能を評価する。
図24は、実施形態に係る判定装置を備えた別の溶接システムを例示する模式図である。
図24に表した溶接システム2は、判定装置10及び学習装置40を含む判定システムを備える。学習装置40は、判定装置10によって使用される各モデルを学習させる。学習装置40は、学習させたモデルを記憶装置30に記憶する。
各モデルには、上述したように、学習データを用いた教師有り学習が実行される。学習装置40は、半教師有り学習を実行しても良い。例えば、第2モデルM2を学習させる際に、半教師有り学習が用いられる。
例えば、学習装置40は、複数の入力画像と、特徴を示す複数の教師画像と、を用いて第2モデルM2を教師有り学習させる(第1動作)。その後、学習装置40は、別の入力画像を第2モデルM2に入力し、第2モデルM2から出力された画像を得る。学習装置40は、出力された画像を補正し、溶接に関する特徴を示した適切な画像を得る。補正は、上述したように、特徴の補完、不要な部分の削除、又は特徴の鮮明化などを含む。学習装置40は、当該別の入力画像と、補正画像と、を用いて第2モデルM2をさらに教師有り学習させる(第2動作)。
また、学習装置40は、複数の入力画像と、複数の教師画像と、を用いて第2モデルM2を教師有り学習させる(第1動作)。入力画像は、例えば、望ましい画像と比べて、回転、拡大、又は縮小されている。又は、入力画像は、欠陥、傷などを含む。教師画像は、それらが補正された画像である。その後、学習装置40は、別の入力画像を第2モデルM2に入力し、第2モデルM2から出力された画像を得る。学習装置40は、出力された画像をより望ましい状態に補正する。学習装置40は、当該別の入力画像と、補正画像と、を用いて第2モデルM2をさらに教師有り学習させる(第2動作)。
モデルの学習時に、モデルから出力された画像を基に教師画像を生成することで、学習に必要なデータ量を削減できる。
学習装置40は、第2モデルM2の学習に用いる入力画像を生成する機能を備えていても良い。例えば、学習装置40は、学習に用いられる教師画像に、回転、拡大、縮小、コントラスト変更、欠陥の追加、傷の追加、ビード痕の追加、ビード幅の変更などの処理を加え、入力画像を生成する。学習装置40は、生成した入力画像と、教師画像と、を用いて第2モデルM2を学習させる。
モデルの学習時に、教師画像から入力画像が生成されることで、学習に必要なデータ量を削減できる。
図25は、学習装置の動作を例示するフローチャートである。
図25では、学習装置による半教師有り学習の動作を例示している。また、図25では、学習装置40が、半教師有り学習の際に、ユーザから学習に用いる画像の評価を受ける例を示している。
学習装置40は、記憶装置30にアクセスし、学習済みのモデルに第1画像(入力画像)を入力する(ステップS11)。学習装置40は、モデルから出力された第2画像(出力画像)を取得する(ステップS2)。学習装置40は、第2画像を補正し、第2画像とは異なる第3画像(補正画像)を生成する(ステップS3)。
学習装置40は、第3画像を表示装置に表示させる(ステップS14)。ユーザは、第3画像を確認し、第3画像の評価に関して入力装置を用いて入力する。学習装置40は、ユーザからの評価を受け付ける(ステップS15)。表示装置は、例えば、モニタ又はプロジェクタである。入力装置は、例えば、キーボード、マウス、タッチパッド、又はマイク(音声入力)である。タッチパネルのように、表示装置と入力装置の両方の機能を備えた装置が用いられても良い。
学習装置40は、評価が肯定的か判断する(ステップS16)。評価が否定的であるとき、学習装置40は、ユーザに、教師画像の入力を要求する。学習装置40は、ユーザから入力された教師画像(第4画像)を受け付ける(ステップS17)。学習装置40は、第1画像を入力データ、第4画像を教師データとして用いてモデルを学習させる(ステップS18)。
評価が肯定的であるとき、学習装置40は、第2画像と第3画像の差分を計算する。学習装置40は、この差分が所定の閾値を超えるか判断する(ステップS19)。差分が閾値を超えるとき、学習装置40は、第1画像を入力データ、第3画像を教師データとして用いてモデルを学習させる(ステップS20)。ステップS18又はS20の後、学習装置40は、学習させたモデルを保存する(ステップS21)。差分が閾値以下のとき、学習装置40は、処理を終了する。
図25に表した動作によれば、教師データとして適切な第3画像のみがモデルの学習に用いられる。また、第3画像が不適切なときには、ユーザにより入力された第4画像がモデルの学習に用いられる。このため、よりユーザの意図する結果が出力されるよう、モデルを適切に学習させることができる。
図25に表した動作において、第3画像についての評価が肯定的であるときには、学習装置40は、第2画像と第3画像の差分に拘わらず、ステップS20を実行しても良い。ただし、差分が小さい場合、十分に望ましい画像がモデルから出力されていることを示す。従って、第3画像を用いて学習を実行する必要性は少ない。差分に基づいて学習の実行を判断することで、無用にモデルが学習されることを抑制できる。これにより、学習装置40により計算量を低減できる。また、モデルが過学習され、モデルの汎化能力が低減することを抑制できる。
図26は、実施形態に係る判定装置のハードウェア構成を例示する模式図である。
上述した各判定装置は、中央演算処理装置(CPU)111と、入力装置112と、出力装置113と、ROM(Read Only Memory)114と、RAM(Random Access Memory)115と、記憶装置116と、通信装置117と、バス118とを含む。各部は、バス118により接続される。
CPU111は、処理回路を含む。CPU111は、ROM114または記憶装置116に予め記憶された各種プログラムと協働して各種処理を実行し、判定装置10の動作を統括的に制御する。これにより、上述した各判定装置における処理部11としての機能が実現される。CPU111は、処理において、RAM115の所定領域を作業領域として用いる。CPU111は、ROM114または記憶装置116に予め記憶されたプログラムと協働して、入力装置112、出力装置113、及び通信装置117等を実現させる。
入力装置112は、例えば、キーボード、マウス、又はタッチパネルを含む。入力装置112は、ユーザから入力された情報を指示信号として受け付け、その指示信号をCPU111に出力する。出力装置113は、例えばモニタである。出力装置113は、CPU111から出力された信号に基づいて、各種情報を視認可能に出力する。
ROM114は、判定装置10の制御に用いられるプログラムおよび各種設定情報等を書き換え不可能に記憶する。RAM115は、SDRAM(Synchronous Dynamic Random Access Memory)等の揮発性の記憶媒体である。RAM115は、CPU111の作業領域として機能する。具体的には、判定装置10が用いる各種変数およびパラメータ等を一時記憶するバッファ等として機能する。
記憶装置116は、フラッシュメモリ等の半導体による記憶媒体、磁気的または光学的に記録可能な記憶媒体等の書き換え可能な記録装置である。記憶装置116は、判定装置10の制御に用いられるプログラムおよび各種設定情報等を記憶する。通信装置117は、外部の機器と通信して情報の送受信を行うために用いられる。
ここでは、判定装置のハードウェア構成について説明した。学習装置のハードウェア構成についても、同様の構成を適用可能である。又は、図26に示す1つのハードウェアが、判定装置及び学習装置の両方として機能しても良い。
以上で説明した各実施形態によれば、溶接の質をより精度良く判定できる、判定装置、判定システム、溶接システム、及び判定方法を提供できる。これらによって実行される判定結果を基に溶接を実行することで、より良い溶接を実行できる溶接装置を提供できる。また、以上で説明した各実施形態を処理部(処理回路)に実行させるためのプログラム及びそのプログラムを記憶した記憶媒体を用いることで、溶接の判定をより精度良く実行できる。
以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。
1 判定システム、 2 溶接システム、 10、10a〜10c 判定装置、 11 処理部、 11a 入力部、 11b 第1判定部、 11c、11ca 抽出部、 11d 第2判定部、 11e 出力部、 11f 評価部、 20 溶接装置、 21 ヘッド、 21a 電極、 22 アーム、 23 電力供給部、 24 ガス供給部、 25 ワイヤ、 26 撮像部、 27 照明部、 28 制御部、 30 記憶装置、 40 学習装置、 91a〜91c 第1部材、 92a〜92c 第2部材、 B ビード痕、 DF 欠陥、 DL 点線、 F 傷、 IM 画像、 IN 情報、 L レーザ、 M1 第1モデル、 M2 第2モデル、 M3 第3モデル、 P 位置、 R1、R2、R11〜R15 領域、 S 溶接対象、 SW1 第1壁面、 SW2 第2壁面、 SL 凝固層、 W ビード幅、 WP 溶融池

Claims (15)

  1. 溶接時の溶接箇所を撮影した第1画像が入力されると、画像が適切か判定するための第1モデルに前記第1画像を入力し、
    前記第1モデルによって前記第1画像が適切と判定されたときには、前記第1画像を用いて溶接の適否を判定し、前記第1モデルによって前記第1画像が不適切と判定されたときには、前記溶接箇所の撮影条件を補正するための情報を出力する、
    処理部を備えた判定装置。
  2. 前記処理部は、前記第1モデルによって前記第1画像が適切と判定されたときに、画像から溶接に関する特徴を抽出するための第2モデルに前記第1画像を入力し、前記第2モデルによって抽出された第1特徴を用いて溶接の適否を判定する請求項1記載の判定装置。
  3. 前記処理部は、前記第1特徴と、前記第1特徴を補正して得られた第2特徴と、の差を用いて、前記第2モデルの性能を評価する請求項2記載の判定装置。
  4. 前記処理部は、前記差が予め設定された第1閾値よりも大きいとき、前記第2モデルの再学習又は交換を要求する情報を出力する請求項3記載の判定装置。
  5. 前記処理部は、溶接に関する特徴から溶接の適否を判定するための第3モデルに前記第1特徴を入力することで、前記第1画像に写された溶接の適否を判定する請求項2〜4のいずれか1つに記載の判定装置。
  6. 前記第3モデルは、溶接が不適切と判定されたとき、溶接条件の補正量をさらに出力する請求項5記載の判定装置。
  7. 前記第2モデルは、画像を補正し、且つ補正された画像に対する特徴を出力可能である請求項2〜6のいずれか1つに記載の判定装置。
  8. 前記補正は、画像の回転、拡大、縮小、又はコントラスト調整を含む請求項7記載の判定装置。
  9. 前記補正は、欠陥、傷、又はビード痕の除去を含む請求項7又は8に記載の判定装置。
  10. 前記補正は、ビード幅の拡大又は縮小を含む請求項7〜9のいずれか1つに記載の判定装置。
  11. 請求項2〜10のいずれか1つに記載の判定装置と、
    前記第2モデルを学習させる学習装置と、
    を備え、
    前記学習装置は、
    複数の入力画像と、複数の教師画像と、を用いて前記第2モデルを学習させる第1動作と、
    別の入力画像と、前記別の入力画像を前記第2モデルに入力し、前記第2モデルから出力された出力画像を補正して得られた補正画像と、を用いて前記第2モデルを学習させる第2動作と、
    を実行する判定システム。
  12. 請求項1〜10のいずれか1つに記載の判定装置と、
    前記第1画像を取得する撮像部を含む溶接装置と、
    を備えた溶接システム。
  13. 溶接時の溶接箇所を撮影した第1画像を、画像が適切か判定するための第1モデルに入力し、
    前記第1モデルによって前記第1画像が適切と判定されたときには、前記第1画像を用いて溶接の適否を判定し、前記第1モデルによって前記第1画像が不適切と判定されたときには、前記溶接箇所の撮影条件を補正するための情報を出力する、
    判定方法。
  14. 処理部に、
    溶接時の溶接箇所を撮影した第1画像を、画像が適切か判定するための第1モデルに入力させ、
    前記第1モデルによって前記第1画像が適切と判定されたときには、前記第1画像を用いて溶接の適否を判定させ、前記第1モデルによって前記第1画像が不適切と判定されたときには、前記溶接箇所の撮影条件を補正するための情報を出力させる、
    プログラム。
  15. 請求項14記載のプログラムを記憶した記憶媒体。
JP2019088664A 2019-05-08 2019-05-08 判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体 Active JP7357463B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019088664A JP7357463B2 (ja) 2019-05-08 2019-05-08 判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体
US16/854,981 US11216934B2 (en) 2019-05-08 2020-04-22 Determination device, determination system, welding system, determination method, and storage medium
DE102020205295.6A DE102020205295A1 (de) 2019-05-08 2020-04-27 Bestimmungsvorrichtung, Bestimmungssystem, Schweißsystem, Bestimmungsverfahren und Speichermedium
CN202010376107.1A CN112001876A (zh) 2019-05-08 2020-05-07 判定装置、判定系统、焊接系统、判定方法以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019088664A JP7357463B2 (ja) 2019-05-08 2019-05-08 判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2020182966A true JP2020182966A (ja) 2020-11-12
JP7357463B2 JP7357463B2 (ja) 2023-10-06

Family

ID=72943706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019088664A Active JP7357463B2 (ja) 2019-05-08 2019-05-08 判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体

Country Status (4)

Country Link
US (1) US11216934B2 (ja)
JP (1) JP7357463B2 (ja)
CN (1) CN112001876A (ja)
DE (1) DE102020205295A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114147389A (zh) * 2021-11-05 2022-03-08 江苏三沃电子科技有限公司 一种检测焊接工艺参数的焊接辅助方法和系统
WO2022130846A1 (ja) * 2020-12-15 2022-06-23 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
KR20220098666A (ko) * 2021-01-04 2022-07-12 가부시끼가이샤 도시바 처리 장치, 용접 시스템, 처리 방법 및 기억 매체
WO2022259291A1 (ja) * 2021-06-07 2022-12-15 日揮グローバル株式会社 非破壊検査判定データ管理装置、及び、非破壊検査判定データ管理方法
WO2023188889A1 (ja) * 2022-03-30 2023-10-05 株式会社神戸製鋼所 自動溶接の溶接制御方法、制御装置、溶接システム、プログラム、および溶接方法
US11935225B2 (en) 2021-09-21 2024-03-19 Kabushiki Kaisha Toshiba Processing device, welding system, processing method, and storage medium
US12087180B2 (en) 2022-01-11 2024-09-10 Kabushiki Kaisha Toshiba Display control device, display system, welding system, welding method, display control method, storage medium

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7281041B2 (ja) * 2018-11-29 2023-05-25 京セラドキュメントソリューションズ株式会社 種類判別システム
JP2020095428A (ja) * 2018-12-12 2020-06-18 株式会社東芝 モデル学習システム、モデル学習方法、プログラム、及び記憶媒体
US11301980B2 (en) * 2020-04-21 2022-04-12 GM Global Technology Operations LLC System and method to evaluate the integrity of spot welds
CN113093584B (zh) * 2021-03-02 2022-06-14 无锡先导智能装备股份有限公司 焊接异常检测方法、装置、计算机设备和存储介质
CN116508057A (zh) * 2021-11-23 2023-07-28 宁德时代新能源科技股份有限公司 图像识别方法、装置和计算机可读存储介质
DE102022209007A1 (de) * 2022-08-31 2024-02-29 Robert Bosch Gesellschaft mit beschränkter Haftung Segmentierung eines Schliffbilds einer Schweißnaht mittels künstlicher Intelligenz
CN116679080B (zh) * 2023-05-30 2024-10-01 广州伏羲智能科技有限公司 一种河流表面流速确定方法、装置及电子设备
CN116967649B (zh) * 2023-09-24 2023-12-26 新研氢能源科技有限公司 一种用于金属双极板的智能焊接方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6293093A (ja) * 1985-10-17 1987-04-28 Mitsubishi Electric Corp 溶接線検出装置
JPS62245144A (ja) * 1986-04-16 1987-10-26 Nippon Kokan Kk <Nkk> 画像入力装置
US4877940A (en) * 1987-06-30 1989-10-31 Iit Research Institute Using infrared imaging to monitor and control welding
JPH0647542A (ja) * 1992-08-04 1994-02-22 Mitsubishi Heavy Ind Ltd 溶融池の状況判断方法
JPH09192836A (ja) * 1996-01-09 1997-07-29 Mitsubishi Heavy Ind Ltd 溶接状況の監視装置
JP2018010391A (ja) * 2016-07-12 2018-01-18 株式会社Ihi 画像処理方法及び画像処理装置
JP2018192524A (ja) * 2017-05-12 2018-12-06 株式会社神戸製鋼所 自動溶接システム、溶接制御方法、及び機械学習モデル

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2371685A1 (fr) * 1976-11-17 1978-06-16 Aerospatiale Procede et dispositif pour le controle de la qualite de points de soudure par resistance
JP3200104B2 (ja) * 1991-09-03 2001-08-20 株式会社アマダ 自動溶接システム
JP3464902B2 (ja) * 1998-01-26 2003-11-10 日鐵住金溶接工業株式会社 開先倣い装置
KR100687811B1 (ko) * 2005-07-05 2007-03-02 삼성중공업 주식회사 용접부 결함 검출 방법 및 장치
JP2007155578A (ja) * 2005-12-07 2007-06-21 Omron Corp 溶接品質検査装置、溶接品質検査方法、およびプログラム
US9077905B2 (en) * 2009-02-06 2015-07-07 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
JP5172041B2 (ja) * 2009-07-20 2013-03-27 プレシテック カーゲー レーザ加工ヘッドおよびレーザ加工ヘッドの焦点位置の変化を補償するための方法
JP5967042B2 (ja) * 2013-09-12 2016-08-10 Jfeスチール株式会社 レーザ溶接良否判定装置及びレーザ溶接良否判定方法
US10713774B2 (en) * 2014-10-02 2020-07-14 Ngk Spark Plug Co., Ltd. Assessment method, laser device, and sensor production method
CN105938563A (zh) * 2016-04-14 2016-09-14 北京工业大学 一种基于图像纹理的焊缝表面缺陷识别方法
JP6801312B2 (ja) 2016-09-07 2020-12-16 村田機械株式会社 レーザ加工機、及びレーザ加工方法
CN109714519B (zh) * 2017-10-25 2021-02-02 成都极米科技股份有限公司 一种自动调整图像画面的方法和系统
CN109332928B (zh) * 2018-10-23 2021-07-23 江苏山扬智能装备有限公司 基于深度学习在线检测的路灯灯杆自动焊接系统及焊接方法
JP2020095428A (ja) 2018-12-12 2020-06-18 株式会社東芝 モデル学習システム、モデル学習方法、プログラム、及び記憶媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6293093A (ja) * 1985-10-17 1987-04-28 Mitsubishi Electric Corp 溶接線検出装置
JPS62245144A (ja) * 1986-04-16 1987-10-26 Nippon Kokan Kk <Nkk> 画像入力装置
US4877940A (en) * 1987-06-30 1989-10-31 Iit Research Institute Using infrared imaging to monitor and control welding
JPH0647542A (ja) * 1992-08-04 1994-02-22 Mitsubishi Heavy Ind Ltd 溶融池の状況判断方法
JPH09192836A (ja) * 1996-01-09 1997-07-29 Mitsubishi Heavy Ind Ltd 溶接状況の監視装置
JP2018010391A (ja) * 2016-07-12 2018-01-18 株式会社Ihi 画像処理方法及び画像処理装置
JP2018192524A (ja) * 2017-05-12 2018-12-06 株式会社神戸製鋼所 自動溶接システム、溶接制御方法、及び機械学習モデル

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022130846A1 (ja) * 2020-12-15 2022-06-23 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
KR20220098666A (ko) * 2021-01-04 2022-07-12 가부시끼가이샤 도시바 처리 장치, 용접 시스템, 처리 방법 및 기억 매체
KR102666404B1 (ko) * 2021-01-04 2024-05-17 가부시끼가이샤 도시바 처리 장치, 용접 시스템, 처리 방법 및 기억 매체
WO2022259291A1 (ja) * 2021-06-07 2022-12-15 日揮グローバル株式会社 非破壊検査判定データ管理装置、及び、非破壊検査判定データ管理方法
JPWO2022259291A1 (ja) * 2021-06-07 2022-12-15
JP7319485B2 (ja) 2021-06-07 2023-08-01 日揮グローバル株式会社 非破壊検査判定データ管理装置、及び、非破壊検査判定データ管理方法
US11935225B2 (en) 2021-09-21 2024-03-19 Kabushiki Kaisha Toshiba Processing device, welding system, processing method, and storage medium
CN114147389A (zh) * 2021-11-05 2022-03-08 江苏三沃电子科技有限公司 一种检测焊接工艺参数的焊接辅助方法和系统
CN114147389B (zh) * 2021-11-05 2024-06-04 江苏三沃电子科技有限公司 一种检测焊接工艺参数的焊接辅助方法和系统
US12087180B2 (en) 2022-01-11 2024-09-10 Kabushiki Kaisha Toshiba Display control device, display system, welding system, welding method, display control method, storage medium
WO2023188889A1 (ja) * 2022-03-30 2023-10-05 株式会社神戸製鋼所 自動溶接の溶接制御方法、制御装置、溶接システム、プログラム、および溶接方法

Also Published As

Publication number Publication date
US11216934B2 (en) 2022-01-04
DE102020205295A1 (de) 2020-11-12
JP7357463B2 (ja) 2023-10-06
CN112001876A (zh) 2020-11-27
US20200357112A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
JP7357463B2 (ja) 判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体
CN114713948B (zh) 处理装置、焊接系统、处理方法及存储介质
JP2006281270A (ja) 手溶接作業分析装置および手溶接作業分析装置に適用する手溶接トーチ一体型監視カメラ
JP2007181871A (ja) 自動アーク溶接システム及び方法
JP7075311B2 (ja) 溶接制御装置、表示制御装置、溶接システム、溶接制御方法及びプログラム
JP4179558B2 (ja) レーザ溶接品質評価方法および装置
JP6794685B2 (ja) 画像処理方法及び画像処理装置
US11935225B2 (en) Processing device, welding system, processing method, and storage medium
WO2023002753A1 (ja) 溶接現象の挙動の計測方法、計測装置、溶接システム、およびプログラム
JP2023095820A (ja) 学習モデルの生成方法、制御装置、学習モデル、溶接システム、およびプログラム
US11922614B2 (en) Welding condition setting assistance device
US20240242379A1 (en) Information processing device, information processing method, computer program product, and welding system
CA3125296A1 (en) Welding tool
WO2019239644A1 (ja) 溶接条件設定支援装置
KR20230118341A (ko) 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법, 용접 품질 검사 모델 생성 장치 및 이를 이용한 아크 이미지 기반 용접 품질 모니터링 장치
JP2002283053A (ja) 非消耗電極式アーク溶接のアーク長制御方法
JPH08174217A (ja) 自動溶接方法およびその装置
JP7165924B2 (ja) 溶接条件設定支援装置
WO2022065364A1 (ja) 溶接計測システムおよび溶接計測方法
JPH11287619A (ja) 倣い溶接用溶接線検出方法及び装置
JP2020141370A (ja) 画像処理装置、その方法、プログラム並びに記録媒体
BR102019027932B1 (pt) Sistema e método para detecção e alinhamento de juntas em soldagem robotizada baseado em imagem monocular passiva
JPH1110340A (ja) 自動溶接加工装置
CN116423113A (zh) 显示控制装置、显示系统、焊接系统、焊接方法、显示控制方法以及存储介质
JPH10314944A (ja) 自動溶接加工装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230601

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230926

R151 Written notification of patent or utility model registration

Ref document number: 7357463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151