JP2020201213A - Fume amount estimation system, fume amount estimation method, learning device, estimating device, and program - Google Patents
Fume amount estimation system, fume amount estimation method, learning device, estimating device, and program Download PDFInfo
- Publication number
- JP2020201213A JP2020201213A JP2019110314A JP2019110314A JP2020201213A JP 2020201213 A JP2020201213 A JP 2020201213A JP 2019110314 A JP2019110314 A JP 2019110314A JP 2019110314 A JP2019110314 A JP 2019110314A JP 2020201213 A JP2020201213 A JP 2020201213A
- Authority
- JP
- Japan
- Prior art keywords
- fume
- image
- welding
- amount
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
Description
本発明は、ヒューム量推定システム、ヒューム量推定方法、学習装置、推定装置、及びプログラムに関する。 The present invention relates to a fume amount estimation system, a fume amount estimation method, a learning device, an estimation device, and a program.
溶接時に発生する金属の微粒子が浮遊したヒュームは、労働衛生上の観点から重視されており、JIS Z 3930（被覆アーク溶接棒の全ヒューム量測定方法）が制定され、溶接により発生するヒューム量を明確にすることが求められている。この規格では、溶接ヒューム捕集装置を設置し、溶接ヒューム捕集箱内で手動溶接を行い、箱内に発生した溶接ヒュームの全量をろ過材で捕集した後、その質量を計量することでヒューム発生量を測定することが定められている。 Fume with floating metal fine particles generated during welding is emphasized from the viewpoint of occupational health, and JIS Z 3930 (method for measuring the total fume amount of shielded metal arc welding rods) was established to determine the amount of fume generated by welding. Clarification is required. According to this standard, a welding fume collecting device is installed, manual welding is performed in the welding fume collecting box, the entire amount of welding fume generated in the box is collected with a filter medium, and then the mass is measured. It is stipulated to measure the amount of fume generated.
国際的には、ISO 15011-4（Health and safety in welding and allied processes−Laboratory method for sampling fume and gases−Part 4: Fume data sheets）が制定され、溶接ヒューム発生量及びその主要成分を記載する溶接ヒュームのデータシートの様式も制定されている。 Internationally, ISO 15011-4 (Health and safety in welding and allied processes-Laboratory method for sampling fume and gases-Part 4: Fume data sheets) has been established, and welding that describes the amount of welding fume generated and its main components. The format of Hume's data sheet has also been established.
上記の測定方法は、溶接により発生したヒュームを漏れなく捕集することで正確なヒューム発生量を測定することができるものの、専用の設備を備えていなければ実施することはできない。また、溶接中にリアルタイムにヒューム発生量を測定することができず、異常発生時のフィードバック等に利用することもできない。 Although the above-mentioned measuring method can accurately measure the amount of fume generated by collecting the fume generated by welding without omission, it cannot be carried out unless a dedicated facility is provided. In addition, the amount of fume generated cannot be measured in real time during welding, and cannot be used for feedback when an abnormality occurs.
特許文献１には、煙等の粒子が存在する空間内にビームを照射し、その散乱光を測定する粒子検出方法が開示されているが、溶接に適用した場合にはアーク光により散乱光の測定が阻害されるおそれがある。 Patent Document 1 discloses a particle detection method of irradiating a beam in a space in which particles such as smoke exist and measuring the scattered light. However, when applied to welding, the scattered light is generated by arc light. Measurement may be hindered.
本発明は、上記課題に鑑みてなされたものであり、その主な目的は、溶接中であってもヒューム発生量を測定することが容易なヒューム量推定システム、ヒューム量推定方法、学習装置、推定装置、及びプログラムを提供することにある。 The present invention has been made in view of the above problems, and a main object thereof is a fume amount estimation system, a fume amount estimation method, a learning device, which can easily measure the amount of fume generated even during welding. To provide an estimation device and a program.
上記課題を解決するため、本発明の一の態様の学習装置は、ヒューム画像と背景画像とが合成された合成画像を取得する取得手段と、前記合成画像を入力データとし、ヒュームに係る情報を教師データとして、溶接の様子を撮影した画像から溶接により発生したヒュームに係る情報を推定するための学習済みモデルを機械学習により構築する学習手段と、を備える。 In order to solve the above problem, the learning device according to one aspect of the present invention uses an acquisition means for acquiring a composite image in which a fume image and a background image are combined, and the composite image as input data to obtain information related to the fume. As the teacher data, a learning means for constructing a learned model for estimating information related to the fume generated by welding from an image of the state of welding by machine learning is provided.
また、本発明の他の態様のプログラムは、ヒューム画像と背景画像とが合成された合成画像を取得する取得手段、及び、前記合成画像を入力データとし、ヒュームに係る情報を教師データとして、溶接の様子を撮影した画像から溶接により発生したヒュームに係る情報を推定するための学習済みモデルを機械学習により構築する学習手段、としてコンピュータを機能させる。 Further, in the program of another aspect of the present invention, an acquisition means for acquiring a composite image in which a fume image and a background image are combined, and welding using the composite image as input data and information related to the fume as teacher data. The computer functions as a learning means for constructing a learned model by machine learning for estimating the information related to the fume generated by welding from the photographed image.
また、本発明の他の態様のヒューム量推定システムは、溶接の様子を撮影するカメラと、ヒューム画像と背景画像とが合成された合成画像を入力データとし、ヒュームに係る情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより撮影された画像から溶接により発生したヒュームに係る情報を推定する推定手段と、推定結果に基づく、溶接により発生したヒュームの量を出力する出力手段と、を備える。 Further, in the fume amount estimation system of another aspect of the present invention, a camera that captures the state of welding and a composite image in which a fume image and a background image are combined are used as input data, and information related to the fume is used as teacher data. Using a trained model constructed in advance by learning, an estimation means for estimating information related to the fume generated by welding from the image taken by the camera, and an output of the amount of fume generated by welding based on the estimation result. It includes an output means.
また、本発明の他の態様のヒューム量推定方法は、カメラにより溶接の様子を撮影し、ヒューム画像と背景画像とが合成された合成画像を入力データとし、ヒュームに係る情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより撮影された画像から溶接により発生したヒュームに係る情報を推定し、推定結果に基づく、溶接により発生したヒュームの量を出力する。 Further, in the fume amount estimation method of another aspect of the present invention, a welding state is photographed by a camera, a composite image obtained by synthesizing a fume image and a background image is used as input data, and information related to the fume is used as teacher data. Using a trained model constructed in advance by learning, information on the fume generated by welding is estimated from the image taken by the camera, and the amount of fume generated by welding is output based on the estimation result.
また、本発明の他の態様の推定装置は、溶接の様子を撮影するカメラにより生成された画像を取得する取得手段と、ヒューム画像と背景画像とが合成された合成画像を入力データとし、ヒュームに係る情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得手段により取得された画像から溶接により発生したヒュームに係る情報を推定する推定手段と、を備える。 Further, the estimation device of another aspect of the present invention uses an acquisition means for acquiring an image generated by a camera that captures the state of welding and a composite image in which a fume image and a background image are combined as input data, and fume. It is provided with an estimation means for estimating information related to a fume generated by welding from an image acquired by the acquisition means by using a trained model constructed in advance by machine learning using the information related to the above as teacher data.
また、本発明の他の態様のプログラムは、溶接の様子を撮影するカメラにより生成された画像を取得する取得手段、及び、ヒューム画像と背景画像とが合成された合成画像を入力データとし、ヒュームに係る情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得手段により取得された画像から溶接により発生したヒュームに係る情報を推定する推定手段、としてコンピュータを機能させる。 Further, in the program of another aspect of the present invention, an acquisition means for acquiring an image generated by a camera that captures the state of welding and a composite image in which a fume image and a background image are combined are used as input data, and the fume Using a trained model constructed in advance by machine learning using the information related to the above as teacher data, the computer functions as an estimation means for estimating information related to the fume generated by welding from the image acquired by the acquisition means.
本発明によれば、溶接中であってもヒューム発生量を測定することが容易となる。 According to the present invention, it becomes easy to measure the amount of fume generated even during welding.
以下、本発明の実施形態について、図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
［システム］
図１は、実施形態に係るヒューム量推定システム１００の例を示すブロック図である。ヒューム量推定システム１００は、推定装置１、データベース２、カメラ３、出力部４及び学習装置５を備えている。ヒューム量推定システム１００は、溶接装置９の溶接の様子をカメラ３により撮影し、溶接により発生したヒュームＨの量を算出し、出力部４に出力する。
[system]
FIG. 1 is a block diagram showing an example of the fume amount estimation system 100 according to the embodiment. The fume amount estimation system 100 includes an estimation device 1, a database 2, a camera 3, an output unit 4, and a learning device 5. The fume amount estimation system 100 captures the state of welding of the welding device 9 with the camera 3, calculates the amount of fume H generated by the welding, and outputs the amount to the output unit 4.
推定装置１は、制御部１０を備えている。制御部１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ及び入出力インターフェース等を含むコンピュータである。制御部１０は、取得部１１、推定部１２及び算出部１３を含んでいる。これらの機能部は、制御部１０のＣＰＵがＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行することにより実現される。 The estimation device 1 includes a control unit 10. The control unit 10 is a computer including a CPU, RAM, ROM, non-volatile memory, an input / output interface, and the like. The control unit 10 includes an acquisition unit 11, an estimation unit 12, and a calculation unit 13. These functional units are realized by the CPU of the control unit 10 executing information processing according to a program loaded from the ROM or the non-volatile memory into the RAM.
学習装置５は、制御部５０を備えている。制御部５０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ及び入出力インターフェース等を含むコンピュータである。制御部１０は、合成部５１、取得部５２及び学習部５３を含んでいる。これらの機能部は、制御部１０のＣＰＵがＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行することにより実現される。 The learning device 5 includes a control unit 50. The control unit 50 is a computer including a CPU, RAM, ROM, non-volatile memory, an input / output interface, and the like. The control unit 10 includes a synthesis unit 51, an acquisition unit 52, and a learning unit 53. These functional units are realized by the CPU of the control unit 10 executing information processing according to a program loaded from the ROM or the non-volatile memory into the RAM.
プログラムは、例えば光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、例えばインターネット又はＬＡＮ等の通信ネットワークを介して供給されてもよい。 The program may be supplied via an information storage medium such as an optical disk or a memory card, or may be supplied via a communication network such as the Internet or a LAN.
推定装置１及び学習装置５は、データベース２にアクセス可能である。データベース２は、推定装置１又は学習装置５の内部に設けられてもよいし、外部に設けられ、通信ネットワークを介してアクセスされてもよい。 The estimation device 1 and the learning device 5 can access the database 2. The database 2 may be provided inside the estimation device 1 or the learning device 5, or may be provided outside and accessed via a communication network.
なお、推定装置１の制御部１０により実現される取得部１１、推定部１２及び算出部１３の一部は、推定装置１と通信可能な別の装置で実現されてもよい。同様に、学習装置５の制御部５０により実現される合成部５１、取得部５２及び学習部５３の一部は、学習装置５と通信可能な別の装置で実現されてもよい。 A part of the acquisition unit 11, the estimation unit 12, and the calculation unit 13 realized by the control unit 10 of the estimation device 1 may be realized by another device capable of communicating with the estimation device 1. Similarly, a part of the synthesis unit 51, the acquisition unit 52, and the learning unit 53 realized by the control unit 50 of the learning device 5 may be realized by another device capable of communicating with the learning device 5.
出力部４は、例えば液晶表示ディスプレイ等の表示装置である。これに限らず、出力部４は、例えばプリンタ等の画像形成装置であってもよい。 The output unit 4 is a display device such as a liquid crystal display. Not limited to this, the output unit 4 may be an image forming device such as a printer.
［学習フェーズ］
以下、学習装置５により実現される学習フェーズについて説明する。図２は、学習フェーズを説明するための図である。図３は、学習フェーズの手順例を示すフロー図である。図４は、データセットを管理するテーブルの例を示す図である。
[Learning phase]
Hereinafter, the learning phase realized by the learning device 5 will be described. FIG. 2 is a diagram for explaining a learning phase. FIG. 3 is a flow chart showing a procedure example of the learning phase. FIG. 4 is a diagram showing an example of a table that manages a data set.
図２に示すように、本実施形態では、合成画像を入力データとし、背景画像、ヒューム画像、合成比α及び特徴量βを教師データとして機械学習が行われる。このうち、ヒューム画像又は特徴量βは、ヒュームに係る情報の例である。 As shown in FIG. 2, in the present embodiment, machine learning is performed using the composite image as input data and the background image, fume image, composite ratio α, and feature amount β as teacher data. Of these, the fume image or feature amount β is an example of information related to fume.
背景画像は、背景を示す画像である。図５は、背景画像の例を示す図である。背景画像は、例えば溶接装置９（図１参照）を撮影した画像であることが好ましい。これに限らず、背景画像としては、他の装置を撮影した画像又は人を撮影した画像など、種々の画像を適用できる。 The background image is an image showing the background. FIG. 5 is a diagram showing an example of a background image. The background image is preferably, for example, an image taken of the welding apparatus 9 (see FIG. 1). Not limited to this, as the background image, various images such as an image of another device or an image of a person can be applied.
ヒューム画像は、ヒュームを示す画像である。図６は、ヒューム画像の例を示す図である。ヒューム画像は、例えば実際に溶接により発生したヒュームを撮影した画像であることが好ましい。また、ヒューム画像は、単調な背景でヒュームを撮影した画像であることが好ましい。例えば、JIS Z 3930に基づき溶接ヒューム捕集箱内で手動溶接を行ったときのヒュームを撮影した画像がヒューム画像として好適である。 A fume image is an image showing fume. FIG. 6 is a diagram showing an example of a fume image. The fume image is preferably, for example, an image of a fume actually generated by welding. Further, the fume image is preferably an image obtained by photographing the fume on a monotonous background. For example, an image of a fume taken by manual welding in a welding fume collection box based on JIS Z 3930 is suitable as a fume image.
また、ヒューム画像は、溶接により発生するヒュームを模した画像であってもよい。ヒュームを模した画像は、例えば煙を撮影した画像であってもよいし、人工的に生成した画像であってもよい。 Further, the fume image may be an image imitating the fume generated by welding. The image imitating a fume may be, for example, an image obtained by photographing smoke or an artificially generated image.
合成画像は、背景画像とヒューム画像とを合成した画像である。図７は、合成画像の例を示す図である。合成比αは、合成画像における背景画像とヒューム画像との合成比であり、例えば０以上１以下の値で表される。 The composite image is an image obtained by synthesizing a background image and a fume image. FIG. 7 is a diagram showing an example of a composite image. The composite ratio α is a composite ratio of the background image and the fume image in the composite image, and is represented by, for example, a value of 0 or more and 1 or less.
特徴量βは、ヒューム画像の特徴量である。具体的には、特徴量βは、例えばヒューム画像の平均輝度又は輝度総和などの、ヒューム画像に示されるヒュームの量に関連する特徴量である。 The feature amount β is a feature amount of the fume image. Specifically, the feature amount β is a feature amount related to the amount of fume shown in the fume image, such as the average brightness or the total luminance of the fume image.
機械学習に用いるモデルは、全層が畳み込み層で構成されたネットワークであり、入力データと同じサイズの複数チャンネルの画像を出力する。ネットワークの前半はエンコーダに相当し、入力データを圧縮した特徴マップ生成する。ネットワークの後半はデコーダに相当し、特徴マップを元のサイズまで戻して出力する。 The model used for machine learning is a network in which all layers are composed of convolution layers, and outputs images of multiple channels having the same size as the input data. The first half of the network corresponds to an encoder and generates a feature map with compressed input data. The latter half of the network corresponds to a decoder, which returns the feature map to its original size and outputs it.
図示の例では、モデルは８チャンネルの画像を出力する。このうち、３チャンネルの画像（例えばＲＧＢの画像）は背景画像となり、他の３チャンネルの画像はヒューム画像となる。図８は、モデルから出力される背景画像の例を示す図である。図９は、モデルから出力されるヒューム画像の例を示す図である。 In the illustrated example, the model outputs an 8-channel image. Of these, the 3-channel image (for example, an RGB image) is a background image, and the other 3-channel image is a fume image. FIG. 8 is a diagram showing an example of a background image output from the model. FIG. 9 is a diagram showing an example of a fume image output from the model.
残りの２チャンネルのうち、１チャンネルの画像は平均値プーリングにより合成比αとなり、他の１チャンネルの画像は平均値プーリングにより特徴量βとなる。 Of the remaining two channels, the image of one channel has a composite ratio α due to mean value pooling, and the image of the other one channel has a feature amount β due to mean value pooling.
図２及び図３に示す手順に従って、学習装置５は学習フェーズを実現する。学習装置５の制御部５０は、図３に示す情報処理をプログラムに従って実行することにより、合成部５１、取得部５２及び学習部５３として機能する。 According to the procedure shown in FIGS. 2 and 3, the learning device 5 realizes the learning phase. The control unit 50 of the learning device 5 functions as a synthesis unit 51, an acquisition unit 52, and a learning unit 53 by executing the information processing shown in FIG. 3 according to a program.
まず、制御部５０は、背景画像とヒューム画像とを合成して合成画像を生成する（Ｓ１１）。生成した合成画像は、教師データとなる背景画像、ヒューム画像、合成比α及び特徴量βと関連付けられ、データセットとして管理される（図４参照）。 First, the control unit 50 synthesizes the background image and the fume image to generate a composite image (S11). The generated composite image is associated with a background image, a fume image, a composite ratio α, and a feature amount β as teacher data, and is managed as a data set (see FIG. 4).
次に、制御部５０は、合成画像をモデルに入力し（Ｓ１２）、計算を行って、背景画像、ヒューム画像、合成比α及び特徴量βを出力する（Ｓ１３）。 Next, the control unit 50 inputs a composite image into the model (S12), performs calculations, and outputs a background image, a fume image, a composite ratio α, and a feature amount β (S13).
次に、制御部５０は、背景画像、ヒューム画像、合成比α及び特徴量βのそれぞれについて、出力データと教師データとの差分を算出し（Ｓ１４）、差分が減少するように学習を行う（Ｓ１５）。 Next, the control unit 50 calculates the difference between the output data and the teacher data for each of the background image, the fume image, the composite ratio α, and the feature amount β (S14), and learns so that the difference decreases (S14). S15).
学習フェーズは、データセットから抽出されるバリデーションセットを用いてモデルの精度を確認しながら繰り返される。 The training phase is repeated while checking the accuracy of the model using the validation set extracted from the data set.
学習フェーズの終了後、データセットから抽出されるテストセットを用いて学習済みモデルの精度が評価される。 After the training phase is complete, the accuracy of the trained model is evaluated using the test set extracted from the dataset.
以上により、学習済みモデルは、入力された画像を背景画像とヒューム画像とに分離して出力するとともに、その合成比αを出力し、さらにはヒューム画像の特徴量βを出力するためのものとして構築される。 As described above, the trained model is used to separate the input image into a background image and a fume image, output the composite ratio α, and further output the feature amount β of the fume image. Will be built.
学習フェーズには多数のデータセットが必要とされるため、多数の背景画像と多数のヒューム画像とをそれぞれ用意し、それらの組み合わせによって多数の合成画像を作成することが好ましい。また、背景画像とヒューム画像との合成に様々な合成比αを用いて多数の合成画像を作成することが好ましい。 Since a large number of data sets are required in the learning phase, it is preferable to prepare a large number of background images and a large number of fume images, and to create a large number of composite images by combining them. Further, it is preferable to create a large number of composite images by using various composite ratios α for compositing the background image and the fume image.
ヒューム画像の作成には、種々の方法を適用できる。例えば、ヒューム又は煙をステレオカメラで撮影し、背景部分とヒューム部分とを分離することでヒューム画像を作成してもよい。また、対称な背景でヒューム又は煙を撮影した画像を反転して差分をとり、背景部分とヒューム部分とを分離することでヒューム画像を作成してもよい。 Various methods can be applied to create fume images. For example, a fume image may be created by photographing a fume or smoke with a stereo camera and separating the background portion and the fume portion. Alternatively, a fume image may be created by inverting an image of fume or smoke taken on a symmetrical background to obtain a difference and separating the background portion and the fume portion.
また、レーザー散乱法によりヒューム又は煙の粒子濃度の二次元マップを作成し、粒子濃度に応じて着色することでヒューム画像を作成してもよい。また、敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Network）等の画像生成モデルを用いてヒューム画像を作成してもよい。 Alternatively, a fume image may be created by creating a two-dimensional map of the particle concentration of fume or smoke by a laser scattering method and coloring according to the particle concentration. In addition, a fume image may be created using an image generation model such as a Generative Adversarial Network (GAN).
［推論フェーズ］
以下、推定装置１により実現される推論フェーズについて説明する。図１０は、推論フェーズを説明するための図である。図１１は、推論フェーズの手順例を示すフロー図である。推定装置１の制御部１０は、図１１に示す情報処理をプログラムに従って実行することにより、取得部１１、推定部１２及び算出部１３として機能する。
[Inference phase]
Hereinafter, the inference phase realized by the estimation device 1 will be described. FIG. 10 is a diagram for explaining the inference phase. FIG. 11 is a flow chart showing a procedure example of the inference phase. The control unit 10 of the estimation device 1 functions as the acquisition unit 11, the estimation unit 12, and the calculation unit 13 by executing the information processing shown in FIG. 11 according to the program.
図１０及び図１１に示すように、まず、制御部１０は、溶接装置９の溶接の様子を撮影するカメラ３により生成された撮影画像を取得する（Ｓ２１）。図１２は、撮影画像の例を示す図である。 As shown in FIGS. 10 and 11, first, the control unit 10 acquires a captured image generated by the camera 3 that captures the welding state of the welding device 9 (S21). FIG. 12 is a diagram showing an example of a photographed image.
なお、撮影画像にアーク光が含まれると、学習済みモデルの推定精度を劣化させるおそれがあるため、カメラ３による溶接の様子の撮影には、アーク光を遮光する遮光物又はアーク光の透過を抑制するフィルタが用いられることが好ましい。 If the captured image contains arc light, the estimation accuracy of the trained model may deteriorate. Therefore, when photographing the welding state with the camera 3, a light-shielding object that blocks the arc light or transmission of the arc light is used. It is preferable that a suppressor filter is used.
次に、制御部１０は、学習フェーズで構築した学習済みモデルに撮影画像を入力し（Ｓ２２）、計算を行って、背景画像、ヒューム画像、合成比α及び特徴量βを出力する（Ｓ２３）。ヒューム画像又は特徴量βは、ヒュームに係る情報の例である。なお、次工程のヒューム量の算出に用いられない背景画像又は合成比α等の出力は省略されてもよい。 Next, the control unit 10 inputs a captured image into the trained model constructed in the learning phase (S22), performs calculations, and outputs a background image, a fume image, a composite ratio α, and a feature amount β (S23). .. The fume image or feature amount β is an example of information related to fume. The output of the background image or the composite ratio α, which is not used for calculating the fume amount in the next step, may be omitted.
次に、制御部１０は、学習済みモデルによる推定結果に基づいて、溶接により発生したヒューム量を算出する（Ｓ２４）。出力部４は、制御部１０が算出したヒューム量を画面に出力する。 Next, the control unit 10 calculates the amount of fume generated by welding based on the estimation result by the trained model (S24). The output unit 4 outputs the fume amount calculated by the control unit 10 to the screen.
ヒューム画像を用いる場合、制御部１０は、学習済みモデルから出力されたヒューム画像の特徴量を抽出し、抽出した特徴量に基づいてヒューム量を算出する。抽出する特徴量は、特徴量βと同様、例えばヒューム画像の平均輝度又は輝度総和などの、ヒューム画像に示されるヒュームの量に関連する特徴量である。 When a fume image is used, the control unit 10 extracts the feature amount of the fume image output from the trained model, and calculates the fume amount based on the extracted feature amount. The feature amount to be extracted is a feature amount related to the amount of fume shown in the fume image, such as the average brightness or the total luminance of the fume image, as in the feature amount β.
特徴量βを用いる場合、制御部１０は、学習済みモデルから出力された特徴量βに基づいてヒューム量を算出する。 When the feature amount β is used, the control unit 10 calculates the fume amount based on the feature amount β output from the trained model.
特徴量とヒューム量との対応関係は、例えばルックアップテーブルにまとめられ、制御部１０によって参照される。特徴量と対応付けられるヒューム量は、JIS Z 3930に規定された方法により測定されたヒューム発生量であることが好ましい。すなわち、JIS Z 3930に基づき溶接ヒューム捕集箱内で手動溶接を行ったときのヒュームを撮影した画像から抽出される特徴量と、当該ヒュームをろ過材で捕集して計量したヒューム発生量とを対応付けることが好ましい。 The correspondence between the feature amount and the fume amount is summarized in, for example, a look-up table and referred to by the control unit 10. The amount of fume associated with the feature amount is preferably the amount of fume generated measured by the method specified in JIS Z 3930. That is, the feature amount extracted from the photographed image of the fume when manual welding is performed in the welded fume collection box based on JIS Z 3930, and the amount of fume generated measured by collecting the fume with a filter medium. It is preferable to associate.
以上に説明した実施形態によれば、溶接の様子を撮影した撮影画像に基づいてヒューム量を出力するため、溶接中にリアルタイムにヒューム量を測定することが容易となる。このため、リアルタイムに測定したヒューム量を異常発生時のフィードバック等に利用することが可能となる。 According to the embodiment described above, since the fume amount is output based on the captured image of the welding state, it becomes easy to measure the fume amount in real time during welding. Therefore, the amount of fume measured in real time can be used for feedback when an abnormality occurs.
また、実施形態によれば、撮影画像から分離したヒューム画像又はその特徴量βに基づいてヒューム量を測定するため、撮影画像に含まれる背景がヒューム量の測定に影響を及ぼすことを抑制することが可能となる。このため、ヒューム量の測定を、専用の捕集箱内での手動溶接だけでなく、捕集箱外での手動溶接や溶接装置による自動溶接などにも適用することが可能となる。 Further, according to the embodiment, since the fume amount is measured based on the fume image separated from the captured image or the feature amount β thereof, it is possible to suppress the influence of the background included in the captured image on the measurement of the fume amount. Is possible. Therefore, the measurement of the amount of fume can be applied not only to manual welding inside the dedicated collection box, but also to manual welding outside the collection box and automatic welding by a welding device.
［変形例］
上記実施形態では、学習済みモデルにより推定されたヒューム画像又は特徴量βに基づいてヒューム量を算出したが、これに限らず、例えばヒューム画像に含まれるヒューム量を教師データとして学習済みモデルを構築し、溶接により発生したヒューム量を直接推定するようにしてもよい。
[Modification example]
In the above embodiment, the fume amount is calculated based on the fume image estimated by the trained model or the feature amount β, but the present invention is not limited to this, and a trained model is constructed using, for example, the fume amount included in the fume image as teacher data. However, the amount of fume generated by welding may be directly estimated.
教師データとするヒューム量は、JIS Z 3930に規定された方法により測定されたヒューム発生量であることが好ましい。これにより、学習済みモデルにより推定されるヒューム量を、JIS Z 3930のヒューム発生量に相当する値とすることが可能となる。 The amount of fume used as the teacher data is preferably the amount of fume generated measured by the method specified in JIS Z 3930. This makes it possible to set the fume amount estimated by the trained model to a value corresponding to the fume generation amount of JIS Z 3930.
以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。 Although the embodiments of the present invention have been described above, the present invention is not limited to the embodiments described above, and it goes without saying that various modifications can be made to those skilled in the art.
１ 推定装置、１０ 制御部、１１ 取得部、１２ 推定部、１３ 算出部、２ データベース、３ カメラ、４ 出力部、５ 学習装置、５０ 制御部、５１ 合成部、５２ 取得部、５３ 学習部、９ 溶接装置、１００ ヒューム量推定システム
1 estimation device, 10 control unit, 11 acquisition unit, 12 estimation unit, 13 calculation unit, 2 database, 3 camera, 4 output unit, 5 learning device, 50 control unit, 51 synthesis unit, 52 acquisition unit, 53 learning unit, 9 Welding equipment, 100 fume amount estimation system
Claims (19)
前記合成画像を入力データとし、ヒュームに係る情報を教師データとして、溶接の様子を撮影した画像から溶接により発生したヒュームに係る情報を推定するための学習済みモデルを機械学習により構築する学習手段と、
を備える学習装置。 An acquisition means for acquiring a composite image in which a fume image and a background image are combined,
As a learning means for constructing a learned model by machine learning for estimating the information related to the fume generated by welding from the image obtained by photographing the state of welding by using the composite image as input data and the information related to fume as teacher data. ,
A learning device equipped with.
請求項１に記載の学習装置。 Further comprising a compositing means for compositing the fume image and the background image to generate the composite image.
The learning device according to claim 1.
請求項１または２に記載の学習装置。 The information relating to the fume is the fume image.
The learning device according to claim 1 or 2.
請求項１ないし３の何れかに記載の学習装置。 The teacher data includes the fume image and the background image.
The learning device according to any one of claims 1 to 3.
請求項４に記載の学習装置。 The teacher data further includes a composite ratio of the fume image and the background image in the composite image.
The learning device according to claim 4.
請求項１または２に記載の学習装置。 The information related to the fume is a feature amount of the fume image.
The learning device according to claim 1 or 2.
請求項１または２に記載の学習装置。 The information relating to the fume is the amount of fume contained in the fume image.
The learning device according to claim 1 or 2.
請求項１ないし７の何れかに記載の学習装置。 The fume image is an image of a fume generated by welding.
The learning device according to any one of claims 1 to 7.
請求項１ないし７の何れかに記載の学習装置。 The fume image is an image imitating a fume generated by welding.
The learning device according to any one of claims 1 to 7.
前記合成画像を入力データとし、ヒュームに係る情報を教師データとして、溶接の様子を撮影した画像から溶接により発生したヒュームに係る情報を推定するための学習済みモデルを機械学習により構築する学習手段、
としてコンピュータを機能させるためのプログラム。 An acquisition means for acquiring a composite image in which a fume image and a background image are combined, and
A learning means for constructing a learned model by machine learning to estimate information related to fume generated by welding from an image obtained by photographing the state of welding using the composite image as input data and information related to fume as teacher data.
A program to make your computer work as.
ヒューム画像と背景画像とが合成された合成画像を入力データとし、ヒュームに係る情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより撮影された画像から溶接により発生したヒュームに係る情報を推定する推定手段と、
推定結果に基づく、溶接により発生したヒュームの量を出力する出力手段と、
を備えるヒューム量推定システム。 A camera that captures the state of welding,
A composite image in which a fume image and a background image are combined is used as input data, and a trained model constructed in advance by machine learning is used as teacher data for information related to fume, and the image is generated by welding from the image taken by the camera. An estimation method for estimating information related to fume,
An output means that outputs the amount of fume generated by welding based on the estimation result,
A fume amount estimation system equipped with.
請求項１１に記載のヒューム量推定システム。 The information relating to the fume estimated by the estimation means is the fume image.
The fume amount estimation system according to claim 11.
請求項１１に記載のヒューム量推定システム。 The information related to the fume estimated by the estimation means is a feature amount of the fume image.
The fume amount estimation system according to claim 11.
請求項１１ないし１３の何れかに記載のヒューム量推定システム。 A calculation means for calculating the amount of fume generated by welding based on the information related to the fume estimated by the estimation means is further provided.
The fume amount estimation system according to any one of claims 11 to 13.
請求項１１に記載のヒューム量推定システム。 The information on the fume estimated by the estimation means is the amount of fume generated by welding.
The fume amount estimation system according to claim 11.
請求項１１ないし１５の何れかに記載のヒューム量推定システム。 A light-shielding object that blocks arc light or a filter that suppresses transmission of arc light is used to photograph the state of welding with the camera.
The fume amount estimation system according to any one of claims 11 to 15.
ヒューム画像と背景画像とが合成された合成画像を入力データとし、ヒュームに係る情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより撮影された画像から溶接により発生したヒュームに係る情報を推定し、
推定結果に基づく、溶接により発生したヒュームの量を出力する、
ヒューム量推定方法。 Take a picture of the welding with a camera
A composite image in which a fume image and a background image are combined is used as input data, and a trained model constructed in advance by machine learning is used as teacher data for information related to fume, and the image is generated by welding from the image taken by the camera. Estimate the information related to Hume,
Output the amount of fume generated by welding based on the estimation result,
Fume amount estimation method.
ヒューム画像と背景画像とが合成された合成画像を入力データとし、ヒュームに係る情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得手段により取得された画像から溶接により発生したヒュームに係る情報を推定する推定手段と、
を備える推定装置。 An acquisition method for acquiring an image generated by a camera that captures the state of welding,
A composite image obtained by combining a fume image and a background image is used as input data, and information related to fume is used as teacher data using a trained model constructed in advance by machine learning, and generated by welding from the image acquired by the acquisition means. An estimation means for estimating information related to the welded fume,
Estimator equipped with.
ヒューム画像と背景画像とが合成された合成画像を入力データとし、ヒュームに係る情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得手段により取得された画像から溶接により発生したヒュームに係る情報を推定する推定手段、
としてコンピュータを機能させるためのプログラム。
An acquisition means for acquiring an image generated by a camera that captures the state of welding, and
A composite image obtained by combining a fume image and a background image is used as input data, and information related to fume is used as teacher data using a trained model constructed in advance by machine learning, and generated by welding from the image acquired by the acquisition means. Estimating means for estimating information related to welded fume,
A program to make your computer work as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019110314A JP7150666B2 (en) | 2019-06-13 | 2019-06-13 | Hume amount estimation system, Hume amount estimation method, learning device, estimation device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019110314A JP7150666B2 (en) | 2019-06-13 | 2019-06-13 | Hume amount estimation system, Hume amount estimation method, learning device, estimation device, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020201213A true JP2020201213A (en) | 2020-12-17 |
| JP7150666B2 JP7150666B2 (en) | 2022-10-11 |
Family
ID=73743313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019110314A Active JP7150666B2 (en) | 2019-06-13 | 2019-06-13 | Hume amount estimation system, Hume amount estimation method, learning device, estimation device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7150666B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07219626A (en) * | 1994-02-04 | 1995-08-18 | Toshiba Corp | Plant control unit and tunnel ventilation control unit |
| JPH0825040A (en) * | 1994-07-15 | 1996-01-30 | Kilony Sangyo Kk | Method for monitoring welding condition and instrument thereof |
| WO2011024904A1 (en) * | 2009-08-27 | 2011-03-03 | 株式会社Ｉｈｉ検査計測 | Laser welding quality determination method and quality determination device |
| US20170032281A1 (en) * | 2015-07-29 | 2017-02-02 | Illinois Tool Works Inc. | System and Method to Facilitate Welding Software as a Service |
| JP2018088630A (en) * | 2016-11-29 | 2018-06-07 | ホーチキ株式会社 | Fire monitoring system |
| JP2018169690A (en) * | 2017-03-29 | 2018-11-01 | 日本電信電話株式会社 | Image processing device, image processing method, and image processing program |
| JP2018192524A (en) * | 2017-05-12 | 2018-12-06 | 株式会社神戸製鋼所 | Automatic welding system, welding control method, and machine learning model |
-
2019
- 2019-06-13 JP JP2019110314A patent/JP7150666B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07219626A (en) * | 1994-02-04 | 1995-08-18 | Toshiba Corp | Plant control unit and tunnel ventilation control unit |
| JPH0825040A (en) * | 1994-07-15 | 1996-01-30 | Kilony Sangyo Kk | Method for monitoring welding condition and instrument thereof |
| WO2011024904A1 (en) * | 2009-08-27 | 2011-03-03 | 株式会社Ｉｈｉ検査計測 | Laser welding quality determination method and quality determination device |
| US20170032281A1 (en) * | 2015-07-29 | 2017-02-02 | Illinois Tool Works Inc. | System and Method to Facilitate Welding Software as a Service |
| JP2018088630A (en) * | 2016-11-29 | 2018-06-07 | ホーチキ株式会社 | Fire monitoring system |
| JP2018169690A (en) * | 2017-03-29 | 2018-11-01 | 日本電信電話株式会社 | Image processing device, image processing method, and image processing program |
| JP2018192524A (en) * | 2017-05-12 | 2018-12-06 | 株式会社神戸製鋼所 | Automatic welding system, welding control method, and machine learning model |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7150666B2 (en) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Panetta et al. | Parameterized logarithmic framework for image enhancement | |
| US8754963B2 (en) | Processing images having different focus | |
| JP4367757B2 (en) | Method and system for outputting formatted information relating to defects in one device of a chain, in particular relating to smearing | |
| US12008708B2 (en) | Method and data processing system for creating or adapting individual images based on properties of a light ray within a lens | |
| EP2202687A2 (en) | Image quality evaluation device and method | |
| CN107316286A (en) | Misty rain synchronized compound, the method and apparatus removed in a kind of image | |
| CN106885622A (en) | A kind of big visual field multiple spot three-dimensional vibrating measuring method | |
| CN104954778A (en) | Objective stereo image quality assessment method based on perception feature set | |
| CN108028881A (en) | Camera auxiliary system, device and method and camera shooting terminal | |
| JP2010230532A (en) | X-ray image synthesizer, method and program | |
| JP7150666B2 (en) | Hume amount estimation system, Hume amount estimation method, learning device, estimation device, and program | |
| CN110336995B (en) | Jitter track generation method, device and system for photographing anti-jitter performance evaluation | |
| Karaduzovic-Hadziabdic et al. | Subjective and objective evaluation of multi-exposure high dynamic range image deghosting methods | |
| CN108781280B (en) | Test method, test device and terminal | |
| JP2018010498A (en) | Image processing device and method and control program | |
| CN115209121A (en) | Full-range simulation system and method with intelligent integration function | |
| Zhu et al. | A method for quality evaluation of multi-exposure fusion images with multi-scale gradient magnitude | |
| JP6468751B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2024502326A (en) | How to train a neural network configured to convert 2D images into 3D models | |
| CN113837917A (en) | Cross-media invisible watermark checking method and system based on AR technology | |
| JP2004110515A (en) | Image analysis system and image analysis program | |
| JP6843319B2 (en) | Information processing equipment, programs and information processing methods | |
| CN113421202B (en) | Method and device for correcting low-frequency heterogeneity of infrared image and storage medium | |
| JP6670918B2 (en) | Generation device, generation method, and generation program | |
| CN117058316A (en) | Manufacturing method and device applied to digital twinning astronomical line analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211026 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220615 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220621 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220817 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220927 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220928 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7150666 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |