JP2021157607A

JP2021157607A - Fracture surface analysis device and fracture surface analysis method

Info

Publication number: JP2021157607A
Application number: JP2020058390A
Authority: JP
Inventors: 真行濱田; Masayuki Hamada; 俊輔喜多; Shunsuke Kita; 智丈平田; Tomotake Hirata; 貴弘北川; Takahiro Kitagawa
Original assignee: Osaka Research Institute of Industrial Science and Technology
Current assignee: Osaka Research Institute of Industrial Science and Technology
Priority date: 2020-03-27
Filing date: 2020-03-27
Publication date: 2021-10-07
Anticipated expiration: 2040-03-27
Also published as: JP7465522B2

Abstract

To enable even a beginner of fracture surface analysis to determine a position of a break-starting point from a fracture surface image.SOLUTION: A fracture surface analysis device 10 includes: a machine learning section 12 that performs first learning by a first data set D1 including a combination of fracture surface image data D11 and break-starting point data D12; and an estimation section 14 that estimates a break-starting point of a fracture surface image Im to be input on the basis of a first learned model M1 obtained by the first learning.SELECTED DRAWING: Figure 1

Description

本発明は、構造物の破断面の解析技術に関し、特に、破断面解析装置及び破断面解析方法に関する。 The present invention relates to a fracture surface analysis technique for a structure, and more particularly to a fracture surface analysis apparatus and a fracture surface analysis method.

構造物の破損事故が起きた場合、原因調査を目的として破断面解析が実施される。破断面解析では、低倍率での観察を中心とするマクロ解析と、高倍率での観察を中心とするミクロ解析とが実施される。マクロ解析では主に破壊起点やき裂の進展方向の解析が行われ、ミクロ解析では主に破壊様式の解析が行われる（例えば特許文献１、２参照）。 When a structure breakage accident occurs, fracture surface analysis is carried out for the purpose of investigating the cause. In the fracture surface analysis, macro analysis centered on observation at low magnification and micro analysis centered on observation at high magnification are performed. In the macro analysis, the fracture origin and the crack growth direction are mainly analyzed, and in the micro analysis, the fracture mode is mainly analyzed (see, for example, Patent Documents 1 and 2).

破断面解析では、過去に観察した破断面の特徴との類似性を調べるので、正しい解析結果を導出するためには豊富な経験が必要となる。このため、経験が浅い若手技術者は、破壊起点、き裂の進展方向及び破壊様式などの判断に迷うことが多く、そのたびに熟練技術者への相談や文献調査などを行って経験不足を補う必要がある。 Since the fracture surface analysis examines the similarity with the characteristics of the fracture surface observed in the past, abundant experience is required to derive the correct analysis result. For this reason, inexperienced young engineers are often confused about the origin of fracture, the direction of crack growth, the mode of fracture, etc., and each time they consult with a skilled engineer or conduct a literature search, they lack experience. It needs to be supplemented.

特開平１１−１０１６２５号公報Japanese Unexamined Patent Publication No. 11-101625 特開２００９−０８５７３７号公報Japanese Unexamined Patent Publication No. 2009-08537

近年、「退職等による熟練技術者の減少」や「再発防止策の早期策定のための破断面解析時間の短縮への要求」などが重なって、若手技術者には厳しい状況となっている。また、誤った破断面解析結果に基づく再発防止策では、破損事故が再発する可能性が高く、若手技術者が感じる精神的圧力も大きい。このような環境にある若手技術者を補助する技術として、破断面解析の豊富な経験を必要としない解析方法の開発が求められている。 In recent years, the situation has become severe for young engineers due to the combination of "decrease in skilled engineers due to retirement, etc." and "request for shortening the fracture surface analysis time for early formulation of recurrence prevention measures". In addition, with recurrence prevention measures based on incorrect fracture surface analysis results, there is a high possibility that a breakage accident will recur, and the mental pressure felt by young engineers is great. As a technique for assisting young engineers in such an environment, it is required to develop an analysis method that does not require abundant experience in fracture surface analysis.

しかしながら、破断面解析に関する研究開発は、高度な解析能力を有する研究者によって実施されているので、従来の破断面解析技術は、研究者と同程度の解析能力を有する技術者による使用が前提となっている。このため、若手技術者が使いこなすことは難しい。 However, since research and development related to fracture surface analysis is carried out by researchers with advanced analysis ability, conventional fracture surface analysis technology is premised on use by engineers with analysis ability equivalent to that of researchers. It has become. Therefore, it is difficult for young engineers to master it.

前記に鑑み、本発明は、破断面解析の初心者でも破断面画像から破壊起点の位置を判定できるようにすることを目的とする。 In view of the above, it is an object of the present invention to enable even a beginner of fracture surface analysis to determine the position of the fracture starting point from the fracture surface image.

前記の目的を達成するために、この発明では、機械学習部の学習結果に基づき、破断面画像から破壊起点を推定するようにした。 In order to achieve the above object, in the present invention, the fracture origin is estimated from the fracture surface image based on the learning result of the machine learning unit.

本開示の第１の態様は、破断面解析装置であって、破断面画像データと破壊起点データとの組み合わせを含む第１データセットにより第１学習を行う機械学習部と、前記第１学習によって得られる第１学習済モデルに基づき、入力される破断面画像の破壊起点を推定する推定部とを備える。 The first aspect of the present disclosure is a fracture surface analysis apparatus, wherein the machine learning unit performs the first learning by the first data set including the combination of the fracture surface image data and the fracture origin data, and the first learning. Based on the obtained first trained model, it includes an estimation unit that estimates the fracture starting point of the input fracture surface image.

この第１の態様では、推定部は、第１学習済モデルに基づき、入力される破断面画像の破壊起点を推定するので、破断面解析の初心者でも破断面画像から破壊起点の位置を判定できる。 In this first aspect, since the estimation unit estimates the fracture starting point of the input fracture surface image based on the first trained model, even a beginner of fracture surface analysis can determine the position of the fracture starting point from the fracture surface image. ..

本開示の第２の態様は、第１の態様において、前記第１学習の学習モデルは、破壊起点の座標を推定できるように学習する回帰モデル、及び、破壊起点が存在する確率分布を推定できるように学習する分類モデルのうち、いずれか一方を選択でき、前記推定部は、前記学習モデルが前記回帰モデルである場合には、入力される前記破断面画像の破壊起点の座標を推定し、前記学習モデルが前記分類モデルである場合には、入力される前記破断面画像において破壊起点が存在する確率分布を推定する。 In the second aspect of the present disclosure, in the first aspect, the learning model of the first learning can estimate a regression model that learns so that the coordinates of the destruction origin can be estimated, and a probability distribution in which the destruction origin exists. One of the classification models to be trained can be selected, and the estimation unit estimates the coordinates of the fracture starting point of the input fracture surface image when the learning model is the regression model. When the learning model is the classification model, the probability distribution in which the fracture origin exists in the input fracture surface image is estimated.

この第２の態様では、第１の態様の効果を奏する具体的な構成が得られ、破断面解析の初心者でも破断面画像から容易に破壊起点の位置を判定できる。 In this second aspect, a concrete configuration that exhibits the effect of the first aspect can be obtained, and even a beginner of fracture surface analysis can easily determine the position of the fracture starting point from the fracture surface image.

本開示の第３の態様は、第２の態様において、前記第１学習の学習モデルは、前記回帰モデルと、前記分類モデルとを含み、前記推定部は、入力される前記破断面画像の破壊起点の座標及び入力される前記破断面画像において破壊起点が存在する確率分布を推定し、入力される前記破断面画像、推定される前記破壊起点の座標、及び推定される前記確率分布のうち、少なくとも２つを同一画面に重ねて画像として表示する結果表示部を更に備える。 In a third aspect of the present disclosure, in the second aspect, the learning model of the first learning includes the regression model and the classification model, and the estimation unit destroys the input fracture surface image. The coordinates of the starting point and the probability distribution in which the fracture starting point exists in the input fracture surface image are estimated, and among the input fracture surface image, the estimated coordinates of the fracture starting point, and the estimated probability distribution. A result display unit for displaying at least two images on the same screen is further provided.

この第３の態様では、推定部は、入力される破断面画像の破壊起点の座標と入力される破断面画像において破壊起点が存在する確率分布との両方を推定し、結果表示部は、入力される破断面画像、推定される破壊起点の座標、及び推定される確率分布のうち、少なくとも２つを同一画面に重ねて画像として表示するので、推定される破壊起点の妥当性を検証できる。従って、破断面解析の初心者でも破断面画像から破壊起点の位置を判定できるだけでなく、検証によりその精度を高めることができる。 In this third aspect, the estimation unit estimates both the coordinates of the fracture starting point of the input fracture surface image and the probability distribution in which the fracture origin exists in the input fracture surface image, and the result display unit inputs. Since at least two of the fracture surface image, the estimated coordinates of the fracture origin, and the estimated probability distribution are superimposed on the same screen and displayed as an image, the validity of the estimated fracture origin can be verified. Therefore, even a beginner of fracture surface analysis can not only determine the position of the fracture starting point from the fracture surface image, but also improve the accuracy by verification.

本開示の第４の態様は、第３の態様において、推定される前記確率分布に含まれる破壊起点の数ｎを判定し、入力される前記破断面画像を前記破壊起点が１つずつ含まれるようにｎ個の領域に分割し、各々が当該ｎ個の領域の１つ１つの画像を示すｎ個の分割画像を生成する、分割画像生成部を更に備え、前記推定部は、前記ｎ個の分割画像の各々における破壊起点の座標及び破壊起点が存在する確率分布を更に推定する。 In the fourth aspect of the present disclosure, in the third aspect, the number n of the fracture starting points included in the estimated probability distribution is determined, and the input fracture surface image includes the fracture starting points one by one. As described above, the estimation unit further includes a divided image generation unit that divides the image into n regions and generates n divided images, each of which represents each image of the n regions. The estimation unit includes the n regions. The coordinates of the destruction origin and the probability distribution in which the destruction origin exists in each of the divided images of are further estimated.

この第４の態様では、分割画像生成部が、破壊起点が１つずつ含まれるｎ個の分割画像を生成し、推定部がこのｎ個の分割画像の各々における破壊起点の座標及び破壊起点が存在する確率分布を推定するので、入力される破断面画像に複数の破壊起点が含まれる場合においても、破壊起点の位置を正しく推定できる。従って、破断面画像に破壊起点が複数存在する場合でも、破断面解析の初心者が破断面画像から容易に破壊起点の位置を判定できる。また、推定された破壊起点の座標及び破壊起点が存在する確率分布を相互に比較して破壊起点の位置の妥当性を検証できる。 In this fourth aspect, the divided image generation unit generates n divided images including one destruction starting point, and the estimation unit sets the coordinates of the destruction starting point and the destruction starting point in each of the n divided images. Since the existing probability distribution is estimated, the position of the fracture starting point can be correctly estimated even when the input fracture surface image includes a plurality of fracture starting points. Therefore, even if there are a plurality of fracture starting points in the fracture surface image, a beginner of fracture surface analysis can easily determine the position of the fracture starting point from the fracture surface image. In addition, the validity of the position of the rupture origin can be verified by comparing the estimated coordinates of the rupture origin and the probability distribution in which the rupture origin exists.

本開示の第５の態様は、第１〜第４の態様のいずれか１つにおいて、前記機械学習部は、破断面画像データと破断面模様データとの組み合わせを含む第２データセットにより第２学習を更に行い、前記推定部は、前記第２学習によって得られる第２学習済モデルに基づき、入力される前記破断面画像の破断面模様を更に推定する。 A fifth aspect of the present disclosure is that in any one of the first to fourth aspects, the machine learning unit uses a second data set including a combination of fracture surface image data and fracture surface pattern data. Further learning is performed, and the estimation unit further estimates the fracture surface pattern of the input fracture surface image based on the second learned model obtained by the second learning.

この第５の態様では、機械学習部は、第１学習に加え第２学習を更に行い、推定部は、破断面画像の破壊起点に加え破断面画像の破断面模様を更に推定するので、推定される破壊起点と推定される破断面模様とを比較して、推定される破壊起点が正しいかどうか検証できる。従って、破断面解析の初心者でも破断面画像から破壊起点の位置を判定でき、しかも、検証によりその精度を高めることができる。 In this fifth aspect, the machine learning unit further performs the second learning in addition to the first learning, and the estimation unit further estimates the fracture surface pattern of the fracture surface image in addition to the fracture starting point of the fracture surface image. It is possible to verify whether the estimated fracture starting point is correct by comparing the fracture starting point to be performed with the estimated fracture surface pattern. Therefore, even a beginner of fracture surface analysis can determine the position of the fracture starting point from the fracture surface image, and the accuracy can be improved by verification.

本開示の第６の態様は、第５の態様において、前記第２学習の学習モデルは、破断面模様を推定できるように学習するセマンティックセグメンテーションモデルを含む。 In the sixth aspect of the present disclosure, in the fifth aspect, the learning model of the second learning includes a semantic segmentation model that learns so that the fracture surface pattern can be estimated.

この第６の態様では、第５の態様の効果を奏する具体的な構成が得られる。 In this sixth aspect, a concrete configuration that exhibits the effect of the fifth aspect is obtained.

本開示の第７の態様は、第５又は第６の態様において、入力される前記破断面画像、前記第１学習済モデルに基づき推定される破壊起点、及び前記第２学習済モデルに基づき推定される破断面模様のうち、少なくとも２つを同一画面に重ねて画像として表示する結果表示部を更に備える。 A seventh aspect of the present disclosure is an estimated fracture starting point based on the input fracture surface image, the first trained model, and the second trained model in the fifth or sixth aspect. A result display unit is further provided for displaying at least two of the fracture surface patterns to be formed as an image by superimposing them on the same screen.

この第７の態様では、結果表示部は、入力される破断面画像、第１学習済モデルに基づき推定される破壊起点、及び第２学習済モデルに基づき推定される破断面模様のうち、少なくとも２つを同一画面に重ねて画像として表示するので、例えば、推定される破壊起点と推定される破断面模様との関係から、推定される破壊起点が正しいかどうか容易に検証できる。従って、破断面解析の初心者でも破断面画像から破壊起点の位置を判定でき、しかも、検証によりその精度を高めることができる。 In this seventh aspect, the result display unit is at least one of the input fracture surface image, the fracture starting point estimated based on the first trained model, and the fracture surface pattern estimated based on the second trained model. Since the two are superimposed on the same screen and displayed as an image, for example, it can be easily verified whether or not the estimated fracture starting point is correct from the relationship between the estimated fracture starting point and the estimated fracture surface pattern. Therefore, even a beginner of fracture surface analysis can determine the position of the fracture starting point from the fracture surface image, and the accuracy can be improved by verification.

ところで、入力される破断面画像に破壊起点が存在しない場合も考えられる。このような場合、技術者は、この破断面画像が示す破断面よりも広域の破断面を含む広域破断面画像を見て、破壊起点が含まれるように破断面画像を撮影しなおす必要がある。このとき、この広域破断面画像に示される破断面がその破断面の形態の違いによって異なる領域に分割された領域分割画像を得ることで、破損物において撮影する破断面の領域の見当をつけやすくなる。 By the way, it is also possible that the fracture starting point does not exist in the input fracture surface image. In such a case, the engineer needs to look at the wide area fracture surface image including the fracture surface wider than the fracture surface shown by the fracture surface image and retake the fracture surface image so as to include the fracture starting point. .. At this time, by obtaining a region-divided image in which the fracture surface shown in the wide-area fracture surface image is divided into different regions due to the difference in the form of the fracture surface, it is easy to estimate the region of the fracture surface to be photographed in the damaged object. Become.

ここで、第８の態様は、第１〜第７の態様のいずれか１つにおいて、前記機械学習部は、前記破断面画像データに含まれる破断面よりも広域の破断面を含む広域画像データと、前記広域の破断面を当該破断面の形態ごとに２以上の領域に分割した領域分割データとの組み合わせを含む第３データセットにより第３学習を更に行い、前記推定部は、前記第３学習によって得られる第３学習済モデルに基づき、入力される広域破断面画像において破断面の領域が分割された領域分割画像を更に推定する。 Here, in the eighth aspect, in any one of the first to seventh aspects, the machine learning unit includes a wide area image data including a fracture surface wider than the fracture surface included in the fracture surface image data. The third learning is further performed by the third data set including the combination with the area division data obtained by dividing the wide area fracture surface into two or more regions for each form of the fracture surface, and the estimation unit performs the third learning. Based on the third trained model obtained by training, the region-divided image in which the fracture surface region is divided in the input wide-area fracture surface image is further estimated.

この第８の態様によると、推定部は、第３学習によって得られる第３学習済モデルに基づき、入力される広域破断面画像において破断面の領域が分割された領域分割画像を更に推定するので、この領域分割画像を見て、破損物において撮影する破断面の領域を検討しやすくなる。従って、破断面解析の初心者でも、破壊起点の含まれない破断面画像を誤って用いる事態を回避し、破壊起点の位置を判定しやすくなる。 According to this eighth aspect, the estimation unit further estimates the region-divided image in which the fracture surface region is divided in the input wide-area fracture surface image based on the third trained model obtained by the third learning. By looking at this region-divided image, it becomes easier to examine the region of the fracture surface to be photographed in the damaged object. Therefore, even a beginner in fracture surface analysis can easily determine the position of the fracture origin by avoiding the situation where the fracture surface image that does not include the fracture origin is mistakenly used.

本開示の第９の態様は、破断面解析方法に係り、破断面画像データと破壊起点データとの組み合わせを含む第１データセットにより第１学習を行う第１学習ステップと、前記第１学習ステップで得られた第１学習済モデルに基づき、入力された破断面画像の破壊起点を推定する第１推定ステップとを備える。 A ninth aspect of the present disclosure relates to a fracture surface analysis method, and is a first learning step in which first learning is performed by a first data set including a combination of fracture surface image data and fracture origin data, and the first learning step. Based on the first trained model obtained in the above, the first estimation step of estimating the destruction starting point of the input fracture surface image is provided.

この第９の態様では、第１推定ステップで、第１学習済モデルに基づき、入力された破断面画像の破壊起点を推定するので、破断面解析の初心者でも破断面画像から破壊起点の位置を判定できる。 In this ninth aspect, since the fracture starting point of the input fracture surface image is estimated based on the first trained model in the first estimation step, even a beginner of fracture surface analysis can determine the position of the fracture starting point from the fracture surface image. Can be judged.

本開示の第１０の態様は、第９の態様において、破断面画像データと破断面模様データとの組み合わせを含む第２データセットにより第２学習を行う第２学習ステップと、前記第２学習ステップで得られた第２学習済モデルに基づき、入力された前記破断面画像の破断面模様を推定する第２推定ステップとを更に備える。 A tenth aspect of the present disclosure is, in the ninth aspect, a second learning step in which the second learning is performed by a second data set including a combination of the fracture surface image data and the fracture surface pattern data, and the second learning step. Based on the second trained model obtained in the above, the second estimation step of estimating the fracture surface pattern of the input fracture surface image is further provided.

この第１０の態様では、第１学習ステップに加え第２学習ステップを更に行い、第１推定ステップにおける破断面画像の破壊起点の推定に加え、第２推定ステップにおいて破断面画像の破断面模様を更に推定するので、推定された破壊起点と推定された破断面模様とを比較して、推定された破壊起点が正しいかどうか検証できる。従って、破断面解析の初心者でも破断面画像から破壊起点の位置を判定でき、しかも、検証によりその精度を高めることができる。 In this tenth aspect, the second learning step is further performed in addition to the first learning step, and in addition to the estimation of the fracture starting point of the fracture surface image in the first estimation step, the fracture surface pattern of the fracture surface image is obtained in the second estimation step. Since further estimation is performed, it is possible to compare the estimated fracture starting point with the estimated fracture surface pattern and verify whether the estimated fracture starting point is correct. Therefore, even a beginner of fracture surface analysis can determine the position of the fracture starting point from the fracture surface image, and the accuracy can be improved by verification.

本開示の第１１の態様は、第９又は第１０の態様において、前記破断面画像データに含まれる破断面よりも広域の破断面を含む広域画像データと、前記広域の破断面を当該破断面の形態ごとに２以上の領域に分割した領域分割データとの組み合わせを含む第３データセットにより第３学習を行う第３学習ステップと、前記第３学習で得られた第３学習済モデルに基づき、入力された広域破断面画像において破断面の領域が分割された領域分割画像を推定する第３推定ステップとを更に備える。 The eleventh aspect of the present disclosure is, in the ninth or tenth aspect, a wide area image data including a fracture surface wider than the fracture surface included in the fracture surface image data, and the fracture surface of the wide area. Based on the third learning step in which the third learning is performed by the third data set including the combination with the area division data divided into two or more regions for each form of, and the third trained model obtained in the third learning. A third estimation step of estimating a region-divided image in which the fracture surface region is divided in the input wide-area fracture surface image is further provided.

この第１１の態様では、第１学習ステップ及び第２学習ステップに加え第３学習ステップを更に行い、第３推定ステップにおいて、広域破断面画像の破断面の領域が分割された領域分割画像を更に推定するので、第８の態様と同様に、破損物において撮影する破断面の領域を検討しやすくなる。すなわち、破断面解析の初心者でも、破壊起点の含まれない破断面画像を誤って用いる事態を回避し、破壊起点の位置を判定しやすくなる。 In this eleventh aspect, the third learning step is further performed in addition to the first learning step and the second learning step, and in the third estimation step, the region-divided image in which the fracture surface region of the wide-area fracture surface image is further divided is further performed. Since it is estimated, it becomes easy to examine the region of the fracture surface to be photographed in the damaged object as in the eighth aspect. That is, even a beginner in fracture surface analysis can easily determine the position of the fracture origin by avoiding the situation where the fracture surface image that does not include the fracture origin is mistakenly used.

本開示の第１２の態様は、第９〜第１１の態様のいずれか１つにおける破断面解析方法をコンピュータに実行させるためのプログラムである。 A twelfth aspect of the present disclosure is a program for causing a computer to execute the fracture surface analysis method in any one of the ninth to eleventh aspects.

この第１２の態様では、第９〜第１１の態様のいずれか１つにおける方法を、コンピュータに実施させることができる。 In this twelfth aspect, the computer can be made to perform the method in any one of the ninth to eleventh aspects.

以上説明したように、本発明によると、破断面解析の初心者でも破断面画像から破壊起点の位置を判定できる。 As described above, according to the present invention, even a beginner of fracture surface analysis can determine the position of the fracture starting point from the fracture surface image.

第１実施形態及び第２実施形態に係る破断面解析装置の構成図である。It is a block diagram of the fracture surface analysis apparatus which concerns on 1st Embodiment and 2nd Embodiment. 第１実施形態及び第２実施形態に係る、回帰モデルを用いる場合の第１学習、及び学習済回帰モデルに基づく推定を示す概略図である。It is a schematic diagram which shows the 1st learning in the case of using the regression model which concerns on 1st Embodiment and 2nd Embodiment, and the estimation based on the trained regression model. 第１実施形態及び第２実施形態に係る、分類モデルを用いる場合の第１学習、及び学習済分類モデルに基づく推定を示す概略図である。It is a schematic diagram which shows the 1st learning in the case of using the classification model which concerns on 1st Embodiment and 2nd Embodiment, and the estimation based on the trained classification model. 第１実施形態に係るデータセット記憶部の構成図である。It is a block diagram of the data set storage part which concerns on 1st Embodiment. 第１実施形態に係る結果表示部の表示面に表示される画像の一例を示す図である。It is a figure which shows an example of the image displayed on the display surface of the result display part which concerns on 1st Embodiment. 第１実施形態に係る破断面解析方法を示すフロー図である。It is a flow chart which shows the fracture surface analysis method which concerns on 1st Embodiment. 第２実施形態に係る、セマンティックセグメンテーションモデルを用いる場合の第２学習、及び、学習済セマンティックセグメンテーションモデルに基づく推定を示す概略図である。It is a schematic diagram which shows the 2nd learning in the case of using the semantic segmentation model which concerns on 2nd Embodiment, and the estimation based on the trained semantic segmentation model. 第２実施形態に係る図４相当図である。It is a figure corresponding to FIG. 4 which concerns on 2nd Embodiment. 第２実施形態に係る図５相当図である。It is a figure corresponding to FIG. 5 which concerns on 2nd Embodiment. 第２実施形態に係る図５相当図であり、図９Ａとは異なる例を示す図である。It is the figure corresponding to FIG. 5 which concerns on 2nd Embodiment, and is the figure which shows the example different from FIG. 9A. 第２実施形態に係る図６相当図である。It is a figure corresponding to FIG. 6 which concerns on 2nd Embodiment. 第２実施形態の変形例に係る、第３学習、及び学習済セマンティックセグメンテーションモデルに基づく推定を示す概略図である。It is a schematic diagram which shows the estimation based on the 3rd learning and the trained semantic segmentation model which concerns on the modification of 2nd Embodiment.

以下、実施形態に係る破断面解析装置及び破断面解析方法について、図面を参照しながら説明する。 Hereinafter, the fracture surface analysis apparatus and the fracture surface analysis method according to the embodiment will be described with reference to the drawings.

＜第１実施形態＞
（破断面解析装置の機能構成）
図１は、本発明に係る破断面解析装置１０の構成図である。この破断面解析装置１０は、破損物１（破壊起点の位置を判定したい構造物）の破断面の画像から、その破断面の破壊起点の位置を判定するためのものである。この破断面解析装置１０は、データセット記憶部１１と、機械学習部１２と、撮影部１３と、推定部１４と、結果表示部１５と、出力データ記憶部１６とを備える。尚、破断面解析装置１０の各構成要素は、別体の装置部分として、分散して配置されていてもよい。 <First Embodiment>
(Functional configuration of fracture surface analysis device)
FIG. 1 is a configuration diagram of a fracture surface analysis device 10 according to the present invention. The fracture surface analysis device 10 is for determining the position of the fracture starting point of the fracture surface from the image of the fracture surface of the damaged object 1 (the structure for which the position of the fracture starting point is to be determined). The fracture surface analysis device 10 includes a data set storage unit 11, a machine learning unit 12, a photographing unit 13, an estimation unit 14, a result display unit 15, and an output data storage unit 16. It should be noted that each component of the fracture surface analysis device 10 may be dispersedly arranged as a separate device portion.

図２及び図３は、機械学習部１２及び推定部１４の機能を示す概略図である。破断面解析装置１０は、図２及び図３のそれぞれ上側に示すように、機械学習部１２が後述する第１学習を行い、また、図２及び図３のそれぞれ下側に示すように、推定部１４がこの第１学習によって得られる第１学習済モデルＭ１に基づき、撮影部１３によって撮影され入力される破断面画像Ｉｍの破壊起点を推定するように構成されている。結果表示部１５は、推定部１４の推定結果を表示し、破断面解析を行う技術者は、この推定結果を見て、破損物１の破断面の破壊起点の位置を判定する。 2 and 3 are schematic views showing the functions of the machine learning unit 12 and the estimation unit 14. The fracture surface analysis device 10 performs the first learning described later by the machine learning unit 12 as shown on the upper side of FIGS. 2 and 3, and estimates as shown on the lower side of FIGS. 2 and 3, respectively. The unit 14 is configured to estimate the destruction starting point of the fracture surface image Im captured and input by the photographing unit 13 based on the first learned model M1 obtained by the first learning. The result display unit 15 displays the estimation result of the estimation unit 14, and the engineer who performs the fracture surface analysis determines the position of the fracture starting point of the fracture surface of the damaged object 1 by looking at the estimation result.

尚、破断面解析装置１０において、機械学習部１２及び推定部１４は、それぞれの機能を実行するためのプログラムが記憶されたメモリ等の記憶媒体、及びそのプログラムに従って動作するプロセッサを主なハードウェア構成として備える。 In the fracture surface analysis device 10, the machine learning unit 12 and the estimation unit 14 mainly include a storage medium such as a memory in which a program for executing each function is stored, and a processor that operates according to the program. Prepare as a configuration.

以下、データセット記憶部１１、機械学習部１２、撮影部１３、推定部１４、及び結果表示部１５の各機能構成について詳細に説明する。 Hereinafter, each functional configuration of the data set storage unit 11, the machine learning unit 12, the photographing unit 13, the estimation unit 14, and the result display unit 15 will be described in detail.

（データセット記憶部）
データセット記憶部１１は、例えばハードディスク又はＳＤカード等の記憶媒体である。図４は、データセット記憶部１１の構成図である。データセット記憶部１１には、機械学習部１２が第１学習を行うための第１データセットＤ１が記憶されている。この第１データセットＤ１は、破断面画像データＤ１１と、この破断面画像データＤ１１に示された破断面の破壊起点の位置を示す破壊起点データＤ１２との組み合わせからなる。 (Data set storage)
The data set storage unit 11 is a storage medium such as a hard disk or an SD card. FIG. 4 is a configuration diagram of the data set storage unit 11. The data set storage unit 11 stores the first data set D1 for the machine learning unit 12 to perform the first learning. The first data set D1 is composed of a combination of the fracture surface image data D11 and the fracture starting point data D12 indicating the position of the fracture starting point of the fracture surface shown in the fracture surface image data D11.

破断面画像データＤ１１としては、種々の撮影方法および生成方法で準備された複数種類の画像を用いることができる。この「複数種類の画像」としては、例えば、ＳＥＭ画像及びデジタルカメラなどで撮影された画像（デジカメ画像）や、これらの撮影画像を白と黒のピクセルのみで表示した二値画像等がある。破断面画像データＤ１１には、ＳＥＭ画像、デジカメ画像及び二値画像のうち少なくとも２つを用いるのが好ましく、これらの３つを用いるのがより好ましい。 As the fracture surface image data D11, a plurality of types of images prepared by various photographing methods and generation methods can be used. Examples of the "plurality of types of images" include SEM images, images taken by a digital camera or the like (digital camera images), binary images in which these captured images are displayed only in black and white pixels, and the like. It is preferable to use at least two of the SEM image, the digital camera image and the binary image for the fracture surface image data D11, and it is more preferable to use these three.

破壊起点データＤ１２は、破断面画像データＤ１１の破断面における破壊起点の位置を座標として示す座標データ、及び破壊起点が存在する確率を後述する小領域ごとに記述した確率分布データを含む。座標データは、図２の右上に示すように、破断面画像データＤ１１が示す各破断面における破壊起点の座標を表す（Ｘ，Ｙ）の組み合わせからなる。確率分布データは、図３の右上に示すように、各破断面を複数の小領域Ａ_１，Ａ_２，…に分割し、各小領域において破壊起点が存在する確率を示す数値からなる。この小領域は、破断面画像Ｉｍのピクセル１つ１つが占める領域であってもよく、隣接する複数のピクセルの集合が占める領域であってもよい。図３の右上に示す確率分布データには、１４４個の小領域Ａ_１〜Ａ_１４４が存在する。 The fracture origin data D12 includes coordinate data indicating the position of the fracture origin in the fracture surface of the fracture surface image data D11 as coordinates, and probability distribution data in which the probability of existence of the fracture origin is described for each small area described later. As shown in the upper right of FIG. 2, the coordinate data is composed of a combination of (X, Y) representing the coordinates of the fracture starting point in each fracture surface shown by the fracture surface image data D11. As shown in the upper right of FIG. 3, the probability distribution data is composed of numerical values indicating the probability that a fracture starting point exists in each of the small regions by dividing _{each fracture surface into a plurality of small regions A 1} , A _{2, ....} This small area may be an area occupied by each pixel of the fracture surface image Im, or may be an area occupied by a set of a plurality of adjacent pixels. In the probability distribution data shown in the upper right of FIG. 3, there are 144 small regions A _{1 to} A ₁₄₄ .

前述の座標データ及び確率分布データは、第１学習を行う前に準備しておく。座標データを準備する方法は、例えば、技術者が破断面画像データＤ１１に示される破断面を見て、破壊起点を特定してその座標を記録するという方法であってもよい。確率分布データを準備する方法は、例えば、技術者が破断面画像データＤ１１に示される破断面を見て、破断面の各小領域を破壊起点が存在する確率のランク（例えば、ランク１：確率５０％以上、ランク２：確率１０％以上５０％未満、ランク３：確率０％以上１０％未満、など）を決定するという方法であってもよい。より具体的には、例えば、ピクセル単位で画像を編集できる画像編集用ソフトなどを使用して、破断面画像Ｉｍ中の全小領域を、破壊起点が存在する確率のランクごとに異なる色で塗り分けるという方法であってもよい。図３に示す例では、小領域Ａ_１１５がランク１（確率５０％）、小領域Ａ_１０２，Ａ_１０４，Ａ_１１６，Ａ_１２７，Ａ_１２８がランク２（確率１０％）、それ以外の小領域がランク３（存在確率０％）に割り当てられている。 The coordinate data and the probability distribution data described above are prepared before the first learning is performed. The method of preparing the coordinate data may be, for example, a method in which an engineer looks at the fracture surface shown in the fracture surface image data D11, identifies the fracture starting point, and records the coordinates. The method of preparing the probability distribution data is, for example, a method in which an engineer looks at the fracture surface shown in the fracture surface image data D11 and ranks the probability that a fracture starting point exists in each small area of the fracture surface (for example, rank 1: probability). 50% or more, rank 2: probability 10% or more and less than 50%, rank 3: probability 0% or more and less than 10%, etc.) may be determined. More specifically, for example, using image editing software that can edit the image in pixel units, the entire small area in the fracture surface image Im is painted with a different color for each rank of the probability that the fracture origin exists. It may be a method of dividing. In the example shown in FIG. 3, the small area A ₁₁₅ is rank 1 (probability 50%), the small area A ₁₀₂ , A ₁₀₄ , A ₁₁₆ , A ₁₂₇ , A ₁₂₈ is rank 2 (probability 10%), and the other small areas. Is assigned to rank 3 (probability of existence 0%).

（機械学習部）
機械学習部１２は、データセット記憶部１１から第１データセットＤ１を読み出し、第１学習を行う。第１学習の学習モデルは、図２に示すように、破壊起点の座標を推定できるように学習する回帰モデル、及び、図３に示すように、破壊起点が存在する確率を推定できるように学習する分類モデルとする。機械学習部１２は、この２つの学習モデルを構築するために２パターンの第１学習を行う。以下、学習モデルを回帰モデルとした場合及び分類モデルとした場合に第１学習で得られる第１学習済モデルＭ１を、それぞれ、学習済回帰モデルＭＲ及び学習済分類モデルＭＣという。 (Machine learning department)
The machine learning unit 12 reads the first data set D1 from the data set storage unit 11 and performs the first learning. The learning model of the first learning is a regression model that learns so that the coordinates of the destruction origin can be estimated as shown in FIG. 2, and a learning model that learns so that the probability that the destruction origin exists can be estimated as shown in FIG. It is a classification model to be used. The machine learning unit 12 performs the first learning of two patterns in order to construct these two learning models. Hereinafter, the first trained model M1 obtained in the first training when the training model is a regression model and a classification model will be referred to as a trained regression model MR and a trained classification model MC, respectively.

尚、機械学習部１２の学習方式には、例えば、畳み込みニューラルネットワーク又はサポートベクターマシンなどを用いることができる。 For the learning method of the machine learning unit 12, for example, a convolutional neural network or a support vector machine can be used.

（撮影部）
撮影部１３は、破損物１の破断面画像Ｉｍを撮影する。撮影部１３としては、破損物１の種類に応じて、ＳＥＭ等の電子顕微鏡、実体顕微鏡、マイクロスコープ及びデジタルカメラ等の種々の撮影手段を利用可能である。尚、破断面解析装置１０は、撮影部１３により撮影された破断面画像Ｉｍを記憶する画像記憶部（図示しない）を備えていてもよい。 (Shooting department)
The photographing unit 13 photographs the fracture surface image Im of the damaged object 1. As the photographing unit 13, various photographing means such as an electron microscope such as SEM, a stereomicroscope, a microscope, and a digital camera can be used depending on the type of the damaged object 1. The fracture surface analysis device 10 may include an image storage unit (not shown) that stores the fracture surface image Im captured by the imaging unit 13.

（推定部）
推定部１４は、撮影部１３で撮影された破断面画像Ｉｍが入力され、破壊起点を推定する。その推定結果は、結果表示部１５が出力する。推定部１４には、図２及び図３のそれぞれ下側に示すように、機械学習部１２の第１学習によって得られた学習済回帰モデルＭＲ及び学習済分類モデルＭＣが実装されており、推定部１４は、この学習済回帰モデルＭＲ及び学習済分類モデルＭＣに基づき破壊起点を推定する。具体的には、推定部１４は、図２の下側に示すように、学習済回帰モデルＭＲに基づき破断面画像Ｉｍの破壊起点の座標を推定し、その結果、座標Ｐｔが得られる。また、推定部１４は、図３の下側に示すように、学習済分類モデルＭＣに基づき破断面画像Ｉｍの破壊起点が存在する各小領域の確率を推定し、その結果、破壊起点が存在する確率を示す破壊起点コンター図ＰＤ（確率分布）が得られる。尚、図３の右下に示す破壊起点コンター図ＰＤの例では、各小領域における破壊起点の存在確率を、色が濃い（暗い）ほど確率が高くなるように、グレースケールで示している。 (Estimation part)
The estimation unit 14 inputs the fracture surface image Im captured by the photographing unit 13 and estimates the fracture starting point. The estimation result is output by the result display unit 15. As shown in the lower side of FIGS. 2 and 3, the estimation unit 14 is equipped with the trained regression model MR and the trained classification model MC obtained by the first learning of the machine learning unit 12, and estimates. Part 14 estimates the destruction origin based on the trained regression model MR and the trained classification model MC. Specifically, as shown in the lower part of FIG. 2, the estimation unit 14 estimates the coordinates of the fracture starting point of the fracture surface image Im based on the trained regression model MR, and as a result, the coordinates Pt are obtained. Further, as shown in the lower part of FIG. 3, the estimation unit 14 estimates the probability of each small region in which the fracture starting point of the fracture surface image Im exists based on the learned classification model MC, and as a result, the fracture starting point exists. A fracture origin contour diagram PD (probability distribution) showing the probability of this is obtained. In the example of the fracture origin contour diagram PD shown in the lower right of FIG. 3, the existence probability of the fracture origin in each small region is shown in gray scale so that the darker the color, the higher the probability.

（結果表示部）
結果表示部１５は、液晶ディスプレイ等により構成される表示面（図示しない）を有している。結果表示部１５は、推定部１４により２パターンの第１学習済モデルＭ１（すなわち、学習済回帰モデルＭＲ及び学習済分類モデルＭＣ）による破壊起点の推定の結果得られた破壊起点の座標Ｐｔ及び破壊起点コンター図ＰＤを、表示面（同一画面）に重ねて画像として表示する。図５は、結果表示部１５の表示面に表示される画像の一例を示す図である。 (Result display)
The result display unit 15 has a display surface (not shown) composed of a liquid crystal display or the like. The result display unit 15 has the coordinates Pt of the fracture origin obtained as a result of estimation of the fracture origin by the first trained model M1 (that is, the trained regression model MR and the trained classification model MC) of two patterns by the estimation unit 14. The destruction origin contour diagram PD is superimposed on the display surface (same screen) and displayed as an image. FIG. 5 is a diagram showing an example of an image displayed on the display surface of the result display unit 15.

図５に示す例では、破壊起点の座標Ｐｔが、破壊起点コンター図ＰＤの最も確率の高い領域とほぼ一致していることがわかる。仮に、学習済回帰モデルＭＲ及び学習済分類モデルＭＣに基づく破壊起点の推定結果が大きく異なる場合は、少なくともいずれか一方の推定結果が正しくない可能性が考えられる。このような場合に限り、推定された異なる２つの破壊起点を、入力された破断面画像Ｉｍと比較することにより、いずれの破壊起点がより信頼性が高いか、検証すればよい。 In the example shown in FIG. 5, it can be seen that the coordinates Pt of the fracture starting point substantially coincide with the region having the highest probability in the fracture origin contour diagram PD. If the estimation results of the fracture origin based on the trained regression model MR and the trained classification model MC are significantly different, it is possible that at least one of the estimation results is incorrect. Only in such a case, it is sufficient to verify which fracture origin is more reliable by comparing the two estimated fracture origins with the input fracture surface image Im.

結果表示部１５による表示の仕方は、図５に示す例と異なっていてもよい。例えば、結果表示部１５は、破壊起点の座標Ｐｔ及び破断面画像Ｉｍ、又は、破壊起点コンター図ＰＤ及び破断面画像Ｉｍを表示面に重ねて画像として表示してもよく、破壊起点の座標Ｐｔ、破壊起点コンター図ＰＤ及び破断面画像Ｉｍのすべてを表示面に重ねて画像として表示してもよい。 The display method by the result display unit 15 may be different from the example shown in FIG. For example, the result display unit 15 may display the fracture starting point coordinate Pt and the fracture surface image Im, or the fracture starting point contour diagram PD and the fracture surface image Im on the display surface as an image, and may display the fracture starting point coordinate Pt. , The fracture starting point contour diagram PD and the fracture surface image Im may be superimposed on the display surface and displayed as an image.

結果表示部１５が表示する推定結果は、出力データ記憶部１６に記憶される。出力データ記憶部１６は、例えばハードディスク等の記憶媒体である。 The estimation result displayed by the result display unit 15 is stored in the output data storage unit 16. The output data storage unit 16 is a storage medium such as a hard disk.

（破断面解析方法）
図６は、第１実施形態に係る破断面解析方法Ｓ１０を示すフロー図である。破断面解析方法Ｓ１０では、前述の破断面解析装置１０の機能を順番に実行する。尚、破断面解析方法Ｓ１０を開始する前に、破断面画像データＤ１１と、破壊起点データＤ１２との組み合わせからなる第１データセットＤ１を準備してデータセット記憶部１１に保存しておく。 (Fracture surface analysis method)
FIG. 6 is a flow chart showing the fracture surface analysis method S10 according to the first embodiment. In the fracture surface analysis method S10, the functions of the fracture surface analysis apparatus 10 described above are sequentially executed. Before starting the fracture surface analysis method S10, a first dataset D1 composed of a combination of fracture surface image data D11 and fracture starting point data D12 is prepared and stored in the data set storage unit 11.

まず、第１ステップＳ１１では、第１データセットＤ１を用いて機械学習部１２により第１学習を行う（第１学習ステップ）。続く第２ステップＳ１２では、撮影部１３により破損物１の破断面画像Ｉｍを撮影する。続く第３ステップＳ１３では、第２ステップＳ１２で撮影された破断面画像Ｉｍを入力とし、第１ステップＳ１１で得られた第１学習済モデルＭ１（すなわち、学習済回帰モデルＭＲ及び学習済分類モデルＭＣ）に基づき、この入力された破断面画像Ｉｍの破壊起点を推定し、その結果、破壊起点の座標Ｐｔ及び破壊起点コンター図ＰＤが得られる（第１推定ステップ）。続く第４ステップＳ１４では、推定された破壊起点を結果表示部１５が表示する。尚、第２ステップＳ１２は、第１ステップＳ１１よりも先に実行してもよい。 First, in the first step S11, the machine learning unit 12 performs the first learning using the first data set D1 (first learning step). In the following second step S12, the fracture surface image Im of the damaged object 1 is photographed by the photographing unit 13. In the following third step S13, the fracture surface image Im taken in the second step S12 is input, and the first trained model M1 (that is, the trained regression model MR and the trained classification model) obtained in the first step S11 is input. Based on MC), the fracture origin of the input fracture surface image Im is estimated, and as a result, the coordinates Pt of the fracture origin and the fracture origin contour diagram PD are obtained (first estimation step). In the subsequent fourth step S14, the result display unit 15 displays the estimated destruction starting point. The second step S12 may be executed before the first step S11.

以上の破断面解析方法は、記録媒体に記録されるコンピュータプログラムとして、コンピュータで実行可能である。 The above fracture surface analysis method can be executed by a computer as a computer program recorded on a recording medium.

（作用・効果）
本実施形態では、推定部１４が、第１学習済モデルＭ１に基づき、入力される破断面画像Ｉｍの破壊起点を推定するので、破断面解析の初心者でも破断面画像Ｉｍから破壊起点の位置を判定できる。 (Action / effect)
In the present embodiment, the estimation unit 14 estimates the fracture starting point of the input fracture surface image Im based on the first trained model M1, so that even a beginner of fracture surface analysis can determine the position of the fracture starting point from the fracture surface image Im. Can be judged.

また、推定部１４の学習済回帰モデルＭＲは、破断面画像Ｉｍの破壊起点の座標を推定し、その結果、座標Ｐｔが得られるので、破断面解析の初心者でも迷うことなく破断面画像Ｉｍ中の破壊起点の位置を判定できる。 Further, the trained regression model MR of the estimation unit 14 estimates the coordinates of the fracture starting point of the fracture surface image Im, and as a result, the coordinates Pt are obtained. The position of the destruction starting point of can be determined.

ところで、推定部１４により得られた破壊起点の座標Ｐｔが正しいか検証したい場合がある。ここで、推定部１４は破壊起点の座標Ｐｔに加え、破断面画像Ｉｍの破壊起点の位置を破壊起点コンター図ＰＤとして示すことができるので、破壊起点の座標Ｐｔと破壊起点コンター図ＰＤとを相互に比較できる。これによって、それぞれ推定結果の妥当性を検証できる。従って、破断面解析の初心者でも破断面画像Ｉｍから破壊起点の位置を判定できるだけでなく、検証によりその精度を高めることができる。 By the way, there is a case where it is desired to verify whether the coordinates Pt of the destruction starting point obtained by the estimation unit 14 are correct. Here, in addition to the coordinates Pt of the fracture starting point, the estimation unit 14 can show the position of the fracture starting point of the fracture surface image Im as the fracture starting point contour diagram PD, so that the coordinates Pt of the fracture starting point and the fracture starting point contour diagram PD are displayed. Can be compared with each other. This makes it possible to verify the validity of each estimation result. Therefore, even a beginner of fracture surface analysis can not only determine the position of the fracture starting point from the fracture surface image Im, but also improve the accuracy by verification.

また、本実施形態では、機械学習部１２は、破断面画像データＤ１１として、種々の撮影方法および生成方法で準備された複数種類の画像を用いるので、第１データセットＤ１の数を増やして第１学習の精度を高めることができる。従って、得られる第１学習済モデルＭ１に基づき、破断面解析の初心者でも破断面画像Ｉｍから高い精度で破壊起点の位置を判定できる。 Further, in the present embodiment, since the machine learning unit 12 uses a plurality of types of images prepared by various photographing methods and generation methods as the fracture surface image data D11, the number of the first data set D1 is increased. 1 The accuracy of learning can be improved. Therefore, based on the obtained first trained model M1, even a beginner of fracture surface analysis can determine the position of the fracture starting point with high accuracy from the fracture surface image Im.

＜第１実施形態の変形例＞
ところで、破断面画像Ｉｍに破壊起点が１箇所のみ存在する場合、学習済回帰モデルＭＲは、１つの破壊起点を推定し、学習済分類モデルＭＣも１つの破壊起点を推定することになる。従って、破壊起点が１箇所のみ存在する破断面画像Iｍの場合は、前述したように、座標Ｐｔと破壊起点コンター図ＰＤを相互に比較することで破壊起点の位置の妥当性を検証し、その精度を高めることができる。
しかし、その一方で、破断面画像Ｉｍに破壊起点が複数箇所存在する場合、学習済分類モデルＭＣは複数の破壊起点を破壊起点コンター図ＰＤとして推定できるものの、学習済回帰モデルＭＲは１つの破壊起点のみを推定するため、それぞれ推定結果の妥当性を検証し、その精度を高めることが難しくなる。そこで、破断面画像Ｉｍに破壊起点が複数箇所存在する場合においても、破断面解析の初心者が破壊起点の位置の妥当性を検証できるようにしたい。 <Modified example of the first embodiment>
By the way, when the fracture surface image Im has only one fracture origin, the trained regression model MR estimates one fracture origin, and the trained classification model MC also estimates one fracture origin. Therefore, in the case of the fracture surface image Im in which only one fracture starting point exists, as described above, the validity of the position of the fracture starting point is verified by comparing the coordinates Pt and the fracture starting point contour diagram PD with each other. The accuracy can be improved.
However, on the other hand, when there are a plurality of fracture starting points in the fracture surface image Im, the trained classification model MC can estimate a plurality of fracture starting points as the fracture origin contour diagram PD, but the trained regression model MR has one fracture. Since only the starting point is estimated, it is difficult to verify the validity of each estimation result and improve its accuracy. Therefore, even when there are a plurality of fracture starting points in the fracture surface image Im, it is desired that a beginner of fracture surface analysis can verify the validity of the position of the fracture starting point.

前記を鑑みて、破断面解析装置１０は、推定により得られた破壊起点コンター図ＰＤに含まれる破壊起点の数ｎを判定し、入力された破断面画像Ｉｍを破壊起点が１つずつ含まれるようにｎ個の破断面画像に分割する分割画像生成部（図示しない）を更に備えていてもよい。そして、推定部１４は、そのｎ個の分割画像の各々を入力とし、このｎ個の分割画像の各々における破壊起点の座標Ｐｔ及び破壊起点コンター図ＰＤの推定を行ってもよい。 In view of the above, the fracture surface analysis device 10 determines the number n of fracture origins included in the fracture starting point contour diagram PD obtained by estimation, and includes the input fracture surface image Im one by one. As described above, a divided image generation unit (not shown) for dividing into n fracture surface images may be further provided. Then, the estimation unit 14 may input each of the n divided images and estimate the coordinates Pt of the destruction starting point and the destruction starting point contour diagram PD in each of the n divided images.

この変形例によると、分割画像生成部が、学習済分類モデルＭＣによる推定結果が示す破壊起点を１つずつ含むように分割されたｎ個の分割画像を生成し、推定部１４がこのｎ個の分割画像の各々について破壊起点の推定を行うので、ｎ個の画像それぞれの座標Ｐｔ及び破壊起点コンター図ＰＤが得られる。その結果、入力された破断面画像Ｉｍに複数の破壊起点が含まれる場合においても、出力された座標Ｐｔと破壊起点コンター図ＰＤとを相互に比較できる。従って、破断面画像Ｉｍに破壊起点が複数存在する場合においても破断面解析の初心者が破壊起点の位置の妥当性を検証し、その精度を高めることができる。 According to this modification, the divided image generation unit generates n divided images divided so as to include one destruction starting point indicated by the estimation result by the trained classification model MC, and the estimation unit 14 generates n of these divided images. Since the destruction origin is estimated for each of the divided images, the coordinates Pt and the destruction origin contour diagram PD for each of the n images can be obtained. As a result, even when the input fracture surface image Im includes a plurality of fracture starting points, the output coordinates Pt and the fracture starting point contour diagram PD can be compared with each other. Therefore, even when a plurality of fracture starting points exist in the fracture surface image Im, a beginner of fracture surface analysis can verify the validity of the position of the fracture starting point and improve its accuracy.

＜第２実施形態＞
以下、第２実施形態に係る破断面解析装置２０の機能構成について説明する。この破断面解析装置２０は、機械学習部２２、推定部２４及び結果表示部２５の機能が、第１実施形態と異なっている。尚、第１実施形態と機能が同じである構成については、第１実施形態と同じ符号を用い、説明を省略する。 <Second Embodiment>
Hereinafter, the functional configuration of the fracture surface analysis device 20 according to the second embodiment will be described. The fracture surface analysis device 20 is different from the first embodiment in the functions of the machine learning unit 22, the estimation unit 24, and the result display unit 25. For the configuration having the same function as that of the first embodiment, the same reference numerals as those of the first embodiment will be used, and the description thereof will be omitted.

機械学習部２２は、図２及び図３に示す第１学習に加え、更なる機械学習（第２学習）を行う。図７は、第２学習に関する機械学習部２２及び推定部２４の機能を示す概略図である。すなわち、推定部２４は、第１学習済モデルＭ１に基づき破断面画像Ｉｍの破壊起点を推定することに加え、第２学習によって得られる第２学習済モデルＭ２に基づき破断面画像Ｉｍ内に捉えられた破断面模様Ｐｔｎを推定する。 The machine learning unit 22 performs further machine learning (second learning) in addition to the first learning shown in FIGS. 2 and 3. FIG. 7 is a schematic view showing the functions of the machine learning unit 22 and the estimation unit 24 regarding the second learning. That is, in addition to estimating the fracture starting point of the fracture surface image Im based on the first trained model M1, the estimation unit 24 captures the fracture surface image Im in the fracture surface image Im based on the second trained model M2 obtained by the second learning. The fracture surface pattern Ptn obtained is estimated.

破断面模様Ｐｔｎとは、具体的には、破断面における段差などの凹凸を反映した模様である。図７の右下には、この破断面模様Ｐｔｎの一例として、き裂が拡大するときの進展経路が破断面上に段差として現れた放射状模様が示されている。この放射状模様は、その収束点から破壊起点のおおまかな位置を特定できるので、破壊起点を特定するための足がかりとなる。尚、破断面模様Ｐｔｎは、き裂が拡大するときの進展経路が破断面上に段差として現れた放射状模様に限られず、破壊起点を特定するための足がかりとなるような、破断面上の模様であればよい。 The fracture surface pattern Ptn is specifically a pattern that reflects irregularities such as steps in the fracture surface. In the lower right of FIG. 7, as an example of this fracture surface pattern Ptn, a radial pattern in which the growth path when the crack expands appears as a step on the fracture surface is shown. Since this radial pattern can identify the rough position of the fracture starting point from the convergence point, it serves as a stepping stone for identifying the fracture starting point. The fracture surface pattern Ptn is not limited to the radial pattern in which the growth path when the crack expands appears as a step on the fracture surface, but is a pattern on the fracture surface that serves as a foothold for identifying the fracture starting point. It should be.

図８は、データセット記憶部２１の構成図である。データセット記憶部２１には、第１データセットＤ１に加え、第２データセットＤ２が記憶されている。第２データセットＤ２は、破断面画像データＤ２１（Ｄ１１）と、この破断面画像データＤ２１の放射状模様を示す破断面模様データＤ２２との組み合わせからなる。 FIG. 8 is a configuration diagram of the data set storage unit 21. In addition to the first data set D1, the data set storage unit 21 stores the second data set D2. The second data set D2 is composed of a combination of the fracture surface image data D21 (D11) and the fracture surface pattern data D22 showing the radial pattern of the fracture surface image data D21.

破断面模様データＤ２２は、例えば、図７の右上に示す、ハッチングされた部分である。この破断面模様データＤ２２は、第２学習の前に準備しておく。破断面模様データＤ２２を準備する方法は、例えば、技術者が破断面画像データＤ２１に示される破断面を見て、画像編集用ソフトなどを使用して描いてもよい。 The fracture surface pattern data D22 is, for example, a hatched portion shown in the upper right of FIG. 7. The fracture surface pattern data D22 is prepared before the second learning. As a method of preparing the fracture surface pattern data D22, for example, an engineer may look at the fracture surface shown in the fracture surface image data D21 and draw it using image editing software or the like.

機械学習部２２は、データセット記憶部２１から第１データセットＤ１及び第２データセットＤ２を読み出し、第１学習及び第２学習を行う。第２学習では、図７に示すように、破断面模様を推定するための学習モデルであるセマンティックセグメンテーションモデル（以下、ＳＳモデルという。）を構築する。以下、第２学習で得られる第２学習済モデルＭ２を、学習済ＳＳモデルＭＳという。 The machine learning unit 22 reads the first data set D1 and the second data set D2 from the data set storage unit 21 and performs the first learning and the second learning. In the second learning, as shown in FIG. 7, a semantic segmentation model (hereinafter referred to as SS model), which is a learning model for estimating the fracture surface pattern, is constructed. Hereinafter, the second trained model M2 obtained by the second learning is referred to as a trained SS model MS.

推定部２４は、図７の下側に示すように、撮影部１３で撮影された破断面画像Ｉｍが入力され、破断面模様Ｐｔｎを推定し、その結果、破断面模様Ｐｔｎが得られる。 As shown in the lower part of FIG. 7, the estimation unit 24 inputs the fracture surface image Im captured by the photographing unit 13 and estimates the fracture surface pattern Ptn, and as a result, the fracture surface pattern Ptn is obtained.

結果表示部２５は、第１学習済モデルＭ１に基づき推定された破壊起点（座標Ｐｔ又は破壊起点コンター図ＰＤ）と、第２学習済モデルＭ２に基づき推定された破断面模様Ｐｔｎとをその表示面（同一画面）に重ねて画像として表示する。 The result display unit 25 displays the fracture starting point (coordinates Pt or fracture starting point contour diagram PD) estimated based on the first trained model M1 and the fracture surface pattern Ptn estimated based on the second trained model M2. It is displayed as an image on a surface (same screen).

図９Ａ及び図９Ｂは、結果表示部２５の表示面に表示された画像の２つの例を示す図である。図９Ａ及び図９Ｂは、推定部２４に入力された破断面画像Ｉｍが互いに異なっている。図９Ａ及び図９Ｂのそれぞれの左側では、推定された破壊起点の座標Ｐｔと破断面模様Ｐｔｎとが重ねて表示されており、図９Ａ及び図９Ｂのそれぞれの右側では、推定された破壊起点の破壊起点コンター図ＰＤ（確率が０％の領域を除く）と破断面模様Ｐｔｎとが重ねて表示されている。図９Ａ及び図９Ｂでは、破断面模様Ｐｔｎで示される放射状模様から判断できる破壊起点が存在し得る位置（すなわち、放射状模様が収束する位置）を破線で囲んでいる。 9A and 9B are diagrams showing two examples of images displayed on the display surface of the result display unit 25. In FIGS. 9A and 9B, the fracture surface images Im input to the estimation unit 24 are different from each other. On the left side of each of FIGS. 9A and 9B, the coordinate Pt of the estimated fracture starting point and the fracture surface pattern Ptn are displayed in an overlapping manner, and on the right side of each of FIGS. 9A and 9B, the estimated fracture starting point is displayed. The fracture origin contour diagram PD (excluding the region where the probability is 0%) and the fracture surface pattern Ptn are displayed in an overlapping manner. In FIGS. 9A and 9B, the position where the fracture starting point that can be determined from the radial pattern indicated by the fracture surface pattern Ptn can exist (that is, the position where the radial pattern converges) is surrounded by a broken line.

図９Ａに示す例では、推定された破壊起点の座標Ｐｔの位置（図９Ａの左側を参照）及び破壊起点コンター図ＰＤの最も確率の高い位置（図９Ｂの右側を参照）は、いずれも破線で囲む領域にある。すなわち、学習済回帰モデルＭＲ及び学習済分類モデルＭＣに基づく破壊起点の推定結果（座標Ｐｔ及び破壊起点コンター図ＰＤ）は、いずれも学習済ＳＳモデルＭＳに基づく推定結果（破断面模様Ｐｔｎ）と一致している。このため、３つの学習済モデルに基づく推定結果から、迷うことなく破壊起点を判定できる。 In the example shown in FIG. 9A, the position of the estimated fracture origin coordinate Pt (see the left side of FIG. 9A) and the most probable position of the fracture origin contour diagram PD (see the right side of FIG. 9B) are both dashed lines. It is in the area surrounded by. That is, the estimation results of the fracture origin (coordinates Pt and fracture origin contour diagram PD) based on the trained regression model MR and the learned classification model MC are both the estimation results (fracture profile pattern Ptn) based on the trained SS model MS. Match. Therefore, the destruction origin can be determined without hesitation from the estimation results based on the three trained models.

一方、図９Ｂに示す例では、推定された破壊起点コンター図ＰＤの最も確率の高い領域は、破線で囲む領域にあるものの（図９Ｂの右側を参照）、推定された破壊起点の座標Ｐｔは、破線で囲む領域の外にあることがわかる（図９Ｂの左側を参照）。すなわち、学習済分類モデルＭＣに基づく推定結果は、学習済ＳＳモデルＭＳに基づく推定結果と一致するものの、学習済回帰モデルＭＲに基づく推定結果は学習済ＳＳモデルＭＳに基づく推定結果とは一致しない。この場合、学習済ＳＳモデルＭＳに基づく推定結果と一致する学習済分類モデルＭＲに基づく推定結果（図９Ｂの右側）が、学習済回帰モデルＭＲに基づく推定結果（図９Ｂの左側）よりも信頼できるといえる。 On the other hand, in the example shown in FIG. 9B, the region with the highest probability of the estimated fracture origin contour diagram PD is in the region surrounded by the broken line (see the right side of FIG. 9B), but the coordinates Pt of the estimated fracture origin are , It can be seen that it is outside the area surrounded by the broken line (see the left side of FIG. 9B). That is, the estimation result based on the trained classification model MC matches the estimation result based on the trained SS model MS, but the estimation result based on the trained regression model MR does not match the estimation result based on the trained SS model MS. .. In this case, the estimation result based on the trained classification model MR (right side of FIG. 9B) that matches the estimation result based on the trained SS model MS is more reliable than the estimation result based on the trained regression model MR (left side of FIG. 9B). It can be said that it can be done.

図１０は、第２実施形態に係る破断面解析方法Ｓ２０を示すフロー図である。破断面解析方法Ｓ２０は、第１学習を行う第１ステップＳ２１（Ｓ１１）に続き、破断面画像データＤ２１（Ｄ１１）と破断面模様データＤ２２との組み合わせを第２データセットＤ２として第２学習を行う第２ステップＳ２２を実行する（第２学習ステップ）。続く第３ステップＳ２３（Ｓ１２）では、撮影部１３により破損物１の破断面画像Ｉｍを撮影する。続く第４ステップＳ２４（Ｓ１３）では第１学習済モデルＭ１に基づき、破壊起点の位置を推定し、破壊起点の座標Ｐｔ及び破壊起点コンター図ＰＤが得られる（第１推定ステップ）。続く第５ステップＳ２５では、第２学習済モデルＭ２に基づき、破断面模様を推定し、破断面模様Ｐｔｎが得られる（第２推定ステップ）。続く第６ステップＳ２６では、推定により得られた破壊起点の座標Ｐｔ、破壊起点コンター図ＰＤ及び破断面模様Ｐｔｎを結果表示部２５が表示する。尚、第１ステップＳ２１〜第５ステップＳ２５を実行する順序はこれに限定されず、第１ステップＳ２１が第４ステップＳ２４よりも先であり、第２ステップＳ２２が第５ステップＳ２５よりも先であり、第３ステップＳ２３が第４ステップＳ２４及び第５ステップＳ２５のいずれよりも先であり、且つ、第４ステップＳ２４及び第５ステップＳ２５のいずれもが第６ステップＳ２６よりも先であればよい。 FIG. 10 is a flow chart showing the fracture surface analysis method S20 according to the second embodiment. In the fracture surface analysis method S20, following the first step S21 (S11) in which the first learning is performed, the second learning is performed using the combination of the fracture surface image data D21 (D11) and the fracture surface pattern data D22 as the second data set D2. The second step S22 to be performed is executed (second learning step). In the following third step S23 (S12), the fracture surface image Im of the damaged object 1 is photographed by the photographing unit 13. In the subsequent fourth step S24 (S13), the position of the fracture starting point is estimated based on the first trained model M1, and the coordinates Pt of the fracture starting point and the fracture starting point contour diagram PD are obtained (first estimation step). In the subsequent fifth step S25, the fracture surface pattern is estimated based on the second trained model M2, and the fracture surface pattern Ptn is obtained (second estimation step). In the following sixth step S26, the result display unit 25 displays the coordinates Pt of the fracture starting point, the fracture starting point contour diagram PD, and the fracture surface pattern Ptn obtained by estimation. The order in which the first steps S21 to the fifth steps S25 are executed is not limited to this, and the first step S21 is earlier than the fourth step S24, and the second step S22 is earlier than the fifth step S25. Yes, the third step S23 may precede any of the fourth step S24 and the fifth step S25, and both the fourth step S24 and the fifth step S25 may precede the sixth step S26. ..

本実施形態では、機械学習部２２は、第１学習に加え第２学習を更に行い、推定部２４は、破断面画像Ｉｍの破壊起点に加え破断面画像Ｉｍの破断面模様Ｐｔｎを更に推定し、その結果、破断面模様Ｐｔｎが得られるので、推定された破壊起点と破断面模様Ｐｔｎとを比較することにより、推定された破壊起点が正しいかどうか検証できる。従って、破断面解析の初心者でも破断面画像Ｉｍから破壊起点の位置を判定でき、しかも、検証によりその精度を高めることができる。 In the present embodiment, the machine learning unit 22 further performs the second learning in addition to the first learning, and the estimation unit 24 further estimates the fracture surface pattern Ptn of the fracture surface image Im in addition to the fracture starting point of the fracture surface image Im. As a result, the fracture surface pattern Ptn is obtained, and it is possible to verify whether or not the estimated fracture origin is correct by comparing the estimated fracture starting point with the fracture surface pattern Ptn. Therefore, even a beginner of fracture surface analysis can determine the position of the fracture starting point from the fracture surface image Im, and the accuracy can be improved by verification.

また、本実施形態では、結果表示部２５が、推定された破壊起点及び破断面模様Ｐｔｎを同一画面に重ねて画像として表示するので、推定された破壊起点と破断面模様Ｐｔｎとの関係から、推定された破壊起点が正しいかどうか容易に検証できる。従って、破断面解析の初心者でも破断面画像から破壊起点の位置を判定でき、しかも、検証によりその精度を高めることができる。 Further, in the present embodiment, the result display unit 25 superimposes the estimated fracture starting point and the fracture surface pattern Ptn on the same screen and displays the image as an image. Therefore, from the relationship between the estimated fracture starting point and the fracture surface pattern Ptn, It is easy to verify whether the estimated rupture origin is correct. Therefore, even a beginner of fracture surface analysis can determine the position of the fracture starting point from the fracture surface image, and the accuracy can be improved by verification.

尚、結果表示部２５は、推定により得られた破壊起点の座標Ｐｔ及び破壊起点コンター図ＰＤ並びに破断面模様Ｐｔｎの３つを同一画面に表示してもよい。 The result display unit 25 may display the coordinates Pt of the fracture starting point, the fracture starting point contour diagram PD, and the fracture surface pattern Ptn obtained by estimation on the same screen.

＜第２実施形態の変形例＞
前述の第２実施形態において、推定により得られた破壊起点の座標Ｐｔ、破壊起点コンター図ＰＤ、及び破断面模様Ｐｔｎの３つのうちのすべて異なるような場合には、入力される破断面画像Ｉｍに破壊起点が存在しない可能性を考えるべきである。このような場合、技術者は、この破断面画像Ｉｍが示す破断面よりも広域の破断面を含む広域破断面画像ＷＩを見て、破壊起点が含まれるように破断面画像を撮影しなおす必要がある。このとき、この広域破断面画像ＷＩに示される破断面がその破断面の形態の違いによって異なる領域に分割された後述する領域分割画像ＳＡを得ることで、破損物１において撮影する破断面の領域の見当をつけやすくなる。尚、破断面の形態とは、例えば、後述するような破断面の凹凸などをいう。 <Modified example of the second embodiment>
In the second embodiment described above, if all three of the coordinates Pt of the fracture starting point, the fracture starting point contour diagram PD, and the fracture surface pattern Ptn obtained by estimation are different, the fracture surface image Im is input. We should consider the possibility that there is no origin of destruction in. In such a case, the engineer needs to look at the wide area fracture surface image WI including the fracture surface wider than the fracture surface indicated by the fracture surface image Im, and retake the fracture surface image so as to include the fracture starting point. There is. At this time, the region of the fracture surface to be photographed in the damaged object 1 is obtained by obtaining the region division image SA described later in which the fracture surface shown in the wide area fracture surface image WI is divided into different regions depending on the difference in the form of the fracture surface. It becomes easier to get an idea of. The form of the fracture surface refers to, for example, the unevenness of the fracture surface as described later.

前記を鑑みて、機械学習部３２は、第１学習及び第２学習に加え、領域分割画像ＳＡを推定できるように学習する第３学習を行ってもよい。図１１は、第３学習に関する機械学習部３２及び推定部３４の機能を示す概略図である。領域分割画像ＳＡとは、図１１の右下に示すように、例えば、広域破断面画像ＷＩが、その破断面における比較的凹凸の多い凹凸領域（図１１右下のドットハッチングされた部分を参照）、及び、凹凸領域を除く平坦領域（図１１右下のハッチングされた部分を参照）に２分割された画像である。尚、領域分割画像ＳＡは、凹凸領域及び平坦領域に加え、更に形態が異なる領域（例えば、明瞭な放射状模様が認められるような領域など）にも分割されていてもよく（すなわち、３分割されていてもよい）、更にその他の領域にも分割されていてもよい（すなわち、４分割以上されていてもよい）。 In view of the above, in addition to the first learning and the second learning, the machine learning unit 32 may perform the third learning to learn so that the region-divided image SA can be estimated. FIG. 11 is a schematic view showing the functions of the machine learning unit 32 and the estimation unit 34 related to the third learning. As shown in the lower right of FIG. 11, the region-divided image SA is, for example, a wide-area fracture surface image WI, which has a relatively uneven uneven region in the fracture surface (see the dot-hatched portion in the lower right of FIG. 11). ) And a flat region excluding the uneven region (see the hatched portion at the lower right of FIG. 11). The region-divided image SA may be further divided into regions having different morphologies (for example, regions in which a clear radial pattern is recognized) in addition to the uneven region and the flat region (that is, the region-divided image SA is divided into three regions). It may be further divided into other areas (that is, it may be divided into four or more).

機械学習部３２は、図１１の上側に示すように、はじめに入力された破断面画像データＤ２１に含まれる破断面よりも広域の破断面を含む広域画像データＤ３１と、この広域の破断面を当該破断面の形態によって２以上の領域に分割した領域分割データＤ３２との組み合わせを含む第３データセットにより第３学習を更に行う。領域分割データＤ３２は、例えば、破断面模様データＤ２２を準備する方法と同様に、技術者が広域画像データＤ３１に示される破断面を見て、この破断面を凹凸領域と平坦領域とに塗り分けるという方法であってもよい。第３学習の学習モデルは、例えば、第２学習と同様にＳＳモデルである。 As shown in the upper part of FIG. 11, the machine learning unit 32 refers to the wide area image data D31 including the fracture surface wider than the fracture surface included in the fracture surface image data D21 input first, and the fracture surface of this wide area. The third learning is further performed by the third data set including the combination with the region division data D32 divided into two or more regions according to the form of the fracture surface. In the area division data D32, for example, similarly to the method of preparing the fracture surface pattern data D22, the engineer looks at the fracture surface shown in the wide area image data D31 and paints the fracture surface into the uneven region and the flat region. It may be the method. The learning model of the third learning is, for example, an SS model as in the second learning.

推定部３４には、図１１の左下に示すように、撮影部１３によって撮影された広域破断面画像ＷＩが入力される。この広域破断面画像ＷＩは、はじめに入力された破断面画像Ｉｍを撮影するときに撮影していてもよく、必要な場合にのみ、破損物１の適切な領域を含むように（適切な拡大倍率に）、適宜調整して撮影してもよい。 As shown in the lower left of FIG. 11, the wide area fracture surface image WI photographed by the photographing unit 13 is input to the estimation unit 34. This wide area fracture surface image WI may be taken when the first input fracture surface image Im is taken, and only when necessary so as to include an appropriate area of the damaged object 1 (appropriate magnification). In), you may adjust it appropriately and shoot.

推定部３４は、図１１の下側に示すように、第３学習によって得られる第３学習済モデルＭ３（学習済ＳＳモデル）に基づき、入力される広域破断面画像ＷＩの分割された領域分割画像ＳＡを推定し、その結果、領域分割画像ＳＡが得られる。結果表示部２５は、得られた領域分割画像ＳＡを表示する。 As shown in the lower part of FIG. 11, the estimation unit 34 divides the wide area fracture surface image WI to be input based on the third trained model M3 (learned SS model) obtained by the third learning. The image SA is estimated, and as a result, the region-divided image SA is obtained. The result display unit 25 displays the obtained region-divided image SA.

この変形例に係る破断面解析方法では、前述の第２実施形態に係る破断面解析方法Ｓ２０において、第３データセットにより第３学習を行う第３学習ステップと、第３学習で得られた第３学習済モデルに基づき、領域分割画像ＳＡを推定する第３推定ステップとを更に備える。具体的には、図１０に示す第６ステップＳ２６で、結果表示部２５が表した破壊起点の座標Ｐｔ、破壊起点コンター図ＰＤ及び破断面模様Ｐｔを見て、入力される破断面画像Ｉｍに破壊起点が存在しないと考えられる場合に、第３推定ステップを行い領域分割画像ＳＡを得る。そして、破損物１において撮影する破断面の領域の見当をつけた上で、破壊起点が含まれるように破断面画像Ｉｍを撮影しなおし、その撮影しなおした破断面画像Ｉｍを入力として第４ステップＳ２４〜第６ステップＳ２６を行う。 In the fracture surface analysis method according to this modification, in the fracture surface analysis method S20 according to the second embodiment described above, the third learning step in which the third learning is performed by the third data set and the third learning step obtained in the third learning are performed. 3. A third estimation step for estimating the region-divided image SA based on the trained model is further provided. Specifically, in the sixth step S26 shown in FIG. 10, the coordinates Pt of the fracture starting point, the fracture starting point contour diagram PD, and the fracture surface pattern Pt represented by the result display unit 25 are viewed, and the fracture surface image Im is input. When it is considered that the destruction origin does not exist, the third estimation step is performed to obtain the region-divided image SA. Then, after estimating the region of the fracture surface to be photographed in the damaged object 1, the fracture surface image Im is re-photographed so as to include the fracture starting point, and the re-photographed fracture surface image Im is input as the fourth. Step S24 to sixth step S26 are performed.

この変形例によると、推定部３４は、第３学習によって得られる第３学習済モデルＭ３に基づき、入力される広域破断面画像ＷＩにおいて破断面の領域が分割された領域分割画像ＳＡを推定するので、技術者は、この領域分割画像ＳＡを見て、破損物１において撮影する破断面の領域の見当をつけやすくなる。例えば、はじめに入力された破断面画像Ｉｍが凹凸領域に属していた場合、技術者は、破壊起点が凹凸領域には存在しないと判断し、平坦領域を撮影することを検討できる。 According to this modification, the estimation unit 34 estimates the region-divided image SA in which the fracture surface region is divided in the input wide-area fracture surface image WI based on the third trained model M3 obtained by the third learning. Therefore, the engineer can easily guess the region of the fracture surface to be photographed in the damaged object 1 by looking at the region division image SA. For example, when the fracture surface image Im initially input belongs to the concavo-convex region, the engineer can determine that the fracture starting point does not exist in the concavo-convex region and can consider photographing the flat region.

これによると、破断面解析の初心者でも、破壊起点の含まれない破断面画像Ｉｍを誤って用いる事態を回避し、破壊起点の位置を判定しやすくなる。 According to this, even a beginner of fracture surface analysis can avoid a situation where the fracture surface image Im that does not include the fracture origin is mistakenly used, and it becomes easy to determine the position of the fracture origin.

＜その他の実施形態＞
前述の各実施形態では、第１学習の学習モデルは回帰モデル及び分類モデルの両方を含むが、回帰モデル及び分類モデルのいずれか一方を選択できるようにしてもよい。これに応じて、推定部１４（２４）は、学習モデルが回帰モデルである場合には入力される破断面画像Ｉｍの破壊起点の座標Ｐｔを推定し、学習モデルが分類モデルである場合には入力される破断面画像Ｉｍにおいて破壊起点コンター図ＰＤを推定するようにしてもよい。 <Other Embodiments>
In each of the above-described embodiments, the learning model of the first learning includes both the regression model and the classification model, but either the regression model or the classification model may be selected. In response to this, the estimation unit 14 (24) estimates the coordinate Pt of the fracture starting point of the fracture surface image Im input when the learning model is a regression model, and when the learning model is a classification model, it estimates. The fracture origin contour diagram PD may be estimated from the input fracture surface image Im.

また、前述の各実施形態では、破壊起点データＤ１２及び破断面模様データＤ２２を準備する方法の例として、技術者が破断面画像Ｉｍを見て準備することを挙げたが、これに限定されない。例えば、破断面解析装置１０（２０）は、破断面画像データＤ１１（Ｄ２１）の破断面を解析し、破壊起点データＤ１２及び破断面模様データＤ２２を自動的に生成するデータ生成部（図示しない）を備えていてもよい。データ生成部は、例えば、破断面画像Ｉｍに二値化処理を行い、二値化された画像からき裂の模様（放射状模様）に沿う直線を抽出し、抽出した直線から破断面における破壊起点及びき裂の進展方向等を求めることにより破壊起点データＤ１２及び破断面模様データＤ２２を自動的に生成してもよい。これによると、技術者がすべての破壊起点データＤ１２及び破断面模様データＤ２２を準備するために必要な負担を回避できる。 Further, in each of the above-described embodiments, as an example of the method of preparing the fracture starting point data D12 and the fracture surface pattern data D22, it has been mentioned that the engineer prepares by looking at the fracture surface image Im, but the present invention is not limited to this. For example, the fracture surface analysis device 10 (20) analyzes the fracture surface of the fracture surface image data D11 (D21) and automatically generates the fracture starting point data D12 and the fracture surface pattern data D22 (not shown). May be provided. For example, the data generation unit performs binarization processing on the fracture surface image Im, extracts a straight line along the crack pattern (radial pattern) from the binarized image, and extracts the fracture starting point and the fracture starting point in the fracture surface from the extracted straight line. The fracture origin data D12 and the fracture surface pattern data D22 may be automatically generated by obtaining the crack growth direction and the like. According to this, it is possible to avoid the burden required for the engineer to prepare all the fracture starting point data D12 and the fracture surface pattern data D22.

１破損物
１０第１実施形態に係る破断面解析装置
１１データセット記憶部
１２機械学習部
１３撮影部
１４推定部
１５結果表示部
１６出力データ記憶部
Ｉｍ入力される破断面画像
Ｄ１第１データセット
Ｄ１１破断面画像データ（第１データセット）
Ｄ１２破壊起点データ（第１データセット）
Ｍ１第１学習済モデル
ＭＲ学習済回帰モデル（第１学習済モデル）
ＭＣ学習済分類モデル（第１学習済モデル）
Ｐｔ推定により得られる破壊起点の座標
ＰＤ推定により得られる破壊起点コンター図（確率分布）
Ｓ１０第１実施形態に係る破断面解析方法
Ｓ１１第１ステップ（第１学習ステップ）
Ｓ１２第２ステップ
Ｓ１３第３ステップ（第１推定ステップ）
Ｓ１４第４ステップ
２０第２実施形態に係る破断面解析装置
２１データセット記憶部
２２機械学習部
２４推定部
２５結果表示部
Ｄ２第２データセット
Ｄ２１破断面画像データ（第２データセット）
Ｄ２２破断面模様データ（第２データセット）
Ｍ２第２学習済モデル
ＭＳ学習済セマンティックセグメンテーションモデル（第２学習済モデル）
Ｐｔｎ推定により得られる破断面模様
Ｓ２０第２実施形態に係る破断面解析方法
Ｓ２１第１ステップ（第１学習ステップ）
Ｓ２２第２ステップ（第２学習ステップ）
Ｓ２３第３ステップ
Ｓ２４第４ステップ（第１推定ステップ）
Ｓ２５第５ステップ（第２推定ステップ）
Ｓ２６第６ステップ
３１第２実施形態の変形例に係る機械学習部
３４第２実施形態の変形例に係る推定部
Ｄ３１広域画像データ
Ｄ３２領域分割データ
Ｍ３第３学習済モデル
ＳＡ領域分割画像 1 Damaged object 10 Fracture surface analysis device according to the first embodiment 11 Data set storage unit 12 Machine learning unit 13 Imaging unit 14 Estimating unit 15 Result display unit 16 Output data storage unit Im Input fracture surface image D1 First data set D11 fracture surface image data (first data set)
D12 Destruction origin data (1st data set)
M1 1st trained model MR trained regression model (1st trained model)
MC trained classification model (first trained model)
Coordinates of fracture origin obtained by Pt estimation Destruction origin contour diagram (probability distribution) obtained by PD estimation
S10 Fracture surface analysis method according to the first embodiment S11 First step (first learning step)
S12 2nd step S13 3rd step (1st estimation step)
S14 Fourth step 20 Fracture surface analysis device 21 according to the second embodiment Data set storage unit 22 Machine learning unit 24 Estimating unit 25 Result display unit D2 Second data set D21 Fracture surface image data (second data set)
D22 fracture surface pattern data (second data set)
M2 2nd trained model MS trained semantic segmentation model (2nd trained model)
Fracture surface pattern obtained by Ptn estimation S20 Fracture surface analysis method according to the second embodiment S21 First step (first learning step)
S22 2nd step (2nd learning step)
S23 3rd step S24 4th step (1st estimation step)
S25 5th step (2nd estimation step)
S26 6th step 31 Machine learning unit according to the modified example of the 2nd embodiment 34 Estimating unit according to the modified example of the 2nd embodiment D31 Wide area image data D32 Area division data M3 3rd trained model SA Area division image

Claims

A machine learning unit that performs first learning using a first data set that includes a combination of fracture surface image data and fracture origin data.
A fracture surface analysis device including an estimation unit that estimates a fracture starting point of an input fracture surface image based on the first trained model obtained by the first learning.

In the fracture surface analysis apparatus according to claim 1,
As the learning model of the first learning, either one of a regression model that learns so that the coordinates of the destruction origin can be estimated and a classification model that learns so that the probability distribution in which the destruction origin exists can be selected can be selected. ,
The estimation unit
When the learning model is the regression model, the coordinates of the fracture starting point of the input fracture surface image are estimated.
When the learning model is the classification model, the fracture surface analysis device estimates the probability distribution in which the fracture origin exists in the input fracture surface image.

In the fracture surface analysis apparatus according to claim 2,
The learning model of the first learning includes the regression model and the classification model.
The estimation unit estimates the coordinates of the fracture starting point of the input fracture surface image and the probability distribution that the fracture origin exists in the input fracture surface image.
A fracture surface analysis further comprising a result display unit for displaying at least two of the input fracture surface image, the estimated coordinates of the destruction starting point, and the estimated probability distribution as an image on the same screen. Device.

In the fracture surface analysis apparatus according to claim 3,
The number n of fracture starting points included in the estimated probability distribution is determined, and the input fracture surface image is divided into n regions so that the fracture starting points are included one by one, and each of them is n. Further provided with a divided image generation unit that generates n divided images showing each image in the area of
The estimation unit is a fracture surface analysis device that further estimates the coordinates of the fracture starting point and the probability distribution in which the fracture starting point exists in each of the n divided images.

In the fracture surface analysis apparatus according to any one of claims 1 to 4,
The machine learning unit further performs the second learning by the second data set including the combination of the fracture surface image data and the fracture surface pattern data.
The estimation unit is a fracture surface analysis device that further estimates the fracture surface pattern of the input fracture surface image based on the second trained model obtained by the second learning.

In the fracture surface analysis apparatus according to claim 5,
The learning model of the second learning is a fracture surface analysis device including a semantic segmentation model that learns so that a fracture surface pattern can be estimated.

In the fracture surface analysis apparatus according to claim 5 or 6,
At least two of the input fracture surface image, the fracture starting point estimated based on the first trained model, and the fracture surface pattern estimated based on the second trained model are superimposed on the same screen. A fracture surface analysis device further provided with a result display unit for displaying as.

In the fracture surface analysis apparatus according to any one of claims 1 to 7.
The machine learning unit includes a wide area image data including a fracture surface wider than the fracture surface included in the fracture surface image data, and a region obtained by dividing the wide area fracture surface into two or more regions for each form of the fracture surface. Further the third learning is performed by the third data set including the combination with the divided data, and the third learning is further performed.
The estimation unit is a fracture surface analysis device that further estimates a region-divided image in which the fracture surface region is divided in the input wide-area fracture surface image based on the third trained model obtained by the third learning.

The first learning step in which the first learning is performed by the first data set including the combination of the fracture surface image data and the fracture starting point data, and
A fracture surface analysis method including a first estimation step for estimating a fracture starting point of an input fracture surface image based on the first trained model obtained in the first learning step.

In the fracture surface analysis method according to claim 9,
A second learning step in which the second learning is performed by the second data set including the combination of the fracture surface image data and the fracture surface pattern data, and
A fracture surface analysis method further comprising a second estimation step of estimating the fracture surface pattern of the input fracture surface image based on the second trained model obtained in the second learning step.

In the fracture surface analysis method according to claim 9 or 10.
A combination of wide area image data including a fracture surface wider than the fracture surface included in the fracture surface image data and region division data obtained by dividing the wide area fracture surface into two or more regions for each form of the fracture surface. A third learning step in which the third learning is performed using the including third data set, and
A fracture surface analysis further comprising a third estimation step of estimating a region-divided image in which the fracture surface region is divided in the input wide-area fracture surface image based on the third trained model obtained in the third training. Method.

A program for causing a computer to execute the fracture surface analysis method according to any one of claims 9 to 11.