JP2023092019A - 物性値予測方法、物性値予測システム及びプログラム - Google Patents
物性値予測方法、物性値予測システム及びプログラム Download PDFInfo
- Publication number
- JP2023092019A JP2023092019A JP2021206969A JP2021206969A JP2023092019A JP 2023092019 A JP2023092019 A JP 2023092019A JP 2021206969 A JP2021206969 A JP 2021206969A JP 2021206969 A JP2021206969 A JP 2021206969A JP 2023092019 A JP2023092019 A JP 2023092019A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- image
- physical property
- value
- predicted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000704 physical effect Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 29
- 239000000463 material Substances 0.000 claims abstract description 40
- 238000009826 distribution Methods 0.000 claims abstract description 24
- 239000002184 metal Substances 0.000 claims description 20
- 229910052751 metal Inorganic materials 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 abstract description 8
- 238000001878 scanning electron micrograph Methods 0.000 description 25
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 15
- 229910052802 copper Inorganic materials 0.000 description 13
- 239000010949 copper Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 239000000126 substance Substances 0.000 description 13
- 238000012545 processing Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 239000003973 paint Substances 0.000 description 3
- 239000013077 target material Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000011247 coating layer Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000011889 copper foil Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005498 polishing Methods 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000004381 surface treatment Methods 0.000 description 2
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 1
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000000844 anti-bacterial effect Effects 0.000 description 1
- 230000003373 anti-fouling effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 238000003490 calendering Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000007772 electroless plating Methods 0.000 description 1
- 238000009713 electroplating Methods 0.000 description 1
- 238000004049 embossing Methods 0.000 description 1
- 238000002149 energy-dispersive X-ray emission spectroscopy Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000001634 microspectroscopy Methods 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000000550 scanning electron microscopy energy dispersive X-ray spectroscopy Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C60/00—Computational materials science, i.e. ICT specially adapted for investigating the physical or chemical properties of materials or phenomena associated with their design, synthesis, processing, characterisation or utilisation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
- G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
- G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/418—Imaging electron microscope
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/60—Specific applications or type of materials
- G01N2223/646—Specific applications or type of materials flaws, defects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/30—Prediction of properties of chemical compounds, compositions or mixtures
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/70—Machine learning, data mining or chemometrics
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】機械学習を用いて素材の物性値を予測する予測モデルについて、予測精度に関する説明の可能性を提供する。【解決手段】物性値予測方法は、機械学習された予測モデル２１に対して、物性値の実測値が既知である複数の予測対象画像を入力して、複数の予測対象画像それぞれの予測値及び特徴量マップを出力し、複数の予測対象画像のうち、実測物性値が同程度の画像の予測結果から、実測値と前記予測値の誤差が第１閾値以上の予測不良画像Ｇ３と、実測値と予測値の誤差が第１閾値よりも小さい第２閾値以下の予測良好画像Ｇ４とを特定し、予測不良画像Ｇ３の特徴量マップを構成する複数の特徴量の頻度分布と、予測良好画像Ｇ４の特徴量マップを構成する複数の特徴量の頻度分布との差に基づいて、予測不良の要因を表す特徴量群を抽出する。【選択図】図５
Description
本開示は、機械学習を用いた物性値予測方法、物性値予測システム及びプログラムに関する。
電子基板は銅などの金属と樹脂の積層構造であり、電子基板の品質は、金属と樹脂界面の密着度に対応する。薬品で表面処理を施して粗面化した金属表面の形状を評価することで、電子基板の金属の密着度の評価が可能となる。評価項目の一つとして、例えば密着強度を計測することが挙げられるが、工数がかかるという問題がある。
例えば、特許文献１には、機械学習を用いてゴム材料の物性値を推定することが記載されている。
機械学習による物性値の予測は、ニューラルネットワーク等のブラックボックス型の予測モデルを用いた場合に、どのような根拠でどのように予測しているのか、予測精度の良否の原因について不明という問題がある。
本開示は、機械学習を用いて素材の物性値を予測する予測モデルについて、予測精度に関する説明の可能性を提供する物性値予測方法、物性値予測システム及びプログラムを提供する。
本開示の物性値予測方法は、素材を撮像した画像から特徴量マップを出力する特徴量マップ出力部と、前記特徴量マップを前記素材に関する物性値に変換する変換部とを有し前記素材を撮像した画像を説明変数として前記物性値を出力するように機械学習された予測モデルに対して、前記物性値の実測値が既知である複数の予測対象画像を入力して、前記複数の予測対象画像それぞれの予測値及び特徴量マップを出力し、前記複数の予測対象画像のうち、実測物性値が同程度の画像の予測結果から、前記実測値と前記予測値の誤差が第１閾値以上の予測不良画像と、前記実測値と前記予測値の誤差が前記第１閾値よりも小さい第２閾値以下の予測良好画像とを特定し、前記予測不良画像の前記特徴量マップを構成する複数の特徴量の頻度分布と、前記予測良好画像の前記特徴量マップを構成する複数の特徴量の頻度分布との差に基づいて、予測不良の要因を表す特徴量群を抽出する。
＜第１実施形態＞
以下、本開示の第１実施形態を、図面を参照して説明する。
以下、本開示の第１実施形態を、図面を参照して説明する。
［学習システム、予測システム］
第１実施形態の予測システム２（装置）は、予測モデル２１を用いて、薬品で表面処理を施した金属（銅）の表面を撮像した画像に基づいて、金属の物性値（例えば密着強度）を予測する。学習システム１（装置）は、教師データを用いて予測モデル２１を機械学習で構築する。
第１実施形態の予測システム２（装置）は、予測モデル２１を用いて、薬品で表面処理を施した金属（銅）の表面を撮像した画像に基づいて、金属の物性値（例えば密着強度）を予測する。学習システム１（装置）は、教師データを用いて予測モデル２１を機械学習で構築する。
図１に示すように、予測システム２は、画像取得部２０と、予測部２２と、を有する。学習システム１は、教師データＤ１と、予測モデル２１を学習させる学習部１０とを有する。教師データＤ１は、メモリ１ｂに記憶される。学習部１０は、プロセッサ１ａで実現される。画像取得部２０及び予測部２２は、プロセッサ２ａで実現される。第１実施形態では、１つの装置におけるプロセッサ１ａ，２ａが各部を実現しているが、これに限定されない。例えば、ネットワークを用いて各処理を分散させ、複数のプロセッサが各部の処理を実行するように構成してもよい。すなわち、１又は複数のプロセッサが処理を実行する。
画像取得部２０は、予測対象の素材を撮像した画像Ｇ１を取得する。第１実施形態では、画像取得部２０は、表面処理した金属（銅）の表面を電子顕微鏡で撮像したＳＥＭ画像（グレースケール画像）を取得する。予測対象の素材を撮像した画像Ｇ１は、縦ピクセル数ｈ×横ピクセル数ｗの画像データである。
予測モデル２１は、素材を撮像した画像（例えばＳＥＭ画像、カメラ画像）とその素材に関する物性値（例えば密着強度）とを関連付けた教師データＤ１を用いて、画像を説明変数として入力し素材に関する物性値を出力するように機械学習で構築されたモデルである。学習システム１の学習部１０は、予測結果と教師データの実測値が一致するように、予測モデル２１のパラメータを更新する。図１において、教師データＤ１は、入力画像１～Ｎ（Ｎは学習用画像の数を示す）と、各々の入力画像１～Ｎに対応する実測値である物理量（Ｘ１，Ｘ２，…，ＸＮ）とが対応付けられている。
予測モデル２１は、種々のモデルが利用可能であるが、第１実施形態では、予測モデル２１は、入力画像から特徴量マップＧ２を出力する特徴量マップ出力部２１ａと、特徴量マップＧ２を物性値（Ｙ）に変換する変換部２１ｂとを有する。第１実施形態では、特徴量マップ出力部２１ａは、ＵＮｅｔを用いている。ＵＮｅｔは、Ｕ字型の畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）ベースの学習モデルである。変換部２１ｂは、ＧＡＰ（Global Average Pooling）を用いている。特徴量マップＧ２は、入力画像Ｇ１の縦ピクセルｈに対応するピクセル数ｈ’と、入力画像の横ピクセルｗに対応するピクセル数ｗ’とを乗算した数のピクセル数を有するデータであり、各々のピクセルが特徴量を有する。変換部２１ｂは、特徴量マップＧ２を１つの数である物理量（Ｙ）に変換する。
［実施例１］
実施例１は、入力画像Ｇ１を、薬品処理後の銅箔を電子顕微鏡で撮像したＳＥＭ画像とした例である。図２は、ＳＥＭ画像の一例を示す。ＳＥＭ画像の撮像条件は、倍率は３５００倍、チルト角が４５度である。物理量は、密着強度［Ｎ／ｍｍ］とした。薬品Ａを用いて銅表面を処理した例である。９０枚の画像に対して９０個の密着強度を計測した。９０個のデータのうちの半数を学習用データとして使用し、残り半数のデータを予測に用いた。実測密着強度と予測値の平均二乗誤差が０．０００８であった。図３は、横軸が実測密着強度であり、縦軸が予測した密着強度であり、予測値と実測値の組み合わせのデータをプロットした図である。
実施例１は、入力画像Ｇ１を、薬品処理後の銅箔を電子顕微鏡で撮像したＳＥＭ画像とした例である。図２は、ＳＥＭ画像の一例を示す。ＳＥＭ画像の撮像条件は、倍率は３５００倍、チルト角が４５度である。物理量は、密着強度［Ｎ／ｍｍ］とした。薬品Ａを用いて銅表面を処理した例である。９０枚の画像に対して９０個の密着強度を計測した。９０個のデータのうちの半数を学習用データとして使用し、残り半数のデータを予測に用いた。実測密着強度と予測値の平均二乗誤差が０．０００８であった。図３は、横軸が実測密着強度であり、縦軸が予測した密着強度であり、予測値と実測値の組み合わせのデータをプロットした図である。
［実施例２］
実施例２は、実施例１と同様にＳＥＭ画像を入力画像Ｇ１とした。薬品Ｂを用いて銅表面を処理した例である。７２枚の画像に対して７２個の密着強度を計測した。７２個のうちの半数を学習用データとし、残り半数を予測用データとした。実測密着強度と予測値の平均二乗誤差が０．００１２であった。ＳＥＭ画像の撮像条件は実施例１と同じである。
実施例２は、実施例１と同様にＳＥＭ画像を入力画像Ｇ１とした。薬品Ｂを用いて銅表面を処理した例である。７２枚の画像に対して７２個の密着強度を計測した。７２個のうちの半数を学習用データとし、残り半数を予測用データとした。実測密着強度と予測値の平均二乗誤差が０．００１２であった。ＳＥＭ画像の撮像条件は実施例１と同じである。
［実施例３］
実施例３は、実施例１と同様にＳＥＭ画像を入力画像Ｇ１とした。薬品Ｃを用いて銅表面を処理した例である。３９枚の画像に対して３９個の密着強度を計測した。３９個のうちの半数を学習用データとし、残り半数を予測用データとした。実測密着強度と予測値の平均二乗誤差が０．００２１であった。ＳＥＭ画像の撮像条件は実施例１と同じである。
実施例３は、実施例１と同様にＳＥＭ画像を入力画像Ｇ１とした。薬品Ｃを用いて銅表面を処理した例である。３９枚の画像に対して３９個の密着強度を計測した。３９個のうちの半数を学習用データとし、残り半数を予測用データとした。実測密着強度と予測値の平均二乗誤差が０．００２１であった。ＳＥＭ画像の撮像条件は実施例１と同じである。
［実施例４］
実施例４は、実施例３のＳＥＭ画像を用いて、１枚のＳＥＭ画像から複数の物性値を推測するようにした例である。具体的には、１つのＵＮｅｔの出力を複数クラスに設定することで、同一のＵＮｅｔから複数の物性値を出力（計算）可能となる。複数の物性値は、密着強度、粗さパラメータ（Ｓｄｒ、Ｓｄｑ）である。密着強度を予測するための第１のＵＮｅｔと、Ｓｄｒを予測するための第２のＵＮｅｔと、Ｓｄｑを予測するための第３のＵＮｅｔとを並列化した構成である。密着強度の平均二乗誤差が０．００１であり、Ｓｄｒの平均二乗誤差が０．０００３であり、Ｓｄｑの平均二乗誤差が０．０８６８であった。
実施例４は、実施例３のＳＥＭ画像を用いて、１枚のＳＥＭ画像から複数の物性値を推測するようにした例である。具体的には、１つのＵＮｅｔの出力を複数クラスに設定することで、同一のＵＮｅｔから複数の物性値を出力（計算）可能となる。複数の物性値は、密着強度、粗さパラメータ（Ｓｄｒ、Ｓｄｑ）である。密着強度を予測するための第１のＵＮｅｔと、Ｓｄｒを予測するための第２のＵＮｅｔと、Ｓｄｑを予測するための第３のＵＮｅｔとを並列化した構成である。密着強度の平均二乗誤差が０．００１であり、Ｓｄｒの平均二乗誤差が０．０００３であり、Ｓｄｑの平均二乗誤差が０．０８６８であった。
［実施例５］
実施例５は、薬品Ｄを用いて銅表面を処理した例である。入力画像Ｇ１が、ＳＥＭ画像ではなく、光学カメラで撮像したカメラ画像である。カメラ画像は、黒色の背景を分離する処理のみを行っている。カメラ画像に含まれるＲＧＢ成分ごとに３つの単色画像に分け、３つの単色画像を予測モデル２１に入力する。物性値は、表面粗さＲａ（算術平均）とした。９６０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は０．０１５３であった。
なお、ＲＧＢ成分を有するカメラ画像をグレースケール画像に変換して、グレースケール画像の強度（明度）を予測モデル２１に入力することも可能である。グレースケール画像を入力した場合と、ＲＧＢ成分ごとに３つの単色画像を入力した場合に特筆すべき違いが見受けられなかったので、実施例５では、ＲＧＢ成分の方を用いた。
実施例５は、薬品Ｄを用いて銅表面を処理した例である。入力画像Ｇ１が、ＳＥＭ画像ではなく、光学カメラで撮像したカメラ画像である。カメラ画像は、黒色の背景を分離する処理のみを行っている。カメラ画像に含まれるＲＧＢ成分ごとに３つの単色画像に分け、３つの単色画像を予測モデル２１に入力する。物性値は、表面粗さＲａ（算術平均）とした。９６０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は０．０１５３であった。
なお、ＲＧＢ成分を有するカメラ画像をグレースケール画像に変換して、グレースケール画像の強度（明度）を予測モデル２１に入力することも可能である。グレースケール画像を入力した場合と、ＲＧＢ成分ごとに３つの単色画像を入力した場合に特筆すべき違いが見受けられなかったので、実施例５では、ＲＧＢ成分の方を用いた。
［実施例６］
実施例６は、実施例５と同様にカメラ画像を入力画像Ｇ１としている。薬品Ｄを用いて銅表面を処理した例である。物性値は、ＣＩＥ１９７６ 明度指数Ｌ＊とした。３２０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は１１．０５であった。Ｌ＊は、ＪＩＳＺ ８７８１－４に準拠している。
実施例６は、実施例５と同様にカメラ画像を入力画像Ｇ１としている。薬品Ｄを用いて銅表面を処理した例である。物性値は、ＣＩＥ１９７６ 明度指数Ｌ＊とした。３２０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は１１．０５であった。Ｌ＊は、ＪＩＳＺ ８７８１－４に準拠している。
［実施例７］
実施例７は、実施例５と同様にカメラ画像を入力画像Ｇ１としている。薬品Ｄを用いて銅表面を処理した例である。物性値は、ＣＩＥ１９７６ 色空間における色座標ａ＊とした。３２０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は０．００６２であった。ａ＊は、ＪＩＳＺ ８７８１－４に準拠している。
実施例７は、実施例５と同様にカメラ画像を入力画像Ｇ１としている。薬品Ｄを用いて銅表面を処理した例である。物性値は、ＣＩＥ１９７６ 色空間における色座標ａ＊とした。３２０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は０．００６２であった。ａ＊は、ＪＩＳＺ ８７８１－４に準拠している。
［実施例８］
実施例８は、実施例５と同様にカメラ画像を入力画像Ｇ１としている。薬品Ｄを用いて銅表面を処理した例である。物性値は、ＣＩＥ１９７６ 色空間における色座標ｂ＊とした。３２０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は０．１２９４であった。ｂ＊は、ＪＩＳＺ ８７８１－４に準拠している。
実施例８は、実施例５と同様にカメラ画像を入力画像Ｇ１としている。薬品Ｄを用いて銅表面を処理した例である。物性値は、ＣＩＥ１９７６ 色空間における色座標ｂ＊とした。３２０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は０．１２９４であった。ｂ＊は、ＪＩＳＺ ８７８１－４に準拠している。
［素材の物性値の予測方法］
上記予測システム２が実行する、素材の物性値の予測方法を、図４を用いて説明する。
上記予測システム２が実行する、素材の物性値の予測方法を、図４を用いて説明する。
まず、ステップＳＴ１において、画像取得部２０は、予測対象の素材を撮像した予測対象画像を取得する。第１実施形態では、ＳＥＭ画像かカメラ画像を取得する。次のステップＳＴ２，３において、取得した予測対象画像を予測モデル２１に入力して素材に関する物性値を出力する。具体的には、ステップＳＴ２において、特徴量マップ出力部２１ａは、予測対象画像が入力されて特徴量マップＧ２を出力する。ステップＳＴ３において、変換部２１ｂは、特徴量マップＧ２を素材に関する物性値に変換する。
＜変形例＞
（１－１）図１に示す実施形態において、予測モデル２１は、特徴量マップＧ２を出力する特徴量マップ出力部２１ａで構成されているが、特徴量マップを出力せずに、物性値を出力するモデルであってもよい。例えば、ニューラルネットワークの一種であるＲｅｓＮｅｔを使用してもよい。もちろん、画像を処理可能な非線形モデルであれば利用可能である。
（１－１）図１に示す実施形態において、予測モデル２１は、特徴量マップＧ２を出力する特徴量マップ出力部２１ａで構成されているが、特徴量マップを出力せずに、物性値を出力するモデルであってもよい。例えば、ニューラルネットワークの一種であるＲｅｓＮｅｔを使用してもよい。もちろん、画像を処理可能な非線形モデルであれば利用可能である。
（１－２）上記実施形態において、物性値を予測する予測対象の素材は、薬品（エッチング剤、研磨液（化学、電解））などによる化学的反応処理により表面処理を施した金属（銅）の表面であるが、均一で微細な表面形状を持つ素材であれば、これに限定されない。例えば、研磨や圧延、レーザーなどの外力を作用させる機械加工処理により表面処理を施した金属表面であってもよい。各種顔料を分散・混合した塗料の塗装面であってもよい。またこの場合の塗料の性状（液体、粉体等）は限定されない。電解メッキ、無電解メッキ等によりメッキ処理した金属の表面であってもよい。添加剤を添加・分散させて成形加工を行ったフィルムの表面であってもよい。インク受容のための塗工層やその他機能性を与える塗工層を有した紙表面であってもよい。素材は限定されないが、カレンダー成形やエンボス成形等を用いて成形加工された素材表面であってもよい。
（１－３）上記実施形態において、素材に関する物性値として、密着強度を挙げているが、これに限定されない。例えば、密着性、接合性、気密性、撥水性、撥油性、防汚性、摺動性、表面性（光沢、粗度）、色調、感触、熱物性、抗菌性、伝送損失に関する物性値であってもよい。
（１－４）上記実施形態において、素材画像の対象としてＳＥＭ及びカメラにより取得した金属表面の画像を挙げているが、これに限定されない。波形やスペクトル、マッピンク画像、数字等、画像として取り込めるデータも対象となりえる。例として、顕微分光法（赤外、ラマン、UV-Vis等）やエネルギー分散型X線分光法（SEM-EDX）、また、非破壊検査に使用するような超音波検査により得られるスペクトルやそれを用いたマッピング画像等が挙げられる。
以上のように、第１実施形態の物性値予測方法は、１又は複数のプロセッサが実行する方法であって、予測対象の素材を撮像した予測対象画像Ｇ１を取得し、素材を撮像した画像を説明変数として素材に関する物性値（Ｙ）を出力するように機械学習された予測モデルに対して、予測対象画像Ｇ１を入力して予測対象画像Ｇ１に写る素材に関する物性値（Ｙ）を予測値として出力する、としてもよい。
このように、機械学習された予測モデル２１を用いて予測対象画像Ｇ１に写る素材（金属）に関する物性値を予測できるので、試験などで物性値を計測する場合に比べて、金銭コストや時間コストを削減可能となる。
このように、機械学習された予測モデル２１を用いて予測対象画像Ｇ１に写る素材（金属）に関する物性値を予測できるので、試験などで物性値を計測する場合に比べて、金銭コストや時間コストを削減可能となる。
特に限定されないが、第１実施形態のように、予測モデル２１は、入力される画像Ｇ１から特徴量マップＧ２を出力する特徴量マップ出力部２１ａと、特徴量マップＧ２を予測値に変換する変換部２１ｂと、を有する、としてもよい。
これにより、特徴量マップＧ２から予測値が得られるので、予測モデル２１が予測する根拠を特徴量マップＧ２で説明する試みが可能となる。
これにより、特徴量マップＧ２から予測値が得られるので、予測モデル２１が予測する根拠を特徴量マップＧ２で説明する試みが可能となる。
特に限定されないが、第１実施形態のように、撮像される前記素材は、表面処理を施した金属の表面、塗料の塗装面、メッキ処理した金属の表面、フィルムの表面、紙表面、及び成形加工された素材表面のいずれかである、としてもよい。好適な一例である。
第１実施形態に係るシステムは、上記方法を実行する１又は複数のプロセッサを備える。
第１実施形態に係るプログラムは、上記方法を１又は複数のプロセッサに実行させるプログラムである。
これらプログラムを実行することによっても、上記方法の奏する作用効果を得ることが可能となる。
第１実施形態に係るプログラムは、上記方法を１又は複数のプロセッサに実行させるプログラムである。
これらプログラムを実行することによっても、上記方法の奏する作用効果を得ることが可能となる。
以上、本開示の実施形態について図面に基づいて説明したが、具体的な構成は、これらの実施形態に限定されるものでないと考えられるべきである。本開示の範囲は、上記した実施形態の説明だけではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
＜第２実施形態＞
図５は、第２実施形態の学習システム１及び予測システム２を示すブロック図である。第２実施形態は、第１実施形態に比べて予測システム２の構成が異なっている。具体的には、第２実施形態の予測システム２は、第１実施形態の予測システム２に対して、特定部２３、抽出部２４及び重合画像出力部２５を追加している。特定部２３、抽出部２４及び重合画像出力部２５はプロセッサ２ａにより実現される。
図５は、第２実施形態の学習システム１及び予測システム２を示すブロック図である。第２実施形態は、第１実施形態に比べて予測システム２の構成が異なっている。具体的には、第２実施形態の予測システム２は、第１実施形態の予測システム２に対して、特定部２３、抽出部２４及び重合画像出力部２５を追加している。特定部２３、抽出部２４及び重合画像出力部２５はプロセッサ２ａにより実現される。
図５に示すように、メモリ２ｂには、複数の予測対象画像と、各々の予測対象画像に写る素材の既知の実測値である物理量（Ｘ）とが関連付けられて記憶されている。画像取得部２０は、メモリ２ｂに記憶されている複数の予測対象画像をそれぞれ予測モデル２１（特徴量マップ出力部２１ａ及び変換部２１ｂ）に入力する。予測モデル２１が算出した予測物性値（Ｙ）及び特徴量マップ出力部２１ａが出力した特徴量マップは、メモリ２ｂにおいて予測対象画像及び実測物性値（Ｘ）に関連付けて記憶される。
図５に示す特定部２３は、メモリ２ｂに記憶されている複数の予測対象画像のうち、実測物性値が同程度の画像についての予測結果から予測不良画像と予測良好画像とを特定する。予測不良画像は、実測値と予測値の誤差が第１閾値以上の画像である。図６は、図３に示す予測対象画像群とは異なる予測対象画像群の予測値と実測値の組み合わせのデータをプロットした図であり、横軸が実測密着強度［Ｎ／ｍｍ］であり、縦軸が予測した密着強度［Ｎ／ｍｍ］である。図６に示すように、予測物性値（予測密着強度）と実測物性値（実測密着強度）とが一致する箇所が斜線で示されており、斜線に近いデータ（プロット点）が予測良好画像であり、斜線から遠いデータ（プロット点）が予測不良画像である。予測対象画像の予測精度は、プロット点から斜線に対する垂線の長さで表現できる。垂線の長さが長ければ、予測物性値と実測物性値の差が大きく、予測不良画像と判定でき、垂線の長さが短ければ、予測物性値と実測物性値の差が小さく、予測良好画像と判定できる。人の目でみて、斜線に相対的に近い予測良好画像と、斜線から相対的に遠い予測不要画像とを選択してもよいが、プログラムで自動選択も可能である。特定部２３は、実測値と予測値の誤差（垂線の長さ）が第１閾値以上の画像を予測不良画像と特定し、実測値と予測値の誤差（垂線の長さ）が第２閾値以下の画像を予測良好画像と特定する処理を実行可能に構成されている。第２閾値は第１閾値よりも小さい。第１閾値及び第２閾値は、固定値でもよいし、可変であってもよい。例えば、実測値と予測値の誤差の最大値に応じて第１閾値及び第２閾値を設定してもよい。第１閾値を最大誤差の１００％以下且つ９０％以上とし、第２閾値を最大誤差の０％以上且つ１０％以下に設定してもよい。また、実測値と予測値の誤差が最大である画像を予測不良画像と特定し、実測値と予測値の誤差が最小である画像を予測良好画像としてもよい。
図６は、予測値と実測値の組み合わせのデータをプロットした図であり、予測不良画像Ｇ３及び予測良好画像Ｇ４を特定した例を示す図である。図６に示すように、特定部２３が、複数の予測対象画像のうち、実測物性値が同程度の画像について、実測値と予測値の誤差が最大となる画像を予測不良画像Ｇ３と特定し、実測値と予測値の誤差が最小とみなせる画像を予測良好画像Ｇ４と特定している。実測物性値が同程度とは、図６においてグレーで塗りつぶして示すように、実測物性値が同一でなくても、所定範囲内にあればよいことを意味する。所定範囲は、データの分散具合を考慮して適宜設定可能である。図７は、予測不良画像Ｇ３（ＳＥＭ画像）を示す。図８は、予測良好画像Ｇ４（ＳＥＭ画像）を示す。図９は、予測不良画像Ｇ３（ＳＥＭ画像）から得た特徴量マップを画像として示す。図１０は、予測良好画像Ｇ４（ＳＥＭ画像）から得た特徴量マップを画像として示す。図７～図１０を人が見ても、予測精度に差が生じた理由を理解することが難しい。
図１１は、予測不良画像Ｇ３の特徴量マップを構成する複数の特徴量の頻度分布（ヒストグラム）と、予測良好画像Ｇ４の特徴量マップを構成する複数の特徴量の頻度分布（ヒストグラム）とを示す図である。図１１の横軸は特徴量を示し、同図の縦軸はピクセル数（つまり頻度）を示している。図１１の実線が予測不良画像Ｇ３のヒストグラムであり、同図の破線が予測良好画像Ｇ４のヒストグラムである。図１１を見ると、双方の特徴量マップの特徴量の分布が似ており、銅表面のＳＥＭ画像の特徴を示していると考えられるが、若干の相違がある。本実施例では、特徴量が－１以上且つ１以下の範囲に大きな頻度分布の差がみられる。これらの特徴量群（特徴量が－１以上且つ１以下）を予測不良の要因を示す特徴量群として抽出した。なお、人の目でみて相違が大きい特徴量群を抽出してもよいし、プログラムで自動的に抽出してもよい。具体的には、２つのヒストグラムで形成される閉領域毎に、２つのヒストグラムの差の積分値を算出し、最も積分値が大きい範囲の特徴量群を抽出することが考えられる。
すなわち、抽出部２４は、予測不良画像Ｇ３の特徴量マップを構成する複数の特徴量の頻度分布（図１１の実線）と、予測良好画像Ｇ４の特徴量マップを構成する複数の特徴量の頻度分布（図１１の破線）との差に基づいて、予測不良の要因を表す特徴量群を抽出可能である。図１２は、予測不良画像Ｇ３の特徴量マップのうち、抽出した特徴量群のみを示す図である。図１３は、予測良好画像Ｇ４の特徴量マップのうち、抽出した特徴量群のみを示す図である。図１２及び図１３では、抽出した特徴量部分を黒で示し、それ以外を色で示している。特徴量マップはそれぞれ元の予測不良画像Ｇ３及び予測良好画像Ｇ４と同じサイズの画像であるか、アスペクト比が同じであることが多く、特徴量マップをそのまま又は拡大処理することで元の画像と位置関係を対応させることができ、抽出した特徴量群が存在する元の画像の部分が予測精度に影響を与えていると理解できる。よって、図１２，１３と元のＳＥＭ画像を照らし合わせることで、予測不良の要因の追求に利用可能となり、予測精度に関する説明が可能になる場合がある。
重合画像出力部２５は、抽出部２４が抽出した特徴量群の位置を、予測不良画像Ｇ３又は予測良好画像Ｇ４の少なくとも一方に重ねて表示する重合画像を出力する。図１４は、予測不良画像Ｇ３に、抽出した特徴量群の位置を重ねて表示する重合画像の一例を示す図である。図１５は、予測良好画像Ｇ４に、抽出した特徴量群の位置を重ねて表示する重合画像の一例を示す図である。特徴量群の位置は、色で示してもよいし、その他のマークで示してもよい。
これにより、予測対象画像と特徴量群の位置を一度に視認可能となり、有用である。
これにより、予測対象画像と特徴量群の位置を一度に視認可能となり、有用である。
第２実施形態の上記予測システム２が実行する、素材の物性値の予測方法を、図１６を用いて説明する。
まず、ステップＳＴ１０１において、予測部２２は、素材の物性値の実測値が既知である複数の予測対象画像を入力して、複数の予測対象画像それぞれの素材の物性値の予測値及び特徴量マップを出力する。
次のステップＳＴ１０２において、特定部２３は、複数の予測対象画像のうち、実測物性値が同程度の画像の予測結果から、実測値と予測値の誤差が第１閾値以上の予測不良画像Ｇ３と、実測値と予測値の誤差が第１閾値よりも小さい第２閾値以下の予測良好画像Ｇ４とを特定する。
次のステップＳＴ１０３において、抽出部２４は、予測不良画像Ｇ３の特徴量マップを構成する複数の特徴量の頻度分布と、予測良好画像Ｇ４の特徴量マップを構成する複数の特徴量の頻度分布との差に基づいて、予測不良の要因を表す特徴量群を抽出する。
次のステップＳＴ１０４において、重合画像出力部２５は、特徴量群の位置を、予測不良画像Ｇ３又は予測良好画像Ｇ４の少なくとも一方に重ねて表示する重合画像を出力する。
次のステップＳＴ１０２において、特定部２３は、複数の予測対象画像のうち、実測物性値が同程度の画像の予測結果から、実測値と予測値の誤差が第１閾値以上の予測不良画像Ｇ３と、実測値と予測値の誤差が第１閾値よりも小さい第２閾値以下の予測良好画像Ｇ４とを特定する。
次のステップＳＴ１０３において、抽出部２４は、予測不良画像Ｇ３の特徴量マップを構成する複数の特徴量の頻度分布と、予測良好画像Ｇ４の特徴量マップを構成する複数の特徴量の頻度分布との差に基づいて、予測不良の要因を表す特徴量群を抽出する。
次のステップＳＴ１０４において、重合画像出力部２５は、特徴量群の位置を、予測不良画像Ｇ３又は予測良好画像Ｇ４の少なくとも一方に重ねて表示する重合画像を出力する。
以上のように、第２実施形態の物性値予測方法は、１又は複数のプロセッサが実行する方法であって、素材を撮像した画像から特徴量マップを出力する特徴量マップ出力部２１ａと、特徴量マップを素材に関する物性値に変換する変換部２１ｂとを有し素材を撮像した画像を説明変数として物性値を出力するように機械学習された予測モデル２１に対して、物性値の実測値が既知である複数の予測対象画像を入力して、複数の予測対象画像それぞれの予測値及び特徴量マップを出力し、複数の予測対象画像のうち、実測物性値が同程度の画像の予測結果から、実測値と前記予測値の誤差が第１閾値以上の予測不良画像Ｇ３と、実測値と予測値の誤差が第１閾値よりも小さい第２閾値以下の予測良好画像Ｇ４とを特定し、予測不良画像Ｇ３の特徴量マップを構成する複数の特徴量の頻度分布と、予測良好画像Ｇ４の特徴量マップを構成する複数の特徴量の頻度分布との差に基づいて、予測不良の要因を表す特徴量群を抽出する、としてもよい。
このようにすれば、予測不良画像Ｇ３の特徴量マップを構成する複数の特徴量の頻度分布と、前記予測良好画像の特徴量マップを構成する複数の特徴量の頻度分布との差が大きい特徴量群は、予測不良の要因を表す可能性が高いため、予測不良の要因の追求に利用可能となり、予測精度に関する説明を可能とする可能性を提供できる。
このようにすれば、予測不良画像Ｇ３の特徴量マップを構成する複数の特徴量の頻度分布と、前記予測良好画像の特徴量マップを構成する複数の特徴量の頻度分布との差が大きい特徴量群は、予測不良の要因を表す可能性が高いため、予測不良の要因の追求に利用可能となり、予測精度に関する説明を可能とする可能性を提供できる。
特に限定されないが、第２実施形態のように、特徴量群の位置を、予測不良画像Ｇ３又は予測良好画像Ｇ４の少なくとも一方に重ねて表示する重合画像を出力する、としてもよい。
このようにすれば、特徴量群を、予測不良画像又は予測良好画像に重ねて視認可能であるので、有用である。
このようにすれば、特徴量群を、予測不良画像又は予測良好画像に重ねて視認可能であるので、有用である。
特に限定されないが、第２実施形態のように、撮像される前記素材は、表面処理を施した金属の表面、塗装した塗料の表面、メッキした金属の表面、フィルム表面、及び紙表面のいずれかである、としてもよい。好適な一例である。
第２実施形態に係るシステムは、上記方法を実行する１又は複数のプロセッサを備える。
第２実施形態に係るプログラムは、上記方法を１又は複数のプロセッサに実行させるプログラムである。
これらプログラムを実行することによっても、上記方法の奏する作用効果を得ることが可能となる。
第２実施形態に係るプログラムは、上記方法を１又は複数のプロセッサに実行させるプログラムである。
これらプログラムを実行することによっても、上記方法の奏する作用効果を得ることが可能となる。
［変形例］
（２－１）第２実施形態では、重合画像出力部２５が設けられているが、重合画像出力部２５は省略可能である。
（２－１）第２実施形態では、重合画像出力部２５が設けられているが、重合画像出力部２５は省略可能である。
（２－２）第２実施形態では、表面処理を施した銅表面を撮像したＳＥＭ画像と、密着強度を予測する例で説明しているが、撮像対象の素材は第１実施形態と同様に種々変更可能である。また、予測対象の物性値も第１実施形態と同様に種々変更可能である。
上記の各実施形態で採用している構造を他の任意の実施形態に採用することは可能である。各部の具体的な構成は、上述した実施形態のみに限定されるものではなく、本開示の趣旨を逸脱しない範囲で種々変形が可能である。
例えば、特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現できる。特許請求の範囲、明細書、および図面中のフローに関して、便宜上「まず」、「次に」等を用いて説明したとしても、この順で実行することが必須であることを意味するものではない。
図１に示す各部は、所定プログラムを１又は複数のプロセッサで実行することで実現しているが、各部を専用メモリや専用回路で構成してもよい。上記実施形態のシステム１（２）は、一つのコンピュータのプロセッサ１ａ（２ａ）において各部が実装されているが、各部を分散させて、複数のコンピュータやクラウドで実装してもよい。すなわち、上記方法を１又は複数のプロセッサで実行してもよい。
システム１（２）は、プロセッサ１ａ（２ａ）を含む。例えば、プロセッサ１ａ（２ａ）は、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、またはコンピュータ実行可能命令の実行が可能なその他の処理ユニットとすることができる。また、システム１（２）は、システム１（２）のデータを格納するためのメモリ１ｂ（２ｂ）を含む。一例では、メモリ１ｂ（２ｂ）は、コンピュータ記憶媒体を含み、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他のメモリ技術、ＣＤ－ＲＯＭ、ＤＶＤまたはその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたはその他の磁気記憶デバイス、あるいは所望のデータを格納するために用いることができ、そしてシステム１がアクセスすることができる任意の他の媒体を含む。
Ｇ１…予測対象画像
Ｇ２…特徴量マップ
２…予測システム
２０…画像取得部
２１…予測モデル
２１ａ…特徴量マップ出力部
２１ｂ…変換部
２２…予測部
２３…特定部
２４…抽出部
２５…重合画像出力部
Ｇ２…特徴量マップ
２…予測システム
２０…画像取得部
２１…予測モデル
２１ａ…特徴量マップ出力部
２１ｂ…変換部
２２…予測部
２３…特定部
２４…抽出部
２５…重合画像出力部
Claims (7)
- 素材を撮像した画像から特徴量マップを出力する特徴量マップ出力部と、前記特徴量マップを前記素材に関する物性値に変換する変換部とを有し前記素材を撮像した画像を説明変数として前記物性値を出力するように機械学習された予測モデルに対して、前記物性値の実測値が既知である複数の予測対象画像を入力して、前記複数の予測対象画像それぞれの予測値及び特徴量マップを出力し、
前記複数の予測対象画像のうち、実測物性値が同程度の画像の予測結果から、前記実測値と前記予測値の誤差が第１閾値以上の予測不良画像と、前記実測値と前記予測値の誤差が前記第１閾値よりも小さい第２閾値以下の予測良好画像とを特定し、
前記予測不良画像の前記特徴量マップを構成する複数の特徴量の頻度分布と、前記予測良好画像の前記特徴量マップを構成する複数の特徴量の頻度分布との差に基づいて、予測不良の要因を表す特徴量群を抽出する、物性値予測方法。 - 前記特徴量群の位置を、前記予測不良画像又は前記予測良好画像の少なくとも一方に重ねて表示する重合画像を出力する、請求項２に記載の物性値予測方法。
- 撮像される前記素材は、表面処理を施した金属の表面、塗料の塗装面、メッキ処理した金属の表面、フィルムの表面、紙表面、及び成形加工された素材表面のいずれかである、請求項１又は２に記載の物性値予測方法。
- 素材を撮像した画像から特徴量マップを出力する特徴量マップ出力部と、前記特徴量マップを前記素材に関する物性値に変換する変換部とを有し前記素材を撮像した画像を説明変数として前記物性値を出力するように機械学習された予測モデルに対して、前記物性値の実測値が既知である複数の予測対象画像を入力して、前記複数の予測対象画像それぞれの予測値及び特徴量マップを出力する予測部と、
前記複数の予測対象画像のうち、実測物性値が同程度の画像の予測結果から、前記実測値と前記予測値の誤差が第１閾値以上の予測不良画像と、前記実測値と前記予測値の誤差が前記第１閾値よりも小さい第２閾値以下の予測良好画像とを特定する特定部と、
前記予測不良画像の前記特徴量マップを構成する複数の特徴量の頻度分布と、前記予測良好画像の前記特徴量マップを構成する複数の特徴量の頻度分布との差に基づいて、予測不良の要因を表す特徴量群を抽出する抽出部と、
を備える、物性値予測システム。 - 前記特徴量群の位置を、前記予測不良画像又は前記予測良好画像の少なくとも一方に重ねて表示する重合画像を出力する重合画像出力部を備える、請求項４に記載の物性値予測システム。
- 撮像される前記素材は、表面処理を施した金属の表面、塗料の塗装面、メッキ処理した金属の表面、フィルムの表面、紙表面、及び成形加工された素材表面のいずれかである、請求項４又は５に記載の物性値予測システム。
- 請求項１～３のいずれかに記載の方法を１又は複数のプロセッサに実行させるプログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021206969A JP7076867B1 (ja) | 2021-12-21 | 2021-12-21 | 物性値予測方法、物性値予測システム及びプログラム |
| PCT/JP2022/043910 WO2023120057A1 (ja) | 2021-12-21 | 2022-11-29 | 物性値予測方法、及び物性値予測システム |
| CN202280080944.7A CN118369571A (zh) | 2021-12-21 | 2022-11-29 | 物性值预测方法及物性值预测系统 |
| KR1020247018277A KR20240127342A (ko) | 2021-12-21 | 2022-11-29 | 물성값 예측 방법 및 물성값 예측 시스템 |
| TW111146958A TW202332958A (zh) | 2021-12-21 | 2022-12-07 | 物性值預測方法及物性值預測系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021206969A JP7076867B1 (ja) | 2021-12-21 | 2021-12-21 | 物性値予測方法、物性値予測システム及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7076867B1 JP7076867B1 (ja) | 2022-05-30 |
| JP2023092019A true JP2023092019A (ja) | 2023-07-03 |
Family
ID=81801989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021206969A Active JP7076867B1 (ja) | 2021-12-21 | 2021-12-21 | 物性値予測方法、物性値予測システム及びプログラム |
Country Status (5)
| Country | Link |
|---|---|
| JP (1) | JP7076867B1 (ja) |
| KR (1) | KR20240127342A (ja) |
| CN (1) | CN118369571A (ja) |
| TW (1) | TW202332958A (ja) |
| WO (1) | WO2023120057A1 (ja) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014039504A (ja) * | 2012-08-23 | 2014-03-06 | Fuji Xerox Co Ltd | 画像処理装置、プログラム及び画像処理システム |
| JP2018029568A (ja) * | 2016-08-26 | 2018-03-01 | 国立大学法人静岡大学 | 萎れ具合予測システム及び萎れ具合予測方法 |
| JP2018171039A (ja) * | 2017-03-31 | 2018-11-08 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム及び観察システム |
| JP2019124539A (ja) * | 2018-01-15 | 2019-07-25 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム |
| US20190347526A1 (en) * | 2018-05-09 | 2019-11-14 | Adobe Inc. | Extracting material properties from a single image |
| JP2020041290A (ja) * | 2018-09-07 | 2020-03-19 | 学校法人金沢工業大学 | コンクリートの最適締固め判定施工システム |
| WO2020116085A1 (ja) * | 2018-12-05 | 2020-06-11 | ソニー株式会社 | 推定装置、推定方法、及び推定プログラム |
| JP2020128900A (ja) * | 2019-02-07 | 2020-08-27 | 国立大学法人北海道大学 | ゴム材料の特性推定方法、システム及びプログラム |
| WO2020262615A1 (ja) * | 2019-06-28 | 2020-12-30 | 関西ペイント株式会社 | 光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラム |
| JP2021051380A (ja) * | 2019-09-20 | 2021-04-01 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
| JP2021060457A (ja) * | 2019-10-03 | 2021-04-15 | 国立大学法人北海道大学 | ゴム材料の物性推定方法、システム及びプログラム |
| JP2021135199A (ja) * | 2020-02-27 | 2021-09-13 | 太平洋セメント株式会社 | 骨材の品質推定方法およびコンクリート製造方法 |
| JP2021144402A (ja) * | 2020-03-11 | 2021-09-24 | 株式会社ジェイテクト | 品質評価に用いられる学習モデルの製造方法、学習システム、品質評価システム、及び、品質評価方法 |
| JP2021155984A (ja) * | 2020-03-26 | 2021-10-07 | 前田道路株式会社 | アスファルト混合物の成分情報推定システム、アスファルトプラント、及び、アスファルト混合物の成分情報推定方法 |
-
2021
- 2021-12-21 JP JP2021206969A patent/JP7076867B1/ja active Active
-
2022
- 2022-11-29 WO PCT/JP2022/043910 patent/WO2023120057A1/ja unknown
- 2022-11-29 CN CN202280080944.7A patent/CN118369571A/zh active Pending
- 2022-11-29 KR KR1020247018277A patent/KR20240127342A/ko unknown
- 2022-12-07 TW TW111146958A patent/TW202332958A/zh unknown
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014039504A (ja) * | 2012-08-23 | 2014-03-06 | Fuji Xerox Co Ltd | 画像処理装置、プログラム及び画像処理システム |
| JP2018029568A (ja) * | 2016-08-26 | 2018-03-01 | 国立大学法人静岡大学 | 萎れ具合予測システム及び萎れ具合予測方法 |
| JP2018171039A (ja) * | 2017-03-31 | 2018-11-08 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム及び観察システム |
| JP2019124539A (ja) * | 2018-01-15 | 2019-07-25 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム |
| US20190347526A1 (en) * | 2018-05-09 | 2019-11-14 | Adobe Inc. | Extracting material properties from a single image |
| JP2020041290A (ja) * | 2018-09-07 | 2020-03-19 | 学校法人金沢工業大学 | コンクリートの最適締固め判定施工システム |
| WO2020116085A1 (ja) * | 2018-12-05 | 2020-06-11 | ソニー株式会社 | 推定装置、推定方法、及び推定プログラム |
| JP2020128900A (ja) * | 2019-02-07 | 2020-08-27 | 国立大学法人北海道大学 | ゴム材料の特性推定方法、システム及びプログラム |
| WO2020262615A1 (ja) * | 2019-06-28 | 2020-12-30 | 関西ペイント株式会社 | 光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラム |
| JP2021051380A (ja) * | 2019-09-20 | 2021-04-01 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
| JP2021060457A (ja) * | 2019-10-03 | 2021-04-15 | 国立大学法人北海道大学 | ゴム材料の物性推定方法、システム及びプログラム |
| JP2021135199A (ja) * | 2020-02-27 | 2021-09-13 | 太平洋セメント株式会社 | 骨材の品質推定方法およびコンクリート製造方法 |
| JP2021144402A (ja) * | 2020-03-11 | 2021-09-24 | 株式会社ジェイテクト | 品質評価に用いられる学習モデルの製造方法、学習システム、品質評価システム、及び、品質評価方法 |
| JP2021155984A (ja) * | 2020-03-26 | 2021-10-07 | 前田道路株式会社 | アスファルト混合物の成分情報推定システム、アスファルトプラント、及び、アスファルト混合物の成分情報推定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7076867B1 (ja) | 2022-05-30 |
| TW202332958A (zh) | 2023-08-16 |
| KR20240127342A (ko) | 2024-08-22 |
| CN118369571A (zh) | 2024-07-19 |
| WO2023120057A1 (ja) | 2023-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhan et al. | No-reference image sharpness assessment based on maximum gradient and variability of gradients | |
| Nafchi et al. | Efficient no-reference quality assessment and classification model for contrast distorted images | |
| JP5063076B2 (ja) | 光輝性顔料の同定方法、同定システム、同定プログラム及びその記録媒体 | |
| JP2010121992A (ja) | ひび割れ検出方法 | |
| CN110766657B (zh) | 一种激光干扰图像质量评价方法 | |
| CN116137036B (zh) | 基于机器学习的基因检测数据智能处理系统 | |
| CN111179235A (zh) | 图像检测模型的生成方法及装置、应用方法及装置 | |
| WO2023120057A1 (ja) | 物性値予測方法、及び物性値予測システム | |
| CN113781375A (zh) | 一种基于多曝光融合的车载视觉增强方法 | |
| WO2023120061A1 (ja) | 物性値予測方法、及び物性値予測システム | |
| CN112862066A (zh) | 用于监控油漆的搅拌混合均匀性的神经网络的训练方法 | |
| Liang et al. | Relative saliency model over multiple images with an application to yarn surface evaluation | |
| WO2022255239A1 (ja) | 評価方法、評価装置及びコンピュータプログラム | |
| JP6034529B1 (ja) | 表面状態診断装置 | |
| Temel et al. | ReSIFT: Reliability-weighted sift-based image quality assessment | |
| Tang et al. | Feature comparison and analysis for new challenging research fields of image quality assessment | |
| JP2022188504A (ja) | 金属組織のセグメンテーション方法 | |
| JP5055404B2 (ja) | 劣化診断方法、劣化診断装置及び劣化診断プログラム | |
| Zhang et al. | Using multiscale structural fusion for sonar image quality evaluation | |
| Zhao et al. | Nonuniform illumination correction for underwater images through a pseudo-siamese network | |
| US20240296597A1 (en) | Pseudo vascular pattern generation device and method of generating pseudo vascular pattern | |
| JP7372072B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および画像検査システム | |
| JP2024042521A (ja) | 色情報推定方法および色情報推定装置 | |
| CN117853429A (zh) | 一种标定图像质量评价方法 | |
| JP2021136024A (ja) | 画像生成装置、ゴム組成物の配合推定装置及び学習装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211224 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20211224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220302 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220506 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220511 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7076867 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |