JP2023036279A - Physical property value prediction apparatus, physical property value prediction method, and program - Google Patents
Physical property value prediction apparatus, physical property value prediction method, and program Download PDFInfo
- Publication number
- JP2023036279A JP2023036279A JP2021143249A JP2021143249A JP2023036279A JP 2023036279 A JP2023036279 A JP 2023036279A JP 2021143249 A JP2021143249 A JP 2021143249A JP 2021143249 A JP2021143249 A JP 2021143249A JP 2023036279 A JP2023036279 A JP 2023036279A
- Authority
- JP
- Japan
- Prior art keywords
- image
- window
- physical property
- property value
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は物性値予測装置、物性値予測方法、及びプログラムに関する。 The present invention relates to a physical property value prediction device, a physical property value prediction method, and a program.
有限要素法や分子シミュレーションにより対象物質の物性値を計算することが知られている。例えば、タイヤに用いられるフィラー充填ゴムの弾性率をシミュレーションなどの計算により求めることができる。しかし、こうした手法で物性値を得るには、膨大な計算時間が必要となるのが実情である。 It is known to calculate physical property values of target substances by the finite element method or molecular simulation. For example, the elastic modulus of filler-filled rubber used in tires can be obtained by calculation such as simulation. However, the actual situation is that a huge amount of calculation time is required to obtain physical property values by such a method.
例えば、下記特許文献1には、CNN(Convolutional Neural Network)による畳み込み機械学習のモデルを利用して、ゴム材料の物性値を推定することが記載されている。畳み込み機械学習モデルに物質の顕微鏡画像その他の画像を入力し、該モデルに物性値を推論させることで、比較的短時間で対象物質の物性値を計算することができる。 For example, Patent Literature 1 below describes estimating physical property values of a rubber material using a convolutional machine learning model based on a CNN (Convolutional Neural Network). By inputting a microscopic image or other image of a substance into a convolutional machine learning model and allowing the model to infer physical property values, it is possible to calculate the physical property values of a target substance in a relatively short period of time.
畳み込み機械学習モデルの畳み込み層では、画像の一部にフィルタとなるウィンドウを設定し、このウィンドウの位置をずらしながら、ウィンドウ内の画素値群に対して畳み込み演算を順次実行する。しかし、こうした従来の畳み込み演算では、画像の隅(辺や角)に近い画素は、畳み込み演算の対象となる回数が少なくなってしまう。このため、画像の隅に近い画素の情報が畳み込み機械学習モデルで適切に演算されないという問題があった。 In the convolutional layer of the convolutional machine learning model, a window serving as a filter is set in a part of the image, and the position of the window is shifted while convolution operations are sequentially performed on the pixel value groups within the window. However, in such a conventional convolution operation, pixels close to the corners (sides and corners) of the image are subjected to the convolution operation less times. Therefore, there is a problem that the information of pixels near the corners of the image is not properly calculated by the convolutional machine learning model.
本開示の目的は、画像の隅に近い画素の情報も適切に演算できる物性値予測装置、物性値予測方法、及びプログラムを提供することにある。 An object of the present disclosure is to provide a physical property value prediction device, a physical property value prediction method, and a program capable of appropriately calculating information on pixels near corners of an image.
本開示に係る物性値予測装置は、対象物質を示す物質画像を取得する物質画像取得手段と、前記物質画像の部分的な対象領域にウィンドウを設定するウィンドウ設定手段と、前記ウィンドウが前記物質画像の外に位置する非画像領域を含む場合には、当該非画像領域に、前記対象領域とは異なる、前記物質画像のうち所定の縁部領域の画像を配置することにより、ウィンドウ画像を生成するウィンドウ画像生成手段と、前記ウィンドウ画像に対して畳み込み演算を実行する手段と、を含む畳み込み機械学習モデルを含み、前記対象物質の物性値を予測する。これによれば、物質画像の隅に近い画素の情報も適切に演算できるようになる。 A physical property value prediction apparatus according to the present disclosure includes material image acquisition means for acquiring a material image showing a target material, window setting means for setting a window in a partial target area of the material image, and the window being the material image. If it includes a non-image area located outside of the non-image area, a window image is generated by placing an image of a predetermined edge area of the material image, which is different from the target area, in the non-image area. A convolutional machine learning model including means for generating a window image and means for performing a convolution operation on the window image is included to predict a physical property value of the target material. According to this, it becomes possible to appropriately calculate information of pixels near the corners of the material image.
また、本開示に係る物性値予測方法は、対象物質の物性値を予測する物性値予測方法であって、畳み込み機械学習モデルの物質画像取得手段が、前記対象物質を示す物質画像を取得し、前記畳み込み機械学習モデルのウィンドウ設定手段が、前記物質画像の部分的な対象領域にウィンドウを設定し、前記ウィンドウが前記物質画像の外に位置する非画像領域を含む場合、前記畳み込み機械学習モデルのウィンドウ画像生成手段が、当該非画像領域に、前記対象領域とは異なる、前記物質画像のうち所定の縁部領域の画像を配置することにより、ウィンドウ画像を生成し、前記畳み込み機械学習モデルの演算手段が、前記ウィンドウ画像に対して畳み込み演算を実行する。これによれば、畳み込み機械学習モデルにおいて、物質画像の隅に近い画素の情報も適切に演算できるようになる。 Further, a physical property value prediction method according to the present disclosure is a physical property value prediction method for predicting a physical property value of a target substance, wherein a substance image acquisition means of a convolutional machine learning model acquires a substance image representing the target substance, If the window setting means of the convolutional machine learning model sets a window over a partial region of interest of the material image, and the window includes a non-image area located outside the material image, the convolutional machine learning model A window image generating means generates a window image by arranging an image of a predetermined edge region of the material image, which is different from the target region, in the non-image region, and calculates the convolutional machine learning model. Means perform a convolution operation on the window image. According to this, in the convolutional machine learning model, it becomes possible to appropriately calculate information of pixels near the corners of the material image.
また、本開示に係るプログラムは、対象物質の物性値を予測するコンピュータに、前記対象物質を示す物質画像を取得する手順、前記物質画像の部分的な対象領域にウィンドウを設定する手順、前記ウィンドウが前記物質画像の外に位置する非画像領域を含む場合には、当該非画像領域に、前記対象領域とは異なる、前記物質画像のうち所定の縁部領域の画像を配置することにより、ウィンドウ画像を生成する手順、及び、前記ウィンドウ画像に対して畳み込み演算を実行する手順を実行させる。これによれば、コンピュータを用いて、物質画像の隅に近い画素の情報も適切に演算できるようになる。 Further, the program according to the present disclosure includes, in a computer for predicting physical property values of a target substance, a procedure for acquiring a material image showing the target substance, a procedure for setting a window in a partial target region of the substance image, the window contains a non-image area located outside the material image, by placing an image of a predetermined edge area of the material image that is different from the target area in the non-image area, the window A procedure for generating an image and a procedure for performing a convolution operation on the window image are performed. According to this, it becomes possible to appropriately calculate information of pixels near the corners of the material image using a computer.
以下、本開示の実施形態について図面を参照しながら説明する。本実施形態では、物性予測の対象とする物質(以下では、対象物質と称する)を示す物質画像を、CNNによる畳み込み機械学習モデルに入力することにより、対象物質の物性を示す物性値を算出する。材料のモルフォロジー(例えば、フィラー充填ゴムのフィラーモルフォロジー)は材料特性をコントロールする因子の1つであるが、数値化が難しいモルフォロジーを入力データとして対象物質の物性を予測するには、対象物質の画像である物質画像を畳み込み機械学習モデルに入力することが好ましい。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. In this embodiment, by inputting a material image representing a material whose physical properties are to be predicted (hereinafter referred to as a target material) into a convolutional machine learning model by CNN, a physical property value representing the physical properties of the target material is calculated. . Material morphology (for example, filler morphology of filler-filled rubber) is one of the factors that control material properties. It is preferable to input material images that are input to the convolutional machine learning model.
従来の畳み込み機械学習モデルで行われる畳み込み演算では、物質画像の隅(辺や角)に近い画素は畳み込み演算の対象となる回数が少ない。この点、本実施形態では、畳み込み演算において、物質画像の隅に近い画素の情報も適切に演算できるように図られている。 In the convolution operation performed by the conventional convolutional machine learning model, pixels close to the corners (sides and corners) of the material image are subjected to the convolution operation less frequently. In this regard, in the present embodiment, in the convolution operation, information on pixels near the corners of the material image can also be appropriately calculated.
[1.ハードウェア構成]
図1は、本開示の実施形態の一例である物性値予測装置10の構成を示す図である。本実施形態に係る物性値予測装置10は、パーソナルコンピュータや汎用コンピュータ、携帯情報端末などのコンピュータであり、図1に示すように、プロセッサ11、記憶部12、通信部13、表示部14、操作部15を含んでいる。なお、物性値予測装置10は、光ディスクを読み取る光ディスクドライブや、USB(Universal Serial Bus)ポートなどを含んでいてもよい。
[1. Hardware configuration]
FIG. 1 is a diagram showing the configuration of a physical property
プロセッサ11は、例えばコンピュータである物性値予測装置10にインストールされたプログラムに従って動作するCPU(Central Processing Unit)などのプログラム制御デバイスである。記憶部12は、ROM(Read Only Memory)やRAM(Random Access Memory)などの記憶素子やハードディスクドライブなどである。記憶部12には、プロセッサ11によって実行されるプログラムなどのデータが記憶される。通信部13は、例えばネットワークボードなどの通信インタフェースである。表示部14は、液晶ディスプレイ等の表示デバイスであって、プロセッサ11の指示に従って各種の画像を表示する。操作部15は、キーボードやマウスなどのユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ11に出力する。
The
[2.機能ブロック]
図2は、物性値予測装置10で実装される機能の一例を示す機能ブロック図である。図2に示すように、物性値予測装置10は、機能的には、物質画像生成部20と、畳み込み機械学習モデル30と、結果出力部40を含む。物質画像生成部20、及び結果出力部40は、プロセッサ11を主として実現されてよい。なお、物性値予測装置10において、図2に示す機能のすべてが実装されなくてもよく、図2に示す機能以外の機能が実装されていてもよい。
[2. Function block]
FIG. 2 is a functional block diagram showing an example of functions implemented in the physical property
[2-1.物質画像生成部]
物質画像生成部20は、対象物質を示す物質画像を生成する。物質画像生成部20は、例えば、分子シミュレーションなどの所与のシミュレーションにより生成される対象物質を示す3次元モデルから物質画像を生成する。
[2-1. Substance image generator]
The
図3は、対象物質の3次元モデルの一例を示す図である。図4は、対象物質を示す物質画像の一例を示す図である。本実施形態では、物質画像生成部20は、図3及び図4に示すように、シミュレーションにより生成された対象物質の3次元モデル90を所定の平面(例えば、前端面90F)に沿って複数切り出すことにより、当該対象物質を示す複数の物質画像100を生成する。
FIG. 3 is a diagram showing an example of a three-dimensional model of a target substance. FIG. 4 is a diagram showing an example of a substance image showing a target substance. In this embodiment, as shown in FIGS. 3 and 4, the
有限要素法や分子シミュレーションなどのシミュレーションでは、無限遠の領域を計算対象とすることができないため、本実施形態において、3次元モデル90は、互いに対向する端面が周期的に繋がるように、これらの端面に周期境界(周期対称)が設定された代表体積要素の直方体形状のモデルとして生成される。図3に示す例では、3次元モデル90の上端面90Uと下端面90D、左端面90Lと右端面90R、及び前端面90Fと後端面90Fのうちの少なくとも2組の端面に周期境界が設定される。このため、本実施形態において、3次元モデル90から切り出した物質画像100は、互いに対向する2つの辺(端部)に周期境界が設定される。より具体的には、物質画像100の上辺100Uと下辺100D、及び左辺100Lと右辺100Rに、それぞれ周期境界が設定される。なお、本開示において、「直方体」とは立方体を含むものとして説明する。
In simulations such as the finite element method and molecular simulation, an area at infinity cannot be the object of calculation. It is generated as a rectangular parallelepiped model of a representative volume element with periodic boundaries (periodic symmetry) set on the end faces. In the example shown in FIG. 3, periodic boundaries are set on at least two pairs of end faces of the three-
なお、他にも例えば、物質画像生成部20は、カメラや電子顕微鏡を用いて対象物質を撮影することにより、当該対象物質の物質画像100を生成してもよい。この場合にも、物質画像100は矩形であることが好ましい。なお、本開示において、「矩形」とは、正方形を含むものとして説明する。
Alternatively, for example, the substance
[2-2.機械学習モデル]
畳み込み機械学習モデル30は、CNN(Convolutional Neural Network)による機械学習モデルであり、物質画像と当該物質画像が示す物質の物性値とを含む学習用データにより学習される。そして、畳み込み機械学習モデル30は、所与の物質画像が入力される場合に、当該物質画像が示す物質の物性値を出力する。ここで、「物性値」とは、弾性率などの物理量でもよいし、物理量の範囲で定義されたクラスや、対象物質に配合されている材料の種類や割合(例えばフィラーやポリマー)を表すクラスなどであってもよい。このため、畳み込み機械学習モデル30は、いわゆる分類モデルであってもよいし、回帰モデルであってもよい。
[2-2. machine learning model]
The convolutional
図2に示すように、畳み込み機械学習モデル30は、機能的には、パラメータ記憶部31と、学習部32と、物質画像取得部33と、ウィンドウ設定部34と、ウィンドウ画像生成部35と、演算部36、予測部37とを含む。パラメータ記憶部31は、物性値予測装置10の記憶部12を主として実現されてよいし、他の記憶装置などにより実現されてもよい。学習部32、物質画像取得部33、ウィンドウ設定部34、ウィンドウ画像生成部35、演算部36、及び予測部37は、プロセッサ11を主として実現されてよい。なお、畳み込み機械学習モデル30において、図2に示す機能のすべてが実装されなくてもよく、図2に示す機能以外の機能が実装されていてもよい。
As shown in FIG. 2, the convolution
[2-2-1.パラメータ記憶部]
パラメータ記憶部31は、畳み込み機械学習モデル30に所与の物質画像が入力される場合に物性値を出力するための、畳み込み機械学習モデル30のパラメータを記憶する。より具体的には、畳み込み層の数や各畳み込み層に使用されるノード数、各ノードの重みづけなどを、畳み込み機械学習モデル30のパラメータとして記憶している。
[2-2-1. Parameter storage section]
The
[2-2-2.学習部]
学習部32は、物質を示す物質画像100と当該物質の物性値を含む複数の学習用データを用いて機械学習を行うことにより、パラメータ記憶部31に記憶されている畳み込み機械学習モデル30のパラメータを更新する。すなわち、パラメータ記憶部31に記憶されている畳み込み機械学習モデル30のパラメータは、複数の学習用データにより学習(更新)される。
[2-2-2. Learning department]
The
[2-2-3.物質画像取得部]
物質画像取得部33は、対象物質を示す物質画像100を取得する。本実施形態では、物質画像取得部33は、物質画像生成部20が3次元モデルなどから生成した物質画像100を取得する。なお、物質画像生成部20が複数の物質画像100を生成する場合、物質画像取得部33は、複数の物質画像100のいずれか1つを取得する。
[2-2-3. Substance Image Acquisition Unit]
The substance
図5は、畳み込み機械学習モデル30で行われる処理の一例を示す図である。図5に示すように、畳み込み機械学習モデル30は、複数の畳み込み層C1~C3と全結合層Fを有している。畳み込み層C1~C3における演算部36による畳み込み処理は、畳み込み演算の結果として、物質画像100の画素の特徴を示す画像を生成してよい。物質画像取得部33は、このような演算部36により演算される畳み込み演算結果を示す画像も、対象物質を示す物質画像100として取得してよい。
FIG. 5 is a diagram showing an example of processing performed by the convolutional
[2-2-4.ウィンドウ設定部、演算部]
ウィンドウ設定部34は、物質画像取得部33が取得した物質画像100の部分的な対象領域にフィルタとなるウィンドウを設定する。演算部36は、図5に示した畳み込み層C1~C3の各々において、ウィンドウから物質画像100の画素の特徴を抽出することで畳み込み演算を実行する。
[2-2-4. Window setting section, calculation section]
The
図6A~図6Cは、従来の畳み込み処理の一例を示す図である。まず図5Aに示すように、ウィンドウ設定部34は、物質画像100の左上の領域を最初の対象領域110とし、そこに矩形のウィンドウ200を設定する。ウィンドウ200のサイズは、物質画像100のサイズ以下とすることが好ましい。
6A to 6C are diagrams showing an example of conventional convolution processing. First, as shown in FIG. 5A, the
図6Aに示すように、ウィンドウ200を動かす前のウィンドウ200の初期位置において、ウィンドウ200は、物質画像100の左上の角の領域を含むとともに、物質画像100の外に位置する非画像領域300を含んでいる。演算部36は、この位置にあるウィンドウ200を用いて物質画像100の対象領域110における画素の特徴を抽出する。
As shown in FIG. 6A , in the initial position of
次いで、図6Bに示すように、ウィンドウ設定部34は、物質画像100においてウィンドウ200を現在の位置から右方向に所定の距離移動させる。移動後のウィンドウ200と重畳する物質画像100の領域が対象領域110となる。演算部36は、移動後のウィンドウ200を用いて物質画像100の対象領域110における画素の特徴を抽出する。この処理を、ウィンドウ200が物質画像100の右端を含む位置に到達するまで繰り返す。
Next, as shown in FIG. 6B, the
次いで、ウィンドウ設定部34は、物質画像100においてウィンドウ200の初期位置からウィンドウ200を下方向に所定の距離移動させ、演算部36は、移動後のウィンドウ200を用いて画素の特徴を抽出する。次いで、ウィンドウ設定部34は、ウィンドウ200を現在の位置から右方向に所定の距離移動させ、演算部36は、移動後のウィンドウ200を用いて画素の特徴を抽出する。この処理を繰り返すことで、ウィンドウ200が物質画像100の右端を含む位置に到達すると、ウィンドウ設定部34は、ウィンドウ200を、ウィンドウ200を右方向に連続して動かす前の位置(ウィンドウ200が物質画像100の左端を含む位置)から下方向に所定の距離移動させ、演算部36は、移動後のウィンドウ200を用いて画素の特徴を抽出する。
Next, the
図6Cに示すように、ウィンドウ設定部34が右方向又は下方向にウィンドウ200を動かすことで、ウィンドウ200が最終的に物質画像100の右下の角の領域を含む位置に到達するまで、演算部36は、物質画像100の画素の特徴を抽出する畳み込み処理を繰り返す。なお、ウィンドウ設定部34により設定されるウィンドウ200のサイズや初期位置、1回の移動における右方向又は下方向への移動距離、物質画像100に対する移動範囲の情報は、畳み込み機械学習モデル30のパラメータとして、パラメータ記憶部31が記憶してもよい。
As shown in FIG. 6C , the
しかし、例えばこのように行われる従来の畳み込み演算では、物質画像100の隅(辺や角)に近い画素は畳み込み演算の対象となる回数が少なくなってしまう。この点、本実施形態では、演算部36は、後述するウィンドウ画像400(図6Cを参照)に対して畳み込み演算を実行する。このようにすることで、物質画像100の隅に近い画素の情報も適切に演算できるように図られている
However, in the conventional convolution operation performed in this manner, for example, pixels close to the corners (sides and corners) of the
[2-2-5.ウィンドウ画像生成部]
ウィンドウ画像生成部35は、例えば図5Aに示すように、ウィンドウ200が物質画像100の外に位置する非画像領域300を含む場合、当該非画像領域300に、ウィンドウ200が設定される対象領域110とは異なる、物質画像100のうちの所定の縁部領域120の画像を配置(コピー)することにより、ウィンドウ画像を生成する。
[2-2-5. Window image generator]
For example, as shown in FIG. 5A, when the
図7A~図7Cは、ウィンドウ画像400の生成方法の一例を示す図である。まず図7Aに示すように、ウィンドウ画像生成部35は、物質画像100の上辺100Uと接する矩形の非画像領域300Uに、物質画像100のうちの、物質画像100の下辺100Dと接する矩形の縁部領域120Dの画像を配置する。また、ウィンドウ画像生成部35は、物質画像100の下辺100Dと接する矩形の非画像領域300Dに、物質画像100のうちの、物質画像100の上辺100Uと接する矩形の縁部領域120Uの画像を配置する。
7A to 7C are diagrams showing an example of a method for generating the
なお、非画像領域300Uと縁部領域120Dとの形状及びサイズは一致していることが好ましい。これと同様に、非画像領域300Dと縁部領域120Uとの形状及びサイズも一致していることが好ましい。本実施形態では、非画像領域300U,300D、及び縁部領域120U,120Dの形状及びサイズはすべて一致している。また、本実施形態では、非画像領域300U,300D、及び縁部領域120U,120Dの上下方向の幅は、ウィンドウ200の上下方向の幅の半分に設定されている。
It is preferable that the
物質画像100において、下端の縁部領域120Dは、上端の縁部領域120Uの反対側(物質画像100の中心を通り、上辺100U及び下辺100Dと並行な直線に対して反対側)に位置している。すなわち、縁部領域120Dは、ウィンドウ200が縁部領域120Uの少なくとも1部分を含む位置に配置される場合の対象領域110の反対側に位置することになる。これと同様に、縁部領域120Uは、ウィンドウ200が縁部領域120Dの少なくとも1部分を含む位置に配置される場合の対象領域110の反対側に位置することになる。
In the
次いで、図7Bに示すように、ウィンドウ画像生成部35は、物質画像100の左辺100Lと接する矩形の非画像領域300Lに、物質画像100のうちの、物質画像100の右辺100Rと接する矩形の縁部領域120Rの画像を配置する。また、ウィンドウ画像生成部35は、物質画像100の右辺100Rと接する矩形の非画像領域300Rに、物質画像100のうちの、物質画像100の左辺100Lと接する矩形の縁部領域120Lの画像を配置する。
Next, as shown in FIG. 7B, the
なお、非画像領域300Lと縁部領域120Rとの形状及びサイズは一致していることが好ましく、非画像領域300Rと縁部領域120Lとの形状及びサイズも一致していることが好ましい。本実施形態では、非画像領域300L,300R、及び縁部領域120L,120Rの形状及びサイズはすべて一致している。また、本実施形態では、非画像領域300L,300R、及び縁部領域120L,120Rの左右方向の幅は、ウィンドウ200の左右方向の幅の半分に設定されている。
The
物質画像100において、右端の縁部領域120Rは、左端の縁部領域120Lの反対側(物質画像100の中心を通り、左辺100L及び右辺100Rと並行な直線に対して反対側)に位置している。すなわち、縁部領域120Rは、ウィンドウ200が縁部領域120Lの少なくとも1部分を含む位置に配置される場合の対象領域110の反対側に位置することになる。これと同様に、縁部領域120Lは、ウィンドウ200が縁部領域120Rの少なくとも1部分を含む位置に配置される場合の対象領域110の反対側に位置することになる。
In the
次いで、図7Cに示すように、ウィンドウ画像生成部35は、物質画像100の左上の頂点と接する矩形の非画像領域300Nに、物質画像100の右下の角を含む矩形の縁部領域120Sの画像を配置する。また、ウィンドウ画像生成部35は、物質画像100の右上の頂点と接する矩形の非画像領域300Eに、物質画像100の左下の角を含む矩形の縁部領域120Wの画像を配置し、物質画像100の左下の頂点と接する矩形の非画像領域300Wに、物質画像100の右上の角を含む矩形の縁部領域120Eの画像を配置し、物質画像100の右下の頂点と接する矩形の非画像領域300Nに、物質画像100の左上の角を含む矩形の縁部領域120Sの画像を配置する。このように、非画像領域300U,300D,300L,300R,300N,300S,300E,300Wに、縁部領域120U,120D,120L,120R,120N,120S,120E,120Wの画像をそれぞれ配置した画像が、ウィンドウ画像400になる。
Next, as shown in FIG. 7C, the window
先述したように、本実施形態では、物質画像100の上辺100Uと下辺100D、及び左辺100Lと右辺100Rには、それぞれ周期境界が設定される。このため、ウィンドウ画像生成部35は、周期境界が設定された2つの辺(2つの端部)のうちの一方に接する縁部領域120の画像を、当該2つの辺のうちの他方に接する非画像領域130に配置することにより、ウィンドウ画像400を生成する。すなわち、ウィンドウ画像生成部35は、物質画像100の各辺に設定された周期境界でウィンドウ画像400を生成する。
As described above, in this embodiment, the
なお、非画像領域300Sと縁部領域120Nとの形状及びサイズは一致していることが好ましく、非画像領域300Nと縁部領域120Sとの形状及びサイズも一致していることが好ましい。同様に、非画像領域300Eと縁部領域120Wとの形状及びサイズも一致していることが好ましく、非画像領域300Wと縁部領域120Eとの形状及びサイズも一致していることが好ましい。本実施形態では、非画像領域300S,300N,300E,300W、及び縁部領域120S,120N,120E,120Wの形状及びサイズはすべて一致している。また、本実施形態では、非画像領域300S,300N,300E,300W、及び縁部領域120S,120N,120E,120Wの上下方向の幅は、ウィンドウ200の上下方向の幅の半分に設定され、非画像領域300S,300N,300E,300W、及び縁部領域120S,120N,120E,120Wの左右方向の幅は、ウィンドウ200の左右方向の幅の半分に設定される。
The shape and size of the
物質画像100において、右下の縁部領域120Sは、左上の縁部領域120Nの対角(別の言い方をすると、物質画像100の中心点に対して反対側)に位置し、左下の縁部領域120Wは、右上の縁部領域120Eの対角に位置している。すなわち、縁部領域120Sは、ウィンドウ200が縁部領域120Nの少なくとも1部分を含む位置に配置される場合の対象領域110の対角に位置することになる。これと同様に、縁部領域120Nは、ウィンドウ200が縁部領域120Sの少なくとも1部分を含む位置に配置される場合の対象領域110の対角に位置することなる。また、縁部領域120Wは、ウィンドウ200が縁部領域120Eの少なくとも1部分を含む位置に配置される場合の対象領域110の対角に位置することになり、縁部領域120Eは、ウィンドウ200が縁部領域120Wの少なくとも1部分を含む位置に配置される場合の対象領域110の対角に位置することになる。
In
図8は、本開示で提案する畳み込み処理の一例を示す図である。図8に示すように、演算部36は、ウィンドウ画像生成部35により生成されたウィンドウ画像400に対して畳み込み演算を実行する。物質画像100の非画像領域300に配置(コピー)される物質画像100の縁部領域は、物質画像100の隅に設定される対象領域110の反対側に位置するため、演算部36は、畳み込み処理において、物質画像100の隅(辺や角)に近い画素の情報も適切に演算することができるようになる。
FIG. 8 is a diagram illustrating an example of convolution processing proposed in the present disclosure. As shown in FIG. 8, the
また、図5に示した畳み込み層C1~C3で、演算部36が畳み込み演算の結果として画像を生成し、この画像を物質画像取得部33が物質画像100として取得する場合、ウィンドウ画像生成部35は、当該畳み込み演算結果を示す物質画像100に基づいて、ウィンドウ画像400をしてもよい。このようにすることで、第1層目の畳み込み層C1のみならず、第2層目以降の畳み込み層C2,C3における畳み込み演算でも、物質画像100の隅に近い画素の情報を適切に演算することができるようになる。
Further, in the convolution layers C1 to C3 shown in FIG. may generate a
[2-2-6.予測部]
予測部37は、演算部36による畳み込み演算の演算結果に基づいて、物質画像100が示す物質の物性値を算出(予測)する。予測部37は、例えば図5に示した全結合層Fでの演算結果に基づいて、物質の物性値を出力する。
[2-2-6. Predictor]
The
なお、畳み込み機械学習モデル30に物質画像100と物性値を含む学習用データが入力された場合、学習部32は、予測部37が算出した物性値と、入力された学習用データの物性値とを比較する。予測部37が算出した物性値が学習用データの物性値と異なる場合、学習部32は、パラメータ記憶部31に記憶されている畳み込み機械学習モデル30のパラメータを更新し、演算部36及び予測部37は、更新されたパラメータに基づいて、再度畳み込み演算を行うことで、物性値を算出する。すなわち、学習部32は、予測部37が算出する物性値が学習用データの物性値と一致、又は近似するまで、畳み込み機械学習モデル30のパラメータの更新(学習)を繰り返すものになる。
Note that when learning data including the
[2-3.結果出力部]
結果出力部40は、畳み込み機械学習モデル30の予測部37が算出した物質の物性値を予測結果として出力する。他にも例えば、畳み込み機械学習モデル30に学習用データが入力され、畳み込み機械学習モデル30のパラメータの更新(学習)が行われた場合、結果出力部40は、学習が完了したことを示す情報や、更新されたパラメータを示す情報などを出力してもよい。
[2-3. Result output unit]
The
[3.フローチャート]
図9は、畳み込み機械学習モデル30で行われる畳み込み処理の流れの一例を示す図である。まず、物質画像取得部33が、対象物質を示す物質画像100を取得する(ステップS110)。畳み込み処理が第1層目の畳み込み層C1で行われる場合、ステップS110において、物質画像取得部33は、畳み込み機械学習モデル30に入力された物質画像100を取得する。また、畳み込み処理が第2層目以降の畳み込み層C2,C3で行われる場合、ステップS110において、物質画像取得部33は、その1つ前の層の畳み込み処理により生成された画像を対象画像100として取得する。
[3. flowchart]
FIG. 9 is a diagram showing an example of the flow of convolution processing performed by the convolution
次いで、ウィンドウ設定部34は、畳み込み層で設定するウィンドウ200が、物質画像100の外の非画像領域300を含むか否かを判定する(ステップS120)。ウィンドウ200が非画像領域300を含まない場合(ステップS120のNo)、演算部36は、ステップS110で取得した物質画像100に対して畳み込み処理を実行し(ステップS130)、処理を終了する。
Next, the
ウィンドウ200が非画像領域300を含む場合(ステップS120のYes)、ウィンドウ画像生成部35は、例えば図7A~図7Cに示したように、物質画像100の非画像領域300に、縁部領域120の画像を配置(コピー)することにより、ウィンドウ画像400を生成する(ステップS140)。そして、演算部36は、ステップS140で生成したウィンドウ画像400に対して畳み込み処理を実行し(ステップS150)、処理を終了する。
If the
[4.まとめ]
以上のように、本実施形態では、ウィンドウ画像生成部35は、ウィンドウ200が物質画像100の外に位置する非画像領域300を含む場合、当該非画像領域300に、ウィンドウ200が設定される対象領域110とは異なる、物質画像100のうちの所定の縁部領域120の画像を配置することにより、ウィンドウ画像400を生成する。このように、ウィンドウ画像400の隅に配置される物質画像100の縁部領域120は、物質画像100における対象領域110の反対側に位置するため、演算部36は、畳み込み処理において、物質画像100の隅に近い画素の情報も適切に演算することができるようになる。
[4. summary]
As described above, in the present embodiment, when the
また、本実施形態では、物質画像100は、互いに対向する2つの端面で周期境界が設定された3次元モデル90から切り出した画像であるため、物質画像100の各辺にも周期境界が設定される。物質画像100の各辺に設定された周期境界で生成されるウィンドウ画像400は、対象物質における連続的な領域内を示すものになる。このように生成したウィンドウ画像400を畳み込み演算の入力画像として用いることにより、その後算出(予測)される物性値の確度を担保することができる。すなわち、シミュレーションにより周期境界条件が設定された3次元モデル90を生成し、当該3次元モデル90から切り出した物質画像100を本開示で提案する畳み込み機械学習モデル30に入力することにより、シミュレーションなどに比べて短い時間で物性値を算出することができ、かつ、畳み込み演算において物質画像100の隅に近い画素の情報も適切に演算されるため、従来の畳み込み機械学習モデルよりも確度が高い物性値を算出できるようになる。
In addition, in the present embodiment, the
[5.変形例]
本発明は、以上の実施形態に限定されるものではない。
[5. Modification]
The present invention is not limited to the above embodiments.
(1)実施形態では、3次元モデル90から切り出した2次元画像を物質画像100とする例について説明したが、物質画像100は、3次元モデル90を示す3次元画像であってもよい。物質画像100は、3次元モデル90に基づいて生成した3次元画像(例えば、3次元モデル90をボリュームレンダリングした画像)であってもよいし、3次元モデル90そのものであってもよい。この場合、物質画像100は直方体の画像であり、物質画像100の互いに対向する2つの面に周期境界が設定される。
(1) In the embodiment, a two-dimensional image cut out from the three-
この場合、ウィンドウ設定部34は、物質画像100の部分的な空間領域である対象領域にフィルタとなるウィンドウ200を設定し、演算部36は、このウィンドウ200を用いて物質画像100の対象領域110における画素の特徴を抽出する。ここで、ウィンドウ画像生成部35は、周期境界が設定された2つの面(端部)のうちの一方の面に接する物質画像100の一部分の空間領域を縁部領域120とし、これを当該2つの面のうちの他方の面に接する非画像領域130に配置することにより、ウィンドウ画像400を生成する。
In this case, the
ウィンドウ画像生成部35は、例えば、周期境界が設定された2つの面のうちの一方の面の全域を含む物質画像100の空間領域を縁部領域120とし、これを当該2つの面のうちの他方の面に接する非画像領域130に配置することにより、ウィンドウ画像400を生成してよい。また、ウィンドウ画像生成部35は、直方体形状の物質画像100における平行な4つの辺のうち、互いの距離が最も長い2つの辺のうちの一方の辺に接する物質画像100の空間領域を縁部領域120とし、これを他方の辺に接する非画像領域130に配置することにより、ウィンドウ画像400を生成してもよい。また、ウィンドウ画像生成部35は、物質画像100において対角に位置する2つの角のうち、一方の角に接する物質画像100の空間領域を縁部領域120とし、これを他方の角に接する非画像領域130に配置することにより、ウィンドウ画像400を生成してもよい。
The window
演算部36は、このように生成したウィンドウ画像400に対して畳み込み演算を実行する。このようにすることでも、畳み込み演算において、物質画像100の隅に近い画素の情報も適切に演算することができるようになる。
The
(2)また、物性値予測装置10は、学習済みの畳み込み機械学習モデル30を用いて、算出される物性値に寄与する物質画像100の領域を特定する領域特定部の機能を有してもよい。領域特定部は、物質画像100の縁部領域120に含まれる領域を特定してよく、物質画像100において反対側に位置する2つの縁部領域120(例えば、左端の縁部領域120Lと右端の縁部領域120R)にそれぞれ含まれる領域を特定してもよい。このようにすることで、材料のモルフォロジーや相分離構造と、当該材料の物性値との関係を理解することができる。
(2) In addition, the physical property
(3)また、物性値予測装置10は、複数の物質画像100(例えば、物質画像生成部20が生成する、図4に示した複数の物質画像100)のうちから、所望の物性値を算出する物質画像100を探索する画像探索部の機能を有してもよい。このようにすることで、所望の物理特性を実現する材料の不均質構造を探索することが可能になる。
(3) Further, the physical property
(4)また、畳み込み機械学習モデル30に物質画像100と物性値を含む学習用データが入力された場合、学習部32は、物質画像100から生成されたウィンドウ画像400に畳み込み処理を行うことで演算(予測)された物性値と、入力された学習用データの物性値とを比較し、その比較結果に基づいて畳み込み機械学習モデル30のパラメータを更新する。すなわち、物性値予測装置10は、学習装置として寄与するものにもなる。また、ウィンドウ画像400を用いることにより、学習部32は物質画像100の隅に近い画素の情報を考慮して、畳み込み機械学習モデル30の学習を行うことが可能になる。
(4) In addition, when learning data including the
10 物性値予測装置、11 プロセッサ、12 記憶部、13 通信部、14 表示部、15 操作部、20 物質画像生成部、30 畳み込み機械学習モデル、31 パラメータ記憶部、32 学習部、33 物質画像取得部、34 ウィンドウ設定部、35 ウィンドウ画像生成部、36 演算部、37 予測部、40 結果出力部、90 3次元モデル、100 物質画像、110 対象領域、120,120U,120D,120L,120R,120N,120S,120E,120W 縁部領域、200 ウィンドウ、300,300U,300D,300L,300R,300N,300S,300E,300W 非画像領域、400 ウィンドウ画像、C1,C2,C3 畳み込み層、F 全結合層。
10 physical property value prediction device, 11 processor, 12 storage unit, 13 communication unit, 14 display unit, 15 operation unit, 20 material image generation unit, 30 convolution machine learning model, 31 parameter storage unit, 32 learning unit, 33
Claims (7)
前記物質画像の部分的な対象領域にウィンドウを設定するウィンドウ設定手段と、
前記ウィンドウが前記物質画像の外に位置する非画像領域を含む場合には、当該非画像領域に、前記対象領域とは異なる、前記物質画像のうち所定の縁部領域の画像を配置することにより、ウィンドウ画像を生成するウィンドウ画像生成手段と、
前記ウィンドウ画像に対して畳み込み演算を実行する手段と、
を含む畳み込み機械学習モデルを含み、前記対象物質の物性値を予測する
物性値予測装置。 a substance image acquiring means for acquiring a substance image showing the target substance;
window setting means for setting a window on a partial target area of the material image;
if the window includes a non-image area located outside the material image, placing an image of a predetermined edge area of the material image that is different from the target area in the non-image area; , window image generating means for generating a window image;
means for performing a convolution operation on the window image;
and predicting the physical property value of the target substance.
前記所定の縁部領域は、前記物質画像における前記対象領域の反対側に位置する
物性値予測装置。 In the physical property value prediction device according to claim 1,
The physical property value prediction device, wherein the predetermined edge area is located on the opposite side of the target area in the material image.
前記物質画像は矩形又は直方体の画像であり、
前記所定の縁部領域は、前記物質画像における前記対象領域の対角に位置する
物性値予測装置。 In the physical property value prediction device according to claim 1 or 2,
the material image is a rectangular or cuboid image;
The physical property value prediction device, wherein the predetermined edge area is positioned at a diagonal of the target area in the material image.
前記物質画像は、互いに対向する2つの辺又は面である2つの端部に周期境界が設定された画像であり、
前記ウィンドウ画像生成手段は、前記周期境界が設定された前記2つの端部のうちの一方に接する縁部領域の画像を、当該2つの端部のうちの他方に接する前記非画像領域に配置することにより、前記ウィンドウ画像を生成する
物性値予測装置。 In the physical property value prediction device according to claim 2 or 3,
The material image is an image in which periodic boundaries are set at two ends, which are two sides or surfaces facing each other,
The window image generating means arranges an image of an edge region contacting one of the two ends where the periodic boundary is set, in the non-image region contacting the other of the two ends. a physical property value prediction device that generates the window image by
前記物質画像取得手段は、前記対象物質を示す画像に対する畳み込み演算の結果を示す画像を前記物質画像として取得し、
前記ウィンドウ画像生成手段は、前記畳み込み演算結果の少なくとも一部分を示す前記物質画像に基づいて、前記ウィンドウ画像を生成する
物性値予測装置。 In the physical property value prediction device according to any one of claims 1 to 4,
The substance image acquiring means acquires, as the substance image, an image representing a result of a convolution operation with respect to the image representing the target substance,
The window image generating means generates the window image based on the material image representing at least part of the result of the convolution operation. A physical property value prediction device.
畳み込み機械学習モデルの物質画像取得手段が、前記対象物質を示す物質画像を取得し、
前記畳み込み機械学習モデルのウィンドウ設定手段が、前記物質画像の部分的な対象領域にウィンドウを設定し、
前記ウィンドウが前記物質画像の外に位置する非画像領域を含む場合、前記畳み込み機械学習モデルのウィンドウ画像生成手段が、当該非画像領域に、前記対象領域とは異なる、前記物質画像のうち所定の縁部領域の画像を配置することにより、ウィンドウ画像を生成し、
前記畳み込み機械学習モデルの演算手段が、前記ウィンドウ画像に対して畳み込み演算を実行する
物性値予測方法。 A physical property value prediction method for predicting the physical property value of a target substance,
A substance image acquisition means of the convolutional machine learning model acquires a substance image showing the target substance,
window setting means of the convolutional machine learning model setting a window on a partial region of interest of the material image;
When the window includes a non-image area located outside the material image, the window image generating means of the convolutional machine learning model may include a predetermined area of the material image, different from the target area, in the non-image area. generating a window image by arranging the image of the edge region,
The physical property value prediction method, wherein the calculation means of the convolutional machine learning model performs a convolution calculation on the window image.
前記対象物質を示す物質画像を取得する手順、
前記物質画像の部分的な対象領域にウィンドウを設定する手順、
前記ウィンドウが前記物質画像の外に位置する非画像領域を含む場合には、当該非画像領域に、前記対象領域とは異なる、前記物質画像のうち所定の縁部領域の画像を配置することにより、ウィンドウ画像を生成する手順、及び、
前記ウィンドウ画像に対して畳み込み演算を実行する手順、
を実行させるプログラム。
A computer that predicts the physical property values of target substances
a procedure for acquiring a substance image showing the target substance;
setting a window over a partial region of interest of said material image;
if the window includes a non-image area located outside the material image, placing an image of a predetermined edge area of the material image that is different from the target area in the non-image area; , a procedure for generating a window image, and
performing a convolution operation on the window image;
program to run.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021143249A JP2023036279A (en) | 2021-09-02 | 2021-09-02 | Physical property value prediction apparatus, physical property value prediction method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021143249A JP2023036279A (en) | 2021-09-02 | 2021-09-02 | Physical property value prediction apparatus, physical property value prediction method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023036279A true JP2023036279A (en) | 2023-03-14 |
Family
ID=85508864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021143249A Pending JP2023036279A (en) | 2021-09-02 | 2021-09-02 | Physical property value prediction apparatus, physical property value prediction method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023036279A (en) |
-
2021
- 2021-09-02 JP JP2021143249A patent/JP2023036279A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112052787B (en) | Target detection method and device based on artificial intelligence and electronic equipment | |
CN111428586B (en) | Three-dimensional human body posture estimation method based on feature fusion and sample enhancement | |
CN107507126B (en) | Method for restoring 3D scene by using RGB image | |
EP3905194A1 (en) | Pose estimation method and apparatus | |
US10977549B2 (en) | Object animation using generative neural networks | |
US20220277514A1 (en) | Reconstructing three-dimensional scenes portrayed in digital images utilizing point cloud machine-learning models | |
WO2021144943A1 (en) | Control method, information processing device, and control program | |
US20200334862A1 (en) | Moving image generation apparatus, moving image generation method, and non-transitory recording medium | |
JP2021174556A (en) | Semantic hostile generation based on function test method in automatic driving | |
CN109165654B (en) | Training method of target positioning model and target positioning method and device | |
JP2019091436A (en) | Classification of 2d image according to type of 3d arrangement | |
Goldenstein et al. | Statistical cue integration in dag deformable models | |
CN114925748A (en) | Model training and modal information prediction method, related device, equipment and medium | |
CN113963190A (en) | System and method for changing image | |
Huang et al. | Network algorithm real-time depth image 3D human recognition for augmented reality | |
Huang et al. | A bayesian approach to multi-view 4d modeling | |
JP2023036279A (en) | Physical property value prediction apparatus, physical property value prediction method, and program | |
CN116258877A (en) | Land utilization scene similarity change detection method, device, medium and equipment | |
CN111368120B (en) | Target fingerprint database construction method and device, electronic equipment and storage medium | |
CN115346125A (en) | Target detection method based on deep learning | |
CN110490235B (en) | Vehicle object viewpoint prediction and three-dimensional model recovery method and device facing 2D image | |
CN116228850A (en) | Object posture estimation method, device, electronic equipment and readable storage medium | |
Jiang et al. | Probabilistic Triangulation for Uncalibrated Multi-View 3D Human Pose Estimation | |
CN115362478A (en) | Reinforcement learning model for spatial relationships between labeled images | |
US10650581B1 (en) | Sketch-based 3D fluid volume generation using a machine learning system |