JP2023036279A - Physical property value prediction apparatus, physical property value prediction method, and program - Google Patents

Physical property value prediction apparatus, physical property value prediction method, and program Download PDF

Info

Publication number
JP2023036279A
JP2023036279A JP2021143249A JP2021143249A JP2023036279A JP 2023036279 A JP2023036279 A JP 2023036279A JP 2021143249 A JP2021143249 A JP 2021143249A JP 2021143249 A JP2021143249 A JP 2021143249A JP 2023036279 A JP2023036279 A JP 2023036279A
Authority
JP
Japan
Prior art keywords
image
window
physical property
property value
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021143249A
Other languages
Japanese (ja)
Inventor
隆嗣 小島
Takashi Kojima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokohama Rubber Co Ltd
Original Assignee
Yokohama Rubber Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokohama Rubber Co Ltd filed Critical Yokohama Rubber Co Ltd
Priority to JP2021143249A priority Critical patent/JP2023036279A/en
Publication of JP2023036279A publication Critical patent/JP2023036279A/en
Pending legal-status Critical Current

Links

Images

Abstract

To allow information on a pixel close to a corner of an image to be properly calculated in convolutional calculation.SOLUTION: A convolution machine learning model (30) includes: a material image acquiring unit (33) for acquiring a material image (100) indicating a target material; a window setting unit (34) for setting a window (200) in a target region (110) on a part of the material image; a window image generating unit (35) for generating a window image by, if the window includes a non-image region (300) located outside the material image, locating an image of a predetermined edge region (120) of the material image which is different from the target region on the non-image region; and an arithmetic unit (36) for subjecting convolution calculation to the window image.SELECTED DRAWING: Figure 2

Description

本発明は物性値予測装置、物性値予測方法、及びプログラムに関する。 The present invention relates to a physical property value prediction device, a physical property value prediction method, and a program.

有限要素法や分子シミュレーションにより対象物質の物性値を計算することが知られている。例えば、タイヤに用いられるフィラー充填ゴムの弾性率をシミュレーションなどの計算により求めることができる。しかし、こうした手法で物性値を得るには、膨大な計算時間が必要となるのが実情である。 It is known to calculate physical property values of target substances by the finite element method or molecular simulation. For example, the elastic modulus of filler-filled rubber used in tires can be obtained by calculation such as simulation. However, the actual situation is that a huge amount of calculation time is required to obtain physical property values by such a method.

例えば、下記特許文献1には、CNN(Convolutional Neural Network)による畳み込み機械学習のモデルを利用して、ゴム材料の物性値を推定することが記載されている。畳み込み機械学習モデルに物質の顕微鏡画像その他の画像を入力し、該モデルに物性値を推論させることで、比較的短時間で対象物質の物性値を計算することができる。 For example, Patent Literature 1 below describes estimating physical property values of a rubber material using a convolutional machine learning model based on a CNN (Convolutional Neural Network). By inputting a microscopic image or other image of a substance into a convolutional machine learning model and allowing the model to infer physical property values, it is possible to calculate the physical property values of a target substance in a relatively short period of time.

特開第2021-060457号公報Japanese Patent Application Laid-Open No. 2021-060457

畳み込み機械学習モデルの畳み込み層では、画像の一部にフィルタとなるウィンドウを設定し、このウィンドウの位置をずらしながら、ウィンドウ内の画素値群に対して畳み込み演算を順次実行する。しかし、こうした従来の畳み込み演算では、画像の隅(辺や角)に近い画素は、畳み込み演算の対象となる回数が少なくなってしまう。このため、画像の隅に近い画素の情報が畳み込み機械学習モデルで適切に演算されないという問題があった。 In the convolutional layer of the convolutional machine learning model, a window serving as a filter is set in a part of the image, and the position of the window is shifted while convolution operations are sequentially performed on the pixel value groups within the window. However, in such a conventional convolution operation, pixels close to the corners (sides and corners) of the image are subjected to the convolution operation less times. Therefore, there is a problem that the information of pixels near the corners of the image is not properly calculated by the convolutional machine learning model.

本開示の目的は、画像の隅に近い画素の情報も適切に演算できる物性値予測装置、物性値予測方法、及びプログラムを提供することにある。 An object of the present disclosure is to provide a physical property value prediction device, a physical property value prediction method, and a program capable of appropriately calculating information on pixels near corners of an image.

本開示に係る物性値予測装置は、対象物質を示す物質画像を取得する物質画像取得手段と、前記物質画像の部分的な対象領域にウィンドウを設定するウィンドウ設定手段と、前記ウィンドウが前記物質画像の外に位置する非画像領域を含む場合には、当該非画像領域に、前記対象領域とは異なる、前記物質画像のうち所定の縁部領域の画像を配置することにより、ウィンドウ画像を生成するウィンドウ画像生成手段と、前記ウィンドウ画像に対して畳み込み演算を実行する手段と、を含む畳み込み機械学習モデルを含み、前記対象物質の物性値を予測する。これによれば、物質画像の隅に近い画素の情報も適切に演算できるようになる。 A physical property value prediction apparatus according to the present disclosure includes material image acquisition means for acquiring a material image showing a target material, window setting means for setting a window in a partial target area of the material image, and the window being the material image. If it includes a non-image area located outside of the non-image area, a window image is generated by placing an image of a predetermined edge area of the material image, which is different from the target area, in the non-image area. A convolutional machine learning model including means for generating a window image and means for performing a convolution operation on the window image is included to predict a physical property value of the target material. According to this, it becomes possible to appropriately calculate information of pixels near the corners of the material image.

また、本開示に係る物性値予測方法は、対象物質の物性値を予測する物性値予測方法であって、畳み込み機械学習モデルの物質画像取得手段が、前記対象物質を示す物質画像を取得し、前記畳み込み機械学習モデルのウィンドウ設定手段が、前記物質画像の部分的な対象領域にウィンドウを設定し、前記ウィンドウが前記物質画像の外に位置する非画像領域を含む場合、前記畳み込み機械学習モデルのウィンドウ画像生成手段が、当該非画像領域に、前記対象領域とは異なる、前記物質画像のうち所定の縁部領域の画像を配置することにより、ウィンドウ画像を生成し、前記畳み込み機械学習モデルの演算手段が、前記ウィンドウ画像に対して畳み込み演算を実行する。これによれば、畳み込み機械学習モデルにおいて、物質画像の隅に近い画素の情報も適切に演算できるようになる。 Further, a physical property value prediction method according to the present disclosure is a physical property value prediction method for predicting a physical property value of a target substance, wherein a substance image acquisition means of a convolutional machine learning model acquires a substance image representing the target substance, If the window setting means of the convolutional machine learning model sets a window over a partial region of interest of the material image, and the window includes a non-image area located outside the material image, the convolutional machine learning model A window image generating means generates a window image by arranging an image of a predetermined edge region of the material image, which is different from the target region, in the non-image region, and calculates the convolutional machine learning model. Means perform a convolution operation on the window image. According to this, in the convolutional machine learning model, it becomes possible to appropriately calculate information of pixels near the corners of the material image.

また、本開示に係るプログラムは、対象物質の物性値を予測するコンピュータに、前記対象物質を示す物質画像を取得する手順、前記物質画像の部分的な対象領域にウィンドウを設定する手順、前記ウィンドウが前記物質画像の外に位置する非画像領域を含む場合には、当該非画像領域に、前記対象領域とは異なる、前記物質画像のうち所定の縁部領域の画像を配置することにより、ウィンドウ画像を生成する手順、及び、前記ウィンドウ画像に対して畳み込み演算を実行する手順を実行させる。これによれば、コンピュータを用いて、物質画像の隅に近い画素の情報も適切に演算できるようになる。 Further, the program according to the present disclosure includes, in a computer for predicting physical property values of a target substance, a procedure for acquiring a material image showing the target substance, a procedure for setting a window in a partial target region of the substance image, the window contains a non-image area located outside the material image, by placing an image of a predetermined edge area of the material image that is different from the target area in the non-image area, the window A procedure for generating an image and a procedure for performing a convolution operation on the window image are performed. According to this, it becomes possible to appropriately calculate information of pixels near the corners of the material image using a computer.

本開示の実施形態の一例である物性値予測装置の構成を示す図である。1 is a diagram showing the configuration of a physical property value prediction device that is an example of an embodiment of the present disclosure; FIG. 物性値予測装置で実装される機能の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of the function implemented in a physical-property value prediction apparatus. 対象物質を示す3次元モデルの一例を示す図である。It is a figure which shows an example of the three-dimensional model which shows a target substance. 対象物質を示す物質画像の一例を示す図である。It is a figure which shows an example of the substance image which shows a target substance. 畳み込み機械学習モデルで行われる処理の一例を示す図である。FIG. 4 is a diagram showing an example of processing performed in a convolutional machine learning model; 従来の畳み込み処理の一例を示す図である。It is a figure which shows an example of the conventional convolution process. 従来の畳み込み処理の一例を示す図である。It is a figure which shows an example of the conventional convolution process. 従来の畳み込み処理の一例を示す図である。It is a figure which shows an example of the conventional convolution process. ウィンドウ画像の生成方法の一例を示す図である。FIG. 10 is a diagram showing an example of a method for generating a window image; ウィンドウ画像の生成方法の一例を示す図である。FIG. 10 is a diagram showing an example of a method for generating a window image; ウィンドウ画像の生成方法の一例を示す図である。FIG. 10 is a diagram showing an example of a method for generating a window image; 本開示で提案する畳み込み処理の一例を示す図である。FIG. 4 is a diagram illustrating an example of convolution processing proposed in the present disclosure; 物性値予測装置で行われる処理の流れの一例を示すフロー図である。It is a flowchart which shows an example of the flow of the process performed with a physical-property value prediction apparatus.

以下、本開示の実施形態について図面を参照しながら説明する。本実施形態では、物性予測の対象とする物質(以下では、対象物質と称する)を示す物質画像を、CNNによる畳み込み機械学習モデルに入力することにより、対象物質の物性を示す物性値を算出する。材料のモルフォロジー(例えば、フィラー充填ゴムのフィラーモルフォロジー)は材料特性をコントロールする因子の1つであるが、数値化が難しいモルフォロジーを入力データとして対象物質の物性を予測するには、対象物質の画像である物質画像を畳み込み機械学習モデルに入力することが好ましい。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. In this embodiment, by inputting a material image representing a material whose physical properties are to be predicted (hereinafter referred to as a target material) into a convolutional machine learning model by CNN, a physical property value representing the physical properties of the target material is calculated. . Material morphology (for example, filler morphology of filler-filled rubber) is one of the factors that control material properties. It is preferable to input material images that are input to the convolutional machine learning model.

従来の畳み込み機械学習モデルで行われる畳み込み演算では、物質画像の隅(辺や角)に近い画素は畳み込み演算の対象となる回数が少ない。この点、本実施形態では、畳み込み演算において、物質画像の隅に近い画素の情報も適切に演算できるように図られている。 In the convolution operation performed by the conventional convolutional machine learning model, pixels close to the corners (sides and corners) of the material image are subjected to the convolution operation less frequently. In this regard, in the present embodiment, in the convolution operation, information on pixels near the corners of the material image can also be appropriately calculated.

[1.ハードウェア構成]
図1は、本開示の実施形態の一例である物性値予測装置10の構成を示す図である。本実施形態に係る物性値予測装置10は、パーソナルコンピュータや汎用コンピュータ、携帯情報端末などのコンピュータであり、図1に示すように、プロセッサ11、記憶部12、通信部13、表示部14、操作部15を含んでいる。なお、物性値予測装置10は、光ディスクを読み取る光ディスクドライブや、USB(Universal Serial Bus)ポートなどを含んでいてもよい。
[1. Hardware configuration]
FIG. 1 is a diagram showing the configuration of a physical property value prediction device 10 that is an example of an embodiment of the present disclosure. A physical property value prediction apparatus 10 according to the present embodiment is a computer such as a personal computer, a general-purpose computer, or a personal digital assistant, and as shown in FIG. A portion 15 is included. The physical property value prediction device 10 may include an optical disk drive for reading optical disks, a USB (Universal Serial Bus) port, and the like.

プロセッサ11は、例えばコンピュータである物性値予測装置10にインストールされたプログラムに従って動作するCPU(Central Processing Unit)などのプログラム制御デバイスである。記憶部12は、ROM(Read Only Memory)やRAM(Random Access Memory)などの記憶素子やハードディスクドライブなどである。記憶部12には、プロセッサ11によって実行されるプログラムなどのデータが記憶される。通信部13は、例えばネットワークボードなどの通信インタフェースである。表示部14は、液晶ディスプレイ等の表示デバイスであって、プロセッサ11の指示に従って各種の画像を表示する。操作部15は、キーボードやマウスなどのユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ11に出力する。 The processor 11 is a program control device such as a CPU (Central Processing Unit) that operates according to a program installed in the physical property value prediction device 10, which is a computer, for example. The storage unit 12 is a storage element such as a ROM (Read Only Memory) or a RAM (Random Access Memory), a hard disk drive, or the like. The storage unit 12 stores data such as programs to be executed by the processor 11 . The communication unit 13 is, for example, a communication interface such as a network board. The display unit 14 is a display device such as a liquid crystal display, and displays various images according to instructions from the processor 11 . The operation unit 15 is a user interface such as a keyboard and a mouse, and receives user operation input and outputs a signal indicating the content of the input to the processor 11 .

[2.機能ブロック]
図2は、物性値予測装置10で実装される機能の一例を示す機能ブロック図である。図2に示すように、物性値予測装置10は、機能的には、物質画像生成部20と、畳み込み機械学習モデル30と、結果出力部40を含む。物質画像生成部20、及び結果出力部40は、プロセッサ11を主として実現されてよい。なお、物性値予測装置10において、図2に示す機能のすべてが実装されなくてもよく、図2に示す機能以外の機能が実装されていてもよい。
[2. Function block]
FIG. 2 is a functional block diagram showing an example of functions implemented in the physical property value prediction device 10. As shown in FIG. As shown in FIG. 2 , the physical property value prediction device 10 functionally includes a material image generator 20 , a convolutional machine learning model 30 , and a result output unit 40 . The substance image generation unit 20 and the result output unit 40 may be implemented mainly by the processor 11 . 2 may not be implemented in the physical property value prediction device 10, and functions other than the functions shown in FIG. 2 may be implemented.

[2-1.物質画像生成部]
物質画像生成部20は、対象物質を示す物質画像を生成する。物質画像生成部20は、例えば、分子シミュレーションなどの所与のシミュレーションにより生成される対象物質を示す3次元モデルから物質画像を生成する。
[2-1. Substance image generator]
The substance image generator 20 generates a substance image representing the target substance. The substance image generation unit 20 generates a substance image from a three-dimensional model representing a target substance generated by a given simulation such as molecular simulation.

図3は、対象物質の3次元モデルの一例を示す図である。図4は、対象物質を示す物質画像の一例を示す図である。本実施形態では、物質画像生成部20は、図3及び図4に示すように、シミュレーションにより生成された対象物質の3次元モデル90を所定の平面(例えば、前端面90F)に沿って複数切り出すことにより、当該対象物質を示す複数の物質画像100を生成する。 FIG. 3 is a diagram showing an example of a three-dimensional model of a target substance. FIG. 4 is a diagram showing an example of a substance image showing a target substance. In this embodiment, as shown in FIGS. 3 and 4, the substance image generator 20 cuts out a plurality of three-dimensional models 90 of the target substance generated by simulation along a predetermined plane (for example, the front end surface 90F). Thereby, a plurality of substance images 100 representing the target substance are generated.

有限要素法や分子シミュレーションなどのシミュレーションでは、無限遠の領域を計算対象とすることができないため、本実施形態において、3次元モデル90は、互いに対向する端面が周期的に繋がるように、これらの端面に周期境界(周期対称)が設定された代表体積要素の直方体形状のモデルとして生成される。図3に示す例では、3次元モデル90の上端面90Uと下端面90D、左端面90Lと右端面90R、及び前端面90Fと後端面90Fのうちの少なくとも2組の端面に周期境界が設定される。このため、本実施形態において、3次元モデル90から切り出した物質画像100は、互いに対向する2つの辺(端部)に周期境界が設定される。より具体的には、物質画像100の上辺100Uと下辺100D、及び左辺100Lと右辺100Rに、それぞれ周期境界が設定される。なお、本開示において、「直方体」とは立方体を含むものとして説明する。 In simulations such as the finite element method and molecular simulation, an area at infinity cannot be the object of calculation. It is generated as a rectangular parallelepiped model of a representative volume element with periodic boundaries (periodic symmetry) set on the end faces. In the example shown in FIG. 3, periodic boundaries are set on at least two pairs of end faces of the three-dimensional model 90, the upper end face 90U and the lower end face 90D, the left end face 90L and the right end face 90R, and the front end face 90F and the rear end face 90F. be. Therefore, in the present embodiment, the material image 100 cut out from the three-dimensional model 90 has periodic boundaries set on two sides (ends) facing each other. More specifically, periodic boundaries are set on the upper side 100U and the lower side 100D, and the left side 100L and the right side 100R of the material image 100, respectively. Note that, in the present disclosure, the term “rectangular parallelepiped” will be described as including a cube.

なお、他にも例えば、物質画像生成部20は、カメラや電子顕微鏡を用いて対象物質を撮影することにより、当該対象物質の物質画像100を生成してもよい。この場合にも、物質画像100は矩形であることが好ましい。なお、本開示において、「矩形」とは、正方形を含むものとして説明する。 Alternatively, for example, the substance image generation unit 20 may generate the substance image 100 of the target substance by photographing the target substance using a camera or an electron microscope. Also in this case, the material image 100 is preferably rectangular. In addition, in this disclosure, the “rectangle” is described as including a square.

[2-2.機械学習モデル]
畳み込み機械学習モデル30は、CNN(Convolutional Neural Network)による機械学習モデルであり、物質画像と当該物質画像が示す物質の物性値とを含む学習用データにより学習される。そして、畳み込み機械学習モデル30は、所与の物質画像が入力される場合に、当該物質画像が示す物質の物性値を出力する。ここで、「物性値」とは、弾性率などの物理量でもよいし、物理量の範囲で定義されたクラスや、対象物質に配合されている材料の種類や割合(例えばフィラーやポリマー)を表すクラスなどであってもよい。このため、畳み込み機械学習モデル30は、いわゆる分類モデルであってもよいし、回帰モデルであってもよい。
[2-2. machine learning model]
The convolutional machine learning model 30 is a machine learning model based on a CNN (Convolutional Neural Network), and is learned using learning data including material images and physical property values of materials indicated by the material images. Then, when a given material image is input, the convolutional machine learning model 30 outputs physical property values of the material indicated by the material image. Here, "physical property value" may be a physical quantity such as elastic modulus, a class defined within the range of physical quantity, or a class representing the type and ratio of materials (for example, filler or polymer) blended in the target substance. and so on. Therefore, the convolutional machine learning model 30 may be a so-called classification model or a regression model.

図2に示すように、畳み込み機械学習モデル30は、機能的には、パラメータ記憶部31と、学習部32と、物質画像取得部33と、ウィンドウ設定部34と、ウィンドウ画像生成部35と、演算部36、予測部37とを含む。パラメータ記憶部31は、物性値予測装置10の記憶部12を主として実現されてよいし、他の記憶装置などにより実現されてもよい。学習部32、物質画像取得部33、ウィンドウ設定部34、ウィンドウ画像生成部35、演算部36、及び予測部37は、プロセッサ11を主として実現されてよい。なお、畳み込み機械学習モデル30において、図2に示す機能のすべてが実装されなくてもよく、図2に示す機能以外の機能が実装されていてもよい。 As shown in FIG. 2, the convolution machine learning model 30 functionally includes a parameter storage unit 31, a learning unit 32, a material image acquisition unit 33, a window setting unit 34, a window image generation unit 35, Calculation unit 36 and prediction unit 37 are included. The parameter storage unit 31 may be implemented mainly by the storage unit 12 of the physical property value prediction device 10, or may be implemented by another storage device or the like. The learning unit 32 , the material image acquisition unit 33 , the window setting unit 34 , the window image generation unit 35 , the calculation unit 36 and the prediction unit 37 may be implemented mainly by the processor 11 . Note that the convolutional machine learning model 30 does not have to implement all the functions shown in FIG. 2, and may implement functions other than the functions shown in FIG.

[2-2-1.パラメータ記憶部]
パラメータ記憶部31は、畳み込み機械学習モデル30に所与の物質画像が入力される場合に物性値を出力するための、畳み込み機械学習モデル30のパラメータを記憶する。より具体的には、畳み込み層の数や各畳み込み層に使用されるノード数、各ノードの重みづけなどを、畳み込み機械学習モデル30のパラメータとして記憶している。
[2-2-1. Parameter storage section]
The parameter storage unit 31 stores parameters of the convolutional machine learning model 30 for outputting physical property values when a given material image is input to the convolutional machine learning model 30 . More specifically, the number of convolutional layers, the number of nodes used in each convolutional layer, the weighting of each node, and the like are stored as parameters of the convolutional machine learning model 30 .

[2-2-2.学習部]
学習部32は、物質を示す物質画像100と当該物質の物性値を含む複数の学習用データを用いて機械学習を行うことにより、パラメータ記憶部31に記憶されている畳み込み機械学習モデル30のパラメータを更新する。すなわち、パラメータ記憶部31に記憶されている畳み込み機械学習モデル30のパラメータは、複数の学習用データにより学習(更新)される。
[2-2-2. Learning department]
The learning unit 32 performs machine learning using a material image 100 representing a material and a plurality of learning data including physical property values of the material, so that the parameters of the convolutional machine learning model 30 stored in the parameter storage unit 31 to update. That is, the parameters of the convolutional machine learning model 30 stored in the parameter storage unit 31 are learned (updated) using a plurality of learning data.

[2-2-3.物質画像取得部]
物質画像取得部33は、対象物質を示す物質画像100を取得する。本実施形態では、物質画像取得部33は、物質画像生成部20が3次元モデルなどから生成した物質画像100を取得する。なお、物質画像生成部20が複数の物質画像100を生成する場合、物質画像取得部33は、複数の物質画像100のいずれか1つを取得する。
[2-2-3. Substance Image Acquisition Unit]
The substance image acquisition unit 33 acquires a substance image 100 representing the target substance. In this embodiment, the material image acquisition unit 33 acquires the material image 100 generated by the material image generation unit 20 from a three-dimensional model or the like. Note that when the substance image generation unit 20 generates a plurality of substance images 100 , the substance image acquisition unit 33 acquires any one of the plurality of substance images 100 .

図5は、畳み込み機械学習モデル30で行われる処理の一例を示す図である。図5に示すように、畳み込み機械学習モデル30は、複数の畳み込み層C1~C3と全結合層Fを有している。畳み込み層C1~C3における演算部36による畳み込み処理は、畳み込み演算の結果として、物質画像100の画素の特徴を示す画像を生成してよい。物質画像取得部33は、このような演算部36により演算される畳み込み演算結果を示す画像も、対象物質を示す物質画像100として取得してよい。 FIG. 5 is a diagram showing an example of processing performed by the convolutional machine learning model 30. As shown in FIG. As shown in FIG. 5, the convolutional machine learning model 30 has a plurality of convolutional layers C1 to C3 and a fully connected layer F. FIG. The convolution process by the computing unit 36 in the convolution layers C1-C3 may produce an image that represents the characteristics of the pixels of the material image 100 as a result of the convolution operation. The substance image obtaining unit 33 may also obtain an image representing the result of the convolution calculation performed by the calculation unit 36 as the substance image 100 indicating the target substance.

[2-2-4.ウィンドウ設定部、演算部]
ウィンドウ設定部34は、物質画像取得部33が取得した物質画像100の部分的な対象領域にフィルタとなるウィンドウを設定する。演算部36は、図5に示した畳み込み層C1~C3の各々において、ウィンドウから物質画像100の画素の特徴を抽出することで畳み込み演算を実行する。
[2-2-4. Window setting section, calculation section]
The window setting unit 34 sets a window serving as a filter in a partial target region of the material image 100 acquired by the material image acquisition unit 33 . The computing unit 36 performs a convolution computation by extracting features of pixels of the material image 100 from windows in each of the convolution layers C1 to C3 shown in FIG.

図6A~図6Cは、従来の畳み込み処理の一例を示す図である。まず図5Aに示すように、ウィンドウ設定部34は、物質画像100の左上の領域を最初の対象領域110とし、そこに矩形のウィンドウ200を設定する。ウィンドウ200のサイズは、物質画像100のサイズ以下とすることが好ましい。 6A to 6C are diagrams showing an example of conventional convolution processing. First, as shown in FIG. 5A, the window setting unit 34 sets the upper left area of the material image 100 as the initial target area 110 and sets a rectangular window 200 there. The size of window 200 is preferably smaller than the size of material image 100 .

図6Aに示すように、ウィンドウ200を動かす前のウィンドウ200の初期位置において、ウィンドウ200は、物質画像100の左上の角の領域を含むとともに、物質画像100の外に位置する非画像領域300を含んでいる。演算部36は、この位置にあるウィンドウ200を用いて物質画像100の対象領域110における画素の特徴を抽出する。 As shown in FIG. 6A , in the initial position of window 200 before moving window 200 , window 200 includes the upper left corner area of material image 100 and a non-image area 300 located outside material image 100 . contains. The calculation unit 36 uses the window 200 at this position to extract the features of pixels in the target region 110 of the material image 100 .

次いで、図6Bに示すように、ウィンドウ設定部34は、物質画像100においてウィンドウ200を現在の位置から右方向に所定の距離移動させる。移動後のウィンドウ200と重畳する物質画像100の領域が対象領域110となる。演算部36は、移動後のウィンドウ200を用いて物質画像100の対象領域110における画素の特徴を抽出する。この処理を、ウィンドウ200が物質画像100の右端を含む位置に到達するまで繰り返す。 Next, as shown in FIG. 6B, the window setting unit 34 moves the window 200 in the material image 100 rightward by a predetermined distance from the current position. The area of the material image 100 that overlaps the window 200 after movement becomes the target area 110 . The calculation unit 36 extracts the features of the pixels in the target region 110 of the material image 100 using the window 200 after movement. This process is repeated until window 200 reaches a position that includes the right edge of material image 100 .

次いで、ウィンドウ設定部34は、物質画像100においてウィンドウ200の初期位置からウィンドウ200を下方向に所定の距離移動させ、演算部36は、移動後のウィンドウ200を用いて画素の特徴を抽出する。次いで、ウィンドウ設定部34は、ウィンドウ200を現在の位置から右方向に所定の距離移動させ、演算部36は、移動後のウィンドウ200を用いて画素の特徴を抽出する。この処理を繰り返すことで、ウィンドウ200が物質画像100の右端を含む位置に到達すると、ウィンドウ設定部34は、ウィンドウ200を、ウィンドウ200を右方向に連続して動かす前の位置(ウィンドウ200が物質画像100の左端を含む位置)から下方向に所定の距離移動させ、演算部36は、移動後のウィンドウ200を用いて画素の特徴を抽出する。 Next, the window setting unit 34 moves the window 200 downward by a predetermined distance from the initial position of the window 200 in the material image 100, and the calculation unit 36 uses the window 200 after movement to extract the features of pixels. Next, the window setting unit 34 moves the window 200 rightward from the current position by a predetermined distance, and the calculation unit 36 uses the window 200 after movement to extract the features of the pixels. By repeating this process, when the window 200 reaches the position including the right end of the material image 100, the window setting unit 34 sets the window 200 to the position before continuously moving the window 200 to the right (where the window 200 is the material The position including the left end of the image 100) is moved downward by a predetermined distance, and the calculation unit 36 uses the window 200 after movement to extract the features of the pixels.

図6Cに示すように、ウィンドウ設定部34が右方向又は下方向にウィンドウ200を動かすことで、ウィンドウ200が最終的に物質画像100の右下の角の領域を含む位置に到達するまで、演算部36は、物質画像100の画素の特徴を抽出する畳み込み処理を繰り返す。なお、ウィンドウ設定部34により設定されるウィンドウ200のサイズや初期位置、1回の移動における右方向又は下方向への移動距離、物質画像100に対する移動範囲の情報は、畳み込み機械学習モデル30のパラメータとして、パラメータ記憶部31が記憶してもよい。 As shown in FIG. 6C , the window setting unit 34 moves the window 200 rightward or downward until the window 200 finally reaches a position including the lower right corner area of the material image 100 . Unit 36 repeats the convolution process for extracting features of the pixels of material image 100 . Information on the size and initial position of the window 200 set by the window setting unit 34, the rightward or downward movement distance in one movement, and the movement range with respect to the material image 100 are parameters of the convolutional machine learning model 30. , the parameter storage unit 31 may store.

しかし、例えばこのように行われる従来の畳み込み演算では、物質画像100の隅(辺や角)に近い画素は畳み込み演算の対象となる回数が少なくなってしまう。この点、本実施形態では、演算部36は、後述するウィンドウ画像400(図6Cを参照)に対して畳み込み演算を実行する。このようにすることで、物質画像100の隅に近い画素の情報も適切に演算できるように図られている However, in the conventional convolution operation performed in this manner, for example, pixels close to the corners (sides and corners) of the material image 100 are subjected to the convolution operation less frequently. In this regard, in the present embodiment, the calculation unit 36 performs a convolution calculation on a window image 400 (see FIG. 6C), which will be described later. By doing so, information on pixels near the corners of the material image 100 can also be appropriately calculated.

[2-2-5.ウィンドウ画像生成部]
ウィンドウ画像生成部35は、例えば図5Aに示すように、ウィンドウ200が物質画像100の外に位置する非画像領域300を含む場合、当該非画像領域300に、ウィンドウ200が設定される対象領域110とは異なる、物質画像100のうちの所定の縁部領域120の画像を配置(コピー)することにより、ウィンドウ画像を生成する。
[2-2-5. Window image generator]
For example, as shown in FIG. 5A, when the window 200 includes a non-image area 300 positioned outside the material image 100, the window image generation unit 35 generates the target area 110 in which the window 200 is set in the non-image area 300. A window image is generated by placing (copying) an image of a given edge region 120 of the material image 100 that is different from the .

図7A~図7Cは、ウィンドウ画像400の生成方法の一例を示す図である。まず図7Aに示すように、ウィンドウ画像生成部35は、物質画像100の上辺100Uと接する矩形の非画像領域300Uに、物質画像100のうちの、物質画像100の下辺100Dと接する矩形の縁部領域120Dの画像を配置する。また、ウィンドウ画像生成部35は、物質画像100の下辺100Dと接する矩形の非画像領域300Dに、物質画像100のうちの、物質画像100の上辺100Uと接する矩形の縁部領域120Uの画像を配置する。 7A to 7C are diagrams showing an example of a method for generating the window image 400. FIG. First, as shown in FIG. 7A, the window image generation unit 35 creates a rectangular non-image region 300U that contacts the upper side 100U of the material image 100 with a rectangular edge portion that contacts the lower side 100D of the material image 100. Place the image in area 120D. In addition, the window image generating unit 35 arranges the image of the rectangular edge region 120U of the material image 100, which is in contact with the upper side 100U of the material image 100, in the rectangular non-image area 300D, which is in contact with the lower side 100D of the material image 100. do.

なお、非画像領域300Uと縁部領域120Dとの形状及びサイズは一致していることが好ましい。これと同様に、非画像領域300Dと縁部領域120Uとの形状及びサイズも一致していることが好ましい。本実施形態では、非画像領域300U,300D、及び縁部領域120U,120Dの形状及びサイズはすべて一致している。また、本実施形態では、非画像領域300U,300D、及び縁部領域120U,120Dの上下方向の幅は、ウィンドウ200の上下方向の幅の半分に設定されている。 It is preferable that the non-image area 300U and the edge area 120D have the same shape and size. Similarly, it is preferable that the shape and size of the non-image area 300D and the edge area 120U also match. In this embodiment, the non-image areas 300U and 300D and the edge areas 120U and 120D have the same shape and size. Further, in this embodiment, the vertical widths of the non-image areas 300U and 300D and the edge areas 120U and 120D are set to half the vertical width of the window 200 .

物質画像100において、下端の縁部領域120Dは、上端の縁部領域120Uの反対側(物質画像100の中心を通り、上辺100U及び下辺100Dと並行な直線に対して反対側)に位置している。すなわち、縁部領域120Dは、ウィンドウ200が縁部領域120Uの少なくとも1部分を含む位置に配置される場合の対象領域110の反対側に位置することになる。これと同様に、縁部領域120Uは、ウィンドウ200が縁部領域120Dの少なくとも1部分を含む位置に配置される場合の対象領域110の反対側に位置することになる。 In the material image 100, the lower edge region 120D is located on the opposite side of the upper edge region 120U (on the opposite side to the straight line passing through the center of the material image 100 and parallel to the upper side 100U and the lower side 100D). there is That is, edge region 120D would be located on the opposite side of target region 110 when window 200 is positioned to include at least a portion of edge region 120U. Similarly, edge region 120U would be located opposite region of interest 110 when window 200 is positioned to include at least a portion of edge region 120D.

次いで、図7Bに示すように、ウィンドウ画像生成部35は、物質画像100の左辺100Lと接する矩形の非画像領域300Lに、物質画像100のうちの、物質画像100の右辺100Rと接する矩形の縁部領域120Rの画像を配置する。また、ウィンドウ画像生成部35は、物質画像100の右辺100Rと接する矩形の非画像領域300Rに、物質画像100のうちの、物質画像100の左辺100Lと接する矩形の縁部領域120Lの画像を配置する。 Next, as shown in FIG. 7B, the window image generator 35 creates a rectangular non-image region 300L in contact with the left side 100L of the material image 100 with a rectangular edge in contact with the right side 100R of the material image 100. An image of the partial area 120R is arranged. In addition, the window image generation unit 35 arranges the image of the rectangular edge region 120L of the material image 100, which is in contact with the left side 100L of the material image 100, in the rectangular non-image area 300R, which is in contact with the right side 100R of the material image 100. do.

なお、非画像領域300Lと縁部領域120Rとの形状及びサイズは一致していることが好ましく、非画像領域300Rと縁部領域120Lとの形状及びサイズも一致していることが好ましい。本実施形態では、非画像領域300L,300R、及び縁部領域120L,120Rの形状及びサイズはすべて一致している。また、本実施形態では、非画像領域300L,300R、及び縁部領域120L,120Rの左右方向の幅は、ウィンドウ200の左右方向の幅の半分に設定されている。 The non-image area 300L and the edge area 120R preferably have the same shape and size, and the non-image area 300R and the edge area 120L preferably have the same shape and size. In this embodiment, the non-image areas 300L, 300R and the edge areas 120L, 120R all have the same shape and size. Further, in this embodiment, the widths of the non-image areas 300L and 300R and the edge areas 120L and 120R in the horizontal direction are set to half the width of the window 200 in the horizontal direction.

物質画像100において、右端の縁部領域120Rは、左端の縁部領域120Lの反対側(物質画像100の中心を通り、左辺100L及び右辺100Rと並行な直線に対して反対側)に位置している。すなわち、縁部領域120Rは、ウィンドウ200が縁部領域120Lの少なくとも1部分を含む位置に配置される場合の対象領域110の反対側に位置することになる。これと同様に、縁部領域120Lは、ウィンドウ200が縁部領域120Rの少なくとも1部分を含む位置に配置される場合の対象領域110の反対側に位置することになる。 In the material image 100, the right edge region 120R is located on the opposite side of the left edge region 120L (opposite to the straight line passing through the center of the material image 100 and parallel to the left side 100L and the right side 100R). there is That is, edge region 120R would be located on the opposite side of target region 110 when window 200 is positioned to include at least a portion of edge region 120L. Similarly, edge region 120L would be located opposite region of interest 110 when window 200 is positioned to include at least a portion of edge region 120R.

次いで、図7Cに示すように、ウィンドウ画像生成部35は、物質画像100の左上の頂点と接する矩形の非画像領域300Nに、物質画像100の右下の角を含む矩形の縁部領域120Sの画像を配置する。また、ウィンドウ画像生成部35は、物質画像100の右上の頂点と接する矩形の非画像領域300Eに、物質画像100の左下の角を含む矩形の縁部領域120Wの画像を配置し、物質画像100の左下の頂点と接する矩形の非画像領域300Wに、物質画像100の右上の角を含む矩形の縁部領域120Eの画像を配置し、物質画像100の右下の頂点と接する矩形の非画像領域300Nに、物質画像100の左上の角を含む矩形の縁部領域120Sの画像を配置する。このように、非画像領域300U,300D,300L,300R,300N,300S,300E,300Wに、縁部領域120U,120D,120L,120R,120N,120S,120E,120Wの画像をそれぞれ配置した画像が、ウィンドウ画像400になる。 Next, as shown in FIG. 7C, the window image generation unit 35 creates a rectangular edge region 120S including the lower right corner of the material image 100 in a rectangular non-image region 300N contacting the upper left vertex of the material image 100. Place the image. In addition, the window image generating unit 35 arranges the image of the rectangular edge region 120W including the lower left corner of the material image 100 in the rectangular non-image region 300E contacting the upper right vertex of the material image 100. The image of the rectangular edge region 120E including the upper right corner of the material image 100 is arranged in the rectangular non-image region 300W that contacts the lower left vertex of the material image 100, and the rectangular non-image region 300W that contacts the lower right vertex of the At 300N, place the image of the rectangular edge region 120S containing the upper left corner of the material image 100; Thus, an image in which the images of the edge regions 120U, 120D, 120L, 120R, 120N, 120S, 120E, and 120W are arranged in the non-image regions 300U, 300D, 300L, 300R, 300N, 300S, 300E, and 300W, respectively. , becomes the window image 400 .

先述したように、本実施形態では、物質画像100の上辺100Uと下辺100D、及び左辺100Lと右辺100Rには、それぞれ周期境界が設定される。このため、ウィンドウ画像生成部35は、周期境界が設定された2つの辺(2つの端部)のうちの一方に接する縁部領域120の画像を、当該2つの辺のうちの他方に接する非画像領域130に配置することにより、ウィンドウ画像400を生成する。すなわち、ウィンドウ画像生成部35は、物質画像100の各辺に設定された周期境界でウィンドウ画像400を生成する。 As described above, in this embodiment, the upper side 100U and the lower side 100D, and the left side 100L and the right side 100R of the material image 100 are each set with periodic boundaries. For this reason, the window image generation unit 35 converts the image of the edge region 120 contacting one of the two sides (two ends) to which the periodic boundary is set to the non-contact area contacting the other of the two sides. A window image 400 is generated by placing it in the image area 130 . That is, the window image generator 35 generates the window image 400 at periodic boundaries set on each side of the material image 100 .

なお、非画像領域300Sと縁部領域120Nとの形状及びサイズは一致していることが好ましく、非画像領域300Nと縁部領域120Sとの形状及びサイズも一致していることが好ましい。同様に、非画像領域300Eと縁部領域120Wとの形状及びサイズも一致していることが好ましく、非画像領域300Wと縁部領域120Eとの形状及びサイズも一致していることが好ましい。本実施形態では、非画像領域300S,300N,300E,300W、及び縁部領域120S,120N,120E,120Wの形状及びサイズはすべて一致している。また、本実施形態では、非画像領域300S,300N,300E,300W、及び縁部領域120S,120N,120E,120Wの上下方向の幅は、ウィンドウ200の上下方向の幅の半分に設定され、非画像領域300S,300N,300E,300W、及び縁部領域120S,120N,120E,120Wの左右方向の幅は、ウィンドウ200の左右方向の幅の半分に設定される。 The shape and size of the non-image region 300S and the edge region 120N preferably match, and the shape and size of the non-image region 300N and the edge region 120S also preferably match. Similarly, the non-image area 300E and edge area 120W preferably have the same shape and size, and the non-image area 300W and edge area 120E preferably have the same shape and size. In this embodiment, the non-image areas 300S, 300N, 300E, 300W and the edge areas 120S, 120N, 120E, 120W all have the same shape and size. Further, in the present embodiment, the vertical widths of the non-image areas 300S, 300N, 300E, 300W and the edge areas 120S, 120N, 120E, 120W are set to half the vertical width of the window 200. The horizontal widths of the image areas 300S, 300N, 300E and 300W and the edge areas 120S, 120N, 120E and 120W are set to half the width of the window 200 in the horizontal direction.

物質画像100において、右下の縁部領域120Sは、左上の縁部領域120Nの対角(別の言い方をすると、物質画像100の中心点に対して反対側)に位置し、左下の縁部領域120Wは、右上の縁部領域120Eの対角に位置している。すなわち、縁部領域120Sは、ウィンドウ200が縁部領域120Nの少なくとも1部分を含む位置に配置される場合の対象領域110の対角に位置することになる。これと同様に、縁部領域120Nは、ウィンドウ200が縁部領域120Sの少なくとも1部分を含む位置に配置される場合の対象領域110の対角に位置することなる。また、縁部領域120Wは、ウィンドウ200が縁部領域120Eの少なくとも1部分を含む位置に配置される場合の対象領域110の対角に位置することになり、縁部領域120Eは、ウィンドウ200が縁部領域120Wの少なくとも1部分を含む位置に配置される場合の対象領域110の対角に位置することになる。 In material image 100, lower right edge region 120S is located diagonally (in other words, opposite to the center point of material image 100) of upper left edge region 120N, and the lower left edge Region 120W is located diagonally from upper right edge region 120E. That is, edge region 120S is positioned diagonally to target region 110 when window 200 is positioned to include at least a portion of edge region 120N. Similarly, edge region 120N would be located diagonally of target region 110 when window 200 is positioned to include at least a portion of edge region 120S. In addition, the edge region 120W is positioned diagonally from the target region 110 when the window 200 is positioned to include at least a portion of the edge region 120E. It will be located diagonally to the region of interest 110 when placed in a position that includes at least a portion of the edge region 120W.

図8は、本開示で提案する畳み込み処理の一例を示す図である。図8に示すように、演算部36は、ウィンドウ画像生成部35により生成されたウィンドウ画像400に対して畳み込み演算を実行する。物質画像100の非画像領域300に配置(コピー)される物質画像100の縁部領域は、物質画像100の隅に設定される対象領域110の反対側に位置するため、演算部36は、畳み込み処理において、物質画像100の隅(辺や角)に近い画素の情報も適切に演算することができるようになる。 FIG. 8 is a diagram illustrating an example of convolution processing proposed in the present disclosure. As shown in FIG. 8, the calculation unit 36 performs a convolution calculation on the window image 400 generated by the window image generation unit 35. FIG. Since the edge region of the material image 100 placed (copied) in the non-image region 300 of the material image 100 is located on the opposite side of the target region 110 set at the corner of the material image 100, the computing unit 36 performs the convolution In the processing, it becomes possible to appropriately calculate the information of the pixels near the corners (sides and corners) of the material image 100 as well.

また、図5に示した畳み込み層C1~C3で、演算部36が畳み込み演算の結果として画像を生成し、この画像を物質画像取得部33が物質画像100として取得する場合、ウィンドウ画像生成部35は、当該畳み込み演算結果を示す物質画像100に基づいて、ウィンドウ画像400をしてもよい。このようにすることで、第1層目の畳み込み層C1のみならず、第2層目以降の畳み込み層C2,C3における畳み込み演算でも、物質画像100の隅に近い画素の情報を適切に演算することができるようになる。 Further, in the convolution layers C1 to C3 shown in FIG. may generate a window image 400 based on the material image 100 showing the result of the convolution operation. By doing so, the information of the pixels near the corners of the material image 100 can be appropriately calculated not only in the first convolution layer C1 but also in the convolution calculations in the second and subsequent convolution layers C2 and C3. be able to

[2-2-6.予測部]
予測部37は、演算部36による畳み込み演算の演算結果に基づいて、物質画像100が示す物質の物性値を算出(予測)する。予測部37は、例えば図5に示した全結合層Fでの演算結果に基づいて、物質の物性値を出力する。
[2-2-6. Predictor]
The prediction unit 37 calculates (predicts) physical property values of the substance indicated by the substance image 100 based on the calculation result of the convolution calculation by the calculation unit 36 . The prediction unit 37 outputs the physical property value of the substance based on the calculation result in the fully connected layer F shown in FIG. 5, for example.

なお、畳み込み機械学習モデル30に物質画像100と物性値を含む学習用データが入力された場合、学習部32は、予測部37が算出した物性値と、入力された学習用データの物性値とを比較する。予測部37が算出した物性値が学習用データの物性値と異なる場合、学習部32は、パラメータ記憶部31に記憶されている畳み込み機械学習モデル30のパラメータを更新し、演算部36及び予測部37は、更新されたパラメータに基づいて、再度畳み込み演算を行うことで、物性値を算出する。すなわち、学習部32は、予測部37が算出する物性値が学習用データの物性値と一致、又は近似するまで、畳み込み機械学習モデル30のパラメータの更新(学習)を繰り返すものになる。 Note that when learning data including the material image 100 and physical property values are input to the convolutional machine learning model 30, the learning unit 32 combines the physical property values calculated by the prediction unit 37 with the physical property values of the input learning data. compare. When the physical property value calculated by the prediction unit 37 is different from the physical property value of the learning data, the learning unit 32 updates the parameters of the convolutional machine learning model 30 stored in the parameter storage unit 31, and the calculation unit 36 and the prediction unit 37 calculates the physical property value by performing the convolution operation again based on the updated parameters. That is, the learning unit 32 repeats updating (learning) of the parameters of the convolutional machine learning model 30 until the physical property value calculated by the prediction unit 37 matches or approximates the physical property value of the learning data.

[2-3.結果出力部]
結果出力部40は、畳み込み機械学習モデル30の予測部37が算出した物質の物性値を予測結果として出力する。他にも例えば、畳み込み機械学習モデル30に学習用データが入力され、畳み込み機械学習モデル30のパラメータの更新(学習)が行われた場合、結果出力部40は、学習が完了したことを示す情報や、更新されたパラメータを示す情報などを出力してもよい。
[2-3. Result output unit]
The result output unit 40 outputs the physical property value of the substance calculated by the prediction unit 37 of the convolutional machine learning model 30 as a prediction result. In addition, for example, when learning data is input to the convolutional machine learning model 30 and parameters of the convolutional machine learning model 30 are updated (learning), the result output unit 40 outputs information indicating that learning has been completed. Alternatively, information indicating updated parameters may be output.

[3.フローチャート]
図9は、畳み込み機械学習モデル30で行われる畳み込み処理の流れの一例を示す図である。まず、物質画像取得部33が、対象物質を示す物質画像100を取得する(ステップS110)。畳み込み処理が第1層目の畳み込み層C1で行われる場合、ステップS110において、物質画像取得部33は、畳み込み機械学習モデル30に入力された物質画像100を取得する。また、畳み込み処理が第2層目以降の畳み込み層C2,C3で行われる場合、ステップS110において、物質画像取得部33は、その1つ前の層の畳み込み処理により生成された画像を対象画像100として取得する。
[3. flowchart]
FIG. 9 is a diagram showing an example of the flow of convolution processing performed by the convolution machine learning model 30. As shown in FIG. First, the substance image acquiring unit 33 acquires the substance image 100 representing the target substance (step S110). When the convolution process is performed in the first convolution layer C1, the substance image acquisition unit 33 acquires the substance image 100 input to the convolution machine learning model 30 in step S110. Further, when the convolution processing is performed in the second and subsequent convolution layers C2 and C3, in step S110, the substance image acquiring unit 33 converts the image generated by the convolution processing of the immediately preceding layer to the target image 100. to get as

次いで、ウィンドウ設定部34は、畳み込み層で設定するウィンドウ200が、物質画像100の外の非画像領域300を含むか否かを判定する(ステップS120)。ウィンドウ200が非画像領域300を含まない場合(ステップS120のNo)、演算部36は、ステップS110で取得した物質画像100に対して畳み込み処理を実行し(ステップS130)、処理を終了する。 Next, the window setting unit 34 determines whether or not the window 200 set in the convolution layer includes the non-image area 300 outside the material image 100 (step S120). If the window 200 does not include the non-image area 300 (No in step S120), the calculation unit 36 performs convolution processing on the material image 100 acquired in step S110 (step S130), and ends the processing.

ウィンドウ200が非画像領域300を含む場合(ステップS120のYes)、ウィンドウ画像生成部35は、例えば図7A~図7Cに示したように、物質画像100の非画像領域300に、縁部領域120の画像を配置(コピー)することにより、ウィンドウ画像400を生成する(ステップS140)。そして、演算部36は、ステップS140で生成したウィンドウ画像400に対して畳み込み処理を実行し(ステップS150)、処理を終了する。 If the window 200 includes the non-image area 300 (Yes in step S120), the window image generator 35 creates the edge area 120 in the non-image area 300 of the material image 100 as shown in FIGS. 7A to 7C, for example. By arranging (copying) the image of , the window image 400 is generated (step S140). Then, the calculation unit 36 performs convolution processing on the window image 400 generated in step S140 (step S150), and ends the processing.

[4.まとめ]
以上のように、本実施形態では、ウィンドウ画像生成部35は、ウィンドウ200が物質画像100の外に位置する非画像領域300を含む場合、当該非画像領域300に、ウィンドウ200が設定される対象領域110とは異なる、物質画像100のうちの所定の縁部領域120の画像を配置することにより、ウィンドウ画像400を生成する。このように、ウィンドウ画像400の隅に配置される物質画像100の縁部領域120は、物質画像100における対象領域110の反対側に位置するため、演算部36は、畳み込み処理において、物質画像100の隅に近い画素の情報も適切に演算することができるようになる。
[4. summary]
As described above, in the present embodiment, when the window 200 includes the non-image area 300 located outside the material image 100, the window image generation unit 35 sets the window 200 to the non-image area 300. A window image 400 is generated by placing an image of a given edge region 120 of the material image 100 that is different from the region 110 . In this way, the edge region 120 of the material image 100 arranged at the corner of the window image 400 is located on the opposite side of the target region 110 in the material image 100. Information on pixels near the corners of the square can also be calculated appropriately.

また、本実施形態では、物質画像100は、互いに対向する2つの端面で周期境界が設定された3次元モデル90から切り出した画像であるため、物質画像100の各辺にも周期境界が設定される。物質画像100の各辺に設定された周期境界で生成されるウィンドウ画像400は、対象物質における連続的な領域内を示すものになる。このように生成したウィンドウ画像400を畳み込み演算の入力画像として用いることにより、その後算出(予測)される物性値の確度を担保することができる。すなわち、シミュレーションにより周期境界条件が設定された3次元モデル90を生成し、当該3次元モデル90から切り出した物質画像100を本開示で提案する畳み込み機械学習モデル30に入力することにより、シミュレーションなどに比べて短い時間で物性値を算出することができ、かつ、畳み込み演算において物質画像100の隅に近い画素の情報も適切に演算されるため、従来の畳み込み機械学習モデルよりも確度が高い物性値を算出できるようになる。 In addition, in the present embodiment, the material image 100 is an image cut out from the three-dimensional model 90 in which periodic boundaries are set at two end faces facing each other, so that each side of the material image 100 is also set with periodic boundaries. be. The window image 400 generated by the periodic boundaries set on each side of the material image 100 shows the continuous area in the target material. By using the window image 400 generated in this way as an input image for the convolution operation, the accuracy of the physical property values calculated (predicted) thereafter can be ensured. That is, by generating a three-dimensional model 90 in which periodic boundary conditions are set by simulation, and inputting the material image 100 extracted from the three-dimensional model 90 to the convolutional machine learning model 30 proposed in the present disclosure, simulation etc. The physical property value can be calculated in a shorter time than the conventional convolutional machine learning model, and the information of the pixels near the corner of the material image 100 is also appropriately calculated in the convolution operation. can be calculated.

[5.変形例]
本発明は、以上の実施形態に限定されるものではない。
[5. Modification]
The present invention is not limited to the above embodiments.

(1)実施形態では、3次元モデル90から切り出した2次元画像を物質画像100とする例について説明したが、物質画像100は、3次元モデル90を示す3次元画像であってもよい。物質画像100は、3次元モデル90に基づいて生成した3次元画像(例えば、3次元モデル90をボリュームレンダリングした画像)であってもよいし、3次元モデル90そのものであってもよい。この場合、物質画像100は直方体の画像であり、物質画像100の互いに対向する2つの面に周期境界が設定される。 (1) In the embodiment, a two-dimensional image cut out from the three-dimensional model 90 is used as the material image 100 , but the material image 100 may be a three-dimensional image representing the three-dimensional model 90 . The material image 100 may be a three-dimensional image generated based on the three-dimensional model 90 (for example, an image obtained by volume rendering the three-dimensional model 90), or may be the three-dimensional model 90 itself. In this case, the material image 100 is a rectangular parallelepiped image, and periodic boundaries are set on two opposing surfaces of the material image 100 .

この場合、ウィンドウ設定部34は、物質画像100の部分的な空間領域である対象領域にフィルタとなるウィンドウ200を設定し、演算部36は、このウィンドウ200を用いて物質画像100の対象領域110における画素の特徴を抽出する。ここで、ウィンドウ画像生成部35は、周期境界が設定された2つの面(端部)のうちの一方の面に接する物質画像100の一部分の空間領域を縁部領域120とし、これを当該2つの面のうちの他方の面に接する非画像領域130に配置することにより、ウィンドウ画像400を生成する。 In this case, the window setting unit 34 sets a window 200 serving as a filter in the target region, which is a partial spatial region of the material image 100, and the calculation unit 36 uses this window 200 to determine the target region 110 of the material image 100. Extract features of pixels in . Here, the window image generation unit 35 defines a spatial region of a part of the material image 100 that is in contact with one of the two surfaces (ends) on which the periodic boundary is set as the edge region 120, and defines this as the edge region 120. A window image 400 is generated by placing it in a non-image area 130 in contact with the other of the two surfaces.

ウィンドウ画像生成部35は、例えば、周期境界が設定された2つの面のうちの一方の面の全域を含む物質画像100の空間領域を縁部領域120とし、これを当該2つの面のうちの他方の面に接する非画像領域130に配置することにより、ウィンドウ画像400を生成してよい。また、ウィンドウ画像生成部35は、直方体形状の物質画像100における平行な4つの辺のうち、互いの距離が最も長い2つの辺のうちの一方の辺に接する物質画像100の空間領域を縁部領域120とし、これを他方の辺に接する非画像領域130に配置することにより、ウィンドウ画像400を生成してもよい。また、ウィンドウ画像生成部35は、物質画像100において対角に位置する2つの角のうち、一方の角に接する物質画像100の空間領域を縁部領域120とし、これを他方の角に接する非画像領域130に配置することにより、ウィンドウ画像400を生成してもよい。 The window image generation unit 35, for example, sets the spatial region of the material image 100 including the entire area of one of the two surfaces on which the periodic boundary is set as the edge region 120, and defines it as the edge region 120 of the two surfaces. A window image 400 may be generated by arranging it in the non-image area 130 in contact with the other surface. In addition, the window image generation unit 35 selects the spatial region of the material image 100 that is in contact with one of the two sides with the longest distance among the four parallel sides of the rectangular parallelepiped material image 100 as an edge. The window image 400 may be generated by setting the area 120 and arranging it in the non-image area 130 that is in contact with the other side. In addition, the window image generation unit 35 defines the spatial region of the material image 100 that is in contact with one of the two diagonally positioned corners of the material image 100 as the edge area 120, and defines the edge area 120 as the non-spatial area that is in contact with the other corner. A window image 400 may be generated by placing it in the image area 130 .

演算部36は、このように生成したウィンドウ画像400に対して畳み込み演算を実行する。このようにすることでも、畳み込み演算において、物質画像100の隅に近い画素の情報も適切に演算することができるようになる。 The calculation unit 36 performs a convolution calculation on the window image 400 generated in this way. In this manner, information on pixels near the corners of the material image 100 can also be appropriately calculated in the convolution calculation.

(2)また、物性値予測装置10は、学習済みの畳み込み機械学習モデル30を用いて、算出される物性値に寄与する物質画像100の領域を特定する領域特定部の機能を有してもよい。領域特定部は、物質画像100の縁部領域120に含まれる領域を特定してよく、物質画像100において反対側に位置する2つの縁部領域120(例えば、左端の縁部領域120Lと右端の縁部領域120R)にそれぞれ含まれる領域を特定してもよい。このようにすることで、材料のモルフォロジーや相分離構造と、当該材料の物性値との関係を理解することができる。 (2) In addition, the physical property value prediction device 10 may have the function of an area identification unit that identifies the area of the material image 100 that contributes to the calculated physical property value using the learned convolutional machine learning model 30. good. The region identifying unit may identify a region included in the edge region 120 of the material image 100, and two edge regions 120 located on opposite sides of the material image 100 (for example, the leftmost edge region 120L and the rightmost edge region 120L). The regions included in each edge region 120R) may be identified. By doing so, it is possible to understand the relationship between the morphology and phase separation structure of the material and the physical property values of the material.

(3)また、物性値予測装置10は、複数の物質画像100(例えば、物質画像生成部20が生成する、図4に示した複数の物質画像100)のうちから、所望の物性値を算出する物質画像100を探索する画像探索部の機能を有してもよい。このようにすることで、所望の物理特性を実現する材料の不均質構造を探索することが可能になる。 (3) Further, the physical property value prediction device 10 calculates a desired physical property value from among the plurality of material images 100 (for example, the plurality of material images 100 shown in FIG. 4 generated by the material image generation unit 20). It may also have a function of an image searching unit that searches for the material image 100 to be used. In this way, it becomes possible to search for heterogeneous structures of materials that achieve desired physical properties.

(4)また、畳み込み機械学習モデル30に物質画像100と物性値を含む学習用データが入力された場合、学習部32は、物質画像100から生成されたウィンドウ画像400に畳み込み処理を行うことで演算(予測)された物性値と、入力された学習用データの物性値とを比較し、その比較結果に基づいて畳み込み機械学習モデル30のパラメータを更新する。すなわち、物性値予測装置10は、学習装置として寄与するものにもなる。また、ウィンドウ画像400を用いることにより、学習部32は物質画像100の隅に近い画素の情報を考慮して、畳み込み機械学習モデル30の学習を行うことが可能になる。 (4) In addition, when learning data including the material image 100 and physical property values are input to the convolutional machine learning model 30, the learning unit 32 performs convolution processing on the window image 400 generated from the material image 100. The calculated (predicted) physical property value and the physical property value of the input learning data are compared, and the parameters of the convolutional machine learning model 30 are updated based on the comparison result. That is, the physical property value prediction device 10 also contributes as a learning device. Further, by using the window image 400, the learning unit 32 can learn the convolutional machine learning model 30 in consideration of the information of the pixels near the corners of the material image 100. FIG.

10 物性値予測装置、11 プロセッサ、12 記憶部、13 通信部、14 表示部、15 操作部、20 物質画像生成部、30 畳み込み機械学習モデル、31 パラメータ記憶部、32 学習部、33 物質画像取得部、34 ウィンドウ設定部、35 ウィンドウ画像生成部、36 演算部、37 予測部、40 結果出力部、90 3次元モデル、100 物質画像、110 対象領域、120,120U,120D,120L,120R,120N,120S,120E,120W 縁部領域、200 ウィンドウ、300,300U,300D,300L,300R,300N,300S,300E,300W 非画像領域、400 ウィンドウ画像、C1,C2,C3 畳み込み層、F 全結合層。

10 physical property value prediction device, 11 processor, 12 storage unit, 13 communication unit, 14 display unit, 15 operation unit, 20 material image generation unit, 30 convolution machine learning model, 31 parameter storage unit, 32 learning unit, 33 material image acquisition 34 window setting unit 35 window image generation unit 36 calculation unit 37 prediction unit 40 result output unit 90 three-dimensional model 100 substance image 110 target region 120, 120U, 120D, 120L, 120R, 120N , 120S, 120E, 120W edge regions, 200 windows, 300, 300U, 300D, 300L, 300R, 300N, 300S, 300E, 300W non-image regions, 400 window images, C1, C2, C3 convolution layers, F fully connected layers .

Claims (7)

対象物質を示す物質画像を取得する物質画像取得手段と、
前記物質画像の部分的な対象領域にウィンドウを設定するウィンドウ設定手段と、
前記ウィンドウが前記物質画像の外に位置する非画像領域を含む場合には、当該非画像領域に、前記対象領域とは異なる、前記物質画像のうち所定の縁部領域の画像を配置することにより、ウィンドウ画像を生成するウィンドウ画像生成手段と、
前記ウィンドウ画像に対して畳み込み演算を実行する手段と、
を含む畳み込み機械学習モデルを含み、前記対象物質の物性値を予測する
物性値予測装置。
a substance image acquiring means for acquiring a substance image showing the target substance;
window setting means for setting a window on a partial target area of the material image;
if the window includes a non-image area located outside the material image, placing an image of a predetermined edge area of the material image that is different from the target area in the non-image area; , window image generating means for generating a window image;
means for performing a convolution operation on the window image;
and predicting the physical property value of the target substance.
請求項1に記載の物性値予測装置において、
前記所定の縁部領域は、前記物質画像における前記対象領域の反対側に位置する
物性値予測装置。
In the physical property value prediction device according to claim 1,
The physical property value prediction device, wherein the predetermined edge area is located on the opposite side of the target area in the material image.
請求項1又は2に記載の物性値予測装置において、
前記物質画像は矩形又は直方体の画像であり、
前記所定の縁部領域は、前記物質画像における前記対象領域の対角に位置する
物性値予測装置。
In the physical property value prediction device according to claim 1 or 2,
the material image is a rectangular or cuboid image;
The physical property value prediction device, wherein the predetermined edge area is positioned at a diagonal of the target area in the material image.
請求項2又は3に記載の物性値予測装置において、
前記物質画像は、互いに対向する2つの辺又は面である2つの端部に周期境界が設定された画像であり、
前記ウィンドウ画像生成手段は、前記周期境界が設定された前記2つの端部のうちの一方に接する縁部領域の画像を、当該2つの端部のうちの他方に接する前記非画像領域に配置することにより、前記ウィンドウ画像を生成する
物性値予測装置。
In the physical property value prediction device according to claim 2 or 3,
The material image is an image in which periodic boundaries are set at two ends, which are two sides or surfaces facing each other,
The window image generating means arranges an image of an edge region contacting one of the two ends where the periodic boundary is set, in the non-image region contacting the other of the two ends. a physical property value prediction device that generates the window image by
請求項1乃至4のいずれか1項に記載の物性値予測装置において、
前記物質画像取得手段は、前記対象物質を示す画像に対する畳み込み演算の結果を示す画像を前記物質画像として取得し、
前記ウィンドウ画像生成手段は、前記畳み込み演算結果の少なくとも一部分を示す前記物質画像に基づいて、前記ウィンドウ画像を生成する
物性値予測装置。
In the physical property value prediction device according to any one of claims 1 to 4,
The substance image acquiring means acquires, as the substance image, an image representing a result of a convolution operation with respect to the image representing the target substance,
The window image generating means generates the window image based on the material image representing at least part of the result of the convolution operation. A physical property value prediction device.
対象物質の物性値を予測する物性値予測方法であって、
畳み込み機械学習モデルの物質画像取得手段が、前記対象物質を示す物質画像を取得し、
前記畳み込み機械学習モデルのウィンドウ設定手段が、前記物質画像の部分的な対象領域にウィンドウを設定し、
前記ウィンドウが前記物質画像の外に位置する非画像領域を含む場合、前記畳み込み機械学習モデルのウィンドウ画像生成手段が、当該非画像領域に、前記対象領域とは異なる、前記物質画像のうち所定の縁部領域の画像を配置することにより、ウィンドウ画像を生成し、
前記畳み込み機械学習モデルの演算手段が、前記ウィンドウ画像に対して畳み込み演算を実行する
物性値予測方法。
A physical property value prediction method for predicting the physical property value of a target substance,
A substance image acquisition means of the convolutional machine learning model acquires a substance image showing the target substance,
window setting means of the convolutional machine learning model setting a window on a partial region of interest of the material image;
When the window includes a non-image area located outside the material image, the window image generating means of the convolutional machine learning model may include a predetermined area of the material image, different from the target area, in the non-image area. generating a window image by arranging the image of the edge region,
The physical property value prediction method, wherein the calculation means of the convolutional machine learning model performs a convolution calculation on the window image.
対象物質の物性値を予測するコンピュータに、
前記対象物質を示す物質画像を取得する手順、
前記物質画像の部分的な対象領域にウィンドウを設定する手順、
前記ウィンドウが前記物質画像の外に位置する非画像領域を含む場合には、当該非画像領域に、前記対象領域とは異なる、前記物質画像のうち所定の縁部領域の画像を配置することにより、ウィンドウ画像を生成する手順、及び、
前記ウィンドウ画像に対して畳み込み演算を実行する手順、
を実行させるプログラム。

A computer that predicts the physical property values of target substances
a procedure for acquiring a substance image showing the target substance;
setting a window over a partial region of interest of said material image;
if the window includes a non-image area located outside the material image, placing an image of a predetermined edge area of the material image that is different from the target area in the non-image area; , a procedure for generating a window image, and
performing a convolution operation on the window image;
program to run.

JP2021143249A 2021-09-02 2021-09-02 Physical property value prediction apparatus, physical property value prediction method, and program Pending JP2023036279A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021143249A JP2023036279A (en) 2021-09-02 2021-09-02 Physical property value prediction apparatus, physical property value prediction method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021143249A JP2023036279A (en) 2021-09-02 2021-09-02 Physical property value prediction apparatus, physical property value prediction method, and program

Publications (1)

Publication Number Publication Date
JP2023036279A true JP2023036279A (en) 2023-03-14

Family

ID=85508864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021143249A Pending JP2023036279A (en) 2021-09-02 2021-09-02 Physical property value prediction apparatus, physical property value prediction method, and program

Country Status (1)

Country Link
JP (1) JP2023036279A (en)

Similar Documents

Publication Publication Date Title
CN112052787B (en) Target detection method and device based on artificial intelligence and electronic equipment
CN111428586B (en) Three-dimensional human body posture estimation method based on feature fusion and sample enhancement
CN107507126B (en) Method for restoring 3D scene by using RGB image
EP3905194A1 (en) Pose estimation method and apparatus
US10977549B2 (en) Object animation using generative neural networks
US20220277514A1 (en) Reconstructing three-dimensional scenes portrayed in digital images utilizing point cloud machine-learning models
WO2021144943A1 (en) Control method, information processing device, and control program
US20200334862A1 (en) Moving image generation apparatus, moving image generation method, and non-transitory recording medium
JP2021174556A (en) Semantic hostile generation based on function test method in automatic driving
CN109165654B (en) Training method of target positioning model and target positioning method and device
JP2019091436A (en) Classification of 2d image according to type of 3d arrangement
Goldenstein et al. Statistical cue integration in dag deformable models
CN114925748A (en) Model training and modal information prediction method, related device, equipment and medium
CN113963190A (en) System and method for changing image
Huang et al. Network algorithm real-time depth image 3D human recognition for augmented reality
Huang et al. A bayesian approach to multi-view 4d modeling
JP2023036279A (en) Physical property value prediction apparatus, physical property value prediction method, and program
CN116258877A (en) Land utilization scene similarity change detection method, device, medium and equipment
CN111368120B (en) Target fingerprint database construction method and device, electronic equipment and storage medium
CN115346125A (en) Target detection method based on deep learning
CN110490235B (en) Vehicle object viewpoint prediction and three-dimensional model recovery method and device facing 2D image
CN116228850A (en) Object posture estimation method, device, electronic equipment and readable storage medium
Jiang et al. Probabilistic Triangulation for Uncalibrated Multi-View 3D Human Pose Estimation
CN115362478A (en) Reinforcement learning model for spatial relationships between labeled images
US10650581B1 (en) Sketch-based 3D fluid volume generation using a machine learning system