JP2022035432A - Information processing program, information processing method and information processing device - Google Patents

Information processing program, information processing method and information processing device Download PDF

Info

Publication number
JP2022035432A
JP2022035432A JP2020139764A JP2020139764A JP2022035432A JP 2022035432 A JP2022035432 A JP 2022035432A JP 2020139764 A JP2020139764 A JP 2020139764A JP 2020139764 A JP2020139764 A JP 2020139764A JP 2022035432 A JP2022035432 A JP 2022035432A
Authority
JP
Japan
Prior art keywords
image
input value
generated
information processing
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020139764A
Other languages
Japanese (ja)
Inventor
祐輔 猿倉
Yusuke Sarukura
哲晃 高
Tetsuaki Kou
朱夏 桐谷
Shuka Kiritani
八重子 山下
Yaeko Yamashita
美里 菱
Misato Hishi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2020139764A priority Critical patent/JP2022035432A/en
Publication of JP2022035432A publication Critical patent/JP2022035432A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

To provide an information processing program, an information processing method and an information processing device for generating data suitable for learning medical images.SOLUTION: An image generation system includes steps of: repeatedly inputting a first input value to a generated model learned from a medical image to generate a first image while changing the first input value; repeating the process until a distance between the generated first image and an existing medical image is equal to or less than a threshold value, so as to search the first input value that generates a first image similar to the existing medical image; and inputting a second input value to the generated model in which the searched first input value is weighted and averaged to generate the second input value, so as to generate a second image similar to a medical image.SELECTED DRAWING: Figure 4

Description

本発明は、情報処理プログラム,情報処理方法および情報処理装置に関する。 The present invention relates to an information processing program, an information processing method, and an information processing apparatus.

医療分野においては、X線画像を用いた種々の診断が行なわれている。例えば、胸部X線画像に基づき、ペースメーカー等の体内機器の存在を確認することが行なわれている。
X線画像を利用した体内機器の確認は、人がX線画像を目視して確認することで行なっている。
In the medical field, various diagnoses using X-ray images are performed. For example, the presence of an internal device such as a pacemaker is confirmed based on a chest X-ray image.
The confirmation of the internal device using the X-ray image is performed by a person visually confirming the X-ray image.

また、大量のX線画像を元に、AI(Artificial Intelligence)を利用してデータを分析し、体内機器の予測を行なうことも行なわれている。しかし、子供の胸部X線画像は大人のX線画像に比べて少なく、学習用データを十分に用意できないため、AIを利用したデータ分析が不十分となり、正確な予測ができない。 In addition, based on a large amount of X-ray images, data is analyzed using AI (Artificial Intelligence) to predict internal devices. However, the chest X-ray image of a child is smaller than that of an adult X-ray image, and sufficient learning data cannot be prepared. Therefore, data analysis using AI becomes insufficient and accurate prediction cannot be made.

そこで、少ない画像データに対して画像処理を行なうことで画像データを拡張することが行なわれている。例えば、胸部X線画像に対して、左右の反転や回転等の画像処理を施すことで新たな画像を作成したり、複数のX線画像を加重平均することで新たなX線画像を合成することが行なわれている。 Therefore, the image data is expanded by performing image processing on a small amount of image data. For example, a new image is created by performing image processing such as left-right inversion and rotation on a chest X-ray image, or a new X-ray image is synthesized by weighted averaging of a plurality of X-ray images. Is being done.

特開2000-175896号公報Japanese Unexamined Patent Publication No. 2000-175896

しかしながら、上述の如き従来の画像データの拡張手法においては、左右の反転を行なうことで内蔵の位置が左右で逆となった胸部X線画像が生成されたり、回転させることで通常では撮影されることがない角度となった胸部X線画像が生成される。また、複数の胸部X線画像を加重平均することで新しい画像を合成することによっても、胸部X線画像として不自然なデータができてしまう場合がある。
1つの側面では、本発明は、学習に適したデータを生成することを目的とする。
However, in the conventional image data expansion method as described above, a chest X-ray image in which the internal positions are reversed on the left and right is generated by inverting the left and right, or is usually taken by rotating the image. A chest x-ray image with a never-before-seen angle is generated. Further, by synthesizing a new image by weighted averaging a plurality of chest X-ray images, unnatural data may be generated as a chest X-ray image.
In one aspect, the invention aims to generate data suitable for learning.

このため、この情報処理プログラムは、既存の医療画像に類似した画像を生成して医療画像データを拡張するデータ拡張処理をコンピュータ実行させる情報処理プログラムであって、医療画像を学習した生成モデルに第1入力値を変化させながら繰り返し入力して、前記既存の医療画像に類似した画像を生成できる入力値を探索し、探索した入力値を加重平均して生成する第2入力値を前記生成モデルに入力して、前記医療画像に類似した画像を生成する処理を前記コンピュータに実行させる。 Therefore, this information processing program is an information processing program that generates an image similar to an existing medical image and executes a data expansion process for expanding the medical image data by a computer, and is a generation model in which the medical image is learned. 1 The input value is repeatedly input while changing the input value to search for an input value that can generate an image similar to the existing medical image, and the second input value generated by weighted averaging the searched input values is used as the generation model. Input to cause the computer to perform a process of generating an image similar to the medical image.

一実施形態によれば、学習に適したデータを生成することができる。 According to one embodiment, data suitable for learning can be generated.

実施形態の一例としての画像生成システムの構成を模式的に示す図である。It is a figure which shows typically the structure of the image generation system as an example of an embodiment. 実施形態の一例としての画像生成システムにおける第1画像生成部の処理を説明するための図である。It is a figure for demonstrating the processing of the 1st image generation part in the image generation system as an example of an embodiment. 実施形態の一例としての画像生成システムにおける第2入力値生成部の処理を説明するための図である。It is a figure for demonstrating the processing of the 2nd input value generation part in the image generation system as an example of embodiment. 実施形態の一例としての画像生成システムにおける処理を説明するためのフローチャートである。It is a flowchart for demonstrating the process in the image generation system as an example of an embodiment. 実施形態の一例としての画像生成システムの画像処理装置のハードウェア構成を例示する図である。It is a figure which illustrates the hardware composition of the image processing apparatus of the image generation system as an example of an embodiment.

以下、図面を参照して本情報処理プログラム,情報処理方法および情報処理装置にかかる実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。 Hereinafter, embodiments of the information processing program, information processing method, and information processing apparatus will be described with reference to the drawings. However, the embodiments shown below are merely examples, and there is no intention of excluding the application of various modifications and techniques not specified in the embodiments. That is, the present embodiment can be variously modified and implemented within a range that does not deviate from the purpose. Further, each figure does not have the purpose of having only the components shown in the figure, but may include other functions and the like.

(A)構成
図1は実施形態の一例としての画像生成システム1の構成を模式的に示す図である。
本画像生成システム1は医療画像を生成することで、医療画像データを拡張するデータ拡張処理を実現するものであり、以下に示す例においては、子供の胸部X線画像の生成を用いる例について示す。
(A) Configuration FIG. 1 is a diagram schematically showing a configuration of an image generation system 1 as an example of an embodiment.
This image generation system 1 realizes a data expansion process for expanding medical image data by generating a medical image, and in the following examples, an example using generation of a child's chest X-ray image will be shown. ..

画像生成システム1は、図1に示すように、画像処理装置10および既知画像DB201を備える。画像処理装置10は、第1入力値生成部101,第1画像生成部102,入力値修正部103,比較部104,第2入力値生成部105および第2画像生成部106を備える。画像処理装置10は既知画像DB201と通信可能に接続されている。
既知画像DB201は、例えば、既知の医用画像データベースであり、複数の子供の胸部X線画像を保存する。既知画像DB201は、本画像生成システム1からの要求に応じて、子供の胸部X線画像を出力する。以下、既知画像DB201から出力される子供の胸部X線画像を見本画像という場合がある。
As shown in FIG. 1, the image generation system 1 includes an image processing device 10 and a known image DB 201. The image processing device 10 includes a first input value generation unit 101, a first image generation unit 102, an input value correction unit 103, a comparison unit 104, a second input value generation unit 105, and a second image generation unit 106. The image processing device 10 is communicably connected to the known image DB 201.
The known image DB 201 is, for example, a known medical image database and stores chest X-ray images of a plurality of children. The known image DB 201 outputs a chest X-ray image of a child in response to a request from the image generation system 1. Hereinafter, a child's chest X-ray image output from the known image DB 201 may be referred to as a sample image.

第1画像生成部102は、画像生成モデルを用いて、入力される値(入力値,第1入力値)に応じた画像を生成する。画像生成モデルには、例えば、GAN(Generative Adversarial Networks:敵対的生成ネットワーク)を用いてもよい。
図2は実施形態の一例としての画像生成システム1における第1画像生成部102の処理を説明するための図である。
The first image generation unit 102 uses an image generation model to generate an image according to an input value (input value, first input value). For the image generation model, for example, GAN (Generative Adversarial Networks) may be used.
FIG. 2 is a diagram for explaining the processing of the first image generation unit 102 in the image generation system 1 as an example of the embodiment.

第1画像生成部102は、後述する第1入力値生成部101によって生成される、所定のフォーマットを有する第1入力値を画像生成モデルに入力することで、この第1入力値に応じた画像を出力する。以下、第1画像生成部102によって生成された画像を第1生成画像という場合がある。 The first image generation unit 102 inputs an image having a predetermined format, which is generated by the first input value generation unit 101 described later, into the image generation model, and the image corresponds to the first input value. Is output. Hereinafter, the image generated by the first image generation unit 102 may be referred to as a first generated image.

また、第1画像生成部102は、後述する入力値修正部103によって修正された第1入力値を画像生成モデルに入力することで、この修正済の第1入力値に応じた画像を出力する。 Further, the first image generation unit 102 outputs an image corresponding to the corrected first input value by inputting the first input value corrected by the input value correction unit 103 described later into the image generation model. ..

第1入力値生成部101は、第1画像生成部102に入力する第1入力値を生成する。 第1入力値は、例えば、0から1までの値をとる変数として構成された複数の要素(例えば、100次元程度)の組み合わせとして構成される。
第1入力値生成部101は、例えば、それぞれランダムに生成した複数の要素を組み合わせることで、第1入力値を生成する。
The first input value generation unit 101 generates a first input value to be input to the first image generation unit 102. The first input value is configured as, for example, a combination of a plurality of elements (for example, about 100 dimensions) configured as a variable having a value from 0 to 1.
The first input value generation unit 101 generates a first input value, for example, by combining a plurality of randomly generated elements.

比較部104は、第1画像生成部102によって生成された画像(第1生成画像)と、既知画像DB201から読み出された子供の胸部X線画像(見本画像)とを比較する。 The comparison unit 104 compares the image generated by the first image generation unit 102 (first generated image) with the chest X-ray image (sample image) of the child read from the known image DB 201.

比較部104は、第1生成画像と見本画像との距離を算出する。比較部104による2つの画像の距離の算出は既知の種々の手法を用いて実現することができる。例えば、比較部104は、第1生成画像および見本画像からそれぞれ特徴量ベクトルを抽出し、これらの特徴量ベクトルの距離を測定する。特徴量ベクトルの距離は既知の種々の手法を用いて算出することができ、例えば、ユークリッド距離やマンハッタン距離、マハラノビス距離等を用いてもよい。
比較部104は、第1生成画像と見本画像との類似度を算出するといってもよい。
The comparison unit 104 calculates the distance between the first generated image and the sample image. The calculation of the distance between the two images by the comparison unit 104 can be realized by using various known methods. For example, the comparison unit 104 extracts feature quantity vectors from the first generated image and the sample image, respectively, and measures the distance between these feature quantity vectors. The distance of the feature amount vector can be calculated by using various known methods, and for example, the Euclidean distance, the Manhattan distance, the Mahalanobis distance, and the like may be used.
It may be said that the comparison unit 104 calculates the degree of similarity between the first generated image and the sample image.

また、比較部104は、見本画像との距離が所定の閾値以下となる第1生成画像に対応する第1入力値を、メモリ部12や記憶装置13(図5参照)等の所定の記憶領域に記憶させる。 Further, the comparison unit 104 stores a first input value corresponding to the first generated image whose distance from the sample image is equal to or less than a predetermined threshold value in a predetermined storage area such as the memory unit 12 or the storage device 13 (see FIG. 5). To memorize.

すなわち、比較部104は、見本画像との距離が所定の閾値以下となる第1生成画像を生成するための第1入力値を探索するといえる。また、見本画像との距離が所定の閾値以下となる第1生成画像に対応する第1入力値を探索結果という場合がある。 That is, it can be said that the comparison unit 104 searches for a first input value for generating a first generated image in which the distance from the sample image is equal to or less than a predetermined threshold value. Further, the first input value corresponding to the first generated image in which the distance from the sample image is equal to or less than a predetermined threshold value may be referred to as a search result.

入力値修正部103は、比較部104によって見本画像との比較が行なわれた第1生成画像の元となった第1入力値に対して、見本画像との差(距離)が小さくなるように修正を行なう。例えば、入力値修正部103は、第1入力値を構成する各要素の値をそれぞれ適宜増減させることで第1入力値に対する修正を行なう。 The input value correction unit 103 is set so that the difference (distance) from the sample image is smaller than the first input value which is the source of the first generated image compared with the sample image by the comparison unit 104. Make corrections. For example, the input value correction unit 103 corrects the first input value by appropriately increasing or decreasing the value of each element constituting the first input value.

入力値修正部103により修正された第1入力値は、第1画像生成部102に入力され、この第1画像生成部102が、再度、画像生成モデルに入力することで、第1生成画像が生成される。 The first input value corrected by the input value correction unit 103 is input to the first image generation unit 102, and the first image generation unit 102 inputs the first input value to the image generation model again to generate the first generated image. Generated.

修正された第1入力値に基づいて生成された画像は、比較部104により、再度、見本画像との距離が算出される。この算出結果に基づき、入力値修正部103は、修正した第1入力値に基づいて生成された第1生成画像が、修正前の第1入力値に基づいて生成された第1生成画像よりも見本画像との差(距離)が小さくなったかを確認する。 The comparison unit 104 again calculates the distance from the sample image of the image generated based on the corrected first input value. Based on this calculation result, the input value correction unit 103 indicates that the first generated image generated based on the corrected first input value is larger than the first generated image generated based on the first input value before correction. Check if the difference (distance) from the sample image has become smaller.

入力値修正部103は、第1入力値の修正と、第1画像生成部102による第1生成画像の生成および比較部104による見本画像との比較を繰り返し行なうことで、見本画像との差(距離)が小さくなるように第1入力値の修正を行なう。
入力値修正部103は、例えば、修正した第1入力値をメモリ部12や記憶装置13の所定の記憶領域に記憶させることで、第1画像生成部102に受け渡す。第1画像生成部102は、このように修正された第1入力値を画像生成モデルに入力することで、この修正済の第1入力値に応じた画像を出力する。
The input value correction unit 103 repeatedly corrects the first input value, generates the first generated image by the first image generation unit 102, and compares the sample image with the comparison unit 104, thereby causing a difference (difference from the sample image). The first input value is corrected so that the distance) becomes smaller.
The input value correction unit 103 transfers the corrected first input value to the first image generation unit 102 by storing it in a predetermined storage area of the memory unit 12 or the storage device 13, for example. The first image generation unit 102 inputs the first input value corrected in this way into the image generation model, and outputs an image corresponding to the corrected first input value.

第2入力値生成部105は、比較部104による比較の結果、見本画像との距離が所定の閾値以下となった第1生成画像に対応する第1入力値(探索結果)を用いて、見本画像に類似する画像を生成するための入力値(第2入力値)を生成する。 The second input value generation unit 105 uses the first input value (search result) corresponding to the first generated image in which the distance from the sample image is equal to or less than a predetermined threshold value as a result of comparison by the comparison unit 104. An input value (second input value) for generating an image similar to the image is generated.

第2入力値生成部105は、全ての探索結果(見本画像との距離が所定の閾値以下となる第1生成画像に対応する第1入力値)の値を加重平均することで、第2入力値を生成する。
そして、第2入力値生成部105は、加重平均の重みをランダムに変えることで、複数の第2入力値を生成する。
The second input value generation unit 105 weighted averages the values of all the search results (the first input value corresponding to the first generated image whose distance to the sample image is equal to or less than a predetermined threshold value), thereby performing the second input. Generate a value.
Then, the second input value generation unit 105 randomly changes the weight of the weighted average to generate a plurality of second input values.

図3は実施形態の一例としての画像生成システム1における第2入力値生成部105の処理を説明するための図である。
この図3に示す例においては、n個(nは1以上の自然数)の探索結果1~nに基づいて、3つの第2入力値を生成する例を示す。
第2入力値生成部105は、以下の式(1)を用いて、第2入力値を生成する。
FIG. 3 is a diagram for explaining the processing of the second input value generation unit 105 in the image generation system 1 as an example of the embodiment.
In the example shown in FIG. 3, an example of generating three second input values based on n search results 1 to n (n is a natural number of 1 or more) is shown.
The second input value generation unit 105 generates the second input value by using the following equation (1).

Figure 2022035432000002
上記式(1)において、第2入力値は、i=0からi=nまでのwiriの値を足し合わせることにより求められる(nは探索結果の総数)。
なお、上記式(1)において、riは、探索結果iのベクトルを示す。また、wiは、探索結果iの重みを示し、以下の式(2)で表される。
Figure 2022035432000002
In the above equation (1), the second input value is obtained by adding the values of w i r i from i = 0 to i = n (n is the total number of search results).
In the above equation (1), r i indicates the vector of the search result i. Further, w i indicates the weight of the search result i and is expressed by the following equation (2).

Figure 2022035432000003
また、上記式(2)において、xiは0以上1以下の一様乱数である。
Figure 2022035432000003
Further, in the above equation (2), x i is a uniform random number of 0 or more and 1 or less.

ここで、以下に例示する探索結果1,2に基づき第2入力値を算出する例を示す。
探索結果1:[0.14, 0.22,…,0.42]
探索結果2:[0.20, 0.28,…,0.36]
第2入力値生成部105は、例えば、探索結果1の先頭要素「0.14」と探索結果2の先頭要素「0.20」とに対して、重みをランダムに変更させた加重平均値を算出することで、第2入力値の先頭要素「0.18」を算出する。このように、第2入力値生成部105は、探索結果1,2の各要素について、対応する要素間で重みをランダムに変更させた加重平均値を算出することで第2入力値を完成させる。
第2入力値: [0.18, 0.28,…,0.36]
第2入力値生成部105は、得られた探索結果の全てを用いて第2入力値を生成することが望ましい。ただし、これに限定されるものではなく、第2入力値生成部105は、得られた探索結果のうちの一部を用いて第2入力値を生成してもよい。これは、wi =0の場合に相当する。
Here, an example of calculating the second input value based on the search results 1 and 2 exemplified below is shown.
Search result 1: [0.14, 0.22,…, 0.42]
Search result 2: [0.20, 0.28,…, 0.36]
The second input value generation unit 105 calculates, for example, a weighted average value in which the weights of the first element "0.14" of the search result 1 and the first element "0.20" of the search result 2 are randomly changed. , The first element "0.18" of the second input value is calculated. In this way, the second input value generation unit 105 completes the second input value by calculating the weighted average value in which the weights are randomly changed between the corresponding elements for each element of the search results 1 and 2. ..
Second input value: [0.18, 0.28,…, 0.36]
It is desirable that the second input value generation unit 105 generate the second input value by using all of the obtained search results. However, the present invention is not limited to this, and the second input value generation unit 105 may generate a second input value by using a part of the obtained search results. This corresponds to the case of w i = 0.

上述した、第1画像生成部102,比較部104,入力値修正部103および第2入力値生成部105は、医療画像(子供胸部X線画像)を学習した画像生成モデルに第1入力値を変化させながら繰り返し入力して、既存の医療画像に類似した画像を生成できる入力値(探索結果)を探索する探索部として機能する。 The first image generation unit 102, the comparison unit 104, the input value correction unit 103, and the second input value generation unit 105 described above input the first input value to the image generation model trained from the medical image (child's chest X-ray image). It functions as a search unit that searches for input values (search results) that can generate images similar to existing medical images by repeatedly inputting while changing.

第2画像生成部106は、画像生成モデルを用いて、第2入力値生成部105によって生成された第2入力値に応じた画像(第2生成画像)を生成する。第2画像生成部106は、第2入力値生成部105によって生成された第2入力値を画像生成モデルに入力することで、見本画像に類似する子供の胸部X線画像を生成する。 The second image generation unit 106 uses the image generation model to generate an image (second generated image) corresponding to the second input value generated by the second input value generation unit 105. The second image generation unit 106 generates a child's chest X-ray image similar to the sample image by inputting the second input value generated by the second input value generation unit 105 into the image generation model.

第2画像生成部106は、探索した入力値を加重平均して生成する第2入力値を画像生成モデルに入力して、医療画像に類似した画像を生成する画像生成部として機能する。
なお、第2画像生成部106は、第1画像生成部102と同様の画像生成モデルを用いて画像生成を行なうものであり、その詳細な説明は省略する。
このように生成された第2生成画像は、例えば、画像診断の学習モデルの学習データとして用いられる。
The second image generation unit 106 functions as an image generation unit that generates an image similar to a medical image by inputting a second input value generated by weighted averaging the searched input values into the image generation model.
The second image generation unit 106 generates an image using the same image generation model as the first image generation unit 102, and detailed description thereof will be omitted.
The second generated image thus generated is used, for example, as training data for a learning model for diagnostic imaging.

(B)動作
上述の如く構成された実施形態の一例としての画像生成システム1における処理を、図4に示すフローチャート(ステップS1~S8)に従って説明する。
ステップS1において、第1画像生成部102がランダムに生成した複数の要素を組み合わせることで、第1入力値を生成する。
ステップS2において、第1画像生成部102が、第1入力値生成部101が生成した第1入力値を画像生成モデルに入力して第1生成画像を生成する。
ステップS3において、比較部104が、第1生成画像と既知画像DB201から読み出された子供の胸部X線画像(見本画像)との距離を算出する。
(B) Operation The processing in the image generation system 1 as an example of the embodiment configured as described above will be described with reference to the flowcharts (steps S1 to S8) shown in FIG.
In step S1, the first input value is generated by combining a plurality of elements randomly generated by the first image generation unit 102.
In step S2, the first image generation unit 102 inputs the first input value generated by the first input value generation unit 101 into the image generation model to generate the first generated image.
In step S3, the comparison unit 104 calculates the distance between the first generated image and the chest X-ray image (sample image) of the child read from the known image DB 201.

ステップS4において、比較部104は、第1生成画像と見本画像との距離が所定の閾値以下であるかを確認する。確認の結果、第1生成画像と見本画像との距離が閾値よりも大きい場合には(ステップS4のNOルート参照)、ステップS8に移行する。 In step S4, the comparison unit 104 confirms whether the distance between the first generated image and the sample image is equal to or less than a predetermined threshold value. As a result of the confirmation, if the distance between the first generated image and the sample image is larger than the threshold value (see the NO route in step S4), the process proceeds to step S8.

ステップS8において、入力値修正部103は、比較部104によって見本画像との比較が行なわれた第1生成画像の元となった第1入力値に対して、見本画像との差(距離)が小さくなるように修正を行なう。その後、処理はステップS2に戻り、第1画像生成部102が、修正後の第1入力値を画像生成モデルに入力して第1生成画像を生成する。 In step S8, the input value correction unit 103 has a difference (distance) from the sample image with respect to the first input value which is the source of the first generated image compared with the sample image by the comparison unit 104. Make corrections to make it smaller. After that, the process returns to step S2, and the first image generation unit 102 inputs the modified first input value to the image generation model to generate the first generated image.

一方、ステップS4における確認の結果、第1生成画像と見本画像との距離が閾値以下である場合には(ステップS4のYESルート参照)、ステップS5に移行する。ステップS5において、入力値生成部105は、見本画像との距離が所定の閾値以下となる第1生成画像を生成するための第1入力値を探索結果として決定する。 On the other hand, if the distance between the first generated image and the sample image is equal to or less than the threshold value as a result of the confirmation in step S4 (see the YES route in step S4), the process proceeds to step S5. In step S5, the input value generation unit 105 determines as a search result a first input value for generating a first generated image in which the distance from the sample image is equal to or less than a predetermined threshold value.

ステップS6において、第2入力値生成部105が、見本画像との距離が所定の閾値以下となった第1生成画像に対応する第1入力値(探索結果)を用いて、見本画像に類似する画像を生成するための入力値(第2入力値)を生成する。 In step S6, the second input value generation unit 105 resembles the sample image by using the first input value (search result) corresponding to the first generated image in which the distance from the sample image is equal to or less than a predetermined threshold value. Generate an input value (second input value) for generating an image.

ステップS7において、第2画像生成部106が、第2入力値生成部105によって生成された第2入力値を画像生成モデルに入力することで、見本画像に類似する子供の胸部X線画像を生成する。その後、処理を終了する。 In step S7, the second image generation unit 106 generates a child's chest X-ray image similar to the sample image by inputting the second input value generated by the second input value generation unit 105 into the image generation model. do. After that, the process ends.

(C)効果
このように、本発明の一実施形態としての画像生成システム1によれば、第1入力値生成部101がランダムに生成した第1入力値を、第1画像生成部102が画像生成モデルに入力することで第1生成画像を生成する。また、比較部104が、第1生成画像と既知画像DB201から取得した既存の子供の胸部X線画像と比較して距離を算出する。
(C) Effect As described above, according to the image generation system 1 as an embodiment of the present invention, the first image generation unit 102 produces an image of the first input value randomly generated by the first input value generation unit 101. The first generated image is generated by inputting to the generation model. Further, the comparison unit 104 calculates the distance by comparing the first generated image with the existing chest X-ray image of the child acquired from the known image DB 201.

そして、見本画像との距離が閾値以下となった第1生成画像を生成するための第1入力値(探索結果)を複数記憶し、第2入力値生成部105が、全ての探索結果(見本画像との距離が所定の閾値以下となる第1生成画像に対応する第1入力値)の値を加重平均することで、第2入力値を生成する。 Then, a plurality of first input values (search results) for generating the first generated image in which the distance from the sample image is equal to or less than the threshold value are stored, and the second input value generation unit 105 stores all the search results (sample). A second input value is generated by weighted averaging the values of the first input value) corresponding to the first generated image whose distance to the image is equal to or less than a predetermined threshold.

第2画像生成部106は、このようにして生成された第2入力値を画像生成モデルに入力することで、見本画像に類似する類似画像を生成する。これにより、子供の胸部X線画像として自然なデータ拡張ができ、子供の胸部X線画像に対して有効な分析・予測を行なうことができるようになる。 The second image generation unit 106 generates a similar image similar to the sample image by inputting the second input value thus generated into the image generation model. As a result, the data can be naturally expanded as a child's chest X-ray image, and effective analysis / prediction can be performed on the child's chest X-ray image.

第2入力値生成部105が、第2入力値を生成するに際して、加重平均の重みをランダムに変えることで、複数の第2入力値を生成する。これにより、加重平均重みを適宜変更することで、見本画像に類似する類似画像を容易に生成することができる。また、加重平均の重みを変更することで、複数の第2入力値を容易に生成することができ、これにより、見本画像に類似する第2生成画像を必要な数だけ容易に生成することができる。 When the second input value generation unit 105 generates the second input value, the weight of the weighted average is randomly changed to generate a plurality of second input values. Thereby, by appropriately changing the weighted average weight, a similar image similar to the sample image can be easily generated. Further, by changing the weight of the weighted average, a plurality of second input values can be easily generated, whereby a required number of second generated images similar to the sample image can be easily generated. can.

第2入力値の算出に用いる探索結果は、比較部104による見本画像との比較の結果、距離が閾値以下である第1生成画像を生成する第1入力値である。すなわち、見本画像に類似する第1生成画像を生成する第1入力値に対して、加重平均の重みをランダムに変えて複数の第2入力値を生成する。これにより、第2入力値に基づいて生成される第2生成画像も見本画像に類似することになる。 The search result used for calculating the second input value is the first input value for generating the first generated image whose distance is equal to or less than the threshold value as a result of comparison with the sample image by the comparison unit 104. That is, a plurality of second input values are generated by randomly changing the weight of the weighted average with respect to the first input value that generates the first generated image similar to the sample image. As a result, the second generated image generated based on the second input value also resembles the sample image.

(D)その他
図5は実施形態の一例としての画像生成システム1の画像処理装置10のハードウェア構成を例示する図である。
(D) Others FIG. 5 is a diagram illustrating a hardware configuration of an image processing device 10 of an image generation system 1 as an example of an embodiment.

画像処理装置10は、情報処理装置(コンピュータ)であって、例えば、プロセッサ11,メモリ部12,記憶装置13,グラフィック処理装置14,入力インタフェース15,光学ドライブ装置16,機器接続インタフェース17およびネットワークインタフェース18を構成要素として有する。これらの構成要素11~18は、バス19を介して相互に通信可能に構成される。 The image processing device 10 is an information processing device (computer), and is, for example, a processor 11, a memory unit 12, a storage device 13, a graphic processing device 14, an input interface 15, an optical drive device 16, a device connection interface 17, and a network interface. It has 18 as a component. These components 11 to 18 are configured to be communicable with each other via the bus 19.

プロセッサ(処理部)11は、画像処理装置10全体を制御する。プロセッサ11は、マルチプロセッサであってもよい。プロセッサ11は、例えばCPU,MPU(Micro Processing Unit),DSP(Digital Signal Processor),ASIC(Application Specific Integrated Circuit),PLD(Programmable Logic Device),FPGA(Field Programmable Gate Array)のいずれか一つであってもよい。また、プロセッサ11は、CPU,MPU,DSP,ASIC,PLD,FPGAのうちの2種類以上の要素の組み合わせであってもよい。 The processor (processing unit) 11 controls the entire image processing device 10. The processor 11 may be a multiprocessor. The processor 11 is, for example, one of a CPU, an MPU (Micro Processing Unit), a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array). You may. Further, the processor 11 may be a combination of two or more types of elements among the CPU, MPU, DSP, ASIC, PLD, and FPGA.

そして、プロセッサ11が画像処理装置10用の制御プログラム(画像生成プログラム:図示省略)を実行することにより、図1に例示する、第1入力値生成部101,第1画像生成部102,入力値修正部103,比較部104,第2入力値生成部105および第2画像生成部106としての機能が実現される。すなわち、プロセッサ11が画像処理装置10用の制御プログラム(画像生成プログラム)を実行することで、探索部および画像生成部としての機能が実現される。 Then, the processor 11 executes a control program for the image processing device 10 (image generation program: not shown), whereby the first input value generation unit 101, the first image generation unit 102, and the input value illustrated in FIG. 1 are executed. Functions as a correction unit 103, a comparison unit 104, a second input value generation unit 105, and a second image generation unit 106 are realized. That is, when the processor 11 executes the control program (image generation program) for the image processing device 10, the functions as the search unit and the image generation unit are realized.

なお、画像処理装置10は、例えばコンピュータ読み取り可能な非一時的な記録媒体に記録されたプログラム(画像生成プログラム,OSプログラム)を実行することにより、第1入力値生成部101,第1画像生成部102,入力値修正部103,比較部104,第2入力値生成部105および第2画像生成部106としての機能を実現する。なお、OSはOperating Systemの略語である。 The image processing device 10 generates, for example, the first input value generation unit 101 and the first image by executing a program (image generation program, OS program) recorded on a computer-readable non-temporary recording medium. Functions as a unit 102, an input value correction unit 103, a comparison unit 104, a second input value generation unit 105, and a second image generation unit 106 are realized. OS is an abbreviation for Operating System.

画像処理装置10に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、画像処理装置10に実行させるプログラムを記憶装置13に格納しておくことができる。プロセッサ11は、記憶装置13内のプログラムの少なくとも一部をメモリ部12にロードし、ロードしたプログラムを実行する。 The program describing the processing content to be executed by the image processing apparatus 10 can be recorded on various recording media. For example, a program to be executed by the image processing device 10 can be stored in the storage device 13. The processor 11 loads at least a part of the program in the storage device 13 into the memory unit 12 and executes the loaded program.

また、画像処理装置10(プロセッサ11)に実行させるプログラムを、光ディスク16a,メモリ装置17a,メモリカード17c等の非一時的な可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ11からの制御により、記憶装置13にインストールされた後、実行可能になる。また、プロセッサ11が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。 Further, the program to be executed by the image processing device 10 (processor 11) can be recorded on a non-temporary portable recording medium such as an optical disk 16a, a memory device 17a, and a memory card 17c. The program stored in the portable recording medium can be executed after being installed in the storage device 13 by control from the processor 11, for example. The processor 11 can also read and execute the program directly from the portable recording medium.

メモリ部12は、ROM(Read Only Memory)およびRAM(Random Access Memory)を含む記憶メモリである。メモリ部12のRAMは画像処理装置1の主記憶装置として使用される。RAMには、プロセッサ11に実行させるプログラムの少なくとも一部が一時的に格納される。また、メモリ部12には、プロセッサ11による処理に必要な各種データが格納される。 The memory unit 12 is a storage memory including a ROM (Read Only Memory) and a RAM (Random Access Memory). The RAM of the memory unit 12 is used as the main storage device of the image processing device 1. At least a part of the program to be executed by the processor 11 is temporarily stored in the RAM. Further, various data necessary for processing by the processor 11 are stored in the memory unit 12.

記憶装置13は、ハードディスクドライブ(Hard Disk Drive:HDD)、SSD(Solid State Drive)、ストレージクラスメモリ(Storage Class Memory:SCM)等の記憶装置であって、種々のデータを格納するものである。記憶装置13は、画像処理装置10の補助記憶装置として使用される。記憶装置13には、OSプログラム,制御プログラムおよび各種データが格納される。制御プログラムには画像生成プログラムが含まれる。 The storage device 13 is a storage device such as a hard disk drive (HDD), SSD (Solid State Drive), and storage class memory (SCM), and stores various data. The storage device 13 is used as an auxiliary storage device for the image processing device 10. The storage device 13 stores an OS program, a control program, and various data. The control program includes an image generation program.

なお、補助記憶装置としては、SCMやフラッシュメモリ等の半導体記憶装置を使用することもできる。また、複数の記憶装置13を用いてRAID(Redundant Arrays of Inexpensive Disks)を構成してもよい。 As the auxiliary storage device, a semiconductor storage device such as an SCM or a flash memory can also be used. Further, RAID (Redundant Arrays of Inexpensive Disks) may be configured by using a plurality of storage devices 13.

記憶装置13は、上述した既知画像DB201として機能してもよい。また、記憶装置13は、上述した第1入力値生成部101が生成した第1入力値,第2画像生成部106が生成した第2入力値,入力値修正部103が修正した第1入力値,第1入力値生成部101が生成した第1生成画像および第2画像生成部106が生成した第2生成画像等、各部が生成する各種データを記憶してもよい。 The storage device 13 may function as the above-mentioned known image DB 201. Further, the storage device 13 has the first input value generated by the first input value generation unit 101, the second input value generated by the second image generation unit 106, and the first input value corrected by the input value correction unit 103. , Various data generated by each unit may be stored, such as a first generated image generated by the first input value generation unit 101 and a second generated image generated by the second image generation unit 106.

グラフィック処理装置14には、モニタ14aが接続されている。グラフィック処理装置14は、プロセッサ11からの命令に従って、画像をモニタ14aの画面に表示させる。モニタ14aとしては、CRT(Cathode Ray Tube)を用いた表示装置や液晶表示装置等が挙げられる。 A monitor 14a is connected to the graphic processing device 14. The graphic processing device 14 displays an image on the screen of the monitor 14a according to a command from the processor 11. Examples of the monitor 14a include a display device using a CRT (Cathode Ray Tube), a liquid crystal display device, and the like.

入力インタフェース15には、キーボード15aおよびマウス15bが接続されている。入力インタフェース15は、キーボード15aやマウス15bから送られてくる信号をプロセッサ11に送信する。なお、マウス15bは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル,タブレット,タッチパッド,トラックボール等が挙げられる。 A keyboard 15a and a mouse 15b are connected to the input interface 15. The input interface 15 transmits signals sent from the keyboard 15a and the mouse 15b to the processor 11. The mouse 15b is an example of a pointing device, and other pointing devices can also be used. Other pointing devices include touch panels, tablets, touchpads, trackballs and the like.

光学ドライブ装置16は、レーザ光等を利用して、光ディスク16aに記録されたデータの読み取りを行なう。光ディスク16aは、光の反射によって読み取り可能にデータを記録された可搬型の非一時的な記録媒体である。光ディスク16aには、DVD(Digital Versatile Disc),DVD-RAM,CD-ROM(Compact Disc Read Only Memory),CD-R(Recordable)/RW(ReWritable)等が挙げられる。 The optical drive device 16 reads the data recorded on the optical disk 16a by using a laser beam or the like. The optical disc 16a is a portable non-temporary recording medium in which data is readablely recorded by reflection of light. Examples of the optical disk 16a include a DVD (Digital Versatile Disc), a DVD-RAM, a CD-ROM (Compact Disc Read Only Memory), a CD-R (Recordable) / RW (ReWritable), and the like.

機器接続インタフェース17は、画像処理装置10に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース17には、メモリ装置17aやメモリリーダライタ17bを接続することができる。メモリ装置17aは、機器接続インタフェース17との通信機能を搭載した非一時的な記録媒体、例えばUSB(Universal Serial Bus)メモリである。メモリリーダライタ17bは、メモリカード17cへのデータの書き込み、またはメモリカード17cからのデータの読み出しを行なう。メモリカード17cは、カード型の非一時的な記録媒体である。 The device connection interface 17 is a communication interface for connecting peripheral devices to the image processing device 10. For example, a memory device 17a or a memory reader / writer 17b can be connected to the device connection interface 17. The memory device 17a is a non-temporary recording medium equipped with a communication function with the device connection interface 17, for example, a USB (Universal Serial Bus) memory. The memory reader / writer 17b writes data to the memory card 17c or reads data from the memory card 17c. The memory card 17c is a card-type non-temporary recording medium.

ネットワークインタフェース18は、ネットワークに接続される。ネットワークインタフェース18は、ネットワークを介してデータの送受信を行なう。ネットワークには他の情報処理装置や通信機器等が接続されてもよい。画像処理装置10は、例えば、ネットワークインタフェース18およびネットワークを介して既知画像DB201に接続されてもよい。 The network interface 18 is connected to the network. The network interface 18 transmits / receives data via the network. Other information processing devices, communication devices, and the like may be connected to the network. The image processing device 10 may be connected to the known image DB 201 via, for example, the network interface 18 and the network.

そして、開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。 The disclosed technique is not limited to the above-described embodiment, and can be variously modified and implemented without departing from the spirit of the present embodiment. Each configuration and each process of the present embodiment can be selected as necessary, or may be combined as appropriate.

上述した実施形態においては、比較部104によって探索された探索結果(第1入力値)1~nを用いて第2入力値生成部105が第2入力値を生成し、第2画像生成部106が見本画像に類似する子供の胸部X線画像を生成しているが、これに限定されるものではない。 In the above-described embodiment, the second input value generation unit 105 generates the second input value using the search results (first input value) 1 to n searched by the comparison unit 104, and the second image generation unit 106. Generates a child's chest x-ray image similar to, but is not limited to, a sample image.

例えば、比較部104によって探索された探索結果(第1入力値)1~nをそのまま第2画像生成部106が画像生成モデルに入力して子供の胸部X線画像に類似した画像を生成してもよい。
また、上述した実施形態においては、子供の胸部X線画像を生成する例を示したが、これに限定されるものではない。例えば、大人の胸部X線画像の生成に用いてもよく、また、胸部以外のX線画像の生成に適用してもよい。例えば、CT(Computed Tomography)やMRI(Magnetic Resonance Imaging)検査装置等から得られた画像のように、X線画像以外の画像の生成に適用してもよく、種々変形して実施することができる。
For example, the second image generation unit 106 inputs the search results (first input value) 1 to n searched by the comparison unit 104 into the image generation model as they are to generate an image similar to a child's chest X-ray image. May be good.
Further, in the above-described embodiment, an example of generating a chest X-ray image of a child has been shown, but the present invention is not limited thereto. For example, it may be used for the generation of an adult chest X-ray image, or may be applied to the generation of an X-ray image other than the chest. For example, it may be applied to the generation of an image other than an X-ray image, such as an image obtained from a CT (Computed Tomography) or MRI (Magnetic Resonance Imaging) inspection device, and can be modified in various ways. ..

さらに、医用画像に限定されるものではなく、他の種々の画像の生成に適用することができる。
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。
Furthermore, it is not limited to medical images, and can be applied to the generation of various other images.
Further, according to the above-mentioned disclosure, it is possible to carry out and manufacture this embodiment by a person skilled in the art.

(E)付記
以上の実施形態に関し、さらに以下の付記を開示する。
(付記1)
既存の医療画像に類似した画像を生成して医療画像データを拡張するデータ拡張処理をコンピュータ実行させる情報処理プログラムであって、
医療画像を学習した生成モデルに第1入力値を変化させながら繰り返し入力して、前記既存の医療画像に類似した画像を生成できる入力値を探索し、
探索した入力値を加重平均して生成する第2入力値を前記生成モデルに入力して、前記医療画像に類似した画像を生成する
処理を前記コンピュータに実行させる、情報処理プログラム。
(E) Additional notes The following additional notes will be further disclosed with respect to the above embodiments.
(Appendix 1)
It is an information processing program that generates an image similar to an existing medical image and executes a data expansion process that expands the medical image data by a computer.
By repeatedly inputting the first input value to the generated model in which the medical image is learned while changing the first input value, an input value that can generate an image similar to the existing medical image is searched for.
An information processing program that inputs a second input value generated by weighted averaging of the searched input values to the generation model, and causes the computer to execute a process of generating an image similar to the medical image.

(付記2)
前記第1入力値を前記生成モデルに入力して生成される画像と、前記既存の医療画像との距離が閾値以下となるように、前記第1入力値を変化させる
処理を前記コンピュータに実行させる、付記1に記載の情報処理プログラム。
(Appendix 2)
The computer is made to execute a process of changing the first input value so that the distance between the image generated by inputting the first input value into the generation model and the existing medical image is equal to or less than the threshold value. , The information processing program according to Appendix 1.

(付記3)
前記第1入力値をランダムに生成した前記第1入力値を前記生成モデルに入力する
処理を前記コンピュータに実行させる、付記1または2に記載の情報処理プログラム。
(Appendix 3)
The information processing program according to Appendix 1 or 2, which causes the computer to execute a process of randomly generating the first input value and inputting the first input value into the generation model.

(付記4)
前記加重平均の重みをランダムに変えて前記第2入力値を生成する
処理を前記コンピュータに実行させる、付記1~3のいずれか1項に記載の情報処理プログラム。
(Appendix 4)
The information processing program according to any one of Supplementary note 1 to 3, wherein the computer is made to execute a process of randomly changing the weight of the weighted average to generate the second input value.

(付記5)
コンピュータが、既存の医療画像に類似した画像を生成して医療画像データを拡張するデータ拡張処理を行なうに際して、
医療画像を学習した生成モデルに第1入力値を変化させながら繰り返し入力して、前記既存の医療画像に類似した画像を生成できる入力値を探索する処理と、
探索した入力値を加重平均して生成する第2入力値を前記生成モデルに入力して、前記医療画像に類似した画像を生成する処理と
を備えることを特徴とする、情報処理方法。
(Appendix 5)
When a computer performs data expansion processing that expands medical image data by generating an image similar to an existing medical image.
A process of repeatedly inputting a first input value to a generated model learned from a medical image while changing the first input value to search for an input value capable of generating an image similar to the existing medical image.
An information processing method comprising a process of inputting a second input value generated by weighted averaging of searched input values into the generation model to generate an image similar to the medical image.

(付記6)
前記第1入力値を前記生成モデルに入力して生成される画像と、前記既存の医療画像との距離が閾値以下となるように、前記第1入力値を変化させる
処理を備えることを特徴とする、付記5に記載の情報処理方法。
(Appendix 6)
It is characterized by comprising a process of changing the first input value so that the distance between the image generated by inputting the first input value into the generation model and the existing medical image is equal to or less than the threshold value. The information processing method according to Appendix 5.

(付記7)
前記第1入力値をランダムに生成した前記第1入力値を前記生成モデルに入力する
処理を備えることを特徴とする、付記5または6に記載の情報処理方法。
(Appendix 7)
The information processing method according to Supplementary Note 5 or 6, further comprising a process of randomly generating the first input value and inputting the first input value into the generation model.

(付記8)
前記加重平均の重みをランダムに変えて前記第2入力値を生成する
処理を備えることを特徴とする、付記5~7のいずれか1項に記載の情報処理方法。
(Appendix 8)
The information processing method according to any one of Supplementary note 5 to 7, further comprising a process of randomly changing the weight of the weighted average to generate the second input value.

(付記9)
既存の医療画像に類似した画像を生成して医療画像データを拡張するデータ拡張処理を実行する情報処理装置であって、
医療画像を学習した生成モデルに第1入力値を変化させながら繰り返し入力して、前記既存の医療画像に類似した画像を生成できる入力値を探索する探索部と、
探索した入力値を加重平均して生成する第2入力値を前記生成モデルに入力して、前記医療画像に類似した画像を生成する画像生成部と
を備えることを特徴とする、情報処理装置。
(Appendix 9)
An information processing device that performs data expansion processing that generates an image similar to an existing medical image and expands the medical image data.
A search unit that searches for an input value that can generate an image similar to the existing medical image by repeatedly inputting the first input value to the generated model that has learned the medical image while changing the first input value.
An information processing apparatus comprising: an image generation unit for inputting a second input value generated by weighted averaging of searched input values into the generation model to generate an image similar to the medical image.

(付記10)
前記探索部は、
前記第1入力値を前記生成モデルに入力して生成される画像と、前記既存の医療画像との距離が閾値以下となるように、前記第1入力値を変化させる
処理を行なうことを特徴とする、付記9に記載の情報処理装置。
(Appendix 10)
The search unit
The feature is that the process of changing the first input value is performed so that the distance between the image generated by inputting the first input value into the generation model and the existing medical image is equal to or less than the threshold value. The information processing apparatus according to Appendix 9.

(付記11)
前記探索部は、
前記第1入力値をランダムに生成した前記第1入力値を前記生成モデルに入力する
ことを特徴とする、付記9または10に記載の情報処理装置。
(Appendix 11)
The search unit
The information processing apparatus according to Appendix 9 or 10, wherein the first input value is randomly generated and the first input value is input to the generation model.

(付記12)
前記探索部は、
前記加重平均の重みをランダムに変えて前記第2入力値を生成する
ことを特徴とする、付記9~11のいずれか1項に記載の情報処理装置。
(Appendix 12)
The search unit
The information processing apparatus according to any one of Supplementary note 9 to 11, wherein the weight of the weighted average is randomly changed to generate the second input value.

1 画像処理システム
10 画像処理装置(情報処理装置)
11 CPU
12 メモリ部
13 HDD
14 グラフィック処理装置
14a モニタ
15 入力インタフェース
15a キーボード
15b マウス
16 光学ドライブ装置
16a 光ディスク
17 機器接続インタフェース
17a メモリ装置
17b メモリリーダライタ
17c メモリカード
18 ネットワークインタフェース
19 バス
101 第1入力値生成部
102 第1画像生成部
103 入力値修正部
104 比較部
105 第2入力値生成部
106 第2画像生成部
201 既知画像DB
1 Image processing system 10 Image processing device (information processing device)
11 CPU
12 Memory section 13 HDD
14 Graphic processing device 14a Monitor 15 Input interface 15a Keyboard 15b Mouse 16 Optical drive device 16a Optical disk 17 Device connection interface 17a Memory device 17b Memory reader / writer 17c Memory card 18 Network interface 19 Bus 101 1st input value generator 102 1st image generation Part 103 Input value correction part 104 Comparison part 105 Second input value generation part 106 Second image generation part 201 Known image DB

Claims (6)

既存の医療画像に類似した画像を生成して医療画像データを拡張するデータ拡張処理をコンピュータ実行させる情報処理プログラムであって、
医療画像を学習した生成モデルに第1入力値を変化させながら繰り返し入力して、前記既存の医療画像に類似した画像を生成できる入力値を探索し、
探索した入力値を加重平均して生成する第2入力値を前記生成モデルに入力して、前記医療画像に類似した画像を生成する
処理を前記コンピュータに実行させる、情報処理プログラム。
It is an information processing program that generates an image similar to an existing medical image and executes a data expansion process that expands the medical image data by a computer.
By repeatedly inputting the first input value to the generated model in which the medical image is learned while changing the first input value, an input value that can generate an image similar to the existing medical image is searched for.
An information processing program that inputs a second input value generated by weighted averaging of the searched input values to the generation model, and causes the computer to execute a process of generating an image similar to the medical image.
前記第1入力値を前記生成モデルに入力して生成される画像と、前記既存の医療画像との距離が閾値以下となるように、前記第1入力値を変化させる
処理を前記コンピュータに実行させる、請求項1に記載の情報処理プログラム。
The computer is made to execute a process of changing the first input value so that the distance between the image generated by inputting the first input value into the generation model and the existing medical image is equal to or less than the threshold value. , The information processing program according to claim 1.
前記第1入力値をランダムに生成した前記第1入力値を前記生成モデルに入力する
処理を前記コンピュータに実行させる、請求項1または2に記載の情報処理プログラム。
The information processing program according to claim 1 or 2, wherein the computer is made to execute a process of randomly generating the first input value and inputting the first input value into the generation model.
前記加重平均の重みをランダムに変えて前記第2入力値を生成する
処理を前記コンピュータに実行させる、請求項1~3のいずれか1項に記載の情報処理プログラム。
The information processing program according to any one of claims 1 to 3, wherein the computer is made to execute a process of randomly changing the weight of the weighted average to generate the second input value.
コンピュータが、既存の医療画像に類似した画像を生成して医療画像データを拡張するデータ拡張処理を行なうに際して、
医療画像を学習した生成モデルに第1入力値を変化させながら繰り返し入力して、前記既存の医療画像に類似した画像を生成できる入力値を探索する処理と、
探索した入力値を加重平均して生成する第2入力値を前記生成モデルに入力して、前記医療画像に類似した画像を生成する処理と
を備えることを特徴とする、情報処理方法。
When a computer performs data expansion processing that expands medical image data by generating an image similar to an existing medical image.
A process of repeatedly inputting a first input value to a generated model learned from a medical image while changing the first input value to search for an input value capable of generating an image similar to the existing medical image.
An information processing method comprising a process of inputting a second input value generated by weighted averaging of searched input values into the generation model to generate an image similar to the medical image.
既存の医療画像に類似した画像を生成して医療画像データを拡張するデータ拡張処理を実行する情報処理装置であって、
医療画像を学習した生成モデルに第1入力値を変化させながら繰り返し入力して、前記既存の医療画像に類似した画像を生成できる入力値を探索する探索部と、
探索した入力値を加重平均して生成する第2入力値を前記生成モデルに入力して、前記医療画像に類似した画像を生成する生成部と
を備えることを特徴とする、情報処理装置。
An information processing device that performs data expansion processing that generates an image similar to an existing medical image and expands the medical image data.
A search unit that searches for an input value that can generate an image similar to the existing medical image by repeatedly inputting the first input value to the generated model that has learned the medical image while changing the first input value.
An information processing apparatus comprising: a generation unit for inputting a second input value generated by weighted averaging of searched input values into the generation model to generate an image similar to the medical image.
JP2020139764A 2020-08-21 2020-08-21 Information processing program, information processing method and information processing device Pending JP2022035432A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020139764A JP2022035432A (en) 2020-08-21 2020-08-21 Information processing program, information processing method and information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020139764A JP2022035432A (en) 2020-08-21 2020-08-21 Information processing program, information processing method and information processing device

Publications (1)

Publication Number Publication Date
JP2022035432A true JP2022035432A (en) 2022-03-04

Family

ID=80443903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020139764A Pending JP2022035432A (en) 2020-08-21 2020-08-21 Information processing program, information processing method and information processing device

Country Status (1)

Country Link
JP (1) JP2022035432A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7404596B1 (en) * 2023-09-06 2023-12-26 株式会社エクサウィザーズ Information processing method, program and information processing system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7404596B1 (en) * 2023-09-06 2023-12-26 株式会社エクサウィザーズ Information processing method, program and information processing system

Similar Documents

Publication Publication Date Title
EP3511942B1 (en) Cross-domain image analysis using deep image-to-image networks and adversarial networks
CN110622175B (en) Neural network classification
JP2020503603A (en) System and method for stochastic segmentation in anatomical image processing
US11494696B2 (en) Learning apparatus, learning method, and recording medium
US20210145389A1 (en) Standardizing breast density assessments
WO2020252256A1 (en) Deep-learning models for image processing
JP2019204263A (en) Biological model generation device, biological model generation method, and biological model generation program
US20240330684A1 (en) Data generation method, machine learning method, information processing apparatus, non-transitory computer-readable recording medium storing data generation program, and non-transitory computer-readable recording medium storing machine learning program
JP2022035432A (en) Information processing program, information processing method and information processing device
JP7049974B2 (en) Information processing equipment, information processing methods, and programs
US20230196109A1 (en) Non-transitory computer-readable recording medium for storing model generation program, model generation method, and model generation device
Ankireddy Assistive diagnostic tool for brain tumor detection using computer vision
CN110992312A (en) Medical image processing method, device, storage medium and computer equipment
JP2020075063A (en) Image interpolation/organ extraction device and program thereof
US11263481B1 (en) Automated contrast phase based medical image selection/exclusion
US20210383905A1 (en) Medical information processing apparatus, medical information processing system, medical information processing method, and storage medium
JP2022062362A (en) Information processing program, information processing device and information processing method
WO2017043503A1 (en) Structure estimation device, structure estimation method, and program
KR20220149929A (en) Apparatus and method for generating high-resolution chest x-ray using conditional generative advrsarial network with attention mechanism
JP2022115518A (en) Information processing program, information processing method, and information processing device
JP2023180378A (en) Training data generation program, training data generation method, and training data generation device
EP4300390A1 (en) Method for generating workflow and workflow generating program
JP2022187065A (en) Information processing program, information processing method, and information processing apparatus
US20230316731A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
Syahidin et al. Feature selection method based on genetic algorithm with wrapper-embedded technique for medical record classification