JP2022035432A - Information processing program, information processing method and information processing device - Google Patents
Information processing program, information processing method and information processing device Download PDFInfo
- Publication number
- JP2022035432A JP2022035432A JP2020139764A JP2020139764A JP2022035432A JP 2022035432 A JP2022035432 A JP 2022035432A JP 2020139764 A JP2020139764 A JP 2020139764A JP 2020139764 A JP2020139764 A JP 2020139764A JP 2022035432 A JP2022035432 A JP 2022035432A
- Authority
- JP
- Japan
- Prior art keywords
- image
- input value
- generated
- information processing
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
Description
本発明は、情報処理プログラム,情報処理方法および情報処理装置に関する。 The present invention relates to an information processing program, an information processing method, and an information processing apparatus.
医療分野においては、X線画像を用いた種々の診断が行なわれている。例えば、胸部X線画像に基づき、ペースメーカー等の体内機器の存在を確認することが行なわれている。
X線画像を利用した体内機器の確認は、人がX線画像を目視して確認することで行なっている。
In the medical field, various diagnoses using X-ray images are performed. For example, the presence of an internal device such as a pacemaker is confirmed based on a chest X-ray image.
The confirmation of the internal device using the X-ray image is performed by a person visually confirming the X-ray image.
また、大量のX線画像を元に、AI(Artificial Intelligence)を利用してデータを分析し、体内機器の予測を行なうことも行なわれている。しかし、子供の胸部X線画像は大人のX線画像に比べて少なく、学習用データを十分に用意できないため、AIを利用したデータ分析が不十分となり、正確な予測ができない。 In addition, based on a large amount of X-ray images, data is analyzed using AI (Artificial Intelligence) to predict internal devices. However, the chest X-ray image of a child is smaller than that of an adult X-ray image, and sufficient learning data cannot be prepared. Therefore, data analysis using AI becomes insufficient and accurate prediction cannot be made.
そこで、少ない画像データに対して画像処理を行なうことで画像データを拡張することが行なわれている。例えば、胸部X線画像に対して、左右の反転や回転等の画像処理を施すことで新たな画像を作成したり、複数のX線画像を加重平均することで新たなX線画像を合成することが行なわれている。 Therefore, the image data is expanded by performing image processing on a small amount of image data. For example, a new image is created by performing image processing such as left-right inversion and rotation on a chest X-ray image, or a new X-ray image is synthesized by weighted averaging of a plurality of X-ray images. Is being done.
しかしながら、上述の如き従来の画像データの拡張手法においては、左右の反転を行なうことで内蔵の位置が左右で逆となった胸部X線画像が生成されたり、回転させることで通常では撮影されることがない角度となった胸部X線画像が生成される。また、複数の胸部X線画像を加重平均することで新しい画像を合成することによっても、胸部X線画像として不自然なデータができてしまう場合がある。
1つの側面では、本発明は、学習に適したデータを生成することを目的とする。
However, in the conventional image data expansion method as described above, a chest X-ray image in which the internal positions are reversed on the left and right is generated by inverting the left and right, or is usually taken by rotating the image. A chest x-ray image with a never-before-seen angle is generated. Further, by synthesizing a new image by weighted averaging a plurality of chest X-ray images, unnatural data may be generated as a chest X-ray image.
In one aspect, the invention aims to generate data suitable for learning.
このため、この情報処理プログラムは、既存の医療画像に類似した画像を生成して医療画像データを拡張するデータ拡張処理をコンピュータ実行させる情報処理プログラムであって、医療画像を学習した生成モデルに第1入力値を変化させながら繰り返し入力して、前記既存の医療画像に類似した画像を生成できる入力値を探索し、探索した入力値を加重平均して生成する第2入力値を前記生成モデルに入力して、前記医療画像に類似した画像を生成する処理を前記コンピュータに実行させる。 Therefore, this information processing program is an information processing program that generates an image similar to an existing medical image and executes a data expansion process for expanding the medical image data by a computer, and is a generation model in which the medical image is learned. 1 The input value is repeatedly input while changing the input value to search for an input value that can generate an image similar to the existing medical image, and the second input value generated by weighted averaging the searched input values is used as the generation model. Input to cause the computer to perform a process of generating an image similar to the medical image.
一実施形態によれば、学習に適したデータを生成することができる。 According to one embodiment, data suitable for learning can be generated.
以下、図面を参照して本情報処理プログラム,情報処理方法および情報処理装置にかかる実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。 Hereinafter, embodiments of the information processing program, information processing method, and information processing apparatus will be described with reference to the drawings. However, the embodiments shown below are merely examples, and there is no intention of excluding the application of various modifications and techniques not specified in the embodiments. That is, the present embodiment can be variously modified and implemented within a range that does not deviate from the purpose. Further, each figure does not have the purpose of having only the components shown in the figure, but may include other functions and the like.
(A)構成
図1は実施形態の一例としての画像生成システム1の構成を模式的に示す図である。
本画像生成システム1は医療画像を生成することで、医療画像データを拡張するデータ拡張処理を実現するものであり、以下に示す例においては、子供の胸部X線画像の生成を用いる例について示す。
(A) Configuration FIG. 1 is a diagram schematically showing a configuration of an
This
画像生成システム1は、図1に示すように、画像処理装置10および既知画像DB201を備える。画像処理装置10は、第1入力値生成部101,第1画像生成部102,入力値修正部103,比較部104,第2入力値生成部105および第2画像生成部106を備える。画像処理装置10は既知画像DB201と通信可能に接続されている。
既知画像DB201は、例えば、既知の医用画像データベースであり、複数の子供の胸部X線画像を保存する。既知画像DB201は、本画像生成システム1からの要求に応じて、子供の胸部X線画像を出力する。以下、既知画像DB201から出力される子供の胸部X線画像を見本画像という場合がある。
As shown in FIG. 1, the
The known image DB 201 is, for example, a known medical image database and stores chest X-ray images of a plurality of children. The
第1画像生成部102は、画像生成モデルを用いて、入力される値(入力値,第1入力値)に応じた画像を生成する。画像生成モデルには、例えば、GAN(Generative Adversarial Networks:敵対的生成ネットワーク)を用いてもよい。
図2は実施形態の一例としての画像生成システム1における第1画像生成部102の処理を説明するための図である。
The first
FIG. 2 is a diagram for explaining the processing of the first
第1画像生成部102は、後述する第1入力値生成部101によって生成される、所定のフォーマットを有する第1入力値を画像生成モデルに入力することで、この第1入力値に応じた画像を出力する。以下、第1画像生成部102によって生成された画像を第1生成画像という場合がある。
The first
また、第1画像生成部102は、後述する入力値修正部103によって修正された第1入力値を画像生成モデルに入力することで、この修正済の第1入力値に応じた画像を出力する。
Further, the first
第1入力値生成部101は、第1画像生成部102に入力する第1入力値を生成する。 第1入力値は、例えば、0から1までの値をとる変数として構成された複数の要素(例えば、100次元程度)の組み合わせとして構成される。
第1入力値生成部101は、例えば、それぞれランダムに生成した複数の要素を組み合わせることで、第1入力値を生成する。
The first input
The first input
比較部104は、第1画像生成部102によって生成された画像(第1生成画像)と、既知画像DB201から読み出された子供の胸部X線画像(見本画像)とを比較する。
The
比較部104は、第1生成画像と見本画像との距離を算出する。比較部104による2つの画像の距離の算出は既知の種々の手法を用いて実現することができる。例えば、比較部104は、第1生成画像および見本画像からそれぞれ特徴量ベクトルを抽出し、これらの特徴量ベクトルの距離を測定する。特徴量ベクトルの距離は既知の種々の手法を用いて算出することができ、例えば、ユークリッド距離やマンハッタン距離、マハラノビス距離等を用いてもよい。
比較部104は、第1生成画像と見本画像との類似度を算出するといってもよい。
The
It may be said that the
また、比較部104は、見本画像との距離が所定の閾値以下となる第1生成画像に対応する第1入力値を、メモリ部12や記憶装置13(図5参照)等の所定の記憶領域に記憶させる。
Further, the
すなわち、比較部104は、見本画像との距離が所定の閾値以下となる第1生成画像を生成するための第1入力値を探索するといえる。また、見本画像との距離が所定の閾値以下となる第1生成画像に対応する第1入力値を探索結果という場合がある。
That is, it can be said that the
入力値修正部103は、比較部104によって見本画像との比較が行なわれた第1生成画像の元となった第1入力値に対して、見本画像との差(距離)が小さくなるように修正を行なう。例えば、入力値修正部103は、第1入力値を構成する各要素の値をそれぞれ適宜増減させることで第1入力値に対する修正を行なう。
The input
入力値修正部103により修正された第1入力値は、第1画像生成部102に入力され、この第1画像生成部102が、再度、画像生成モデルに入力することで、第1生成画像が生成される。
The first input value corrected by the input
修正された第1入力値に基づいて生成された画像は、比較部104により、再度、見本画像との距離が算出される。この算出結果に基づき、入力値修正部103は、修正した第1入力値に基づいて生成された第1生成画像が、修正前の第1入力値に基づいて生成された第1生成画像よりも見本画像との差(距離)が小さくなったかを確認する。
The
入力値修正部103は、第1入力値の修正と、第1画像生成部102による第1生成画像の生成および比較部104による見本画像との比較を繰り返し行なうことで、見本画像との差(距離)が小さくなるように第1入力値の修正を行なう。
入力値修正部103は、例えば、修正した第1入力値をメモリ部12や記憶装置13の所定の記憶領域に記憶させることで、第1画像生成部102に受け渡す。第1画像生成部102は、このように修正された第1入力値を画像生成モデルに入力することで、この修正済の第1入力値に応じた画像を出力する。
The input
The input
第2入力値生成部105は、比較部104による比較の結果、見本画像との距離が所定の閾値以下となった第1生成画像に対応する第1入力値(探索結果)を用いて、見本画像に類似する画像を生成するための入力値(第2入力値)を生成する。
The second input
第2入力値生成部105は、全ての探索結果(見本画像との距離が所定の閾値以下となる第1生成画像に対応する第1入力値)の値を加重平均することで、第2入力値を生成する。
そして、第2入力値生成部105は、加重平均の重みをランダムに変えることで、複数の第2入力値を生成する。
The second input
Then, the second input
図3は実施形態の一例としての画像生成システム1における第2入力値生成部105の処理を説明するための図である。
この図3に示す例においては、n個(nは1以上の自然数)の探索結果1~nに基づいて、3つの第2入力値を生成する例を示す。
第2入力値生成部105は、以下の式(1)を用いて、第2入力値を生成する。
FIG. 3 is a diagram for explaining the processing of the second input
In the example shown in FIG. 3, an example of generating three second input values based on
The second input
なお、上記式(1)において、riは、探索結果iのベクトルを示す。また、wiは、探索結果iの重みを示し、以下の式(2)で表される。
In the above equation (1), r i indicates the vector of the search result i. Further, w i indicates the weight of the search result i and is expressed by the following equation (2).
ここで、以下に例示する探索結果1,2に基づき第2入力値を算出する例を示す。
探索結果1:[0.14, 0.22,…,0.42]
探索結果2:[0.20, 0.28,…,0.36]
第2入力値生成部105は、例えば、探索結果1の先頭要素「0.14」と探索結果2の先頭要素「0.20」とに対して、重みをランダムに変更させた加重平均値を算出することで、第2入力値の先頭要素「0.18」を算出する。このように、第2入力値生成部105は、探索結果1,2の各要素について、対応する要素間で重みをランダムに変更させた加重平均値を算出することで第2入力値を完成させる。
第2入力値: [0.18, 0.28,…,0.36]
第2入力値生成部105は、得られた探索結果の全てを用いて第2入力値を生成することが望ましい。ただし、これに限定されるものではなく、第2入力値生成部105は、得られた探索結果のうちの一部を用いて第2入力値を生成してもよい。これは、wi =0の場合に相当する。
Here, an example of calculating the second input value based on the
Search result 1: [0.14, 0.22,…, 0.42]
Search result 2: [0.20, 0.28,…, 0.36]
The second input
Second input value: [0.18, 0.28,…, 0.36]
It is desirable that the second input
上述した、第1画像生成部102,比較部104,入力値修正部103および第2入力値生成部105は、医療画像(子供胸部X線画像)を学習した画像生成モデルに第1入力値を変化させながら繰り返し入力して、既存の医療画像に類似した画像を生成できる入力値(探索結果)を探索する探索部として機能する。
The first
第2画像生成部106は、画像生成モデルを用いて、第2入力値生成部105によって生成された第2入力値に応じた画像(第2生成画像)を生成する。第2画像生成部106は、第2入力値生成部105によって生成された第2入力値を画像生成モデルに入力することで、見本画像に類似する子供の胸部X線画像を生成する。
The second
第2画像生成部106は、探索した入力値を加重平均して生成する第2入力値を画像生成モデルに入力して、医療画像に類似した画像を生成する画像生成部として機能する。
なお、第2画像生成部106は、第1画像生成部102と同様の画像生成モデルを用いて画像生成を行なうものであり、その詳細な説明は省略する。
このように生成された第2生成画像は、例えば、画像診断の学習モデルの学習データとして用いられる。
The second
The second
The second generated image thus generated is used, for example, as training data for a learning model for diagnostic imaging.
(B)動作
上述の如く構成された実施形態の一例としての画像生成システム1における処理を、図4に示すフローチャート(ステップS1~S8)に従って説明する。
ステップS1において、第1画像生成部102がランダムに生成した複数の要素を組み合わせることで、第1入力値を生成する。
ステップS2において、第1画像生成部102が、第1入力値生成部101が生成した第1入力値を画像生成モデルに入力して第1生成画像を生成する。
ステップS3において、比較部104が、第1生成画像と既知画像DB201から読み出された子供の胸部X線画像(見本画像)との距離を算出する。
(B) Operation The processing in the
In step S1, the first input value is generated by combining a plurality of elements randomly generated by the first
In step S2, the first
In step S3, the
ステップS4において、比較部104は、第1生成画像と見本画像との距離が所定の閾値以下であるかを確認する。確認の結果、第1生成画像と見本画像との距離が閾値よりも大きい場合には(ステップS4のNOルート参照)、ステップS8に移行する。
In step S4, the
ステップS8において、入力値修正部103は、比較部104によって見本画像との比較が行なわれた第1生成画像の元となった第1入力値に対して、見本画像との差(距離)が小さくなるように修正を行なう。その後、処理はステップS2に戻り、第1画像生成部102が、修正後の第1入力値を画像生成モデルに入力して第1生成画像を生成する。
In step S8, the input
一方、ステップS4における確認の結果、第1生成画像と見本画像との距離が閾値以下である場合には(ステップS4のYESルート参照)、ステップS5に移行する。ステップS5において、入力値生成部105は、見本画像との距離が所定の閾値以下となる第1生成画像を生成するための第1入力値を探索結果として決定する。
On the other hand, if the distance between the first generated image and the sample image is equal to or less than the threshold value as a result of the confirmation in step S4 (see the YES route in step S4), the process proceeds to step S5. In step S5, the input
ステップS6において、第2入力値生成部105が、見本画像との距離が所定の閾値以下となった第1生成画像に対応する第1入力値(探索結果)を用いて、見本画像に類似する画像を生成するための入力値(第2入力値)を生成する。
In step S6, the second input
ステップS7において、第2画像生成部106が、第2入力値生成部105によって生成された第2入力値を画像生成モデルに入力することで、見本画像に類似する子供の胸部X線画像を生成する。その後、処理を終了する。
In step S7, the second
(C)効果
このように、本発明の一実施形態としての画像生成システム1によれば、第1入力値生成部101がランダムに生成した第1入力値を、第1画像生成部102が画像生成モデルに入力することで第1生成画像を生成する。また、比較部104が、第1生成画像と既知画像DB201から取得した既存の子供の胸部X線画像と比較して距離を算出する。
(C) Effect As described above, according to the
そして、見本画像との距離が閾値以下となった第1生成画像を生成するための第1入力値(探索結果)を複数記憶し、第2入力値生成部105が、全ての探索結果(見本画像との距離が所定の閾値以下となる第1生成画像に対応する第1入力値)の値を加重平均することで、第2入力値を生成する。
Then, a plurality of first input values (search results) for generating the first generated image in which the distance from the sample image is equal to or less than the threshold value are stored, and the second input
第2画像生成部106は、このようにして生成された第2入力値を画像生成モデルに入力することで、見本画像に類似する類似画像を生成する。これにより、子供の胸部X線画像として自然なデータ拡張ができ、子供の胸部X線画像に対して有効な分析・予測を行なうことができるようになる。
The second
第2入力値生成部105が、第2入力値を生成するに際して、加重平均の重みをランダムに変えることで、複数の第2入力値を生成する。これにより、加重平均重みを適宜変更することで、見本画像に類似する類似画像を容易に生成することができる。また、加重平均の重みを変更することで、複数の第2入力値を容易に生成することができ、これにより、見本画像に類似する第2生成画像を必要な数だけ容易に生成することができる。
When the second input
第2入力値の算出に用いる探索結果は、比較部104による見本画像との比較の結果、距離が閾値以下である第1生成画像を生成する第1入力値である。すなわち、見本画像に類似する第1生成画像を生成する第1入力値に対して、加重平均の重みをランダムに変えて複数の第2入力値を生成する。これにより、第2入力値に基づいて生成される第2生成画像も見本画像に類似することになる。
The search result used for calculating the second input value is the first input value for generating the first generated image whose distance is equal to or less than the threshold value as a result of comparison with the sample image by the
(D)その他
図5は実施形態の一例としての画像生成システム1の画像処理装置10のハードウェア構成を例示する図である。
(D) Others FIG. 5 is a diagram illustrating a hardware configuration of an
画像処理装置10は、情報処理装置(コンピュータ)であって、例えば、プロセッサ11,メモリ部12,記憶装置13,グラフィック処理装置14,入力インタフェース15,光学ドライブ装置16,機器接続インタフェース17およびネットワークインタフェース18を構成要素として有する。これらの構成要素11~18は、バス19を介して相互に通信可能に構成される。
The
プロセッサ(処理部)11は、画像処理装置10全体を制御する。プロセッサ11は、マルチプロセッサであってもよい。プロセッサ11は、例えばCPU,MPU(Micro Processing Unit),DSP(Digital Signal Processor),ASIC(Application Specific Integrated Circuit),PLD(Programmable Logic Device),FPGA(Field Programmable Gate Array)のいずれか一つであってもよい。また、プロセッサ11は、CPU,MPU,DSP,ASIC,PLD,FPGAのうちの2種類以上の要素の組み合わせであってもよい。
The processor (processing unit) 11 controls the entire
そして、プロセッサ11が画像処理装置10用の制御プログラム(画像生成プログラム:図示省略)を実行することにより、図1に例示する、第1入力値生成部101,第1画像生成部102,入力値修正部103,比較部104,第2入力値生成部105および第2画像生成部106としての機能が実現される。すなわち、プロセッサ11が画像処理装置10用の制御プログラム(画像生成プログラム)を実行することで、探索部および画像生成部としての機能が実現される。
Then, the
なお、画像処理装置10は、例えばコンピュータ読み取り可能な非一時的な記録媒体に記録されたプログラム(画像生成プログラム,OSプログラム)を実行することにより、第1入力値生成部101,第1画像生成部102,入力値修正部103,比較部104,第2入力値生成部105および第2画像生成部106としての機能を実現する。なお、OSはOperating Systemの略語である。
The
画像処理装置10に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、画像処理装置10に実行させるプログラムを記憶装置13に格納しておくことができる。プロセッサ11は、記憶装置13内のプログラムの少なくとも一部をメモリ部12にロードし、ロードしたプログラムを実行する。
The program describing the processing content to be executed by the
また、画像処理装置10(プロセッサ11)に実行させるプログラムを、光ディスク16a,メモリ装置17a,メモリカード17c等の非一時的な可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ11からの制御により、記憶装置13にインストールされた後、実行可能になる。また、プロセッサ11が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
Further, the program to be executed by the image processing device 10 (processor 11) can be recorded on a non-temporary portable recording medium such as an optical disk 16a, a
メモリ部12は、ROM(Read Only Memory)およびRAM(Random Access Memory)を含む記憶メモリである。メモリ部12のRAMは画像処理装置1の主記憶装置として使用される。RAMには、プロセッサ11に実行させるプログラムの少なくとも一部が一時的に格納される。また、メモリ部12には、プロセッサ11による処理に必要な各種データが格納される。
The
記憶装置13は、ハードディスクドライブ(Hard Disk Drive:HDD)、SSD(Solid State Drive)、ストレージクラスメモリ(Storage Class Memory:SCM)等の記憶装置であって、種々のデータを格納するものである。記憶装置13は、画像処理装置10の補助記憶装置として使用される。記憶装置13には、OSプログラム,制御プログラムおよび各種データが格納される。制御プログラムには画像生成プログラムが含まれる。
The
なお、補助記憶装置としては、SCMやフラッシュメモリ等の半導体記憶装置を使用することもできる。また、複数の記憶装置13を用いてRAID(Redundant Arrays of Inexpensive Disks)を構成してもよい。
As the auxiliary storage device, a semiconductor storage device such as an SCM or a flash memory can also be used. Further, RAID (Redundant Arrays of Inexpensive Disks) may be configured by using a plurality of
記憶装置13は、上述した既知画像DB201として機能してもよい。また、記憶装置13は、上述した第1入力値生成部101が生成した第1入力値,第2画像生成部106が生成した第2入力値,入力値修正部103が修正した第1入力値,第1入力値生成部101が生成した第1生成画像および第2画像生成部106が生成した第2生成画像等、各部が生成する各種データを記憶してもよい。
The
グラフィック処理装置14には、モニタ14aが接続されている。グラフィック処理装置14は、プロセッサ11からの命令に従って、画像をモニタ14aの画面に表示させる。モニタ14aとしては、CRT(Cathode Ray Tube)を用いた表示装置や液晶表示装置等が挙げられる。
A
入力インタフェース15には、キーボード15aおよびマウス15bが接続されている。入力インタフェース15は、キーボード15aやマウス15bから送られてくる信号をプロセッサ11に送信する。なお、マウス15bは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル,タブレット,タッチパッド,トラックボール等が挙げられる。
A
光学ドライブ装置16は、レーザ光等を利用して、光ディスク16aに記録されたデータの読み取りを行なう。光ディスク16aは、光の反射によって読み取り可能にデータを記録された可搬型の非一時的な記録媒体である。光ディスク16aには、DVD(Digital Versatile Disc),DVD-RAM,CD-ROM(Compact Disc Read Only Memory),CD-R(Recordable)/RW(ReWritable)等が挙げられる。
The
機器接続インタフェース17は、画像処理装置10に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース17には、メモリ装置17aやメモリリーダライタ17bを接続することができる。メモリ装置17aは、機器接続インタフェース17との通信機能を搭載した非一時的な記録媒体、例えばUSB(Universal Serial Bus)メモリである。メモリリーダライタ17bは、メモリカード17cへのデータの書き込み、またはメモリカード17cからのデータの読み出しを行なう。メモリカード17cは、カード型の非一時的な記録媒体である。
The
ネットワークインタフェース18は、ネットワークに接続される。ネットワークインタフェース18は、ネットワークを介してデータの送受信を行なう。ネットワークには他の情報処理装置や通信機器等が接続されてもよい。画像処理装置10は、例えば、ネットワークインタフェース18およびネットワークを介して既知画像DB201に接続されてもよい。
The
そして、開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。 The disclosed technique is not limited to the above-described embodiment, and can be variously modified and implemented without departing from the spirit of the present embodiment. Each configuration and each process of the present embodiment can be selected as necessary, or may be combined as appropriate.
上述した実施形態においては、比較部104によって探索された探索結果(第1入力値)1~nを用いて第2入力値生成部105が第2入力値を生成し、第2画像生成部106が見本画像に類似する子供の胸部X線画像を生成しているが、これに限定されるものではない。
In the above-described embodiment, the second input
例えば、比較部104によって探索された探索結果(第1入力値)1~nをそのまま第2画像生成部106が画像生成モデルに入力して子供の胸部X線画像に類似した画像を生成してもよい。
また、上述した実施形態においては、子供の胸部X線画像を生成する例を示したが、これに限定されるものではない。例えば、大人の胸部X線画像の生成に用いてもよく、また、胸部以外のX線画像の生成に適用してもよい。例えば、CT(Computed Tomography)やMRI(Magnetic Resonance Imaging)検査装置等から得られた画像のように、X線画像以外の画像の生成に適用してもよく、種々変形して実施することができる。
For example, the second
Further, in the above-described embodiment, an example of generating a chest X-ray image of a child has been shown, but the present invention is not limited thereto. For example, it may be used for the generation of an adult chest X-ray image, or may be applied to the generation of an X-ray image other than the chest. For example, it may be applied to the generation of an image other than an X-ray image, such as an image obtained from a CT (Computed Tomography) or MRI (Magnetic Resonance Imaging) inspection device, and can be modified in various ways. ..
さらに、医用画像に限定されるものではなく、他の種々の画像の生成に適用することができる。
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。
Furthermore, it is not limited to medical images, and can be applied to the generation of various other images.
Further, according to the above-mentioned disclosure, it is possible to carry out and manufacture this embodiment by a person skilled in the art.
(E)付記
以上の実施形態に関し、さらに以下の付記を開示する。
(付記1)
既存の医療画像に類似した画像を生成して医療画像データを拡張するデータ拡張処理をコンピュータ実行させる情報処理プログラムであって、
医療画像を学習した生成モデルに第1入力値を変化させながら繰り返し入力して、前記既存の医療画像に類似した画像を生成できる入力値を探索し、
探索した入力値を加重平均して生成する第2入力値を前記生成モデルに入力して、前記医療画像に類似した画像を生成する
処理を前記コンピュータに実行させる、情報処理プログラム。
(E) Additional notes The following additional notes will be further disclosed with respect to the above embodiments.
(Appendix 1)
It is an information processing program that generates an image similar to an existing medical image and executes a data expansion process that expands the medical image data by a computer.
By repeatedly inputting the first input value to the generated model in which the medical image is learned while changing the first input value, an input value that can generate an image similar to the existing medical image is searched for.
An information processing program that inputs a second input value generated by weighted averaging of the searched input values to the generation model, and causes the computer to execute a process of generating an image similar to the medical image.
(付記2)
前記第1入力値を前記生成モデルに入力して生成される画像と、前記既存の医療画像との距離が閾値以下となるように、前記第1入力値を変化させる
処理を前記コンピュータに実行させる、付記1に記載の情報処理プログラム。
(Appendix 2)
The computer is made to execute a process of changing the first input value so that the distance between the image generated by inputting the first input value into the generation model and the existing medical image is equal to or less than the threshold value. , The information processing program according to
(付記3)
前記第1入力値をランダムに生成した前記第1入力値を前記生成モデルに入力する
処理を前記コンピュータに実行させる、付記1または2に記載の情報処理プログラム。
(Appendix 3)
The information processing program according to
(付記4)
前記加重平均の重みをランダムに変えて前記第2入力値を生成する
処理を前記コンピュータに実行させる、付記1~3のいずれか1項に記載の情報処理プログラム。
(Appendix 4)
The information processing program according to any one of
(付記5)
コンピュータが、既存の医療画像に類似した画像を生成して医療画像データを拡張するデータ拡張処理を行なうに際して、
医療画像を学習した生成モデルに第1入力値を変化させながら繰り返し入力して、前記既存の医療画像に類似した画像を生成できる入力値を探索する処理と、
探索した入力値を加重平均して生成する第2入力値を前記生成モデルに入力して、前記医療画像に類似した画像を生成する処理と
を備えることを特徴とする、情報処理方法。
(Appendix 5)
When a computer performs data expansion processing that expands medical image data by generating an image similar to an existing medical image.
A process of repeatedly inputting a first input value to a generated model learned from a medical image while changing the first input value to search for an input value capable of generating an image similar to the existing medical image.
An information processing method comprising a process of inputting a second input value generated by weighted averaging of searched input values into the generation model to generate an image similar to the medical image.
(付記6)
前記第1入力値を前記生成モデルに入力して生成される画像と、前記既存の医療画像との距離が閾値以下となるように、前記第1入力値を変化させる
処理を備えることを特徴とする、付記5に記載の情報処理方法。
(Appendix 6)
It is characterized by comprising a process of changing the first input value so that the distance between the image generated by inputting the first input value into the generation model and the existing medical image is equal to or less than the threshold value. The information processing method according to Appendix 5.
(付記7)
前記第1入力値をランダムに生成した前記第1入力値を前記生成モデルに入力する
処理を備えることを特徴とする、付記5または6に記載の情報処理方法。
(Appendix 7)
The information processing method according to Supplementary Note 5 or 6, further comprising a process of randomly generating the first input value and inputting the first input value into the generation model.
(付記8)
前記加重平均の重みをランダムに変えて前記第2入力値を生成する
処理を備えることを特徴とする、付記5~7のいずれか1項に記載の情報処理方法。
(Appendix 8)
The information processing method according to any one of Supplementary note 5 to 7, further comprising a process of randomly changing the weight of the weighted average to generate the second input value.
(付記9)
既存の医療画像に類似した画像を生成して医療画像データを拡張するデータ拡張処理を実行する情報処理装置であって、
医療画像を学習した生成モデルに第1入力値を変化させながら繰り返し入力して、前記既存の医療画像に類似した画像を生成できる入力値を探索する探索部と、
探索した入力値を加重平均して生成する第2入力値を前記生成モデルに入力して、前記医療画像に類似した画像を生成する画像生成部と
を備えることを特徴とする、情報処理装置。
(Appendix 9)
An information processing device that performs data expansion processing that generates an image similar to an existing medical image and expands the medical image data.
A search unit that searches for an input value that can generate an image similar to the existing medical image by repeatedly inputting the first input value to the generated model that has learned the medical image while changing the first input value.
An information processing apparatus comprising: an image generation unit for inputting a second input value generated by weighted averaging of searched input values into the generation model to generate an image similar to the medical image.
(付記10)
前記探索部は、
前記第1入力値を前記生成モデルに入力して生成される画像と、前記既存の医療画像との距離が閾値以下となるように、前記第1入力値を変化させる
処理を行なうことを特徴とする、付記9に記載の情報処理装置。
(Appendix 10)
The search unit
The feature is that the process of changing the first input value is performed so that the distance between the image generated by inputting the first input value into the generation model and the existing medical image is equal to or less than the threshold value. The information processing apparatus according to Appendix 9.
(付記11)
前記探索部は、
前記第1入力値をランダムに生成した前記第1入力値を前記生成モデルに入力する
ことを特徴とする、付記9または10に記載の情報処理装置。
(Appendix 11)
The search unit
The information processing apparatus according to
(付記12)
前記探索部は、
前記加重平均の重みをランダムに変えて前記第2入力値を生成する
ことを特徴とする、付記9~11のいずれか1項に記載の情報処理装置。
(Appendix 12)
The search unit
The information processing apparatus according to any one of Supplementary note 9 to 11, wherein the weight of the weighted average is randomly changed to generate the second input value.
1 画像処理システム
10 画像処理装置(情報処理装置)
11 CPU
12 メモリ部
13 HDD
14 グラフィック処理装置
14a モニタ
15 入力インタフェース
15a キーボード
15b マウス
16 光学ドライブ装置
16a 光ディスク
17 機器接続インタフェース
17a メモリ装置
17b メモリリーダライタ
17c メモリカード
18 ネットワークインタフェース
19 バス
101 第1入力値生成部
102 第1画像生成部
103 入力値修正部
104 比較部
105 第2入力値生成部
106 第2画像生成部
201 既知画像DB
1
11 CPU
12
14
Claims (6)
医療画像を学習した生成モデルに第1入力値を変化させながら繰り返し入力して、前記既存の医療画像に類似した画像を生成できる入力値を探索し、
探索した入力値を加重平均して生成する第2入力値を前記生成モデルに入力して、前記医療画像に類似した画像を生成する
処理を前記コンピュータに実行させる、情報処理プログラム。 It is an information processing program that generates an image similar to an existing medical image and executes a data expansion process that expands the medical image data by a computer.
By repeatedly inputting the first input value to the generated model in which the medical image is learned while changing the first input value, an input value that can generate an image similar to the existing medical image is searched for.
An information processing program that inputs a second input value generated by weighted averaging of the searched input values to the generation model, and causes the computer to execute a process of generating an image similar to the medical image.
処理を前記コンピュータに実行させる、請求項1に記載の情報処理プログラム。 The computer is made to execute a process of changing the first input value so that the distance between the image generated by inputting the first input value into the generation model and the existing medical image is equal to or less than the threshold value. , The information processing program according to claim 1.
処理を前記コンピュータに実行させる、請求項1または2に記載の情報処理プログラム。 The information processing program according to claim 1 or 2, wherein the computer is made to execute a process of randomly generating the first input value and inputting the first input value into the generation model.
処理を前記コンピュータに実行させる、請求項1~3のいずれか1項に記載の情報処理プログラム。 The information processing program according to any one of claims 1 to 3, wherein the computer is made to execute a process of randomly changing the weight of the weighted average to generate the second input value.
医療画像を学習した生成モデルに第1入力値を変化させながら繰り返し入力して、前記既存の医療画像に類似した画像を生成できる入力値を探索する処理と、
探索した入力値を加重平均して生成する第2入力値を前記生成モデルに入力して、前記医療画像に類似した画像を生成する処理と
を備えることを特徴とする、情報処理方法。 When a computer performs data expansion processing that expands medical image data by generating an image similar to an existing medical image.
A process of repeatedly inputting a first input value to a generated model learned from a medical image while changing the first input value to search for an input value capable of generating an image similar to the existing medical image.
An information processing method comprising a process of inputting a second input value generated by weighted averaging of searched input values into the generation model to generate an image similar to the medical image.
医療画像を学習した生成モデルに第1入力値を変化させながら繰り返し入力して、前記既存の医療画像に類似した画像を生成できる入力値を探索する探索部と、
探索した入力値を加重平均して生成する第2入力値を前記生成モデルに入力して、前記医療画像に類似した画像を生成する生成部と
を備えることを特徴とする、情報処理装置。 An information processing device that performs data expansion processing that generates an image similar to an existing medical image and expands the medical image data.
A search unit that searches for an input value that can generate an image similar to the existing medical image by repeatedly inputting the first input value to the generated model that has learned the medical image while changing the first input value.
An information processing apparatus comprising: a generation unit for inputting a second input value generated by weighted averaging of searched input values into the generation model to generate an image similar to the medical image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020139764A JP2022035432A (en) | 2020-08-21 | 2020-08-21 | Information processing program, information processing method and information processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020139764A JP2022035432A (en) | 2020-08-21 | 2020-08-21 | Information processing program, information processing method and information processing device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022035432A true JP2022035432A (en) | 2022-03-04 |
Family
ID=80443903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020139764A Pending JP2022035432A (en) | 2020-08-21 | 2020-08-21 | Information processing program, information processing method and information processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022035432A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7404596B1 (en) * | 2023-09-06 | 2023-12-26 | 株式会社エクサウィザーズ | Information processing method, program and information processing system |
-
2020
- 2020-08-21 JP JP2020139764A patent/JP2022035432A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7404596B1 (en) * | 2023-09-06 | 2023-12-26 | 株式会社エクサウィザーズ | Information processing method, program and information processing system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3511942B1 (en) | Cross-domain image analysis using deep image-to-image networks and adversarial networks | |
CN110622175B (en) | Neural network classification | |
JP2020503603A (en) | System and method for stochastic segmentation in anatomical image processing | |
US11494696B2 (en) | Learning apparatus, learning method, and recording medium | |
US20210145389A1 (en) | Standardizing breast density assessments | |
WO2020252256A1 (en) | Deep-learning models for image processing | |
JP2019204263A (en) | Biological model generation device, biological model generation method, and biological model generation program | |
US20240330684A1 (en) | Data generation method, machine learning method, information processing apparatus, non-transitory computer-readable recording medium storing data generation program, and non-transitory computer-readable recording medium storing machine learning program | |
JP2022035432A (en) | Information processing program, information processing method and information processing device | |
JP7049974B2 (en) | Information processing equipment, information processing methods, and programs | |
US20230196109A1 (en) | Non-transitory computer-readable recording medium for storing model generation program, model generation method, and model generation device | |
Ankireddy | Assistive diagnostic tool for brain tumor detection using computer vision | |
CN110992312A (en) | Medical image processing method, device, storage medium and computer equipment | |
JP2020075063A (en) | Image interpolation/organ extraction device and program thereof | |
US11263481B1 (en) | Automated contrast phase based medical image selection/exclusion | |
US20210383905A1 (en) | Medical information processing apparatus, medical information processing system, medical information processing method, and storage medium | |
JP2022062362A (en) | Information processing program, information processing device and information processing method | |
WO2017043503A1 (en) | Structure estimation device, structure estimation method, and program | |
KR20220149929A (en) | Apparatus and method for generating high-resolution chest x-ray using conditional generative advrsarial network with attention mechanism | |
JP2022115518A (en) | Information processing program, information processing method, and information processing device | |
JP2023180378A (en) | Training data generation program, training data generation method, and training data generation device | |
EP4300390A1 (en) | Method for generating workflow and workflow generating program | |
JP2022187065A (en) | Information processing program, information processing method, and information processing apparatus | |
US20230316731A1 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
Syahidin et al. | Feature selection method based on genetic algorithm with wrapper-embedded technique for medical record classification |