JP2020188839A

JP2020188839A - Image processing device, image processing system, and image processing program

Info

Publication number: JP2020188839A
Application number: JP2019094249A
Authority: JP
Inventors: クワイベンフェルナンドハビエルウォン; Javier Wong Kwai Ben Fernando; ヒラルドホラシオサンソン; Sanson Giraldo Horacio
Original assignee: Allm Inc
Current assignee: Allm Inc
Priority date: 2019-05-20
Filing date: 2019-05-20
Publication date: 2020-11-26
Anticipated expiration: 2039-05-20
Also published as: JP6683960B1

Abstract

To generate an image for patient diagnosis in which an abnormal part included in a medical image is estimated.SOLUTION: An image processing device 100 comprises: conversion image generation means for performing medical processing on an input medical image to generate a plurality of conversion images; detection result image generation means for extracting, as an abnormal part, a part differing from a medical image obtained by photographing a healthy subject for each of the plurality of conversion images generated by the conversion image generation means to generate a plurality of detection result images; inverse conversion means for executing conversion inverse to the image processing executed by the conversion image generation means on each of the plurality of detection result images generated by the detection result image generation means to generate a detection result image after the inverse conversion; and diagnostic image generation means for generating diagnostic image for estimating an abnormal part of a patient on which the medical image is photographed on the basis of a detection result image after inverse conversion generated by the inverse conversion means.SELECTED DRAWING: Figure 1

Description

本発明は、画像処理装置、画像処理システム、および画像処理プログラムに関する。 The present invention relates to an image processing apparatus, an image processing system, and an image processing program.

次のような生体画像処理装置が知られている。この生体画像処理装置では、目的物を含む生体画像である入力用訓練画像、目的物を含まない生体画像である出力用訓練画像、及び目的物を含む生体画像である入力画像を受け付け、入力用訓練画像及び出力用訓練画像を用いて、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習し、学習結果であるニューラルネットワークの画像処理を用いて、入力画像から目的物を除去した出力画像を生成する（例えば、特許文献１）。 The following biological image processing devices are known. This biological image processing device accepts and inputs an input training image that is a biological image including an object, an output training image that is a biological image that does not include an object, and an input image that is a biological image that includes an object. Using the training image and the training image for output, learn a neural network that performs image processing to generate a biological image that does not contain the target object from the biological image that includes the target object, and use the image processing of the neural network that is the learning result. , Generate an output image in which the target object is removed from the input image (for example, Patent Document 1).

特開２０１８−８９３０１号公報JP-A-2018-89301

従来の生体画像処理装置では、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習し、学習結果であるニューラルネットワークの画像処理を用いて、入力画像から目的物を除去した出力画像を生成していた。しかしながら、画像を用いた診断では、医用画像の中から異常がある可能性がある部位を見つけ出すことが求められることも多く、その精度も求められる。しかしながら、従来の技術では、医用画像から精度高く異常部を抽出して、診断者による診断を支援する仕組みについては、何ら検討されていなかった。 In a conventional biological image processing device, a neural network that performs image processing that generates a biological image that does not contain an object from a biological image that includes an object is learned, and an input image is used by using the image processing of the neural network that is the learning result. The output image was generated by removing the target object from. However, in diagnosis using images, it is often required to find a part that may have an abnormality from medical images, and its accuracy is also required. However, in the conventional technique, no study has been made on a mechanism for supporting diagnosis by a diagnostician by extracting an abnormal part from a medical image with high accuracy.

本発明による画像処理装置は、入力された医用画像に対して画像処理を行って複数の変換画像を生成する変換画像生成手段と、変換画像生成手段によって生成された複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成する検出結果画像生成手段と、検出結果画像生成手段によって生成された複数の検出結果画像のそれぞれに対して、変換画像生成手段が行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成する逆変換手段と、逆変換手段によって生成された逆変換後の検出結果画像に基づいて、医用画像を撮影した患者の異常部を推定するための診断用画像を生成する診断用画像生成手段とを備えることを特徴とする。
本発明による画像処理システムは、入力された医用画像に対して画像処理を行って複数の変換画像を生成する変換画像生成手段と、変換画像生成手段によって生成された複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成する検出結果画像生成手段と、検出結果画像生成手段によって生成された複数の検出結果画像のそれぞれに対して、変換画像生成手段が行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成する逆変換手段と、逆変換手段によって生成された逆変換後の検出結果画像に基づいて、医用画像を撮影した患者の異常部を推定するための診断用画像を生成する診断用画像生成手段とを備えることを特徴とする。
本発明による画像処理プログラムは、入力された医用画像に対して画像処理を行って複数の変換画像を生成する変換画像生成手順と、変換画像生成手順で生成した複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成する検出結果画像生成手順と、検出結果画像生成手順で生成した複数の検出結果画像のそれぞれに対して、変換画像生成手順で行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成する逆変換手順と、逆変換手順で生成した逆変換後の検出結果画像に基づいて、医用画像を撮影した患者の異常部を推定するための診断用画像を生成する診断用画像生成手順とをコンピュータに実行させる。 The image processing apparatus according to the present invention is for each of the converted image generation means that performs image processing on the input medical image to generate a plurality of converted images and the plurality of converted images generated by the converted image generating means. The detection result image generation means for generating a plurality of detection result images by extracting the difference portion from the medical image of a healthy person as an abnormal part, and the plurality of detection result images generated by the detection result image generation means. For each, the inverse conversion means that executes the inverse conversion of the image processing performed by the conversion image generation means to generate the detection result image after the inverse conversion, and the detection result after the inverse conversion generated by the inverse conversion means. It is characterized by comprising a diagnostic image generation means for generating a diagnostic image for estimating an abnormal portion of a patient who has taken a medical image based on the image.
In the image processing system according to the present invention, for each of the converted image generation means that performs image processing on the input medical image to generate a plurality of converted images and the plurality of converted images generated by the converted image generating means. The detection result image generation means for generating a plurality of detection result images by extracting the difference part from the medical image taken by a healthy person as an abnormal part, and the plurality of detection result images generated by the detection result image generation means. For each, the inverse conversion means that executes the inverse conversion of the image processing performed by the conversion image generation means to generate the detection result image after the inverse conversion, and the detection result after the inverse conversion generated by the inverse conversion means. It is characterized by comprising a diagnostic image generation means for generating a diagnostic image for estimating an abnormal portion of a patient who has taken a medical image based on the image.
The image processing program according to the present invention performs image processing on the input medical image to generate a plurality of converted images, and for each of the plurality of converted images generated in the converted image generation procedure. , The detection result image generation procedure that generates multiple detection result images by extracting the difference part from the medical image taken by a healthy person as an abnormal part, and the multiple detection result images generated by the detection result image generation procedure, respectively. On the other hand, based on the reverse conversion procedure that executes the reverse conversion of the image processing performed in the conversion image generation procedure to generate the detection result image after the reverse conversion and the detection result image after the reverse conversion generated in the reverse conversion procedure. Then, the computer is made to execute a diagnostic image generation procedure for generating a diagnostic image for estimating an abnormal part of the patient who has taken the medical image.

本発明によれば、医用画像を変換した複数の変換画像を用いることにより、１枚の入力画像を用いた場合と比較して、診断用画像における異常部の抽出精度を向上させることができる。 According to the present invention, by using a plurality of converted images obtained by converting a medical image, it is possible to improve the extraction accuracy of an abnormal portion in the diagnostic image as compared with the case where one input image is used.

画像処理装置１００の一実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment of an image processing apparatus 100. 入力画像Ｘから検出結果画像ＡＤ（Ｔ（Ｘ））を生成するための処理の流れを模式的に示した図である。It is a figure which showed typically the flow of the process for generating the detection result image AD (T (X)) from the input image X. 推定ステップの処理の流れを模式的に示した図である。It is the figure which showed typically the process flow of the estimation step. トレーニングステップの処理の流れを示すフローチャート図である。It is a flowchart which shows the process flow of a training step. 推定ステップの処理の流れを示すフローチャート図である。It is a flowchart which shows the process flow of the estimation step.

図１は、本実施の形態における画像処理装置１００の一実施の形態の構成を示すブロック図である。画像処理装置１００は、あらかじめ撮影された医用画像、例えば、ＭＲＩ画像、ＣＴ画像、Ｘ線画像を用いて、医用画像内から医学的に異常と認められる部位を抽出し、視覚化するための処理を実行する。画像処理装置１００としては、例えばサーバ装置やパソコンなどが用いられる。図１は、本実施の形態における画像処理装置１００として、パソコンを用いた場合の一実施の形態の構成を示すブロック図である。 FIG. 1 is a block diagram showing a configuration of an embodiment of the image processing apparatus 100 according to the present embodiment. The image processing apparatus 100 uses a medical image taken in advance, for example, an MRI image, a CT image, or an X-ray image, to extract a medically abnormal part from the medical image and visualize it. To execute. As the image processing device 100, for example, a server device, a personal computer, or the like is used. FIG. 1 is a block diagram showing a configuration of one embodiment when a personal computer is used as the image processing device 100 in the present embodiment.

画像処理装置１００は、操作部材１０１と、制御装置１０２と、記憶媒体１０３と、表示装置１０４とを備えている。 The image processing device 100 includes an operation member 101, a control device 102, a storage medium 103, and a display device 104.

操作部材１０１は、画像処理装置１００の操作者によって操作される種々の装置、例えばキーボードやマウスを含む。 The operating member 101 includes various devices operated by the operator of the image processing device 100, such as a keyboard and a mouse.

制御装置１０２は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、画像処理装置１００の全体を制御する。なお、制御装置１０２を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。例えば、接続インターフェース１０２を介して読み込まれたデータは、バッファメモリに一時的に記録される。 The control device 102 is composed of a CPU, a memory, and other peripheral circuits, and controls the entire image processing device 100. The memory constituting the control device 102 is, for example, a volatile memory such as SDRAM. This memory is used as a work memory for the CPU to expand the program at the time of program execution and as a buffer memory for temporarily recording data. For example, the data read through the connection interface 102 is temporarily recorded in the buffer memory.

記憶媒体１０３は、画像処理装置１００が蓄える種々のデータや、制御装置１０２が実行するためのプログラムのデータ等を記録するための記憶媒体であり、例えばＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）やＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等が用いられる。なお、記憶媒体１０３に記録されるプログラムのデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体に記録されて提供されたり、ネットワークを介して提供され、操作者が取得したプログラムのデータを記憶媒体１０３にインストールすることによって、制御装置１０２がプログラムを実行できるようになる。本実施の形態では、以下に説明する処理で用いるプログラムや種々のデータは、記憶媒体１０３に記録されている。 The storage medium 103 is a storage medium for recording various data stored in the image processing device 100, data of a program to be executed by the control device 102, and the like. For example, an HDD (Hard Disk Drive) or an SSD (Solid State). Drive) and the like are used. The program data recorded on the storage medium 103 is recorded on a recording medium such as a CD-ROM or DVD-ROM and provided, or is provided via a network and stores the program data acquired by the operator. By installing it on the medium 103, the control device 102 can execute the program. In the present embodiment, the program and various data used in the processing described below are recorded in the storage medium 103.

表示装置１０４は、例えば液晶モニタであって、制御装置１０２から出力される種々の表示用データが表示される。 The display device 104 is, for example, a liquid crystal monitor, and various display data output from the control device 102 are displayed.

本実施の形態における画像処理装置１００では、図２に示すように、制御装置１０２は，入力画像（Ｉｎｐｕｔ）Ｘに対して、あらかじめ設定された変換方法により入力画像Ｘを変換して、１枚の入力画像Ｘから複数の変換画像（ＴｒａｎｓｆｏｒｍｅｄＩｍａｇｅ）Ｔ（Ｘ）を生成するためのデータ増加処理２ａを実行する。そして、制御装置１０２は、データ増加処理２ａで変換した変換画像Ｔ（Ｘ）を医学的な異常部位を検出した検出結果画像ＡＤ（Ｔ（Ｘ））を生成するための異常検出器２ｂに入力する。これにより、制御装置１０２は、入力画像Ｘに基づいて複数の検出結果画像ＡＤ（Ｔ（Ｘ））を生成することができる。 In the image processing device 100 according to the present embodiment, as shown in FIG. 2, the control device 102 converts the input image X with respect to the input image (Input) X by a preset conversion method, and one image Data increase processing 2a for generating a plurality of converted images (Transformed Image) T (X) from the input image X of the above is executed. Then, the control device 102 inputs the converted image T (X) converted in the data increase processing 2a into the abnormality detector 2b for generating the detection result image AD (T (X)) that detects the medical abnormality portion. To do. As a result, the control device 102 can generate a plurality of detection result images AD (T (X)) based on the input image X.

データ増加処理２ａでは、上述したように、入力画像Ｘをあらかじめ設定された変換方法により複数の変換画像Ｔ（Ｘ）に変換して、１枚の入力画像Ｘを複数枚の変換画像Ｔ（Ｘ）に増加させる。データ増加処理２ａでの変換方法としては、例えば、入力画像Ｘのサイズ変更、入力画像Ｘの回転、入力画像Ｘの位置変更、入力画像Ｘの明るさ変更などが想定される。 In the data increase processing 2a, as described above, the input image X is converted into a plurality of converted images T (X) by a preset conversion method, and one input image X is converted into a plurality of converted images T (X). ). As the conversion method in the data increase processing 2a, for example, the size change of the input image X, the rotation of the input image X, the position change of the input image X, the brightness change of the input image X, and the like are assumed.

変換方法を入力画像Ｘのサイズ変更とした場合、データ増加処理２ａでは、入力画像Ｘを異なる倍率で拡大または縮小して複数の変換画像Ｔ（Ｘ）を得る。例えば、入力画像Ｘを０．８倍した変換画像Ｔ_１（Ｘ）と、入力画像Ｘを１倍した変換画像Ｔ_２（Ｘ）と、入力画像Ｘを１．２倍した変換画像Ｔ_３（Ｘ）の３枚の変換画像を生成するようにすればよい。 When the conversion method is to change the size of the input image X, in the data increase processing 2a, the input image X is enlarged or reduced at different magnifications to obtain a plurality of converted images T (X). For example, the input 0.8 times the image X were converted image _T 1 and (X), and converting the image _T 2 by one times the input image X (X), the converted image _T 3 was 1.2 times the input image X ( The three converted images of X) may be generated.

変換方法を入力画像Ｘの回転とした場合、データ増加処理２ａでは、入力画像Ｘを異なる回転角度で回転させて複数の変換画像Ｔ（Ｘ）を得る。例えば、入力画像Ｘを３０度回転させた変換画像Ｔ_１（Ｘ）と、入力画像Ｘを０度回転させた変換画像Ｔ_２（Ｘ）と、入力画像Ｘを−３０度回転させた変換画像Ｔ_３（Ｘ）の３枚の変換画像を生成するようにすればよい。 When the conversion method is rotation of the input image X, in the data increase processing 2a, the input image X is rotated at different rotation angles to obtain a plurality of converted images T (X). For example, a converted image T ₁ (X) obtained by rotating the input image X by 30 degrees, a converted image T ₂ (X) obtained by rotating the input image X by 0 degrees, and a converted image obtained by rotating the input image X by -30 degrees. The _three converted images of T ₃ (X) may be generated.

変換方法を入力画像Ｘの位置変更とした場合、データ増加処理２ａでは、入力画像Ｘを所定ピクセル位置をずらした複数の変換画像Ｔ（Ｘ）を得る。例えば、入力画像Ｘを上方向に１０ピクセル動かした変換画像Ｔ_１（Ｘ）と、入力画像Ｘを左方向に１０ピクセル動かした変換画像Ｔ_２（Ｘ）と、入力画像Ｘを下方向に１０ピクセル動かした変換画像Ｔ_３（Ｘ）と、入力画像Ｘを右方向に１０ピクセル動かした変換画像Ｔ_４（Ｘ）の４枚の変換画像を生成するようにすればよい。 When the conversion method is to change the position of the input image X, the data increase processing 2a obtains a plurality of converted images T (X) in which the input image X is shifted by a predetermined pixel position. For example, the converted image T ₁ (X) in which the input image X is moved 10 pixels upward, the converted image T ₂ (X) in which the input image X is moved 10 pixels upward, and the input image X 10 downward. It suffices to generate four converted images, a converted image T ₃ (X) in which the input image X is moved by 10 pixels and a converted image T ₄ (X) in which the input image X is moved by 10 pixels to the right.

変換方法を入力画像Ｘの明るさ変更とした場合、データ増加処理２ａでは、入力画像Ｘの明るさを変更して複数枚の変換画像Ｔ（Ｘ）を得る。例えば、入力画像Ｘの明るさを０．８倍した変換画像Ｔ_１（Ｘ）と、入力画像Ｘの明るさを１倍した変換画像Ｔ_２（Ｘ）と、入力画像Ｘの明るさを１．２倍した変換画像Ｔ_３（Ｘ）の３枚の変換画像を生成するようにすればよい。 When the conversion method is to change the brightness of the input image X, the data increase processing 2a changes the brightness of the input image X to obtain a plurality of converted images T (X). For example, the converted image T ₁ (X) obtained by multiplying the brightness of the input image X by 0.8, the converted image T ₂ (X) obtained by multiplying the brightness of the input image X by 1, and the brightness of the input image X set to 1. It is sufficient to generate _three converted images of the doubled converted image T ₃ (X).

異常検出器２ｂは、変換画像Ｔ（Ｘ）を入力すると、変換画像Ｔ（Ｘ）内から医学的に異常がみられない正常な患者を撮影した医用画像との相違部を異常部として抽出した検出結果画像ＡＤ（Ｔ（Ｘ））が出力されるように構成されている。 When the converted image T (X) was input, the abnormality detector 2b extracted a portion different from the medical image obtained by photographing a normal patient with no medical abnormality from the converted image T (X) as an abnormal portion. The detection result image AD (T (X)) is configured to be output.

異常検出器２ｂの構成は特に限定されないが、本実施の形態では、健康者を撮影した異常がない医用画像の画像パターンを学習させ、入力された医用画像に対して異常がない医用画像を復元して出力するように構成されたオートエンコーダを用いる。異常検出器２ｂは、オートエンコーダに変換画像Ｔ（Ｘ）を入力すると、オートエンコーダへの入力画像と出力画像の差分を算出して得た差分画像を検出結果画像ＡＤ（Ｔ（Ｘ））として出力するように構成されている。なお、オートエンコーダの学習のために後述するトレーニングステップが実行される。 The configuration of the abnormality detector 2b is not particularly limited, but in the present embodiment, the image pattern of the medical image without abnormality taken by a healthy person is learned, and the medical image without abnormality is restored with respect to the input medical image. Use an autoencoder that is configured to output. When the converted image T (X) is input to the autoencoder, the abnormality detector 2b uses the difference image obtained by calculating the difference between the input image and the output image to the autoencoder as the detection result image AD (T (X)). It is configured to output. A training step described later is executed for learning the autoencoder.

なお、異常検出器２ｂで用いるオートエンコーダは、入力Ｘを潜在表現Ｚに変換するエンコーダと、潜在表現Ｚから入力Ｘを再構築するデコーダで構成されており、このオートエンコーダを用いることにより、入力と出力が同じになるようにニューラルネットワークを学習させることができる。 The autoencoder used in the abnormality detector 2b is composed of an encoder that converts the input X into the latent expression Z and a decoder that reconstructs the input X from the latent expression Z. By using this autoencoder, the input is input. The neural network can be trained so that the output is the same as.

エンコーダは、２のストライドサイズの７つの畳み込み層と、次式（１）で表される活性化関数ＲｅＬＵの５×５カーネルで構成されている。それぞれの層に対するフィルターの数は、８、１６、３２、６４、１２８、２５６、５１２である。その結果、５１２次元からなる潜在表現Ｚを得ることができる。また、デコーダは、ストライドサイズが２の７つの転置された畳み込み層と、次式（１）に示す活性化関数ＲｅＬＵの５×５カーネルで構成されている。デコーダの各レイヤのフィルタ数は、２５６、１２８、６４、３２、１６、８、１である。
ＲｅＬＵ（ｘ）＝ｍａｘ（ｘ，０）・・・（１） The encoder is composed of seven convolutional layers having two stride sizes and a 5 × 5 kernel of the activation function ReLU represented by the following equation (1). The number of filters for each layer is 8, 16, 32, 64, 128, 256, 512. As a result, a latent expression Z consisting of 512 dimensions can be obtained. Further, the decoder is composed of seven transposed convolutional layers having a stride size of 2 and a 5 × 5 kernel of the activation function ReLU represented by the following equation (1). The number of filters in each layer of the decoder is 256, 128, 64, 32, 16, 8, and 1.
ReLU (x) = max (x, 0) ... (1)

これによって、変換画像Ｔ（Ｘ）に医学的に異常と認められる部分が現れている場合、オートエンコーダへの入力画像である変換画像Ｔ（Ｘ）には異常部が含まれている一方で、出力画像は異常がない画像、すなわち異常部が表示されていない画像となるため、異常検出器２ｂがオートエンコーダへの入力画像と出力画像の差分をとれば、変換画像Ｔ（Ｘ）内から異常部を抽出した検出結果画像ＡＤ（Ｔ（Ｘ））を出力することができる。 As a result, when a part that is medically recognized as abnormal appears in the converted image T (X), the converted image T (X) that is the input image to the auto encoder contains the abnormal part, while Since the output image is an image without abnormality, that is, an image in which the abnormality part is not displayed, if the abnormality detector 2b takes the difference between the input image and the output image to the auto encoder, the abnormality is obtained from the converted image T (X). It is possible to output the detection result image AD (T (X)) obtained by extracting the part.

なお、上述した異常がない医用画像は、画像内に医学的に異常と認められる部位を含まない画像であって、例えば、医学的に異常がみられない人物の診断対象部位を撮影した画像、すなわち健康な患者の特定部位を撮影した画像を用いればよい。 The above-mentioned medical image without any abnormality is an image that does not include a part that is medically recognized as abnormal in the image, and is, for example, an image obtained by photographing a part to be diagnosed of a person who is not medically abnormal. That is, an image obtained by photographing a specific part of a healthy patient may be used.

例えば、上述したように、データ増加処理２ａで変換画像Ｔ_１（Ｘ）と変換画像Ｔ_２（Ｘ）と変換画像Ｔ_３（Ｘ）の３枚の変換画像が生成される場合には、異常検出器２ｂによって、変換画像Ｔ_１（Ｘ）から異常部を抽出した検出結果画像ＡＤ（Ｔ_１（Ｘ））と、変換画像Ｔ_２（Ｘ）から異常部を抽出した検出結果画像ＡＤ（Ｔ_２（Ｘ））と、変換画像Ｔ_３（Ｘ）から異常部を抽出した検出結果画像ＡＤ（Ｔ_３（Ｘ））の３枚の検出結果画像が生成される。 For example, as described above, when the data increase processing 2a generates _three converted images of the converted image T ₁ (X), the converted image T ₂ (X), and the converted image T ₃ (X), it is abnormal. The detection result image AD (T ₁ (X)) in which the abnormal portion is extracted from the converted image T ₁ (X) by the detector 2b and the detection result image AD (T) in which the abnormal portion is extracted from the converted image T ₂ (X). ₂ (X)) and the detection result image AD (T ₃ (X)) in which the abnormal portion is extracted from the converted image T ₃ (X) are generated.

本実施の形態では、事前に、異常がない患者の医用画像を入力画像Ｘとして、図２に示した画像処理を実行することにより、異常検出器２ｂのオートエンコーダに、健康者を撮影した異常がない医用画像の画像パターンを学習させるためのトレーニングステップが実行される。以下、本実施の形態におけるトレーニングステップの処理の流れについて説明する。 In the present embodiment, the medical image of the patient having no abnormality is used as the input image X in advance, and the image processing shown in FIG. 2 is executed, so that the auto-encoder of the abnormality detector 2b captures an abnormality of a healthy person. A training step is performed to train the image pattern of the medical image. Hereinafter, the flow of processing of the training step in the present embodiment will be described.

トレーニングステップでは、数多くの異常がない医用画像を入力画像Ｘとして用いて、異常検出器２ｂにおける異常検出モデルＹ＝ＡＤ（Ｘ）を訓練するために使用される。 In the training step, a large number of non-anomalous medical images are used as the input image X to train the anomaly detection model Y = AD (X) in the anomaly detector 2b.

制御装置１０２は、トレーニング用に用意された入力画像Ｘに対してデータ増加処理２ａを施すことにより、入力画像Ｘをあらかじめ設定された変換方法により複数の変換画像Ｔ（Ｘ）に変換する。ここでは、例えば、上述したように、３つの変換画像Ｔ_１（Ｘ）、Ｔ_２（Ｘ）、Ｔ_３（Ｘ）に変換されるものとする。 The control device 102 converts the input image X into a plurality of converted images T (X) by a preset conversion method by performing the data increasing process 2a on the input image X prepared for training. Here, for example, as described above, it is assumed that the converted images are converted into three converted images T ₁ (X), T ₂ (X), and T ₃ (X).

なお、トレーニングステップにおいては、入力画像Ｘの変換方法は、トレーニング用に撮影された各医用画像ごとに変更するようにしてもよい。例えば、変換方法を入力画像Ｘの回転とした場合、データ増加処理２ａでは、−４５度から４５度の範囲内でランダムに入力画像Ｘを回転させて変換画像を得るようにしてもよい。この場合、例えば、ある入力画像Ｘに対しては、入力画像Ｘを３５．５度回転させた変換画像Ｔ_１（Ｘ）と、入力画像Ｘを−１２度回転させた変換画像Ｔ_２（Ｘ）と、入力画像Ｘを−３８度回転させた変換画像Ｔ_３（Ｘ）の３枚の変換画像を生成するなどすればよい。医用画像を撮影する際には、必ず同じ角度や位置が撮影されるとは限らず、患者によって撮影する角度や位置が変わる可能性があるため、トレーニングステップでランダムに角度を変えて変換画像を得ることによって、後述する推定ステップで様々な角度の医用画像に対応できるようにニューラルネットワークを学習させることが可能となる。なお、データ増加処理２ａにおける変換方法が入力画像Ｘのサイズ変更、入力画像Ｘの位置変更、入力画像Ｘの明るさ変更の場合にも、同様にランダムに変更を行えばよい。 In the training step, the conversion method of the input image X may be changed for each medical image taken for training. For example, when the conversion method is rotation of the input image X, in the data increase processing 2a, the input image X may be randomly rotated within the range of −45 degrees to 45 degrees to obtain the converted image. In this case, for example, for some input images X, the input transformed image _T 1 of the image X was rotated 35.5 degrees and (X), the input converting the image X is rotated -12 degrees image _T 2 (X ) And the _three converted images of the converted image T3 (X) obtained by rotating the input image X by −38 degrees. When taking a medical image, the same angle and position are not always taken, and the angle and position to be taken may change depending on the patient, so the converted image is randomly changed in the training step. By obtaining it, it becomes possible to train the neural network so that it can correspond to medical images of various angles in the estimation step described later. When the conversion method in the data increase processing 2a is to change the size of the input image X, change the position of the input image X, or change the brightness of the input image X, the changes may be made randomly in the same manner.

制御装置１０２は、データ増加処理２ａで変換された変換画像Ｔ（Ｘ）を異常検出器２ｂに入力し、異常検出器２ｂのオートエンコーダに異常がない医用画像の画像パターンを学習させるためのトレーニング処理を実行する。具体的には、制御装置１０２は、異常検出器２ｂにデータ増加処理２ａで変換された変換画像Ｔ（Ｘ）を異常検出器２ｂに入力し、それぞれの変換画像Ｔ（Ｘ）ごとに上述した検出結果画像ＡＤ（Ｔ（Ｘ））を得る。そして、制御装置１０２は、この画像処理をあらかじめ定義されている損失関数の値が所定の閾値以下になるまでオートエンコーダのエンコーダーとデコーダーの２つのニューラルネットワークの重みを調節しながら繰り返す。 The control device 102 inputs the converted image T (X) converted by the data increase processing 2a into the abnormality detector 2b, and trains the autoencoder of the abnormality detector 2b to learn the image pattern of the medical image having no abnormality. Execute the process. Specifically, the control device 102 inputs the converted image T (X) converted by the data increase processing 2a into the abnormality detector 2b into the abnormality detector 2b, and describes each of the converted images T (X) as described above. The detection result image AD (T (X)) is obtained. Then, the control device 102 repeats this image processing while adjusting the weights of the two neural networks, the encoder and the decoder of the autoencoder, until the value of the loss function defined in advance becomes equal to or less than a predetermined threshold value.

制御装置１０２は、損失関数の値が閾値以下になったときにオートエンコーダのトレーニングは終了したと判定して、そのときに設定されていた重み値をオートエンコーダのネットワーク重み、すなわちエンコーダーとデコーダーの重みとして設定する。これによって、オートエンコーダに異常がない医用画像の画像パターンを学習させることができる。なお、オートエンコーダにおける損失関数については公知であるため詳細な説明は省略するが、損失関数は、その値が最小値である０をとるときに入力と出力が一致するようにあらかじめ定義されている。 The control device 102 determines that the training of the autoencoder is completed when the value of the loss function becomes equal to or less than the threshold value, and sets the weight value set at that time as the network weight of the autoencoder, that is, the encoder and the decoder. Set as a weight. As a result, the autoencoder can learn the image pattern of the medical image having no abnormality. Since the loss function in the autoencoder is known, detailed description thereof will be omitted, but the loss function is defined in advance so that the input and the output match when the value takes 0, which is the minimum value. ..

このトレーニングステップをあらかじめ実行しておくことにより、制御装置１０２は、入力画像に含まれる異常部位を推定するための推定ステップを実行して、入力画像Ｘに対して図２に示した画像処理を実行することにより、入力画像Ｘと医学的に異常がみられない正常な患者を撮影した医用画像との相違部を異常部として抽出した検出結果画像ＡＤ（Ｔ（Ｘ））を得ることができ、検出結果画像ＡＤ（Ｔ（Ｘ））に基づいて、患者の医用画像内に含まれる異常部を推定するための診断用画像を得ることができる。 By executing this training step in advance, the control device 102 executes an estimation step for estimating an abnormal portion included in the input image, and performs the image processing shown in FIG. 2 on the input image X. By executing this, it is possible to obtain a detection result image AD (T (X)) in which the difference between the input image X and the medical image obtained by photographing a normal patient with no medical abnormality is extracted as an abnormal part. Based on the detection result image AD (T (X)), a diagnostic image for estimating an abnormal portion included in the medical image of the patient can be obtained.

以下、本実施の形態における推定ステップの処理の流れについて、図３を用いて説明する。なお、図３では、データ増加処理２ａで、入力画像Ｘが３つの変換画像Ｔ_１（Ｘ）、Ｔ_２（Ｘ）、Ｔ_３（Ｘ）に変換され、これら３つの変換画像に対して、３つの検出結果画像ＡＤ（Ｔ_１（Ｘ））、ＡＤ（Ｔ_２（Ｘ））、ＡＤ（Ｔ_３（Ｘ））が生成される場合の処理の流れを示している。 Hereinafter, the processing flow of the estimation step in the present embodiment will be described with reference to FIG. In FIG. 3, the input image X is converted into three converted images T ₁ (X), T ₂ (X), and T ₃ (X) by the data increase processing 2a, and the three converted images are converted into three converted images. It shows the flow of processing when three detection result images AD (T ₁ (X)), AD (T ₂ (X)), and AD (T ₃ (X)) are generated.

推定ステップでは、制御装置１０２は、診断対象の患者の特定部位を撮影した医用画像を入力画像Ｘに対してデータ増加処理２ａを実行して、複数のＴ_１（Ｘ）,・・・,Ｔ_ｎ（Ｘ）に変換する。ここでは、ｎは、データ増加処理２ａによる変換で生成される画像の数を示す。例えば、図３では、入力画像Ｘに対して３つのデータ増加処理３ａ、３ｄ、３ｇを実行することにより、各データ増加処理においてあらかじめ設定された変換方法によって変換画像Ｔ_１（Ｘ）、Ｔ_２（Ｘ）、Ｔ_３（Ｘ）に変換している。図３では、例えば、データ増加処理３ａは、入力画像Ｘを３０度回転させて変換画像Ｔ_１（Ｘ）を生成し、データ増加処理３ｄは、入力画像Ｘを０度回転させて変換画像Ｔ_２（Ｘ）を生成し、データ増加処理３ｇは、入力画像Ｘを−３０度回転させて変換画像Ｔ_３（Ｘ）を生成している。 In the estimation step, the control device 102 executes a data increase process 2a on the input image X of a medical image obtained by photographing a specific part of the patient to be diagnosed, and performs a plurality of T ₁ (X), ..., T. Convert to _n (X). Here, n indicates the number of images generated by the conversion by the data increase processing 2a. For example, in FIG. 3, by executing three data increase processes 3a, 3d, and 3g on the input image X, the converted images T ₁ (X) and T ₂ are converted by a conversion method preset in each data increase process. It is converted to (X) and T ₃ (X). In FIG. 3, for example, the data increase process 3a rotates the input image X by 30 degrees to generate the converted image T ₁ (X), and the data increase process 3d rotates the input image X by 0 degrees to generate the converted image T. ₂ (X) is generated, and the data increase processing 3g rotates the input image X by -30 degrees to generate the converted image T ₃ (X).

なお、上述したトレーニングステップでは、データ増加処理２ａでは、入力画像Ｘに対する変換方法をランダムに決定するようにしたが、推定ステップでは、あらかじめ設定された変換方法で変換を行う。例えば、変換方法を入力画像Ｘの回転とした場合、入力画像の回転角度はあらかじめ−３０度、０度、３０度と定められており、データ増加処理２ａでは、図３に示したように、入力画像Ｘを３０度回転させた変換画像Ｔ_１（Ｘ）と、入力画像Ｘを０度回転させた変換画像Ｔ_２（Ｘ）と、入力画像Ｘを−３０度回転させた変換画像Ｔ_３（Ｘ）の３枚の変換画像を生成する。このように、トレーニングステップでは、変換方法を入力画像ごとにランダムに決定し、推定ステップではあらかじめ設定された変換方法で入力画像を変換するようにすれば、トレーニングステップで様々な角度の医用画像に対応できるようにニューラルネットワークを学習させることが可能となるため、推定ステップでの推定精度を向上させることができる。 In the training step described above, in the data increase processing 2a, the conversion method for the input image X is randomly determined, but in the estimation step, the conversion is performed by a preset conversion method. For example, when the conversion method is the rotation of the input image X, the rotation angles of the input image are predetermined to be -30 degrees, 0 degrees, and 30 degrees, and in the data increase processing 2a, as shown in FIG. The converted image T ₁ (X) obtained by rotating the input image X by 30 degrees, the converted image T ₂ (X) obtained by rotating the input image X by 0 degrees, and the converted image T _{3 obtained} by rotating the input image X by -30 degrees. The three converted images of (X) are generated. In this way, in the training step, the conversion method is randomly determined for each input image, and in the estimation step, the input image is converted by the preset conversion method, so that the medical image at various angles can be obtained in the training step. Since the neural network can be trained so as to correspond to it, the estimation accuracy in the estimation step can be improved.

制御装置１０２は、データ増加処理２ａで変換した変換画像Ｔ_１（Ｘ）,・・・,Ｔ_ｎ（Ｘ）を異常検出器２ｂに入力して検出結果画像ＡＤ（Ｔ_ｎ（Ｘ））,・・・,ＡＤ（Ｔ_ｎ（Ｘ））を得る。図３に示す例では、異常検出器３ｂによって変換画像Ｔ_１（Ｘ）から検出結果画像ＡＤ（Ｔ_１（Ｘ））が生成され、異常検出器３ｅによって変換画像Ｔ_２（Ｘ）から検出結果画像ＡＤ（Ｔ_２（Ｘ））が生成され、異常検出器３ｈによって変換画像Ｔ_３（Ｘ）から検出結果画像ＡＤ（Ｔ_３（Ｘ））が生成されている。 The control device 102 inputs the converted images T ₁ (X), ..., T _n (X) converted in the data increase processing 2a into the abnormality detector 2b, and the detection result image AD (T _n (X)),. ..., AD ( _Tn (X)) is obtained. In the example shown in FIG. 3, the abnormality detector 3b generates the detection result image AD (T ₁ (X)) from the converted image T ₁ (X), and the abnormality detector 3e generates the detection result from the converted image T ₂ (X). The image AD (T ₂ (X)) is generated, and the detection result image AD (T ₃ (X)) is generated from the converted image T ₃ (X) by the abnormality detector 3h.

ここで生成された検出結果画像ＡＤ（Ｔ_ｎ（Ｘ））,・・・,ＡＤ（Ｔ_ｎ（Ｘ））は、データ増加処理２ａによって変換された変換画像Ｔ_１（Ｘ）,・・・,Ｔ_ｎ（Ｘ）から異常部を抽出した画像となる。このため、制御装置１０２は、検出結果画像ＡＤ（Ｔ_ｎ（Ｘ））,・・・,ＡＤ（Ｔ_ｎ（Ｘ））に対してデータ増加処理２ａで行った変換の逆変換を行って、逆変換後の検出結果画像Ｙ_１＝Ｔ_１ ^−１（ＡＤ（Ｔ_１（Ｘ）））,・・・,Ｙ_ｎ＝Ｔ_ｎ ^−１（ＡＤ（Ｔ_ｎ（Ｘ）））を得る。図３に示す例では、検出結果画像ＡＤ（Ｔ_１（Ｘ））とＡＤ（Ｔ_２（Ｘ））とＡＤ（Ｔ_３（Ｘ））のそれぞれに対して、逆変換処理３ｃ、３ｆ、３ｉを行って、データ増加処理３ａ、３ｄ、３ｇで行われた変換の逆変換が行われる。 The detection result image AD (T _n (X)), ..., AD (T _n (X)) generated here is the converted image T ₁ (X), ... Converted by the data increase processing 2a. , T _n (X) is an image in which the abnormal part is extracted. Therefore, the control device 102 performs the inverse conversion of the conversion performed in the data increase processing 2a on the detection result image AD ( _Tn (X)), ..., AD ( _Tn (X)). detection result after inverse transformation image _{_{^{Y 1 = T 1 -1 (AD}}} (T 1 (X))), obtained _{_{^{···, Y n = T n -1}}} (AD (T n (X))) a. In the example shown in FIG. 3, the inverse conversion processes 3c, 3f, and 3i are performed for the detection result images AD (T ₁ (X)), AD (T ₂ (X)), and AD (T ₃ (X)), respectively. Is performed, and the inverse conversion of the conversion performed in the data increase processing 3a, 3d, and 3g is performed.

例えば、逆変換処理３ｃでは、検出結果画像ＡＤ（Ｔ_１（Ｘ））を−３０度回転させて逆変換後の検出結果画像Ｙ_１＝Ｔ_１ ^−１（ＡＤ（Ｔ_１（Ｘ）））を得る。逆変換処理３ｆでは、検出結果画像ＡＤ（Ｔ_２（Ｘ））を０度回転させて逆変換後の検出結果画像Ｙ_２＝Ｔ_２ ^−１（ＡＤ（Ｔ_２（Ｘ）））を得る。逆変換処理３ｉでは、検出結果画像ＡＤ（Ｔ_３（Ｘ））を３０度回転させて逆変換後の検出結果画像Ｙ_３＝Ｔ_３ ^−１（ＡＤ（Ｔ_３（Ｘ）））を得る。 For example, the inverse transform process 3c, the detection result image AD _(T 1 _(X)) the following inverse transform is rotated -30 degrees detection result image _{_{^{_{Y 1 = T 1 -1 (AD}}}} (T 1 (X))) To get. The inverse transform process 3f, obtain a detection result image AD _(T 2 _(X)) the detection after the inverse transform by rotating 0 degrees resulting image _{_{^{Y 2 = T 2 -1 (AD}}} (T 2 (X))). The inverse transform processing 3i, obtain a detection result image AD _(T 3 _(X)) the detection result after inverse transform by rotating 30 degrees image _{_{^{Y 3 = T 3 -1 (AD}}} (T 3 (X))).

制御装置１０２は、逆変換後の検出結果画像Ｙ_１＝Ｔ_１ ^−１（ＡＤ（Ｔ_１（Ｘ）））,・・・,Ｙ_ｎ＝Ｔ_ｎ ^−１（ＡＤ（Ｔ_ｎ（Ｘ）））に基づいて、患者の診断に用いる診断用画像を生成する。本実施の形態では、制御装置１０２は、逆変換後の検出結果画像Ｙ_１＝Ｔ_１ ^−１（ＡＤ（Ｔ_１（Ｘ）））,・・・,Ｙ_ｎ＝Ｔ_ｎ ^−１（ＡＤ（Ｔ_ｎ（Ｘ）））に対して結合処理３ｊを実行することにより診断用画像を生成する。結合処理３ｊでは、逆変換後の検出結果画像Ｙ_１＝Ｔ_１ ^−１（ＡＤ（Ｔ_１（Ｘ）））,・・・,Ｙ_ｎ＝Ｔ_ｎ ^−１（ＡＤ（Ｔ_ｎ（Ｘ）））は、あらかじめ設定された結合関数Ｃ（Ｙ_１,・・・,Ｙ_ｎ）によって結合され、その結果を患者の診断用画像とする。 Controller 102, the detection result after the inverse transformed image _{_{^{Y 1 = T 1 -1 (AD}}} (T 1 (X))), ···, Y n = T n -1 (AD (T n (X)) ), A diagnostic image used for diagnosing the patient is generated. In this embodiment, the control unit 102, the detection result after inverse transformation image _{_{^{Y 1 = T 1 -1 (AD}}} (T 1 (X))), ···, Y n = T n -1 (AD ( A diagnostic image is generated by executing the binding process 3j for T _n (X))). The binding process 3j, inverse transformation after the detection result image _{_{^{Y 1 = T 1 -1 (AD}}} (T 1 (X))), ···, Y n = T n -1 (AD (T n (X)) ) Is combined by a preset combination function C (Y ₁ , ..., Y _n ), and the result is used as a diagnostic image of the patient.

図３に示す例では、結合処理３ｊによって、結合関数Ｃ（Ｙ_１,Ｙ_２,Ｙ_３）によって診断用画像が生成されている。なお、結合関数Ｃは、例えば、次式（２）に示すように、逆変換後のすべての検出結果画像において、各ピクセル位置における画素値の最小値が選択するように定義されている。
Ｃ（Ｙ_１,・・・,Ｙ_ｎ）＝ｍｉｎ（Ｙ_１,・・・,Ｙ_ｎ）・・・（２） In the example shown in FIG. 3, the diagnostic image is generated by the binding function C (Y ₁ , Y ₂ , Y ₃ ) by the binding process 3j. The coupling function C is defined so that, for example, as shown in the following equation (2), the minimum value of the pixel value at each pixel position is selected in all the detection result images after the inverse conversion.
C (Y ₁ , ..., Y _n ) = min (Y ₁ , ..., Y _n ) ... (2)

このように、入力画像Ｘを変換した複数の変換画像Ｔ_１（Ｘ）,・・・,Ｔ_ｎ（Ｘ）を用いることにより、１枚の入力画像を用いた場合と比較して、トレーニングステップにおけるトレーニング精度を向上させることができるとともに、推定ステップで出力される診断用画像における異常部位の抽出精度を向上させることができる。 In this way, by using a plurality of converted images T ₁ (X), ..., T _n (X) obtained by converting the input image X, a training step is performed as compared with the case where one input image is used. In addition to being able to improve the training accuracy in, it is also possible to improve the extraction accuracy of abnormal parts in the diagnostic image output in the estimation step.

制御装置１０２は、結合処理３ｊによって得た診断用画像を表示装置１０４へ出力する。これによって、表示装置１０４に診断用画像が表示され、医師等は、診断用画像に基づいて患者の医用画像内に異常部位が認められないかを確認することができる。 The control device 102 outputs the diagnostic image obtained by the coupling process 3j to the display device 104. As a result, the diagnostic image is displayed on the display device 104, and the doctor or the like can confirm whether or not an abnormal site is found in the medical image of the patient based on the diagnostic image.

図４は、本実施の形態におけるトレーニングステップの流れを示すフローチャートである。図４に示す処理は、異常部がない正常状態の医用画像、例えば健康な人物の脳画像が入力されると起動するプログラムとして、制御装置１０２によって実行される。 FIG. 4 is a flowchart showing the flow of training steps in the present embodiment. The process shown in FIG. 4 is executed by the control device 102 as a program that is activated when a medical image in a normal state without an abnormal portion, for example, a brain image of a healthy person is input.

ステップＳ１０において、制御装置１０２は、入力された異常がない医用画像、すなわち入力画像Ｘに対してデータ増加処理２ａを実行して複数の変換画像Ｔ（Ｘ）を生成する。その後、ステップＳ２０へ進む。 In step S10, the control device 102 executes the data increase process 2a on the input normal medical image, that is, the input image X, to generate a plurality of converted images T (X). After that, the process proceeds to step S20.

ステップＳ２０では、制御装置１０２は、データ増加処理２ａで変換された変換画像Ｔ（Ｘ）をそれぞれ異常検出器２ｂに入力し、上述したように、異常検出器２ｂに異常がない医用画像の画像パターンを学習させるためのトレーニング処理を実行する。その後、ステップＳ３０へ進む。 In step S20, the control device 102 inputs the converted image T (X) converted in the data increase processing 2a into the abnormality detector 2b, respectively, and as described above, the image of the medical image in which the abnormality detector 2b has no abnormality. Perform a training process to train the pattern. After that, the process proceeds to step S30.

ステップＳ３０では、制御装置１０２は、上述したように、あらかじめ定義されている損失関数の値が所定の閾値以下になったことにより、異常検出器２ｂのトレーニングが終了したか否かを判断する。ステップＳ３０で肯定判断した場合には、そのときに設定されていた重み値をオートエンコーダのネットワーク重みとして採用し、処理を終了する。これに対して、ステップＳ３０で否定判断した場合には、ステップＳ４０へ進む。 In step S30, as described above, the control device 102 determines whether or not the training of the abnormality detector 2b is completed because the value of the loss function defined in advance becomes equal to or less than a predetermined threshold value. If an affirmative decision is made in step S30, the weight value set at that time is adopted as the network weight of the autoencoder, and the process ends. On the other hand, if a negative determination is made in step S30, the process proceeds to step S40.

ステップＳ４０では、制御装置１０２は、上述したように、オートエンコーダのネットワーク重みを調整して、ステップＳ１０へ戻る。 In step S40, the control device 102 adjusts the network weight of the autoencoder as described above, and returns to step S10.

図５は、本実施の形態における推定ステップの流れを示すフローチャートである。図５に示す処理は、診断対象患者の医用画像が入力されると起動するプログラムとして、制御装置１０２によって実行される。 FIG. 5 is a flowchart showing the flow of estimation steps in the present embodiment. The process shown in FIG. 5 is executed by the control device 102 as a program that is activated when a medical image of the patient to be diagnosed is input.

ステップＳ１１０において、制御装置１０２は、入力された医用画像、すなわち入力画像Ｘに対してデータ増加処理２ａを実行して変換画像Ｔ_１（Ｘ）,・・・,Ｔ_ｎ（Ｘ）を生成する。その後、ステップＳ１２０へ進む。 In step S110, the control device 102 executes the data increase processing 2a on the input medical image, that is, the input image X, and generates the converted images T ₁ (X), ..., T _n (X). .. After that, the process proceeds to step S120.

ステップＳ１２０では、制御装置１０２は、データ増加処理２ａで変換した変換画像Ｔ_１（Ｘ）,・・・,Ｔ_ｎ（Ｘ）を異常検出器２ｂに入力して検出結果画像ＡＤ（Ｔ_ｎ（Ｘ））,・・・,ＡＤ（Ｔ_ｎ（Ｘ））を得る。その後、ステップＳ１３０へ進む。 In step S120, the control device 102 inputs the converted images T ₁ (X), ..., T _n (X) converted in the data increase processing 2a into the abnormality detector 2b, and the detection result image AD (T _n (T _n ( X)), ..., AD ( _Tn (X)) is obtained. After that, the process proceeds to step S130.

ステップＳ１３０では、制御装置１０２は、検出結果画像ＡＤ（Ｔ_ｎ（Ｘ））,・・・,ＡＤ（Ｔ_ｎ（Ｘ））に対してデータ増加処理２ａで行った変換の逆変換を行って、逆変換後の検出結果画像Ｙ_１＝Ｔ_１ ^−１（ＡＤ（Ｔ_１（Ｘ）））,・・・,Ｙ_ｎ＝Ｔ_ｎ ^−１（ＡＤ（Ｔ_ｎ（Ｘ）））を得る。その後、ステップＳ１４０へ進む。 In step S130, the control device 102 performs the inverse conversion of the conversion performed in the data increase processing 2a on the detection result images AD (T _n (X)), ..., AD (T _n (X)). , the detection result after inverse transformation image _{_{^{Y 1 = T 1 -1 (AD}}} (T 1 (X))), obtained _{_{^{···, Y n = T n -1}}} (AD (T n (X))) a. After that, the process proceeds to step S140.

ステップＳ１４０では、制御装置１０２は、逆変換後の検出結果画像Ｙ_１＝Ｔ_１ ^−１（ＡＤ（Ｔ_１（Ｘ）））,・・・,Ｙ_ｎ＝Ｔ_ｎ ^−１（ＡＤ（Ｔ_ｎ（Ｘ）））に対して結合処理３ｊを実行することにより、診断用画像を生成する。その後、ステップＳ１５０へ進む。 In step S140, the control unit 102, inverse transformation after the detection result image _{_{^{Y 1 = T 1 -1 (AD}}} (T 1 (X))), ···, Y n = T n -1 (AD (T n A diagnostic image is generated by executing the binding process 3j for (X))). Then, the process proceeds to step S150.

ステップＳ１５０では、制御装置１０２は、ステップＳ１４０で生成した診断用画像を表示装置１０４へ出力することにより、表示装置１０４に診断用画像を表示する。その後、処理を終了する。 In step S150, the control device 102 displays the diagnostic image on the display device 104 by outputting the diagnostic image generated in step S140 to the display device 104. After that, the process ends.

以上説明した実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０２は、入力された医用画像に対して画像処理を行って複数の変換画像を生成し、生成した複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成し、生成した複数の検出結果画像のそれぞれに対して、データ増加処理２ａで行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成し、生成した逆変換後の検出結果画像に基づいて、医用画像を撮影した患者の異常部を推定するための診断用画像を生成するようにした。これによって、患者の医用画像内から医学的な異常部を抽出した診断用画像を生成して、画像を用いた診断を支援することができる。さらに、入力画像を変換した複数の変換画像を用いて逆変換後の検出結果画像を生成し、これらを結合して診断用画像を生成するようにしたので、１枚の入力画像を用いる場合と比較して、トレーニングステップにおけるトレーニング精度を向上させることができるとともに、推定ステップで出力される診断用画像における異常部位の抽出精度を向上させることができる。 According to the embodiment described above, the following effects can be obtained.
(1) The control device 102 performs image processing on the input medical image to generate a plurality of converted images, and each of the generated converted images is combined with a medical image obtained by photographing a healthy person. The difference part is extracted as an abnormal part to generate a plurality of detection result images, and the reverse conversion of the image processing performed in the data increase processing 2a is executed for each of the generated multiple detection result images to perform the reverse conversion. The later detection result image was generated, and based on the generated detection result image after the inverse conversion, a diagnostic image for estimating the abnormal part of the patient who took the medical image was generated. This makes it possible to generate a diagnostic image obtained by extracting a medically abnormal part from the medical image of the patient and support the diagnosis using the image. Further, since the detection result image after the inverse conversion is generated by using a plurality of converted images obtained by converting the input images and these are combined to generate a diagnostic image, there is a case where one input image is used. In comparison, the training accuracy in the training step can be improved, and the extraction accuracy of the abnormal portion in the diagnostic image output in the estimation step can be improved.

（２）制御装置１０２は、生成した診断用画像を表示装置１０４に表示するようにした。これによって、医師等の操作者は、診断用画像を表示装置１０４上で確認することができる。 (2) The control device 102 displays the generated diagnostic image on the display device 104. As a result, an operator such as a doctor can confirm the diagnostic image on the display device 104.

（３）制御装置１０２は、入力された医用画像に対してあらかじめ設定されている変換方法で画像処理を行って、複数の変換画像を生成するようにした。これによって、１枚の医用画像から複数の変換画像を生成して、異常検出器２ｂに入力する画像の数を増やすことができる。 (3) The control device 102 performs image processing on the input medical image by a preset conversion method to generate a plurality of converted images. As a result, a plurality of converted images can be generated from one medical image, and the number of images to be input to the abnormality detector 2b can be increased.

（４）制御装置１０２は、異常がない医用画像に基づいて生成された変換画像の画像パターンを学習させ、入力された変換画像に対して異常がない医用画像における変換画像を復元して出力するように構成されたオートエンコーダに変換画像を入力し、オートエンコーダへの入力画像と出力画像の差分を算出して得た差分画像を検出結果画像として生成するようにした。これによって、あらかじめオートエンコーダに異常がない医用画像における変換画像の画像パターンを学習させておけば、患者を撮影した診断対象の医用画像を入力するだけで検出結果画像生成することができる。 (4) The control device 102 trains the image pattern of the converted image generated based on the medical image without abnormality, and restores and outputs the converted image in the medical image without abnormality with respect to the input converted image. The converted image was input to the auto-encoder configured as described above, and the difference image obtained by calculating the difference between the input image and the output image to the auto-encoder was generated as the detection result image. As a result, if the image pattern of the converted image in the medical image having no abnormality in the autoencoder is learned in advance, the detection result image can be generated only by inputting the medical image of the diagnosis target in which the patient is photographed.

（５）制御装置１０２は、逆変換手段によって生成されたすべての逆変換後の検出結果画像において、各ピクセル位置における画素値の最小値を選択した画像を診断用画像として生成するようにした。このように、複数の逆変換後の検出結果画像において、同じ画素位置の画素の中から画素値が最小となる画素を選択して診断用画像を生成するようにすれば、ノイズ等の影響を排除して精度の高い診断用画像を生成することができる。 (5) The control device 102 is configured to generate an image in which the minimum value of the pixel value at each pixel position is selected as a diagnostic image in all the detection result images after the inverse conversion generated by the inverse conversion means. In this way, in the detection result images after a plurality of inverse conversions, if the pixel having the smallest pixel value is selected from the pixels at the same pixel position to generate the diagnostic image, the influence of noise and the like can be affected. It can be excluded to generate a highly accurate diagnostic image.

―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
（１）上述した実施の形態では、画像処理装置１００はパソコンであって、制御装置１０２が上述した処理を実行する例について説明した。しかしながら、操作者が操作する端末からインターネットなどの通信回線を介して画像処理装置１００へ接続できるようにし、上述した入力画像Ｘは、操作端末から画像処理装置１００へ送信されることにより入力されてもよい。また、その場合は、診断用画像は、操作端末に送信して、操作端末上で表示されるようにしてもよい。これによって、操作端末と画像処理装置１００とを通信回線を介して接続することで、クライアントサーバー型やクラウド型の画像処理システムを構築することができる一方で、画像処理装置１００を単体で用いることにより、スタンドアロン型の装置として利用することもできる。 -Modification example-
The image processing apparatus of the above-described embodiment can also be modified as follows.
(1) In the above-described embodiment, an example in which the image processing device 100 is a personal computer and the control device 102 executes the above-described processing has been described. However, the terminal operated by the operator can be connected to the image processing device 100 via a communication line such as the Internet, and the above-mentioned input image X is input by being transmitted from the operating terminal to the image processing device 100. May be good. Further, in that case, the diagnostic image may be transmitted to the operation terminal so as to be displayed on the operation terminal. As a result, a client server type or cloud type image processing system can be constructed by connecting the operation terminal and the image processing device 100 via a communication line, while the image processing device 100 can be used alone. Therefore, it can also be used as a stand-alone device.

（２）上述した実施の形態では、トレーニングステップのための処理は、画像処理装置１００で制御装置１０２が実行する例について説明した。しかしながら、トレーニングステップのための処理は他の装置で実行するようにして、トレーニングステップによって得られたデータを記憶媒体１０３に記録しておくようにしてもよい。この場合は、画像処理装置１００でのトレーニングステップのための処理は不要となる。 (2) In the above-described embodiment, an example in which the control device 102 executes the processing for the training step in the image processing device 100 has been described. However, the processing for the training step may be executed by another device, and the data obtained by the training step may be recorded in the storage medium 103. In this case, the processing for the training step in the image processing device 100 becomes unnecessary.

（３）上述した実施の形態では、制御装置１０２は、結合処理３ｊによって、式（２）に示した結合関数Cを用いて診断用画像を生成するようにし、結合関数Ｃは、逆変換後のすべての検出結果画像において、各ピクセル位置における画素値の最小値をその画素の画素値として診断用画像を生成するための関数である例について説明した。しかしながら、結合関数Ｃは式（２）に限定されない。例えば、結合関数Ｃは、逆変換後のすべての検出結果画像において、各ピクセル位置における画素値の平均値を算出し、算出した平均値をその画素の画素値として診断用画像を生成するための関数であってもよい。 (3) In the above-described embodiment, the control device 102 uses the coupling process 3j to generate a diagnostic image using the coupling function C shown in the equation (2), and the coupling function C is after inverse conversion. An example of a function for generating a diagnostic image with the minimum value of the pixel value at each pixel position as the pixel value of the pixel in all the detection result images of is described. However, the coupling function C is not limited to the equation (2). For example, the coupling function C calculates the average value of the pixel values at each pixel position in all the detection result images after the inverse conversion, and uses the calculated average value as the pixel value of the pixel to generate a diagnostic image. It may be a function.

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。 The present invention is not limited to the configuration in the above-described embodiment as long as the characteristic functions of the present invention are not impaired. Further, the configuration may be a combination of the above-described embodiment and a plurality of modified examples.

１００画像処理装置
１０１操作部材
１０２制御装置
１０３記憶媒体
１０４表示装置 100 Image processing device 101 Operation member 102 Control device 103 Storage medium 104 Display device

Claims

A conversion image generation means that performs image processing on the input medical image to generate a plurality of conversion images,
Detection result image generation means for generating a plurality of detection result images by extracting a difference portion from a medical image obtained by photographing a healthy person as an abnormal portion for each of a plurality of converted images generated by the converted image generation means. When,
For each of the plurality of detection result images generated by the detection result image generation means, the reverse conversion of the image processing performed by the conversion image generation means is executed to generate the detection result image after the reverse conversion. Conversion means and
A diagnostic image generating means for generating a diagnostic image for estimating an abnormal part of a patient who has taken the medical image based on the detection result image after the inverse conversion generated by the inverse conversion means is provided. An image processing device as a feature.

In the image processing apparatus according to claim 1,
An image processing device further comprising an image display means for displaying the diagnostic image generated by the diagnostic image generation means on a display device.

In the image processing apparatus according to claim 1 or 2.
The converted image generation means is an image processing apparatus characterized in that image processing is performed on an input medical image by a preset conversion method to generate a plurality of converted images.

In the image processing apparatus according to any one of claims 1 to 3.
The detection result image generation means trains the image pattern of the converted image generated based on the medical image having no abnormality, and restores and outputs the converted image in the medical image having no abnormality with respect to the input converted image. An image characterized in that the converted image is input to the auto-encoder configured to perform the above operation, and a difference image obtained by calculating the difference between the input image and the output image to the auto-encoder is generated as the detection result image. Processing equipment.

In the image processing apparatus according to any one of claims 1 to 4.
The diagnostic image generation means is an image in which the minimum value of the pixel value at each pixel position is selected in all the detection result images after the inverse conversion generated by the inverse conversion means, or the average of the pixel values at each pixel position. An image processing apparatus characterized in that any of the images for which the values have been calculated is generated as the diagnostic image.

A conversion image generation means that performs image processing on the input medical image to generate a plurality of conversion images,
Detection result image generation means for generating a plurality of detection result images by extracting a difference portion from a medical image obtained by photographing a healthy person as an abnormal portion for each of a plurality of converted images generated by the converted image generation means. When,
For each of the plurality of detection result images generated by the detection result image generation means, the reverse conversion of the image processing performed by the conversion image generation means is executed to generate the detection result image after the reverse conversion. Conversion means and
A diagnostic image generating means for generating a diagnostic image for estimating an abnormal part of a patient who has taken the medical image based on the detection result image after the inverse conversion generated by the inverse conversion means is provided. An image processing system that features it.

In the image processing system according to claim 6,
An image processing system further comprising an image display means for displaying the diagnostic image generated by the diagnostic image generation means on a display device.

In the image processing system according to claim 6 or 7.
The converted image generation means is an image processing system characterized in that a plurality of converted images are generated by performing image processing on an input medical image by a preset conversion method.

In the image processing system according to any one of claims 6 to 8.
The detection result image generation means trains the image pattern of the converted image generated based on the medical image having no abnormality, and restores and outputs the converted image in the medical image having no abnormality with respect to the input converted image. An image characterized in that the converted image is input to the auto-encoder configured to perform the above operation, and a difference image obtained by calculating the difference between the input image and the output image to the auto-encoder is generated as the detection result image. Processing system.

In the image processing system according to any one of claims 6 to 9,
The diagnostic image generation means is an image in which the minimum value of the pixel value at each pixel position is selected in all the detection result images after the inverse conversion generated by the inverse conversion means, or the average of the pixel values at each pixel position. An image processing system characterized in that any of the images for which the values have been calculated is generated as the diagnostic image.

A conversion image generation procedure that performs image processing on the input medical image to generate multiple conversion images,
For each of the plurality of converted images generated in the converted image generation procedure, the detection result image generation procedure for generating a plurality of detection result images by extracting the difference portion from the medical image obtained by photographing a healthy person as an abnormal portion. ,
For each of the plurality of detection result images generated in the detection result image generation procedure, the reverse conversion of the image processing performed in the conversion image generation procedure is executed to generate the detection result image after the reverse conversion. Procedure and
A computer is made to execute a diagnostic image generation procedure for generating a diagnostic image for estimating an abnormal part of a patient who has taken the medical image based on the detection result image after the reverse conversion generated in the reverse conversion procedure. Image processing program for.

In the image processing program according to claim 11,
An image processing program further comprising an image display procedure for displaying the diagnostic image generated in the diagnostic image generation procedure on a display device.

In the image processing program according to claim 11 or 12.
The converted image generation procedure is an image processing program characterized in that a plurality of converted images are generated by performing image processing on an input medical image by a preset conversion method.

In the image processing program according to any one of claims 11 to 13.
The detection result image generation procedure trains the image pattern of the converted image generated based on the medical image having no abnormality, and restores and outputs the converted image in the medical image having no abnormality with respect to the input converted image. An image characterized in that the converted image is input to the auto-encoder configured to perform the above operation, and a difference image obtained by calculating the difference between the input image and the output image to the auto-encoder is generated as the detection result image. Processing program.

In the image processing program according to any one of claims 11 to 14.
In the diagnostic image generation procedure, the minimum value of the pixel value at each pixel position is selected from all the detection result images after the inverse conversion generated by the inverse conversion procedure, or the average value of the pixel values at each pixel position. An image processing program characterized in that any one of the calculated images is generated as the diagnostic image.