JP2020067865A - Image processing apparatus, image processing system, and image processing program - Google Patents

Image processing apparatus, image processing system, and image processing program Download PDF

Info

Publication number
JP2020067865A
JP2020067865A JP2018200728A JP2018200728A JP2020067865A JP 2020067865 A JP2020067865 A JP 2020067865A JP 2018200728 A JP2018200728 A JP 2018200728A JP 2018200728 A JP2018200728 A JP 2018200728A JP 2020067865 A JP2020067865 A JP 2020067865A
Authority
JP
Japan
Prior art keywords
image
input
difference
abnormality
variance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018200728A
Other languages
Japanese (ja)
Other versions
JP6621117B1 (en
Inventor
クワイ ベン フェルナンド ハビエル ウォン
Javier Wong Kwai Ben Fernando
クワイ ベン フェルナンド ハビエル ウォン
ヒラルド ホラシオ サンソン
Sanson Giraldo Horacio
ヒラルド ホラシオ サンソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Allm Inc
Original Assignee
Allm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Allm Inc filed Critical Allm Inc
Priority to JP2018200728A priority Critical patent/JP6621117B1/en
Application granted granted Critical
Publication of JP6621117B1 publication Critical patent/JP6621117B1/en
Publication of JP2020067865A publication Critical patent/JP2020067865A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

To provide an image processing apparatus capable of extracting an abnormal part from a medical image, image processing system, and an image processing program.SOLUTION: The image processing apparatus includes: an autoencoder configured to restore a medical image that is normal with respect to an input medical image and output the same; a dispersion estimation unit configured to output the dispersion of the anomalous image for the input medical image; image input acceptance means that accepts the input of the medical image of a person to be diagnosed; difference map generation means that calculates the difference between the input image and the restored image output by the autoencoder, and generates a difference map; standard deviation calculation means that calculates the standard deviation on the basis of the estimated dispersion output from the dispersion estimation unit; and diagnostic result image generation means configured to extract the difference between the input image and the restored image on the basis of the difference map and standard deviation and generate a diagnostic result image reduced with the differences other than the characteristic differences included in the input image.SELECTED DRAWING: Figure 8

Description

本発明は、画像処理装置、画像処理システム、および画像処理プログラムに関する。   The present invention relates to an image processing device, an image processing system, and an image processing program.

次のような生体画像処理装置が知られている。この生体画像処理装置では、目的物を含む生体画像である入力用訓練画像、目的物を含まない生体画像である出力用訓練画像、及び目的物を含む生体画像である入力画像を受け付け、入力用訓練画像及び出力用訓練画像を用いて、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習し、学習結果であるニューラルネットワークの画像処理を用いて、入力画像から目的物を除去した出力画像を生成する(例えば、特許文献1)。   The following biometric image processing devices are known. This biometric image processing apparatus accepts an input training image that is a biometric image that includes a target object, an output training image that is a biometric image that does not include the target object, and an input image that is a biometric image that includes the target object, Using the training image and the training image for output, learn a neural network that performs image processing to generate a biometric image that does not include the target from the biometric image that includes the target, and use the image processing of the neural network that is the learning result. An output image is generated by removing the object from the input image (for example, Patent Document 1).

特開2018−89301号公報JP, 2018-89301, A

従来の生体画像処理装置では、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習し、学習結果であるニューラルネットワークの画像処理を用いて、入力画像から目的物を除去した出力画像を生成していた。しかしながら、画像を用いた診断では、医療用画像の中から異常がある可能性がある部位を見つけ出すことが求められることも多い。このため、異常がない人物の画像を学習させておき、その学習結果を用いて、異常がある人物の画像を入力したときに、異常部位の特定を支援することができる仕組みが求められているが、従来の技術では、その点については何ら検討されていなかった。   In a conventional biometric image processing apparatus, a neural network that performs image processing to generate a biometric image that does not include a target from a biometric image that includes a target is learned, and the image processing of the neural network that is the learning result is used to input the input image. The target image was removed from the output image. However, in the diagnosis using images, it is often required to find a site having a possibility of abnormality in the medical image. Therefore, there is a demand for a mechanism that can learn the image of a person without any abnormality and use the learning result to assist in identifying the abnormal portion when the image of the person with abnormality is input. However, in the conventional technology, no consideration has been given to that point.

本発明による画像処理装置は、異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダと、異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手段と、画像入力受付手段によって入力された入力画像と、入力画像を入力した結果としてオートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、入力画像を入力した結果として分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、差分マップ生成手段によって生成された差分マップと標準偏差算出手段によって算出された標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備えることを特徴とする。
本発明による画像処理システムは、異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダと、異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手段と、画像入力受付手段によって入力された入力画像と、入力画像を入力した結果としてオートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、入力画像を入力した結果として分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、差分マップ生成手段によって生成された差分マップと標準偏差算出手段によって算出された標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備えることを特徴とする。
本発明による画像処理プログラムは、診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手順と、異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダに画像入力手順で入力を受け付けた入力画像を入力して、オートエンコーダによる復元画像を得る復元画像取得手順と、画像入力手順で入力を受け付けた入力画像と復元画像取得手順で取得した復元画像との差分を算出して差分マップを生成する差分マップ生成手順と、異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器に画像入力手順で入力を受け付けた入力画像を入力して、分散推定器による推定分散を得る推定分散取得手順と、推定分散取得手順で取得した推定分散に基づいて標準偏差を算出する標準偏差算出手順と、差分マップ生成手順で生成した差分マップと標準偏差算出手順で算出した標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手順とをコンピュータに実行させるためのプログラムである。
An image processing apparatus according to the present invention is an auto encoder configured to learn an image pattern of a medical image having no abnormality and restore and output a medical image having no abnormality with respect to an input medical image. Input the medical image of the diagnosis target person, and the variance estimator configured to learn the variance of the medical image without abnormality and output the variance of the image without abnormality with respect to the input medical image An image input receiving unit that receives an input as an image, a difference between an input image input by the image input receiving unit and a restored image output by the auto encoder as a result of inputting the input image is calculated to generate a difference map. Difference map generating means, standard deviation calculating means for calculating the standard deviation based on the estimated variance output from the variance estimator as a result of inputting the input image, and the difference map Based on the difference map generated by the generating means and the standard deviation calculated by the standard deviation calculating means, the difference portion between the input image and the restored image is extracted, and the difference portion other than the characteristic difference portion included in the input image is extracted. And a diagnostic result image generating means for generating a diagnostic result image with reduced noise.
An image processing system according to the present invention includes an automatic encoder configured to learn an image pattern of a medical image having no abnormality and restore and output a medical image having no abnormality with respect to an input medical image. Input the medical image of the diagnosis target person, and the variance estimator configured to learn the variance of the medical image without abnormality and output the variance of the image without abnormality with respect to the input medical image An image input acceptance unit that accepts an input as an image, an input image input by the image input acceptance unit, and a difference between the restored image output by the auto encoder as a result of inputting the input image are calculated to generate a difference map. Difference map generating means, standard deviation calculating means for calculating standard deviation based on the estimated variance output from the variance estimator as a result of inputting the input image, and the difference Based on the standard deviation calculated by the standard deviation calculating unit and the difference map generated by the step-up generating unit, the difference portion between the input image and the restored image is extracted, and the difference portion other than the characteristic difference portion included in the input image is extracted. Diagnostic result image generating means for generating a diagnostic result image in which the difference is reduced.
An image processing program according to the present invention, an image input acceptance procedure for accepting an input of a medical image of a person to be diagnosed as an input image, and an image pattern of a medical image having no abnormality is learned, and an input medical image is input. Input the input image received in the image input procedure to the auto encoder configured to restore and output a medical image with no abnormality, and obtain the restored image by the auto encoder. The difference map generation procedure that calculates the difference between the input image received in the procedure and the restored image acquired in the restored image acquisition procedure and the difference map generation procedure to learn the variance of the medical image without abnormality and input Input the input image accepted in the image input procedure to the variance estimator configured to output the variance of the image that is normal to the medical image. Estimated variance acquisition procedure to obtain estimated variance by variance estimator, standard deviation calculation procedure to calculate standard deviation based on estimated variance acquired in estimated variance acquisition procedure, difference map generated in difference map generation procedure and standard deviation calculation Based on the standard deviation calculated in the procedure, the diagnostic result image that generates the diagnostic result image in which the differential part between the input image and the restored image is extracted and the differential part other than the characteristic differential part included in the input image is reduced A program for causing a computer to execute the generation procedure.

本発明によれば、異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダを用いて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成することができるため、医療用画像を用いた異常部位の特定を支援することができる。   According to the present invention, an auto encoder configured to learn an image pattern of a medical image having no abnormality and restore and output a medical image having no abnormality with respect to an input medical image is used. , It is possible to extract the difference part between the input image and the restored image and generate the diagnosis result image in which the difference part other than the characteristic difference part included in the input image is reduced. It can assist in the identification of the part.

画像処理装置100の一実施の形態の構成を示すブロック図である。1 is a block diagram showing the configuration of an embodiment of an image processing device 100. FIG. オートエンコーダによる処理の流れを模式的に示した図である。It is the figure which showed the flow of the process by an auto encoder typically. 分散推定器による処理の流れを模式的に示した図である。It is the figure which showed typically the flow of a process by a dispersion estimator. 差分マップの作成方法を模式的に示した図である。It is the figure which showed typically the preparation method of a difference map. 差分マップと推定標準偏差を用いて異常部位以外の差異部分を低減するための方法を模式的に示した図である。It is the figure which showed typically the method for reducing the difference part other than an abnormal part using a difference map and estimated standard deviation. トレーニングステップと推定ステップの流れを一つにまとめて模式的に示した図である。It is the figure which summarized the flow of a training step and an estimation step into one, and was shown typically. トレーニングステップの流れを示すフローチャート図である。It is a flowchart figure which shows the flow of a training step. 推定ステップの流れを示すフローチャート図である。It is a flowchart figure which shows the flow of an estimation step.

図1は、本実施の形態における画像処理装置100の一実施の形態の構成を示すブロック図である。画像処理装置100は、あらかじめ撮影された医療用画像、例えば、MRI画像、CT画像、X線画像を用いて、医療用画像内から異常部位を抽出し、視覚化するための処理を実行する。画像処理装置100としては、例えばサーバ装置やパソコンなどが用いられる。図1は、本実施の形態における画像処理装置100として、パソコンを用いた場合の一実施の形態の構成を示すブロック図である。   FIG. 1 is a block diagram showing a configuration of an embodiment of an image processing apparatus 100 according to the present embodiment. The image processing apparatus 100 executes a process for extracting and visualizing an abnormal part from a medical image using a medical image captured in advance, for example, an MRI image, a CT image, and an X-ray image. As the image processing device 100, for example, a server device or a personal computer is used. FIG. 1 is a block diagram showing the configuration of an embodiment in which a personal computer is used as the image processing apparatus 100 in this embodiment.

画像処理装置100は、操作部材101と、制御装置102と、記憶媒体103と、表示装置104とを備えている。   The image processing apparatus 100 includes an operation member 101, a control device 102, a storage medium 103, and a display device 104.

操作部材101は、画像処理装置100の操作者によって操作される種々の装置、例えばキーボードやマウスを含む。   The operation member 101 includes various devices operated by an operator of the image processing apparatus 100, such as a keyboard and a mouse.

制御装置102は、CPU、メモリ、およびその他の周辺回路によって構成され、画像処理装置100の全体を制御する。なお、制御装置102を構成するメモリは、例えばSDRAM等の揮発性のメモリである。このメモリは、CPUがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。例えば、接続インターフェース102を介して読み込まれたデータは、バッファメモリに一時的に記録される。   The control device 102 includes a CPU, a memory, and other peripheral circuits, and controls the entire image processing device 100. The memory forming the control device 102 is a volatile memory such as an SDRAM. This memory is used as a work memory for the CPU to expand the program when the program is executed and a buffer memory for temporarily recording data. For example, the data read via the connection interface 102 is temporarily recorded in the buffer memory.

記憶媒体103は、画像処理装置100が蓄える種々のデータや、制御装置102が実行するためのプログラムのデータ等を記録するための記憶媒体であり、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等が用いられる。なお、記憶媒体103に記録されるプログラムのデータは、CD−ROMやDVD−ROMなどの記録媒体に記録されて提供されたり、ネットワークを介して提供され、操作者が取得したプログラムのデータを記憶媒体103にインストールすることによって、制御装置102がプログラムを実行できるようになる。本実施の形態では、以下に説明する処理で用いるプログラムや種々のデータは、記憶媒体103に記録されている。   The storage medium 103 is a storage medium for recording various data stored in the image processing apparatus 100, data of a program to be executed by the control apparatus 102, and the like, and is, for example, an HDD (Hard Disk Drive) or SSD (Solid State). Drive) or the like is used. The program data recorded in the storage medium 103 is provided by being recorded in a recording medium such as a CD-ROM or a DVD-ROM or provided via a network, and stores the program data acquired by the operator. Installation on the medium 103 allows the controller 102 to execute the program. In the present embodiment, programs and various data used in the processing described below are recorded in the storage medium 103.

表示装置104は、例えば液晶モニタであって、制御装置102から出力される種々の表示用データが表示される。   The display device 104 is, for example, a liquid crystal monitor, and displays various display data output from the control device 102.

本実施の形態では、事前に、異常が存在しない医療用画像、すなわち異常がない患者の特定部位を撮影した医療用画像を取り込んで、異常が存在しない医療用画像の画像パターンと画素の分散を学習するためのトレーニングステップが実行される。異常が存在しない医療用画像は、画像内に医学的に異常と認められる部位を含まない画像であって、例えば、医学的に異常がみられない人物の特定部位を撮影した画像、すなわち正常な患者の特定部位を撮影した画像が用いられる。以下、本実施の形態におけるトレーニングステップについて説明する。   In the present embodiment, in advance, a medical image having no abnormality, that is, a medical image obtained by capturing a specific region of a patient having no abnormality is captured, and the image pattern and pixel distribution of the medical image having no abnormality are dispersed. Training steps for learning are performed. A medical image in which there is no abnormality is an image that does not include a site recognized as medically abnormal in the image, for example, an image obtained by photographing a specific region of a person who does not have a medical abnormality, that is, a normal image. An image obtained by photographing a specific part of the patient is used. The training steps in the present embodiment will be described below.

トレーニングステップでは、上述したように、異常が存在しない医療用画像が入力画像として用いられる。制御装置102は、医療用画像が入力されると、あらかじめ用意されたオートエンコーダに医療用画像を入力して、オートエンコーダに、異常が存在しない医療用画像データの画像パターンを学習させる。なお、オートエンコーダは、入力と出力が同じになるようにニューラルネットワークを学習させることができるため、本実施の形態では、トレーニングステップにおいて、オートエンコーダーに異常が存在しない医療用画像の画像パターンを学習させておくことにより、後述する推定ステップにおいて画像が入力された際に、異常が存在しない出力画像を出力するように構成することができる。なお、オートエンコーダーは公知の技術であるため本実施の形態では詳細な説明は省略するが、ここでは例えばディープ・オートエンコーダを想定する。   In the training step, as described above, the medical image having no abnormality is used as the input image. When the medical image is input, the control device 102 inputs the medical image into an auto encoder prepared in advance, and causes the auto encoder to learn an image pattern of medical image data in which no abnormality exists. Since the auto encoder can train the neural network so that the input and the output are the same, in the present embodiment, in the training step, the image pattern of the medical image having no abnormality in the auto encoder is learned. By doing so, when an image is input in the estimation step described later, it is possible to output an output image without any abnormality. It should be noted that since the auto encoder is a known technique, detailed description thereof will be omitted in the present embodiment, but here, for example, a deep auto encoder is assumed.

図2は、オートエンコーダ(Auto−encoder)による処理の流れを模式的に示した図である。オートエンコーダに入力画像Xhが入力されると、エンコーダEncが高次元の入力画像Xhを低次元の潜在表現(latent representation)zに変換し、デコーダDecが低次元の潜在表現zを高次元の復元画像X´hに変換する。   FIG. 2 is a diagram schematically showing a flow of processing by an auto encoder (Auto-encoder). When the input image Xh is input to the auto encoder, the encoder Enc converts the high-dimensional input image Xh into a low-dimensional latent representation z, and the decoder Dec converts the low-dimensional latent expression z into a high-dimensional reconstruction. Convert to image X'h.

制御装置102は、損失L=d(X´h,Xh)があらかじめ設定されている閾値以下になるまで、オートエンコーダの演算に用いるパラメータである重みを調整しながら上記の変換処理を繰り返す。制御装置102は、損失Lがあらかじめ設定されている閾値以下になったときに設定されていた重み値をオートエンコーダの重みとして設定する。これによって、オートエンコーダに、入力画像に対して異常が存在しない画像を出力するように学習させることができる。   The control device 102 repeats the above conversion process while adjusting the weight, which is a parameter used in the calculation of the auto encoder, until the loss L = d (X′h, Xh) becomes equal to or less than a preset threshold value. The control device 102 sets the weight value set when the loss L becomes equal to or less than the preset threshold value as the weight of the auto encoder. As a result, the auto encoder can be made to learn to output an image in which there is no abnormality with respect to the input image.

また、エンコーダEncによって変換された潜在表現zは、図3に示す分散推定器DecVに入力される。図3は分散推定器DecVによる処理の流れを模式的に示した図である。分散推定器DecVでは、入力された潜在表現zを変換して復元画像X´hを得て、復元画像X´hの分散Vhを推定する。   The latent expression z converted by the encoder Enc is input to the variance estimator DecV shown in FIG. FIG. 3 is a diagram schematically showing the flow of processing by the variance estimator DecV. The variance estimator DecV transforms the input latent expression z to obtain a restored image X′h, and estimates the variance Vh of the restored image X′h.

制御装置102は、損失Lv=d(Vh,d(X´h,Xh))があらかじめ設定されている閾値以下になるまで、分散推定器DecVの演算に用いるパラメータである重みを調整しながら分散の推定処理を繰り返す。制御装置102は、損失Lvがあらかじめ設定されている閾値以下になったときに設定されていた重み値を散推定器DecVの重みとして設定する。これによって、分散推定器DecVに、入力画像に対して異常が存在しない画像の分散を推定した画像を出力するように学習させることができる。なお、図3に示すように、異常が存在しない画像の分散を推定することができれば、そこから標準偏差は容易に計算することができるため、容易に推定標準偏差Shを出力することができる。   The control device 102 adjusts the dispersion while adjusting the weight, which is a parameter used in the calculation of the dispersion estimator DecV, until the loss Lv = d (Vh, d (X′h, Xh)) becomes equal to or less than a preset threshold value. The estimation process of is repeated. The control device 102 sets the weight value set when the loss Lv becomes equal to or less than the preset threshold value as the weight of the dispersion estimator DecV. As a result, the variance estimator DecV can be trained to output an image in which the variance of an image in which there is no abnormality with respect to the input image is estimated. Note that, as shown in FIG. 3, if the variance of an image in which there is no abnormality can be estimated, the standard deviation can be easily calculated from the variance, and thus the estimated standard deviation Sh can be easily output.

以上に説明したトレーニングステップが完了すると、診断対象患者の医療用画像を入力して、その医療用画像内から異常部位を抽出した画像を出力するための推定ステップを実行することが可能となる。すなわち、推定ステップを実行するためには上述したトレーニングステップが完了している必要があるため、推定ステップを実行する際には、図2に示したオートエンコーダは、入力画像Xhが入力されると、異常が存在しない画像を復元画像X´hとして出力するように学習が完了しており、図3に示した分散推定器DecVは、入力画像Xhに対して異常が存在しない復元画像X´hの分散を推定分散Vhとして出力するように学習が完了している。   When the training steps described above are completed, it is possible to input the medical image of the patient to be diagnosed and execute the estimation step for outputting the image in which the abnormal part is extracted from the medical image. That is, since the training step described above needs to be completed in order to execute the estimation step, when the input image Xh is input to the auto encoder shown in FIG. 2 when the estimation step is executed. , Learning has been completed so as to output an image having no abnormality as the restored image X′h, and the variance estimator DecV shown in FIG. Learning is completed so that the variance of is output as the estimated variance Vh.

例えば、図4に示すように、オートエンコーダーに異常部位4aを有する患者の脳画像を入力画像Xaを入力すると、異常部位がない画像が復元画像X´aとして出力される。このため、入力画像Xaと復元画像X´aの差分をとれば、異常部位4aを抽出した差分画像Daを生成することができる。本実施の形態では、差分画像Daを差分マップDaと呼ぶ。   For example, as shown in FIG. 4, when a brain image of a patient having an abnormal part 4a is input to the input image Xa as an input to the auto encoder, an image having no abnormal part is output as a restored image X'a. Therefore, if the difference between the input image Xa and the restored image X'a is calculated, the difference image Da in which the abnormal portion 4a is extracted can be generated. In the present embodiment, the difference image Da is called a difference map Da.

この差分マップDaを用いても患者の脳画像から異常部位4aを推定することができるが、入力画像Xaと復元画像X´aとの間には、異常部位4a以外にも差異が生じているため、差分マップDaでは、入力画像Xaに含まれる特徴的な差異部分である異常部位4a以外の差異部分も抽出されてしまう。例えば、脳画像データにおいては、正常な部位も人によって形状が違うため、その形状の違いが差分マップDa上で差異として現れてしまう。図4においても差分マップDa上には異常部位4a以外にも差分が現れている。このため、本実施の形態における推定ステップでは、分散推定器DecVの出力に基づいて求めた推定標準偏差Saを用いて、入力画像Xaに含まれる特徴的な差異部分以外の差異部分を低減するための処理を行う。   The abnormal portion 4a can be estimated from the brain image of the patient by using the difference map Da, but there is a difference between the input image Xa and the restored image X'a other than the abnormal portion 4a. Therefore, in the difference map Da, the difference portion other than the abnormal portion 4a which is the characteristic difference portion included in the input image Xa is also extracted. For example, in the brain image data, the shape of the normal part differs depending on the person, and the difference in the shape appears as a difference on the difference map Da. Also in FIG. 4, differences appear on the difference map Da in addition to the abnormal part 4a. Therefore, in the estimation step according to the present embodiment, the estimated standard deviation Sa obtained based on the output of the variance estimator DecV is used to reduce the difference portion other than the characteristic difference portion included in the input image Xa. Process.

図5は、差分マップDaと推定標準偏差Saを用いて異常部位4a以外の差異部分を低減するための方法を模式的に示した図である。制御装置102は、図5に示すように、差分マップDaと推定標準偏差Saを次式(1)に示す計算式を用いて演算を行うことにより、画像上に現れる異常部位4a以外の差異部分を低減することができる。図5では、その結果を示す診断結果画像として、標準スコアマップZSaを得ている。
ZSa=Da/Sa ・・・(1)
FIG. 5 is a diagram schematically showing a method for reducing the difference portion other than the abnormal portion 4a using the difference map Da and the estimated standard deviation Sa. As shown in FIG. 5, the control device 102 calculates the difference map Da and the estimated standard deviation Sa by using the calculation formula shown in the following formula (1) to obtain a difference portion other than the abnormal portion 4a appearing on the image. Can be reduced. In FIG. 5, a standard score map ZSa is obtained as a diagnostic result image showing the result.
ZSa = Da / Sa (1)

制御装置102は、演算によって得た標準スコアマップZSaを表示装置104に出力して表示する。これによって、画像処理装置100操作者は、患者の医療用画像、例えば脳画像を画像処理装置100に取り込んで入力することにより、異常部位がない正常状態の脳画像との差異部分が異常部位として抽出された標準スコアマップを表示装置104上で確認することができるため、患者の脳に異常がないか診断することができる。   The control device 102 outputs the standard score map ZSa obtained by the calculation to the display device 104 and displays it. Accordingly, the operator of the image processing apparatus 100 captures and inputs a medical image of a patient, for example, a brain image, into the image processing apparatus 100, and a difference portion from a brain image in a normal state without an abnormal portion is determined as an abnormal portion. Since the extracted standard score map can be confirmed on the display device 104, it is possible to diagnose whether the brain of the patient has an abnormality.

図6は、上述したトレーニングステップと推定ステップの流れを一つにまとめて模式的に示した図である。なお、図6に示した処理の流れは、図2〜図5を用いて説明した内容と同一のため説明を省略する。   FIG. 6 is a diagram schematically showing the flow of the training step and the estimation step described above in one. The processing flow shown in FIG. 6 is the same as the content described with reference to FIGS.

図7は、本実施の形態におけるトレーニングステップの流れを示すフローチャートである。図7に示す処理は、異常部位がない正常状態の医療用画像、すなわち健康な人物の脳画像が入力されると起動するプログラムとして、制御装置102によって実行される。   FIG. 7 is a flowchart showing the flow of training steps in this embodiment. The processing illustrated in FIG. 7 is executed by the control device 102 as a program that is started when a medical image in a normal state with no abnormal parts, that is, a brain image of a healthy person is input.

ステップS10において、制御装置102は、入力画像Xhをオートエンコーダに入力し、エンコーダEncによって高次元の入力画像Xhが低次元の潜在表現(latent representation)zに変換される。その後、ステップS20へ進む。   In step S10, the control device 102 inputs the input image Xh to the auto encoder, and the encoder Enc converts the high-dimensional input image Xh into a low-dimensional latent representation z. Then, it progresses to step S20.

ステップS20では、デコーダDecによって低次元の潜在表現zが高次元の復元画像X´hに変換される。その後、ステップS30へ進む。   In step S20, the low-dimensional latent representation z is converted into the high-dimensional restored image X'h by the decoder Dec. Then, it progresses to step S30.

ステップS30では、制御装置102は、上述した損失L=d(X´h,Xh)を算出する。その後、ステップS40へ進む。   In step S30, the control device 102 calculates the above-mentioned loss L = d (X'h, Xh). Then, it progresses to step S40.

ステップS40では、制御装置102は、エンコーダEncによって変換された潜在表現zを分散推定器DecVに入力し、分散推定器DecVにおいて、潜在表現zを変換して得た復元画像X´hの分散を推定した推定分散Vhを算出する。その後、ステップS50へ進む。   In step S40, the control device 102 inputs the latent expression z converted by the encoder Enc to the variance estimator DecV, and the variance estimator DecV calculates the variance of the restored image X′h obtained by transforming the latent expression z. The estimated estimated variance Vh is calculated. Then, it progresses to step S50.

ステップS50では、制御装置102は、上述した損失Lv=d(Vh,d(X´h,Xh))を算出する。その後、ステップS60へ進む。   In step S50, the control device 102 calculates the above-mentioned loss Lv = d (Vh, d (X'h, Xh)). Then, it progresses to step S60.

ステップS60では、制御装置102は、損失Lと損失Lvがあらかじめ設定されている閾値以下であるか否かを判断する。ステップS60で肯定判断した場合には、そのときの重みを採用して処理を終了する。これに対して、ステップS60で否定判断した場合には、ステップS70へ進む。   In step S60, the control device 102 determines whether the loss L and the loss Lv are equal to or less than a preset threshold value. If an affirmative decision is made in step S60, the weighting at that time is adopted and the processing ends. On the other hand, if a negative decision is made in step S60, the operation proceeds to step S70.

ステップS70では、制御装置102は、上述したように、オートエンコーダと分散推定器の重みを調整して、ステップS10へ戻る。   In step S70, the control device 102 adjusts the weights of the auto encoder and the variance estimator as described above, and returns to step S10.

図8は、本実施の形態における推定ステップの流れを示すフローチャートである。図8に示す処理は、診断対象患者の医療用画像が入力されると起動するプログラムとして、制御装置102によって実行される。   FIG. 8 is a flowchart showing the flow of the estimation step in this embodiment. The processing illustrated in FIG. 8 is executed by the control device 102 as a program that is activated when a medical image of a diagnosis target patient is input.

ステップS110において、制御装置102は、入力画像Xaをオートエンコーダに入力し、エンコーダEncによって高次元の入力画像Xaが低次元の潜在表現(latent representation)zに変換される。その後、ステップS120へ進む。   In step S110, the control device 102 inputs the input image Xa into an auto encoder, and the encoder Enc converts the high-dimensional input image Xa into a low-dimensional latent representation z. Then, it progresses to step S120.

ステップS120では、デコーダDecによって低次元の潜在表現zが高次元の復元画像X´aに変換される。その後、ステップS130へ進む。   In step S120, the low-dimensional latent representation z is converted into the high-dimensional restored image X'a by the decoder Dec. Then, it progresses to step S130.

ステップS130では、制御装置102は、上述したように、入力画像Xaと復元画像X´aの差分をとって差分マップDaを生成する。その後、ステップS140へ進む。   In step S130, the control device 102 takes the difference between the input image Xa and the restored image X′a to generate the difference map Da, as described above. Then, it progresses to step S140.

ステップS140では、制御装置102は、エンコーダEncによって変換された潜在表現zを分散推定器DecVに入力し、分散推定器DecVにおいて、潜在表現zを変換して得た復元画像X´aの推定分散Vaを算出する。その後、ステップS150へ進む。   In step S140, the control device 102 inputs the latent expression z converted by the encoder Enc to the variance estimator DecV, and the variance estimator DecV estimates the estimated variance of the restored image X′a obtained by transforming the latent expression z. Calculate Va. Then, it progresses to step S150.

ステップS150では、制御装置102は、算出した推定分散Vaに基づいて、推定標準偏差Saを算出する。その後、ステップS160へ進む。   In step S150, the control device 102 calculates the estimated standard deviation Sa based on the calculated estimated variance Va. Then, it progresses to step S160.

ステップS160では、制御装置102は、式(1)により標準スコアマップZSaを算出する。その後、ステップS170へ進む。   In step S160, the control device 102 calculates the standard score map ZSa by the formula (1). Then, it progresses to step S170.

ステップS170では、制御装置102は、演算によって得た標準スコアマップZSaを表示装置104に出力して表示する。その後、処理を終了する。   In step S170, the control device 102 outputs and displays the standard score map ZSa obtained by the calculation on the display device 104. Then, the process ends.

以上説明した実施の形態によれば、以下のような作用効果を得ることができる。
(1)制御装置102は、診断対象者の医療用画像を入力画像として入力を受け付け、異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダに入力画像を入力して、オートエンコーダによる復元画像を得て、入力画像と復元画像との差分を算出して差分マップを生成するようにした。制御装置102は、異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器に入力画像を入力して、分散推定器による推定分散を得て、取得した推定分散に基づいて標準偏差を算出し、差分マップと標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成するようにした。これによって、医師等が、入力された医療用画像から正常な患者にはみられない異常部位を特定して診断を行うことを支援することができる。また、入力画像と復元画像との差分を算出して得た差分マップでも異常部位を抽出することは可能であるが、上述した式(1)により標準偏差も加味した診断結果画像を生成するようにしたので、画像上に現れる患者ごとに異なる正常部位の影響を低減して、異常部位である可能性が高い部位を明確化した診断結果画像を生成することができる。
According to the embodiment described above, the following operational effects can be obtained.
(1) The control device 102 receives an input of a medical image of a person to be diagnosed as an input image, learns an image pattern of the medical image having no abnormality, and outputs the medical image having no abnormality to the input medical image. Input an input image to an auto encoder configured to restore and output an image, obtain a restored image by the auto encoder, calculate a difference between the input image and the restored image, and generate a difference map. did. The control device 102 inputs the input image to a variance estimator configured to train the variance of the medical image having no abnormality and output the variance of the image having no abnormality with respect to the input medical image. , The estimated variance by the variance estimator is obtained, the standard deviation is calculated based on the obtained estimated variance, and the difference part between the input image and the restored image is extracted based on the difference map and the standard deviation and included in the input image. The diagnostic result image in which the difference portion other than the characteristic difference portion is reduced is generated. This can assist a doctor or the like in identifying an abnormal site not found in a normal patient from the input medical image and making a diagnosis. Further, although it is possible to extract the abnormal portion with the difference map obtained by calculating the difference between the input image and the restored image, it is possible to generate the diagnosis result image in which the standard deviation is also added by the above-mentioned formula (1). Therefore, it is possible to reduce the influence of the normal site that appears on the image and that is different for each patient, and to generate the diagnostic result image in which the site that is likely to be the abnormal site is clarified.

(2)制御装置102は、生成した診断結果画像を表示装置104に表示するようにした。これによって、医師等の操作者は、診断結果画像を表示装置104上で確認することができる。 (2) The control device 102 displays the generated diagnostic result image on the display device 104. As a result, an operator such as a doctor can confirm the diagnosis result image on the display device 104.

(3)オートエンコーダでは、入力された医療用画像と出力される画像との差が所定の閾値になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医療用画像の画像パターンを学習させるようにした。これによって、オートエンコーダの学習精度を向上させて、様々な画像が入力された場合でも異常がない状態の医療用画像を復元画像として出力させることができる。 (3) The automatic encoder repeats the process while changing the value of the parameter used in the calculation until the difference between the input medical image and the output image reaches a predetermined threshold value, thereby obtaining a medical image having no abnormality. I tried to learn the image pattern. As a result, the learning accuracy of the auto encoder can be improved, and a medical image in a normal state can be output as a restored image even when various images are input.

―変形例―
なお、上述した実施の形態の画像処理システムは、以下のように変形することもできる。
(1)上述した実施の形態では、画像処理装置100はパソコンであって、制御装置102が上述した処理を実行する例について説明した。しかしながら、操作者が操作する端末からインターネットなどの通信回線を介して画像処理装置100へ接続できるようにし、上述した入力画像XhやXaは、操作端末から画像処理装置100へ送信されることにより入力されてもよい。また、その場合は、診断対象者の画像上の異常部位を表示した標準スコアマップZSaは、操作端末に送信して、操作端末上で表示されるようにしてもよい。これによって、操作端末と画像処理装置100とを通信回線を介して接続することで、クライアントサーバー型やクラウド型の画像処理システムを構築することができる一方で、画像処理装置100を単体で用いることにより、スタンドアロン型の装置として利用することもできる。
-Modification-
The image processing system according to the above-described embodiment can be modified as follows.
(1) In the above-described embodiment, the example in which the image processing apparatus 100 is a personal computer and the control apparatus 102 executes the above-described processing has been described. However, the terminal operated by the operator is allowed to connect to the image processing apparatus 100 via a communication line such as the Internet, and the above-described input images Xh and Xa are input by being transmitted to the image processing apparatus 100 from the operation terminal. May be done. Further, in that case, the standard score map ZSa displaying the abnormal part on the image of the diagnosis target person may be transmitted to the operation terminal and displayed on the operation terminal. Thus, by connecting the operation terminal and the image processing apparatus 100 via the communication line, a client-server type or cloud type image processing system can be constructed, while the image processing apparatus 100 is used alone. It can also be used as a stand-alone device.

(2)上述した実施の形態では、トレーニングステップのための処理は、画像処理装置100で制御装置102が実行する例について説明した。しかしながら、トレーニングステップのための処理は他の装置で実行するようにして、トレーニングステップによって得られたデータを記憶媒体103に記録しておくようにしてもよい。この場合は、画像処理装置100でのトレーニングステップのための処理は不要となる。 (2) In the above-described embodiment, the processing for the training step is described as an example in which the control device 102 executes the image processing device 100. However, the processing for the training step may be executed by another device, and the data obtained by the training step may be recorded in the storage medium 103. In this case, the processing for the training step in the image processing apparatus 100 becomes unnecessary.

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。   The present invention is not limited to the configurations of the above-described embodiments as long as the characteristic functions of the present invention are not impaired. Further, a configuration in which the above-described embodiment and a plurality of modified examples are combined may be adopted.

100 画像処理装置
101 操作部材
102 制御装置
103 記憶媒体
104 表示装置
100 image processing device 101 operation member 102 control device 103 storage medium 104 display device

本発明による画像処理装置は、異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダと、異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手段と、画像入力受付手段によって入力された入力画像と、入力画像を入力した結果としてオートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、入力画像を入力した結果として分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、差分マップ生成手段によって生成された差分マップと標準偏差算出手段によって算出された標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備えることを特徴とする。
本発明による画像処理システムは、異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダと、異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手段と、画像入力受付手段によって入力された入力画像と、入力画像を入力した結果としてオートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、入力画像を入力した結果として分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、差分マップ生成手段によって生成された差分マップと標準偏差算出手段によって算出された標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備えることを特徴とする。
本発明による画像処理プログラムは、診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手順と、異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダに画像入力受付手順で入力を受け付けた入力画像を入力して、オートエンコーダによる復元画像を得る復元画像取得手順と、画像入力受付手順で入力を受け付けた入力画像と復元画像取得手順で取得した復元画像との差分を算出して差分マップを生成する差分マップ生成手順と、異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器に画像入力受付手順で入力を受け付けた入力画像を入力して、分散推定器による推定分散を得る推定分散取得手順と、推定分散取得手順で取得した推定分散に基づいて標準偏差を算出する標準偏差算出手順と、差分マップ生成手順で生成した差分マップと標準偏差算出手順で算出した標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手順とをコンピュータに実行させるためのプログラムである。
An image processing apparatus according to the present invention is an auto encoder configured to learn an image pattern of a medical image having no abnormality and restore and output a medical image having no abnormality with respect to an input medical image. Input the medical image of the diagnosis target person, and the variance estimator configured to learn the variance of the medical image without abnormality and output the variance of the image without abnormality with respect to the input medical image An image input receiving unit that receives an input as an image, a difference between an input image input by the image input receiving unit and a restored image output by the auto encoder as a result of inputting the input image is calculated to generate a difference map. Difference map generating means, standard deviation calculating means for calculating the standard deviation based on the estimated variance output from the variance estimator as a result of inputting the input image, and the difference map Based on the difference map generated by the generation means and the standard deviation calculated by the standard deviation calculation means, the difference portion between the input image and the restored image is extracted, and the difference portion other than the characteristic difference portion included in the input image is extracted. And a diagnostic result image generating means for generating a diagnostic result image with reduced noise.
An image processing system according to the present invention includes an automatic encoder configured to learn an image pattern of a medical image having no abnormality and restore and output a medical image having no abnormality with respect to an input medical image. Input the medical image of the diagnosis target person, and the variance estimator configured to learn the variance of the medical image without abnormality and output the variance of the image without abnormality with respect to the input medical image An image input receiving unit that receives an input as an image, a difference between an input image input by the image input receiving unit and a restored image output by the auto encoder as a result of inputting the input image is calculated to generate a difference map. Difference map generating means, standard deviation calculating means for calculating standard deviation based on the estimated variance output from the variance estimator as a result of inputting the input image, and the difference Based on the standard deviation calculated by the standard deviation calculating unit and the difference map generated by the step-up generating unit, the difference portion between the input image and the restored image is extracted, and the difference portion other than the characteristic difference portion included in the input image is extracted. Diagnostic result image generating means for generating a diagnostic result image in which the difference is reduced.
An image processing program according to the present invention, an image input acceptance procedure for accepting an input of a medical image of a person to be diagnosed as an input image, and an image pattern of a medical image having no abnormality is learned, and an input medical image is input. Input the input image that was accepted in the image input acceptance procedure to the auto encoder configured to restore and output a medical image without abnormality, and obtain the restored image by the auto encoder. A difference map generation procedure for generating a difference map by calculating the difference between the input image received in the input reception procedure and the restored image acquired in the restored image acquisition procedure, and learning the variance of the medical image having no abnormality, input image the input of which is accepted by the image input accepting procedure configured dispersed estimator to output the variance of abnormal there is no image on the input medical image , The estimated variance acquisition procedure for obtaining the estimated variance by the variance estimator, the standard deviation calculation procedure for calculating the standard deviation based on the estimated variance acquired by the estimated variance acquisition procedure, and the difference generated by the difference map generation procedure. Based on the map and the standard deviation calculated by the standard deviation calculation procedure, the difference part between the input image and the restored image is extracted, and the diagnostic result image is obtained by reducing the difference part other than the characteristic difference part included in the input image. It is a program for causing a computer to execute the diagnostic result image generation procedure to be generated.

Claims (9)

異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダと、
異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、
診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手段と、
前記画像入力受付手段によって入力された前記入力画像と、前記入力画像を入力した結果として前記オートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、
前記入力画像を入力した結果として前記分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、
前記差分マップ生成手段によって生成された前記差分マップと前記標準偏差算出手段によって算出された前記標準偏差に基づいて、前記入力画像と前記復元画像の差異部分を抽出するとともに、前記入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備えることを特徴とする画像処理装置。
An auto encoder configured to learn an image pattern of a medical image having no abnormality and restore and output a medical image having no abnormality with respect to an input medical image,
A variance estimator configured to train the variance of the medical image having no abnormality and output the variance of the image having no abnormality with respect to the input medical image,
Image input receiving means for receiving input as a medical image of the person to be diagnosed as an input image,
A difference map generating unit that calculates a difference between the input image input by the image input receiving unit and a restored image output by the auto encoder as a result of inputting the input image;
Standard deviation calculating means for calculating a standard deviation based on the estimated variance output from the variance estimator as a result of inputting the input image;
Based on the difference map generated by the difference map generating means and the standard deviation calculated by the standard deviation calculating means, a difference portion between the input image and the restored image is extracted and included in the input image. An image processing apparatus, comprising: a diagnostic result image generating unit that generates a diagnostic result image in which a difference portion other than a characteristic difference portion is reduced.
請求項1に記載の画像処理装置において、
前記診断結果画像生成手段によって生成された前記診断結果画像を表示装置に表示する画像表示手段をさらに備えることを特徴とする画像処理装置。
The image processing apparatus according to claim 1,
The image processing apparatus further comprising image display means for displaying the diagnostic result image generated by the diagnostic result image generating means on a display device.
請求項1または2に記載の画像処理装置において、
前記オートエンコーダでは、入力された医療用画像と出力される画像との差が所定の閾値になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医療用画像の画像パターンを学習させることを特徴とする画像処理装置。
The image processing device according to claim 1,
In the auto encoder, by repeating the process while changing the value of the parameter used in the calculation until the difference between the input medical image and the output image reaches a predetermined threshold value, an image pattern of a medical image having no abnormality An image processing apparatus characterized by learning.
異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダと、
異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、
診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手段と、
前記画像入力受付手段によって入力された前記入力画像と、前記入力画像を入力した結果として前記オートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、
前記入力画像を入力した結果として前記分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、
前記差分マップ生成手段によって生成された前記差分マップと前記標準偏差算出手段によって算出された前記標準偏差に基づいて、前記入力画像と前記復元画像の差異部分を抽出するとともに、前記入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備えることを特徴とする画像処理システム。
An auto encoder configured to learn an image pattern of a medical image having no abnormality and restore and output a medical image having no abnormality with respect to an input medical image,
A variance estimator configured to train the variance of the medical image having no abnormality and output the variance of the image having no abnormality with respect to the input medical image,
Image input receiving means for receiving input as a medical image of the person to be diagnosed as an input image,
A difference map generating unit that calculates a difference between the input image input by the image input receiving unit and a restored image output by the auto encoder as a result of inputting the input image;
Standard deviation calculating means for calculating a standard deviation based on the estimated variance output from the variance estimator as a result of inputting the input image;
Based on the difference map generated by the difference map generating means and the standard deviation calculated by the standard deviation calculating means, a difference portion between the input image and the restored image is extracted and included in the input image. An image processing system, comprising: a diagnostic result image generating unit that generates a diagnostic result image in which a difference portion other than a characteristic difference portion is reduced.
請求項4に記載の画像処理システムにおいて、
前記診断結果画像生成手段によって生成された前記診断結果画像を表示装置に表示する画像表示手段をさらに備えることを特徴とする画像処理システム。
The image processing system according to claim 4,
The image processing system further comprising image display means for displaying the diagnostic result image generated by the diagnostic result image generating means on a display device.
請求項4または5に記載の画像処理システムにおいて、
前記オートエンコーダでは、入力された医療用画像と出力される画像との差が所定の閾値になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医療用画像の画像パターンを学習させることを特徴とする画像処理システム。
The image processing system according to claim 4 or 5,
In the auto encoder, by repeating the process while changing the value of the parameter used in the calculation until the difference between the input medical image and the output image reaches a predetermined threshold value, an image pattern of a medical image having no abnormality An image processing system characterized by learning.
診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手順と、
異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダに前記画像入力手順で入力を受け付けた前記入力画像を入力して、前記オートエンコーダによる復元画像を得る復元画像取得手順と、
前記画像入力手順で入力を受け付けた前記入力画像と前記復元画像取得手順で取得した前記復元画像との差分を算出して差分マップを生成する差分マップ生成手順と、
異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器に前記画像入力手順で入力を受け付けた前記入力画像を入力して、前記分散推定器による推定分散を得る推定分散取得手順と、
前記推定分散取得手順で取得した前記推定分散に基づいて標準偏差を算出する標準偏差算出手順と、
前記差分マップ生成手順で生成した前記差分マップと前記標準偏差算出手順で算出した前記標準偏差に基づいて、前記入力画像と前記復元画像の差異部分を抽出するとともに、前記入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手順とをコンピュータに実行させるための画像処理プログラム。
An image input acceptance procedure for accepting input of a medical image of a person to be diagnosed as an input image,
Accept the input in the image input procedure to the auto encoder configured to learn the image pattern of the medical image without abnormality and restore and output the medical image without abnormality with respect to the input medical image And a restored image acquisition procedure for inputting the input image to obtain a restored image by the auto encoder,
A difference map generation procedure for calculating a difference between the input image received in the image input procedure and the restored image acquired in the restored image acquisition procedure to generate a difference map;
The input accepting the input in the image input procedure to a variance estimator configured to learn the variance of the medical image having no abnormality and output the variance of the image having no abnormality with respect to the input medical image. An estimated variance acquisition procedure for obtaining an estimated variance by the variance estimator by inputting an image,
A standard deviation calculation procedure for calculating a standard deviation based on the estimated variance acquired in the estimated variance acquisition procedure,
Based on the difference map generated in the difference map generation procedure and the standard deviation calculated in the standard deviation calculation procedure, a difference portion between the input image and the restored image is extracted, and a characteristic included in the input image An image processing program for causing a computer to execute a diagnostic result image generating procedure for generating a diagnostic result image in which a different portion other than the different portion is reduced.
請求項7に記載の画像処理プログラムにおいて、
前記診断結果画像生成手順で生成した前記診断結果画像を表示装置に表示する画像表示手順をさらに有することを特徴とする画像処理プログラム。
The image processing program according to claim 7,
An image processing program, further comprising an image display procedure for displaying the diagnostic result image generated in the diagnostic result image generating procedure on a display device.
請求項7または8に記載の画像処理プログラムにおいて、
前記オートエンコーダでは、入力された医療用画像と出力される画像との差が所定の閾値になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医療用画像の画像パターンを学習させることを特徴とする画像処理プログラム。
The image processing program according to claim 7,
In the auto encoder, by repeating the process while changing the value of the parameter used in the calculation until the difference between the input medical image and the output image reaches a predetermined threshold value, an image pattern of a medical image having no abnormality An image processing program characterized by learning.
JP2018200728A 2018-10-25 2018-10-25 Image processing apparatus, image processing system, and image processing program Active JP6621117B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018200728A JP6621117B1 (en) 2018-10-25 2018-10-25 Image processing apparatus, image processing system, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018200728A JP6621117B1 (en) 2018-10-25 2018-10-25 Image processing apparatus, image processing system, and image processing program

Publications (2)

Publication Number Publication Date
JP6621117B1 JP6621117B1 (en) 2019-12-18
JP2020067865A true JP2020067865A (en) 2020-04-30

Family

ID=68917161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018200728A Active JP6621117B1 (en) 2018-10-25 2018-10-25 Image processing apparatus, image processing system, and image processing program

Country Status (1)

Country Link
JP (1) JP6621117B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022024245A1 (en) * 2020-07-29 2022-02-03
JPWO2022201451A1 (en) * 2021-03-25 2022-09-29

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7426261B2 (en) * 2020-03-10 2024-02-01 株式会社Screenホールディングス Learning device, image inspection device, learned parameters, learning method, and image inspection method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004041694A (en) * 2002-05-13 2004-02-12 Fuji Photo Film Co Ltd Image generation device and program, image selecting device, image outputting device and image providing service system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004041694A (en) * 2002-05-13 2004-02-12 Fuji Photo Film Co Ltd Image generation device and program, image selecting device, image outputting device and image providing service system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
塚田峰登、外4名: "FPGA−NICを用いた逐次学習アルゴリズムOS−ELMの高速化", 電子情報通信学会技術研究報告, JPN6019037239, 11 January 2018 (2018-01-11), ISSN: 0004149460 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022024245A1 (en) * 2020-07-29 2022-02-03
WO2022024245A1 (en) * 2020-07-29 2022-02-03 オリンパス株式会社 Inspection system, learning method, inspection method, and storage medium
JP7499337B2 (en) 2020-07-29 2024-06-13 株式会社エビデント Inspection system, learning method, inspection method, and storage medium
JPWO2022201451A1 (en) * 2021-03-25 2022-09-29
WO2022201451A1 (en) * 2021-03-25 2022-09-29 株式会社日立国際電気 Detection device and detection method
JP7436752B2 (en) 2021-03-25 2024-02-22 株式会社日立国際電気 Detection device and detection method

Also Published As

Publication number Publication date
JP6621117B1 (en) 2019-12-18

Similar Documents

Publication Publication Date Title
JP6621117B1 (en) Image processing apparatus, image processing system, and image processing program
US10482352B2 (en) Information processing device and non-transitory computer readable medium
CN110599421B (en) Model training method, video fuzzy frame conversion method, device and storage medium
WO2018070285A1 (en) Image processing device and image processing method
US20220189149A1 (en) Information processing apparatus, method for operating information processing apparatus, and operating program of information processing apparatus
JP6021346B2 (en) Diagnosis support apparatus and control method thereof
JP2009268641A (en) System and method for collating dental x-ray image
US9361580B2 (en) Medical diagnosis support apparatus and method of controlling the same
CN110738643A (en) Method for analyzing cerebral hemorrhage, computer device and storage medium
CN114078120B (en) Method, apparatus and medium for detecting scoliosis
Diaz-Cadiz et al. Adductory vocal fold kinematic trajectories during conventional versus high-speed videoendoscopy
JP6590386B1 (en) Image processing apparatus, image processing system, and image processing program
JP6737487B1 (en) Image processing device, image processing system, and image processing program
JP5611441B1 (en) Image processing apparatus for microscope and medical microscope system
JP6220435B2 (en) Diagnosis support apparatus and control method thereof
WO2023216720A1 (en) Image reconstruction model training method and apparatus, device, medium, and program product
JP6683960B1 (en) Image processing device, image processing system, and image processing program
WO2019235335A1 (en) Diagnosis support system, diagnosis support method, and diagnosis support program
CN102473309B (en) Contour extraction device and program
WO2018012090A1 (en) Diagnosis support system, medical diagnosis support device, and diagnosis support system method
JP2019202019A (en) Body thickness estimation device, radiation image processing device, and body thickness estimation method, and program
CN114677268A (en) X-ray image processing device and X-ray image processing method
JP2019042408A (en) Radiation image processor, program, and radiation image processing method
WO2020153113A1 (en) Action recognition device and action recognition method
US20200194034A1 (en) Medical Image Management Apparatus and Medical Image Management System

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190409

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190823

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191113

R150 Certificate of patent or registration of utility model

Ref document number: 6621117

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250