JP2021104195A

JP2021104195A - CT image diagnosis support device, CT image diagnosis support method, and CT image diagnosis support program

Info

Publication number: JP2021104195A
Application number: JP2019236752A
Authority: JP
Inventors: 友一高橋; Yuichi Takahashi; 由隆亀谷; Yoshitaka Kameya; 山田　啓一; Keiichi Yamada; 啓一山田; 一弘堀田; Kazuhiro Hotta; 山本　徳則; Tokunori Yamamoto; 徳則山本; 直人佐々; Naoto Sasa; 信吾岩野; Shingo Iwano
Original assignee: Meijo University; Tokai National Higher Education and Research System NUC
Current assignee: Meijo University; Tokai National Higher Education and Research System NUC
Priority date: 2019-12-26
Filing date: 2019-12-26
Publication date: 2021-07-26

Abstract

To provide a technique of generating a stimulative contrast image close to a contrast CT image from a simple CT image while improving a learning effect of a neural network.SOLUTION: A CT image diagnosis support device 10 includes a control part 11 for obtaining a plurality of simple CT images and a plurality of contrast CT images, and selecting the contrast CT image having the highest similarity to the simple CT image. The control part 11 inputs the simple CT image and the selected contrast CT image and causes a neural network to learn such that the output simulative CT image comes closer to the selected contrast CT image. The control part 11 displays, on a display part 15, the simulative contrast CT image output by inputting the simple CT image of an evaluation target to the learnt neural network.SELECTED DRAWING: Figure 1

Description

本発明は、ＣＴ画像診断において医師への診断支援と、患者のＸ線被曝量の軽減に関するものである。 The present invention relates to diagnostic support to a doctor in CT image diagnosis and reduction of X-ray exposure dose of a patient.

健康診断などのスクリーニング検査において腹部超音波検査は優れているが、疾患の有無の診断確定には腹部造影ＣＴ検査が有用である。例えば、３ｃｍ以下の小径腎腫瘍の診断には、腹部超音波検査よりもＣＴ検査が優れている。さらに、病変を明確にするために、造影剤を体内に注入してＣＴ撮影（造影ＣＴ）が行われる。 Although abdominal ultrasonography is excellent in screening tests such as health examinations, abdominal contrast CT examination is useful for confirming the presence or absence of a disease. For example, CT examination is superior to abdominal ultrasonography for diagnosing small-diameter renal tumors of 3 cm or less. Further, in order to clarify the lesion, a contrast medium is injected into the body and CT imaging (contrast CT) is performed.

ＣＴ検査における造影剤を用いた撮影の懸念は、造影剤アレルギー、被曝と腎機能障害である。造影剤投与の副作用として、ショック（０．１％未満）、アナフィラキシー様症状（０．１％未満）、腎不全（頻度不明）が知られている。診断的価値がこれらを上回る患者に造影剤を使用するが、アナフィラキシー様症状などアレルギーを事前に予見する方法はなく、投与した後に急変することもある。 Contrast-enhanced imaging concerns in CT examinations are contrast agent allergies, radiation exposure and renal dysfunction. Known side effects of contrast medium administration include shock (less than 0.1%), anaphylaxis-like symptoms (less than 0.1%), and renal failure (incidence unknown). Contrast media are used in patients whose diagnostic value exceeds these, but there is no way to predict allergies such as anaphylaxis-like symptoms in advance, and they may change suddenly after administration.

腎機能低下患者においては、造影ＣＴ後の腎不全をきたす懸念により検査を回避するのが実情である。これらの理由により、造影ＣＴを撮影できない患者は、代替えとしてＭＲＩ検査を行うが、ＣＴ検査に比較するとその画像解像度、診断能は低下する。 In patients with impaired renal function, the actual situation is to avoid the examination due to concerns about renal failure after contrast-enhanced CT. For these reasons, patients who cannot take contrast-enhanced CT perform an MRI examination as an alternative, but their image resolution and diagnostic ability are lower than those of the CT examination.

ＯＥＣＤデータ（https://stats.oecd.org/）によると１００万人あたりのＣＴ装置台数は、２０１４年において、日本は１０７台で１位、オーストラリアは５６台で２位、アメリカは４１台で３位であり、日本は世界最大の保有国である。また、救急医療の現場でも、ＣＴ画像を撮影する機会は増加している。しかし、前述のアレルギー問題などにより、救急を含めたスクリーニングで用いるＣＴ画像の多くは、造影剤を使用しない画像（単純ＣＴ画像）である。さらに、ＣＴ検査では被曝は避けられず、ＣＴの撮影回数、被爆量を減らすことも期待される。１０００人あたりの日本のＣＴ線検査回数は多く、発がんに伴う相対的なリスクも他国に比較して高い。 According to OECD data (https://stats.oecd.org/), the number of CT devices per million people in 2014 was 107 in Japan, the first in Australia, 56 in Australia, and 41 in the United States. Japan is the largest holding country in the world. Also, in the field of emergency medical care, opportunities to take CT images are increasing. However, due to the above-mentioned allergy problems and the like, most of the CT images used in screening including emergency are images that do not use a contrast medium (simple CT images). Furthermore, exposure is unavoidable in CT examinations, and it is expected that the number of CT scans and the amount of radiation exposure will be reduced. The number of CT scans in Japan per 1,000 people is high, and the relative risk associated with carcinogenesis is higher than in other countries.

特許文献１、非特許文献１〜３における開示のように、機械学習による処理が進み、画像処理分野において人間認識機能以上の成果を収める報告が見られ、画像認識、画像生成、データの分類など多くの各種の分野でニューラルネットによる報告がなされている。 As disclosed in Patent Document 1 and Non-Patent Documents 1 to 3, there are reports that processing by machine learning progresses and results in more than human recognition function in the field of image processing, such as image recognition, image generation, and data classification. Neural net reports have been made in many different fields.

特開２００５−２４５８３０号公報Japanese Unexamined Patent Publication No. 2005-245830 Kidney tumor segmentation using an ensembling multi-stage deep learning approach. A contribution to the KiTS19 challenge, arXiv:1909.00735v1 [eess.IV] 2 Sep 2019, https://arxiv.org/abs/1909.00735Kidney tumor segmentation using an ensemble multi-stage deep learning approach. A contribution to the KiTS19 challenge, arXiv: 1909.00735v1 [eess.IV] 2 Sep 2019, https://arxiv.org/abs/1909.00735 人工知能学会誌連載解説「Deep Learning（深層学習）」http://jsai-deeplearning.github.io/support/dlspecial.html"Deep Learning" serialized in the journal of the Japanese Society for Artificial Intelligence http://jsai-deeplearning.github.io/support/dlspecial.html Image-to-Image Translation with Conditional Adversarial Nets (CVPR 2017)https://phillipi.github.io/pix2pix/Image-to-Image Translation with Conditional Adversarial Nets (CVPR 2017) https://phillipi.github.io/pix2pix/

副作用の懸念のある造影ＣＴ画像ではなく、単純ＣＴ画像から臓器の腫瘍有無を判断する指標を提供することが求められている。前述した機械学習を用いて、模擬的な造影ＣＴや判断の根拠画像などを作成することで、医師の診断を支援するとともに患者のＸ線被曝量を軽減することが期待されている。そして、ＣＴ画像を撮像する際に、例えば呼吸によって臓器（例えば、腎臓、肝臓、膵臓、肺など）の位置が変化する場合であっても、精度の高い判断材料を提供することが求められている。 It is required to provide an index for determining the presence or absence of a tumor in an organ from a simple CT image instead of a contrast-enhanced CT image which may have side effects. It is expected that the above-mentioned machine learning will be used to create simulated contrast-enhanced CT and images of the basis of judgment to support the diagnosis of doctors and reduce the X-ray exposure dose of patients. Then, when capturing a CT image, it is required to provide highly accurate judgment material even when the position of an organ (for example, kidney, liver, pancreas, lung, etc.) changes due to respiration, for example. There is.

本発明は、ニューラルネットワークの学習効果を高めつつ、単純ＣＴ画像から造影ＣＴ画像に近い模擬造影画像を生成し得る技術を提供することを解決すべき課題としている。 An object to be solved by the present invention is to provide a technique capable of generating a simulated contrast image close to a contrast CT image from a simple CT image while enhancing the learning effect of a neural network.

深層学習により単純ＣＴ画像および造影ＣＴ画像のデータから造影ＣＴ作成ニューラルネットワークを構築する。構築されたニューラルネットワークを用い、単純ＣＴ画像から、模擬造影ＣＴ画像を提供するとともに、その作成過程を説明する情報を提供する。また、位置的に連続する複数の単純ＣＴ画像を入力として用いることで、立体的な情報も提供でき、医師に立体的な病変部の情報を提供できる利点がある。また、医師からの評価をニューラルネットの学習にフィードバックすることで、造影ＣＴ画像の作成能力を改善することができる。 A neural network for creating contrast-enhanced CT is constructed from data of a simple CT image and a contrast-enhanced CT image by deep learning. Using the constructed neural network, a simulated contrast CT image is provided from a simple CT image, and information for explaining the creation process is provided. Further, by using a plurality of simple CT images that are continuous in position as input, it is possible to provide three-dimensional information, and there is an advantage that information on a three-dimensional lesion can be provided to a doctor. In addition, the ability to create a contrast-enhanced CT image can be improved by feeding back the evaluation from the doctor to the learning of the neural network.

第１発明のＣＴ画像診断支援装置は、
人体の所定部位を所定の撮像間隔で撮像して得られた複数の単純ＣＴ画像と、前記所定部位と同一部位を前記単純ＣＴ画像よりも短い撮像間隔で撮像して得られた複数の造影ＣＴ画像と、を取得する取得部と、
前記取得部によって取得された前記単純ＣＴ画像に対して最も類似度の高い前記造影ＣＴ画像を選択する選択部と、
前記取得部によって取得された前記単純ＣＴ画像と、前記選択部によって選択された前記造影ＣＴ画像とを入力して、出力される模擬造影ＣＴ画像が前記選択部によって選択された前記造影ＣＴ画像に近づくようにニューラルネットワークに学習させる学習部と、
評価対象の単純ＣＴ画像を学習済みの前記学習部に入力して出力される前記模擬造影ＣＴ画像を表示する表示部と、
を備えることを特徴とする。 The CT image diagnosis support device of the first invention is
A plurality of simple CT images obtained by imaging a predetermined part of the human body at a predetermined imaging interval, and a plurality of contrast-enhanced CT images obtained by imaging the same part as the predetermined part at a shorter imaging interval than the simple CT image. The image, the acquisition part to acquire, and
A selection unit that selects the contrast-enhanced CT image having the highest degree of similarity to the simple CT image acquired by the acquisition unit, and a selection unit.
The simple CT image acquired by the acquisition unit and the contrast CT image selected by the selection unit are input, and the output simulated contrast CT image is used as the contrast CT image selected by the selection unit. A learning unit that lets the neural network learn to approach
A display unit that displays the simulated contrast CT image that is output by inputting the simple CT image to be evaluated into the trained learning unit, and
It is characterized by having.

このように、第１発明のＣＴ画像診断支援装置は、評価対象の単純ＣＴ画像から造影ＣＴ画像に近い模擬造影ＣＴ画像を生成することができる。そのため、造影ＣＴ画像の代わりに模擬造影ＣＴ画像をＣＴ画像診断に用いることで、被験者の診断における負担を低減することができる。その上で、学習部に入力される造影ＣＴ画像として、単純ＣＴ画像に対して類似度の最も高い造影ＣＴ画像を選択することで、学習部に入力される単純ＣＴ画像と造影ＣＴ画像の対応精度を向上させることができる。これにより、ニューラルネットワークの学習効果を高めることができる。 As described above, the CT image diagnosis support device of the first invention can generate a simulated contrast CT image close to the contrast CT image from the simple CT image to be evaluated. Therefore, by using a simulated contrast CT image for CT image diagnosis instead of the contrast CT image, it is possible to reduce the burden on the subject's diagnosis. Then, by selecting the contrast-enhanced CT image having the highest degree of similarity to the simple CT image as the contrast-enhanced CT image input to the learning unit, the correspondence between the simple CT image and the contrast-enhanced CT image input to the learning unit The accuracy can be improved. As a result, the learning effect of the neural network can be enhanced.

第１発明のＣＴ画像診断支援装置において、
前記取得部によって取得された前記単純ＣＴ画像および前記造影ＣＴ画像から、それぞれ所定の臓器を抽出した臓器領域画像を生成する抽出部を備え、
前記学習部は、前記抽出部によって生成された前記臓器領域画像を入力してもよい。 In the CT image diagnosis support device of the first invention
An extraction unit for generating an organ region image obtained by extracting a predetermined organ from the simple CT image and the contrast-enhanced CT image acquired by the acquisition unit is provided.
The learning unit may input the organ region image generated by the extraction unit.

このような構成によって、学習部に入力される単純ＣＴ画像および造影ＣＴ画像として、抽出部によって所定の臓器を抽出した臓器領域画像が生成される。そのため、所定の臓器とは異なる臓器の影響を受けることなく、所定の臓器に着目したニューラルネットワークによる処理を行うことができる。これにより、表示部は、所定の臓器を抽出した模擬造影ＣＴ画像を表示することができる。 With such a configuration, an organ region image obtained by extracting a predetermined organ by the extraction unit is generated as a simple CT image and a contrast CT image input to the learning unit. Therefore, it is possible to perform processing by a neural network focusing on a predetermined organ without being affected by an organ different from the predetermined organ. As a result, the display unit can display a simulated contrast-enhanced CT image extracted from a predetermined organ.

第２発明のＣＴ画像診断支援方法は、
人体の所定部位を所定の撮像間隔で撮像して得られた複数の単純ＣＴ画像と、前記所定部位と同一部位を前記単純ＣＴ画像よりも短い撮像間隔で撮像して得られた複数の造影ＣＴ画像と、を取得する取得工程と、
前記取得工程で取得された前記単純ＣＴ画像に対して最も類似度の高い前記造影ＣＴ画像を選択する選択工程と、
前記取得工程で取得された前記単純ＣＴ画像と、前記選択工程で選択された前記造影ＣＴ画像とを入力して、出力される模擬造影ＣＴ画像が前記選択工程で選択された前記造影ＣＴ画像に近づくようにニューラルネットワークに学習させる学習工程と、
評価対象の単純ＣＴ画像を学習済みの前記ニューラルネットワークに入力して出力される前記模擬造影ＣＴ画像を表示する表示工程と、
を含むことを特徴とする。 The CT image diagnosis support method of the second invention is
A plurality of simple CT images obtained by imaging a predetermined part of the human body at a predetermined imaging interval, and a plurality of contrast-enhanced CT images obtained by imaging the same part as the predetermined part at a shorter imaging interval than the simple CT image. The image, the acquisition process to acquire, and
A selection step of selecting the contrast-enhanced CT image having the highest degree of similarity to the simple CT image acquired in the acquisition step, and
The simple CT image acquired in the acquisition step and the contrast CT image selected in the selection step are input, and the output simulated contrast CT image is used as the contrast CT image selected in the selection step. A learning process that trains a neural network to get closer,
A display step of inputting a simple CT image to be evaluated into the trained neural network and displaying the simulated contrast CT image output.
It is characterized by including.

このように、第２発明のＣＴ画像診断支援方法は、評価対象の単純ＣＴ画像から造影ＣＴ画像に近い模擬造影ＣＴ画像を生成することができる。そのため、造影ＣＴ画像の代わりに模擬造影ＣＴ画像をＣＴ画像診断に用いることで、被験者の診断における負担を低減することができる。その上で、ニューラルネットワークに入力される造影ＣＴ画像として、単純ＣＴ画像に対して類似度の最も高い造影ＣＴ画像を選択することで、ニューラルネットワークに入力される単純ＣＴ画像と造影ＣＴ画像の対応精度を向上させることができる。これにより、ニューラルネットワークの学習効果を高めることができる。 As described above, the CT image diagnosis support method of the second invention can generate a simulated contrast CT image close to the contrast CT image from the simple CT image to be evaluated. Therefore, by using a simulated contrast CT image for CT image diagnosis instead of the contrast CT image, it is possible to reduce the burden on the subject's diagnosis. Then, by selecting the contrast-enhanced CT image having the highest degree of similarity to the simple CT image as the contrast-enhanced CT image input to the neural network, the correspondence between the simple CT image and the contrast-enhanced CT image input to the neural network The accuracy can be improved. As a result, the learning effect of the neural network can be enhanced.

第２発明のＣＴ画像診断支援方法において、
前記取得工程で取得された前記単純ＣＴ画像および前記造影ＣＴ画像から、それぞれ所定の臓器を抽出した臓器領域画像を生成する抽出工程を含み、
前記学習工程では、前記抽出工程で生成された前記臓器領域画像を前記ニューラルネットワークに入力してもよい。 In the CT image diagnosis support method of the second invention,
It includes an extraction step of generating an organ region image obtained by extracting a predetermined organ from the simple CT image and the contrast CT image acquired in the acquisition step.
In the learning step, the organ region image generated in the extraction step may be input to the neural network.

このような構成によって、ニューラルネットワークに入力される単純ＣＴ画像および造影ＣＴ画像として、抽出工程で所定の臓器を抽出した臓器領域画像が生成される。そのため、所定の臓器とは異なる臓器の影響を受けることなく、所定の臓器に着目したニューラルネットワークによる処理を行うことができる。これにより、表示工程で、所定の臓器を抽出した模擬造影ＣＴ画像を表示することができる。 With such a configuration, an organ region image obtained by extracting a predetermined organ in the extraction step is generated as a simple CT image and a contrast CT image input to the neural network. Therefore, it is possible to perform processing by a neural network focusing on a predetermined organ without being affected by an organ different from the predetermined organ. This makes it possible to display a simulated contrast-enhanced CT image extracted from a predetermined organ in the display step.

第３発明のＣＴ画像診断支援プログラムは、
コンピュータを、
人体の所定部位を所定の撮像間隔で撮像して得られた複数の単純ＣＴ画像と、前記所定部位と同一部位を前記単純ＣＴ画像よりも短い撮像間隔で撮像して得られた複数の造影ＣＴ画像と、を取得する取得手段、
前記取得手段によって取得された前記単純ＣＴ画像に対して最も類似度の高い前記造影ＣＴ画像を選択する選択手段、
前記取得手段によって取得された前記単純ＣＴ画像と、前記選択手段によって選択された前記造影ＣＴ画像とを入力して、出力される模擬造影ＣＴ画像が前記選択手段によって選択された前記造影ＣＴ画像に近づくようにニューラルネットワークに学習させる学習手段、
評価対象の単純ＣＴ画像を学習済みの前記ニューラルネットワークに入力して出力される前記模擬造影ＣＴ画像を表示する表示手段、
として機能させることを特徴とする。 The CT image diagnosis support program of the third invention is
Computer,
A plurality of simple CT images obtained by imaging a predetermined part of the human body at a predetermined imaging interval, and a plurality of contrast-enhanced CT images obtained by imaging the same part as the predetermined part at a shorter imaging interval than the simple CT image. Image and acquisition method,
A selection means for selecting the contrast-enhanced CT image having the highest degree of similarity to the simple CT image acquired by the acquisition means.
The simple CT image acquired by the acquisition means and the contrast CT image selected by the selection means are input, and the output simulated contrast CT image is used as the contrast CT image selected by the selection means. A learning method that trains a neural network to approach
A display means for displaying the simulated contrast CT image output by inputting the simple CT image to be evaluated into the trained neural network.
It is characterized by functioning as.

このように、第３発明のＣＴ画像診断支援プログラムは、評価対象の単純ＣＴ画像から造影ＣＴ画像に近い模擬造影ＣＴ画像を生成することができる。そのため、造影ＣＴ画像の代わりに模擬造影ＣＴ画像をＣＴ画像診断に用いることで、被験者の診断における負担を低減することができる。その上で、ニューラルネットワークに入力される造影ＣＴ画像として、単純ＣＴ画像に対して類似度の最も高い造影ＣＴ画像を選択することで、ニューラルネットワークに入力される単純ＣＴ画像と造影ＣＴ画像の対応精度を向上させることができる。これにより、ニューラルネットワークの学習効果を高めることができる。 As described above, the CT image diagnosis support program of the third invention can generate a simulated contrast CT image close to the contrast CT image from the simple CT image to be evaluated. Therefore, by using a simulated contrast CT image for CT image diagnosis instead of the contrast CT image, it is possible to reduce the burden on the subject's diagnosis. Then, by selecting the contrast-enhanced CT image having the highest degree of similarity to the simple CT image as the contrast-enhanced CT image input to the neural network, the correspondence between the simple CT image and the contrast-enhanced CT image input to the neural network The accuracy can be improved. As a result, the learning effect of the neural network can be enhanced.

第３発明のＣＴ画像診断支援プログラムにおいて、
前記コンピュータを、
前記取得手段で取得された前記単純ＣＴ画像および前記造影ＣＴ画像から、それぞれ所定の臓器を抽出した臓器領域画像を生成する抽出手段として機能させ、
前記学習手段は、前記抽出手段によって生成された前記臓器領域画像を入力してもよい。 In the CT image diagnosis support program of the third invention
The computer
It is made to function as an extraction means for generating an organ region image obtained by extracting a predetermined organ from the simple CT image and the contrast CT image acquired by the acquisition means.
The learning means may input the organ region image generated by the extraction means.

このような構成によって、ニューラルネットワークに入力される単純ＣＴ画像および造影ＣＴ画像として、抽出手段によって所定の臓器を抽出した臓器領域画像が生成される。そのため、所定の臓器とは異なる臓器の影響を受けることなく、所定の臓器に着目したニューラルネットワークによる処理を行うことができる。これにより、表示手段は、所定の臓器を抽出した模擬造影ＣＴ画像を表示することができる。 With such a configuration, an organ region image obtained by extracting a predetermined organ by an extraction means is generated as a simple CT image and a contrast CT image input to the neural network. Therefore, it is possible to perform processing by a neural network focusing on a predetermined organ without being affected by an organ different from the predetermined organ. As a result, the display means can display a simulated contrast-enhanced CT image extracted from a predetermined organ.

したがって、第１発明のＣＴ画像診断支援装置、第２発明のＣＴ画像診断支援方法、第３発明のＣＴ画像診断支援プログラムは、ニューラルネットワークの学習効果を高めつつ、単純ＣＴ画像から造影ＣＴ画像に近い模擬造影画像を生成することができる。 Therefore, the CT image diagnosis support device of the first invention, the CT image diagnosis support method of the second invention, and the CT image diagnosis support program of the third invention change from a simple CT image to a contrast CT image while enhancing the learning effect of the neural network. A close simulated contrast image can be generated.

図１は、本発明の実施例１のＣＴ画像診断支援装置で行われ学習処理および診断支援処理を説明する説明図である。FIG. 1 is an explanatory diagram for explaining a learning process and a diagnosis support process performed by the CT image diagnosis support device according to the first embodiment of the present invention. 図２は、単純ＣＴ画像、模擬造影ＣＴ画像、および造影ＣＴ画像の一例である。FIG. 2 is an example of a simple CT image, a simulated contrast CT image, and a contrast CT image. 図３は、図１のＣＴ画像診断支援装置の電気的構成を説明するブロック図である。FIG. 3 is a block diagram illustrating an electrical configuration of the CT image diagnosis support device of FIG. 図４は、図１のＣＴ画像診断支援装置で行われる学習処理の一例を示すフローチャートである。FIG. 4 is a flowchart showing an example of learning processing performed by the CT image diagnosis support device of FIG. 図５は、単純ＣＴ画像および造影ＣＴ画像における撮像タイミングおよびスライス厚さを説明する説明図である。FIG. 5 is an explanatory diagram for explaining the imaging timing and slice thickness in the simple CT image and the contrast CT image. 図６は、図１のＣＴ画像診断支援装置で行われる模擬造影ＣＴ画像生成制御の一例を示すフローチャートである。FIG. 6 is a flowchart showing an example of simulated contrast CT image generation control performed by the CT image diagnosis support device of FIG. 図７は、位置合わせを行わない場合、位置合わせを行った場合、および補間を行った場合における、単純ＣＴ画像、模擬造影ＣＴ画像、および造影ＣＴ画像の一例である。FIG. 7 is an example of a simple CT image, a simulated contrast CT image, and a contrast CT image when the alignment is not performed, the alignment is performed, and the interpolation is performed. 図８は、マスク処理を行った場合において、位置合わせの有無による、各種誤差および相関係数の算出結果を示す図である。FIG. 8 is a diagram showing calculation results of various errors and correlation coefficients depending on the presence or absence of alignment when mask processing is performed. 図９は、本発明の実施例２のＣＴ画像診断支援装置で行われ学習処理および診断支援処理を説明する説明図である。FIG. 9 is an explanatory diagram illustrating a learning process and a diagnosis support process performed by the CT image diagnosis support device according to the second embodiment of the present invention.

次に、本発明のＣＴ画像診断支援装置、ＣＴ画像診断支援方法、およびＣＴ画像診断支援プログラムを具体化した実施例１について、図面を参照しつつ説明する。 Next, Example 1 that embodies the CT image diagnosis support device, the CT image diagnosis support method, and the CT image diagnosis support program of the present invention will be described with reference to the drawings.

＜実施例１＞
（ＣＴ画像診断支援装置の概略）
実施例１のＣＴ画像診断支援装置１０は、図１に示す学習処理および診断支援処理を行う。ＣＴ画像診断支援装置１０は、本発明のＣＴ画像診断支援プログラムに基づく深層学習により、単純ＣＴ画像および造影ＣＴ画像から造影ＣＴ画像の作成ニューラルネットワーク（造影ＣＴニューラルネットワーク）を構築する。そして、ＣＴ画像診断支援装置１０は、構築された造影ＣＴニューラルネットワークを用い、単純ＣＴ画像から、模擬造影ＣＴ画像を提供する。 <Example 1>
(Outline of CT image diagnosis support device)
The CT image diagnosis support device 10 of the first embodiment performs the learning process and the diagnosis support process shown in FIG. The CT image diagnosis support device 10 constructs a contrast CT image creation neural network (contrast CT neural network) from a simple CT image and a contrast CT image by deep learning based on the CT image diagnosis support program of the present invention. Then, the CT image diagnosis support device 10 uses the constructed contrast CT neural network to provide a simulated contrast CT image from the simple CT image.

具体的には、図１に示すように、ＣＴ画像診断支援装置１０は、単純ＣＴ画像、腫瘍情報、造影ＣＴ画像、および撮影情報が入力される。単純ＣＴ画像および造影ＣＴ画像は、被験者を連続した異なる断層像位置でＸ線走査して得られる複数の画像である。単純ＣＴ画像、被験者に造影剤を投与することなく得られる画像である。造影ＣＴ画像は、被験者に造影剤を投与して得られる画像である。腫瘍情報は、例えば、過去に診断された所定の臓器における腫瘍の有無、腫瘍の形態・位置・範囲等を特定する情報である。撮影情報は、撮影の種類（単純ＣＴ画像又は造影ＣＴ画像）、スライス厚さ、その他の撮影条件等の情報である。 Specifically, as shown in FIG. 1, the CT image diagnosis support device 10 is input with a simple CT image, tumor information, contrast-enhanced CT image, and imaging information. The simple CT image and the contrast CT image are a plurality of images obtained by X-ray scanning the subject at different consecutive tomographic image positions. It is a simple CT image and an image obtained without administering a contrast medium to a subject. The contrast CT image is an image obtained by administering a contrast agent to a subject. The tumor information is, for example, information that identifies the presence or absence of a tumor in a predetermined organ diagnosed in the past, the morphology, position, range, etc. of the tumor. The imaging information is information such as the type of imaging (simple CT image or contrast CT image), slice thickness, and other imaging conditions.

そして、ＣＴ画像診断支援装置１０は、入力された各種情報に基づいて、前処理（後述する位置合わせ、マスク処理）を行う。ＣＴ画像診断支援装置１０は、前処理した情報を学習用データとして、深層学習を行う。深層学習では、造影ＣＴを作成するためのニューラルネットワーク（造影ＣＴニューラルネットワーク）に学習用データを入力して学習させ、学習済みニューラルネットワークを構築する。学習済みニューラルネットワークは、造影ＣＴを作成するためのプログラム（造影ＣＴ画像作成プログラム）に用いられる。造影ＣＴ画像作成プログラムは、単純ＣＴ画像を入力として、造影ＣＴ画像に近い模擬造影ＣＴ画像を出力させる。例えば、図２に示すように、（Ａ）の単純ＣＴ画像に基づいて、（Ｃ）の造影ＣＴ画像に近い（Ｂ）の模擬造影ＣＴ画像を生成することができる。 Then, the CT image diagnosis support device 10 performs preprocessing (positioning and mask processing described later) based on various input information. The CT image diagnosis support device 10 performs deep learning using the preprocessed information as learning data. In deep learning, learning data is input to a neural network for creating contrast CT (contrast CT neural network) for learning, and a trained neural network is constructed. The trained neural network is used in a program for creating contrast-enhanced CT (contrast-enhanced CT image creation program). The contrast CT image creation program takes a simple CT image as an input and outputs a simulated contrast CT image close to the contrast CT image. For example, as shown in FIG. 2, based on the simple CT image of (A), a simulated contrast CT image of (B) close to the contrast CT image of (C) can be generated.

（ＣＴ画像診断支援装置の構成）
図３に示すＣＴ画像診断支援装置１０は、例えばコンピュータなどの情報処理装置として構成されている。図３に示すように、ＣＴ画像診断支援装置１０は、制御部１１と、記憶部１２と、通信部１３と、入力部１４と、表示部１５と、を有している。 (Configuration of CT image diagnosis support device)
The CT image diagnosis support device 10 shown in FIG. 3 is configured as an information processing device such as a computer. As shown in FIG. 3, the CT image diagnosis support device 10 includes a control unit 11, a storage unit 12, a communication unit 13, an input unit 14, and a display unit 15.

制御部１１は、例えばマイクロコンピュータなどの情報処理を行う装置として構成され、ＣＰＵなどの演算装置及び他の周辺回路などを備えてなり、様々な制御や演算を行い得る。制御部１１は、記憶部１２に格納されているプログラムに従った各種処理を実行する。制御部１１は、本発明の「取得部」「取得手段」に相当し、同一部位を撮像した単純ＣＴ画像および造影ＣＴ画像を取得するように機能する。制御部１１は、本発明の「選択部」「選択手段」に相当し、単純ＣＴ画像に対して最も類似度の高い造影ＣＴ画像を選択するように機能する。また、制御部１１は、本発明の「学習部」「学習手段」に相当し、取得した単純ＣＴ画像と、選択した造影ＣＴ画像とを入力して、出力される模擬造影ＣＴ画像が選択された造影ＣＴ画像に近づくようにニューラルネットワークに学習させるように機能する。制御部１１は、本発明の「抽出部」「抽出手段」に相当し、単純ＣＴ画像および造影ＣＴ画像から、それぞれ所定の臓器を抽出した臓器領域画像を生成するように機能する。 The control unit 11 is configured as a device that performs information processing such as a microcomputer, includes an arithmetic unit such as a CPU, other peripheral circuits, and the like, and can perform various controls and calculations. The control unit 11 executes various processes according to the program stored in the storage unit 12. The control unit 11 corresponds to the “acquisition unit” and “acquisition means” of the present invention, and functions to acquire a simple CT image and a contrast-enhanced CT image obtained by imaging the same portion. The control unit 11 corresponds to the “selection unit” and “selection means” of the present invention, and functions to select the contrast-enhanced CT image having the highest degree of similarity to the simple CT image. Further, the control unit 11 corresponds to the "learning unit" and "learning means" of the present invention, and inputs the acquired simple CT image and the selected contrast CT image, and the simulated contrast CT image to be output is selected. It functions to train the neural network to approach the contrast-enhanced CT image. The control unit 11 corresponds to the “extraction unit” and “extraction means” of the present invention, and functions to generate an organ region image obtained by extracting a predetermined organ from a simple CT image and a contrast CT image, respectively.

記憶部１２は、例えば半導体メモリ装置などの公知の記憶装置によって構成されており、例えばＲＡＭ、ＲＯＭ、不揮発性メモリなどがこれに相当する。記憶部１２は、各プログラム等を格納している。記憶部１２は、格納するプログラム等を、後述する通信部１３を介してサーバから受信してもよい。記憶部１２は、例えば、後述する通信部１３を介して病院内のデータサーバから入手したデータ等を、学習用データとして記憶する。 The storage unit 12 is composed of a known storage device such as a semiconductor memory device, and corresponds to this, for example, a RAM, a ROM, a non-volatile memory, or the like. The storage unit 12 stores each program and the like. The storage unit 12 may receive the stored program or the like from the server via the communication unit 13 described later. The storage unit 12 stores, for example, data or the like obtained from a data server in the hospital via the communication unit 13 described later as learning data.

通信部１３は、サーバ等と無線通信又は有線通信を行う通信装置である。通信部１３は、病院内のデータサーバ等と通信可能になっている。通信部１３は、本発明の「取得部」「取得手段」に相当する。入力部１４は、例えば、キーボード、マウス、スキャナ等によって構成され、データを入力する装置である。表示部１５は、例えば、液晶ディスプレイや有機エレクトロルミネッセンスディスプレイなどの公知の画像表示装置として構成されている。表示部１５は、本発明の「表示手段」に相当する。 The communication unit 13 is a communication device that performs wireless communication or wired communication with a server or the like. The communication unit 13 can communicate with a data server or the like in the hospital. The communication unit 13 corresponds to the "acquisition unit" and "acquisition means" of the present invention. The input unit 14 is a device for inputting data, which is composed of, for example, a keyboard, a mouse, a scanner, and the like. The display unit 15 is configured as a known image display device such as a liquid crystal display or an organic electroluminescence display. The display unit 15 corresponds to the "display means" of the present invention.

（ＣＴ画像診断支援装置の学習制御）
次に、ＣＴ画像診断支援装置１０の学習制御について、図４等を参照して説明する。図４は、制御部１１で行われる処理である。
まず、制御部１１は、図４に示すように、通信部１３を介して複数の単純ＣＴ画像、および複数の造影ＣＴ画像を取得する（ステップＳ１１、「取得工程」）。ＣＴ画像は、ＤＩＣＯＭ（ＤｉｇｉｔａｌＩｍａｇｉｎｇａｎｄＣＯｍｍｕｎｉｃａｔｉｏｎｉｎＭｅｄｉｃｉｎｅ）規格に準じているものを使用する。図５に示すように、単純ＣＴ画像は、造影剤の注射前に撮像されるＣＴ画像である。造影ＣＴ画像は、造影剤を注射した後、例えば動脈層（造影剤注射から３０秒経過後）、静脈層（造影剤注射から１分３０秒経過後）、排泄層（造影剤注射から３分〜５分経過後）において撮像される。単純ＣＴ画像は、人体の所定部位を所定の撮像間隔で撮像して得られた画像である。単純ＣＴ画像は、図５に示すように、ｚ方向（検出器のスライド方向）スライス厚さが例えば５ｍｍ間隔で撮像される。造影ＣＴ画像は、単純ＣＴ画像の撮像範囲と同一の範囲（所定部位と同一部位）を撮像して得られた画像である。造影ＣＴ画像は、単純ＣＴ画像よりも短い撮像間隔（ｚ方向スライス厚さが例えば１ｍｍ間隔）で撮像して得られる。 (Learning control of CT image diagnosis support device)
Next, the learning control of the CT image diagnosis support device 10 will be described with reference to FIG. 4 and the like. FIG. 4 is a process performed by the control unit 11.
First, as shown in FIG. 4, the control unit 11 acquires a plurality of simple CT images and a plurality of contrast-enhanced CT images via the communication unit 13 (step S11, “acquisition step”). The CT image used is one that conforms to the DICOM (Digital Imaging and Communication in Medical) standard. As shown in FIG. 5, the simple CT image is a CT image taken before injection of the contrast medium. After the contrast medium is injected, the contrast CT image is, for example, the arterial layer (30 seconds after the contrast medium injection), the venous layer (1 minute and 30 seconds after the contrast medium injection), and the excretory layer (3 minutes after the contrast medium injection). After 5 minutes have passed), the image is taken. The simple CT image is an image obtained by imaging a predetermined part of the human body at a predetermined imaging interval. As shown in FIG. 5, the simple CT image is imaged with slice thickness in the z direction (slide direction of the detector) at intervals of, for example, 5 mm. The contrast-enhanced CT image is an image obtained by imaging the same range (the same site as a predetermined site) as the imaging range of the simple CT image. The contrast-enhanced CT image is obtained by imaging at an imaging interval shorter than that of a simple CT image (slice thickness in the z direction is, for example, 1 mm interval).

ここで、ＣＴ撮影時において、被験者は検査台に仰向けに寝かせられ、腹部および胸部をはじめ呼吸の影響を受ける部位を撮影する時は呼吸を止める。後に続くステップでは、同じ部位を撮像した単純ＣＴ画像と造影ＣＴ画像のペアを入力画像として、ニューラルネットワークの学習が行われる。その際、検査台の位置を基準として、単純ＣＴ画像と造影ＣＴ画像の対応をとることになるが、背骨など固定的な部位と異なり呼吸により体内の位置が変わる部位には、単純ＣＴ画像と造影ＣＴ画像との間の位置関係にずれが生じる。そこで、ステップＳ１２の処理を行う。 Here, at the time of CT imaging, the subject is laid on his / her back on the examination table, and when imaging the abdomen, chest, and other parts affected by breathing, the subject stops breathing. In the steps that follow, the neural network is trained using a pair of a simple CT image and a contrast CT image that capture the same part as an input image. At that time, the simple CT image and the contrast-enhanced CT image are associated with each other based on the position of the examination table. There is a deviation in the positional relationship with the contrast-enhanced CT image. Therefore, the process of step S12 is performed.

ステップＳ１２では、制御部１１は、ステップＳ１１で取得した単純ＣＴ画像に対して、ステップＳ１１で取得した最も類似度の高い造影ＣＴ画像を選択する（位置合わせ、「選択工程」）。具体的には、制御部１１は、造影ＣＴ画像は１ｍｍ刻み（ｚ方向スライス厚さである１ｍｍ間隔）で撮影されているので、５ｍｍ刻み（ｚ方向スライス厚さである５ｍｍ間隔）の単純ＣＴ画像に対して最も類似度の高い造影ＣＴ画像を選択する。すなわち、各単純ＣＴ画像に対して、それぞれ最も類似度の高い造影ＣＴ画像を抽出する。類似度の判定は、公知の様々な方法を用いることができ、例えば各画像のＣＴ値の分布を比較する方法や、画像内の特徴点を抽出して比較する方法等がある。ここで、ｘ方向（ｚ方向に直交する水平方向）、およびｙ方向（ｚ方向およびｘ方向に直交する方向（鉛直方向））についても調整して類似度を判定する。なお、ＣＴ画像において、ｘ方向は検査台に仰向けになった人体の左右方向に相当し、ｙ方向は検査台に仰向けになった人体の前後方向に相当し、ｚ方向は画像断面に直交する方向である。具体的には、造影ＣＴ画像を単純ＣＴ画像と比較する際に、単純ＣＴ画像に対して造影ＣＴ画像をｘ方向およびｙ方向にずらしながら類似度を判定する。なお、類似度の判定において、呼吸によって位置が変動する臓器（例えば、腎臓、肝臓、膵臓、肺など）に対して、その周囲にある位置が変動しない臓器を基準にすることや、位置が変動する臓器の形状等を基準にすることができる。このようにして、単純ＣＴ画像と造影ＣＴ画像の対応精度を向上させ、ニューラルネットの学習効果を高めることができる。 In step S12, the control unit 11 selects the contrast-enhanced CT image having the highest degree of similarity acquired in step S11 with respect to the simple CT image acquired in step S11 (alignment, “selection step”). Specifically, since the contrast CT image is taken in 1 mm increments (1 mm intervals, which is the z-direction slice thickness), the control unit 11 has a simple CT in 5 mm increments (5 mm intervals, which is the z-direction slice thickness). The contrast-enhanced CT image with the highest degree of similarity to the image is selected. That is, the contrast-enhanced CT image having the highest degree of similarity is extracted for each simple CT image. Various known methods can be used to determine the degree of similarity. For example, there are a method of comparing the distribution of CT values of each image, a method of extracting feature points in an image, and a method of comparing them. Here, the x direction (horizontal direction orthogonal to the z direction) and the y direction (direction orthogonal to the z direction and the x direction (vertical direction)) are also adjusted to determine the similarity. In the CT image, the x direction corresponds to the left-right direction of the human body lying on the examination table, the y direction corresponds to the front-back direction of the human body lying on the examination table, and the z direction is orthogonal to the image cross section. The direction. Specifically, when comparing the contrast-enhanced CT image with the simple CT image, the similarity is determined while shifting the contrast-enhanced CT image in the x-direction and the y-direction with respect to the simple CT image. In determining the degree of similarity, for organs whose position changes due to respiration (for example, kidney, liver, pancreas, lung, etc.), the organs around which the position does not change are used as a reference, or the position changes. The shape of the organ to be used can be used as a reference. In this way, the accuracy of correspondence between the simple CT image and the contrast CT image can be improved, and the learning effect of the neural network can be enhanced.

なお、例えばＣＴ検査の対象となる小径腎腫瘍診断では、５ｍｍ刻みの単純ＣＴ画像は数枚しか存在しないことになる。そこで、造影ＣＴ画像が１ｍｍ刻みで撮影されているため、５ｍｍ刻みの単純ＣＴ画像についても補間（公知の線形補間）して１ｍｍ刻みの単純ＣＴ画像を作成することで、学習効果を高めることができる。 For example, in the diagnosis of small-diameter renal tumor that is the target of CT examination, there are only a few simple CT images in 5 mm increments. Therefore, since the contrast-enhanced CT image is taken in 1 mm increments, the learning effect can be enhanced by interpolating the simple CT image in 5 mm increments (known linear interpolation) to create a simple CT image in 1 mm increments. can.

続いて、ステップＳ１３では、制御部１１は、ＣＴ画像のマスク処理を行う（「抽出工程」）。具体的には、制御部１１は、ステップＳ１１で取得した単純ＣＴ画像、およびステップＳ１２で選択した造影ＣＴ画像から、それぞれ所定の臓器を抽出した臓器領域画像を生成する。ＣＴ画像から臓器領域を抽出する方法は、公知の方法を用いることができる。例えば、制御部１１は、各ＣＴ画像において、ＣＴ値の濃度値ヒストグラムを求め、濃度値ヒストグラムのピーク値に基づいて所定の臓器（例えば腎臓）の臓器候補領域を抽出する。正常な所定の臓器のＣＴ値に基づいて、濃度値ヒストグラムのピーク値近傍を所定の臓器の臓器候補領域とすることができる。このような処理は、例えば、ＦＵＪＩＦＩＬＭ社の３次元画像解析システムボリュームアナライザーＳＹＮＡＰＳＥＶＩＮＣＥＮＴを用いて行う。そして、制御部１１は、ＣＴ画像から、臓器候補領域以外の臓器領域の差分処理を行うことで、臓器領域画像を生成する。なお、制御部１１は、ＣＴ画像に対して、公知のノイズ除去処理や、平滑処理等を行ってもよい。このようにすることで、制御部１１は、対象部位だけを取り出した画像（マスク画像）に対した処理を行うことができ、腫瘍のある部位に着目した後述するニューラルネットワークによる処理ができるようになる。そのため、周りの臓器の影響を低減し、模擬造影ＣＴ画像の精度を高めることができる。 Subsequently, in step S13, the control unit 11 masks the CT image (“extraction step”). Specifically, the control unit 11 generates an organ region image obtained by extracting a predetermined organ from the simple CT image acquired in step S11 and the contrast CT image selected in step S12. As a method for extracting an organ region from a CT image, a known method can be used. For example, the control unit 11 obtains a concentration value histogram of the CT value in each CT image, and extracts an organ candidate region of a predetermined organ (for example, a kidney) based on the peak value of the concentration value histogram. Based on the CT value of a normal predetermined organ, the vicinity of the peak value of the concentration value histogram can be set as the organ candidate region of the predetermined organ. Such processing is performed using, for example, FUJIFILM's 3D image analysis system volume analyzer SYNAPSE VINCENT. Then, the control unit 11 generates an organ region image by performing a difference processing of an organ region other than the organ candidate region from the CT image. The control unit 11 may perform a known noise removal process, smoothing process, or the like on the CT image. By doing so, the control unit 11 can perform processing on the image (mask image) obtained by extracting only the target site, and can perform processing by the neural network described later focusing on the site having the tumor. Become. Therefore, the influence of surrounding organs can be reduced and the accuracy of the simulated contrast CT image can be improved.

続いて、ステップＳ１４では、制御部１１は、学習処理を行う（「学習工程」）。制御部１１は、ステップＳ１１で取得した単純ＣＴ画像、およびステップＳ１２で選択した造影ＣＴ画像を入力して、出力される模擬造影ＣＴ画像がステップＳ１２で選択した造影ＣＴ画像に近づくように造影ＣＴニューラルネットワークに学習させる。造影ＣＴニューラルネットワークは、例えば、処理対象画像（単純ＣＴ画像および造影ＣＴ画像）を入力する入力層と、一つ以上の中間層と、模擬造影ＣＴ画像を出力する出力層とから成る三層構造となっている。各層は所要とする数のニューロン素子で構成され、各層間が結合重み係数により結合されている。この造影ＣＴニューラルネットワークに学習用データを与えて学習させることで、造影ＣＴ画像作成プログラムに用いられる学習済みニューラルネットワークを構築することができる。ステップＳ１４の処理後、制御部１１は、図４の学習処理を終了する。 Subsequently, in step S14, the control unit 11 performs a learning process (“learning step”). The control unit 11 inputs the simple CT image acquired in step S11 and the contrast CT image selected in step S12, and contrasts CT so that the output simulated contrast CT image approaches the contrast CT image selected in step S12. Let the neural network learn. The contrast CT neural network has, for example, a three-layer structure including an input layer for inputting a processing target image (simple CT image and contrast CT image), one or more intermediate layers, and an output layer for outputting a simulated contrast CT image. It has become. Each layer is composed of the required number of neuron elements, and each layer is connected by a coupling weighting coefficient. By giving learning data to this contrast-enhanced CT neural network for training, it is possible to construct a trained neural network used in the contrast-enhanced CT image creation program. After the process of step S14, the control unit 11 ends the learning process of FIG.

（模擬造影ＣＴ画像生成制御）
次に、ＣＴ画像診断支援装置１０の模擬造影ＣＴ画像生成制御について、図６等を参照して説明する。図６は、制御部１１で行われる処理である。
まず、ステップＳ２１では、制御部１１は、通信部１３を介して評価対象の単純ＣＴ画像を取得する。続いて、ステップＳ２２では、制御部１１は、ステップＳ２１で取得した評価対象の単純ＣＴ画像を、学習済みのニューラルネットワークに入力する。そして、制御部１１は、造影ＣＴ画像作成プログラムに基づく制御により、学習済みのニューラルネットワークの出力部から模擬造影ＣＴ画像を出力させる。続いて、ステップＳ２３では、制御部１１は、ステップＳ２２で出力された模擬造影ＣＴ画像を表示部１５に表示させる（「表示工程」）。ステップＳ２３の処理後、制御部１１は、図６の模擬造影ＣＴ画像生成制御を終了する。 (Simulated contrast CT image generation control)
Next, the simulated contrast CT image generation control of the CT image diagnosis support device 10 will be described with reference to FIG. 6 and the like. FIG. 6 is a process performed by the control unit 11.
First, in step S21, the control unit 11 acquires a simple CT image to be evaluated via the communication unit 13. Subsequently, in step S22, the control unit 11 inputs the simple CT image to be evaluated acquired in step S21 into the trained neural network. Then, the control unit 11 outputs a simulated contrast CT image from the output unit of the trained neural network by control based on the contrast CT image creation program. Subsequently, in step S23, the control unit 11 causes the display unit 15 to display the simulated contrast CT image output in step S22 (“display step”). After the process of step S23, the control unit 11 ends the simulated contrast CT image generation control of FIG.

（模擬造影ＣＴ画像の評価）
次に、模擬造影ＣＴ画像生成制御によって生成された模擬造影ＣＴ画像の評価について説明する。
図７は、位置合わせを行わない場合（上段）、位置合わせを行った場合（中段）、および画像補間を行った場合（下段）における、単純ＣＴ画像、模擬造影ＣＴ画像、および造影ＣＴ画像の一例である。単純ＣＴ画像と造影ＣＴ画像は、同じ対象部位（腎臓及びその周辺）を撮像した画像である。位置合わせを行わない場合であっても、図７（Ｂ）の模擬造影ＣＴ画像は、図７（Ｃ）の造影ＣＴ画像に近い画像になっている。また、マスク処理を行い（図７（Ｄ）の模擬造影ＣＴ画像、図７（Ｅ）の造影ＣＴ画像）、その差分を取ると、図７（Ｆ）のようにわずかに誤差が生じている。 (Evaluation of simulated contrast CT image)
Next, the evaluation of the simulated contrast CT image generated by the simulated contrast CT image generation control will be described.
FIG. 7 shows the simple CT image, the simulated contrast CT image, and the contrast CT image when the alignment is not performed (upper row), the alignment is performed (middle row), and the image interpolation is performed (lower row). This is an example. The simple CT image and the contrast-enhanced CT image are images obtained by capturing the same target site (kidney and its surroundings). Even when the alignment is not performed, the simulated contrast CT image of FIG. 7 (B) is an image close to the contrast CT image of FIG. 7 (C). Further, when mask processing is performed (simulated contrast CT image of FIG. 7 (D) and contrast CT image of FIG. 7 (E)) and the difference is taken, a slight error occurs as shown in FIG. 7 (F). ..

位置合わせを行った場合、位置合わせを行わない場合に比べて、図７（Ｈ）の模擬造影ＣＴ画像は、図７（Ｉ）の造影ＣＴ画像により一層近い画像になっている。また、マスク処理を行い（図７（Ｊ）の模擬造影ＣＴ画像、図７（Ｋ）の造影ＣＴ画像）、その差分を取ると、位置合わせを行わない場合に比べて、図７（Ｌ）のように誤差が大きく低減している。 When the alignment is performed, the simulated contrast CT image of FIG. 7 (H) is closer to the contrast CT image of FIG. 7 (I) than the case where the alignment is not performed. Further, when mask processing is performed (simulated contrast CT image of FIG. 7 (J) and contrast CT image of FIG. 7 (K)) and the difference is taken, FIG. 7 (L) is compared with the case where the alignment is not performed. The error is greatly reduced as shown in.

単純ＣＴ画像の補間を行った場合、単純ＣＴ画像の補間を行わない場合（図７（Ａ）〜（Ｌ））に比べて、図７（Ｎ）の模擬造影ＣＴ画像は、図７（Ｏ）の造影ＣＴ画像により一層近い画像になっている。また、マスク処理を行い（図７（Ｐ）の模擬造影ＣＴ画像、図７（Ｑ）の造影ＣＴ画像）、その差分を取ると、補間を行わない場合に比べて、図７（Ｒ）のように誤差がさらに大きく低減している。 Compared with the case where the simple CT image is interpolated and the case where the simple CT image is not interpolated (FIGS. 7 (A) to (L)), the simulated contrast CT image of FIG. 7 (N) is shown in FIG. 7 (O). ) Is closer to the contrast CT image. Further, when mask processing is performed (simulated contrast CT image of FIG. 7 (P) and contrast CT image of FIG. 7 (Q)) and the difference is taken, as compared with the case where interpolation is not performed, FIG. 7 (R) shows. As a result, the error is further reduced.

図８は、マスク処理を行った場合において、位置合わせの有無による、各種誤差および相関係数の算出結果を示す図である。
図８は、生成画像のＸｎ,ｆａｋｅ（模擬造影ＣＴ画像のＣＴ値）と、実際の画像Ｘｎ,ｒｅａｌ（造影ＣＴ画像のＣＴ値）を比較している。具体的には、平均絶対誤差は、以下の式（数１）で算出し、平均平方二乗誤差は、以下の式（数２）で算出し、相関係数は、以下の式（数３）で算出した。なお、Ｎ＝６（うち４つは補間）、ｗ＝２５６、ｈ＝２５６である。 FIG. 8 is a diagram showing calculation results of various errors and correlation coefficients depending on the presence or absence of alignment when mask processing is performed.
FIG. 8 compares the Xn, fake (CT value of the simulated contrast CT image) of the generated image with the actual image Xn, real (CT value of the contrast CT image). Specifically, the mean absolute error is calculated by the following formula (Equation 1), the mean square error is calculated by the following formula (Equation 2), and the correlation coefficient is calculated by the following formula (Equation 3). Calculated in. N = 6 (four of which are interpolated), w = 256, and h = 256.

図８に示すように、全ての位置（ｚの値）で、位置合わせを行わない場合に比べて、位置合わせを行う場合の方が、相関係数が大きくなっている。すなわち、位置合わせを行うことで、模擬造影ＣＴ画像が造影ＣＴ画像により一層近くなっている。 As shown in FIG. 8, the correlation coefficient is larger in the case of performing the alignment than in the case of not performing the alignment at all the positions (values of z). That is, by performing the alignment, the simulated contrast CT image is closer to the contrast CT image.

（実施例１の効果）
実施例１のＣＴ画像診断支援装置１０は、評価対象の単純ＣＴ画像から造影ＣＴ画像に近い模擬造影ＣＴ画像を生成することができる。そのため、造影ＣＴ画像の代わりに模擬造影ＣＴ画像をＣＴ画像診断に用いることで、被験者の診断における負担を低減することができる。その上で、制御部１１に入力される造影ＣＴ画像として、単純ＣＴ画像に対して類似度の最も高い造影ＣＴ画像を選択することで、制御部１１に入力される単純ＣＴ画像と造影ＣＴ画像の対応精度を向上させることができる。これにより、ニューラルネットワークの学習効果を高めることができる。 (Effect of Example 1)
The CT image diagnosis support device 10 of the first embodiment can generate a simulated contrast CT image close to the contrast CT image from the simple CT image to be evaluated. Therefore, by using a simulated contrast CT image for CT image diagnosis instead of the contrast CT image, it is possible to reduce the burden on the subject's diagnosis. Then, by selecting the contrast-enhanced CT image having the highest degree of similarity to the simple CT image as the contrast-enhanced CT image input to the control unit 11, the simple CT image and the contrast-enhanced CT image input to the control unit 11 Correspondence accuracy can be improved. As a result, the learning effect of the neural network can be enhanced.

また、実施例１のＣＴ画像診断支援装置１０は、制御部１１に入力される単純ＣＴ画像および造影ＣＴ画像として、所定の臓器を抽出した臓器領域画像が生成される。そのため、所定の臓器とは異なる臓器や骨などの影響を受けることなく、所定の臓器に着目したニューラルネットワークによる処理を行うことができる。これにより、表示部１５は、所定の臓器を抽出した模擬造影ＣＴ画像を表示することができる。 Further, the CT image diagnosis support device 10 of the first embodiment generates an organ region image from which a predetermined organ is extracted as a simple CT image and a contrast CT image input to the control unit 11. Therefore, it is possible to perform processing by a neural network focusing on a predetermined organ without being affected by an organ different from the predetermined organ, a bone, or the like. As a result, the display unit 15 can display a simulated contrast CT image extracted from a predetermined organ.

＜実施例２＞
実施例２のＣＴ画像診断支援装置１０は、図９に示すように、実施例１で説明した模擬造影ＣＴ画像処理に加え、腫瘍判断支援処理を行う。具体的には、ＣＴ画像診断支援装置１０は、腫瘍判断支援プログラムに基づく深層学習により、単純ＣＴ画像および造影ＣＴ画像から腫瘍の有無を判断する腫瘍判断ニューラルネットワークを構築する。そして、ＣＴ画像診断支援装置１０は、構築された腫瘍判断ニューラルネットワークを用い、単純ＣＴ画像から、医師に腫瘍有無の判断指標を提供する。 <Example 2>
As shown in FIG. 9, the CT image diagnosis support device 10 of Example 2 performs tumor judgment support processing in addition to the simulated contrast CT image processing described in Example 1. Specifically, the CT image diagnosis support device 10 constructs a tumor judgment neural network that determines the presence or absence of a tumor from a simple CT image and a contrast-enhanced CT image by deep learning based on a tumor judgment support program. Then, the CT image diagnosis support device 10 uses the constructed tumor judgment neural network to provide a doctor with a judgment index of the presence or absence of a tumor from a simple CT image.

実施例２のＣＴ画像診断支援装置１０の学習処理では、制御部１１は、単純ＣＴ画像、腫瘍情報、造影ＣＴ画像、および撮影情報を学習用データとして入力して、出力される腫瘍判断が腫瘍情報（腫瘍の大きさ、位置等）に近づくように腫瘍判断ニューラルネットワークに学習させる。この腫瘍判定ニューラルネットワークに学習用データを与えて学習させることで、腫瘍判断プログラムに用いられる学習済みニューラルネットワークを構築することができる。 In the learning process of the CT image diagnosis support device 10 of the second embodiment, the control unit 11 inputs the simple CT image, the tumor information, the contrast CT image, and the imaging information as learning data, and the output tumor determination is a tumor. Train the tumor judgment neural network to approach the information (tumor size, position, etc.). By giving learning data to this tumor determination neural network and training it, it is possible to construct a trained neural network used in the tumor determination program.

なお、実施例２のＣＴ画像診断支援装置１０では、評価対象の単純ＣＴ画像に対する腫瘍判断処理において、相対的な数値等によって評価結果を提示してもよい。また、公知の方法（例えば、非特許文献（Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization、https://arxiv.org/abs/1610.02391）に開示される方法）を用いて、評価対象の単純ＣＴ画像に対するヒートマップを提示してもよい。 In the CT image diagnosis support device 10 of Example 2, the evaluation result may be presented by a relative numerical value or the like in the tumor determination process for the simple CT image to be evaluated. In addition, evaluation is performed using a known method (for example, a method disclosed in a non-patent document (Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization, https://arxiv.org/abs/1610.02391)). A heat map for the target simple CT image may be presented.

本発明は上記記述及び図面によって説明した実施例１に限定されるものではなく、例えば次のような実施例も本発明の技術的範囲に含まれる。
実施例１では、医師から模擬造影ＣＴ画像の内容の妥当性について評価を取得し、造影ＣＴニューラルネットにフィードバック（学習データに反映）してもよい。これにより、造影ＣＴニューラルネットは、自動的に医師の知見に基づき学習することができる。
実施例２では、さらに、医師がその提供情報の妥当性を判断することでニューラルネットの学習にフィードバックし、常時ニューラルネットの学習に活用させることができる。これにより、より一層医師の診断に役立てることができる。
実施例２では、模擬造影ＣＴ画像処理に加え、腫瘍判断支援処理を行う構成であったが、腫瘍判断支援処理のみを行う構成であってもよい。
実施例１，２において腎臓を例に示したが、他の臓器、例えば、肝臓、膵臓、肺などにおいても同様に適用できる。 The present invention is not limited to the first embodiment described by the above description and drawings, and for example, the following examples are also included in the technical scope of the present invention.
In Example 1, the validity of the content of the simulated contrast CT image may be obtained from a doctor and fed back to the contrast CT neural net (reflected in the learning data). As a result, the contrast CT neural network can be automatically learned based on the knowledge of the doctor.
In the second embodiment, the doctor further determines the validity of the provided information, so that the information can be fed back to the learning of the neural network and can be constantly utilized for the learning of the neural network. This makes it even more useful for doctors' diagnosis.
In Example 2, in addition to the simulated contrast CT image processing, the tumor judgment support processing is performed, but the configuration may be such that only the tumor judgment support processing is performed.
Although the kidney is shown as an example in Examples 1 and 2, the same can be applied to other organs such as liver, pancreas, and lung.

１０…ＣＴ画像診断支援装置
１１…制御部
１２…記憶部
１３…通信部
１４…入力部
１５…表示部 10 ... CT image diagnosis support device 11 ... Control unit 12 ... Storage unit 13 ... Communication unit 14 ... Input unit 15 ... Display unit

Claims

A plurality of simple CT images obtained by imaging a predetermined part of the human body at a predetermined imaging interval, and a plurality of contrast-enhanced CT images obtained by imaging the same part as the predetermined part at a shorter imaging interval than the simple CT image. The image, the acquisition part to acquire, and
A selection unit that selects the contrast-enhanced CT image having the highest degree of similarity to the simple CT image acquired by the acquisition unit, and a selection unit.
The simple CT image acquired by the acquisition unit and the contrast CT image selected by the selection unit are input, and the output simulated contrast CT image is used as the contrast CT image selected by the selection unit. A learning unit that lets the neural network learn to approach
A display unit that displays the simulated contrast-enhanced CT image that is output by inputting a simple CT image to be evaluated into the learned unit that has already been trained.
A CT image diagnosis support device comprising.

An extraction unit for generating an organ region image obtained by extracting a predetermined organ from the simple CT image and the contrast-enhanced CT image acquired by the acquisition unit is provided.
The CT image diagnosis support device according to claim 1, wherein the learning unit inputs an image of the organ region generated by the extraction unit.

A plurality of simple CT images obtained by imaging a predetermined part of the human body at a predetermined imaging interval, and a plurality of contrast-enhanced CT images obtained by imaging the same part as the predetermined part at a shorter imaging interval than the simple CT image. The image, the acquisition process to acquire, and
A selection step of selecting the contrast-enhanced CT image having the highest degree of similarity to the simple CT image acquired in the acquisition step, and
The simple CT image acquired in the acquisition step and the contrast CT image selected in the selection step are input, and the output simulated contrast CT image is used as the contrast CT image selected in the selection step. A learning process that trains a neural network to get closer,
A display step of inputting a simple CT image to be evaluated into the trained neural network and displaying the simulated contrast CT image output.
A CT image diagnosis support method comprising.

It includes an extraction step of generating an organ region image obtained by extracting a predetermined organ from the simple CT image and the contrast CT image acquired in the acquisition step.
The CT image diagnosis support method according to claim 3, wherein in the learning step, the organ region image generated in the extraction step is input to the neural network.

Computer,
A plurality of simple CT images obtained by imaging a predetermined part of the human body at a predetermined imaging interval, and a plurality of contrast-enhanced CT images obtained by imaging the same part as the predetermined part at a shorter imaging interval than the simple CT image. Image and acquisition method,
A selection means for selecting the contrast-enhanced CT image having the highest degree of similarity to the simple CT image acquired by the acquisition means.
The simple CT image acquired by the acquisition means and the contrast CT image selected by the selection means are input, and the output simulated contrast CT image is used as the contrast CT image selected by the selection means. A learning method that trains a neural network to approach
A display means for displaying the simulated contrast CT image output by inputting the simple CT image to be evaluated into the trained neural network.
A CT image diagnosis support program characterized by functioning as.

The computer
It is made to function as an extraction means for generating an organ region image obtained by extracting a predetermined organ from the simple CT image and the contrast CT image acquired by the acquisition means.
The CT image diagnosis support program according to claim 5, wherein the learning means inputs an image of the organ region generated by the extraction means.