JP6583875B1 - Image processing method, image processing system, and image processing program - Google Patents
Image processing method, image processing system, and image processing program Download PDFInfo
- Publication number
- JP6583875B1 JP6583875B1 JP2019114462A JP2019114462A JP6583875B1 JP 6583875 B1 JP6583875 B1 JP 6583875B1 JP 2019114462 A JP2019114462 A JP 2019114462A JP 2019114462 A JP2019114462 A JP 2019114462A JP 6583875 B1 JP6583875 B1 JP 6583875B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- image series
- series
- slice
- thickness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 66
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000006870 function Effects 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 37
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000010030 laminating Methods 0.000 abstract description 2
- 238000002591 computed tomography Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 210000004872 soft tissue Anatomy 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
【課題】モダリティが撮影した所定の厚さの画像シリーズに基づき、スライス厚さを変更した画像シリーズを生成する方法を提供すること。【解決手段】連続的な複数のスライス画像により構成される第一画像シリーズから、前記第一画像シリーズと平行な面で異なる厚さのスライス画像により構成される第四画像シリーズを得るための画像処理方法であって、前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして得られる第二画像シリーズを生成するステップと、前記第二画像シリーズを構成する各々のスライス画像に対して高精細化処理を行うことで、第三画像シリーズを生成するステップと、前記第三画像シリーズを積層して得られる三次元データを、前記第一画像シリーズと平行な方向に前記第一画像シリーズとは異なる厚さでスライスすることにより、前記第四画像シリーズを生成するステップと、をコンピュータに実行させる。【選択図】図２A method for generating an image series in which a slice thickness is changed based on an image series of a predetermined thickness photographed by a modality. An image for obtaining a fourth image series constituted by slice images having different thicknesses in a plane parallel to the first image series, from a first image series constituted by a plurality of continuous slice images. A second processing method, wherein the three-dimensional data obtained by laminating the first image series is obtained by continuously slicing with a predetermined thickness in a direction different from the slice plane in the first image series. A step of generating an image series, a step of generating a third image series by performing high-definition processing on each slice image constituting the second image series, and a stack of the third image series. By slicing the three-dimensional data obtained in this way in a direction parallel to the first image series with a thickness different from that of the first image series, the fourth image series is obtained. To execute the steps of generating over's, to the computer. [Selection] Figure 2
Description
本発明は、医用画像シリーズにおけるスライスの厚さを、モダリティ固有のものから変更するための画像処理方法、画像処理システム及び画像処理プログラムに関する。 The present invention relates to an image processing method, an image processing system, and an image processing program for changing the thickness of a slice in a medical image series from a modality specific one.
通常、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）等の医用画像のスライス厚さ等の条件は、その画像を撮影するモダリティに固有の性能に依存している。しかし、診断や治療を行う上で、スライスの方向や厚さが異なる画像が得られた方が好ましい場合がある。 Usually, conditions such as slice thickness of a medical image such as CT (Computed Tomography) depend on the performance specific to the modality for capturing the image. However, it may be preferable to obtain images with different slice directions and thicknesses for diagnosis and treatment.
これに対し、例えば特許文献１に記載の画像生成装置は、断層撮影装置により得られた連続的な複数の断層像をそのスライス方向に積層して成る３次元画像から、所望の断面像を、補間処理により生成する。このとき、例えば非軟部組織とその近傍には、当該組織に適した解像度保持優先の補間処理を適用し、軟部組織には、当該組織に適したノイズ抑制優先の補間処理を適用することで、撮影部位の組織の種類に依らず、画像診断に適した画像を得ることができる。 On the other hand, for example, the image generation apparatus described in Patent Document 1 obtains a desired cross-sectional image from a three-dimensional image formed by laminating a plurality of continuous tomographic images obtained by a tomography apparatus in the slice direction. Generated by interpolation processing. At this time, for example, a non-soft tissue and the vicinity thereof, by applying a resolution-maintenance priority interpolation process suitable for the tissue, and applying a noise suppression priority interpolation process suitable for the tissue to the soft tissue, An image suitable for diagnostic imaging can be obtained regardless of the type of tissue at the imaging site.
しかし、特許文献１に記載の技術では、オリジナルのスライス面を傾斜させた断面について断面像を得ることについて主に記載されており、スライス厚さを変更した画像を得るための具体的な方法については記載されていない。また、少なくとも画像に含まれる領域が軟部組織であるか非軟部組織であるかを区別する必要があり、手間がかかっていた。 However, the technique described in Patent Document 1 mainly describes obtaining a cross-sectional image of a cross-section obtained by inclining an original slice plane, and a specific method for obtaining an image with a changed slice thickness. Is not listed. In addition, it is necessary to distinguish at least whether the region included in the image is soft tissue or non-soft tissue, which is troublesome.
上述の通り、診断や治療の際には、利用可能なモダリティが撮影可能なスライス厚さとは異なる厚さの医用画像が要求されることも多い。一方、医療機関において、所望のスライス厚さに合わせてその都度対応するモダリティを導入することは費用や設置場所等様々な面から難しい。 As described above, in diagnosis and treatment, a medical image having a thickness different from the slice thickness with which an available modality can be photographed is often required. On the other hand, in medical institutions, it is difficult to introduce a modality corresponding to each desired slice thickness from various aspects such as cost and installation location.
上記のような状況に鑑みて、本発明は、モダリティが撮影した所定の厚さの画像シリーズに基づき、スライス厚さを変更した画像シリーズを生成する方法を提供することを課題とする。 In view of the above situation, an object of the present invention is to provide a method for generating an image series in which a slice thickness is changed based on an image series having a predetermined thickness taken by a modality.
上記課題を解決するために、本発明は、連続的な複数のスライス画像により構成される第一画像シリーズから、前記第一画像シリーズと平行な面で異なる厚さのスライス画像により構成される第四画像シリーズを得るための画像処理方法であって、
前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして得られる第二画像シリーズを生成するステップと、
前記第二画像シリーズを構成する各々のスライス画像に対して高精細化処理を行うことで、第三画像シリーズを生成するステップと、
前記第三画像シリーズを積層して得られる三次元データを、前記第一画像シリーズと平行な方向に前記第一画像シリーズとは異なる厚さでスライスすることにより、前記第四画像シリーズを生成するステップと、をコンピュータに実行させる。
In order to solve the above-described problem, the present invention provides a first image series constituted by slice images having different thicknesses in a plane parallel to the first image series, from a first image series constituted by a plurality of continuous slice images. An image processing method for obtaining a four-image series,
A step of generating a second image series obtained by continuously slicing three-dimensional data obtained by stacking the first image series at a predetermined thickness in a direction different from a slice plane in the first image series. When,
Generating a third image series by performing a high-definition process on each slice image constituting the second image series;
The fourth image series is generated by slicing the three-dimensional data obtained by stacking the third image series with a thickness different from that of the first image series in a direction parallel to the first image series. And causing the computer to execute the steps.
このような構成とすることで、第一画像シリーズに基づいて、第一画像シリーズと水平なスライス面で、第一画像シリーズとは異なる厚さの第四画像シリーズを生成することが出来る。これにより、例えばモダリティが厚いスライス画像しか提供できない場合であっても、より薄いスライス画像を生成することが出来るため、診断や治療に役立てることが出来る。 With this configuration, a fourth image series having a thickness different from that of the first image series can be generated on the slice plane parallel to the first image series based on the first image series. Thereby, for example, even when only a slice image with a thick modality can be provided, a thinner slice image can be generated, which can be used for diagnosis and treatment.
本発明の好ましい形態では、前記第三画像シリーズを生成するステップでは、画素数を増加させ、不足する画素を補間することにより高精細化処理を実行する。
このような構成とすることで、第一画像シリーズに含まれる画像と画像の間に当たる画素を補間することができ、第三画像シリーズを積層した三次元データをスライスすることで、第一画像シリーズとは厚さが異なる第四画像シリーズを生成することが出来る。
In a preferred embodiment of the present invention, in the step of generating the third image series, the number of pixels is increased, and high definition processing is executed by interpolating the deficient pixels.
By adopting such a configuration, the pixels included in the first image series can be interpolated between pixels, and the first image series can be sliced by slicing the three-dimensional data obtained by stacking the third image series. Can produce a fourth image series with different thickness.
本発明の好ましい形態では、前記第二画像シリーズに対応する前記第三画像シリーズのデータに基づいて、前記第二画像シリーズから前記第三画像シリーズを生成する関数を作成することで、前記第二画像シリーズの高精細化処理を学習するステップを更に備え、
前記第三画像シリーズを生成するステップでは、前記関数に基づいて、前記第二画像シリーズから前記第三画像シリーズを生成する。
このような構成とすることで、実際のデータに基づいて関数を作成するため、高精細化処理の精度向上効果が期待できる。
In a preferred embodiment of the present invention, the second image series is generated based on the data of the third image series corresponding to the second image series, thereby generating the third image series from the second image series. The method further includes a step of learning high definition processing of the image series,
In the step of generating the third image series, the third image series is generated from the second image series based on the function.
With such a configuration, a function is created based on actual data, so that an effect of improving the precision of the high definition processing can be expected.
本発明の好ましい形態では、前記高精細化処理を学習するステップは、第一のスライス厚さの前記第一画像シリーズに含まれる連続した画像を所定数ずつ結合してそれぞれ１つの画像を生成する結合処理を行って、前記第一のスライス厚さより厚い第二のスライス厚さの前記第一画像シリーズを生成するステップと、
前記第二のスライス厚さの前記第一画像シリーズに基づいて生成される入力画像シリーズ及び、前記第一のスライス厚さの前記第一画像シリーズに基づいて生成される教師画像シリーズに基づいて、前記第二画像シリーズから前記第三画像シリーズを生成する関数を作成するステップと、を更に備える。
このような構成とすることで、目的とする厚さのスライス画像を、入力画像に対応する厚さのスライス画像に変換し、それぞれから教師画像シリーズ及び入力画像シリーズを生成して機械学習を行うことで、実際のデータに基づく精度の高い関数を作成できる。
In a preferred embodiment of the present invention, the step of learning the high definition processing generates a single image by combining a predetermined number of consecutive images included in the first image series having a first slice thickness. Performing a combining process to generate the first image series having a second slice thickness greater than the first slice thickness;
Based on the input image series generated based on the first image series of the second slice thickness and the teacher image series generated based on the first image series of the first slice thickness, Creating a function for generating the third image series from the second image series.
With this configuration, a slice image having a target thickness is converted into a slice image having a thickness corresponding to the input image, and a teacher image series and an input image series are generated from each to perform machine learning. This makes it possible to create a highly accurate function based on actual data.
本発明の好ましい形態では、前記高精細化処理を学習するステップは、第一のスライス厚さの前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして得られる教師画像シリーズを生成するステップと、
前記第一のスライス厚さの前記第一画像シリーズに含まれる連続した画像を所定数ずつ結合してそれぞれ１つの画像を生成する結合処理を行って、前記第一のスライス厚さより厚い第二のスライス厚さの前記第一画像シリーズを生成するステップと、
当該前記第二のスライス厚さの前記第一画像シリーズを積層して得られる三次元データを、前記教師画像シリーズと同じ方向に所定の厚さで連続的にスライスして入力画像シリーズを生成するステップと、
前記入力画像シリーズ及び教師画像シリーズに基づいて、前記第二画像シリーズから前記第三画像シリーズを生成する関数を作成するステップと、を更に備える。
このような構成とすることで、例えばスライス厚さが厚い第一画像シリーズから、スライス厚さが薄い第四画像シリーズを生成することを想定すると、実際に薄いスライス画像から生成される教師画像シリーズに基づき、関数を作成することができる。
In a preferred embodiment of the present invention, the step of learning the high-definition processing includes three-dimensional data obtained by stacking the first image series having a first slice thickness, and a slice plane in the first image series. Generating a series of teacher images obtained by slicing continuously in different directions with a predetermined thickness;
A combination process is performed in which a predetermined number of consecutive images included in the first image series having the first slice thickness are combined to generate one image, and a second image that is thicker than the first slice thickness. Generating the first image series of slice thickness;
The three-dimensional data obtained by stacking the first image series having the second slice thickness is continuously sliced at a predetermined thickness in the same direction as the teacher image series to generate an input image series. Steps,
Creating a function for generating the third image series from the second image series based on the input image series and the teacher image series.
With such a configuration, for example, assuming that a fourth image series with a thin slice thickness is generated from a first image series with a large slice thickness, a teacher image series actually generated from a thin slice image A function can be created based on
本発明の好ましい形態では、前記結合処理は、所定数の画像の画素値に対し、平均化、中央化及び畳み込みのうち何れかの処理を行うことで、連続した複数の画像から１つの画像を生成する処理であることを特徴とする。
このように、各画素について複数の画像を考慮して結合処理を行うことで、例えばｎ枚の画像についての結合処理の結果、実際に第一画像シリーズと同一の撮影対象を第一のスライス厚さをｎ倍したスライス厚さで撮影した場合に得られる画像と近い画像を得ることが出来る。これにより、更に高精度に第二画像シリーズから第三画像シリーズを生成できる。
In a preferred embodiment of the present invention, the combining process performs one of averaging, centralization, and convolution on a predetermined number of image pixel values, thereby obtaining one image from a plurality of consecutive images. It is a process to generate.
In this way, by performing a combining process in consideration of a plurality of images for each pixel, for example, as a result of the combining process for n images, the same imaging object as the first image series is actually set to the first slice thickness. It is possible to obtain an image close to an image obtained when photographing with a slice thickness obtained by multiplying the thickness by n. Thereby, the third image series can be generated from the second image series with higher accuracy.
本発明の好ましい形態では、前記高精細化処理を学習するステップよりも後に、新たに前記第一のスライス厚さの前記第一画像シリーズに基づいて生成される前記入力画像シリーズ及び教師画像シリーズにより、前記関数を更新するステップを更に備える。
このような構成とすることで、関数の作成後にも新たなデータを入力して更新を行い、継続的な学習を行って精度を向上させることが可能となる。
In a preferred embodiment of the present invention, the input image series and the teacher image series newly generated based on the first image series having the first slice thickness after the step of learning the high definition processing are provided. And updating the function.
With such a configuration, it is possible to input new data even after the function is created and update it, and to perform continuous learning to improve accuracy.
本発明の好ましい形態では、前記第三画像シリーズを生成するステップでは、前記第二画像シリーズを構成する各々のスライス画像に対して、前記第一画像シリーズのスライス面方向には高精細化処理を行わず、前記第一画像シリーズの厚さ方向に対して高精細化処理を行うことで前記第三画像シリーズを生成する。
このような構成とすることで、一定方向のみに高精細化処理を行えばよいため、少ない教師データに基づいて、精度よく第三画像シリーズを生成する関数を作成できる。
In a preferred embodiment of the present invention, in the step of generating the third image series, a high definition processing is performed in the slice plane direction of the first image series for each slice image constituting the second image series. Without performing this, the third image series is generated by performing high definition processing in the thickness direction of the first image series.
With such a configuration, it is only necessary to perform high definition processing only in a certain direction, so that a function for generating the third image series with high accuracy can be created based on a small amount of teacher data.
本発明の好ましい形態では、前記第二画像シリーズは、前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面に対して直角方向に所定の厚さで連続的にスライスして得られる。 In a preferred embodiment of the present invention, the second image series is a series of three-dimensional data obtained by stacking the first image series at a predetermined thickness in a direction perpendicular to the slice plane in the first image series. Obtained by slicing.
本発明の好ましい形態では、前記第四画像シリーズのスライス厚さは前記第三画像シリーズに含まれる各画像の画素間隔と同じであることを特徴とする。 In a preferred embodiment of the present invention, the slice thickness of the fourth image series is the same as the pixel interval of each image included in the third image series.
本発明の好ましい形態では、前記第一画像シリーズ及び第四画像シリーズは、アキシャル方向のスライス画像シリーズであり、
前記第二画像シリーズ及び第三画像シリーズは、コロナル方向又はサジタル方向のスライス画像シリーズである。
In a preferred embodiment of the present invention, the first image series and the fourth image series are slice image series in an axial direction,
The second image series and the third image series are slice image series in the coronal direction or the sagittal direction.
本発明は、連続的な複数のスライス画像により構成される第一画像シリーズから、前記第一画像シリーズと平行な面で異なる厚さのスライス画像により構成される第四画像シリーズを得るための画像処理システムであって、
前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして得られる第二画像シリーズを生成する手段と、
前記第二画像シリーズを構成する各々のスライス画像に対して高精細化処理を行うことで、第三画像シリーズを生成する手段と、
前記第三画像シリーズを積層して得られる三次元データを、前記第一画像シリーズと平行な方向に前記第一画像シリーズとは異なる厚さでスライスすることにより、前記第四画像シリーズを生成する手段と、を備える。
The present invention provides an image for obtaining a fourth image series constituted by slice images having different thicknesses on a plane parallel to the first image series, from a first image series constituted by a plurality of continuous slice images. A processing system,
Means for generating a second image series obtained by continuously slicing the three-dimensional data obtained by stacking the first image series with a predetermined thickness in a direction different from the slice plane in the first image series. When,
Means for generating a third image series by performing high definition processing on each slice image constituting the second image series;
The fourth image series is generated by slicing the three-dimensional data obtained by stacking the third image series with a thickness different from that of the first image series in a direction parallel to the first image series. Means.
本発明は、連続的な複数のスライス画像により構成される第一画像シリーズから、前記第一画像シリーズと平行な面で異なる厚さのスライス画像により構成される第四画像シリーズを得るための画像処理プログラムであって、
前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして得られる第二画像シリーズを生成する手段と、
前記第二画像シリーズを構成する各々のスライス画像に対して高精細化処理を行うことで、第三画像シリーズを生成する手段と、
前記第三画像シリーズを積層して得られる三次元データを、前記第一画像シリーズと平行な方向に前記第一画像シリーズとは異なる厚さでスライスすることにより、前記第四画像シリーズを生成する手段と、としてコンピュータを機能させる。
The present invention provides an image for obtaining a fourth image series constituted by slice images having different thicknesses on a plane parallel to the first image series, from a first image series constituted by a plurality of continuous slice images. A processing program,
Means for generating a second image series obtained by continuously slicing the three-dimensional data obtained by stacking the first image series with a predetermined thickness in a direction different from the slice plane in the first image series. When,
Means for generating a third image series by performing high definition processing on each slice image constituting the second image series;
The fourth image series is generated by slicing the three-dimensional data obtained by stacking the third image series with a thickness different from that of the first image series in a direction parallel to the first image series. As a means, make the computer function.
本発明によれば、モダリティが撮影した所定の厚さの画像シリーズに基づき、スライス厚さを変更した画像シリーズを生成する方法を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the method of producing | generating the image series which changed slice thickness based on the image series of the predetermined thickness which the modality image | photographed can be provided.
以下、図面を用いて、本発明の画像処理システムについて説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。 The image processing system of the present invention will be described below with reference to the drawings. The embodiment described below is an example of the present invention, and the present invention is not limited to the following embodiment, and various configurations may be employed.
例えば、本実施形態では画像処理システムの構成、動作等について説明するが、同様の構成の方法、サーバ装置、コンピュータプログラム等も、同様の作用効果を奏することができる。また、プログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、例えばコンピュータにプログラムをインストールすることができる。ここで、プログラムを記憶した記録媒体は、例えばＣＤ−ＲＯＭ等の非一過性の記録媒体であっても良い。 For example, in the present embodiment, the configuration, operation, and the like of the image processing system will be described. However, a method, a server device, a computer program, and the like having the same configuration can also exhibit the same operational effects. The program may be stored in a recording medium. If this recording medium is used, a program can be installed in a computer, for example. Here, the recording medium storing the program may be a non-transitory recording medium such as a CD-ROM.
本発明は、例えばＣＴ画像等のスライス画像シリーズについて、モダリティが提供する画像シリーズとは異なる厚さの画像シリーズを得るためのものである。図１は、本発明の実施形態を説明する為に、本明細書において用いる言葉を説明する図である。 The present invention is to obtain an image series having a thickness different from that of an image series provided by a modality for a slice image series such as a CT image. FIG. 1 is a diagram illustrating terms used in this specification in order to describe an embodiment of the present invention.
図１に示すように、医療に用いられる生体のスライス画像は、そのスライス方向によって「アキシャル画像」、「コロナル画像」、「サジタル画像」、等と呼称される。アキシャル画像は体軸に対して垂直な方向にスライスした画像であり、コロナル画像及びサジタル画像は体軸に沿った面でスライスした画像である。コロナル画像は体を前後に分けるような面でスライスしたものであり、サジタル画像のスライス面はコロナル画像のスライス面に直交する。本実施形態では、Ｘ軸及びＹ軸に沿ってアキシャル画像の画素が並んでいる場合を想定して説明する。 As shown in FIG. 1, a slice image of a living body used for medical treatment is called “axial image”, “coronal image”, “sagittal image”, or the like depending on the slice direction. An axial image is an image sliced in a direction perpendicular to the body axis, and a coronal image and a sagittal image are images sliced along a plane along the body axis. The coronal image is obtained by slicing the body into front and back planes, and the sagittal image slice plane is orthogonal to the coronal image slice plane. In the present embodiment, a description will be given on the assumption that pixels of an axial image are arranged along the X axis and the Y axis.
以下、第一画像シリーズを構成する画像を第一画像、第二画像シリーズを構成する画像を第二画像、等のように呼ぶ。ここで、画像シリーズとは、撮影対象Ｐのスライス画像のシリーズであり、連続した複数のスライス画像によって撮影対象Ｐの全範囲のデータを構成する。本実施形態では、第一画像及び第四画像はアキシャル画像であり、第二画像及び第三画像は、コロナル画像又はサジタル画像である。ただし、第一〜第四画像の方向はこれに限定されず、例えば第二画像が第一画像と斜めに交わるような方向のスライス画像であってもよい。 Hereinafter, an image constituting the first image series is called a first image, an image constituting the second image series is called a second image, and so on. Here, the image series is a series of slice images of the shooting target P, and data of the entire range of the shooting target P is constituted by a plurality of continuous slice images. In the present embodiment, the first image and the fourth image are axial images, and the second image and the third image are coronal images or sagittal images. However, the directions of the first to fourth images are not limited to this, and for example, a slice image in a direction in which the second image crosses the first image obliquely may be used.
図２は、本実施形態において、スライス厚さの厚い第一画像シリーズから、スライス厚さの薄い第四画像シリーズを生成する手順の概要を示す図である。なお、第一画像シリーズ及び第四画像シリーズのスライス厚さの大小関係等はこれに限定されない。ここに示すように、本実施形態ではまず、あるスライス厚さの第一画像シリーズ（アキシャル画像シリーズ）を取得し、それを積層して三次元データを生成する（ａ）。ここで生成される三次元データは、Ｚ方向には第一画像シリーズのスライス厚さに応じた解像度となっており、本例においてはＺ方向に粗い三次元データとなる。 FIG. 2 is a diagram illustrating an outline of a procedure for generating a fourth image series having a thin slice thickness from the first image series having a large slice thickness in the present embodiment. In addition, the magnitude relation of the slice thickness of the first image series and the fourth image series is not limited to this. As shown here, in the present embodiment, first, a first image series (axial image series) having a certain slice thickness is acquired, and is layered to generate three-dimensional data (a). The three-dimensional data generated here has a resolution corresponding to the slice thickness of the first image series in the Z direction, and in this example, the three-dimensional data is coarse in the Z direction.
そして三次元データをコロナル方向やサジタル方向等、第一画像シリーズとは異なる方向にスライスして（ｂ）、Ｚ方向には粗い第二画像を得る（ｃ）。三次元データの全範囲に対してスライスした画像シリーズが第二画像シリーズである。次に第二画像シリーズに含まれる全ての第二画像に対して高精細化処理を行って、第三画像シリーズを生成する（ｄ）。高精細化処理により、Ｚ方向の画素が補われる。 Then, the three-dimensional data is sliced in a direction different from the first image series, such as a coronal direction or a sagittal direction (b), and a coarse second image is obtained in the Z direction (c). The image series sliced over the entire range of the three-dimensional data is the second image series. Next, high definition processing is performed on all the second images included in the second image series to generate a third image series (d). The pixels in the Z direction are supplemented by the high definition processing.
この第三画像シリーズを積層して、高精細化処理によってＺ方向の画素が補われた三次元データを生成し（ｅ）、それを第一画像シリーズと平行な面で異なるスライス厚さでスライスすることにより、目的とする第四画像シリーズが生成される（ｆ）。 This third image series is stacked to generate three-dimensional data in which the pixels in the Z direction are supplemented by high definition processing (e), and sliced with different slice thicknesses in a plane parallel to the first image series As a result, a target fourth image series is generated (f).
以下、第四画像シリーズを生成する為の画像処理システムの機能構成及び処理の詳細を説明する。図３は、本実施形態の画像処理システムの機能ブロック図である。ここに示すように、本実施形態の画像処理システムは、画像処理装置１と学習手段２とを備える。なお、画像処理装置１が学習手段２を備える構成としてもよい。 The functional configuration and processing details of the image processing system for generating the fourth image series will be described below. FIG. 3 is a functional block diagram of the image processing system of the present embodiment. As shown here, the image processing system of this embodiment includes an image processing apparatus 1 and a learning unit 2. Note that the image processing apparatus 1 may include the learning unit 2.
画像処理装置１としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の主記憶装置、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等の補助記憶装置、ディスプレイ等の表示手段や、学習手段２への接続手段を含む種々の入出力装置等を備えた、ＰＣ等の一般的なコンピュータ装置を利用することができる。 The image processing apparatus 1 includes a CPU (Central Processing Unit) and a processing unit such as a GPU (Graphic Processing Unit), a main storage device such as a RAM (Random Access Memory), a HDD (Hard Disk Drive), and an SSD (Solid State Drive). A general computer device such as a PC having an auxiliary storage device such as a flash memory, a display unit such as a display, and various input / output devices including a connection unit to the learning unit 2 can be used.
画像処理装置１は、第一画像シリーズ取得手段１１と、第二画像シリーズ生成手段１２と、第三画像シリーズ生成手段１３と、第四画像シリーズ生成手段１４と、第三画像生成関数を記憶する記憶手段１５と、を備えている。 The image processing apparatus 1 stores a first image series acquisition unit 11, a second image series generation unit 12, a third image series generation unit 13, a fourth image series generation unit 14, and a third image generation function. Storage means 15.
また学習手段２は、学習用画像取得手段２１と、画像結合手段２２と、教師画像シリーズ生成手段２３と、入力画像シリーズ生成手段２４と、第三画像生成関数管理手段２５と、を備え、第三画像生成関数を画像処理装置１が利用できるように提供する。本実施形態では、画像処理装置１の使用を開始する前に十分な量の教師データに基づいて第三画像生成関数を作成し、作成された関数によって高精細化処理が行われる。なお、本実施形態では更に、画像処理装置１を使用する中で教師データの作成に利用可能な第一画像シリーズが得られた場合に、第三画像生成関数を更新して追加で学習を行うことにより、高精細化処理の精度向上が可能である。 The learning unit 2 includes a learning image acquisition unit 21, an image combination unit 22, a teacher image series generation unit 23, an input image series generation unit 24, and a third image generation function management unit 25. Three image generation functions are provided so that the image processing apparatus 1 can use them. In the present embodiment, the third image generation function is created based on a sufficient amount of teacher data before the use of the image processing apparatus 1 is started, and high definition processing is performed by the created function. In the present embodiment, when a first image series that can be used to create teacher data is obtained while using the image processing apparatus 1, the third image generation function is updated and additional learning is performed. Thus, it is possible to improve the accuracy of the high definition processing.
第一画像シリーズ取得手段１１は、モダリティが撮影し、任意の場所に記憶された第一画像シリーズを取得する。第一画像シリーズはモダリティ固有の性能に依存したスライス厚さで撮影される。 The first image series acquisition means 11 acquires a first image series that is captured by the modality and stored in an arbitrary location. The first image series is taken with a slice thickness depending on the modality-specific performance.
第二画像シリーズ生成手段１２は、第一画像シリーズを積層して得られる三次元データを、第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして第二画像シリーズを生成する。本実施形態では、第一画像シリーズにおけるスライス面に対して直角方向に三次元データをスライスすることで、第二画像シリーズを生成する。 The second image series generation means 12 continuously slices the three-dimensional data obtained by stacking the first image series with a predetermined thickness in a direction different from the slice plane in the first image series. Generate a series. In the present embodiment, the second image series is generated by slicing the three-dimensional data in the direction perpendicular to the slice plane in the first image series.
第三画像シリーズ生成手段１３は、第二画像シリーズを構成する各々のスライス画像（第二画像）に対して高精細化処理を行うことで、第三画像シリーズを生成する。本実施形態では、第一画像シリーズの厚さ方向（スライス面と垂直な方向）に第二画像の画素数を増加させ、不足する画素を補間する。本実施形態では、この際に、第二画像に対応する第三画像の教師データを与えることで学習した関数によって、第二画像から第三画像を生成する。 The third image series generation unit 13 generates a third image series by performing high definition processing on each slice image (second image) constituting the second image series. In the present embodiment, the number of pixels of the second image is increased in the thickness direction (direction perpendicular to the slice plane) of the first image series, and insufficient pixels are interpolated. In this embodiment, at this time, the third image is generated from the second image by a function learned by giving teacher data of the third image corresponding to the second image.
第四画像シリーズ生成手段１４は、第三画像シリーズを積層して得られる三次元データを、第一画像シリーズと平行な方向に第一画像シリーズとは異なる厚さでスライスすることで第四画像シリーズを生成する。本実施形態では、上記のように第一画像シリーズの厚さ方向の画素が補われた三次元データを生成してスライスすることで、第一画像シリーズと異なる厚さのスライス画像を生成することが出来る。 The fourth image series generation means 14 slices the three-dimensional data obtained by stacking the third image series with a thickness different from that of the first image series in a direction parallel to the first image series. Generate a series. In the present embodiment, as described above, by generating and slicing three-dimensional data in which pixels in the thickness direction of the first image series are supplemented, a slice image having a thickness different from that of the first image series is generated. I can do it.
学習手段２は、第二画像に対応する第三画像のデータに基づいて、第二画像から第三画像を生成する関数を作成することで、第二画像の高精細化処理を学習する。第三画像生成関数の作成は、画像処理装置１の使用開始前に行われるが、画像処理装置１の使用開始後にも、教師データの作成に利用可能な第一画像シリーズが得られた場合には第三画像生成関数の更新を行うことで継続的な学習が可能である。 The learning unit 2 learns the high-definition processing of the second image by creating a function for generating the third image from the second image based on the data of the third image corresponding to the second image. The creation of the third image generation function is performed before the start of use of the image processing apparatus 1, but when the first image series that can be used for creation of teacher data is obtained after the start of use of the image processing apparatus 1. Can be continuously learned by updating the third image generation function.
具体的には、学習用画像取得手段２１が、第一のスライス厚さの第一画像シリーズを取得する。そして、画像結合手段２２が、連続した第一画像を所定数ずつ結合してそれぞれ１つの画像を生成する結合処理を行って、第一のスライス厚さより厚い第二のスライス厚さの第一画像シリーズを生成する。 Specifically, the learning image acquisition unit 21 acquires the first image series having the first slice thickness. Then, the image combining means 22 performs a combining process of combining a predetermined number of consecutive first images to generate one image, and a first image having a second slice thickness that is thicker than the first slice thickness. Generate a series.
教師画像シリーズ生成手段２３は、第一のスライス厚さの第一画像シリーズを積層して得られる三次元データを、第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして、教師画像シリーズを生成する。 The teacher image series generation unit 23 continuously generates three-dimensional data obtained by stacking the first image series having the first slice thickness at a predetermined thickness in a direction different from the slice plane in the first image series. Slice to generate a series of teacher images.
入力画像シリーズ生成手段２４は、画像結合手段２２が生成した第二のスライス厚さの第一画像シリーズを積層して得られる三次元データを、教師画像シリーズと同じ方向に所定の厚さで連続的にスライスして、入力画像シリーズを生成する。 The input image series generation unit 24 continuously obtains three-dimensional data obtained by stacking the first image series having the second slice thickness generated by the image combination unit 22 at a predetermined thickness in the same direction as the teacher image series. Slice to generate the input image series.
第三画像生成関数管理手段２５は、入力画像シリーズ及び教師画像シリーズに基づいて、第二画像シリーズから第三画像シリーズを生成する関数を作成する。本実施形態では、上記の入力画像シリーズ及び教師画像シリーズに基づいて、第二画像から第三画像を生成する関数を作成して記憶手段１５に格納する。そして、第二画像シリーズを構成する第二画像の各々について第三画像を生成することで、第二画像シリーズから第三画像シリーズを生成する。 The third image generation function management means 25 creates a function for generating a third image series from the second image series based on the input image series and the teacher image series. In the present embodiment, a function for generating a third image from the second image is created based on the input image series and the teacher image series and stored in the storage unit 15. And a 3rd image series is produced | generated from a 2nd image series by producing | generating a 3rd image about each of the 2nd image which comprises a 2nd image series.
また、上述の通り、学習手段２は、画像処理装置１の利用開始後にも、第二画像を入力画像シリーズとし、第三画像を教師画像シリーズとして学習を行い、第二画像から第三画像を生成する関数を学習させて、リアルタイムで関数を更新することもできる。 In addition, as described above, the learning unit 2 learns the second image as the input image series and the third image as the teacher image series even after the use of the image processing apparatus 1 is started, and obtains the third image from the second image. The function to be generated can be learned, and the function can be updated in real time.
例えば本実施形態では、画像処理装置１を使用する段階で第一画像シリーズ取得手段１１が第一のスライス厚さの第一画像シリーズを取得した場合、第二〜第四画像の生成を行わずに、学習用画像取得手段２１が当該第一画像シリーズを取得して、教師画像シリーズ生成手段２３が教師画像シリーズを生成する。また、画像結合手段２２が結合処理を行って第二のスライス厚さの第一画像シリーズを生成し、入力画像シリーズ生成手段２４が入力画像シリーズを生成する。そして、これらの教師画像シリーズ及び入力画像シリーズに基づいて、第二画像から第三画像を生成する関数（第三画像生成関数）を更新することで、継続的な学習が可能となる。 For example, in the present embodiment, when the first image series acquisition unit 11 acquires the first image series having the first slice thickness at the stage of using the image processing apparatus 1, the second to fourth images are not generated. In addition, the learning image acquisition unit 21 acquires the first image series, and the teacher image series generation unit 23 generates the teacher image series. Further, the image combining unit 22 performs a combining process to generate a first image series having a second slice thickness, and the input image series generating unit 24 generates an input image series. And based on these teacher image series and input image series, continuous learning is possible by updating a function (third image generation function) for generating a third image from the second image.
図４は、本実施形態における第四画像シリーズ生成までの処理手順を示すフローチャートである。まずステップＳ１１において、第一画像シリーズ取得手段１１が、任意の場所に記憶された第一画像シリーズを取得する。第一画像シリーズとしては、例えば、ＣＴで撮影されたアキシャル方向のスライス画像が想定される。 FIG. 4 is a flowchart showing a processing procedure up to generation of the fourth image series in the present embodiment. First, in step S11, the first image series acquisition unit 11 acquires a first image series stored in an arbitrary place. As a 1st image series, the slice image of the axial direction image | photographed by CT is assumed, for example.
次にステップＳ１２において、第二画像シリーズ生成手段１２が、第一画像シリーズを積層して三次元データを生成する。ステップＳ１２で生成されるのが、図２の（ａ）のＺ方向に粗い三次元データに当たる。 Next, in step S12, the second image series generation means 12 stacks the first image series and generates three-dimensional data. What is generated in step S12 corresponds to coarse three-dimensional data in the Z direction in FIG.
そしてステップＳ１３に進み、ステップＳ１２で生成した三次元データを第二画像シリーズ生成手段１２が連続的にスライスして、第二画像シリーズを生成する。ここで、本実施形態では、Ｘ方向またはＹ方向の解像度（第一画像シリーズの解像度）に基づくスライス厚さで、サジタル方向又はコロナル方向にスライスする。つまり、第一画像シリーズにおけるＸ方向またはＹ方向の画素ごとに第二画像を生成する。このようにすることで、Ｘ方向及びＹ方向に解像度を落とさずに、第二画像シリーズを生成することができる。 And it progresses to step S13 and the 2nd image series production | generation means 12 continuously slices the three-dimensional data produced | generated by step S12, and produces | generates a 2nd image series. Here, in the present embodiment, the slice is sliced in the sagittal direction or the coronal direction at a slice thickness based on the resolution in the X direction or the Y direction (resolution of the first image series). That is, the second image is generated for each pixel in the X direction or the Y direction in the first image series. By doing so, the second image series can be generated without reducing the resolution in the X direction and the Y direction.
ステップＳ１４では、第二画像シリーズを構成する第二画像の各々について高精細化処理を行うことで、第三画像シリーズを生成する。本発明における高精細化処理とは、画素数を増加させて不足する画素を補間することと、高画質化することを指す。ここで、本実施形態では、後述の手順で学習させた関数に基づいて高精細化処理を行い、第二画像の各々から第三画像を生成する。このように各第二画像について高精細化処理を行うことで、第三画像シリーズを生成することができる。なお、本実施形態では、第一画像シリーズのスライス面方向には画素の補間（高精細化処理）は行わず、解像度が第一画像シリーズのスライス厚さに依存するＺ方向（第一画像シリーズの厚さ方向）のみについて画素の補間処理（高精細化処理）を行う。 In step S <b> 14, the third image series is generated by performing high definition processing on each of the second images constituting the second image series. The high definition processing in the present invention refers to interpolation of insufficient pixels by increasing the number of pixels and high image quality. Here, in the present embodiment, a high-definition process is performed based on a function learned by a procedure described later, and a third image is generated from each of the second images. Thus, a 3rd image series can be produced | generated by performing a high definition process about each 2nd image. In this embodiment, pixel interpolation (high-definition processing) is not performed in the slice plane direction of the first image series, and the Z direction (first image series) whose resolution depends on the slice thickness of the first image series. The pixel interpolation process (high-definition process) is performed only in the (thickness direction).
次にステップＳ１５で、第四画像シリーズ生成手段１４が、第三画像シリーズを積層して三次元データを生成する。第三画像シリーズは高精細化されており、Ｚ方向（第一画像シリーズの厚さ方向）の画素が補われている。ステップＳ１５では、この第三画像シリーズを積層することで、Ｚ方向の画素が補われた三次元データが生成される。この時に生成されるのが、図２の（ｅ）のＺ方向の画素を補った三次元データに相当する。 Next, in step S15, the fourth image series generation unit 14 stacks the third image series to generate three-dimensional data. The third image series has high definition, and the pixels in the Z direction (thickness direction of the first image series) are supplemented. In step S15, the third image series is stacked to generate three-dimensional data in which the pixels in the Z direction are supplemented. What is generated at this time corresponds to the three-dimensional data in which the pixels in the Z direction in FIG.
そして、ステップＳ１６において第四画像シリーズ生成手段１４が、ステップＳ１５で生成された三次元データを、第一画像シリーズとは異なる厚さでスライスすることによって、第四画像シリーズが生成される。図２（ｅ）の三次元データでは、第一画像シリーズの厚さ方向（Ｚ方向）の画素が補われているため、第一画像シリーズと異なる厚さでスライスすることで、適切なスライス画像を得ることが出来る。 In step S16, the fourth image series generation unit 14 slices the three-dimensional data generated in step S15 with a thickness different from that of the first image series, thereby generating a fourth image series. In the three-dimensional data in FIG. 2E, since the pixels in the thickness direction (Z direction) of the first image series are supplemented, an appropriate slice image can be obtained by slicing with a thickness different from that of the first image series. Can be obtained.
図５は、本実施形態の学習手段２による第三画像生成関数の作成又は更新に係る処理フローチャートである。本実施形態では、薄いスライス厚さの第一画像シリーズから教師画像シリーズとなる第二画像シリーズを生成する一方、厚いスライス厚さの第一画像シリーズから入力画像シリーズとなる第二画像シリーズを生成し、これらに基づき学習により第三画像生成関数を作成する。この際に、厚いスライス厚さの第一画像シリーズを、薄いスライス厚さの第一画像シリーズから生成することによって、より適切な入力画像シリーズ及び教師画像シリーズを生成できる。 FIG. 5 is a process flowchart relating to creation or update of the third image generation function by the learning unit 2 of the present embodiment. In this embodiment, a second image series that is a teacher image series is generated from the first image series having a thin slice thickness, while a second image series that is an input image series is generated from the first image series having a thick slice thickness. Then, based on these, a third image generation function is created by learning. At this time, a more appropriate input image series and teacher image series can be generated by generating the first image series having a thick slice thickness from the first image series having a thin slice thickness.
まず、ステップＳ２１において、学習用画像取得手段２１が、第一のスライス厚さの第一画像シリーズを取得する。次に、ステップＳ２２及びステップＳ２４の処理が実行される。なお、ステップＳ２２及びステップＳ２４の実行順序は限定されず、順番に実行されてもよいし、並行して実行されてもよい。 First, in step S21, the learning image acquisition means 21 acquires a first image series having a first slice thickness. Next, the process of step S22 and step S24 is performed. In addition, the execution order of step S22 and step S24 is not limited, You may perform in order and may be performed in parallel.
ステップＳ２２では、教師画像シリーズ生成手段２３が、第一のスライス厚さの第一画像シリーズを積層して三次元データを生成する。そして、ステップＳ２３に進み、ステップＳ２２で生成した三次元データを教師画像シリーズ生成手段２３が連続的にスライスして、教師画像シリーズを生成する。ここで、本実施形態では、Ｘ方向またはＹ方向の解像度（第一画像シリーズの解像度）に基づくスライス厚さで、サジタル方向又はコロナル方向にスライスする。つまり、第一画像シリーズにおけるＸ方向またはＹ方向の画素ごとに教師画像を生成する。 In step S22, the teacher image series generation unit 23 generates three-dimensional data by stacking the first image series having the first slice thickness. In step S23, the teacher image series generation unit 23 continuously slices the three-dimensional data generated in step S22 to generate a teacher image series. Here, in the present embodiment, the slice is sliced in the sagittal direction or the coronal direction at a slice thickness based on the resolution in the X direction or the Y direction (resolution of the first image series). That is, a teacher image is generated for each pixel in the X direction or Y direction in the first image series.
一方、ステップＳ２４では、画像結合手段２２が、第一画像シリーズを所定数ずつ結合してそれぞれ１つの画像を生成する結合処理を行って、第一のスライス厚さより厚い第二のスライス厚さの第一画像シリーズを生成する。結合処理としては、結合する複数の画像の対応する画素における画素値に対して、平均化、中央化、畳み込み等の処理を行うことができる。これにより、結合したい複数の画像の特徴を含む１枚の低精細画像を生成できる。スライス厚さは、第一のスライス厚さに結合する画像の枚数を乗じた値となる。 On the other hand, in step S24, the image combining means 22 performs a combining process for combining the first image series by a predetermined number to generate one image, and the second slice thickness is greater than the first slice thickness. Generate a first image series. As the combining process, processes such as averaging, centralization, and convolution can be performed on pixel values of corresponding pixels of a plurality of images to be combined. Thereby, one low-definition image including the characteristics of a plurality of images to be combined can be generated. The slice thickness is a value obtained by multiplying the first slice thickness by the number of images to be combined.
ここで結合する画像の枚数は自然数である必要はなく、例えば１．５枚ずつ結合して１．５倍のスライス厚さの画像シリーズとしてもよい。その場合、画素値に対して各画像の成分に応じた係数を乗じた上で、平均化、中央化、畳み込み等の処理を行うようにすればよい。 Here, the number of images to be combined does not have to be a natural number. For example, 1.5 images may be combined to form an image series having a slice thickness of 1.5 times. In such a case, the pixel value may be multiplied by a coefficient corresponding to the component of each image, and then processing such as averaging, centralization, and convolution may be performed.
次にステップＳ２５において、入力画像シリーズ生成手段２４がステップＳ２４で生成した画像シリーズを積層して、三次元データを生成する。ここで生成される三次元データは、スライス厚さ方向に粗いデータとなる。そして、ステップＳ２６に進み、ステップＳ２５で生成した三次元データを、入力画像シリーズ生成手段２４が連続的にスライスして、入力画像シリーズを生成する。ここで、本実施形態では、Ｘ方向の解像度（ステップＳ２４で生成された画像シリーズの解像度）に基づくスライス厚さで、サジタル方向にスライスする。つまり、第一画像シリーズにおけるＸ方向の画素ごとに教師画像を生成する。 Next, in step S25, the input image series generation unit 24 stacks the image series generated in step S24 to generate three-dimensional data. The three-dimensional data generated here is coarse data in the slice thickness direction. In step S26, the input image series generation unit 24 continuously slices the three-dimensional data generated in step S25 to generate an input image series. Here, in the present embodiment, the slice is sliced in the sagittal direction with a slice thickness based on the resolution in the X direction (the resolution of the image series generated in step S24). That is, a teacher image is generated for each pixel in the X direction in the first image series.
ステップＳ２３及びステップＳ２６が完了すると、ステップＳ２７に進んで第三画像生成関数管理手段２５が第三画像生成関数を作成する。なお、画像処理装置１の利用開始後に関数の更新を行う場合にも同様の手順で教師画像シリーズ及び入力画像シリーズを生成し、学習を行うことが出来る。 When step S23 and step S26 are completed, the process proceeds to step S27, where the third image generation function management means 25 creates a third image generation function. In addition, when updating the function after the use of the image processing apparatus 1 is started, the teacher image series and the input image series can be generated and learned by the same procedure.
ここでは、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等のフレームワークを用いて学習及び第三画像シリーズの生成を行うことが出来る。具体的には、補間したい画素の画素値をネットワークの最終的な出力とし、前述の入力画像シリーズ及び出力画像シリーズに基づいて関数（モデル）を作成することで、第二画像に基づく第三画像の生成を学習できる。 Here, learning and generation of the third image series can be performed using a framework such as a convolutional neural network (CNN). Specifically, the pixel value of the pixel to be interpolated is used as the final output of the network, and a function (model) is created based on the above-described input image series and output image series, so that the third image based on the second image Can learn to generate
より具体的には、例えば本実施形態では図６に示すような畳み込み処理を３回行うニューラルネットワークを用いて高精細化関数を学習させた。この場合の処理を以下に例示する。先ず最初に、５１２画素×５１２画素のＣＴ画像を入力画像とし、これにカーネルサイズ９画素×９画素のコンボリューション処理を行い、その出力値に非線形活性化関数ＲｅＬＵを掛けて特徴マップ６４枚を生成する。次に、この特徴マップ６４枚にカーネルサイズ３画素×３画素×６４枚のコンボリューション処理を行い、その出力値に非線形活性化関数ＲｅＬＵを掛けて特徴マップ３２枚を生成する。最後に、この特徴マップ３２枚にカーネルサイズ５画素×５画素×３２枚のコンボリューション処理を行い非線形活性化関数ＲｅＬＵを掛けて、５１２画素×５１２画素の出力画像を生成する。出力画像サイズが入力画像サイズと同じになるようにコンボリューション処理の対象画像にはパディング処理を施している。このようにして得られた出力画像を教師画像と比較し、各画素値の差からＭＳＥ（二乗誤差）を算出し、それをバックプロパゲーション法により逆伝播させて、ニューラルネットワークを学習させることができる。この学習を繰り返すことにより、出力画像が徐々に教師画像に近づき、最終的には教師画像に良く似た画像を生成するようになる。本実施形態では、このようにして学習させたニューラルネットワークを用いて、第二画像から第三画像を生成させた。 More specifically, for example, in the present embodiment, the high definition function is learned using a neural network that performs the convolution process three times as shown in FIG. The process in this case is illustrated below. First, a 512 pixel × 512 pixel CT image is used as an input image, a convolution process is performed on the kernel size 9 pixels × 9 pixels, and the output value is multiplied by a nonlinear activation function ReLU to obtain 64 feature maps. Generate. Next, a convolution process of kernel size 3 pixels × 3 pixels × 64 is performed on the 64 feature maps, and the output value is multiplied by a nonlinear activation function ReLU to generate 32 feature maps. Finally, a convolution process with a kernel size of 5 pixels × 5 pixels × 32 images is performed on the 32 feature maps, and a nonlinear activation function ReLU is applied to generate an output image of 512 pixels × 512 pixels. The convolution process target image is padded so that the output image size is the same as the input image size. The output image obtained in this way is compared with the teacher image, the MSE (square error) is calculated from the difference between the pixel values, and it is propagated back by the back propagation method to learn the neural network. it can. By repeating this learning, the output image gradually approaches the teacher image, and finally an image very similar to the teacher image is generated. In the present embodiment, the third image is generated from the second image using the neural network learned in this way.
また、上記の他、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）によって第三画像生成関数の作成や、それによる第三画像シリーズの生成を行う形態としてもよい。敵対的生成ネットワークは生成器と識別器で構成される。生成器はある分布を持つノイズを入力として画像を生成し、識別器は入力画像が生成器で生成された画像（偽者画像）か本物の画像（教師画像）かを識別する。生成器は基本的に上記の実施例で示した畳み込みニューラルネットワークを複数用いた構成をしている。生成器は、識別器が偽者画像を本物の画像（教師画像）であると判断した時には、誤差逆伝播法によりこの画像に近づくように学習し、識別器が偽者画像を偽者画像（生成器が生成した画像）であると判断した時には、この画像から遠ざかるように学習する。このような学習を生成器と識別器の両方に対して行うことで、徐々に生成器は教師画像に近い画像を生成するようになる。このような敵対的生成ネットワークを用いて、生成器に第二画像を入力し、第二画像から第三画像を生成させることができる。 In addition to the above, the third image generation function may be created by a hostile generation network (GAN) and the third image series may be generated by the third image generation function. The hostile generation network consists of a generator and a discriminator. The generator generates an image using noise having a certain distribution as an input, and the discriminator discriminates whether the input image is an image (fake image) generated by the generator or a real image (teacher image). The generator basically has a configuration using a plurality of convolutional neural networks shown in the above embodiment. When the discriminator determines that the fake image is a real image (teacher image), the generator learns to approach the image by the error back propagation method, and the discriminator converts the fake image into the fake image (the generator When it is determined that the image is a generated image), learning is performed to move away from this image. By performing such learning for both the generator and the discriminator, the generator gradually generates an image close to the teacher image. Such a hostile generation network can be used to input a second image to the generator and generate a third image from the second image.
なお、本実施形態では、スライス厚さの厚い第一画像シリーズから、スライス厚さの薄い第四画像シリーズを生成することを想定し、スライス厚さの厚い画像シリーズを教師画像シリーズとして、スライス厚さの薄い画像シリーズを入力画像シリーズとしてそれぞれ生成した。一方、例えばスライス厚さの薄い第一画像シリーズから、スライス厚さの厚い第四画像シリーズを生成したい場合には、入力画像シリーズと出力画像シリーズとを逆転させればよい。 In the present embodiment, it is assumed that a fourth image series having a thin slice thickness is generated from the first image series having a large slice thickness, and the image series having a large slice thickness is used as a teacher image series. Each thin image series was generated as an input image series. On the other hand, for example, when it is desired to generate a fourth image series having a large slice thickness from a first image series having a thin slice thickness, the input image series and the output image series may be reversed.
また、図５の学習処理においては、図４の第四画像シリーズ生成処理において用いるスライス厚さやスライス方向と同一にした入力画像シリーズ及び教師画像シリーズを生成する必要がある。即ち、本実施形態では、学習処理において三次元データをスライスする際に、Ｘ方向の解像度に基づくスライス厚さで、サジタル方向にスライスする。これは、図５のステップＳ２２やステップＳ２５が、図４の第四画像シリーズ生成処理におけるステップＳ１３に対応し、ステップＳ１３におけるスライス厚さと統一したものである。 Further, in the learning process of FIG. 5, it is necessary to generate an input image series and a teacher image series that are the same as the slice thickness and slice direction used in the fourth image series generation process of FIG. That is, in this embodiment, when slicing three-dimensional data in the learning process, the slice is sliced in the sagittal direction with a slice thickness based on the resolution in the X direction. This corresponds to step S13 in the fourth image series generation process in FIG. 4 in step S22 and step S25 in FIG. 5, and is unified with the slice thickness in step S13.
本実施形態では、第二画像の高精細化において、第二画像の面内の、第一画像シリーズのスライス面方向（Ｘ方向またはＹ方向）には画素の補間は行わず、第二画像の面内の、第一画像シリーズのスライス厚さに依存するＺ方向（第一画像シリーズの厚さ方向）のみについて画素の補間処理を行ったが、薄いスライス厚さの第一画像シリーズは厚いスライス厚さの第一画像シリーズよりも一般に高画質であるため、薄い画像スライスの第一画像シリーズを用いた第三画像生成関数の学習によって、画素の補間処理とは関係なく第二画像は高画質の第三画像に変換される。 In the present embodiment, in high definition of the second image, pixel interpolation is not performed in the slice plane direction (X direction or Y direction) of the first image series in the plane of the second image, and the second image Pixel interpolation was performed only in the Z direction (thickness direction of the first image series) depending on the slice thickness of the first image series in the plane, but the first image series with a thin slice thickness is a thick slice Because the image quality is generally higher than the first image series of thickness, learning the third image generation function using the first image series of thin image slices results in a higher image quality regardless of pixel interpolation. To the third image.
以上のように、本実施形態の画像処理システムによれば、モダリティが撮影した所定の厚さの画像シリーズに基づき、スライス厚さを変更した画像シリーズを生成する方法を提供することが可能になる。また、上述の手順で学習用のデータを作成し、関数を作成することにより、実際のデータに基づいてより高精度に第二画像の高精細化処理を行うことができ、第四画像シリーズの生成精度向上が期待できる。 As described above, according to the image processing system of the present embodiment, it is possible to provide a method for generating an image series in which the slice thickness is changed based on an image series having a predetermined thickness photographed by the modality. . In addition, by creating learning data in the above-described procedure and creating a function, it is possible to perform the high-definition processing of the second image with higher accuracy based on the actual data. Improvement in generation accuracy can be expected.
Ｐ 撮影対象
１ 画像処理装置
１１ 第一画像シリーズ取得手段
１２ 第二画像シリーズ生成手段
１３ 第三画像シリーズ生成手段
１４ 第四画像シリーズ生成手段
１５ 記憶手段
２ 学習手段
２１ 学習用画像取得手段
２２ 画像結合手段
２３ 教師画像シリーズ生成手段
２４ 入力画像シリーズ生成手段
２５ 第三画像生成関数管理手段
P Shooting object 1 Image processing device 11 First image series acquisition means 12 Second image series generation means 13 Third image series generation means 14 Fourth image series generation means 15 Storage means 2 Learning means 21 Learning image acquisition means 22 Image combination Means 23 Teacher image series generation means 24 Input image series generation means 25 Third image generation function management means
Claims (13)
前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして得られる第二画像シリーズを生成するステップと、
前記第二画像シリーズを構成する各々のスライス画像に対して高精細化処理を行うことで、第三画像シリーズを生成するステップと、
前記第三画像シリーズを積層して得られる三次元データを、前記第一画像シリーズと平行な方向に前記第一画像シリーズとは異なる厚さでスライスすることにより、前記第四画像シリーズを生成するステップと、をコンピュータに実行させる、画像処理方法。 An image processing method for obtaining a fourth image series constituted by slice images having different thicknesses on a plane parallel to the first image series from a first image series constituted by a plurality of continuous slice images. And
A step of generating a second image series obtained by continuously slicing three-dimensional data obtained by stacking the first image series at a predetermined thickness in a direction different from a slice plane in the first image series. When,
Generating a third image series by performing a high-definition process on each slice image constituting the second image series;
The fourth image series is generated by slicing the three-dimensional data obtained by stacking the third image series with a thickness different from that of the first image series in a direction parallel to the first image series. And an image processing method for causing a computer to execute the steps.
前記第三画像シリーズを生成するステップでは、前記関数に基づいて、前記第二画像シリーズから前記第三画像シリーズを生成する、請求項１又は請求項２に記載の画像処理方法。 By creating a function for generating the third image series from the second image series based on the data of the third image series corresponding to the second image series, high definition processing of the second image series Further comprising the step of learning
The image processing method according to claim 1, wherein, in the step of generating the third image series, the third image series is generated from the second image series based on the function.
前記第二のスライス厚さの前記第一画像シリーズに基づいて生成される入力画像シリーズ及び、前記第一のスライス厚さの前記第一画像シリーズに基づいて生成される教師画像シリーズに基づいて、前記第二画像シリーズから前記第三画像シリーズを生成する関数を作成するステップと、を更に備える、請求項３に記載の画像処理方法。 The step of learning the high-definition processing is performed by combining a predetermined number of consecutive images included in the first image series having a first slice thickness to generate one image, Generating the first image series with a second slice thickness greater than the first slice thickness;
Based on the input image series generated based on the first image series of the second slice thickness and the teacher image series generated based on the first image series of the first slice thickness, The image processing method according to claim 3, further comprising: creating a function that generates the third image series from the second image series.
前記第一のスライス厚さの前記第一画像シリーズに含まれる連続した画像を所定数ずつ結合してそれぞれ１つの画像を生成する結合処理を行って、前記第一のスライス厚さより厚い第二のスライス厚さの前記第一画像シリーズを生成するステップと、
当該前記第二のスライス厚さの前記第一画像シリーズを積層して得られる三次元データを、前記教師画像シリーズと同じ方向に所定の厚さで連続的にスライスして入力画像シリーズを生成するステップと、
前記入力画像シリーズ及び教師画像シリーズに基づいて、前記第二画像シリーズから前記第三画像シリーズを生成する関数を作成するステップと、を更に備える、請求項４に記載の画像処理方法。 The step of learning the high-definition processing includes the step of obtaining three-dimensional data obtained by stacking the first image series having the first slice thickness in a direction different from the slice plane in the first image series. A step of generating a series of teacher images obtained by slicing continuously,
A combination process is performed in which a predetermined number of consecutive images included in the first image series having the first slice thickness are combined to generate one image, and a second image that is thicker than the first slice thickness. Generating the first image series of slice thickness;
The three-dimensional data obtained by stacking the first image series having the second slice thickness is continuously sliced at a predetermined thickness in the same direction as the teacher image series to generate an input image series. Steps,
The image processing method according to claim 4, further comprising: creating a function for generating the third image series from the second image series based on the input image series and the teacher image series.
前記第二画像シリーズ及び第三画像シリーズは、コロナル方向又はサジタル方向のスライス画像シリーズである、請求項１〜１０の何れかに記載の画像処理方法。 The first image series and the fourth image series are slice image series in the axial direction,
The image processing method according to claim 1, wherein the second image series and the third image series are slice image series in a coronal direction or a sagittal direction.
前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして得られる第二画像シリーズを生成する手段と、
前記第二画像シリーズを構成する各々のスライス画像に対して高精細化処理を行うことで、第三画像シリーズを生成する手段と、
前記第三画像シリーズを積層して得られる三次元データを、前記第一画像シリーズと平行な方向に前記第一画像シリーズとは異なる厚さでスライスすることにより、前記第四画像シリーズを生成する手段と、を備える、画像処理システム。 An image processing system for obtaining, from a first image series constituted by a plurality of continuous slice images, a fourth image series constituted by slice images having different thicknesses in a plane parallel to the first image series. And
Means for generating a second image series obtained by continuously slicing the three-dimensional data obtained by stacking the first image series with a predetermined thickness in a direction different from the slice plane in the first image series. When,
Means for generating a third image series by performing high definition processing on each slice image constituting the second image series;
The fourth image series is generated by slicing the three-dimensional data obtained by stacking the third image series with a thickness different from that of the first image series in a direction parallel to the first image series. And an image processing system.
前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして得られる第二画像シリーズを生成する手段と、
前記第二画像シリーズを構成する各々のスライス画像に対して高精細化処理を行うことで、第三画像シリーズを生成する手段と、
前記第三画像シリーズを積層して得られる三次元データを、前記第一画像シリーズと平行な方向に前記第一画像シリーズとは異なる厚さでスライスすることにより、前記第四画像シリーズを生成する手段と、としてコンピュータを機能させる、画像処理プログラム。
An image processing program for obtaining a fourth image series composed of slice images having different thicknesses on a plane parallel to the first image series from a first image series composed of a plurality of continuous slice images. And
Means for generating a second image series obtained by continuously slicing the three-dimensional data obtained by stacking the first image series with a predetermined thickness in a direction different from the slice plane in the first image series. When,
Means for generating a third image series by performing high definition processing on each slice image constituting the second image series;
The fourth image series is generated by slicing the three-dimensional data obtained by stacking the third image series with a thickness different from that of the first image series in a direction parallel to the first image series. An image processing program causing a computer to function as means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019114462A JP6583875B1 (en) | 2019-06-20 | 2019-06-20 | Image processing method, image processing system, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019114462A JP6583875B1 (en) | 2019-06-20 | 2019-06-20 | Image processing method, image processing system, and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6583875B1 true JP6583875B1 (en) | 2019-10-02 |
| JP2021000195A JP2021000195A (en) | 2021-01-07 |
Family
ID=68095294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019114462A Active JP6583875B1 (en) | 2019-06-20 | 2019-06-20 | Image processing method, image processing system, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6583875B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021187296A1 (en) * | 2020-03-16 | 2021-09-23 | 富士フイルム株式会社 | Image processing device, image display system, image processing method, and program |
| WO2022163402A1 (en) | 2021-01-26 | 2022-08-04 | 富士フイルム株式会社 | Learned model generation method, machine learning system, program, and medical image processing device |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62145374A (en) * | 1985-12-20 | 1987-06-29 | Toshiba Corp | Restructuring device for interest cross section image |
| EP2677491B1 (en) * | 2012-06-20 | 2018-08-08 | Agfa Healthcare | Method, system and apparatus for loading image data stored in a first memory into a second memory |
| JP6301133B2 (en) * | 2014-01-14 | 2018-03-28 | キヤノンメディカルシステムズ株式会社 | Magnetic resonance imaging system |
| JP2018057694A (en) * | 2016-10-07 | 2018-04-12 | キヤノン株式会社 | Information processing device, information processing method, information processing system and program |
-
2019
- 2019-06-20 JP JP2019114462A patent/JP6583875B1/en active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021187296A1 (en) * | 2020-03-16 | 2021-09-23 | 富士フイルム株式会社 | Image processing device, image display system, image processing method, and program |
| WO2022163402A1 (en) | 2021-01-26 | 2022-08-04 | 富士フイルム株式会社 | Learned model generation method, machine learning system, program, and medical image processing device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021000195A (en) | 2021-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6583875B1 (en) | Image processing method, image processing system, and image processing program | |
| JP2014512229A (en) | Image segmentation of organs and anatomical structures | |
| CN111161269B (en) | Image segmentation method, computer device, and readable storage medium | |
| US20180225882A1 (en) | Method and device for editing a facial image | |
| JP6201255B2 (en) | Medical image processing system and medical image processing program | |
| DE112018007236T5 (en) | METHOD AND DEVICE FOR GENERATING A THREE-DIMENSIONAL (3D) MODEL FOR THE RECONSTRUCTION OF A 3D SCENE | |
| CN109146813A (en) | A kind of multitask image rebuilding method, device, equipment and medium | |
| JP2015513945A (en) | Tooth graph cut based interactive segmentation method in 3D CT solid data | |
| CN111383742A (en) | Method, device, equipment and storage medium for establishing medical imaging model | |
| JP2021056904A (en) | Point group data identity estimation device and point group data identity estimation system | |
| CN110673070B (en) | Training method of magnetic resonance signal correction network and magnetic resonance signal processing method | |
| JP4887491B2 (en) | MEDICAL IMAGE PROCESSING METHOD, DEVICE THEREOF, AND PROGRAM | |
| JP7096361B2 (en) | Mini-batch learning device and its operation program, operation method, and image processing device | |
| JPWO2020175445A1 (en) | Learning methods, learning devices, generative models and programs | |
| JPWO2020121679A1 (en) | Mini-batch learning device and its operation program and operation method | |
| WO2022124026A1 (en) | Trained model generation method and information processing device | |
| JP2011221840A (en) | Image processor | |
| JP2011182330A (en) | Image processing method, image processing apparatus and program | |
| CN110830848B (en) | Image interpolation method, image interpolation device, computer equipment and storage medium | |
| JP5946197B2 (en) | Ultrasonic diagnostic equipment | |
| CN113614791A (en) | Dynamic three-dimensional imaging method | |
| JP2020075063A (en) | Image interpolation/organ extraction device and program thereof | |
| CN111178501A (en) | Optimization method, system, electronic equipment and device of dual-cycle countermeasure network architecture | |
| JP2016167736A (en) | Image conversion device, image conversion method and image conversion program | |
| JP2008000317A (en) | Ultrasonic diagnostic apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190620 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190620 |
|
| TRDD | Decision of grant or rejection written | ||
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190709 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190813 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190827 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6583875 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |