JP2021041090A - Medical image processing device, x-ray image processing system and generation method of learning model - Google Patents

Medical image processing device, x-ray image processing system and generation method of learning model Download PDF

Info

Publication number
JP2021041090A
JP2021041090A JP2019167628A JP2019167628A JP2021041090A JP 2021041090 A JP2021041090 A JP 2021041090A JP 2019167628 A JP2019167628 A JP 2019167628A JP 2019167628 A JP2019167628 A JP 2019167628A JP 2021041090 A JP2021041090 A JP 2021041090A
Authority
JP
Japan
Prior art keywords
image
ray
generation unit
learning
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019167628A
Other languages
Japanese (ja)
Other versions
JP7226207B2 (en
Inventor
翔太 押川
Shota Oshikawa
翔太 押川
▲高▼橋　渉
渉 ▲高▼橋
Wataru Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2019167628A priority Critical patent/JP7226207B2/en
Publication of JP2021041090A publication Critical patent/JP2021041090A/en
Application granted granted Critical
Publication of JP7226207B2 publication Critical patent/JP7226207B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide a medical image processing device which can suppress a reduction of an accuracy of extraction of an extraction target portion or exclusion of a specific portion even when ways of reflection (pixel values) of the specific portion are different from each other in a two-dimensional projection image and an X-ray image, and provide an X-ray image processing system and a generation method of a learning model.SOLUTION: An X-ray image processing system 100 generates a learning model M with machine learning by using an input teacher image T1 including an image whose pixel value of a bone part H is relatively changed with respect to a pixel value of portions other than the bone part H and an output teacher image T2 being an image indicating an extraction target portion Q in the same region as the input teacher image T1 or an image excluding the specific portion (bone part H or portions other than the bone part H) with respect to a DRR image D. The X-ray image processing system 100 extracts the extraction target portion Q on the basis of the learning model M.SELECTED DRAWING: Figure 1

Description

本発明は、医用画像処理装置、Ｘ線画像処理システム、および、学習モデルの生成方法に関する。 The present invention relates to a medical image processing apparatus, an X-ray image processing system, and a method of generating a learning model.

従来、被検者の特定部位を含むＸ線透視画像から特定部位の位置を検出し、特定部位に対して治療ビームを照射するために、特定部位の動きを追跡する放射線治療用追跡装置が知られている（たとえば、特許文献１参照）。 Conventionally, a radiotherapy tracking device that tracks the movement of a specific site in order to detect the position of the specific site from an X-ray fluoroscopic image including the specific site of the subject and irradiate the specific site with a treatment beam has been known. (See, for example, Patent Document 1).

上記特許文献１には、ＤＲＲ（Ｄｉｇｉｔａｌｌｙ Ｒｅｃｏｎｓｔｒｕｃｔｅｄ Ｒａｄｉｏｇｒａｐｈｙ）画像作成部と、識別器学習部と、特定部位領域検出部とを備える放射線治療用追跡装置が開示されている。ＤＲＲ画像作成部は、治療計画時に作成された特定部位を含む領域のＣＴ画像データに対して仮想的透視投影を行うことによって、特定部位を含むＤＲＲ画像を作成する。識別器学習部は、ＤＲＲ画像を入力とし、特定部位の領域を示す教師ラベル画像を出力として、機械学習を実行することにより、特定部位の領域を認識するための識別器を学習する。特定部位領域検出部は、特定部位を含むＸ線透視画像に対して、学習された識別器を使用して識別を行うことによって、特定部位の領域を検出する。また、上記特許文献１に記載の放射線治療用追跡装置は、ＤＲＲ画像とＸ線透視画像との違いを吸収し、特定部位をより確実に追跡するために、生成されたＤＲＲ画像全体に対してコントラストの変更を行う。上記の構成によって、予めＤＲＲ画像と教師ラベル画像とを機械学習することによって識別器を学習し、この識別器とＸ線透視画像とを利用して識別を実行することにより、特定部位の位置を検出する。そして、上記特許文献１に記載の放射線治療用追跡装置は、特定部位に対して治療ビームを照射するために、特定部位の動きを追跡する。 The above-mentioned Patent Document 1 discloses a radiotherapy tracking device including a DRR (Digitally Reconstructed Radiography) image creating unit, a discriminator learning unit, and a specific site region detecting unit. The DRR image creation unit creates a DRR image including a specific site by performing a virtual perspective projection on the CT image data of the region including the specific site created at the time of treatment planning. The discriminator learning unit learns a discriminator for recognizing a region of a specific region by executing machine learning by inputting a DRR image and outputting a teacher label image indicating a region of a specific region as an output. The specific site region detection unit detects the region of the specific region by discriminating the X-ray fluoroscopic image including the specific region by using the learned classifier. Further, the radiotherapy tracking device described in Patent Document 1 absorbs the difference between the DRR image and the X-ray fluoroscopic image, and in order to more reliably track a specific site, the entire DRR image generated is used. Change the contrast. With the above configuration, the classifier is learned by machine learning the DRR image and the teacher label image in advance, and the position of the specific part is determined by performing the discrimination using the classifier and the fluoroscopic image. To detect. Then, the radiotherapy tracking device described in Patent Document 1 tracks the movement of a specific site in order to irradiate the treatment beam to the specific site.

国際公開第２０１９／００３４３４号International Publication No. 2019/003434

しかしながら、上記特許文献１に記載の放射線治療用追跡装置において、Ｘ線透視画像に含まれる骨部の画素値と骨部以外の部分の画素値との差（相対値）と、ＤＲＲ画像に含まれる骨部の画素値と骨部以外の部分の画素値との差（相対値）と、が異なる値となる場合がある。つまり、Ｘ線透視画像では、たとえば、横隔膜および臓器などによって骨部の写り方が薄くなるのに対して、ＤＲＲ画像では、ＣＴ値に基づいて生成された３次元データを２次元に投影するためＸ線透視画像に比べて骨部の写り方が明瞭になる場合がある。この場合、上記特許文献１に記載の放射線治療用追跡装置のように、ＤＲＲ画像全体に対してコントラストの変更を行ったとしても、骨部以外のコントラストも変化するため、Ｘ線透視画像を正確に模擬することができないと考えられる。そのため、上記特許文献１に記載の放射線治療用追跡装置のように、コントラストの変更を全体に行ったＤＲＲ画像を入力とした機械学習によって生成された識別器（学習モデル）を用いて、Ｘ線透視画像を識別する際に、Ｘ線透視画像とＤＲＲ画像とにおいて骨部の写り方が異なる場合には、識別の精度が低下すると考えられる。このため、ＤＲＲ画像（２次元投影画像）とＸ線透視画像（Ｘ線画像）とにおいて、骨部（特定部分）の写り方（画素値）が異なる場合にも、特定部位（抽出対象部分）の抽出または骨部（特定部分）の除去の精度が低下することを抑制することが可能な医用画像処理装置、Ｘ線画像処理システム、および、学習モデルの生成方法の開発が望まれている。 However, in the tracking device for radiotherapy described in Patent Document 1, the difference (relative value) between the pixel value of the bone portion included in the X-ray fluoroscopic image and the pixel value of the portion other than the bone portion is included in the DRR image. The difference (relative value) between the pixel value of the bone portion and the pixel value of the portion other than the bone portion may be different values. That is, in the X-ray fluoroscopic image, for example, the appearance of the bone is thinned by the diaphragm and organs, whereas in the DRR image, the three-dimensional data generated based on the CT value is projected in two dimensions. The appearance of the bone may be clearer than that of the X-ray fluoroscopic image. In this case, even if the contrast of the entire DRR image is changed as in the radiotherapy tracking device described in Patent Document 1, the contrast other than the bone portion also changes, so that the X-ray fluoroscopic image is accurate. It is considered that it cannot be simulated. Therefore, like the radiotherapy tracking device described in Patent Document 1, an X-ray is used by using a discriminator (learning model) generated by machine learning using a DRR image in which the contrast is changed as a whole. When identifying the fluoroscopic image, if the appearance of the bone portion is different between the X-ray fluoroscopic image and the DRR image, it is considered that the accuracy of the identification is lowered. Therefore, even if the appearance (pixel value) of the bone part (specific part) is different between the DRR image (two-dimensional projection image) and the X-ray fluoroscopic image (X-ray image), the specific part (extraction target part). It is desired to develop a medical image processing apparatus, an X-ray image processing system, and a learning model generation method capable of suppressing a decrease in the accuracy of extraction or removal of a bone (specific part).

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、２次元投影画像とＸ線画像とにおいて、特定部分の写り方（画素値）が異なる場合にも、抽出対象部分の抽出または特定部分の除去の精度が低下することを抑制することが可能な医用画像処理装置、Ｘ線画像処理システム、および、学習モデルの生成方法を提供することである。 The present invention has been made to solve the above-mentioned problems, and one object of the present invention is that a two-dimensional projected image and an X-ray image have different appearances (pixel values) of specific portions. Even in this case, by providing a medical image processing device, an X-ray image processing system, and a method for generating a learning model, which can suppress a decrease in the accuracy of extracting a part to be extracted or removing a specific part. is there.

上記目的を達成するために、この発明の第１の局面における医用画像処理装置は、３次元における画素値データを有する３次元データに基づいて取得された被検体の特定部分を含む領域についての２次元投影画像に対して、特定部分の画素値が特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像と、入力教師画像と同じ領域における被検体の抽出対象部分を示す画像または特定部分を除く画像である出力教師画像と、を生成する学習画像生成部と、入力教師画像および出力教師画像を用いて、機械学習を行うことにより、抽出対象部分を抽出するか、または、特定部分を除去するための学習モデルを生成する学習モデル生成部と、学習済みの学習モデルに基づいて、Ｘ線撮影によって取得された被検体の特定部分を含むＸ線画像に対して、抽出対象部分を抽出する処理と、特定部分を除去する処理とのいずれか一方を行う画像処理部と、を備える。なお、「Ｘ線画像」とは、Ｘ線透視画像およびＸ線撮影画像を含む。 In order to achieve the above object, the medical image processing apparatus according to the first aspect of the present invention relates to a region including a specific part of a subject acquired based on three-dimensional data having pixel value data in three dimensions. Extraction of an input teacher image including an image in which the pixel value of a specific part is changed relative to the pixel value of a part other than the specific part with respect to the dimensional projection image, and a subject in the same region as the input teacher image. An extraction target part is extracted by performing machine learning using a learning image generation unit that generates an output teacher image that is an image showing a target part or an image excluding a specific part, and an input teacher image and an output teacher image. A learning model generator that generates a learning model for removing a specific part, and an X-ray image containing a specific part of the subject acquired by X-ray photography based on the trained learning model. On the other hand, it includes an image processing unit that performs either a process of extracting a portion to be extracted and a process of removing a specific portion. The "X-ray image" includes a fluoroscopic image and an X-ray photographed image.

この発明の第２の局面における、Ｘ線画像処理システムは、３次元における画素値データを有する３次元データに基づいて取得された被検体の特定部分を含む領域についての２次元投影画像に対して、特定部分の画素値が特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像と、入力教師画像と同じ領域における被検体の抽出対象部分を示す画像または特定部分を除く画像である出力教師画像と、を生成する学習画像生成部と、入力教師画像および出力教師画像を用いて、機械学習を行うことにより、抽出対象部分を抽出するか、または、特定部分を除去するための学習モデルを生成する学習モデル生成部と、Ｘ線撮影によって被検体の特定部分を含むＸ線画像を取得するＸ線撮影部と、学習済みの学習モデルに基づいて、Ｘ線撮影部によって撮影されたＸ線画像に対して、抽出対象部分を抽出する処理と、特定部分を除去する処理とのいずれか一方を行う画像処理部と、を備える。 The X-ray image processing system in the second aspect of the present invention relates to a two-dimensional projected image of a region including a specific part of a subject acquired based on the three-dimensional data having pixel value data in three dimensions. , An input teacher image including an image in which the pixel value of a specific part is changed relative to the pixel value of a part other than the specific part, and an image showing an extraction target part of a subject in the same area as the input teacher image. The part to be extracted is extracted or specified by performing machine learning using the learning image generation unit that generates the output teacher image that is an image excluding the specific part, and the input teacher image and the output teacher image. Based on a learning model generator that generates a learning model for removing parts, an X-ray imaging unit that acquires an X-ray image including a specific part of the subject by X-ray photography, and a learned learning model, X An image processing unit that performs either a process of extracting an extraction target portion or a process of removing a specific portion of an X-ray image captured by the line photographing unit is provided.

この発明の第３の局面における、学習モデルの生成方法は、３次元における画素値データを有する３次元データに基づいて取得された被検体の特定部分を含む領域についての２次元投影画像に対して、特定部分の画素値が特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像を生成するステップと、入力教師画像と同じ領域における被検体の抽出対象部分を示す画像または特定部分を除く画像である出力教師画像を生成するステップと、入力教師画像および出力教師画像を用いて、機械学習を行うことにより、抽出対象部分を抽出するか、または、特定部分を除去するための学習モデルを生成するステップと、を備える。 The method of generating a learning model in the third aspect of the present invention is for a two-dimensional projected image of a region including a specific part of a subject acquired based on three-dimensional data having pixel value data in three dimensions. , A step of generating an input teacher image including an image in which the pixel value of a specific part is changed relative to the pixel value of a part other than the specific part, and a part to be extracted of a subject in the same region as the input teacher image. The part to be extracted is extracted or the specific part is extracted by performing machine learning using the step of generating the output teacher image which is an image showing the image or the image excluding the specific part, and the input teacher image and the output teacher image. It comprises a step of generating a learning model for removing the image.

上記第１の局面における医用画像処理装置と、上記第２の局面におけるＸ線画像処理システムとでは、３次元における画素値データを有する３次元データに基づいて取得された被検体の特定部分を含む領域についての２次元投影画像に対して、特定部分の画素値が特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像と、入力教師画像と同じ領域における被検体の抽出対象部分を示す画像または特定部分を除く画像である出力教師画像と、を生成するように、学習画像生成部を構成する。そして、上記入力教師画像および出力教師画像を用いて、機械学習を行うことにより、抽出対象部分を抽出するか、または、特定部分を除去するための学習モデルを生成するように、学習モデル生成部を構成する。これにより、２次元投影画像の特定部分の画素値が特定部分以外の部分の画素値に対して相対的に変更されているため、Ｘ線画像における特定部分の写り方に対応させるように、２次元投影画像における特定部分の写り方のみを変更することができる。すなわち、Ｘ線画像における特定部分の写り方（画素値）を模擬した２次元投影画像を入力教師画像として機械学習を行うことによって、Ｘ線画像における特定部分の写り方に対応した学習モデルを生成することができる。その結果、２次元投影画像とＸ線画像とにおいて、特定部分の写り方（画素値）が異なる場合にも、抽出対象部分の抽出または特定部分の除去の精度が低下することを抑制することができる。 The medical image processing apparatus in the first aspect and the X-ray image processing system in the second aspect include a specific portion of a subject acquired based on three-dimensional data having pixel value data in three dimensions. An input teacher image including an image in which the pixel value of a specific part is changed relative to the pixel value of a part other than the specific part with respect to a two-dimensional projected image of a region, and in the same region as the input teacher image. The learning image generation unit is configured to generate an image showing the extraction target portion of the subject or an output teacher image which is an image excluding the specific portion. Then, the learning model generation unit so as to extract the extraction target portion or generate a learning model for removing the specific portion by performing machine learning using the input teacher image and the output teacher image. To configure. As a result, the pixel value of the specific part of the two-dimensional projection image is changed relative to the pixel value of the part other than the specific part. Only the appearance of a specific part in the two-dimensional projection image can be changed. That is, a learning model corresponding to the appearance of a specific part in the X-ray image is generated by performing machine learning using a two-dimensional projection image simulating the appearance (pixel value) of a specific part in the X-ray image as an input teacher image. can do. As a result, even when the appearance (pixel value) of the specific portion is different between the two-dimensional projection image and the X-ray image, it is possible to suppress the decrease in the accuracy of the extraction of the extraction target portion or the removal of the specific portion. it can.

また、上記第３の局面における学習モデルの生成方法では、３次元における画素値データを有する３次元データに基づいて取得された被検体の特定部分を含む領域についての２次元投影画像に対して、特定部分の画素値が特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像を生成するステップと、入力教師画像と同じ領域における被検体の抽出対象部分を示す画像または特定領域を除く画像である出力教師画像を生成するステップと、を備える。これにより、２次元投影画像の特定部分の画素値が特定部分以外の部分の画素値に対して相対的に変更されているため、Ｘ線画像における特定部分の写り方に対応させるように、２次元投影画像における骨部の写り方を変更することができる。つまり、２次元投影画像における特定部分の写り方（画素値）とＸ線画像における特定部分の写り方（画素値）が異なる場合においても対応可能な学習モデルを生成することができる。すなわち、Ｘ線画像における特定部分の写り方（画素値）を疑似的に模擬した２次元投影画像を入力教師画像として、機械学習を行うことによって、Ｘ線画像における特定部分の写り方に対応するように学習することができる。その結果、２次元投影画像とＸ線画像とにおいて、特定部分の写り方（画素値）が異なる場合にも、抽出対象部分の抽出または特定部分の除去の精度が低下することを抑制することが可能な学習モデルを提供することができる。 Further, in the method of generating the learning model in the third aspect, the two-dimensional projected image of the region including the specific portion of the subject acquired based on the three-dimensional data having the pixel value data in the three dimensions is obtained. The step of generating an input teacher image including an image in which the pixel value of a specific part is changed relative to the pixel value of a part other than the specific part, and the part to be extracted of the subject in the same area as the input teacher image. It comprises a step of generating an output teacher image which is an image to be shown or an image excluding a specific area. As a result, the pixel value of the specific part of the two-dimensional projection image is changed relative to the pixel value of the part other than the specific part. It is possible to change the appearance of the bone in the two-dimensional projection image. That is, it is possible to generate a learning model that can handle cases where the appearance of a specific portion (pixel value) in a two-dimensional projected image and the appearance of a specific portion (pixel value) in an X-ray image are different. That is, by performing machine learning using a two-dimensional projected image that simulates the appearance (pixel value) of a specific part in the X-ray image as an input teacher image, it corresponds to the appearance of the specific part in the X-ray image. Can be learned as. As a result, even when the appearance (pixel value) of the specific portion is different between the two-dimensional projection image and the X-ray image, it is possible to suppress the decrease in the accuracy of the extraction of the extraction target portion or the removal of the specific portion. A possible learning model can be provided.

第１実施形態によるＸ線画像処理システムの全体構成を説明するためのブロック図である。It is a block diagram for demonstrating the whole structure of the X-ray image processing system by 1st Embodiment. 第１実施形態による放射線治療時におけるＸ線画像処理システムの構成を説明するための図である。It is a figure for demonstrating the structure of the X-ray image processing system at the time of radiotherapy by 1st Embodiment. 第１実施形態によるＣＴ画像データを説明するための図である。It is a figure for demonstrating the CT image data by 1st Embodiment. 第１実施形態による第１制御部および第２制御部の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of the 1st control part and the 2nd control part by 1st Embodiment. 第１実施形態における学習モデルによる抽出対象部分の抽出に関して説明するための図である。It is a figure for demonstrating the extraction of the extraction target part by the learning model in 1st Embodiment. ＤＲＲ画像の生成について説明するための図である。It is a figure for demonstrating the generation of a DRR image. ＤＲＲ画像とＸ線画像との骨部の写り方について説明するための図である。It is a figure for demonstrating how to image the bone part of a DRR image and an X-ray image. ＤＲＲ画像と合成用ＤＲＲ画像とについて説明するための図である。It is a figure for demonstrating the DRR image and DRR image for composition. ＤＲＲ画像と合成用ＤＲＲ画像との合成について説明するための図である。It is a figure for demonstrating composition | combination of a DRR image and a DRR image for composition. 第１学習モデルの生成方法を説明するためのフローチャートである。It is a flowchart for demonstrating the generation method of the 1st learning model. 第１実施形態によるＸ線画像処理システムの制御を説明するためのフローチャートである。It is a flowchart for demonstrating the control of the X-ray image processing system by 1st Embodiment. 第１実施形態によるＸ線画像処理システムの使用例を説明するためのフローチャートである。It is a flowchart for demonstrating the use example of the X-ray image processing system by 1st Embodiment. 第２実施形態によるＸ線画像処理システムの全体構成を説明するためのブロック図である。It is a block diagram for demonstrating the whole structure of the X-ray image processing system by 2nd Embodiment. 第２実施形態による第１制御部および第２制御部の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of the 1st control part and the 2nd control part by 2nd Embodiment. 第２実施形態における学習モデルによる抽出対象部分の抽出に関して説明するための図である。It is a figure for demonstrating the extraction of the extraction target part by the learning model in 2nd Embodiment. 第２実施形態によるＸ線画像処理システムの制御を説明するためのフローチャートである。It is a flowchart for demonstrating the control of the X-ray image processing system by 2nd Embodiment. 第３実施形態によるＸ線画像処理システムの全体構成を説明するためのブロック図である。It is a block diagram for demonstrating the whole structure of the X-ray image processing system by 3rd Embodiment. 第３実施形態によるＸ線画像処理システムの構成を説明するための図である。It is a figure for demonstrating the structure of the X-ray image processing system by 3rd Embodiment. 第３実施形態によるＤＲＲ画像を説明するための図である。It is a figure for demonstrating the DRR image by 3rd Embodiment. 第３実施形態による第１制御部および第２制御部の機能的構成を示すためのブロック図である。It is a block diagram for showing the functional structure of the 1st control part and the 2nd control part by 3rd Embodiment. 第３実施形態による入力教師画像と出力教師画像とを説明するための図である。It is a figure for demonstrating an input teacher image and an output teacher image according to 3rd Embodiment. 第３実施形態における学習モデルによる骨部の除去に関して説明するための図である。It is a figure for demonstrating the removal of the bone part by the learning model in 3rd Embodiment. 第３実施形態によるＸ線画像処理システムの制御を説明するためのフローチャートである。It is a flowchart for demonstrating the control of the X-ray image processing system by 3rd Embodiment. 第４実施形態によるＸ線画像処理システムの構成を説明するための図である。It is a figure for demonstrating the structure of the X-ray image processing system by 4th Embodiment. 第４実施形態によるＤＲＲ画像を説明するための図である。It is a figure for demonstrating the DRR image by 4th Embodiment. 第４実施形態による第１制御部および第２制御部の機能的構成を示すためのブロック図である。It is a block diagram for showing the functional structure of the 1st control part and the 2nd control part by 4th Embodiment. 第４実施形態による入力教師画像と出力教師画像とを説明するための図である。It is a figure for demonstrating the input teacher image and the output teacher image according to 4th Embodiment. 第４実施形態における学習モデルによる骨部の除去に関して説明するための図である。It is a figure for demonstrating the removal of the bone part by the learning model in 4th Embodiment. 第４実施形態による血管造影用Ｘ線画像の生成について説明するための図である。It is a figure for demonstrating the generation of the X-ray image for angiography by 4th Embodiment. 第４実施形態によるＸ線画像処理システムの制御を説明するためのフローチャートである。It is a flowchart for demonstrating the control of the X-ray image processing system by 4th Embodiment. 第１変形例による、マーカー抽出用学習モデルを用いたマーカーの抽出について説明するための図である。It is a figure for demonstrating the extraction of a marker using the learning model for marker extraction by the 1st modification.

以下、本発明を具体化した実施形態を図面に基づいて説明する。 Hereinafter, embodiments embodying the present invention will be described with reference to the drawings.

［第１実施形態］
（Ｘ線画像処理システムの構成）
図１〜図９を参照して、本発明の第１実施形態によるＸ線画像処理システム１００の構成について説明する。 [First Embodiment]
(Configuration of X-ray image processing system)
The configuration of the X-ray image processing system 100 according to the first embodiment of the present invention will be described with reference to FIGS. 1 to 9.

図１に示すように、Ｘ線画像処理システム１００は、放射線治療装置１と、治療計画装置２と、学習装置３と、Ｘ線撮影部４と、Ｘ線画像処理装置５と、を備える。なお、学習装置３およびＸ線画像処理装置５は、特許請求の範囲の「医用画像処理装置」の一例である。 As shown in FIG. 1, the X-ray image processing system 100 includes a radiotherapy device 1, a treatment planning device 2, a learning device 3, an X-ray imaging unit 4, and an X-ray image processing device 5. The learning device 3 and the X-ray image processing device 5 are examples of "medical image processing devices" within the scope of the claims.

Ｘ線画像処理システム１００は、放射線治療装置１によって、がんなどの腫瘍を含む抽出対象部分Ｑを治療する際に、被検体Ｐの呼吸などによって位置が変化する抽出対象部分Ｑを追跡する追跡装置として構成されている。 The X-ray image processing system 100 tracks the extraction target portion Q whose position changes due to the respiration of the subject P or the like when the extraction target portion Q including a tumor such as cancer is treated by the radiotherapy device 1. It is configured as a device.

図２に示すように、放射線治療装置１は、天板１１、ガントリー１２、基台１３、および、ヘッド１４を備える。天板１１は、放射線を照射される被検体Ｐが載置される。ガントリー１２は、床面に配置されている基台１３に対して移動可能に構成されている。ヘッド１４は、ガントリー１２に配置されており、被検体Ｐに対して治療ビームを照射する。そして、放射線治療装置１は、ガントリー１２が基台１３に対して回動することによって、ヘッド１４から照射する治療ビームの被検体Ｐに対する照射方向を変更可能なように構成されている。 As shown in FIG. 2, the radiotherapy apparatus 1 includes a top plate 11, a gantry 12, a base 13, and a head 14. A subject P to be irradiated with radiation is placed on the top plate 11. The gantry 12 is configured to be movable with respect to the base 13 arranged on the floor surface. The head 14 is arranged in the gantry 12 and irradiates the subject P with a therapeutic beam. The radiation therapy device 1 is configured so that the irradiation direction of the treatment beam irradiated from the head 14 with respect to the subject P can be changed by rotating the gantry 12 with respect to the base 13.

また、放射線治療装置１は、後述するＸ線画像処理装置５からの信号に基づいて、治療ビームを照射する位置および照射するタイミングを制御するように構成されている。具体的には、被検体Ｐの抽出対象部分Ｑに治療ビームを照射する際に、被検体Ｐの呼吸などによって、抽出対象部分Ｑの位置が変化する。放射線治療装置１は、Ｘ線画像処理装置５によって取得された抽出対象部分Ｑの位置に基づく信号によって、抽出対象部分Ｑに放射線（治療ビーム）を照射することが可能なように構成されている。 Further, the radiotherapy device 1 is configured to control the position and timing of irradiating the treatment beam based on a signal from the X-ray image processing device 5 described later. Specifically, when the therapeutic beam is irradiated to the extraction target portion Q of the subject P, the position of the extraction target portion Q changes due to the respiration of the subject P or the like. The radiotherapy apparatus 1 is configured to be able to irradiate the extraction target portion Q with radiation (therapeutic beam) by a signal based on the position of the extraction target portion Q acquired by the X-ray image processing apparatus 5. ..

治療計画装置２は、医師が被検体Ｐに対する放射線治療の計画を行うための装置である。すなわち、図示しないＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ：コンピュータ断層撮影）装置によって、抽出対象部分Ｑを含む領域についての３次元のＣＴ画像データＣが生成される。そして、治療計画装置２において、３次元のＣＴ画像データＣと被検体Ｐに関する診察情報とに基づいて、治療の計画が行われる。つまり、治療計画装置２は、３次元のＣＴ画像データＣと被検体Ｐに関する診察情報に基づいて、治療計画データを生成する。ＣＴ画像データＣは、３次元における画素値データ（ＣＴ値）を有する３次元データである。ＣＴ値は、Ｘ線の透過しやすさを数値で表したものである。ＣＴ画像は、図３に示すように、被検体Ｐの体内についてのＣＴ値の大小を濃淡で表した画像である。ここで、ＣＴ画像データＣは、複数の２次元のＣＴ画像に基づいて生成された３次元のボクセルデータである。また、治療計画装置２において、ＣＴ画像データＣ上の抽出対象部分Ｑに対応する画素部分（ボクセル）が、医師によって抽出対象部分Ｑとして指定される。そして、治療計画装置２は、指定された抽出対象部分Ｑについての情報を含んだ状態のＣＴ画像データＣを記憶する。なお、ＣＴ画像データＣは、特許請求の範囲の「３次元データ」の一例である。 The treatment planning device 2 is a device for a doctor to plan radiotherapy for a subject P. That is, a CT (Computed Tomography) apparatus (not shown) generates three-dimensional CT image data C for a region including an extraction target portion Q. Then, in the treatment planning device 2, the treatment is planned based on the three-dimensional CT image data C and the medical examination information regarding the subject P. That is, the treatment planning device 2 generates treatment planning data based on the three-dimensional CT image data C and the examination information regarding the subject P. The CT image data C is three-dimensional data having pixel value data (CT value) in three dimensions. The CT value is a numerical value indicating the ease with which X-rays can be transmitted. As shown in FIG. 3, the CT image is an image showing the magnitude of the CT value of the subject P in the body in shades of light. Here, the CT image data C is three-dimensional voxel data generated based on a plurality of two-dimensional CT images. Further, in the treatment planning device 2, the pixel portion (voxel) corresponding to the extraction target portion Q on the CT image data C is designated as the extraction target portion Q by the doctor. Then, the treatment planning device 2 stores the CT image data C in a state including the information about the designated extraction target portion Q. The CT image data C is an example of "three-dimensional data" in the claims.

図１に示すように、学習装置３は、第１制御部３０を含む。第１制御部３０は、たとえば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する。学習装置３は、ハードウェア的な構成として、たとえば、ＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、および、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを有する。また、学習装置３は、記憶部として、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）または不揮発性のメモリなどを含んでいる。 As shown in FIG. 1, the learning device 3 includes a first control unit 30. The first control unit 30 has, for example, a CPU (Central Processing Unit). The learning device 3 has, for example, a CPU, a GPU (Graphics Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like as a hardware configuration. Further, the learning device 3 includes an HDD (Hard Disk Drive), a non-volatile memory, or the like as a storage unit.

図４に示すように、第１制御部３０は、機能的な構成として、ＤＲＲ画像生成部３１、教師画像生成部３２、および、学習モデル生成部３３を含む。ＤＲＲ画像生成部３１、教師画像生成部３２、および、学習モデル生成部３３は、プログラム（ソフトウェア）として構成されている。すなわち、第１制御部３０が、プログラム（ソフトウェア）を実行することによって、ＤＲＲ画像生成部３１、教師画像生成部３２、および、学習モデル生成部３３として機能するように構成されている。なお、ＤＲＲ画像生成部３１および教師画像生成部３２は、特許請求の範囲の「学習画像生成部」の一例である。 As shown in FIG. 4, the first control unit 30 includes a DRR image generation unit 31, a teacher image generation unit 32, and a learning model generation unit 33 as functional configurations. The DRR image generation unit 31, the teacher image generation unit 32, and the learning model generation unit 33 are configured as programs (software). That is, the first control unit 30 is configured to function as a DRR image generation unit 31, a teacher image generation unit 32, and a learning model generation unit 33 by executing a program (software). The DRR image generation unit 31 and the teacher image generation unit 32 are examples of the “learning image generation unit” in the claims.

また、第１制御部３０は、図５に示すように、治療計画装置２によって取得されたＣＴ画像データＣに基づいて、入力教師画像Ｔ１および出力教師画像Ｔ２を生成する処理を行うとともに、機械学習を行うことによって、抽出対象部分Ｑを抽出するための学習モデルＭを生成する処理を行う。なお、学習モデルＭについての詳細は後述する。 Further, as shown in FIG. 5, the first control unit 30 performs a process of generating an input teacher image T1 and an output teacher image T2 based on the CT image data C acquired by the treatment planning device 2, and also performs a machine learning process. By performing the learning, a process of generating a learning model M for extracting the extraction target portion Q is performed. The details of the learning model M will be described later.

Ｘ線撮影部４は、図２に示すように、Ｘ線撮影によって被検体Ｐの骨部Ｈおよび骨部Ｈとは異なる抽出対象部分Ｑを含むＸ線透視画像Ａを取得する。Ｘ線撮影部４は、Ｘ線照射部４１と、Ｘ線検出部４２とを含む。Ｘ線照射部４１は、第１Ｘ線管４１ａ、第２Ｘ線管４１ｂ、第３Ｘ線管４１ｃ、および、第４Ｘ線管４１ｄを有する。また、Ｘ線検出部４２は、第１Ｘ線検出器４２ａ、第２Ｘ線検出器４２ｂ、第３Ｘ線検出器４２ｃ、および、第４Ｘ線検出器４２ｄを有する。第１〜第４Ｘ線検出器４２ａ〜４２ｄは、それぞれ、たとえば、ＦＰＤ（Ｆｌａｔ Ｐａｎｅｌ Ｄｅｔｅｃｔｏｒ）を有する。第１Ｘ線検出器４２ａは、第１Ｘ線管４１ａより照射されたＸ線を検出する。第１Ｘ線管４１ａと第１Ｘ線検出器４２ａとは、第１Ｘ線撮影系を構成する。同様に、第２Ｘ線検出器４２ｂは、第２Ｘ線管４１ｂより照射されたＸ線を検出する。第２Ｘ線管４１ｂと第２Ｘ線検出器４２ｂとは、第２Ｘ線撮影系を構成する。同様に、第３Ｘ線検出器４２ｃは、第３Ｘ線管４１ｃより照射されたＸ線を検出する。第３Ｘ線管４１ｃと第３Ｘ線検出器４２ｃとは、第３Ｘ線撮影系を構成する。同様に、第４Ｘ線検出器４２ｄは、第４Ｘ線管４１ｄより照射されたＸ線を検出する。第４Ｘ線管４１ｄと第４Ｘ線検出器４２ｄとは、第４Ｘ線撮影系を構成する。なお、骨部Ｈは、特許請求の範囲の「特定部分」の一例である。また、Ｘ線透視画像Ａは、特許請求の範囲の「Ｘ線画像」の一例である。 As shown in FIG. 2, the X-ray imaging unit 4 acquires an X-ray fluoroscopic image A including the bone portion H of the subject P and the extraction target portion Q different from the bone portion H by X-ray imaging. The X-ray imaging unit 4 includes an X-ray irradiation unit 41 and an X-ray detection unit 42. The X-ray irradiation unit 41 includes a first X-ray tube 41a, a second X-ray tube 41b, a third X-ray tube 41c, and a fourth X-ray tube 41d. Further, the X-ray detector 42 includes a first X-ray detector 42a, a second X-ray detector 42b, a third X-ray detector 42c, and a fourth X-ray detector 42d. The first to fourth X-ray detectors 42a to 42d each have, for example, an FPD (Flat Panel Detector). The first X-ray detector 42a detects the X-rays emitted from the first X-ray tube 41a. The first X-ray tube 41a and the first X-ray detector 42a constitute a first X-ray imaging system. Similarly, the second X-ray detector 42b detects the X-rays emitted from the second X-ray tube 41b. The second X-ray tube 41b and the second X-ray detector 42b form a second X-ray imaging system. Similarly, the third X-ray detector 42c detects the X-rays emitted from the third X-ray tube 41c. The third X-ray tube 41c and the third X-ray detector 42c form a third X-ray imaging system. Similarly, the 4th X-ray detector 42d detects the X-rays emitted from the 4th X-ray tube 41d. The 4th X-ray tube 41d and the 4th X-ray detector 42d constitute a 4th X-ray imaging system. The bone portion H is an example of a "specific portion" in the claims. Further, the X-ray fluoroscopic image A is an example of the "X-ray image" in the claims.

なお、放射線治療を行うために被検体Ｐの骨部Ｈおよび骨部Ｈとは異なる抽出対象部分Ｑを含む領域をＸ線撮影する際には、第１〜第４Ｘ線撮影系の４つの撮影系のうちから２つの撮影系が選択されてＸ線撮影部４として使用される。 In addition, when X-ray imaging is performed on the bone portion H of the subject P and the region including the extraction target portion Q different from the bone portion H for radiotherapy, four imaging systems of the first to fourth X-ray imaging systems are performed. Two imaging systems are selected from the systems and used as the X-ray imaging unit 4.

図１に示すように、Ｘ線画像処理装置５は、第２制御部５０を含む。第２制御部５０は、たとえば、ＣＰＵを有する。Ｘ線画像処理装置５は、ハードウェア的な構成として、たとえば、ＣＰＵ、ＧＰＵ、ＲＯＭ、および、ＲＡＭなどを有する。また、Ｘ線画像処理装置５は、記憶部として、ＨＤＤまたは不揮発性のメモリなどを含んでいる。 As shown in FIG. 1, the X-ray image processing device 5 includes a second control unit 50. The second control unit 50 has, for example, a CPU. The X-ray image processing device 5 has, for example, a CPU, a GPU, a ROM, a RAM, and the like as a hardware configuration. Further, the X-ray image processing device 5 includes an HDD, a non-volatile memory, or the like as a storage unit.

図４に示すように、第２制御部５０は、機能的な構成として、画像処理部５１を含む。画像処理部５１は、プログラム（ソフトウェア）によって構成されている。すなわち、第２制御部５０は、プログラム（ソフトウェア）を実行することによって、画像処理部５１として機能するように構成されている。 As shown in FIG. 4, the second control unit 50 includes an image processing unit 51 as a functional configuration. The image processing unit 51 is composed of a program (software). That is, the second control unit 50 is configured to function as the image processing unit 51 by executing a program (software).

Ｘ線画像処理装置５は、図５に示すように、学習装置３によって生成された学習モデルＭに基づいて、Ｘ線撮影部４によって撮影されたＸ線画像であるＸ線透視画像Ａに対して、抽出対象部分Ｑを抽出する処理を行う。Ｘ線透視は、一般Ｘ線撮影に比べて少ない量のＸ線を連続的に照射することによって、被ばく量の増加を抑制しながら、被検体Ｐの体内の様子を動画像として取得する方法である。Ｘ線画像処理装置５は、Ｘ線撮影部４によって撮影されたＸ線透視画像Ａを入力データとして、学習装置３において機械学習によって生成された学習モデルＭを用いることによって、抽出対象部分Ｑの位置を追跡するための出力画像Ａαを取得する。そして、Ｘ線画像処理装置５は、取得した抽出対象部分Ｑの位置に関する情報に基づいて、放射線治療装置１が治療ビームを照射する位置と、治療ビームを照射するタイミングとを制御するための信号を、放射線治療装置１に対して送信する。 As shown in FIG. 5, the X-ray image processing device 5 refers to the X-ray fluoroscopic image A, which is an X-ray image taken by the X-ray photographing unit 4, based on the learning model M generated by the learning device 3. Then, the process of extracting the extraction target portion Q is performed. X-ray fluoroscopy is a method of continuously irradiating a smaller amount of X-rays than general X-ray photography to acquire a moving image of the inside of the subject P while suppressing an increase in the amount of exposure. is there. The X-ray image processing device 5 uses the X-ray fluoroscopic image A captured by the X-ray imaging unit 4 as input data and uses the learning model M generated by machine learning in the learning device 3 to obtain the extraction target portion Q. The output image Aα for tracking the position is acquired. Then, the X-ray image processing device 5 is a signal for controlling the position at which the radiotherapy device 1 irradiates the treatment beam and the timing at which the therapy beam is radiated, based on the acquired information regarding the position of the extraction target portion Q. Is transmitted to the radiotherapy device 1.

画像処理部５１は、学習済みの学習モデルＭに基づいて、Ｘ線撮影によって取得された被検体Ｐの骨部Ｈおよび抽出対象部分Ｑを含むＸ線透視画像Ａに対して、抽出対象部分Ｑを抽出する処理を行う。 Based on the trained learning model M, the image processing unit 51 refers to the extraction target portion Q with respect to the X-ray fluoroscopic image A including the bone portion H and the extraction target portion Q of the subject P acquired by X-ray imaging. Is processed to extract.

（第１実施形態における第１学習モデルの生成に関して）
ここで、本実施形態では、ＤＲＲ画像生成部３１によって、ＣＴ画像データＣに基づいて、被検体Ｐの骨部Ｈおよび骨部Ｈとは異なる抽出対象部分Ｑを含む領域についてのＤＲＲ画像Ｄが生成され取得される。そして、教師画像生成部３２によって、取得されたＤＲＲ画像Ｄに対して、骨部Ｈの画素値が骨部Ｈ以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像Ｔ１が生成される。また、教師画像生成部３２によって、入力教師画像Ｔ１と同じ領域における抽出対象部分Ｑを示す画像である出力教師画像Ｔ２が生成される。そして、学習モデル生成部３３によって、入力教師画像Ｔ１および出力教師画像Ｔ２を用いて、機械学習を行うことにより、抽出対象部分Ｑを抽出するための学習モデルＭを生成する。 (Regarding the generation of the first learning model in the first embodiment)
Here, in the present embodiment, the DRR image generation unit 31 creates a DRR image D for a region including the bone portion H of the subject P and the extraction target portion Q different from the bone portion H, based on the CT image data C. Generated and acquired. Then, the input teacher including an image in which the pixel value of the bone portion H is changed relative to the pixel value of the portion other than the bone portion H with respect to the acquired DRR image D by the teacher image generation unit 32. Image T1 is generated. Further, the teacher image generation unit 32 generates an output teacher image T2 which is an image showing an extraction target portion Q in the same region as the input teacher image T1. Then, the learning model generation unit 33 generates a learning model M for extracting the extraction target portion Q by performing machine learning using the input teacher image T1 and the output teacher image T2.

〈ＤＲＲ画像の生成に関して〉
ＤＲＲ画像生成部３１は、図６に示すように、コンピュータ断層撮影による３次元データであるＣＴ画像データＣに基づいて、デジタル再構成シミュレーションによって被検体Ｐの骨部Ｈおよび骨部Ｈとは異なる抽出対象部分Ｑを含む領域についてのＤＲＲ画像Ｄを生成する。なお、ＤＲＲ画像Ｄは、特許請求の範囲における「２次元投影画像」の一例である。 <Regarding the generation of DRR images>
As shown in FIG. 6, the DRR image generation unit 31 is different from the bone H and the bone H of the subject P by digital reconstruction simulation based on CT image data C which is three-dimensional data obtained by computed tomography. A DRR image D for the region including the extraction target portion Q is generated. The DRR image D is an example of a "two-dimensional projected image" in the claims.

ＤＲＲ画像生成部３１は、ＤＲＲ画像Ｄを生成するにあたって、３次元仮想空間上において、仮想的なＸ線管４１αと仮想的なＸ線検出器４２αとを、ＣＴ画像データＣに対してＸ線撮影を行うように配置することによって、仮想的なＸ線撮影系の３次元空間的配置（撮影ジオメトリ）を生成する。これらのＣＴ画像データＣと、ＣＴ画像データＣに対する仮想的なＸ線撮像系の配置は、図２に示す実際の被検体ＰとＸ線照射部４１とＸ線検出部４２との配置と同一の撮影ジオメトリとなっている。ここで、撮影ジオメトリとは、被検体ＰとＸ線照射部４１およびＸ線検出部４２との３次元空間における幾何学的な配置関係を意味する。 In generating the DRR image D, the DRR image generation unit 31 uses a virtual X-ray tube 41α and a virtual X-ray detector 42α in a three-dimensional virtual space to X-ray the CT image data C. By arranging so as to perform imaging, a three-dimensional spatial arrangement (imaging geometry) of a virtual X-ray imaging system is generated. The arrangement of these CT image data C and the virtual X-ray imaging system with respect to the CT image data C is the same as the arrangement of the actual subject P, the X-ray irradiation unit 41, and the X-ray detection unit 42 shown in FIG. It is the shooting geometry of. Here, the imaging geometry means the geometrical arrangement relationship between the subject P and the X-ray irradiation unit 41 and the X-ray detection unit 42 in a three-dimensional space.

そして、ＤＲＲ画像生成部３１は、仮想的なＸ線管４１αから仮想的なＸ線検出器４２αに対してＸ線を照射することによって、ＣＴ画像データＣを仮想的にＸ線撮影する。このとき、ＤＲＲ画像生成部３１は、Ｘ線管４１αから照射されたＸ線が仮想的なＸ線検出器４２αに到達するまでに通過した画素部分（ボクセル）におけるＣＴ値の合計を加算することによってＤＲＲ画像Ｄにおける各画素値を計算する。 Then, the DRR image generation unit 31 virtually takes an X-ray image of the CT image data C by irradiating the virtual X-ray detector 42α with X-rays from the virtual X-ray tube 41α. At this time, the DRR image generation unit 31 adds the total CT values in the pixel portions (voxels) that the X-rays emitted from the X-ray tube 41α have passed by the time they reach the virtual X-ray detector 42α. Each pixel value in the DRR image D is calculated by.

上記のようにして、ＤＲＲ画像生成部３１は、３次元における画素値データであるＣＴ画像データＣに対して、Ｘ線撮影部４によって取得される被検体ＰのＸ線透視画像Ａと同一領域を同一角度から撮影したものとなるように、仮想的にＸ線撮影が行われたものとして２次元に投影することによってＤＲＲ画像Ｄを生成する。 As described above, the DRR image generation unit 31 has the same region as the X-ray fluoroscopic image A of the subject P acquired by the X-ray imaging unit 4 with respect to the CT image data C which is the pixel value data in three dimensions. The DRR image D is generated by projecting the images in two dimensions as if they were virtually X-rayed so that the images were taken from the same angle.

〈入力教師画像および出力教師画像の生成に関して〉
ＣＴ画像データＣに基づいて生成されたＤＲＲ画像Ｄと、Ｘ線撮影部４によって撮影されたＸ線透視画像Ａとでは、骨部Ｈの写り方が異なる場合がある。たとえば、図７に示すように、ＤＲＲ画像Ｄに比べてＸ線透視画像Ａでは骨部Ｈの写り方が薄くなる場合がある。第１制御部３０は、こうしたＤＲＲ画像ＤとＸ線透視画像Ａとにおける骨部Ｈの写り方の差異に対応可能な学習モデルＭを生成する。すなわち、第１制御部３０は、Ｘ線透視画像Ａに対応させるように、骨部Ｈの写り方を多様に変更させた入力教師画像Ｔ１を生成する。 <Regarding the generation of input teacher image and output teacher image>
The DRR image D generated based on the CT image data C and the X-ray fluoroscopic image A captured by the X-ray imaging unit 4 may have different images of the bone portion H. For example, as shown in FIG. 7, the appearance of the bone portion H may be lighter in the X-ray fluoroscopic image A than in the DRR image D. The first control unit 30 generates a learning model M that can deal with the difference in the appearance of the bone portion H between the DRR image D and the X-ray fluoroscopic image A. That is, the first control unit 30 generates the input teacher image T1 in which the appearance of the bone portion H is variously changed so as to correspond to the X-ray fluoroscopic image A.

本実施形態では、図８に示すように、教師画像生成部３２は、骨部Ｈを含むＤＲＲ画像Ｄと、骨部Ｈを除くように生成されたＤＲＲ画像Ｄである合成用ＤＲＲ画像Ｅとに基づいて、骨部Ｈの画素値が骨部Ｈ以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像Ｔ１を生成する。また、ＤＲＲ画像生成部３１は、ＣＴ画像データＣを構成する３次元画素部分（ボクセル）のうちから骨部Ｈに対応する３次元画素部分（ボクセル）を除去することによって合成用ＤＲＲ画像Ｅを生成する。 In the present embodiment, as shown in FIG. 8, the teacher image generation unit 32 includes a DRR image D including the bone portion H and a composite DRR image E which is a DRR image D generated so as to exclude the bone portion H. Based on the above, an input teacher image T1 including an image in which the pixel value of the bone portion H is changed relative to the pixel value of the portion other than the bone portion H is generated. Further, the DRR image generation unit 31 removes the three-dimensional pixel portion (voxels) corresponding to the bone portion H from the three-dimensional pixel portions (voxels) constituting the CT image data C to obtain the composite DRR image E. Generate.

ＣＴ画像データＣを構成する画素部分（ボクセル）は、それぞれ、画素値データとしてＣＴ値を有する。たとえば、ＣＴ値が１００以上の値である３次元画素部分を骨部Ｈに対応する３次元画素部分であると指定することによって、ＣＴ画像データＣを構成する３次元画素部分のうちから骨部Ｈに対応する３次元画素部分を特定する。ＤＲＲ画像生成部３１によってＣＴ画像データＣを仮想的にＸ線撮影する際に、骨部Ｈに対応する３次元画素部分であると特定されたものを除去した状態で投影することによって、骨部Ｈを除くように合成用ＤＲＲ画像Ｅを生成する。また、合成用ＤＲＲ画像Ｅを生成する際の撮影ジオメトリは、合成用ＤＲＲ画像Ｅと合成するＤＲＲ画像Ｄとが同一の撮影ジオメトリとなるようにする。 Each of the pixel portions (voxels) constituting the CT image data C has a CT value as pixel value data. For example, by designating a three-dimensional pixel portion having a CT value of 100 or more as a three-dimensional pixel portion corresponding to the bone portion H, the bone portion from among the three-dimensional pixel portions constituting the CT image data C The three-dimensional pixel portion corresponding to H is specified. When the CT image data C is virtually X-rayed by the DRR image generation unit 31, the bone portion is projected by removing what is identified as the three-dimensional pixel portion corresponding to the bone portion H. A composite DRR image E is generated so as to exclude H. Further, the shooting geometry when the composite DRR image E is generated is such that the composite DRR image E and the composite DRR image D have the same shooting geometry.

また、本実施形態では、教師画像生成部３２は、骨部Ｈの画素値がランダムな値に変更されている画像を含むように複数の入力教師画像Ｔ１を生成する。そして、図９に示すように、教師画像生成部３２は、ＤＲＲ画像Ｄと合成用ＤＲＲ画像Ｅとを合成する際に、ＤＲＲ画像Ｄと合成用ＤＲＲ画像Ｅとを合成する際の画素値の割合を変更した状態で合成を行う。つまり、教師画像生成部３２は、画素値の割合がランダムに変更されたＤＲＲ画像Ｄと合成用ＤＲＲ画像Ｅとを合成することによって、複数の入力教師画像Ｔ１を生成する。 Further, in the present embodiment, the teacher image generation unit 32 generates a plurality of input teacher images T1 so as to include an image in which the pixel value of the bone portion H is changed to a random value. Then, as shown in FIG. 9, when the teacher image generation unit 32 synthesizes the DRR image D and the composite DRR image E, the pixel value when the DRR image D and the composite DRR image E are combined is used. Synthesize with the ratio changed. That is, the teacher image generation unit 32 generates a plurality of input teacher images T1 by synthesizing the DRR image D in which the ratio of the pixel values is randomly changed and the DRR image E for compositing.

具体的には、教師画像生成部３２は、複数の入力教師画像Ｔ１を生成するために、合成する割合をランダムにしながらアルファブレンディングを行うことによって、ＤＲＲ画像Ｄと合成用ＤＲＲ画像Ｅとを合成する。ＤＲＲ画像Ｄの画素値をＸ１、合成用ＤＲＲ画像Ｅの画素値をＸ２、合成する際の割合を示す係数をα（０≦α≦１）、合成後の入力教師画像Ｔ１の画素値をＹとすると、アルファブレンディングの計算は式（１）のように表される。
Ｙ＝αＸ１＋（１−α）Ｘ２・・・（１）
ここで、教師画像生成部３２は、係数αの値をランダムな値とすることによって、ランダムな割合にＤＲＲ画像Ｄと合成用ＤＲＲ画像Ｅとを合成する。そして、教師画像生成部３２は、ランダムな割合にＤＲＲ画像Ｄと合成用ＤＲＲ画像Ｅとを合成することによって、骨部Ｈの写り方が様々な複数の入力教師画像Ｔ１を生成する。なお、図９は、様々な割合において（様々なαの値を用いて）複数の入力教師画像Ｔ１を生成する例を示している。なお、画像の合成は、式（１）の計算方法に限らず、加算および乗算などを用いて計算してもよい。 Specifically, the teacher image generation unit 32 synthesizes the DRR image D and the DRR image E for compositing by performing alpha blending while randomizing the compositing ratio in order to generate a plurality of input teacher images T1. To do. The pixel value of the DRR image D is X 1 , the pixel value of the DRR image E for compositing is X 2 , the coefficient indicating the ratio at the time of compositing is α (0 ≦ α ≦ 1), and the pixel value of the input teacher image T1 after compositing. When is Y, the calculation of alpha blending is expressed by the equation (1).
Y = αX 1 + (1-α) X 2 ... (1)
Here, the teacher image generation unit 32 synthesizes the DRR image D and the DRR image E for compositing at a random ratio by setting the value of the coefficient α to a random value. Then, the teacher image generation unit 32 generates a plurality of input teacher images T1 having various appearances of the bone portion H by synthesizing the DRR image D and the composite DRR image E at random ratios. Note that FIG. 9 shows an example of generating a plurality of input teacher images T1 at various ratios (using various values of α). The image composition is not limited to the calculation method of the equation (1), and may be calculated by using addition, multiplication, or the like.

図５に示すように、教師画像生成部３２は、入力教師画像Ｔ１と同様に、ＤＲＲ画像Ｄに基づいて出力教師画像Ｔ２を生成する。具体的には、ＣＴ画像データＣのうちの医師によって登録された抽出対象部分Ｑに関する画素部分（ボクセル）についてのみのＤＲＲ画像Ｄを生成する。すなわち、ＣＴ画像データＣ全体ではなく、抽出対象部分Ｑのみに対して、仮想的なＸ線撮影を行う。その結果、得られた抽出対象部分ＱについてのＤＲＲ画像Ｄを、抽出対象部分Ｑを含む領域と抽出対象部分Ｑを含まない領域との２つの領域に区分して、２値化した出力教師画像Ｔ２を生成する。なお、複数のＤＲＲ画像Ｄに基づいて複数の入力教師画像Ｔ１を生成する場合には、複数の入力教師画像Ｔ１のそれぞれに対応する複数の出力教師画像Ｔ２を生成する。すなわち、複数の入力教師画像Ｔ１の各々における撮影ジオメトリと同一の撮影ジオメトリを用いて、出力教師画像Ｔ２を生成する。言い換えると、複数の入力教師画像Ｔ１の各々に対して、入力教師画像Ｔ１と同じ領域における抽出対象部分Ｑを示す画像を出力教師画像Ｔ２として生成する。 As shown in FIG. 5, the teacher image generation unit 32 generates the output teacher image T2 based on the DRR image D in the same manner as the input teacher image T1. Specifically, the DRR image D is generated only for the pixel portion (voxel) related to the extraction target portion Q registered by the doctor in the CT image data C. That is, virtual X-ray photography is performed only on the extraction target portion Q, not on the entire CT image data C. As a result, the DRR image D of the obtained extraction target portion Q is divided into two regions, a region including the extraction target portion Q and a region not including the extraction target portion Q, and the output teacher image is binarized. Generate T2. When a plurality of input teacher images T1 are generated based on a plurality of DRR images D, a plurality of output teacher images T2 corresponding to each of the plurality of input teacher images T1 are generated. That is, the output teacher image T2 is generated by using the same shooting geometry as the shooting geometry in each of the plurality of input teacher images T1. In other words, for each of the plurality of input teacher images T1, an image showing the extraction target portion Q in the same region as the input teacher image T1 is generated as the output teacher image T2.

〈学習モデルの生成に関して〉
学習モデル生成部３３は、図５に示すように、教師画像生成部３２によって生成された入力教師画像Ｔ１を入力層として取得する。そして、学習モデル生成部３３は、治療計画装置２において登録された抽出対象部分Ｑの領域を表すように教師画像生成部３２によって生成された２チャンネルのラベル画像である出力教師画像Ｔ２を出力層として取得する。そして、学習モデル生成部３３は、入力層および出力層を用いて、機械学習を行う。学習モデル生成部３３は、学習モデルとして使用する畳み込み層を学習することによって、学習モデルＭを生成する。そして、画像処理部５１は、生成された学習モデルＭを用いて、Ｘ線透視画像Ａにおける抽出対象部分Ｑの領域を抽出する。Ｘ線透視画像Ａを入力層として、学習モデル生成部３３によって生成された学習モデルＭを用いることにより、出力層として２チャンネルのラベル画像である出力画像Ａαを生成する。 <Regarding the generation of learning model>
As shown in FIG. 5, the learning model generation unit 33 acquires the input teacher image T1 generated by the teacher image generation unit 32 as an input layer. Then, the learning model generation unit 33 outputs an output teacher image T2 which is a 2-channel label image generated by the teacher image generation unit 32 so as to represent the region of the extraction target portion Q registered in the treatment planning device 2. Get as. Then, the learning model generation unit 33 performs machine learning using the input layer and the output layer. The learning model generation unit 33 generates the learning model M by learning the convolution layer used as the learning model. Then, the image processing unit 51 extracts the region of the extraction target portion Q in the X-ray fluoroscopic image A by using the generated learning model M. By using the X-ray fluoroscopic image A as an input layer and using the learning model M generated by the learning model generation unit 33, an output image Aα which is a 2-channel label image is generated as an output layer.

画像処理において、たとえば、画像内の各々の画素をクラスに分類する（ラベル付けする）手法であるセマンティック・セグメンテーションを用いて抽出対象部分Ｑを抽出する。セマンティック・セグメンテーションの手法として、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ：全層畳み込みネットワーク）が用いられる。ＦＣＮにおいて用いられる畳み込みニューラルネットワークは、たとえば、図５のような構成となる。そして、中間層は、畳み込み層のみで構成されており、機械学習によってパラメータが決定される。 In image processing, for example, the extraction target portion Q is extracted by using semantic segmentation, which is a method of classifying (labeling) each pixel in an image into classes. As a method of semantic segmentation, FCN (Full Convolutional Network) is used. The convolutional neural network used in FCN has, for example, the configuration shown in FIG. The intermediate layer is composed of only the convolution layer, and the parameters are determined by machine learning.

上記のようにして生成された。学習モデルＭに基づいて、抽出対象部分Ｑが抽出される。そして、抽出された抽出対象部分Ｑの位置に基づいて、放射線治療装置１に対して、放射線を照射する位置および放射線を照射するタイミングを制御するための信号が送られる。 It was generated as described above. The extraction target portion Q is extracted based on the learning model M. Then, a signal for controlling the position to irradiate the radiation and the timing to irradiate the radiation is sent to the radiotherapy device 1 based on the position of the extracted extraction target portion Q.

（学習モデルの生成方法に関して）
次に、図１０を参照して、学習装置３による学習モデルＭの生成方法について説明する。 (Regarding how to generate a learning model)
Next, a method of generating the learning model M by the learning device 3 will be described with reference to FIG.

まず、ステップ１０１において、ＣＴ画像データＣが取得される。 First, in step 101, CT image data C is acquired.

次に、ステップ１０２において、ＣＴ画像データＣに基づいて取得された被検体Ｐの骨部Ｈおよび骨部Ｈとは異なる抽出対象部分Ｑを含む領域についてのＤＲＲ画像Ｄに対して、骨部Ｈの画素値が骨部Ｈ以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像Ｔ１が生成される。 Next, in step 102, with respect to the bone portion H of the subject P acquired based on the CT image data C and the DRR image D for the region including the extraction target portion Q different from the bone portion H, the bone portion H The input teacher image T1 including the image in which the pixel value of is changed relative to the pixel value of the portion other than the bone portion H is generated.

次に、ステップ１０３において、ＣＴ画像データＣに基づいて、上記ＤＲＲ画像Ｄと同じ領域における抽出対象部分Ｑを示す画像である出力教師画像Ｔ２が生成される。 Next, in step 103, an output teacher image T2, which is an image showing the extraction target portion Q in the same region as the DRR image D, is generated based on the CT image data C.

次に、ステップ１０４において、入力教師画像Ｔ１および、出力教師画像Ｔ２を用いて、機械学習を行うことにより、抽出対象部分Ｑを抽出するための学習モデルＭが生成される。 Next, in step 104, a learning model M for extracting the extraction target portion Q is generated by performing machine learning using the input teacher image T1 and the output teacher image T2.

（放射線治療時における抽出対象部分の抽出についての処理）
次に、図１１を参照して、第１実施形態によるＸ線画像処理システム１００による制御処理フローについて説明する。 (Processing for extraction of the extraction target part during radiation therapy)
Next, with reference to FIG. 11, the control processing flow by the X-ray image processing system 100 according to the first embodiment will be described.

まず、ステップ１１１において、学習装置３によって、治療計画装置２によって生成されたＣＴ画像データＣが取得される。 First, in step 111, the learning device 3 acquires the CT image data C generated by the treatment planning device 2.

次に、ステップ１１２において、ＤＲＲ画像生成部３１によってＤＲＲ画像Ｄが生成される。 Next, in step 112, the DRR image D is generated by the DRR image generation unit 31.

次に、ステップ１１３において、教師画像生成部３２によって、入力教師画像Ｔ１および出力教師画像Ｔ２が生成される。 Next, in step 113, the teacher image generation unit 32 generates the input teacher image T1 and the output teacher image T2.

次に、ステップ１１４において、学習モデル生成部３３によって、学習モデルＭが生成される。 Next, in step 114, the learning model M is generated by the learning model generation unit 33.

次に、ステップ１１５において、Ｘ線撮影部４によって、Ｘ線透視画像Ａが撮影される。 Next, in step 115, the X-ray fluoroscopic image A is photographed by the X-ray photographing unit 4.

次に、ステップ１１６において、Ｘ線透視画像Ａと学習モデルＭに基づいて、抽出対象部分Ｑが抽出される。 Next, in step 116, the extraction target portion Q is extracted based on the fluoroscopic image A and the learning model M.

次に、ステップ１１７において、抽出された抽出対象部分Ｑの位置情報に基づいて、放射線治療装置１に対して、信号が送られる。 Next, in step 117, a signal is sent to the radiotherapy apparatus 1 based on the position information of the extracted extraction target portion Q.

次に、ステップ１１８において、放射線治療装置１によって、放射線が照射される。 Next, in step 118, the radiation therapy device 1 irradiates the radiation.

（Ｘ線画像処理システムの使用例）
次に、図１２を参照して、第１実施形態におけるＸ線画像処理システム１００の使用例について説明する。本発明の第１実施形態によるＸ線画像処理システム１００が用いられる放射線治療は、がんなどの腫瘍に対して放射線（たとえば、高エネルギーのＸ線）を照射することによって、がんなどの腫瘍を治療する方法である。 (Example of using X-ray image processing system)
Next, an example of using the X-ray image processing system 100 in the first embodiment will be described with reference to FIG. Radiation therapy using the X-ray image processing system 100 according to the first embodiment of the present invention involves irradiating a tumor such as cancer with radiation (for example, high-energy X-ray) to cause a tumor such as cancer. Is a way to treat.

はじめに、放射線治療を行うための、治療計画および事前準備が行われる。まず、ステップ１２１において、ＣＴ装置によって被検体ＰのＣＴ画像データＣが取得される。そして、ステップ１２２において、医師により、ＣＴ画像データＣと、被検体Ｐの臨床検査および診察とに基づいて、治療計画装置２において治療の計画が行われる。そして、ステップ１２３において、学習装置３によって、取得されたＣＴ画像データＣに基づいて、Ｘ線透視画像Ａにおける抽出対象部分Ｑを抽出するための学習モデルＭが機械学習によって生成される。このようにして、治療計画および事前準備が行われる。 First, a treatment plan and advance preparations are made for radiation therapy. First, in step 121, the CT image data C of the subject P is acquired by the CT device. Then, in step 122, the doctor plans the treatment in the treatment planning device 2 based on the CT image data C and the clinical examination and examination of the subject P. Then, in step 123, the learning device 3 generates a learning model M for extracting the extraction target portion Q in the X-ray fluoroscopic image A based on the acquired CT image data C by machine learning. In this way, treatment planning and advance preparation are carried out.

次に、実際に放射線治療を行う。まず、ステップ１２４において、放射線治療装置１に備え付けられた診察台の天板１１に載置された被検体Ｐに対して、Ｘ線撮影部４によってＸ線撮影が行われ、Ｘ線透視画像Ａが取得される。次に、ステップ１２５において、取得されたＸ線透視画像Ａに対して前述の学習モデルＭを用いることによって、Ｘ線画像処理装置５によって抽出対象部分Ｑが抽出される。そして、ステップ１２６において、抽出された抽出対象部分Ｑの位置に基づいて、放射線を照射することによって、放射線治療が行われる。 Next, radiation therapy is actually performed. First, in step 124, the X-ray imaging unit 4 performs X-ray imaging on the subject P placed on the top plate 11 of the examination table provided in the radiotherapy apparatus 1, and the X-ray fluoroscopic image A Is obtained. Next, in step 125, by using the above-mentioned learning model M for the acquired X-ray fluoroscopic image A, the extraction target portion Q is extracted by the X-ray image processing device 5. Then, in step 126, radiation therapy is performed by irradiating radiation based on the position of the extracted extraction target portion Q.

（第１実施形態の効果）
第１実施形態では、以下のような効果を得ることができる。 (Effect of the first embodiment)
In the first embodiment, the following effects can be obtained.

第１実施形態のＸ線画像処理システム１００は、上記のように、３次元における画素値データを有する３次元データ（ＣＴ画像データＣ）に基づいて取得された被検体Ｐの特定部分（骨部Ｈ）を含む領域についての２次元投影画像（ＤＲＲ画像Ｄ）に対して、骨部Ｈの画素値が骨部Ｈ以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像Ｔ１と、入力教師画像Ｔ１と同じ領域における被検体Ｐの抽出対象部分Ｑを示す画像である出力教師画像Ｔ２と、を生成する学習画像生成部（ＤＲＲ画像生成部３１および教師画像生成部３２）を備える。そして、上記入力教師画像Ｔ１および出力教師画像Ｔ２を用いて、機械学習を行うことにより、抽出対象部分Ｑを抽出するための学習モデルＭを生成する学習モデル生成部３３を備える。これにより、ＤＲＲ画像Ｄの骨部Ｈの画素値が骨部Ｈ以外の部分の画素値に対して相対的に変更されているため、Ｘ線画像（Ｘ線透視画像Ａ）における骨部Ｈの写り方に対応させるように、ＤＲＲ画像Ｄにおける骨部Ｈの写り方のみを変更することができる。すなわち、Ｘ線透視画像Ａにおける骨部Ｈの写り方（画素値）を模擬したＤＲＲ画像Ｄを入力教師画像Ｔ１として機械学習を行うことによって、Ｘ線透視画像Ａにおける骨部Ｈの写り方に対応した学習モデルＭを生成することができる。その結果、ＤＲＲ画像ＤとＸ線透視画像Ａとにおいて、骨部Ｈの写り方（画素値）が異なる場合にも、抽出対象部分Ｑの抽出の精度が低下することを抑制することができる。 As described above, the X-ray image processing system 100 of the first embodiment has a specific portion (bone portion) of the subject P acquired based on the three-dimensional data (CT image data C) having pixel value data in three dimensions. Input including an image in which the pixel value of the bone portion H is changed relative to the pixel value of the portion other than the bone portion H with respect to the two-dimensional projection image (DRR image D) for the region including H). A learning image generation unit (DRR image generation unit 31 and a teacher image generation unit 31) that generates a teacher image T1 and an output teacher image T2 that is an image showing an extraction target portion Q of a subject P in the same region as the input teacher image T1. 32). Then, a learning model generation unit 33 that generates a learning model M for extracting the extraction target portion Q by performing machine learning using the input teacher image T1 and the output teacher image T2 is provided. As a result, the pixel value of the bone portion H of the DRR image D is changed relative to the pixel value of the portion other than the bone portion H, so that the bone portion H in the X-ray image (X-ray fluoroscopic image A) has a pixel value of the bone portion H. Only the appearance of the bone portion H in the DRR image D can be changed so as to correspond to the appearance. That is, by performing machine learning using the DRR image D simulating the image (pixel value) of the bone H in the X-ray fluoroscopic image A as the input teacher image T1, the image of the bone H in the X-ray fluoroscopic image A can be obtained. The corresponding learning model M can be generated. As a result, it is possible to suppress a decrease in the extraction accuracy of the extraction target portion Q even when the appearance (pixel value) of the bone portion H is different between the DRR image D and the X-ray fluoroscopic image A.

また、第１実施形態では、以下のように構成したことによって、更なる効果が得られる。 Further, in the first embodiment, a further effect can be obtained by configuring as follows.

すなわち、第１実施形態では、学習画像生成部（ＤＲＲ画像生成部３１および教師画像生成部３２）は、コンピュータ断層撮影による３次元データ（ＣＴ画像データＣ）に基づいて、デジタル再構成シミュレーションにより生成された２次元投影画像（ＤＲＲ画像Ｄ）に対して、骨部Ｈ（特定部分）の画素値が骨部Ｈ以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像Ｔ１と、入力教師画像Ｔ１と同じ領域における抽出対象部分Ｑを示す画像である出力教師画像Ｔ２と、を生成するように構成されている。ここで、コンピュータ断層撮影（ＣＴ撮影）によって生成されたＣＴ画像データＣにおいて、骨部ＨのＣＴ値は骨部Ｈ以外の部分のＣＴ値よりも高い値となるため、たとえば、ＣＴ値に閾値を用いることによって骨部Ｈを容易に特定することができる。この点に着目して、第１実施形態のように、ＣＴ画像データＣに基づいて生成されたＤＲＲ画像Ｄに対して、骨部Ｈの画素値が骨部Ｈ以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像Ｔ１を生成するように、教師画像生成部３２を構成すれば、骨部Ｈと骨部Ｈ以外とを区別して骨部Ｈのみの画素値を変更する際に、骨部Ｈのみを容易に特定することができる。その結果、入力教師画像Ｔ１を生成する際に、ＤＲＲ画像Ｄに対して骨部Ｈのみの画素値を骨部Ｈ以外の部分の画素値に対して相対的に変更する処理を容易に行うことができるため、ＤＲＲ画像ＤとＸ線透視画像Ａにおいて骨部Ｈの写り方（画素値）が異なる場合にも、骨部Ｈの写り方が異なることに対応可能な学習モデルＭを容易に生成することができる。 That is, in the first embodiment, the learning image generation unit (DRR image generation unit 31 and teacher image generation unit 32) is generated by digital reconstruction simulation based on three-dimensional data (CT image data C) obtained by computer tomography. An input teacher including an image in which the pixel value of the bone portion H (specific portion) is changed relative to the pixel value of the portion other than the bone portion H with respect to the two-dimensional projected image (DRR image D). It is configured to generate an image T1 and an output teacher image T2 which is an image showing an extraction target portion Q in the same region as the input teacher image T1. Here, in the CT image data C generated by computed tomography (CT imaging), the CT value of the bone portion H is higher than the CT value of the portion other than the bone portion H. Therefore, for example, the CT value has a threshold value. The bone H can be easily identified by using. Focusing on this point, as in the first embodiment, the pixel value of the bone portion H is relative to the pixel value of the portion other than the bone portion H with respect to the DRR image D generated based on the CT image data C. If the teacher image generation unit 32 is configured to generate the input teacher image T1 including the relatively changed image, the pixel value of only the bone portion H is distinguished from the bone portion H and other than the bone portion H. Only the bone H can be easily identified when changing. As a result, when the input teacher image T1 is generated, it is easy to change the pixel value of only the bone portion H with respect to the DRR image D relative to the pixel value of the portion other than the bone portion H. Therefore, even if the image of the bone H (pixel value) is different between the DRR image D and the X-ray fluoroscopic image A, a learning model M that can cope with the difference in the image of the bone H can be easily generated. can do.

また、第１実施形態では、学習画像生成部（ＤＲＲ画像生成部３１および教師画像生成部３２）は、特定部分（骨部Ｈ）の画素値がランダムな値に変更されている画像を含むように複数の入力教師画像Ｔ１を生成するように構成されている。このように構成すれば、骨部Ｈの画素値がランダムな値に変更されている複数の入力教師画像Ｔ１を生成することができる。つまり、Ｘ線透視画像Ａにおける骨部Ｈの画素値が、骨部Ｈ以外の部分の画素値に対して相対的に様々な値をとる場合にも、骨部Ｈの様々な画素値に対応可能な学習モデルＭを生成することができる。その結果、骨部Ｈが様々な写り方（画素値）を有するＸ線透視画像Ａに対して、抽出対象部分Ｑを精度よく抽出することができる。 Further, in the first embodiment, the learning image generation unit (DRR image generation unit 31 and the teacher image generation unit 32) includes an image in which the pixel value of the specific portion (bone portion H) is changed to a random value. Is configured to generate a plurality of input teacher images T1. With this configuration, it is possible to generate a plurality of input teacher images T1 in which the pixel value of the bone portion H is changed to a random value. That is, even when the pixel value of the bone portion H in the X-ray fluoroscopic image A takes various values relative to the pixel value of the portion other than the bone portion H, it corresponds to the various pixel values of the bone portion H. A possible learning model M can be generated. As a result, the extraction target portion Q can be accurately extracted from the X-ray fluoroscopic image A in which the bone portion H has various appearances (pixel values).

また、第１実施形態では、学習画像生成部（ＤＲＲ画像生成部３１および教師画像生成部３２）と学習モデル生成部３３とを含む第１制御部３０と、画像処理部５１を含む第２制御部５０と、をさらに備える。このように構成すれば、学習モデルＭを生成する処理と、抽出対象部分Ｑを抽出する処理と、を別個の制御部（第１制御部３０および第２制御部５０）によって行うことができる。すなわち、第２制御部５０による、被検体Ｐに対する抽出対象部分Ｑを抽出する処理と、第１制御部３０による、被検体Ｐとは別個の被検体Ｐαについての学習モデルＭαを生成する処理と、を同一のタイミングにおいて行うことができる。その結果、放射線治療に要する時間の増大を抑制することができる。 Further, in the first embodiment, the first control unit 30 including the learning image generation unit (DRR image generation unit 31 and the teacher image generation unit 32) and the learning model generation unit 33, and the second control including the image processing unit 51 A unit 50 and the like are further provided. With this configuration, the process of generating the learning model M and the process of extracting the extraction target portion Q can be performed by separate control units (first control unit 30 and second control unit 50). That is, the process of extracting the extraction target portion Q for the subject P by the second control unit 50 and the process of generating the learning model Mα for the subject Pα separate from the subject P by the first control unit 30. , Can be performed at the same timing. As a result, it is possible to suppress an increase in the time required for radiation therapy.

また、第１実施形態では、学習画像生成部（ＤＲＲ画像生成部３１および教師画像生成部３２）は、特定部分（骨部Ｈ）を含む２次元投影画像（ＤＲＲ画像Ｄ）と、骨部Ｈを除くように生成されたＤＲＲ画像Ｄである合成用投影画像（合成用ＤＲＲ画像Ｅ）とに基づいて、骨部Ｈの画素値が骨部Ｈ以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像Ｔ１を生成するように構成されている。このように構成すれば、ＤＲＲ画像Ｄと合成用ＤＲＲ画像Ｅとを合成することよって入力教師画像Ｔ１を生成することができるので、入力教師画像Ｔ１における骨部Ｈの写り方（画素値）を容易に変更することができる。その結果、骨部Ｈの画素値が変更された複数の入力教師画像Ｔ１を容易に生成することができるので、Ｘ線透視画像Ａにおける骨部Ｈの写り方（画素値）が、様々な形態である場合においても対応可能な学習モデルＭを容易に生成することができる。 Further, in the first embodiment, the learning image generation unit (DRR image generation unit 31 and the teacher image generation unit 32) includes a two-dimensional projected image (DRR image D) including a specific portion (bone portion H) and a bone portion H. Based on the composite projection image (composite DRR image E) which is the DRR image D generated so as to exclude, the pixel value of the bone portion H is relative to the pixel value of the portion other than the bone portion H. It is configured to generate an input teacher image T1 that includes the modified image. With this configuration, the input teacher image T1 can be generated by synthesizing the DRR image D and the composite DRR image E, so that the appearance (pixel value) of the bone portion H in the input teacher image T1 can be changed. It can be easily changed. As a result, a plurality of input teacher images T1 in which the pixel value of the bone portion H is changed can be easily generated, so that the appearance (pixel value) of the bone portion H in the X-ray fluoroscopic image A has various forms. Even in the case of, a learning model M that can be dealt with can be easily generated.

また、第１実施形態では、学習画像生成部（ＤＲＲ画像生成部３１および教師画像生成部３２）は、３次元データ（ＣＴ画像データＣ）を構成する３次元画素部分のうちから特定部分（骨部Ｈ）に対応する３次元画素部分を除去することによって合成用投影画像（合成用ＤＲＲ画像Ｅ）を生成するように構成されている。このように構成すれば、ＣＴ値に基づいて骨部Ｈに対応する３次元画素部分（ボクセル）を指定し、骨部Ｈであると指定された３次元画素部分を除外して２次元に投影することによって、骨部Ｈを除外したＤＲＲ画像Ｄを容易に生成することができる。 Further, in the first embodiment, the learning image generation unit (DRR image generation unit 31 and the teacher image generation unit 32) is a specific portion (bone) from the three-dimensional pixel portions constituting the three-dimensional data (CT image data C). It is configured to generate a composite projected image (composite DRR image E) by removing the three-dimensional pixel portion corresponding to the part H). With this configuration, the three-dimensional pixel portion (voxel) corresponding to the bone portion H is designated based on the CT value, and the three-dimensional pixel portion designated as the bone portion H is excluded and projected in two dimensions. By doing so, it is possible to easily generate a DRR image D excluding the bone portion H.

また、第１実施形態では、学習画像生成部（ＤＲＲ画像生成部３１および教師画像生成部３２）は、２次元投影画像（ＤＲＲ画像Ｄ）と合成用投影画像（合成用ＤＲＲ画像Ｅ）とを合成する際の画素値の割合を変更して、合成する画素値の割合が変更されたＤＲＲ画像Ｄと合成用ＤＲＲ画像Ｅとを合成することによって入力教師画像Ｔ１を生成するように構成されている。このように構成すれば、合成する際の画素値の割合を変更して、アルファブレンディングによってＤＲＲ画像Ｄと合成用ＤＲＲ画像Ｅとを合成するため、ＤＲＲ画像Ｄにおける骨部Ｈを透過させて合成することができる。その結果、ＤＲＲ画像Ｄと合成用ＤＲＲ画像Ｅとを合成する際に、骨部Ｈ以外の部分の画素値を変更せず、骨部Ｈの画素値のみを変更して合成することができる。その結果、Ｘ線透視画像Ａにおける骨部Ｈの写り方を模擬することができるので、ＤＲＲ画像ＤとＸ線透視画像Ａとを比べた際に、骨部Ｈの写り方（画素値）が異なる場合においても、抽出対象部分Ｑの抽出の精度が低下することを抑制することができる。 Further, in the first embodiment, the learning image generation unit (DRR image generation unit 31 and the teacher image generation unit 32) provides a two-dimensional projection image (DRR image D) and a composite projection image (composite DRR image E). It is configured to generate the input teacher image T1 by changing the ratio of the pixel values at the time of compositing and synthesizing the DRR image D in which the ratio of the pixel values to be combined is changed and the DRR image E for compositing. There is. With this configuration, the ratio of the pixel values at the time of compositing is changed, and the DRR image D and the DRR image E for compositing are combined by alpha blending. can do. As a result, when the DRR image D and the DRR image E for compositing are combined, the pixel values of the portions other than the bone portion H are not changed, and only the pixel values of the bone portion H can be changed and combined. As a result, it is possible to simulate how the bone portion H is imaged in the X-ray fluoroscopic image A. Therefore, when the DRR image D and the X-ray fluoroscopic image A are compared, the image quality (pixel value) of the bone portion H is different. Even if they are different, it is possible to suppress a decrease in the accuracy of extraction of the extraction target portion Q.

［第２実施形態］
図１３〜図１５を参照して、第２実施形態によるＸ線画像処理システム２００の構成について説明する。この第２実施形態は、ＤＲＲ画像生成部３１によって生成された２次元のＤＲＲ画像Ｄと２次元の合成用ＤＲＲ画像Ｅとに基づいて、教師画像生成部３２が入力教師画像Ｔ１を生成するように構成した第１実施形態とは異なり、教師画像生成部２３２によって３次元のＣＴ画像データＣを処理することによって、骨部Ｈの写り方が変更されるように投影された画像を入力教師画像Ｔ１とするように構成されている。なお、図中において、上記第１実施形態と同様の構成の部分には、同一の符号を付して図示するとともに説明を省略する。 [Second Embodiment]
The configuration of the X-ray image processing system 200 according to the second embodiment will be described with reference to FIGS. 13 to 15. In this second embodiment, the teacher image generation unit 32 generates the input teacher image T1 based on the two-dimensional DRR image D generated by the DRR image generation unit 31 and the two-dimensional composite DRR image E. Unlike the first embodiment configured in the above, the teacher image generation unit 232 processes the three-dimensional CT image data C to input an image projected so that the appearance of the bone portion H is changed. It is configured to be T1. In the figure, parts having the same configuration as that of the first embodiment are designated by the same reference numerals, and the description thereof will be omitted.

（第２実施形態によるＸ線検査装置の構成）
図１３に示すように、本発明の第２実施形態によるＸ線画像処理システム２００は、学習装置２０３を備えるように構成されている。学習装置２０３は、第１制御部２３０を含む。第１制御部２３０は、たとえば、ＣＰＵを有する。学習装置２０３は、ハードウェア的な構成として、たとえば、ＣＰＵ、ＧＰＵ、ＲＯＭ、および、ＲＡＭなどを有する。また、学習装置２０３は、記憶部として、ＨＤＤまたは不揮発性のメモリなどを含んでいる。 (Structure of X-ray inspection apparatus according to the second embodiment)
As shown in FIG. 13, the X-ray image processing system 200 according to the second embodiment of the present invention is configured to include the learning device 203. The learning device 203 includes a first control unit 230. The first control unit 230 has, for example, a CPU. The learning device 203 has, for example, a CPU, a GPU, a ROM, a RAM, and the like as a hardware configuration. Further, the learning device 203 includes an HDD, a non-volatile memory, or the like as a storage unit.

図１４に示すように、第１制御部２３０は、機能的な構成として、ＤＲＲ画像生成部２３１、教師画像生成部２３２、および、学習モデル生成部２３３を含む。ＤＲＲ画像生成部２３１、教師画像生成部２３２、および、学習モデル生成部２３３は、プログラム（ソフトウェア）によって構成されている。すなわち、第１制御部２３０は、プログラム（ソフトウェア）を実行することによって、ＤＲＲ画像生成部２３１、教師画像生成部２３２、および、学習モデル生成部２３３として機能するように構成されている。 As shown in FIG. 14, the first control unit 230 includes a DRR image generation unit 231, a teacher image generation unit 232, and a learning model generation unit 233 as functional configurations. The DRR image generation unit 231, the teacher image generation unit 232, and the learning model generation unit 233 are composed of a program (software). That is, the first control unit 230 is configured to function as a DRR image generation unit 231, a teacher image generation unit 232, and a learning model generation unit 233 by executing a program (software).

教師画像生成部２３２は、ＣＴ画像データＣを構成する３次元画素部分のうちから、骨部Ｈに対応する３次元画素部分のＣＴ値を、骨部Ｈ以外の部分に対応する３次元画素部分のＣＴ値に対して相対的に変更する。具体的には、ＣＴ値が１００以上の値である３次元画素部分を骨部Ｈに対応する３次元画素部分であると特定する。そして、骨部Ｈであると特定された３次元画素部分に対してのみ、ＣＴ値に処理を行う。すなわち、骨部Ｈ以外の部分に対応する３次元画素部分に対して相対的に、骨部Ｈに対応する３次元画素部分のＣＴ値が小さくなるように処理を行う。なお、骨部Ｈに対応する３次元画素部分のＣＴ値はランダムに変更される。 The teacher image generation unit 232 sets the CT value of the three-dimensional pixel portion corresponding to the bone portion H from the three-dimensional pixel portions constituting the CT image data C to the three-dimensional pixel portion corresponding to the portion other than the bone portion H. It is changed relative to the CT value of. Specifically, the three-dimensional pixel portion having a CT value of 100 or more is specified as the three-dimensional pixel portion corresponding to the bone portion H. Then, the CT value is processed only for the three-dimensional pixel portion specified to be the bone portion H. That is, the processing is performed so that the CT value of the three-dimensional pixel portion corresponding to the bone portion H is relatively smaller than that of the three-dimensional pixel portion corresponding to the portion other than the bone portion H. The CT value of the three-dimensional pixel portion corresponding to the bone portion H is randomly changed.

ＤＲＲ画像生成部２３１は、図１５に示すように、教師画像生成部２３２によって骨部Ｈに対応する３次元画素部分のＣＴ値が変更された状態のＣＴ画像データＣに対して、第１実施形態と同様に、仮想的にＸ線撮影を行うことによって、２次元に投影されたＤＲＲ画像Ｄである入力教師画像Ｔ２０１を生成する。また、ＤＲＲ画像生成部２３１は、第１実施形態と同様に、入力教師画像Ｔ２０１と同じ領域における抽出対象部分Ｑを示す画像である出力教師画像Ｔ２を生成する。 As shown in FIG. 15, the DRR image generation unit 231 first executes the CT image data C in a state where the CT value of the three-dimensional pixel portion corresponding to the bone portion H is changed by the teacher image generation unit 232. Similar to the form, the input teacher image T201, which is a two-dimensionally projected DRR image D, is generated by virtually performing X-ray photography. Further, the DRR image generation unit 231 generates an output teacher image T2 which is an image showing an extraction target portion Q in the same region as the input teacher image T201, as in the first embodiment.

学習モデル生成部２３３は、第１実施形態と同様に、入力教師画像Ｔ２０１を入力層、出力教師画像Ｔ２を出力層として、機械学習を行い、学習モデルＭを生成する。 Similar to the first embodiment, the learning model generation unit 233 performs machine learning with the input teacher image T201 as the input layer and the output teacher image T2 as the output layer, and generates the learning model M.

なお、第２実施形態のその他の構成については、第１実施形態と同様である。 The other configurations of the second embodiment are the same as those of the first embodiment.

（第２実施形態のＸ線画像処理システムによる制御処理）
次に、図１６を参照して、第２実施形態によるＸ線画像処理システム２００によるＸ線撮影に関する制御処理フローについて説明する。 (Control processing by the X-ray image processing system of the second embodiment)
Next, with reference to FIG. 16, a control processing flow relating to X-ray imaging by the X-ray image processing system 200 according to the second embodiment will be described.

まず、ステップ１１１において、第１実施形態と同様に、学習装置３によって、治療計画装置２によって生成されたＣＴ画像データＣが取得される。 First, in step 111, as in the first embodiment, the learning device 3 acquires the CT image data C generated by the treatment planning device 2.

次に、ステップ２１２において、教師画像生成部２３２によって、ＣＴ画像データＣにおける骨部Ｈに対応する３次元画素部分のＣＴ値を変更する。 Next, in step 212, the teacher image generation unit 232 changes the CT value of the three-dimensional pixel portion corresponding to the bone portion H in the CT image data C.

次に、ステップ２１３において、ＤＲＲ画像生成部２３１によって、ＤＲＲ画像Ｄが生成される。 Next, in step 213, the DRR image generation unit 231 generates the DRR image D.

なお、ステップ１１４〜ステップ１１８において、第１実施形態と同様の処理が行われる。 In steps 114 to 118, the same processing as in the first embodiment is performed.

（第２実施形態の効果）
第２実施形態では、以下のような効果を得ることができる。 (Effect of the second embodiment)
In the second embodiment, the following effects can be obtained.

第２実施形態では、学習画像生成部（ＤＲＲ画像生成部２３１および教師画像生成部２３２）は、３次元データ（ＣＴ画像データＣ）を構成する３次元画素部分のうちから、特定部分（骨部Ｈ）に対応する３次元画素部分の画素値データ（ＣＴ値）を、骨部Ｈ以外の部分に対応する３次元画素部分の画素値データ（ＣＴ値）に対して相対的に変更した状態で２次元に投影することによって、入力教師画像Ｔ２０１を生成するように構成されている。このように構成すれば、３次元データであるＣＴ画像データＣにおいて、骨部Ｈに対応する３次元画素部分のＣＴ値を変更するため、骨部ＨのＣＴ値が変更されているＣＴ画像データＣに対して、デジタル再構成シミュレーションにより２次元に投影した入力教師画像Ｔ２０１を生成することができる。したがって、骨部Ｈ以外の部分については、画素値の変更が行われず、骨部Ｈのみの画素値が変更された入力教師画像Ｔ２０１を生成することができる。すなわち、骨部Ｈ以外の部分の画素値が変更されないので、骨部Ｈ以外の部分の写り方は変更されず、骨部Ｈの部分のみの写り方が変更されるように入力教師画像Ｔ２０１が生成される。その結果、Ｘ線透視画像Ａにおいて、骨部Ｈ以外の部分に対する骨部Ｈの相対的な写り方が、ＤＲＲ画像Ｄと異なる場合においても、抽出対象部分Ｑの抽出精度の低下を抑制することができる。 In the second embodiment, the learning image generation unit (DRR image generation unit 231 and the teacher image generation unit 232) is a specific portion (bone portion) from the three-dimensional pixel portions constituting the three-dimensional data (CT image data C). In a state where the pixel value data (CT value) of the three-dimensional pixel portion corresponding to H) is changed relative to the pixel value data (CT value) of the three-dimensional pixel portion corresponding to the portion other than the bone portion H. It is configured to generate the input teacher image T201 by projecting it in two dimensions. With this configuration, in the CT image data C, which is three-dimensional data, the CT value of the three-dimensional pixel portion corresponding to the bone portion H is changed, so that the CT image data of the bone portion H is changed. An input teacher image T201 projected two-dimensionally on C can be generated by a digital reconstruction simulation. Therefore, the pixel value of the portion other than the bone portion H is not changed, and the input teacher image T201 in which the pixel value of only the bone portion H is changed can be generated. That is, since the pixel value of the portion other than the bone portion H is not changed, the image of the portion other than the bone portion H is not changed, and the input teacher image T201 is changed so that the image of only the portion of the bone portion H is changed. Will be generated. As a result, even when the relative appearance of the bone portion H with respect to the portion other than the bone portion H in the X-ray fluoroscopic image A is different from that of the DRR image D, the decrease in the extraction accuracy of the extraction target portion Q is suppressed. Can be done.

なお、第２実施形態のその他の効果は、上記第１実施形態と同様である。 The other effects of the second embodiment are the same as those of the first embodiment.

［第３実施形態］
図１７〜図２２を参照して、第３実施形態によるＸ線画像処理システム３００の構成について説明する。この第３実施形態は、放射線治療において、抽出対象部分Ｑを抽出（追跡）するように構成した第１および第２実施形態とは異なり、血管造影において、骨部Ｈである特定部分をＸ線画像上から除去して表示するように構成されている。なお、図中において、上記第１および第２実施形態と同様の構成の部分には、同一の符号を付して図示するとともに説明を省略する。 [Third Embodiment]
The configuration of the X-ray image processing system 300 according to the third embodiment will be described with reference to FIGS. 17 to 22. This third embodiment is different from the first and second embodiments configured to extract (follow) the extraction target portion Q in radiotherapy, and in angiography, X-ray a specific portion which is a bone portion H. It is configured to be removed from the image and displayed. In the drawings, the parts having the same configurations as those in the first and second embodiments are designated by the same reference numerals, and the description thereof will be omitted.

（第３実施形態によるＸ線画像処理システムの構成）
図１７および図１８に示すように、本発明の第３実施形態によるＸ線画像処理システム３００は、表示装置３０１、ＣＴ装置３０２、学習装置３０３、Ｘ線撮影部３０４、および、Ｘ線画像処理装置３０５を備える。図１９に示すように、Ｘ線画像処理システム３００は、血管造影の際に、ＤＲＲ画像Ｄ３０１およびＤＲＲ画像Ｄ３０２を用いた機械学習によってＸ線画像Ａ３００から骨部Ｈを除去するように学習された学習モデルＭ３００に基づいて、Ｘ線画像Ａ３００から骨部Ｈを除去するように構成されている。なお、Ｘ線画像Ａ３００は、Ｘ線撮影画像またはＸ線透視画像を含む。また、骨部Ｈは特許請求の範囲における「特定部分」の一例である。 (Configuration of X-ray image processing system according to the third embodiment)
As shown in FIGS. 17 and 18, the X-ray image processing system 300 according to the third embodiment of the present invention includes a display device 301, a CT device 302, a learning device 303, an X-ray imaging unit 304, and an X-ray image processing. The device 305 is provided. As shown in FIG. 19, the X-ray image processing system 300 was learned to remove the bone H from the X-ray image A300 by machine learning using the DRR image D301 and the DRR image D302 during angiography. Based on the learning model M300, it is configured to remove the bone H from the X-ray image A300. The X-ray image A300 includes an X-ray photographed image or an X-ray fluoroscopic image. Further, the bone portion H is an example of a "specific portion" in the claims.

表示装置３０１は、Ｘ線画像処理装置３０５によって生成された血管造影画像Ｋを表示するように構成されている。 The display device 301 is configured to display the angiographic image K generated by the X-ray image processing device 305.

ＣＴ装置３０２は、被検体ＰについてのＣＴ画像を生成する。 The CT device 302 generates a CT image of the subject P.

図１７に示すように、学習装置３０３は、第１制御部３３０を含む。第１制御部３３０は、たとえば、ＣＰＵを有する。学習装置３０３は、ハードウェア的な構成として、たとえば、ＣＰＵ、ＧＰＵ、ＲＯＭ、および、ＲＡＭなどを有する。また、学習装置３０３は、記憶部として、ＨＤＤまたは不揮発性のメモリなどを含んでいる。学習装置３０３は、ＣＴ装置３０２によって生成された２次元のＣＴ画像に基づいて３次元のＣＴ画像データＣを生成する。そして、学習装置３０３は、生成されたＣＴ画像データＣに基づいて、学習モデルＭ３００を生成する。 As shown in FIG. 17, the learning device 303 includes a first control unit 330. The first control unit 330 has, for example, a CPU. The learning device 303 has, for example, a CPU, a GPU, a ROM, a RAM, and the like as a hardware configuration. Further, the learning device 303 includes an HDD, a non-volatile memory, or the like as a storage unit. The learning device 303 generates three-dimensional CT image data C based on the two-dimensional CT image generated by the CT device 302. Then, the learning device 303 generates the learning model M300 based on the generated CT image data C.

図２０に示すように、第１制御部３３０は、機能的な構成として、ＤＲＲ画像生成部３３１、教師画像生成部３３２、および、学習モデル生成部３３３を含む。ＤＲＲ画像生成部３３１、教師画像生成部３３２、および、学習モデル生成部３３３は、第１および第２実施形態と同様に、プログラム（ソフトウェア）として構成されている。すなわち、第１制御部３３０が、プログラム（ソフトウェア）を実行することによって、ＤＲＲ画像生成部３３１、教師画像生成部３３２、および、学習モデル生成部３３３として機能するように構成されている。なお、ＤＲＲ画像生成部３３１および教師画像生成部３３２は、特許請求の範囲の「学習画像生成部」の一例である。 As shown in FIG. 20, the first control unit 330 includes a DRR image generation unit 331, a teacher image generation unit 332, and a learning model generation unit 333 as functional configurations. The DRR image generation unit 331, the teacher image generation unit 332, and the learning model generation unit 333 are configured as programs (software) as in the first and second embodiments. That is, the first control unit 330 is configured to function as a DRR image generation unit 331, a teacher image generation unit 332, and a learning model generation unit 333 by executing a program (software). The DRR image generation unit 331 and the teacher image generation unit 332 are examples of the "learning image generation unit" in the claims.

ＤＲＲ画像生成部３３１は、図１９に示すように、第１および第２実施形態と同様にＣＴ装置３０２において取得されたＣＴ画像によって生成された３次元のＣＴ画像データＣに基づいて、デジタル再構成シミュレーションによりＤＲＲ画像Ｄ３０１を生成する。すなわち、血管造影を行う際に被検体Ｐに行われるＸ線撮影と同一の撮影ジオメトリによってＣＴ画像データＣに対して仮想的なＸ線撮影を行うことによって、ＤＲＲ画像Ｄ３０１を生成する。また、ＤＲＲ画像Ｄ３０１を生成した際と同一の撮影ジオメトリにおいて、ＣＴ画像データＣを構成する画素部分（ボクセル）のうち骨部Ｈに対応する部分を除いた状態でＤＲＲ画像Ｄ３０２を生成する。たとえば、第１および第２実施形態における合成用ＤＲＲ画像Ｅの生成と同様に、ＤＲＲ画像Ｄ３０２を生成する際に、ＣＴ値が１００を超えるボクセルを骨部Ｈであるとして、骨部Ｈを除くようにＤＲＲ画像Ｄ３０２を生成する。 As shown in FIG. 19, the DRR image generation unit 331 digitally reproduces the three-dimensional CT image data C generated by the CT image acquired by the CT apparatus 302 as in the first and second embodiments. The DRR image D301 is generated by the configuration simulation. That is, the DRR image D301 is generated by performing a virtual X-ray imaging on the CT image data C with the same imaging geometry as the X-ray imaging performed on the subject P when performing angiography. Further, in the same imaging geometry as when the DRR image D301 was generated, the DRR image D302 is generated in a state where the portion corresponding to the bone portion H is excluded from the pixel portion (voxel) constituting the CT image data C. For example, similar to the generation of the DRR image E for synthesis in the first and second embodiments, when the DRR image D302 is generated, the voxels having a CT value of more than 100 are regarded as the bone H, and the bone H is excluded. The DRR image D302 is generated as described above.

教師画像生成部３３２は、図２１に示すように、第１および第２実施形態と同様に、生成されたＤＲＲ画像Ｄ３０１に対して骨部Ｈの画素値が骨部Ｈ以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像Ｔ３０１を生成する。また、入力教師画像Ｔ３０１と同じ領域における骨部Ｈを除くように生成されたＤＲＲ画像Ｄ３０２である出力教師画像Ｔ３０２を生成する。つまり、ＤＲＲ画像生成部３３１によって、同一の領域について、同一の撮影ジオメトリによって取得された生成されたＤＲＲ画像Ｄ３０１およびＤＲＲ画像Ｄ３０２に基づいて、教師画像生成部３３２は、入力教師画像Ｔ３０１および出力教師画像Ｔ３０２を生成する。 As shown in FIG. 21, the teacher image generation unit 332 has the pixel value of the bone portion H as the pixel value of the portion other than the bone portion H with respect to the generated DRR image D301, as in the first and second embodiments. Generates an input teacher image T301 that includes an image that has been modified relative to. Further, the output teacher image T302, which is the DRR image D302 generated so as to remove the bone portion H in the same region as the input teacher image T301, is generated. That is, based on the DRR image D301 and DRR image D302 generated by the DRR image generation unit 331 for the same area with the same shooting geometry, the teacher image generation unit 332 sets the input teacher image T301 and the output teacher. Image T302 is generated.

学習モデル生成部３３３は、図２２に示すように、入力教師画像Ｔ３０１を入力層とするとともに、出力教師画像Ｔ３０２を出力層として、機械学習を行い、骨部Ｈを除去するための学習モデルＭ３００を生成する。また、この際、学習モデル生成部３３３は、第１実施形態と同様に骨部Ｈの画素値がランダムな値に変更された複数の入力教師画像Ｔ３０１と、複数の出力教師画像Ｔ３０２によって機械学習を行う。 As shown in FIG. 22, the learning model generation unit 333 uses the input teacher image T301 as an input layer and the output teacher image T302 as an output layer to perform machine learning and remove the bone H. To generate. Further, at this time, the learning model generation unit 333 is machine-learned by the plurality of input teacher images T301 in which the pixel value of the bone portion H is changed to a random value and the plurality of output teacher images T302 as in the first embodiment. I do.

Ｘ線撮影部３０４は、図１８に示すように、Ｘ線照射部３４１と、Ｘ線検出部３４２と、天板３４３と、を含む。Ｘ線照射部３４１は、天板３４３に載置されている被検体Ｐに対してＸ線を照射する。Ｘ線検出部３４２は、Ｘ線照射部３４１によって照射されたＸ線を検出する。Ｘ線検出部３４２は、ＦＰＤを有する。天板３４３は、Ｘ線撮影が行われる被検体Ｐが載置される。 As shown in FIG. 18, the X-ray imaging unit 304 includes an X-ray irradiation unit 341, an X-ray detection unit 342, and a top plate 343. The X-ray irradiation unit 341 irradiates the subject P placed on the top plate 343 with X-rays. The X-ray detection unit 342 detects the X-rays emitted by the X-ray irradiation unit 341. The X-ray detector 342 has an FPD. A subject P to be X-rayed is placed on the top plate 343.

図１７に示すように、Ｘ線画像処理装置３０５は、第２制御部３５０を含む。第２制御部３５０は、たとえば、ＣＰＵを有する。Ｘ線画像処理装置３０５は、ハードウェア的な構成として、たとえば、ＣＰＵ、ＧＰＵ、ＲＯＭ、および、ＲＡＭなどを有する。また、Ｘ線画像処理装置３０５は、記憶部として、ＨＤＤまたは不揮発性のメモリなどを含んでいる。 As shown in FIG. 17, the X-ray image processing device 305 includes a second control unit 350. The second control unit 350 has, for example, a CPU. The X-ray image processing device 305 has, for example, a CPU, a GPU, a ROM, a RAM, and the like as a hardware configuration. Further, the X-ray image processing device 305 includes an HDD, a non-volatile memory, or the like as a storage unit.

図２０に示すように、第２制御部３５０は、機能的な構成として、画像処理部３５１を含む。画像処理部３５１は、プログラム（ソフトウェア）によって構成されている。すなわち、第２制御部３５０は、プログラム（ソフトウェア）を実行することによって、画像処理部３５１として機能するように構成されている。 As shown in FIG. 20, the second control unit 350 includes an image processing unit 351 as a functional configuration. The image processing unit 351 is composed of a program (software). That is, the second control unit 350 is configured to function as an image processing unit 351 by executing a program (software).

Ｘ線画像処理装置３０５は、機械学習によって学習済みの学習モデルＭ３００を学習装置３０３より取得する。そして、画像処理部３５１は、取得した学習モデルＭ３００に基づいて、Ｘ線撮影部３０４によって撮影されたＸ線画像Ａ３００から骨部Ｈを除去した出力画像Ａβ（図２２参照）を生成するように構成されている。そして、Ｘ線画像処理装置３０５は、撮影された出力画像Ａβを用いて、血管造影を行うことによって、骨部Ｈが除去された状態で血管造影を行うとともに、血管造影の結果である血管造影画像Ｋを表示装置３０１に表示させる。 The X-ray image processing device 305 acquires a learning model M300 that has been learned by machine learning from the learning device 303. Then, the image processing unit 351 generates an output image Aβ (see FIG. 22) in which the bone portion H is removed from the X-ray image A300 captured by the X-ray imaging unit 304 based on the acquired learning model M300. It is configured. Then, the X-ray image processing apparatus 305 performs angiography using the captured output image Aβ to perform angiography in a state where the bone H is removed, and angiography which is the result of the angiography. The image K is displayed on the display device 301.

なお、第３実施形態のその他の構成については、第１および第２実施形態と同様である。 The other configurations of the third embodiment are the same as those of the first and second embodiments.

（第３実施形態のＸ線画像処理システムによる制御処理）
次に、図２３を参照して、第３実施形態によるＸ線画像処理システム３００による制御処理フローについて説明する。 (Control processing by the X-ray image processing system of the third embodiment)
Next, with reference to FIG. 23, the control processing flow by the X-ray image processing system 300 according to the third embodiment will be described.

まず、ステップ３１１において、ＣＴ装置３０２よりＣＴ画像が取得される。そして、ＤＲＲ画像生成部３３１によって３次元のＣＴ画像データＣが生成される。 First, in step 311 a CT image is acquired from the CT device 302. Then, the DRR image generation unit 331 generates the three-dimensional CT image data C.

次に、ステップ３１２において、ＤＲＲ画像生成部３３１によってＤＲＲ画像Ｄ３０１およびＤＲＲ画像Ｄ３０２が生成される。 Next, in step 312, the DRR image generation unit 331 generates the DRR image D301 and the DRR image D302.

次に、ステップ３１３において、入力教師画像Ｔ３０１および出力教師画像Ｔ３０２が生成される。 Next, in step 313, the input teacher image T301 and the output teacher image T302 are generated.

次に、ステップ３１４において、学習モデルＭ３００が生成される。 Next, in step 314, the learning model M300 is generated.

次に、ステップ３１５において、Ｘ線撮影部３０４によって、Ｘ線画像Ａ３００が撮影される。 Next, in step 315, the X-ray image A300 is photographed by the X-ray photographing unit 304.

次に、ステップ３１６において、Ｘ線画像処理装置３０５によって、撮影されたＸ線画像Ａ３００において骨部Ｈが除去される。 Next, in step 316, the bone portion H is removed from the X-ray image A300 captured by the X-ray image processing device 305.

次に、ステップ３１７において、骨部Ｈが除去されたＸ線画像Ａ３００を用いて血管造影が行われ、血管造影を行った結果である血管造影画像Ｋが表示装置３０１に表示される。 Next, in step 317, angiography is performed using the X-ray image A300 from which the bone portion H has been removed, and the angiographic image K, which is the result of the angiography, is displayed on the display device 301.

（第３実施形態の効果）
第３実施形態では、以下のような効果を得ることができる。 (Effect of Third Embodiment)
In the third embodiment, the following effects can be obtained.

第３実施形態では、上記のように、３次元における画素値データを有する３次元データ（ＣＴ画像データＣ）に基づいて取得された被検体Ｐの特定部分（骨部Ｈ）を含む領域についての２次元投影画像（ＤＲＲ画像Ｄ）に対して、骨部Ｈの画素値が骨部Ｈ以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像Ｔ１と、入力教師画像Ｔ１と同じ領域における骨部Ｈを除く画像である出力教師画像Ｔ２と、を生成する学習画像生成部（ＤＲＲ画像生成部３３１および教師画像生成部３３２）を備える。そして、上記入力教師画像Ｔ１および出力教師画像Ｔ２を用いて、機械学習を行うことにより、骨部Ｈを除去するための学習モデルＭ３００を生成する学習モデル生成部３３３を備える。そして、学習済みの学習モデルＭ３００に基づいて、Ｘ線撮影によって取得された被検体Ｐの骨部Ｈを含むＸ線画像Ａ３００に対して、骨部Ｈを除去する処理を行う画像処理部３５１を備える。これにより、ＤＲＲ画像Ｄ３０１の骨部Ｈの画素値が骨部Ｈ以外の部分の画素値に対して相対的に変更されているため、Ｘ線画像Ａ３００における骨部Ｈの写り方に対応させるように、ＤＲＲ画像Ｄ３０１における骨部Ｈの写り方のみを変更することができる。すなわち、Ｘ線画像Ａ３００における骨部Ｈの写り方（画素値）を模擬したＤＲＲ画像Ｄ３０１を入力教師画像Ｔ３０１として機械学習を行うことによって、Ｘ線画像Ａ３００における骨部Ｈの写り方に対応した学習モデルＭ３００を生成することができる。その結果、ＤＲＲ画像Ｄ３０１とＸ線画像Ａ３００とにおいて、骨部Ｈの写り方（画素値）が異なる場合にも、骨部Ｈの除去の精度が低下することを抑制することができる。 In the third embodiment, as described above, the region including the specific portion (bone part H) of the subject P acquired based on the three-dimensional data (CT image data C) having the pixel value data in the three dimensions is provided. An input teacher image T1 including an image in which the pixel value of the bone portion H is changed relative to the pixel value of the portion other than the bone portion H with respect to the two-dimensional projected image (DRR image D), and the input teacher. It includes an output teacher image T2 which is an image excluding the bone portion H in the same region as the image T1, and a learning image generation unit (DRR image generation unit 331 and a teacher image generation unit 332) for generating the output teacher image T2. Then, a learning model generation unit 333 that generates a learning model M300 for removing the bone portion H by performing machine learning using the input teacher image T1 and the output teacher image T2 is provided. Then, based on the learned learning model M300, an image processing unit 351 that performs a process of removing the bone portion H with respect to the X-ray image A300 including the bone portion H of the subject P acquired by X-ray imaging is provided. Be prepared. As a result, the pixel value of the bone portion H of the DRR image D301 is changed relative to the pixel value of the portion other than the bone portion H, so that the image of the bone portion H in the X-ray image A300 is matched. In addition, only the appearance of the bone portion H in the DRR image D301 can be changed. That is, by performing machine learning using the DRR image D301 simulating the image (pixel value) of the bone H in the X-ray image A300 as the input teacher image T301, the image of the bone H in the X-ray image A300 is supported. The learning model M300 can be generated. As a result, it is possible to suppress a decrease in the accuracy of removing the bone portion H even when the appearance (pixel value) of the bone portion H is different between the DRR image D301 and the X-ray image A300.

なお、第３実施形態のその他の効果は、上記第１および第２実施形態と同様である。 The other effects of the third embodiment are the same as those of the first and second embodiments.

［第４実施形態］
図２４〜図２９を参照して、第４実施形態によるＸ線画像処理システム４００の構成について説明する。この第４実施形態は、学習モデルを用いて、骨部ＨをＸ線画像上から除去するように構成された第３実施形態とは異なり、学習モデルを用いて、骨部ＨをＸ線画像上から抽出するように構成されている。なお、図中において、上記第３実施形態とは同様の構成の部分には、同一の符号を付して図示するとともに説明を省略する。 [Fourth Embodiment]
The configuration of the X-ray image processing system 400 according to the fourth embodiment will be described with reference to FIGS. 24 to 29. This fourth embodiment is different from the third embodiment in which the learning model is used to remove the bone H from the X-ray image, and the learning model is used to remove the bone H from the X-ray image. It is configured to extract from above. In the figure, parts having the same configuration as that of the third embodiment are designated by the same reference numerals, and the description thereof will be omitted.

（第４実施形態によるＸ線画像処理システムの構成）
図２４に示すように、本発明の第４実施形態によるＸ線画像処理システム４００は、学習装置４０３、Ｘ線画像処理装置４０５を備える。図２５に示すように、Ｘ線画像処理システム４００は、血管造影の際に、ＤＲＲ画像Ｄ４０１およびＤＲＲ画像Ｄ４０２を用いた機械学習によってＸ線画像Ａ３００から骨部Ｈ以外の部分を除去するように学習された学習モデルＭ４００に基づいて、Ｘ線画像Ａ３００から骨部Ｈ以外の部分を除去するように構成されている。そして、この第４実施形態によるＸ線画像処理システム４００では、Ｘ線画像Ａ３００から骨部Ｈ以外の部分が除去された画像とＸ線画像Ａ３００とで差分をとることによって、Ｘ線画像Ａ３００から骨部Ｈを除いた画像が取得される。そして、骨部Ｈが除かれたＸ線画像Ａ３００を用いて血管造影を行うように構成されている。なお、Ｘ線画像Ａ３００は、Ｘ線撮影画像またはＸ線透視画像を含む。また、「骨部Ｈ以外の部分」は特許請求の範囲における「特定部分」の一例である。 (Configuration of X-ray image processing system according to the fourth embodiment)
As shown in FIG. 24, the X-ray image processing system 400 according to the fourth embodiment of the present invention includes a learning device 403 and an X-ray image processing device 405. As shown in FIG. 25, the X-ray image processing system 400 removes a portion other than the bone H from the X-ray image A300 by machine learning using the DRR image D401 and the DRR image D402 during angiography. Based on the learned learning model M400, it is configured to remove a portion other than the bone portion H from the X-ray image A300. Then, in the X-ray image processing system 400 according to the fourth embodiment, the X-ray image A300 is obtained by taking a difference between the image in which the portion other than the bone portion H is removed from the X-ray image A300 and the X-ray image A300. An image excluding the bone H is acquired. Then, angiography is performed using the X-ray image A300 from which the bone portion H has been removed. The X-ray image A300 includes an X-ray photographed image or an X-ray fluoroscopic image. Further, the "part other than the bone H" is an example of the "specific part" in the claims.

図２４に示すように、学習装置４０３は、第１制御部４３０を含む。第１制御部４３０は、たとえば、ＣＰＵを有する。学習装置４０３は、ハードウェア的な構成として、たとえば、ＣＰＵ、ＧＰＵ、ＲＯＭ、および、ＲＡＭなどを有する。また、学習装置４０３は、記憶部として、ＨＤＤまたは不揮発性のメモリなどを含んでいる。学習装置４０３は、ＣＴ装置３０２によって生成された２次元のＣＴ画像に基づいて３次元のＣＴ画像データＣを生成する。そして、学習装置４０３は、生成されたＣＴ画像データＣに基づいて、学習モデルＭ４００を生成する。 As shown in FIG. 24, the learning device 403 includes a first control unit 430. The first control unit 430 has, for example, a CPU. The learning device 403 has, for example, a CPU, a GPU, a ROM, a RAM, and the like as a hardware configuration. Further, the learning device 403 includes an HDD, a non-volatile memory, or the like as a storage unit. The learning device 403 generates three-dimensional CT image data C based on the two-dimensional CT image generated by the CT device 302. Then, the learning device 403 generates a learning model M400 based on the generated CT image data C.

図２６に示すように、第１制御部４３０は、機能的な構成として、ＤＲＲ画像生成部４３１、教師画像生成部４３２、および、学習モデル生成部４３３を含む。ＤＲＲ画像生成部４３１、教師画像生成部４３２、および、学習モデル生成部４３３は、第１〜第３実施形態と同様に、プログラム（ソフトウェア）として構成されている。すなわち、第１制御部４３０が、プログラム（ソフトウェア）を実行することによって、ＤＲＲ画像生成部４３１、教師画像生成部４３２、および、学習モデル生成部４３３として機能するように構成されている。なお、ＤＲＲ画像生成部４３１および教師画像生成部４３２は、特許請求の範囲の「学習画像生成部」の一例である。 As shown in FIG. 26, the first control unit 430 includes a DRR image generation unit 431, a teacher image generation unit 432, and a learning model generation unit 433 as functional configurations. The DRR image generation unit 431, the teacher image generation unit 432, and the learning model generation unit 433 are configured as programs (software) as in the first to third embodiments. That is, the first control unit 430 is configured to function as a DRR image generation unit 431, a teacher image generation unit 432, and a learning model generation unit 433 by executing a program (software). The DRR image generation unit 431 and the teacher image generation unit 432 are examples of the "learning image generation unit" in the claims.

ＤＲＲ画像生成部４３１は、図２５に示すように、第１〜第３実施形態と同様にＣＴ装置３０２において取得されたＣＴ画像によって生成された３次元のＣＴ画像データＣに基づいて、デジタル再構成シミュレーションによりＤＲＲ画像Ｄ４０１を生成する。すなわち、血管造影を行う際に被検体Ｐに行われるＸ線撮影と同一の撮影ジオメトリによってＣＴ画像データＣに対して仮想的なＸ線撮影を行うことによって、ＤＲＲ画像Ｄ４０１を生成する。また、ＤＲＲ画像Ｄ４０１を生成した際と同一の撮影ジオメトリにおいて、ＣＴ画像データＣを構成する画素部分（ボクセル）のうち骨部Ｈ以外の部分に対応する部分を除いた状態でＤＲＲ画像Ｄ４０２を生成する。たとえば、ＤＲＲ画像Ｄ４０２を生成する際に、ＣＴ値が１００よりも小さい値であるボクセルを骨部Ｈ以外の部分であると特定して、骨部Ｈ以外の部分を除くようにＤＲＲ画像Ｄ４０２を生成する。 As shown in FIG. 25, the DRR image generation unit 431 digitally reproduces the three-dimensional CT image data C generated by the CT image acquired by the CT apparatus 302 as in the first to third embodiments. The DRR image D401 is generated by the configuration simulation. That is, the DRR image D401 is generated by performing a virtual X-ray imaging on the CT image data C with the same imaging geometry as the X-ray imaging performed on the subject P when performing angiography. Further, in the same imaging geometry as when the DRR image D401 was generated, the DRR image D402 is generated in a state where the portion corresponding to the portion other than the bone portion H is excluded from the pixel portion (voxel) constituting the CT image data C. To do. For example, when generating the DRR image D402, the voxel having a CT value smaller than 100 is specified as a portion other than the bone portion H, and the DRR image D402 is formed so as to exclude the portion other than the bone portion H. Generate.

教師画像生成部４３２は、図２７に示すように、生成されたＤＲＲ画像Ｄ４０１に対して骨部Ｈ以外の部分の画素値が骨部Ｈの画素値に対して相対的に変更されている画像を含む入力教師画像Ｔ４０１を生成する。本実施形態では、特定部分は、骨部Ｈ以外の部分を含む。したがって、本実施形態における骨部Ｈは、特許請求の範囲における「特定部分以外の部分」の一例である。そして、教師画像生成部４３２は、骨部Ｈの画素値を変更することによって、骨部Ｈ以外の部分の画素値が骨部Ｈの画素値に対して相対的に変更されるようにして、入力教師画像Ｔ４０１を生成するように構成されている。また、入力教師画像Ｔ４０１と同じ領域における骨部Ｈ以外の部分を除くように生成されたＤＲＲ画像Ｄ４０２である出力教師画像Ｔ４０２を生成する。つまり、ＤＲＲ画像生成部４３１によって、同一の領域について、同一の撮影ジオメトリによって取得された生成されたＤＲＲ画像Ｄ４０１およびＤＲＲ画像Ｄ４０２に基づいて、教師画像生成部４３２は、入力教師画像Ｔ４０１および出力教師画像Ｔ４０２を生成する。 As shown in FIG. 27, the teacher image generation unit 432 is an image in which the pixel values of the parts other than the bone part H are changed relative to the pixel values of the bone part H with respect to the generated DRR image D401. Generates an input teacher image T401 that includes. In the present embodiment, the specific portion includes a portion other than the bone portion H. Therefore, the bone portion H in the present embodiment is an example of "a portion other than the specific portion" in the claims. Then, the teacher image generation unit 432 changes the pixel value of the bone portion H so that the pixel value of the portion other than the bone portion H is changed relative to the pixel value of the bone portion H. It is configured to generate the input teacher image T401. Further, the output teacher image T402, which is the DRR image D402 generated so as to exclude the portion other than the bone portion H in the same region as the input teacher image T401, is generated. That is, based on the DRR image D401 and DRR image D402 generated by the DRR image generation unit 431 in the same area with the same shooting geometry, the teacher image generation unit 432 has the input teacher image T401 and the output teacher. Image T402 is generated.

学習モデル生成部４３３は、図２８に示すように、入力教師画像Ｔ４０１を入力層とするとともに、出力教師画像Ｔ４０２を出力層として、機械学習を行い、骨部Ｈ以外の部分を除去するための学習モデルＭ４００を生成する。また、この際、学習モデル生成部４３３は、第３実施形態と同様に骨部Ｈの画素値がランダムな値に変更されることによって、相対的に骨部Ｈ以外の部分の画素値がランダムに変更される複数の入力教師画像Ｔ４０１と、複数の出力教師画像Ｔ４０２によって機械学習を行う。 As shown in FIG. 28, the learning model generation unit 433 uses the input teacher image T401 as an input layer and the output teacher image T402 as an output layer to perform machine learning and remove a portion other than the bone portion H. A learning model M400 is generated. Further, at this time, the learning model generation unit 433 changes the pixel value of the bone portion H to a random value as in the third embodiment, so that the pixel value of the portion other than the bone portion H is relatively random. Machine learning is performed by a plurality of input teacher images T401 changed to and a plurality of output teacher images T402.

図２４に示すように、Ｘ線画像処理装置４０５は、第２制御部４５０を含む。第２制御部４５０は、たとえば、ＣＰＵを有する。Ｘ線画像処理装置４０５は、ハードウェア的な構成として、たとえば、ＣＰＵ、ＧＰＵ、ＲＯＭ、および、ＲＡＭなどを有する。また、Ｘ線画像処理装置４０５は、記憶部として、ＨＤＤまたは不揮発性のメモリなどを含んでいる。 As shown in FIG. 24, the X-ray image processing apparatus 405 includes a second control unit 450. The second control unit 450 has, for example, a CPU. The X-ray image processing apparatus 405 has, for example, a CPU, a GPU, a ROM, a RAM, and the like as a hardware configuration. Further, the X-ray image processing device 405 includes an HDD, a non-volatile memory, or the like as a storage unit.

図２６に示すように、第２制御部４５０は、機能的な構成として、画像処理部４５１を含む。画像処理部４５１は、プログラム（ソフトウェア）によって構成されている。すなわち、第２制御部４５０は、プログラム（ソフトウェア）を実行することによって、画像処理部４５１として機能するように構成されている。 As shown in FIG. 26, the second control unit 450 includes an image processing unit 451 as a functional configuration. The image processing unit 451 is composed of a program (software). That is, the second control unit 450 is configured to function as an image processing unit 451 by executing a program (software).

Ｘ線画像処理装置４０５は、機械学習によって学習済みの学習モデルＭ４００を学習装置４０３より取得する。そして、画像処理部４５１は、取得した学習モデルＭ４００に基づいて、Ｘ線撮影部３０４によって撮影されたＸ線画像Ａ３００から骨部Ｈ以外の部分を除去した出力画像Ａγ（図２８参照）を生成するように構成されている。そして、Ｘ線画像処理装置３０５は、図２９に示すように、取得された出力画像Ａγと撮影されたＸ線画像Ａ３００とを用いて差分を取ることにより、骨部Ｈが除かれたＸ線画像Ａ３００である血管造影用Ｘ線画像Ａδを生成する。そして、Ｘ線画像処理装置４０５は、血管造影用Ｘ線画像Ａδを用いて、血管造影を行うことによって、骨部Ｈが除去された状態で血管造影を行うとともに、血管造影の結果である血管造影画像Ｋを表示装置３０１に表示させる。 The X-ray image processing device 405 acquires a learning model M400 that has been learned by machine learning from the learning device 403. Then, the image processing unit 451 generates an output image Aγ (see FIG. 28) in which a portion other than the bone portion H is removed from the X-ray image A300 captured by the X-ray imaging unit 304 based on the acquired learning model M400. It is configured to do. Then, as shown in FIG. 29, the X-ray image processing apparatus 305 uses the acquired output image Aγ and the captured X-ray image A300 to take a difference, thereby removing the bone portion H from the X-ray. An X-ray image Aδ for angiography, which is an image A300, is generated. Then, the X-ray image processing apparatus 405 performs angiography using the X-ray image Aδ for angiography, thereby performing angiography in a state where the bone portion H is removed, and the blood vessel which is the result of the angiography. The contrast image K is displayed on the display device 301.

なお、第４実施形態のその他の構成については、第３実施形態と同様である。 The other configurations of the fourth embodiment are the same as those of the third embodiment.

（第４実施形態のＸ線画像処理システムによる制御処理）
次に、図３０を参照して、第４実施形態によるＸ線画像処理システム４００による制御処理フローについて説明する。 (Control processing by the X-ray image processing system of the fourth embodiment)
Next, with reference to FIG. 30, the control processing flow by the X-ray image processing system 400 according to the fourth embodiment will be described.

まず、ステップ４１１において、ＣＴ装置３０２よりＣＴ画像が取得される。そして、ＤＲＲ画像生成部４３１によって３次元のＣＴ画像データＣが生成される。 First, in step 411, a CT image is acquired from the CT device 302. Then, the DRR image generation unit 431 generates three-dimensional CT image data C.

次に、ステップ４１２において、ＤＲＲ画像生成部４３１によってＤＲＲ画像Ｄ４０１およびＤＲＲ画像Ｄ４０２が生成される。 Next, in step 412, the DRR image generation unit 431 generates the DRR image D401 and the DRR image D402.

次に、ステップ４１３において、入力教師画像Ｔ４０１および出力教師画像Ｔ４０２が生成される。 Next, in step 413, the input teacher image T401 and the output teacher image T402 are generated.

次に、ステップ４１４において、学習モデルＭ４００が生成される。 Next, in step 414, the learning model M400 is generated.

次に、ステップ４１５において、Ｘ線撮影部３０４によって、Ｘ線画像Ａ３００が撮影される。 Next, in step 415, the X-ray image A300 is photographed by the X-ray photographing unit 304.

次に、ステップ４１６において、Ｘ線画像処理装置４０５によって、撮影されたＸ線画像Ａ３００において骨部Ｈ以外の部分が除去され出力画像Ａγが生成される。 Next, in step 416, the X-ray image processing apparatus 405 removes a portion other than the bone portion H from the photographed X-ray image A300 to generate an output image Aγ.

次に、ステップ４１７において、出力画像ＡγとＸ線画像Ａ３００を用いて、差分をとることによって、骨部Ｈが除去されたＸ線画像Ａ３００である血管造影用Ｘ線画像Ａδが生成される。 Next, in step 417, an X-ray image Aδ for angiography, which is an X-ray image A300 from which the bone portion H has been removed, is generated by taking a difference using the output image Aγ and the X-ray image A300.

次に、ステップ４１８において、血管造影用Ｘ線画像Ａδを用いて血管造影が行われ、血管造影を行った結果である血管造影画像Ｋが表示装置３０１に表示される。 Next, in step 418, angiography is performed using the angiographic X-ray image Aδ, and the angiographic image K, which is the result of the angiography, is displayed on the display device 301.

（第４実施形態の効果）
第４実施形態では、以下のような効果を得ることができる。 (Effect of Fourth Embodiment)
In the fourth embodiment, the following effects can be obtained.

第４実施形態では、上記のように、特定部分は、骨部Ｈ以外の部分を含み、学習画像生成部（ＤＲＲ画像生成部４３１および教師画像生成部４３２）は、コンピュータ断層撮影による３次元データ（ＣＴ画像データＣ）に基づいて、デジタル再構成シミュレーションにより生成された２次元投影画像（ＤＲＲ画像Ｄ４０１）に対して、特定部分（骨部Ｈ以外の部分）の画素値が特定部分（骨部Ｈ以外の部分）以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像Ｔ４０１と、入力教師画像Ｔ４０１と同じ領域における骨部Ｈ以外の部分を除く画像である出力教師画像Ｔ４０２と、を生成するように構成されている。これにより、Ｘ線画像Ａ３００から骨部Ｈを抽出することによって、出力画像Ａγを生成し、出力画像ＡγとＸ線画像Ａ３００との差分をとることによって、Ｘ線画像Ａ３００から骨部Ｈを除去した画像である血管造影用Ｘ線画像Ａδを生成することができる。その結果、Ｘ線画像Ａ３００において、骨部Ｈ以外の部分には、画像処理がなされずに骨部Ｈの部分のみが画像処理をなされることになるため、骨部Ｈ以外の被検体Ｐの病変部位に対して画像処理が行われない。したがって、被検体Ｐの病変部位について正確に診察することができる。 In the fourth embodiment, as described above, the specific portion includes a portion other than the bone portion H, and the learning image generation unit (DRR image generation unit 431 and the teacher image generation unit 432) is used for three-dimensional data obtained by computer tomography. With respect to the two-dimensional projection image (DRR image D401) generated by the digital reconstruction simulation based on (CT image data C), the pixel value of the specific portion (the portion other than the bone portion H) is the specific portion (bone portion). An output that is an input teacher image T401 including an image that is relatively changed with respect to a pixel value of a part other than (a part other than H) and an image excluding a part other than the bone part H in the same region as the input teacher image T401. It is configured to generate the teacher image T402. As a result, the output image Aγ is generated by extracting the bone part H from the X-ray image A300, and the bone part H is removed from the X-ray image A300 by taking the difference between the output image Aγ and the X-ray image A300. It is possible to generate an X-ray image Aδ for angiography, which is the image obtained. As a result, in the X-ray image A300, the image processing is not performed on the portion other than the bone portion H, and only the portion of the bone portion H is image-processed. No image processing is performed on the lesion site. Therefore, the lesion site of the subject P can be accurately examined.

なお、第４実施形態のその他の効果は、上記第３実施形態と同様である。 The other effects of the fourth embodiment are the same as those of the third embodiment.

［変形例］
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。 [Modification example]
It should be noted that the embodiments disclosed this time are exemplary in all respects and are not considered to be restrictive. The scope of the present invention is shown by the scope of claims rather than the description of the above-described embodiment, and further includes all modifications (modifications) within the meaning and scope equivalent to the scope of claims.

（第１変形例）
たとえば、上記第１および第２実施形態では、学習モデルＭに基づいて、被検体Ｐの抽出対象部分Ｑを直接的に抽出する例を示したが、本発明はこれに限られない。たとえば、抽出対象部分Ｑの位置を示すための印として、被検体Ｐの体内にマーカーＲを留置するようにして、マーカーＲの位置を抽出することによって抽出対象部分Ｑを抽出するようにしてもよい。 (First modification)
For example, in the first and second embodiments, an example in which the extraction target portion Q of the subject P is directly extracted based on the learning model M is shown, but the present invention is not limited to this. For example, as a mark for indicating the position of the extraction target portion Q, the marker R may be placed in the body of the subject P, and the extraction target portion Q may be extracted by extracting the position of the marker R. Good.

具体的には、図３１に示すように、ＣＴ画像データＣを取得する時点より前に、被検体Ｐの体内に穿刺などによってマーカーＲを留置する。そして、ＣＴ画像データＣを構成する３次元画素部分のうちからマーカーＲに対応する３次元画素部分を特定した状態でＤＲＲ画像Ｄを生成する。生成されたＤＲＲ画像Ｄに基づいて、マーカーＲを含む領域についての入力教師画像Ｔ１であるマーカー抽出用入力教師画像Ｔ１１を生成する。また、生成されたＤＲＲ画像Ｄに基づいて、マーカーＲを示すことによって抽出対象部分Ｑを示す画像であるマーカー抽出用出力教師画像Ｔ３を生成する。マーカー抽出用入力教師画像Ｔ１１およびマーカー抽出用出力教師画像Ｔ３を用いて、マーカー抽出用学習モデルＭβを生成する。そして、マーカー抽出用学習モデルＭβに基づいて、Ｘ線透視画像Ａに対してマーカーＲを抽出することによって抽出対象部分Ｑを抽出する。 Specifically, as shown in FIG. 31, the marker R is placed in the body of the subject P by puncture or the like before the time when the CT image data C is acquired. Then, the DRR image D is generated in a state where the three-dimensional pixel portion corresponding to the marker R is specified from the three-dimensional pixel portions constituting the CT image data C. Based on the generated DRR image D, an input teacher image T11 for marker extraction, which is an input teacher image T1 for the region including the marker R, is generated. Further, based on the generated DRR image D, a marker extraction output teacher image T3, which is an image showing the extraction target portion Q by showing the marker R, is generated. A learning model Mβ for marker extraction is generated using the input teacher image T11 for marker extraction and the output teacher image T3 for marker extraction. Then, based on the marker extraction learning model Mβ, the extraction target portion Q is extracted by extracting the marker R from the X-ray fluoroscopic image A.

（その他の変形例）
また、上記第１〜第３実施形態では、特定部分は骨部Ｈを含み、学習画像生成部（ＤＲＲ画像生成部３１、２３１、３３１および教師画像生成部３２、２３２、３３２）を、コンピュータ断層撮影による３次元データ（ＣＴ画像データＣ）に基づいて、デジタル再構成シミュレーションにより生成された２次元投影画像（ＤＲＲ画像Ｄ）に対して、骨部Ｈの画素値が骨部Ｈ以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像Ｔ１（Ｔ２０１、Ｔ３０１）と、入力教師画像Ｔ１（Ｔ２０１、Ｔ３０１）と同じ領域における抽出対象部分Ｑを示す画像または骨部Ｈを除く画像である出力教師画像Ｔ２（Ｔ３０２）と、を生成するように構成する例を示したが、本発明はこれに限られない。たとえば、骨部Ｈ以外の部分を特定部分とするようにしてもよい。すなわち、予め、骨部Ｈ以外の腫瘍部分に対応する３次元画素部分をＣＴ画像データＣにおいて指定することによって、腫瘍部分の画素値が変更されている画像を入力教師画像Ｔ１（Ｔ２０１、Ｔ３０１）として、学習モデルＭ（Ｍ３００）を生成するように構成されていてもよい。 (Other variants)
Further, in the first to third embodiments, the specific portion includes the bone portion H, and the learning image generation unit (DRR image generation unit 31, 231, 331 and the teacher image generation unit 32, 232, 332) is subjected to a computer fault. With respect to the two-dimensional projection image (DRR image D) generated by the digital reconstruction simulation based on the three-dimensional data (CT image data C) obtained by photographing, the pixel value of the bone portion H is the portion other than the bone portion H. The input teacher image T1 (T201, T301) including an image that is relatively changed with respect to the pixel value, and the image or bone H showing the extraction target portion Q in the same region as the input teacher image T1 (T201, T301). Although an example is shown in which the output teacher image T2 (T302), which is an image excluding the above, is generated, the present invention is not limited to this. For example, a portion other than the bone portion H may be designated as a specific portion. That is, by designating the three-dimensional pixel portion corresponding to the tumor portion other than the bone portion H in the CT image data C in advance, the image in which the pixel value of the tumor portion is changed is input as the input teacher image T1 (T201, T301). As a result, it may be configured to generate a learning model M (M300).

また、上記第１〜第３実施形態では、学習画像生成部（ＤＲＲ画像生成部３１、２３１、３３１および教師画像生成部３２、２３２、３３２）を、特定部分（骨部Ｈ）の画素値がランダムな値に変更されている画像を含むように複数の入力教師画像Ｔ１（Ｔ２０１、Ｔ３０１）を生成するように構成する例を示したが、本発明はこれに限られない。たとえば、ある一定の間隔の値で、骨部Ｈの画素値を変更するようにしてもよい。 Further, in the first to third embodiments, the learning image generation unit (DRR image generation unit 31, 231, 331 and the teacher image generation unit 32, 232, 332) has a pixel value of a specific portion (bone portion H). Although an example is shown in which a plurality of input teacher images T1 (T201, T301) are configured to include an image changed to a random value, the present invention is not limited to this. For example, the pixel value of the bone portion H may be changed by a value at a certain interval.

また、上記第１〜第４実施形態では、学習画像生成部（ＤＲＲ画像生成部３１、２３１、３３１、４３１および教師画像生成部３２、２３２、３３２、４３２）と学習モデル生成部３３（２３３、３３３、４３３）とを含む第１制御部３０（２３０、３３０、４３０）と、画像処理部５１（３５１、４５１）を含む第２制御部５０（３５０、４５０）と、をさらに備える例を示したが、本発明はこれに限られない。たとえば、１つの制御部が、学習画像生成部（ＤＲＲ画像生成部３１、２３１、３３１、４３１および教師画像生成部３２、２３２、３３２、４３２）と、学習モデル生成部３３（２３３、３３３、４３３）と、画像処理部５１（３５１、４５１）とを備えるようにしてもよい。また、ＤＲＲ画像生成部３１（２３１、３３１、４３１）と、教師画像生成部３２（２３２、３３２、４３２）と、学習モデル生成部３３（２３３、３３３、４３３）と、画像処理部５１（３５１、４５１）とが、それぞれ、別個の制御部（ハードウェア）によって構成されていてもよい。また、第１制御部３０（２３０、３３０、４３０）および第２制御部５０（３５０、４５０）が、ＤＲＲ画像生成部３１（２３１、３３１、４３１）を備えないようにしてもよい。たとえば、クラウド上に保存されているＤＲＲ画像Ｄ（Ｄ３０１、Ｄ４０１）を、ネットワークを介して取得するようにしてもよい。 Further, in the first to fourth embodiments, the learning image generation unit (DRR image generation unit 31, 231, 331, 431 and the teacher image generation unit 32, 232, 332, 432) and the learning model generation unit 33 (233, An example is shown in which a first control unit 30 (230, 330, 430) including 333, 433) and a second control unit 50 (350, 450) including an image processing unit 51 (351, 451) are further provided. However, the present invention is not limited to this. For example, one control unit includes a learning image generation unit (DRR image generation unit 31, 231, 331, 431 and a teacher image generation unit 32, 232, 332, 432) and a learning model generation unit 33 (233, 333, 433). ) And the image processing unit 51 (351 and 451) may be provided. Further, the DRR image generation unit 31 (231, 331, 431), the teacher image generation unit 32 (232, 332, 432), the learning model generation unit 33 (233, 333, 433), and the image processing unit 51 (351). , 451) and each may be configured by a separate control unit (hardware). Further, the first control unit 30 (230, 330, 430) and the second control unit 50 (350, 450) may not include the DRR image generation unit 31 (231, 331, 431). For example, the DRR images D (D301, D401) stored on the cloud may be acquired via the network.

また、上記第１実施形態では、学習画像生成部（ＤＲＲ画像生成部３１および教師画像生成部３２）を、特定部分（骨部Ｈ）を含む２次元投影画像（ＤＲＲ画像Ｄ）と、骨部Ｈを除くように生成されたＤＲＲ画像Ｄである合成用投影画像（合成用ＤＲＲ画像Ｅ）とに基づいて、骨部Ｈの画素値が骨部Ｈ以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像Ｔ１を生成するように構成する例を示したが、本発明はこれに限られない。たとえば、ＤＲＲ画像Ｄに含まれる画素（ピクセル）のうち、骨部Ｈに対応する部分を抽出するとともに、抽出された骨部Ｈに対応する画素の画素値を変更することによって入力教師画像Ｔ１を生成するようにしてもよい。 Further, in the first embodiment, the learning image generation unit (DRR image generation unit 31 and the teacher image generation unit 32) is divided into a two-dimensional projected image (DRR image D) including a specific portion (bone portion H) and a bone portion. Based on the composite projection image (composite DRR image E) which is the DRR image D generated so as to exclude H, the pixel value of the bone portion H is relative to the pixel value of the portion other than the bone portion H. Although an example is shown in which the input teacher image T1 including the image changed to is generated, the present invention is not limited to this. For example, among the pixels included in the DRR image D, the input teacher image T1 is obtained by extracting the portion corresponding to the bone portion H and changing the pixel value of the pixel corresponding to the extracted bone portion H. It may be generated.

また、上記第１実施形態では、学習画像生成部（ＤＲＲ画像生成部３１および教師画像生成部３２）を、３次元データ（ＣＴ画像データＣ）を構成する３次元画素部分のうちから特定部分（骨部Ｈ）に対応する３次元画素部分を除去することによって合成用投影画像（合成用ＤＲＲ画像Ｅ）を生成するように構成する例を示したが、本発明はこれに限られない。たとえば、２次元に投影されたＤＲＲ画像Ｄに対して、画像処理を施すことによって、合成用投影画像Ｅを生成するようにしてもよい。また、骨部Ｈに対応する３次元画素部分のみを抽出した状態で、合成用ＤＲＲ画像Ｅを生成するようにしてもよい。 Further, in the first embodiment, the learning image generation unit (DRR image generation unit 31 and the teacher image generation unit 32) is designated as a specific portion (DRR image generation unit 31 and teacher image generation unit 32) from among the three-dimensional pixel portions constituting the three-dimensional data (CT image data C). An example has been shown in which a composite projected image (composite DRR image E) is generated by removing a three-dimensional pixel portion corresponding to the bone portion H), but the present invention is not limited to this. For example, a composite projected image E may be generated by performing image processing on the two-dimensionally projected DRR image D. Further, the composite DRR image E may be generated in a state where only the three-dimensional pixel portion corresponding to the bone portion H is extracted.

また、上記第１実施形態では、学習画像生成部（ＤＲＲ画像生成部３１および教師画像生成部３２）を、２次元投影画像（ＤＲＲ画像Ｄ）と合成用投影画像（合成用ＤＲＲ画像Ｅ）とを合成する際の画素値の割合を変更して、合成する画素値の割合が変更されたＤＲＲ画像Ｄと合成用ＤＲＲ画像Ｅとを合成することによって入力教師画像Ｔ１を生成するように構成する例を示したが、本発明はこれに限られない。たとえば、ＤＲＲ画像Ｄについては、画素値の割合を変更せずに、合成用ＤＲＲ画像Ｅのみについて画素値を変更するようにしてもよい。また、アルファブレンディングを用いず、画素値を加算することによってＤＲＲ画像Ｄと合成用ＤＲＲ画像Ｅとを合成するようにしてもよい。 Further, in the first embodiment, the learning image generation unit (DRR image generation unit 31 and the teacher image generation unit 32) is divided into a two-dimensional projection image (DRR image D) and a composite projection image (composite DRR image E). The input teacher image T1 is generated by changing the ratio of the pixel values when synthesizing the images and synthesizing the DRR image D in which the ratio of the pixel values to be combined is changed and the DRR image E for synthesizing. Although an example is shown, the present invention is not limited to this. For example, for the DRR image D, the pixel values may be changed only for the composite DRR image E without changing the ratio of the pixel values. Further, the DRR image D and the DRR image E for compositing may be combined by adding pixel values without using alpha blending.

また、上記第２実施形態では、学習画像生成部（ＤＲＲ画像生成部２３１および教師画像生成部２３２）を、３次元データ（ＣＴ画像データＣ）を構成する３次元画素部分のうちから、特定部分（骨部Ｈ）に対応する３次元画素部分の画素値データ（ＣＴ値）を、骨部Ｈ以外の部分に対応する３次元画素部分の画素値データ（ＣＴ値）に対して相対的に変更した状態で２次元に投影することによって、入力教師画像Ｔ２０１を生成するように構成する例を示したが、本発明はこれに限られない。たとえば、骨部Ｈに対応する３次元画素部分のうちから、一定の割合の３次元画素部分を除外した状態で、２次元に投影することによって入力教師画像Ｔ２０１を生成するようにしてもよい。 Further, in the second embodiment, the learning image generation unit (DRR image generation unit 231 and the teacher image generation unit 232) is designated as a specific portion from the three-dimensional pixel portions constituting the three-dimensional data (CT image data C). The pixel value data (CT value) of the three-dimensional pixel portion corresponding to (bone portion H) is changed relative to the pixel value data (CT value) of the three-dimensional pixel portion corresponding to the portion other than the bone portion H. Although an example is shown in which the input teacher image T201 is generated by projecting in two dimensions in this state, the present invention is not limited to this. For example, the input teacher image T201 may be generated by projecting in two dimensions in a state where a certain ratio of the three-dimensional pixel portions is excluded from the three-dimensional pixel portions corresponding to the bone portion H.

また、上記第４実施形態では、特定部分は、骨部Ｈ以外の部分を含み、学習画像生成部（ＤＲＲ画像生成部４３１および教師画像生成部４３２）を、コンピュータ断層撮影による３次元データ（ＣＴ画像データＣ）に基づいて、デジタル再構成シミュレーションにより生成された２次元投影画像（ＤＲＲ画像Ｄ４０１）に対して、特定部分（骨部Ｈ以外の部分）の画素値が特定部分（骨部Ｈ以外の部分）以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像Ｔ４０１と、入力教師画像Ｔ４０１と同じ領域における特定部分（骨部Ｈ以外の部分）を除く画像である出力教師画像Ｔ４０２と、を生成するように構成する例を示したが、本発明はこれに限られない。たとえば、骨部Ｈ以外の部分の画素値を変更することによって入力教師画像Ｔ４０１を生成するように構成してもよい。 Further, in the fourth embodiment, the specific portion includes a portion other than the bone portion H, and the learning image generation unit (DRR image generation unit 431 and the teacher image generation unit 432) is subjected to three-dimensional data (CT) by computer tomography. Based on the image data C), the pixel value of the specific part (the part other than the bone H) is the specific part (other than the bone H) with respect to the two-dimensional projection image (DRR image D401) generated by the digital reconstruction simulation. The input teacher image T401 including an image that is relatively changed with respect to the pixel value of the part other than the input teacher image T401, and the image excluding the specific part (the part other than the bone H) in the same area as the input teacher image T401. An example is shown which is configured to generate a certain output teacher image T402, but the present invention is not limited to this. For example, the input teacher image T401 may be generated by changing the pixel value of the portion other than the bone portion H.

また、上記第１〜第４実施形態では、放射線治療または血管造影において、Ｘ線画像に対して抽出対象部分Ｑを抽出する処理または特定部分（骨部Ｈまたは骨部Ｈ以外の部分）を除去する処理を行う例を示したが、本発明はこれに限られない。たとえば、一般Ｘ線撮影によって取得されたＸ線撮影画像に対して、抽出対象部分Ｑを抽出する処理、または、特定部分を除く処理を行うようにしてもよい。 Further, in the first to fourth embodiments, in radiotherapy or angiography, a process for extracting the extraction target portion Q from the X-ray image or a specific portion (a portion other than the bone portion H or the bone portion H) is removed. Although an example of performing the processing is shown, the present invention is not limited to this. For example, a process of extracting the extraction target portion Q or a process of removing a specific portion may be performed on the X-ray photographed image acquired by general X-ray photography.

［態様］
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。 [Aspect]
It will be understood by those skilled in the art that the above exemplary embodiments are specific examples of the following embodiments.

（項目１）
３次元における画素値データを有する３次元データに基づいて取得された被検体の特定部分を含む領域についての２次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像と、前記入力教師画像と同じ領域における前記被検体の抽出対象部分を示す画像または前記特定部分を除く画像である出力教師画像と、を生成する学習画像生成部と、
前記入力教師画像および前記出力教師画像を用いて、機械学習を行うことにより、前記抽出対象部分を抽出するか、または、前記特定部分を除去するための学習モデルを生成する学習モデル生成部と、
学習済みの前記学習モデルに基づいて、Ｘ線撮影によって取得された前記被検体の前記特定部分を含むＸ線画像に対して、前記抽出対象部分を抽出する処理と、前記特定部分を除去する処理とのいずれか一方を行う画像処理部と、を備える、医用画像処理装置。 (Item 1)
With respect to a two-dimensional projected image of a region including a specific portion of a subject acquired based on three-dimensional data having pixel value data in three dimensions, the pixel value of the specific portion is a pixel of a portion other than the specific portion. An input teacher image including an image that is relatively changed with respect to a value, and an output teacher image that is an image showing an extraction target portion of the subject in the same region as the input teacher image or an image excluding the specific portion. , A learning image generator that generates,
A learning model generation unit that extracts the extraction target portion or generates a learning model for removing the specific portion by performing machine learning using the input teacher image and the output teacher image.
Based on the trained learning model, a process of extracting the extraction target portion and a process of removing the specific portion from the X-ray image including the specific portion of the subject acquired by X-ray imaging. A medical image processing apparatus comprising an image processing unit that performs either of the above.

（項目２）
前記特定部分は骨部を含み、
前記学習画像生成部は、コンピュータ断層撮影による前記３次元データに基づいて、デジタル再構成シミュレーションにより生成された前記２次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む前記入力教師画像と、前記入力教師画像と同じ領域における前記抽出対象部分を示す画像または前記特定部分を除く画像である前記出力教師画像と、を生成するように構成されている、項目１に記載の医用画像処理装置。 (Item 2)
The specific part includes the bone part
The learning image generation unit has a portion in which the pixel value of the specific portion is other than the specific portion with respect to the two-dimensional projection image generated by the digital reconstruction simulation based on the three-dimensional data obtained by computer tomography. The input teacher image including an image that is relatively changed with respect to the pixel value, and the output teacher image that is an image showing the extraction target portion in the same region as the input teacher image or an image excluding the specific portion. The medical image processing apparatus according to item 1, which is configured to generate a.

（項目３）
前記学習画像生成部は、前記特定部分の画素値がランダムな値に変更されている画像を含むように複数の前記入力教師画像を生成するように構成されている、項目１または２に記載の医用画像処理装置。 (Item 3)
The item 1 or 2, wherein the learning image generation unit is configured to generate a plurality of the input teacher images so as to include an image in which the pixel value of the specific portion is changed to a random value. Medical image processing device.

（項目４）
前記学習画像生成部と前記学習モデル生成部とを含む第１制御部と、
前記画像処理部を含む第２制御部と、をさらに備える、項目１〜３のいずれか１項に記載の医用画像処理装置。 (Item 4)
A first control unit including the learning image generation unit and the learning model generation unit,
The medical image processing apparatus according to any one of items 1 to 3, further comprising a second control unit including the image processing unit.

（項目５）
前記学習画像生成部は、前記特定部分を含む前記２次元投影画像と、前記特定部分を除くように生成された前記２次元投影画像である合成用投影画像とに基づいて、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む前記入力教師画像を生成するように構成されている、項目１〜４のいずれか１項に記載の医用画像処理装置。 (Item 5)
The learning image generation unit is based on the two-dimensional projection image including the specific portion and the composite projection image which is the two-dimensional projection image generated so as to exclude the specific portion, and the pixels of the specific portion. The item according to any one of items 1 to 4, wherein the input teacher image including an image whose value is changed relative to the pixel value of a portion other than the specific portion is generated. Medical image processing device.

（項目６）
前記学習画像生成部は、前記３次元データを構成する３次元画素部分のうちから前記特定部分に対応する前記３次元画素部分を除去することによって前記合成用投影画像を生成するように構成されている、項目５に記載の医用画像処理装置。 (Item 6)
The learning image generation unit is configured to generate the composite projected image by removing the three-dimensional pixel portion corresponding to the specific portion from the three-dimensional pixel portions constituting the three-dimensional data. The medical image processing apparatus according to item 5.

（項目７）
前記学習画像生成部は、前記２次元投影画像と前記合成用投影画像とを合成する際の画素値の割合を変更して、前記合成する画素値の割合が変更された前記２次元投影画像と前記合成用投影画像とを合成することによって前記入力教師画像を生成するように構成されている、項目５または６に記載の医用画像処理装置。 (Item 7)
The learning image generation unit changes the ratio of the pixel values when synthesizing the two-dimensional projected image and the composite projected image, and changes the ratio of the combined pixel values to the two-dimensional projected image. The medical image processing apparatus according to item 5 or 6, wherein the input teacher image is generated by synthesizing the projected image for composition.

（項目８）
前記学習画像生成部は、前記３次元データを構成する３次元画素部分のうちから、前記特定部分に対応する前記３次元画素部分の前記画素値データを、前記特定部分以外の部分に対応する前記３次元画素部分の前記画素値データに対して相対的に変更した状態で２次元に投影することによって、前記入力教師画像を生成するように構成されている、項目１〜４のいずれか１項に記載の医用画像処理装置。 (Item 8)
The learning image generation unit obtains the pixel value data of the three-dimensional pixel portion corresponding to the specific portion from the three-dimensional pixel portions constituting the three-dimensional data, and the learning image generation unit corresponds to a portion other than the specific portion. Any one of items 1 to 4, which is configured to generate the input teacher image by projecting in two dimensions in a state of being relatively changed with respect to the pixel value data of the three-dimensional pixel portion. The medical image processing apparatus according to.

（項目９）
前記特定部分は、骨部以外の部分を含み、
前記学習画像生成部は、コンピュータ断層撮影による前記３次元データに基づいて、デジタル再構成シミュレーションにより生成された前記２次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む前記入力教師画像と、前記入力教師画像と同じ領域における前記特定部分を除く画像である前記出力教師画像と、を生成するように構成されている、項目１に記載の医用画像処理装置。 (Item 9)
The specific part includes a part other than the bone part, and includes a part other than the bone part.
The learning image generation unit has a portion in which the pixel value of the specific portion is other than the specific portion with respect to the two-dimensional projection image generated by the digital reconstruction simulation based on the three-dimensional data obtained by computer tomography. It is configured to generate the input teacher image including an image that is relatively changed with respect to the pixel value, and the output teacher image that is an image excluding the specific portion in the same region as the input teacher image. The medical image processing apparatus according to item 1.

（項目１０）
３次元における画素値データを有する３次元データに基づいて取得された被検体の特定部分を含む領域についての２次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像と、前記入力教師画像と同じ領域における前記被検体の抽出対象部分を示す画像または前記特定部分を除く画像である出力教師画像と、を生成する学習画像生成部と、
前記入力教師画像および前記出力教師画像を用いて、機械学習を行うことにより、前記抽出対象部分を抽出するか、または、前記特定部分を除去するための学習モデルを生成する学習モデル生成部と、
Ｘ線撮影によって前記被検体の前記特定部分を含むＸ線画像を取得するＸ線撮影部と、
学習済みの前記学習モデルに基づいて、前記Ｘ線撮影部によって撮影された前記Ｘ線画像に対して、前記抽出対象部分を抽出する処理と、前記特定部分を除去する処理とのいずれか一方を行う画像処理部と、を備える、Ｘ線画像処理システム。 (Item 10)
With respect to a two-dimensional projected image of a region including a specific portion of a subject acquired based on three-dimensional data having pixel value data in three dimensions, the pixel value of the specific portion is a pixel of a portion other than the specific portion. An input teacher image including an image that is relatively changed with respect to a value, and an output teacher image that is an image showing an extraction target portion of the subject in the same region as the input teacher image or an image excluding the specific portion. , A learning image generator that generates,
A learning model generation unit that extracts the extraction target portion or generates a learning model for removing the specific portion by performing machine learning using the input teacher image and the output teacher image.
An X-ray imaging unit that acquires an X-ray image including the specific portion of the subject by X-ray imaging, and an X-ray imaging unit.
Based on the trained learning model, either the process of extracting the extraction target portion or the process of removing the specific portion of the X-ray image captured by the X-ray imaging unit is performed. An X-ray image processing system including an image processing unit for performing.

（項目１１）
３次元における画素値データを有する３次元データに基づいて取得された被検体の特定部分を含む領域についての２次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像を生成するステップと、
前記入力教師画像と同じ領域における前記被検体の抽出対象部分を示す画像または前記特定部分を除く画像である出力教師画像を生成するステップと、
前記入力教師画像および前記出力教師画像を用いて、機械学習を行うことにより、前記抽出対象部分を抽出するか、または、前記特定部分を除去するための学習モデルを生成するステップと、を備える、学習モデルの生成方法。 (Item 11)
With respect to a two-dimensional projected image of a region including a specific part of a subject acquired based on three-dimensional data having pixel value data in three dimensions, the pixel value of the specific part is a pixel of a part other than the specific part. Steps to generate an input teacher image that contains an image that has changed relative to the value,
A step of generating an output teacher image which is an image showing an extraction target portion of the subject in the same region as the input teacher image or an image excluding the specific portion.
A step of extracting the extraction target portion or generating a learning model for removing the specific portion by performing machine learning using the input teacher image and the output teacher image is provided. How to generate a learning model.

１００、２００、３００、４００ Ｘ線画像処理システム
１ 放射線照射装置
２ 治療計画装置
３、２０３、３０３、４０３ 学習装置（医用画像処理装置）
４、３０４ Ｘ線撮影部
５、２０５、３０５、４０５ Ｘ線画像処理装置（医用画像処理装置）
１１、３４３ 天板
３０、２３０、３３０、４３０ 第１制御部
３１、２３１、３３１、４３１ ＤＲＲ画像生成部（学習画像生成部）
３２、２３２、３３２、４３２ 教師画像生成部（学習画像生成部）
３３、２３３、３３３、４３３ 学習モデル生成部
５０、３５０、４５０ 第２制御部
５１、３５１、４５１ 画像処理部 100, 200, 300, 400 X-ray image processing system 1 Irradiation device 2 Treatment planning device 3, 203, 303, 403 Learning device (medical image processing device)
4,304 X-ray imaging unit 5,205,305,405 X-ray image processing device (medical image processing device)
11,343 Top plate 30, 230, 330, 430 First control unit 31, 231, 331, 431 DRR image generation unit (learning image generation unit)
32, 232, 332, 432 Teacher image generation unit (learning image generation unit)
33, 233, 333, 433 Learning model generation unit 50, 350, 450 Second control unit 51, 351, 451 Image processing unit

Claims (11)

３次元における画素値データを有する３次元データに基づいて取得された被検体の特定部分を含む領域についての２次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像と、前記入力教師画像と同じ領域における前記被検体の抽出対象部分を示す画像または前記特定部分を除く画像である出力教師画像と、を生成する学習画像生成部と、
前記入力教師画像および前記出力教師画像を用いて、機械学習を行うことにより、前記抽出対象部分を抽出するか、または、前記特定部分を除去するための学習モデルを生成する学習モデル生成部と、
学習済みの前記学習モデルに基づいて、Ｘ線撮影によって取得された前記被検体の前記特定部分を含むＸ線画像に対して、前記抽出対象部分を抽出する処理と、前記特定部分を除去する処理とのいずれか一方を行う画像処理部と、を備える、医用画像処理装置。 With respect to a two-dimensional projected image of a region including a specific portion of a subject acquired based on three-dimensional data having pixel value data in three dimensions, the pixel value of the specific portion is a pixel of a portion other than the specific portion. An input teacher image including an image that is relatively changed with respect to a value, and an output teacher image that is an image showing an extraction target portion of the subject in the same region as the input teacher image or an image excluding the specific portion. , A learning image generator that generates,
A learning model generation unit that extracts the extraction target portion or generates a learning model for removing the specific portion by performing machine learning using the input teacher image and the output teacher image.
Based on the trained learning model, a process of extracting the extraction target portion and a process of removing the specific portion from the X-ray image including the specific portion of the subject acquired by X-ray imaging. A medical image processing apparatus comprising an image processing unit that performs either of the above. 前記特定部分は骨部を含み、
前記学習画像生成部は、コンピュータ断層撮影による前記３次元データに基づいて、デジタル再構成シミュレーションにより生成された前記２次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む前記入力教師画像と、前記入力教師画像と同じ領域における前記抽出対象部分を示す画像または前記特定部分を除く画像である前記出力教師画像と、を生成するように構成されている、請求項１に記載の医用画像処理装置。 The specific part includes the bone part
The learning image generation unit has a portion in which the pixel value of the specific portion is other than the specific portion with respect to the two-dimensional projection image generated by the digital reconstruction simulation based on the three-dimensional data obtained by computer tomography. The input teacher image including an image that is relatively changed with respect to the pixel value, and the output teacher image that is an image showing the extraction target portion in the same region as the input teacher image or an image excluding the specific portion. The medical image processing apparatus according to claim 1, which is configured to generate a. 前記学習画像生成部は、前記特定部分の画素値がランダムな値に変更されている画像を含むように複数の前記入力教師画像を生成するように構成されている、請求項１または２に記載の医用画像処理装置。 The learning image generation unit is configured to generate a plurality of the input teacher images so as to include an image in which the pixel value of the specific portion is changed to a random value, according to claim 1 or 2. Medical image processing equipment. 前記学習画像生成部と前記学習モデル生成部とを含む第１制御部と、
前記画像処理部を含む第２制御部と、をさらに備える、請求項１〜３のいずれか１項に記載の医用画像処理装置。 A first control unit including the learning image generation unit and the learning model generation unit,
The medical image processing apparatus according to any one of claims 1 to 3, further comprising a second control unit including the image processing unit. 前記学習画像生成部は、前記特定部分を含む前記２次元投影画像と、前記特定部分を除くように生成された前記２次元投影画像である合成用投影画像とに基づいて、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む前記入力教師画像を生成するように構成されている、請求項１〜４のいずれか１項に記載の医用画像処理装置。 The learning image generation unit is based on the two-dimensional projection image including the specific portion and the composite projection image which is the two-dimensional projection image generated so as to exclude the specific portion, and the pixels of the specific portion. The invention according to any one of claims 1 to 4, wherein the input teacher image including an image whose value is changed relative to the pixel value of a portion other than the specific portion is generated. Medical image processing equipment. 前記学習画像生成部は、前記３次元データを構成する３次元画素部分のうちから前記特定部分に対応する前記３次元画素部分を除去することによって前記合成用投影画像を生成するように構成されている、請求項５に記載の医用画像処理装置。 The learning image generation unit is configured to generate the composite projected image by removing the three-dimensional pixel portion corresponding to the specific portion from the three-dimensional pixel portions constituting the three-dimensional data. The medical image processing apparatus according to claim 5. 前記学習画像生成部は、前記２次元投影画像と前記合成用投影画像とを合成する際の画素値の割合を変更して、前記合成する画素値の割合が変更された前記２次元投影画像と前記合成用投影画像とを合成することによって前記入力教師画像を生成するように構成されている、請求項５または６に記載の医用画像処理装置。 The learning image generation unit changes the ratio of the pixel values when synthesizing the two-dimensional projected image and the composite projected image, and changes the ratio of the combined pixel values to the two-dimensional projected image. The medical image processing apparatus according to claim 5 or 6, which is configured to generate the input teacher image by synthesizing the projected image for composition. 前記学習画像生成部は、前記３次元データを構成する３次元画素部分のうちから、前記特定部分に対応する前記３次元画素部分の前記画素値データを、前記特定部分以外の部分に対応する前記３次元画素部分の前記画素値データに対して相対的に変更した状態で２次元に投影することによって、前記入力教師画像を生成するように構成されている、請求項１〜４のいずれか１項に記載の医用画像処理装置。 The learning image generation unit obtains the pixel value data of the three-dimensional pixel portion corresponding to the specific portion from the three-dimensional pixel portions constituting the three-dimensional data, and the learning image generation unit corresponds to a portion other than the specific portion. Any one of claims 1 to 4, which is configured to generate the input teacher image by projecting in two dimensions in a state of being relatively changed with respect to the pixel value data of the three-dimensional pixel portion. The medical image processing apparatus according to the section. 前記特定部分は、骨部以外の部分を含み、
前記学習画像生成部は、コンピュータ断層撮影による前記３次元データに基づいて、デジタル再構成シミュレーションにより生成された前記２次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む前記入力教師画像と、前記入力教師画像と同じ領域における前記特定部分を除く画像である前記出力教師画像と、を生成するように構成されている、請求項１に記載の医用画像処理装置。 The specific part includes a part other than the bone part, and includes a part other than the bone part.
The learning image generation unit has a portion in which the pixel value of the specific portion is other than the specific portion with respect to the two-dimensional projection image generated by the digital reconstruction simulation based on the three-dimensional data obtained by computer tomography. It is configured to generate the input teacher image including an image that is relatively changed with respect to the pixel value, and the output teacher image that is an image excluding the specific portion in the same region as the input teacher image. The medical image processing apparatus according to claim 1. ３次元における画素値データを有する３次元データに基づいて取得された被検体の特定部分を含む領域についての２次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像と、前記入力教師画像と同じ領域における前記被検体の抽出対象部分を示す画像または前記特定部分を除く画像である出力教師画像と、を生成する学習画像生成部と、
前記入力教師画像および前記出力教師画像を用いて、機械学習を行うことにより、前記抽出対象部分を抽出するか、または、前記特定部分を除去するための学習モデルを生成する学習モデル生成部と、
Ｘ線撮影によって前記被検体の前記特定部分を含むＸ線画像を取得するＸ線撮影部と、
学習済みの前記学習モデルに基づいて、前記Ｘ線撮影部によって撮影された前記Ｘ線画像に対して、前記抽出対象部分を抽出する処理と、前記特定部分を除去する処理とのいずれか一方を行う画像処理部と、を備える、Ｘ線画像処理システム。 With respect to a two-dimensional projected image of a region including a specific portion of a subject acquired based on three-dimensional data having pixel value data in three dimensions, the pixel value of the specific portion is a pixel of a portion other than the specific portion. An input teacher image including an image that is relatively changed with respect to a value, and an output teacher image that is an image showing an extraction target portion of the subject in the same region as the input teacher image or an image excluding the specific portion. , A learning image generator that generates,
A learning model generation unit that extracts the extraction target portion or generates a learning model for removing the specific portion by performing machine learning using the input teacher image and the output teacher image.
An X-ray imaging unit that acquires an X-ray image including the specific portion of the subject by X-ray imaging, and an X-ray imaging unit.
Based on the trained learning model, either the process of extracting the extraction target portion or the process of removing the specific portion of the X-ray image captured by the X-ray imaging unit is performed. An X-ray image processing system including an image processing unit for performing. ３次元における画素値データを有する３次元データに基づいて取得された被検体の特定部分を含む領域についての２次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像を生成するステップと、
前記入力教師画像と同じ領域における前記被検体の抽出対象部分を示す画像または前記特定部分を除く画像である出力教師画像を生成するステップと、
前記入力教師画像および前記出力教師画像を用いて、機械学習を行うことにより、前記抽出対象部分を抽出するか、または、前記特定部分を除去するための学習モデルを生成するステップと、を備える、学習モデルの生成方法。 With respect to a two-dimensional projected image of a region including a specific part of a subject acquired based on three-dimensional data having pixel value data in three dimensions, the pixel value of the specific part is a pixel of a part other than the specific part. Steps to generate an input teacher image that contains an image that has changed relative to the value,
A step of generating an output teacher image which is an image showing an extraction target portion of the subject in the same region as the input teacher image or an image excluding the specific portion.
A step of extracting the extraction target portion or generating a learning model for removing the specific portion by performing machine learning using the input teacher image and the output teacher image is provided. How to generate a learning model.
JP2019167628A 2019-09-13 2019-09-13 Medical image processing apparatus, X-ray image processing system, and learning model generation method Active JP7226207B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019167628A JP7226207B2 (en) 2019-09-13 2019-09-13 Medical image processing apparatus, X-ray image processing system, and learning model generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019167628A JP7226207B2 (en) 2019-09-13 2019-09-13 Medical image processing apparatus, X-ray image processing system, and learning model generation method

Publications (2)

Publication Number Publication Date
JP2021041090A true JP2021041090A (en) 2021-03-18
JP7226207B2 JP7226207B2 (en) 2023-02-21

Family

ID=74861818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019167628A Active JP7226207B2 (en) 2019-09-13 2019-09-13 Medical image processing apparatus, X-ray image processing system, and learning model generation method

Country Status (1)

Country Link
JP (1) JP7226207B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023002743A1 (en) * 2021-07-20 2023-01-26 株式会社島津製作所 X-ray imaging system and image processing method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018083844A1 (en) * 2016-11-02 2018-05-11 株式会社島津製作所 X-ray fluoroscopy device and x-ray fluoroscopy method
JP2018089065A (en) * 2016-12-01 2018-06-14 株式会社島津製作所 Fluoroscopic apparatus
WO2018159775A1 (en) * 2017-03-03 2018-09-07 国立大学法人筑波大学 Object tracking device
WO2019003474A1 (en) * 2017-06-30 2019-01-03 株式会社島津製作所 Tracking device for radiation treatment, position detection device, and method for tracking moving body

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018083844A1 (en) * 2016-11-02 2018-05-11 株式会社島津製作所 X-ray fluoroscopy device and x-ray fluoroscopy method
JP2018075356A (en) * 2016-11-02 2018-05-17 国立研究開発法人量子科学技術研究開発機構 X-ray fluoroscopic apparatus and x-ray fluoroscopic method
JP2018089065A (en) * 2016-12-01 2018-06-14 株式会社島津製作所 Fluoroscopic apparatus
WO2018159775A1 (en) * 2017-03-03 2018-09-07 国立大学法人筑波大学 Object tracking device
WO2019003474A1 (en) * 2017-06-30 2019-01-03 株式会社島津製作所 Tracking device for radiation treatment, position detection device, and method for tracking moving body

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023002743A1 (en) * 2021-07-20 2023-01-26 株式会社島津製作所 X-ray imaging system and image processing method

Also Published As

Publication number Publication date
JP7226207B2 (en) 2023-02-21

Similar Documents

Publication Publication Date Title
JP5345947B2 (en) Imaging system and imaging method for imaging an object
CN102697514B (en) Optimal viewing angle is selected to dissect structures visualization and patient skin dose to optimize
CN111918697B (en) Medical image processing device, treatment system, and storage medium
JP2015029793A (en) Radiotherapy system
WO2021171394A1 (en) Learned model creation method, image generation method, and image processing device
TWI688373B (en) Medical image processing apparatus, therapeutic system, medical image processing program
US20220054862A1 (en) Medical image processing device, storage medium, medical device, and treatment system
JP7226207B2 (en) Medical image processing apparatus, X-ray image processing system, and learning model generation method
JP6797555B2 (en) Medical information processing device
CN110975172A (en) Flux map reconstruction method and system
US8693763B2 (en) Method and device for determining preferred alignments of a treatment beam generator
JP2023103359A (en) Learning device, x-ray image processing system, and learning model generation method
US20230347180A1 (en) Medical image processing device, medical image processing method, medical image processing program, and radiation therapy device
WO2024070093A1 (en) Irradiation position verification assisting device, irradiation position verification assisting method, and irradiation position verification assisting program
JP6999895B2 (en) Radiation imaging device and radiological image detection method
JP6855173B2 (en) X-ray CT device
Karangelis 3D simulation of external beam radiotherapy
KR20220098740A (en) X-ray image acquisition method
KR20230166023A (en) Method and apparatus for providing ar images
KR20230151364A (en) Method and apparatus for providing surgical simulation based on medical images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230123

R151 Written notification of patent or utility model registration

Ref document number: 7226207

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151