JP2020080913A

JP2020080913A - Organ-of-interest image automatic segmentation device and automatic segmentation method based on three-dimensional medial axis model from non-contrast ct image

Info

Publication number: JP2020080913A
Application number: JP2018214635A
Authority: JP
Inventors: 登仁木; Noboru Niki
Original assignee: MEDICAL ENGINEERING INST Inc; MEDICAL ENGINEERING INSTITUTE Inc
Current assignee: MEDICAL ENGINEERING INST Inc; MEDICAL ENGINEERING INSTITUTE Inc
Priority date: 2018-11-15
Filing date: 2018-11-15
Publication date: 2020-06-04

Abstract

To provide an organ-of-interest image automatic segmentation device and an organ-of-interest image automatic segmentation method that can automatically and accurately perform organ-of-interest segmentation for a non-contract CT image.SOLUTION: An organ-of-interest image automatic segmentation device includes a control unit. The control unit includes an organ-of-interest candidate region segmentation part, an organ-of-interest candidate region three-dimensional medial axis extraction part, an organ-of-interest three-dimensional medial axis model construction part, and an organ-of-interest three-dimensional medial axis model reference segmentation part.SELECTED DRAWING: Figure 1

Description

本発明は、非造影ＣＴ画像からの３次元メディアルアクシスモデル（３ＤＭＡ：３−ＤｉｍｅｎｓｉｏｎａｌＭｅｄｉａｌＡｘｉｓＭｏｄｅｌ）に基づく関心臓器自動セグメンテーション装置、及び自動セグメンテーション方法に関する。 The present invention relates to an automatic organ segmentation apparatus of interest and an automatic segmentation method based on a three-dimensional medial axis model (3DMA: 3-Dimensional Medical Axis Model) from a non-contrast CT image.

臓器に関する画像において、個々の関心臓器のセグメンテーションを自動化する方法及び装置が求められている。これらの方法及び装置として、現在、造影ＣＴ（ＣｏｍｐｕｔｅｒＴｏｍｏｇｒａｐｈｙ、以下、同じ）画像を利用するもの、非造影ＣＴ画像を利用するもの、及び、ＭＲ（ＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅ）画像を利用するものなどが提案されている。 What is needed is a method and apparatus for automating the segmentation of individual organs of interest in organ images. As these methods and devices, there are currently proposed a method using a contrast CT (Computer Tomography, hereinafter the same) image, a method using a non-contrast CT image, and a method using an MR (Magnetic Resonance) image. ing.

これらの方法及び装置のうち、造影ＣＴ画像を用いるものは、画像において濃度差が出やすく、そのため自動的なセグメンテーションが比較的容易である。しかし、造影剤にアレルギーを有する患者に対しては、造影ＣＴ画像を利用する方法及び装置を用いることはできない。造影剤投与により副作用が発症してしまうからである。 Among these methods and apparatuses, those using a contrast CT image are likely to cause a density difference in the image, and therefore automatic segmentation is relatively easy. However, for patients who are allergic to contrast agents, methods and devices that utilize contrast-enhanced CT images cannot be used. This is because the administration of a contrast agent causes side effects.

これに対して、非造影ＣＴ画像を利用する方法及び装置は、例えば、胸部疾患の早期診断等に利用されており、患者に比較的負担を掛けずに容易に断層像が得られるものである。しかしながら、造影ＣＴ画像を利用するものやＭＲ画像を利用するものに比べて組織間コントラストがやや劣り、臓器の輪郭が不明確になりやすい。例えば、大動脈・肺動脈幹・主肺動脈の非造影ＣＴ画像では、血管の内腔と壁の濃度差が出ず、血管の接触が不明確である。 On the other hand, the method and apparatus using the non-contrast CT image are used, for example, for early diagnosis of chest disease, etc., and a tomographic image can be easily obtained without relatively burdening the patient. .. However, the contrast between tissues is slightly inferior to the one using a contrast CT image or the one using an MR image, and the contour of an organ is likely to be unclear. For example, in a non-contrast CT image of the aorta/pulmonary artery/main pulmonary artery, there is no difference in density between the lumen of the blood vessel and the wall, and the contact between blood vessels is unclear.

特開２０１８−０４０７９０号公報JP, 2008-040790, A 特開２０１６−０４１２４５号公報JP, 2016-041245, A

本発明は、非造影ＣＴ画像に対して、関心臓器のセグメンテーションを自動的に且つ正確に実施する関心臓器画像自動セグメンテーション装置、及び関心臓器画像自動セグメンテーション方法を提供することを目的とする。 An object of the present invention is to provide an organ-of-interest image automatic segmentation apparatus and a organ-of-interest image automatic segmentation method for automatically and accurately performing organ-segmentation of a non-contrast CT image.

本発明は、上述の課題を解決するために為されたものである。本発明に係る関心臓器画像自動セグメンテーション装置は、
制御部を含み、
前記制御部が、
関心臓器候補領域セグメンテーション部と、
関心臓器候補領域３次元メディアルアクシス抽出部と、
関心臓器３次元メディアルアクシスモデル構築部と、及び、
関心臓器３次元メディアルアクシスモデル基準セグメンテーション部と
を備え、
前記関心臓器候補領域セグメンテーション部は、入力された、関心臓器候補領域を含む通常線量／低線量のＣＴ画像データセットからなる学習データセットについて、関心臓器候補領域のセグメンテーションを行い、更に、入力された、関心臓器候補領域を含む通常線量／低線量のＣＴ画像データセットからなるテストデータセットについて、関心臓器候補領域のセグメンテーションを行い、
前記関心臓器候補領域３次元メディアルアクシス抽出部は、関心臓器候補領域のセグメンテーションが行われた学習データセットについて関心臓器候補領域の３次元メディアルアクシスを抽出し、更に、関心臓器候補領域のセグメンテーションが行われたテストデータセットについて関心臓器候補領域の３次元メディアルアクシスを抽出し、
前記関心臓器３次元メディアルアクシスモデル構築部は、学習データセットにおける、抽出された関心臓器候補領域の３次元メディアルアクシスのデータに基づいて、関心臓器の３次元メディアルアクシスモデルを構築し、
前記関心臓器３次元メディアルアクシスモデル基準セグメンテーション部は、構築された関心臓器の３次元メディアルアクシスモデルを照合させて、関心臓器候補領域のセグメンテーションが行われたテストデータセットから抽出された関心臓器候補領域の３次元メディアルアクシスを選択してセグメンテーションを行う。 The present invention has been made to solve the above problems. The internal organ image automatic segmentation apparatus according to the present invention is
Including the controller,
The control unit,
An organ-of-interest candidate region segmentation unit,
A three-dimensional medial axis extraction unit for a candidate region of interest,
A 3D medial axis model construction unit for the organ of interest, and
And an organ of interest 3D medial axis model reference segmentation unit,
The organ-of-interest candidate region segmentation unit performs segmentation of the organ-of-interest candidate region on the input learning data set consisting of the CT image data set of normal dose/low dose including the organ-of-interest candidate region, and is further input. , Segmentation of the organ of interest candidate region is performed on a test data set consisting of a normal dose/low dose CT image data set including the organ of interest candidate region,
The organ-of-interest candidate region three-dimensional medial axis extraction unit extracts a three-dimensional medial-axis of the organ-of-interest candidate region from the learning data set on which the organ-of-interest candidate region segmentation has been performed, and further, the segmentation of the organ-of-interest candidate region. 3D medial axis of the organ of interest candidate area was extracted from the test data set
The organ of interest 3D medial axis model construction unit constructs a 3D medial axis model of the organ of interest based on the extracted 3D medial axis data of the organ of interest candidate region in the learning data set,
The organ of interest 3D medial axis model reference segmentation unit collates the constructed 3D medial axis model of the organ of interest, and the organ of interest extracted from the test data set in which the segment of the organ of interest candidate is segmented. Segmentation is performed by selecting the three-dimensional medial axis of the candidate area.

本発明を利用することにより、非造影ＣＴ画像において、関心臓器のセグメンテーションを自動的に且つ正確に実施することができる。更に、本発明に係る関心臓器画像自動セグメンテーション装置を利用することにより、セグメンテーションで得られるデータ、例えば、３次元計測された大動脈、肺動脈幹、及び、主肺動脈の直径データを、特定の疾病の診断、例えば、慢性血栓塞栓性肺高血圧症の診断に繋げることができる。 By using the present invention, segmentation of an organ of interest can be automatically and accurately performed in a non-contrast CT image. Further, by using the automatic organ image segmentation apparatus of interest according to the present invention, the data obtained by the segmentation, for example, the three-dimensionally measured diameter data of the aorta, the pulmonary artery trunk, and the main pulmonary artery are used to diagnose a specific disease. For example, it can lead to the diagnosis of chronic thromboembolic pulmonary hypertension.

図１は、第１の実施形態に係る関心臓器画像自動セグメンテーションシステムの構成を示す概略図である。FIG. 1 is a schematic diagram showing the configuration of an organ-of-interest image automatic segmentation system according to the first embodiment. 図２は、第１の実施形態に係る関心臓器画像自動セグメンテーションシステムの動作を示すフロー図である。FIG. 2 is a flowchart showing the operation of the organ-of-interest image automatic segmentation system according to the first embodiment. 図３は、実施例１における関心臓器画像自動セグメンテーションシステムの動作を示すフロー図である。FIG. 3 is a flowchart showing the operation of the organ-of-interest image automatic segmentation system in the first embodiment. 図４は、縦隔領域のＣＴ値ヒストグラムである。FIG. 4 is a CT value histogram of the mediastinum region. 図５は、３次元メディアルアクシスの抽出のための円柱状の関心領域（ＣＲＯＩ）を示す図である。FIG. 5 is a diagram showing a cylindrical region of interest (CROI) for extraction of a three-dimensional medial axis. 図６は、最適化した３次元メディアルアクシスモデルの例とその方向を示す図である。FIG. 6 is a diagram showing an example of an optimized three-dimensional medial axis model and its direction. 図７は、血管直径の計測例を示す図である。FIG. 7 is a diagram showing a measurement example of the blood vessel diameter. 図８は、ＣＴ画像における大動脈・肺動脈幹・主肺動脈の抽出結果の例である。FIG. 8 is an example of the extraction result of the aorta/pulmonary artery trunk/main pulmonary artery in the CT image. 図９は、血管直径を用いた慢性血栓塞栓性肺高血圧症（ＣＴＥＰＨ）の診断性能のＲＯＣ解析結果である。FIG. 9 is a ROC analysis result of the diagnostic performance of chronic thromboembolic pulmonary hypertension (CTEPH) using the blood vessel diameter. 図１０は、非造影ＣＴ画像における縦隔内血管接触の例を示す図である。FIG. 10 is a diagram showing an example of mediastinal vessel contact in a non-contrast CT image.

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。 Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed description of well-known matters or duplicate description of substantially the same configuration may be omitted. This is to avoid making the following description unnecessarily redundant and to facilitate understanding by those skilled in the art.

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。 It should be noted that the inventors have provided the accompanying drawings and the following description in order for those skilled in the art to fully understand the present disclosure, and are intended to limit the subject matter described in the claims by these. is not.

［本開示に至る経緯］
造影剤にアレルギーを有する患者に用いることができない造影ＣＴ画像撮像装置に対して、非造影ＣＴ画像撮像装置は、患者に比較的負担を掛けずに容易に断層像を得ることができる。非造影ＣＴ画像撮像装置は、胸部疾患の早期診断などに広く利用されている。 [Background to the present disclosure]
In contrast to a contrast-enhanced CT image capturing apparatus that cannot be used for a patient who is allergic to a contrast agent, a non-contrast CT image capturing apparatus can easily obtain a tomographic image without relatively burdening the patient. Non-contrast CT image capturing devices are widely used for early diagnosis of chest diseases and the like.

しかしながら、造影ＣＴ画像撮像装置により撮像されるＣＴ画像は、組織間コントラストがやや劣る。図１０は、非造影ＣＴ画像における縦隔内血管接触の例であり、（Ａ）は原画像を（Ｂ）は拡大像を、夫々示している。特に（Ｂ）の拡大像には、大動脈及び肺動脈幹・主肺動脈が示されているが、（Ｂ）の拡大像において血管の内腔と壁の濃度差は無く、血管の接触における輪郭は不鮮明である。そのため、非造影ＣＴ画像からの大動脈・肺動脈幹・主肺動脈の自動セグメンテーションは困難である、という問題が従来指摘されている。 However, the CT image captured by the contrast CT image capturing apparatus has a slightly inferior tissue contrast. FIG. 10 shows an example of mediastinal vessel contact in a non-contrast CT image, where (A) shows the original image and (B) shows the enlarged image. In particular, the enlarged image of (B) shows the aorta and pulmonary artery trunk/main pulmonary artery, but in the enlarged image of (B) there is no density difference between the lumen and the wall of the blood vessel, and the contour of the contact between blood vessels is unclear. Is. Therefore, it has been pointed out that the automatic segmentation of the aorta/pulmonary artery trunk/main pulmonary artery from the non-contrast CT image is difficult.

以上のような問題点を解決するべく、本願の発明者は、３次元メディアルアクシスモデル（ｍｅｄｉａｌａｘｉｓｍｏｄｅｌ）に基づく関心臓器画像自動セグメンテーション装置及び自動セグメンテーション方法の考案に到った。本開示の自動セグメンテーション方法は、（Ａ）モデル構築工程と（Ｂ）モデル照合工程とからなる。モデル照合工程では、入力画像から抽出した３次元メディアルアクシスに対して、モデル構築工程で構築された３次元メディアルアクシスモデルを照合することで、関心臓器の３次元メディアルアクシスを選択する。このように、本開示の関心臓器画像自動セグメンテーション装置及び自動セグメンテーション方法は、非造影ＣＴ画像における関心臓器のセグメンテーションを自動的且つ正確に行うことができる。 In order to solve the above problems, the inventor of the present application has devised an automatic organ image segmentation apparatus of interest and an automatic segmentation method based on a three-dimensional medial axis model. The automatic segmentation method of the present disclosure includes (A) model building step and (B) model matching step. In the model matching step, the 3D medial axis of the organ of interest is selected by matching the 3D medial axis model constructed in the model building step with the 3D medial axis extracted from the input image. As described above, the automatic organ image segmentation apparatus and the automatic segmentation method of the present disclosure can automatically and accurately perform the segmentation of the target organ in the non-contrast CT image.

［第１の実施形態］
図１及び図２を参照して第１の実施形態を説明する。 [First Embodiment]
A first embodiment will be described with reference to FIGS. 1 and 2.

［１．１．関心臓器画像自動セグメンテーションシステムの構成］
図１は、第１の実施形態に係る関心臓器画像自動セグメンテーションシステム２の構成を示す概略図である。 [1.1. Configuration of automatic organ image segmentation system of interest]
FIG. 1 is a schematic diagram showing the configuration of an organ-of-interest image automatic segmentation system 2 according to the first embodiment.

第１の実施形態に係る関心臓器画像自動セグメンテーションシステム２は、非造影ＣＴ画像データセットを格納する外部記憶装置２６、及び、関心臓器画像自動セグメンテーション装置４を含む。非造影ＣＴ画像データセットは、様々な非造影ＣＴ画像データにより構成される。 The organ-of-interest image automatic segmentation system 2 according to the first embodiment includes an external storage device 26 that stores a non-contrast CT image data set, and a organ-of-interest image automatic segmentation device 4. The non-contrast CT image data set is composed of various non-contrast CT image data.

関心臓器画像自動セグメンテーション装置４は、パーソナルコンピュータ、ワークステーション、タブレット端末などの情報処理装置により構成される。外部記憶装置２６と関心臓器画像自動セグメンテーション装置４とは、有線又は無線回線により接続され、両者は適宜データを遣り取りする。 The organ-of-interest image automatic segmentation device 4 is configured by an information processing device such as a personal computer, a workstation, or a tablet terminal. The external storage device 26 and the organ-of-interest image automatic segmentation device 4 are connected by a wired or wireless line, and both exchange data as appropriate.

関心臓器画像自動セグメンテーション装置４は、入出力インタフェース部１２、入力部８、記憶部１０、出力部１４、及び、制御部６により構成され、これらは夫々適切なバスにより相互に接続されている。 The organ-of-interest image automatic segmentation device 4 includes an input/output interface unit 12, an input unit 8, a storage unit 10, an output unit 14, and a control unit 6, which are connected to each other by an appropriate bus.

入出力インタフェース部１２は、外部記憶装置２６、入力部８、若しくは出力部１４等とのインタフェース部として動作する部位である。入力部８は、関心臓器画像自動セグメンテーション装置４に対する入力データを生成する若しくは受け取る部位であり、キーボード、マウス、若しくはタッチパネル等で構成される。入力部８は、音声入力や音声認識によるものであってもよい。 The input/output interface unit 12 is a unit that operates as an interface unit with the external storage device 26, the input unit 8, the output unit 14, or the like. The input unit 8 is a unit that generates or receives input data to the organ image automatic segmentation apparatus 4 of interest, and is configured by a keyboard, a mouse, a touch panel, or the like. The input unit 8 may be based on voice input or voice recognition.

記憶部１０は、制御部６で稼働するプログラムや関心臓器画像自動セグメンテーションに必要なパラメータデータ等が一時的に又は恒久的に格納されている。記憶部１０は、例えばフラッシュメモリで構成される。出力部１４は、制御部６による処理結果等を出力（表示）する部位であり、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ等により構成される。出力部１４は補助的にスピーカ等の聴覚用デバイスを含んでもよい。入力部８と出力部１４とは別体で構成されてもよいし、一体的に構成されてもよい。 The storage unit 10 temporarily or permanently stores a program running in the control unit 6, parameter data necessary for automatic segmentation of an organ image of interest, and the like. The storage unit 10 is composed of, for example, a flash memory. The output unit 14 is a unit that outputs (displays) the processing result and the like by the control unit 6, and is configured by a liquid crystal display, an organic EL display, a plasma display, or the like. The output unit 14 may additionally include a hearing device such as a speaker. The input unit 8 and the output unit 14 may be configured separately or integrally.

制御部６は、例えばＣＰＵやＭＰＵで構成され、関心臓器画像自動セグメンテーション装置４全体の動作を制御する。制御部６における演算処理や装置全体の制御処理は、ハードウエア資源であるプロセッサと、記憶部１０に記録される、又は、有線若しくは無線回線を介して外部から取り込まれる、ソフトウエアであるプログラムとの協働により実現される。具体的には、制御部６は、上述のソフトウエアであるプログラムを実行することによって、関心臓器候補領域セグメンテーション部１６、関心臓器候補領域３次元メディアルアクシス抽出部１８、関心臓器３次元メディアルアクシスモデル構築部２０、関心臓器３次元メディアルアクシスモデル基準セグメンテーション部２２、及び、関心臓器画像評価部２４などの各種の機能を実現する。制御部６は、専用に設計された電子回路や再構成可能な電子回路などのハードウエア回路（ＡＳＩＣ、ＦＰＧＡ等）で実現されてもよい。第１の実施形態に係る関心臓器画像自動セグメンテーション装置４の特徴的動作は、制御部６における演算処理及び制御処理により実現される。 The control unit 6 is composed of, for example, a CPU and an MPU, and controls the overall operation of the organ-of-interest image automatic segmentation apparatus 4. The arithmetic processing in the control unit 6 and the control processing of the entire device are performed by a processor which is a hardware resource, and a program which is a software which is recorded in the storage unit 10 or is externally fetched via a wired or wireless line. It is realized by the cooperation of. Specifically, the control unit 6 executes the program, which is the software described above, so as to perform the organ-of-interest candidate region segmentation unit 16, the organ-of-interest candidate region three-dimensional medial extraction unit 18, the organ-of-interest three-dimensional medial unit. Various functions such as the axis model construction unit 20, the organ of interest three-dimensional medial axis model reference segmentation unit 22 and the organ of interest image evaluation unit 24 are realized. The control unit 6 may be realized by a hardware circuit (ASIC, FPGA, etc.) such as a dedicated electronic circuit or a reconfigurable electronic circuit. The characteristic operation of the organ-of-interest image automatic segmentation apparatus 4 according to the first embodiment is realized by the arithmetic processing and control processing in the control unit 6.

［１．２．関心臓器画像自動セグメンテーションシステムの動作］
図２は、第１の実施形態に係る関心臓器画像自動セグメンテーションシステム２の動作を示すフロー図である。前述のように、関心臓器画像自動セグメンテーションシステム２は、（Ａ）モデル構築工程と、（Ｂ）モデル照合工程とを実行する。
（Ａ）モデル構築工程は、学習データセットを入力して、関心臓器の３次元メディアルアクシスモデルを構築・出力する工程である。
（Ｂ）モデル照合工程は、テストデータ、即ち、セグメンテーション処理の対象データを入力して、（Ａ）モデル構築工程にて構築された関心臓器の３次元メディアルアクシスモデルを照合のために利用して、セグメンテーション処理の対象データのセグメンテーションを行う工程である。 [1.2. Operation of automatic organ image segmentation system of interest]
FIG. 2 is a flowchart showing the operation of the organ-of-interest image automatic segmentation system 2 according to the first embodiment. As described above, the organ-of-interest image automatic segmentation system 2 executes (A) model building step and (B) model matching step.
(A) The model construction step is a step of inputting a learning data set and constructing and outputting a three-dimensional medial axis model of an organ of interest.
(B) The model matching process inputs test data, that is, the target data of the segmentation process, and uses the three-dimensional medial axis model of the organ of interest constructed in the (A) model building process for matching. Is a step of performing segmentation of target data of segmentation processing.

（Ａ）モデル構築工程（ステップＡ０２〜Ａ１０）及び（Ｂ）モデル照合工程（ステップＢ０２〜Ｂ１２）を説明する。
先ず、関心臓器画像自動セグメンテーション装置４（図１参照）は学習データセットを入力する（（Ａ）モデル構築工程：ステップＡ０２）。学習データセットは、関心臓器候補領域を含む通常線量／低線量のＣＴ画像データセットである。
同じように、関心臓器画像自動セグメンテーション装置４はテストデータセット（セグメンテーション処理の対象データ）を入力する（（Ｂ）モデル照合工程：ステップＢ０２）。テストデータセットも、関心臓器候補領域を含む通常線量／低線量のＣＴ画像データセットである。 The (A) model building process (steps A02 to A10) and the (B) model matching process (steps B02 to B12) will be described.
First, the organ-of-interest image automatic segmentation apparatus 4 (see FIG. 1) inputs a learning data set ((A) model building step: step A02). The learning data set is a normal dose/low dose CT image data set including a candidate organ region of interest.
Similarly, the organ-of-interest image automatic segmentation apparatus 4 inputs a test data set (target data for segmentation processing) ((B) model matching step: step B02). The test data set is also a normal dose/low dose CT image data set including the candidate organ region of interest.

次に、入力された学習データセットについて、関心臓器候補領域セグメンテーション部１６（図１参照）は関心臓器候補領域のセグメンテーションを行う（（Ａ）モデル構築工程：ステップＡ０４）。関心臓器候補領域のセグメンテーションは、ＣＴ画像の濃度情報及び／又は形状情報に基づいて行われる。例えば、縦隔内血管候補領域であれば、ＣＴ値のしきい値処理によりセグメンテーションが行われる。
同じように、入力されたテストデータセット（セグメンテーション処理の対象データ）について、関心臓器候補領域セグメンテーション部１６は関心臓器候補領域のセグメンテーションを行う（（Ｂ）モデル照合工程：ステップＢ０４）。同じように関心臓器候補領域のセグメンテーションは、ＣＴ画像の濃度情報及び／又は形状情報に基づいて行われる。例えば、縦隔内血管候補領域であれば、ＣＴ値のしきい値処理によりセグメンテーションが行われる。 Next, the organ-of-interest candidate region segmentation unit 16 (see FIG. 1) performs segmentation of the organ-of-interest candidate region on the input learning data set ((A) model building step: step A04). The segmentation of the organ of interest candidate region is performed based on the density information and/or the shape information of the CT image. For example, in the case of a blood vessel candidate region in the mediastinum, segmentation is performed by thresholding the CT value.
Similarly, the organ-of-interest candidate region segmentation unit 16 performs segmentation of the organ-of-interest candidate region on the input test data set (target data of segmentation processing) ((B) model matching step: step B04). Similarly, the segmentation of the organ of interest candidate region is performed based on the density information and/or the shape information of the CT image. For example, in the case of a blood vessel candidate region in the mediastinum, segmentation is performed by thresholding the CT value.

次に、関心臓器候補領域のセグメンテーションが行われた学習データセットについて、関心臓器候補領域３次元メディアルアクシス抽出部１８（図１参照）により関心臓器候補領域の３次元メディアルアクシスが抽出される（（Ａ）モデル構築工程：ステップＡ０６）。このステップでは、（１）セグメンテーションが行われた関心臓器候補領域を距離変換し（例：３次元ユークリッド距離）、（２）４次元超曲面率を用いて距離値画像で稜となる領域を抽出し、これを３次元メディアルアクシスとする。このステップでは更に、関心臓器候補領域の形状に基づいて３次元メディアルアクシスを選択する。このとき、例えば、関心臓器候補領域が縦隔内血管であれば、（３）４次元超曲面曲率を用いて円柱形状らしさを算出し、円柱形状領域の３次元メディアルアクシスを抽出する。
同じように、関心臓器候補領域のセグメンテーションが行われたテストデータセット（セグメンテーション処理の対象データ）について、関心臓器候補領域３次元メディアルアクシス抽出部１８により関心臓器候補領域の３次元メディアルアクシスが抽出される（（Ｂ）モデル照合工程：ステップＢ０６）。このステップでは、ステップＡ０６と同様に、（１）セグメンテーションが行われた関心臓器候補領域を距離変換し（例：３次元ユークリッド距離）、（２）４次元超曲面率を用いて距離値画像で稜となる領域を抽出し、これを３次元メディアルアクシスとする。このステップでは更に、ステップＡ０６と同様に、関心臓器候補領域の形状に基づいて３次元メディアルアクシスを選択する。このとき、例えば、関心臓器候補領域が縦隔内血管であれば、（３）４次元超曲面曲率を用いて円柱形状らしさを算出し、円柱形状領域の３次元メディアルアクシスを抽出する。 Next, with respect to the learning data set in which the target organ candidate region is segmented, the target organ candidate region three-dimensional medial axis extraction unit 18 (see FIG. 1) extracts the three-dimensional medial axis of the target organ candidate region. ((A) Model building process: Step A06). In this step, (1) distance conversion is performed on the organ segment of interest that has been segmented (eg, three-dimensional Euclidean distance), and (2) a four-dimensional hypercurve rate is used to extract a region to be an edge in the distance value image. This is called the 3D Medial Axis. In this step, the three-dimensional medial axis is further selected based on the shape of the candidate organ region of interest. At this time, for example, if the organ of interest candidate area is a blood vessel in the mediastinum, (3) the likelihood of a cylindrical shape is calculated using the four-dimensional hypercurved surface curvature, and the three-dimensional medial axis of the cylindrical area is extracted.
Similarly, with respect to the test data set (target data of the segmentation processing) in which the target organ candidate region is segmented, the target organ candidate region three-dimensional medial axis extraction unit 18 determines the three-dimensional medial axis of the target organ candidate region. It is extracted ((B) model matching step: step B06). In this step, similar to step A06, (1) distance conversion is performed on the segmented organ of interest candidate (eg, three-dimensional Euclidean distance), and (2) a four-dimensional hypersurface ratio is used to generate a distance value image. A region that becomes a ridge is extracted, and this is defined as a three-dimensional medial axis. In this step, similarly to step A06, the three-dimensional medial axis is selected based on the shape of the organ candidate region of interest. At this time, for example, if the organ of interest candidate area is a blood vessel in the mediastinum, (3) the likelihood of a cylindrical shape is calculated using the four-dimensional hypercurved surface curvature, and the three-dimensional medial axis of the cylindrical area is extracted.

次に、学習データセットにおける、抽出された関心臓器候補領域の３次元メディアルアクシスのデータに基づいて、関心臓器３次元メディアルアクシスモデル構築部２０（図１参照）は関心臓器の３次元メディアルアクシスモデルを構築する（（Ａ）モデル構築工程：ステップＡ０８）。このステップでは、以下の（１）（２）の処理が行われる。
（１）学習データセットに基づいて抽出された関心臓器候補領域の３次元メディアルアクシスのデータから、操作者や観察者等の外部操作により１例が基準例に選択される。他の例はその基準例に空間正規化（位置合せ）される。
（２）関心臓器候補領域の（ａ）平均形状、及び、（ｂ）学習データセットに基づいて抽出された関心臓器候補領域の３次元メディアルアクシスのデータにおける、高頻度の形状（例：主成分分析によって得られる主成分）を算出する。
なお、学習に費やす計算時間を短縮するために処理（１）の後にデータを縮小してもよい。 Next, based on the extracted 3D medial axis data of the organ of interest candidate region in the learning data set, the organ of interest 3D medial axis model construction unit 20 (see FIG. 1) determines the 3D media of the organ of interest. A Luaxis model is constructed ((A) Model construction process: Step A08). In this step, the following processes (1) and (2) are performed.
(1) One example is selected as a reference example by an external operation such as an operator or an observer from the three-dimensional medial axis data of the organ candidate region of interest extracted based on the learning data set. Other examples are spatially normalized (aligned) to that reference example.
(2) High-frequency shapes (example: main) in (a) average shape of the organ of interest candidate area and (b) three-dimensional medial axis data of the organ of interest candidate area extracted based on the learning data set. The principal component obtained by the component analysis is calculated.
The data may be reduced after the process (1) in order to reduce the calculation time spent for learning.

次に、関心臓器画像自動セグメンテーション装置４（図１参照）は、構築された関心臓器の３次元メディアルアクシスモデルを出力する（（Ａ）モデル構築工程：ステップＡ１０）。３次元メディアルアクシスモデルは、関心臓器候補領域の（ａ）平均形状、及び（ｂ）高頻度の形状（例：主成分）の組み合わせ（例：線形結合）で表現される。 Next, the organ-of-interest image automatic segmentation apparatus 4 (see FIG. 1) outputs the constructed three-dimensional medial axis model of the organ of interest ((A) model construction step: step A10). The three-dimensional medial axis model is represented by a combination (example: linear combination) of (a) average shape of an organ of interest candidate region and (b) high-frequency shape (example: principal component).

次に、関心臓器３次元メディアルアクシスモデル基準セグメンテーション部２２（図１参照）は、構築された関心臓器の３次元メディアルアクシスモデルに基づいて（即ち、関心臓器の３次元メディアルアクシスモデルを照合させて）、（Ｂ）モデル照合工程・ステップＢ０６で抽出された関心臓器候補領域の３次元メディアルアクシスを選択してセグメンテーションを行う。このステップでは、以下の（１）〜（６）の処理が行われる。
（１）３次元メディアルアクシスモデルを変形しながら、入力画像、即ちステップＢ０６にて抽出された３次元メディアルアクシスに照合し、３次元メディアルアクシスモデルそのものを最適化する。
（２）一致度を算出する。
（３）一致度の高い３次元メディアルアクシスを関心臓器の３次元メディアルアクシスとして選択する。
（４）補間処理（例：Ｂ−ｓｐｌｉｎｅ補間処理）を用いて、選択された３次元メディアルアクシスの欠落部（例：血管の分岐部）を補間する。
（５）この選択され補間された３次元メディアルアクシスの各画素は、（（Ｂ）モデル照合工程：ステップＢ０６）で求めた距離値を有しているため、この距離値で各画素を膨張することで関心臓器領域が復元される。
（６）または、３次元メディアルアクシスを中心軸として制約あり最適化法（例：拡張ラグランジュ乗数法）を用いた楕円柱モデルフィッティングにより関心臓器領域が復元される。 Next, the organ of interest 3D medial axis model reference segmentation unit 22 (see FIG. 1) is based on the constructed 3D medial axis model of the organ of interest (ie, the 3D medial axis model of the organ of interest is generated). (B) Model matching step/(B) Model matching step: The three-dimensional medial axis of the organ candidate region of interest extracted in step B06 is selected and segmentation is performed. In this step, the following processes (1) to (6) are performed.
(1) While transforming the 3D medial axis model, the 3D medial axis model itself is optimized by collating with the input image, that is, the 3D medial axis model extracted in step B06.
(2) Calculate the degree of coincidence.
(3) A 3D medial axis with a high degree of coincidence is selected as the 3D medial axis of the organ of interest.
(4) Interpolation is performed on a selected three-dimensional medial axis lacking portion (eg, blood vessel branching portion) using interpolation processing (eg, B-spline interpolation processing).
(5) Since each pixel of the selected and interpolated three-dimensional medial axis has the distance value obtained in ((B) model matching step: step B06), each pixel is expanded by this distance value. By doing so, the organ region of interest is restored.
(6) Alternatively, the organ of interest is restored by elliptic cylinder model fitting using a constrained optimization method (eg, extended Lagrange multiplier method) with the three-dimensional medial axis as the central axis.

以上により、（Ａ）モデル構築工程及び（Ｂ）モデル照合工程が終了する。なお、後で説明するように、関心臓器画像自動セグメンテーション装置４の関心臓器画像評価部２４（図１参照）は、セグメンテーションされた関心臓器の画像についての評価や演算を行う。例えば、後で説明するように、関心臓器が大動脈・肺動脈幹・主肺動脈である場合、関心臓器画像評価部２４は、セグメンテーションされた大動脈・肺動脈幹・主肺動脈のデータにより直径を３次元計測する。 As a result, the (A) model building process and the (B) model matching process are completed. As will be described later, the organ-of-interest image evaluation unit 24 (see FIG. 1) of the organ-of-interest image automatic segmentation apparatus 4 evaluates and calculates the segmented image of the organ-of-interest. For example, as will be described later, when the organ of interest is the aorta/pulmonary artery trunk/main pulmonary artery, the organ-of-interest image evaluation unit 24 measures the diameter three-dimensionally based on the segmented data of the aorta/pulmonary artery trunk/main pulmonary artery. ..

［１．３．関心臓器画像自動セグメンテーションシステムのまとめ］
以上のように、第１の実施形態に係る関心臓器画像自動セグメンテーションシステム２は、非造影ＣＴ画像データセットを格納する外部記憶装置２６、及び、関心臓器画像自動セグメンテーション装置４を含む。
関心臓器画像自動セグメンテーション装置４は、制御部６を含み、制御部６は、
関心臓器候補領域セグメンテーション部１６と、
関心臓器候補領域３次元メディアルアクシス抽出部１８と、
関心臓器３次元メディアルアクシスモデル構築部２０と、及び、
関心臓器３次元メディアルアクシスモデル基準セグメンテーション部２２と
を備え、
関心臓器候補領域セグメンテーション部１６は、入力された、関心臓器候補領域を含む通常線量／低線量のＣＴ画像データセットからなる学習データセットについて、関心臓器候補領域のセグメンテーションを行い、更に、入力された、関心臓器候補領域を含む通常線量／低線量のＣＴ画像データセットからなるテストデータセットについて、関心臓器候補領域のセグメンテーションを行い、
関心臓器候補領域３次元メディアルアクシス抽出部１８は、関心臓器候補領域のセグメンテーションが行われた学習データセットについて関心臓器候補領域の３次元メディアルアクシスを抽出し、更に、関心臓器候補領域のセグメンテーションが行われたテストデータセットについて関心臓器候補領域の３次元メディアルアクシスを抽出し、
関心臓器３次元メディアルアクシスモデル構築部２０は、学習データセットにおける、抽出された関心臓器候補領域の３次元メディアルアクシスのデータに基づいて、関心臓器の３次元メディアルアクシスモデルを構築し、
関心臓器３次元メディアルアクシスモデル基準セグメンテーション部２２は、構築された関心臓器の３次元メディアルアクシスモデルを照合させて、関心臓器候補領域のセグメンテーションが行われたテストデータセットから抽出された関心臓器候補領域の３次元メディアルアクシスを選択してセグメンテーションを行う。 [1.3. Summary of Automatic Organ Image Segmentation System of Interest]
As described above, the organ-of-interest image automatic segmentation system 2 according to the first embodiment includes the external storage device 26 that stores the non-contrast CT image data set and the organ-of-interest image automatic segmentation device 4.
The organ-of-interest image automatic segmentation apparatus 4 includes a control unit 6, and the control unit 6
An organ of interest candidate region segmentation unit 16,
An organ of interest candidate region three-dimensional medial axis extraction unit 18,
An organ of interest 3D medial axis model construction unit 20, and
An organ of interest 3D medial axis model reference segmentation unit 22 and
The organ-of-interest candidate region segmentation unit 16 performs segmentation of the organ-of-interest candidate region on the input learning data set including the CT image data set of the normal dose/low dose including the organ-of-interest candidate region, and is further input. , Segmentation of the organ of interest candidate region is performed on a test data set consisting of a normal dose/low dose CT image data set including the organ of interest candidate region,
The organ-of-interest candidate region three-dimensional medial axis extraction unit 18 extracts a three-dimensional medial-axis of the organ-of-interest candidate region from the learning data set on which the organ-of-interest candidate region segmentation is performed, and further, the segmentation of the organ-of-interest candidate region is performed. 3D medial axis of the organ of interest candidate area was extracted from the test data set
The organ of interest 3D medial axis model construction unit 20 constructs a 3D medial axis model of the organ of interest based on the extracted 3D medial axis data of the organ of interest candidate region in the learning data set,
The organ of interest 3D medial axis model reference segmentation unit 22 collates the constructed 3D medial axis model of the organ of interest, and the organ of interest extracted from the test data set in which the segment of the organ of interest candidate is segmented. Segmentation is performed by selecting the three-dimensional medial axis of the candidate area.

第１の実施形態に係る関心臓器画像自動セグメンテーションシステムを利用することにより、非造影ＣＴ画像に対して、関心臓器のセグメンテーションを自動的に且つ正確に実施することができる。 By using the organ-of-interest image automatic segmentation system according to the first embodiment, the organ-of-interest can be segmented automatically and accurately for a non-contrast CT image.

［実施例１］
［２．１．関心臓器が大動脈・肺動脈幹・主肺動脈である場合の、関心臓器画像自動セグメンテーションシステムの詳細動作］
図３は、実施例１における関心臓器画像自動セグメンテーションシステム２の動作を示すフロー図である。実施例１は、関心臓器が大動脈・肺動脈幹・主肺動脈である場合の例である。図３に示す実施例１においても、関心臓器画像自動セグメンテーションシステム２は、（Ａ）モデル構築工程と、（Ｂ）モデル照合工程とを実行する。 [Example 1]
[2.1. Detailed operation of the automatic organ image segmentation system of interest when the organ of interest is the aorta, pulmonary artery trunk, or main pulmonary artery]
FIG. 3 is a flowchart showing the operation of the organ-of-interest image automatic segmentation system 2 in the first embodiment. Example 1 is an example in which the organs of interest are the aorta/pulmonary artery trunk/main pulmonary artery. Also in the first embodiment shown in FIG. 3, the organ-of-interest image automatic segmentation system 2 executes (A) model building step and (B) model matching step.

図３のフロー図、及び図４〜図１０を参照して、実施例１における関心臓器画像自動セグメンテーションシステム２の詳細動作を説明する。 Detailed operations of the organ-of-interest image automatic segmentation system 2 according to the first embodiment will be described with reference to the flowchart of FIG. 3 and FIGS. 4 to 10.

図３に概略示すように、関心臓器画像自動セグメンテーションシステム２は、（Ａ）モデル構築工程と（Ｂ）モデル照合工程とを実施する。
（Ａ）モデル構築工程は、概略、学習データセットの入力（ステップＡ２２）、縦隔内血管候補領域のセグメンテーション（ステップＡ２４）、楕円柱形状の縦隔内血管の３次元メディアルアクシスの抽出（ステップＡ２６）、大動脈・肺動脈幹・主肺動脈の３次元メディアルアクシスモデルの構築（ステップＡ２８）、及び、大動脈・肺動脈幹・主肺動脈の３次元メディアルアクシスモデルの出力（ステップＡ３０）からなる。
（Ｂ）モデル照合工程は、概略、テストデータセット（セグメンテーション処理の対象データ）の入力（ステップＢ２２）、縦隔内血管候補領域のセグメンテーション（ステップＢ２４）、楕円柱形状の縦隔内血管の３次元メディアルアクシスの抽出（ステップＢ２６）、大動脈・肺動脈幹・主肺動脈の３次元メディアルアクシスモデルに基づく大動脈・肺動脈幹・主肺動脈のセグメンテーション（ステップＢ３２）、及び、大動脈・肺動脈幹・主肺動脈の直径の３次元計測（ステップＢ３４）からなる。 As schematically shown in FIG. 3, the organ-of-interest image automatic segmentation system 2 performs (A) model building step and (B) model matching step.
(A) In the model building process, an outline, input of a learning data set (step A22), segmentation of a candidate vessel in the mediastinum (step A24), and extraction of a three-dimensional medial axis of an elliptic cylindrical mediastinal vessel ( Step A26), construction of a three-dimensional medial axis model of the aorta/pulmonary trunk/main pulmonary artery (step A28), and output of a three-dimensional medial axis model of the aorta/pulmonary trunk/main pulmonary artery (step A30).
(B) In the model matching process, the test data set (target data of the segmentation process) is input (step B22), the segmentation of the mediastinal vessel candidate region (step B24), and the elliptic cylinder-shaped mediastinal vessel 3 are selected. -Dimensional medial axis extraction (step B26), segmentation of aorta/pulmonary artery trunk/main pulmonary artery based on 3D medial axis model of aorta/pulmonary artery trunk/main pulmonary artery (step B32), and aorta/pulmonary artery trunk/main pulmonary artery 3D measurement of the diameter (step B34).

即ち、（Ａ）モデル構築工程では、縦隔血管領域の３次元ユークリッド距離変換画像から算出する線らしさとメディアルアクシスの方向類似度を用いて血管内候補領域の３次元メディアルアクシスを抽出する（ステップＡ２６）。学習データセットの３次元メディアルアクシスの中から大動脈・肺動脈幹・主肺動脈の３次元メディアルアクシスを選択し、Ｂ−ｓｐｌｉｎｅ補間処理した後に平均形状および主成分を求めて、これらを３次元メディアルアクシスモデルとする（ステップＡ２８、ステップＡ３０）。（Ｂ）モデル照合工程では、入力画像（テストデータセット）から抽出した３次元メディアルアクシス（ステップＢ２６）に対して、３次元メディアルアクシスモデル（ステップＡ２８、ステップＡ３０）を照合することで、大動脈・肺動脈幹・主肺動脈の３次元メディアルアクシスを選択する。これを補間処理（例えば、Ｂ−ｓｐｌｉｎｅ補間処理）した後に３次元ユークリッド距離値に基づいて大動脈・肺動脈幹・主肺動脈の領域を復元する（ステップＢ３２）。復元された３次元血管領域から上行大動脈・肺動脈幹・右主肺動脈・左主肺動脈の直径を計測する（ステップ３４）。 That is, in the (A) model building step, the three-dimensional medial axis of the intravascular candidate area is extracted using the linelikeness calculated from the three-dimensional Euclidean distance transformed image of the mediastinum blood vessel area and the directional similarity of the medial axis. (Step A26). The 3D medial axes of the aorta, pulmonary trunk, and main pulmonary artery are selected from the 3D medial axes of the learning data set, the B-spline interpolation processing is performed, and then the average shape and the main component are obtained. This is a luaxis model (step A28, step A30). (B) In the model matching step, by matching the three-dimensional medial axis model (step A28, step A30) with the three-dimensional medial axis (step B26) extracted from the input image (test data set), Select 3D medial axis of aorta, pulmonary trunk and main pulmonary artery. After this is subjected to interpolation processing (for example, B-spline interpolation processing), the regions of the aorta/pulmonary artery trunk/main pulmonary artery are restored based on the three-dimensional Euclidean distance value (step B32). The diameters of the ascending aorta, pulmonary trunk, right main pulmonary artery, and left main pulmonary artery are measured from the restored three-dimensional blood vessel region (step 34).

以下にて、更に詳細動作を説明する。 The detailed operation will be described below.

［２．１．１．学習データセットの入力（Ａ２２）、及び、テストデータセットの入力（Ｂ２２）］
関心臓器画像自動セグメンテーション装置４は、学習データセットを入力し（ステップＡ２２）、並びに、テストデータセット（セグメンテーション処理の対象データ）を入力する（ステップＢ２２）。 [2.1.1. Input of learning data set (A22) and input of test data set (B22)]
The organ-of-interest image automatic segmentation device 4 inputs the learning data set (step A22) and the test data set (target data of the segmentation process) (step B22).

実施例１における実証作業では、発明者らは、２つの医療施設から３種類のＣＴ画像データセットを収集した。これらは医療施設の倫理審査委員会の承認を得て収集した。 In the demonstration work in Example 1, the inventors collected three types of CT image data sets from two medical facilities. These were collected with the approval of the ethical review board of the medical facility.

東京都予防医学協会で実施された低線量ＣＴ検診において撮影されたＣＴ画像のうち、１２１例をデータセットＡ、６４例をデータセットＢとした。これらの受診者はＣＴ検診で異常なしと診断された。データセットＡとデータセットＢのＣＴ画像は、株式会社東芝製Aquilion（登録商標）で撮影された。撮影条件は、管電流30mA、管電圧120kVp、画素サイズ0.625または0.781mm、画像サイズ512×512pixel、再構成関数FC01、スライス厚1.0mm、再構成間隔1.0mmである。受診者の年齢の平均値および標準偏差は62.3±10.0歳、68.0±10.8歳である。データセットＢの一秒率は正常値であり、その平均値および標準偏差は84.0±3.8であった。 Of the CT images taken in the low-dose CT screening carried out by the Tokyo Metropolitan Preventive Medicine Association, 121 cases were data set A and 64 cases were data set B. These patients were diagnosed as having no abnormality by CT screening. CT images of the data set A and the data set B were taken with Aquilion (registered trademark) manufactured by Toshiba Corporation. The imaging conditions are: tube current 30 mA, tube voltage 120 kVp, pixel size 0.625 or 0.781 mm, image size 512×512 pixels, reconstruction function FC01, slice thickness 1.0 mm, reconstruction interval 1.0 mm. The mean and standard deviation of the age of the examinees are 62.3 ± 10.0 and 68.0 ± 10.8. The one second rate of data set B was a normal value, and its average value and standard deviation were 84.0±3.8.

データセットＣは、千葉大学病院で侵襲的な右心カテーテル検査によって慢性血栓塞栓性肺高血圧症と診断された１９例である。データセットＣのＣＴ画像は株式会社東芝製Aquilion（登録商標）で撮影された。撮影条件は管電流112-295mA、管電圧120kVp、画素サイズ0.570-0.698mm、画像サイズ512×512pixel、再構成関数FC07、スライス厚0.5mm、再構成間隔0.5mmである。患者の年齢の平均値および標準偏差は64.6±6.9歳であり、平均肺動脈は44.1±8.3mmHgである。 Data set C is 19 cases diagnosed as chronic thromboembolic pulmonary hypertension by invasive right heart catheterization at Chiba University Hospital. The CT image of the data set C was taken with Toshiba Aquilion (registered trademark). The imaging conditions are tube current 112-295 mA, tube voltage 120 kVp, pixel size 0.570-0.698 mm, image size 512×512 pixels, reconstruction function FC07, slice thickness 0.5 mm, reconstruction interval 0.5 mm. The mean and standard deviation of the patient's age is 64.6 ± 6.9 years and the mean pulmonary artery is 44.1 ± 8.3 mmHg.

これらに加えて、公開ＣＴ画像データベースＬＩＤＣの中から１０例を選択し、これをデータセットＤとした。 In addition to these, 10 examples were selected from the public CT image database LIDC, and this was set as the data set D.

全てのデータセットに対して３次元線形補間処理を適用した。学習データセットにデータセットＡを用い、テストデータセットにデータセットＢ、Ｃ、Ｄを用いた。 A three-dimensional linear interpolation process was applied to all datasets. Data set A was used as the learning data set, and data sets B, C, and D were used as the test data set.

なお、当初のデータセットに対する、正解領域のマーキング操作、並びに、大動脈および肺動脈幹の直径の計測が、以下のように行われた。大動脈・肺動脈幹・主肺動脈の正解領域は、観察者１名によって手動操作でマーキングされた。観察者は１０スライスごとに正解領域をマーキングした。ＣＴ画像閲覧時のウインドウ幅とウインドウ中心をそれぞれ300HUと50HUに設定した。観察者はデータセットＡの中から３０例を選択し、マーキング操作を２回実施した。２回の間隔は２週間とした。２回のマーキング結果に50% consensus criterionを適用し、これを正解領域とした。データセットＢ、Ｃ、Ｄに対しては、正解領域のマーキング操作を１回実施した。マーキングしたスライス枚数の平均値および標準偏差は、大動脈で15.1±2.2枚、肺動脈幹・主肺動脈で6.2±1.4 枚であった。
大動脈及び肺動脈幹の直径の計測は２回実施された。２回の間隔は３日とされた。データセットＢ、Ｃ、Ｄにおける２回の大動脈径の計測結果の相関係数はそれぞれ0.973、0.990、0.993であった(p-values<0.001)。肺動脈幹径の計測結果の相関係数はそれぞれ0.970、0.990、0.986であった(p-values<0.001)。 In addition, the marking operation of the correct region and the measurement of the diameters of the aorta and the pulmonary trunk were performed on the initial data set as follows. The correct areas of the aorta, pulmonary artery trunk, and main pulmonary artery were manually marked by one observer. The observer marked the correct area every 10 slices. The window width and window center when viewing CT images were set to 300 HU and 50 HU, respectively. The observer selected 30 cases from the data set A and performed the marking operation twice. The interval between the two times was two weeks. The 50% consensus criterion was applied to the two marking results, and this was set as the correct answer region. For the data sets B, C, and D, the correct region marking operation was performed once. The average and standard deviation of the number of marked slices were 15.1±2.2 in the aorta and 6.2±1.4 in the pulmonary trunk/main pulmonary artery.
Aortic and pulmonary trunk diameter measurements were performed twice. The interval between the two was set to 3 days. The correlation coefficients of the results of two measurements of the aortic diameter in the data sets B, C, and D were 0.973, 0.990, and 0.993, respectively (p-values<0.001). The correlation coefficients of the measurement results of the pulmonary artery diameter were 0.970, 0.990, and 0.986, respectively (p-values<0.001).

［２．１．２．縦隔内血管候補領域のセグメンテーション（Ａ２４、Ｂ２４）］
次に、関心臓器候補領域セグメンテーション部１６は、入力された学習データセットについて縦隔内血管候補領域のセグメンテーションを行い（ステップＡ２４）、更に、入力されたテストデータセット（セグメンテーション処理の対象データ）について縦隔内血管候補領域のセグメンテーションを行う（ステップＢ２４）。 [2.1.2. Segmentation of candidate mediastinal vessels (A24, B24)]
Next, the organ-of-interest candidate region segmentation unit 16 performs segmentation of the candidate mediastinal vessel candidate region on the input learning data set (step A24), and further on the input test data set (target data of segmentation processing). Segmentation of the mediastinal vessel candidate region is performed (step B24).

実施例１においては、前処理として、バイラテラルフィルタ処理(σ_ｃ＝1.0, σ_γ＝30 HU)と胸部臓器の自動セグメンテーション法を適用する。体、骨、肺、気管・気管支の領域はＣＴ値と解剖学的特徴に基づいてセグメンテーションされる。縦隔領域は体領域の中から胸郭の骨格構造に基づいてセグメンテーションされる。 In the first embodiment, as the preprocessing, the bilateral filter processing (σ _c =1.0, σ _γ =30 HU) and the automatic segmentation method of the chest organ are applied. Regions of the body, bones, lungs, and trachea/bronchi are segmented based on CT values and anatomical features. The mediastinum region is segmented from the body region based on the skeletal structure of the thorax.

なお、縦隔内血管の候補領域はＣＴ値に基づいてセグメンテーションされる。図４に示すように縦隔領域のＣＴ値ヒストグラムは双峰性の分布となっている。このＣＴ値ヒストグラムは混合ガウスモデルに基づく分類法を用いてＮ_ｍクラスに分類される。頻度の最大値を有する分布を縦隔内血管の候補領域のＣＴ値分布とする。縦隔内血管の候補領域はＣＴ値のしきい値処理によってセグメンテーションする。このしきい値Ｔ_ｖは［数１］によって与えられる。
ｎ_ｓは定数、Ｉ_μとＩ_σは縦隔内血管の候補領域の平均ＣＴ値および標準偏差である。 The mediastinal blood vessel candidate region is segmented based on the CT value. As shown in FIG. 4, the CT value histogram of the mediastinum region has a bimodal distribution. The CT value histogram is classified into N _m class using the classification method based on Gaussian mixture model. The distribution having the maximum frequency is set as the CT value distribution of the candidate region of the mediastinal blood vessel. Candidate blood vessel regions in the mediastinum are segmented by thresholding CT values. This threshold T _v is given by [Equation 1].
n _s is a constant, and I _μ and I _σ are the average CT value and standard deviation of the candidate region of the mediastinal vessel.

［２．１．３．楕円柱形状の縦隔内血管の３次元メディアルアクシスの抽出（Ａ２６、Ｂ２６）］
次に、関心臓器候補領域３次元メディアルアクシス抽出部１８は、縦隔内血管候補領域のセグメンテーションが行われた学習データセットについて、楕円柱形状の縦隔内血管の３次元メディアルアクシスを抽出し（ステップＡ２６）、更に、縦隔内血管候補領域のセグメンテーションが行われたテストデータセット（セグメンテーション処理の対象データ）について、楕円柱形状の縦隔内血管の３次元メディアルアクシスを抽出する（ステップＢ２６）。 [2.1.3. Extraction of three-dimensional medial axis of elliptical column-shaped mediastinum (A26, B26)]
Next, the organ candidate region three-dimensional medial axis extraction unit 18 extracts the three-dimensional medial axis of the mediastinal vessel in the elliptic cylinder shape from the learning data set in which the blood vessel candidate region in the mediastinum is segmented. Then, (step A26), the three-dimensional medial axis of the oval-cylindrical mediastinal vessel is extracted from the test data set (target data of the segmentation processing) in which the mediastinal vessel candidate region has been segmented (segmentation processing) ( Step B26).

実施例１においては、線らしさとメディアルアクシスの方向類似度とに基づいて楕円柱状の縦隔内血管領域における３次元メディアルアクシスを抽出する。これらの指標は、縦隔内血管の候補領域の３次元ユークリッド距離変換画像から４次元超曲面の主曲率を算出して求める。３次元メディアルアクシス類似度Ｓ_ａｘｉｓは［数２］によって算出する。
ここで、ｉ＝（ｘ，ｙ，ｚ）は３次元画像の画素を示し、Ｓ_ｌｉｎｅ（ｉ）は線らしさ、Ｓ_ｄｉｒ（ｉ）は３次元メディアルアクシスの方向類似度、
は主曲率のノルム、Ｔ_ｋはノルムの小さい領域を除去するためのしきい値、である。 In the first embodiment, the three-dimensional medial axis in the elliptic cylindrical mediastinal blood vessel region is extracted based on the linearity and the directional similarity of the medial axis. These indexes are obtained by calculating the principal curvature of the four-dimensional hypersurface from the three-dimensional Euclidean distance transformed image of the candidate region of the mediastinum blood vessel. The three-dimensional medial axis similarity S _axis is calculated by [ _Equation 2].
Here, i=(x, y, z) represents a pixel of a three-dimensional image, S _line (i) is linearity, S _dir (i) is a directional similarity of three-dimensional medial axis,
Is a norm of principal curvature, and T _k is a threshold for removing a region with a small norm.

図５は、３次元メディアルアクシス３２の抽出のための円柱状の関心領域（ＣＲＯＩ）３４を示す図である。Ｄ_ＣＲＯＩは直径、Ｌ_ＣＲＯＩは長さ、Ｐ_ＣＲＯＩは長軸方向である。図５に示すように、各画素における線らしさと３次元メディアルアクシスの方向類似度とは、円柱状の関心領域(ＣＲＯＩ)の中で算出する。関心領域の長軸方向Ｐ_ＣＲＯＩはＣＲＯＩの中心画素における最小主曲率の方向に設定する。ＣＲＯＩの長さＬ_ＣＲＯＩはＣＲＯＩの中心画素の３次元ユークリッド距離の１／４に設定する。線らしさＳ_ｌｉｎｅ（ｉ）は［数３］によって算出する。
ここで、ｊ＝（ｘ，ｙ，ｚ）はＣＲＯＩの画素を示し、Ｒ_ＣＲＯＩはＣＲＯＩの画素群、Ｎ_ＣＲＯＩはＣＲＯＩの画素数、ｋ（ｊ）は主曲率ベクトルである。更に、ｋ_ｌｉｎｅは典型的な線形状の主曲率ベクトルであり、
で定義する。３次元メディアルアクシスの方向類似度Ｓ_ｄｉｒ（ｉ）は［数４］によって算出する。
ここで、Ｐ（ｊ）は最小主曲率の方向を示す。上述のように、Ｐ_ＣＲＯＩ（ｉ）は関心領域の長軸方向であり、ＣＲＯＩの中心画素における最小主曲率の方向に設定される。 FIG. 5 is a view showing a cylindrical region of interest (CROI) 34 for extracting the three-dimensional medial axis 32. D _CROI is the diameter, L _CROI is the length, and P _CROI is the major axis direction. As shown in FIG. 5, the line likeness and the directional similarity of the three-dimensional medial axis in each pixel are calculated in a cylindrical region of interest (CROI). The major axis direction P _CROI of the region of interest is set to the direction of the minimum principal curvature in the central pixel of the CROI. The length L _CROI of the CROI is set to 1/4 of the three-dimensional Euclidean distance of the central pixel of the CROI. The linearity S _line (i) is calculated by [Equation 3].
Here, j=(x, y, z) represents a pixel of _CROI , R _CROI is a pixel group of _CROI , N _CROI is the number of pixels of CROI, and k(j) is a main curvature vector. Further, k _line is a typical linear-shaped principal curvature vector,
Define in. The directional similarity S _dir (i) of the three-dimensional medial axis is calculated by [Equation 4].
Here, P(j) indicates the direction of the minimum principal curvature. As described above, P _CROI (i) is the major axis direction of the region of interest, and is set in the direction of the minimum principal curvature in the central pixel of the CROI.

縦隔内血管の候補領域３０の中で、３次元メディアルアクシス類似度Ｓ_ａｘｉｓがしきい値Ｔ_ａｘｉｓを超える画素を、３次元メディアルアクシス３２として採用する。 In the candidate region 30 of the blood vessel in the mediastinum, pixels having the three-dimensional medial axis similarity S _axis exceeding the threshold value T _axis are adopted as the three-dimensional medial axis 32.

［２．１．４．大動脈・肺動脈幹・主肺動脈の３次元メディアルアクシスモデルの構築、及び出力（Ａ２８、Ａ３０）］
次に、関心臓器３次元メディアルアクシスモデル構築部２０は、抽出された楕円柱形状の縦隔内血管の３次元メディアルアクシスのデータに基づいて大動脈・肺動脈幹・主肺動脈の３次元メディアルアクシスモデルを構築し（ステップＡ２８）、出力する（ステップＡ３０）。 [2.1.4. Construction and output of 3D medial axis model of aorta, pulmonary trunk and main pulmonary artery (A28, A30)]
Next, the organ-of-interest 3D medial axis model construction unit 20 uses the extracted 3D medial axis data of the elliptic-cylindrical mediastinal vessel to extract the 3D medial axes of the aorta, pulmonary trunk, and main pulmonary artery. An axis model is constructed (step A28) and output (step A30).

実施例１においては、大動脈・肺動脈幹・主肺動脈の３次元メディアルアクシスが、観察者（若しくは操作者）による外部操作によって、楕円柱形状の縦隔内血管の３次元メディアルアクシスの中から、手動操作で選択される。その後３次元メディアルアクシスの途切れた領域はＢ−ｓｐｌｉｎｅ補間処理によって接続する。 In Example 1, the three-dimensional medial axis of the aorta, pulmonary trunk, and main pulmonary artery was selected from among the three-dimensional medial axis of the oval-shaped mediastinal vessel by an external operation by the observer (or operator). , Manually selected. After that, the discontinuous areas of the three-dimensional medial axis are connected by B-spline interpolation processing.

即ち、学習データセットに基づくデータの中から、（観察者若しくは操作者等の外部操作によって）基準とする１例が選択される。その他の例、即ち、学習データセットに基づくその他のデータは、空間正規化して基準例のサイズおよび座標に一致される。ここで空間正規化は、拡大縮小処理と平行移動処理とからなる。拡大縮小処理の一致指標として肺領域を包含する矩形を用いる。平行移動処理の一致指標として気管分岐部の座標を用いる。空間正規化された３次元メディアルアクシスは１／４に縮小し、ガウシアンフィルタを適用する。 That is, from the data based on the learning data set, one reference example (by an external operation such as an observer or an operator) is selected. Other examples, other data based on the training data set, are spatially normalized to match the size and coordinates of the reference example. Here, the space normalization includes a scaling process and a translation process. A rectangle including the lung region is used as a matching index for the scaling process. The coordinates of the tracheal bifurcation are used as the matching index for the parallel movement processing. The spatially normalized 3D medial axis is reduced to 1/4 and a Gaussian filter is applied.

多様な血管形状に対するロバスト性を高めるために、３次元メディアルアクシスモデルＺ（ｗ）を構築する。これは以下の［数５］のように平均ベクトルと主成分の線形結合で表現される。
ここで、Ｚ_μは平均ベクトル、ｎは主成分数、Ｚ_ｎは主成分、σ_ｎは主成分の標準偏差、ｗ_ｎは主成分に対する重み係数である。平均ベクトルは、学習データセットの３次元メディアルアクシスの平均値であり、これは大動脈・肺動脈幹・主肺動脈の事前確率を表す。 A three-dimensional medial axis model Z(w) is constructed in order to enhance robustness against various blood vessel shapes. This is expressed by a linear combination of the average vector and the principal component as in the following [Equation 5].
Here, Z _μ is the average vector, n is the number of principal components, Z _n is the principal components, σ _n is the standard deviation of the principal components, and w _n is the weighting coefficient for the principal components. The mean vector is the mean value of the three-dimensional medial axis of the training data set, which represents the prior probability of the aorta/pulmonary trunk/main pulmonary artery.

主成分は、主成分分析によって得られる。重み係数ｗ＝（ｗ_１，ｗ_２，・・・ｗ_ｎ）は、（Ｂ）モデル照合工程において（特に、次のステップＢ３２において）最適化される。主成分数は累積寄与率によって決定されるが、そのしきい値として0.8を採用した。大動脈の３次元メディアルアクシスモデルとして第１主成分から第５主成分を採用した。肺動脈幹・主肺動脈の３次元メディアルアクシスモデルとして第１主成分と第２主成分を採用した。累積寄与率のしきい値をどのような値にするか、及び、どの主成分まで採用するか、は適宜決定され得る。 The principal component is obtained by principal component analysis. The weighting factor w=(w ₁ , w ₂ ,... W _n ) is optimized in the (B) model matching process (particularly in the next step B32). The number of principal components is determined by the cumulative contribution rate, and 0.8 was adopted as the threshold value. The first to fifth principal components were adopted as the three-dimensional medial axis model of the aorta. The first principal component and the second principal component were adopted as a three-dimensional medial axis model of the pulmonary trunk/main pulmonary artery. The value of the threshold value of the cumulative contribution rate and which principal component to employ can be appropriately determined.

［２．１．５．大動脈・肺動脈幹・主肺動脈の３次元メディアルアクシスモデルに基づくセグメンテーション（Ｂ３２）］
次に、関心臓器３次元メディアルアクシスモデル基準セグメンテーション部２２は、構築された大動脈・肺動脈幹・主肺動脈の３次元メディアルアクシスモデルに基づいて（即ち、大動脈・肺動脈幹・主肺動脈の３次元メディアルアクシスモデルを照合させて）、（Ｂ）モデル照合工程・ステップＢ０６で抽出された楕円柱形状の縦隔内血管の３次元メディアルアクシスを選択してセグメンテーションを行う。 [2.1.5. Segmentation based on 3D medial axis model of aorta/pulmonary artery trunk/main pulmonary artery (B32)]
Next, the organ-of-interest 3D medial axis model reference segmentation unit 22 is based on the constructed 3D medial axis model of the aorta/pulmonary artery trunk/main pulmonary artery (ie, 3D of the aorta/pulmonary artery trunk/main pulmonary artery). The medial axis model is collated), and the three-dimensional medial axis of the blood vessel in the mediastinum of the elliptic cylinder shape extracted in (B) model collating step/step B06 is selected and segmentation is performed.

実施例１においては、大動脈をセグメンテーションした後に、肺動脈幹・主肺動脈をセグメンテーションする。このための大動脈・肺動脈幹・主肺動脈の３次元メディアルアクシスは３次元メディアルアクシスモデルの照合によって選択する。 In the first embodiment, after segmenting the aorta, the pulmonary artery trunk/main pulmonary artery is segmented. For this purpose, the three-dimensional medial axis of the aorta, pulmonary artery trunk, and main pulmonary artery is selected by matching the three-dimensional medial axis model.

入力画像に最適なモデルＺ（ｗ）は、重み係数ｗ＝（ｗ_１，ｗ_２，・・・ｗ_ｎ）を変動することで得る。このためのコスト関数ｆは［数６］を用いる。
ここで、Ｒ_ａｘｉｓは３次元メディアルアクシスの画素群であり、Ｃ_ｚ（ｗ，ｉ）は［数７］から求める。
ここで、Ｚ（ｗ，ｉ）は重み係数ｗを与えたときの３次元メディアルアクシスモデルにおける事前確率値である。Ｐ（ｉ）は入力画像の３次元メディアルアクシスの方向であり、これは最小主曲率の方向を用いる。Ｐ_Ｚ（ｗ）（ｉ）は３次元メディアルアクシスモデルＺ（ｗ）の方向である。これは３次元メディアルアクシスモデルの４次元超曲面曲率を算出し、最小主曲率の方向を用いる（図６参照）。 The optimum model Z(w) for the input image is obtained by changing the weighting coefficient w=(w ₁ , w ₂ ,... W _n ). [Equation 6] is used as the cost function f for this purpose.
Here, R _axis is a pixel group of a three-dimensional _{medial axis} , and C _z (w,i) is obtained from [Equation 7].
Here, Z(w,i) is a priori probability value in the three-dimensional medial axis model when the weighting coefficient w is given. P(i) is the direction of the three-dimensional medial axis of the input image, which uses the direction of minimum principal curvature. P _Z(w) (i) is the direction of the three-dimensional medial axis model Z(w). This calculates the four-dimensional hypercurved surface curvature of the three-dimensional medial axis model and uses the direction of the minimum principal curvature (see FIG. 6).

図６は、最適化した３次元メディアルアクシスモデル（の例）とその方向を示す図である。図６（Ａ）は、大動脈の３次元メディアルアクシスモデルの最大値投影を示し、図６（Ｂ）は、その方向の最大角度投影を示す。図６（Ｃ）は、肺動脈幹・主肺動脈の３次元メディアルアクシスモデルの最大値投影を示し、図６（Ｄ）は、その方向の最小角度投影を示す。角度投影像（（Ｂ）（Ｄ））のハッチング濃度は、水平軸との角度を表す。淡から濃にかけて角度が大きいことを表す。 FIG. 6 is a diagram showing (an example of) an optimized three-dimensional medial axis model and its direction. FIG. 6A shows the maximum intensity projection of the three-dimensional medial axis model of the aorta, and FIG. 6B shows the maximum angle projection in that direction. 6C shows the maximum intensity projection of the three-dimensional medial axis model of the pulmonary trunk/main pulmonary artery, and FIG. 6D shows the minimum angle projection in that direction. The hatching density of the angle projection images ((B) and (D)) represents the angle with the horizontal axis. Indicates that the angle is large from light to dark.

コスト関数の局所最適解はＱｕａｓｉ−Ｎｅｗｔｏｎｍｅｔｈｏｄによって決定する。最適化された３次元メディアルアクシスモデルを入力画像に照合し、Ｃ_Ｚがしきい値Ｔ_Ｃを超える画素を大動脈・肺動脈幹・主肺動脈の３次元メディアルアクシスとして抽出する。 The local optimum solution of the cost function is determined by Quasi-Newton method. Optimized 3D medial axis model matches the input image, and extracts pixels C _Z exceeds the threshold T _C as a three-dimensional medial axis of the aorta, pulmonary trunk, main pulmonary artery.

断続した３次元メディアルアクシスは、補間処理（例えば、Ｂ−ｓｐｌｉｎｅ補間処理）によって接続される。補間の線の太さは３画素とし、これを３次元メディアルアクシスに加える。この３次元メディアルアクシスから大動脈・肺動脈幹・主肺動脈の３次元領域を復元する。復元は３次元メディアルアクシスの抽出時に算出した３次元ユークリッド距離を利用した膨張処理によって行う。または、３次元メディアルアクシスを中心軸として制約あり最適化法（例えば拡張ラグランジュ乗数法）を利用した楕円柱モデルフィッティングによって行う。 The intermittent three-dimensional medial axes are connected by interpolation processing (for example, B-spline interpolation processing). The thickness of the interpolation line is 3 pixels, and this is added to the 3D medial axis. From this 3D medial axis, 3D regions of the aorta, pulmonary trunk and main pulmonary artery are restored. The restoration is performed by an expansion process using the three-dimensional Euclidean distance calculated when the three-dimensional medial axis is extracted. Alternatively, it is performed by elliptic cylinder model fitting using a constrained optimization method (for example, extended Lagrange multiplier method) with the three-dimensional medial axis as the central axis.

［２．１．６．大動脈・肺動脈幹・主肺動脈の直径の３次元計測（Ｂ３４）］
次に、関心臓器画像評価部２４は、セグメンテーションされた大動脈・肺動脈幹・主肺動脈の３次元領域データにより直径を３次元計測する。 [2.1.6. Three-dimensional measurement of diameters of aorta/pulmonary trunk/main pulmonary artery (B34)]
Next, the organ-of-interest image evaluation unit 24 three-dimensionally measures the diameter based on the segmented three-dimensional region data of the aorta/pulmonary artery trunk/main pulmonary artery.

実施例１においては、上行大動脈、肺動脈幹、右主肺動脈、及び左主肺動脈の直径は、セグメンテーションされた３次元領域から自動計測される。計測位置は３次元ユークリッド距離に基づく細線化処理によって得られる血管芯線に沿って決定する。肺動脈の芯線は解剖学的情報に基づいて肺動脈幹・右主肺動脈・左主肺動脈に分類する。長さＬ_ｍの計測範囲を芯線に設定する。上行大動脈の計測範囲は肺動脈の分岐部と同じ画像を開始点とし、大動脈弓の方向へ長さＬ_ｍの位置を終了点とする（図７参照）。 In the first embodiment, the diameters of the ascending aorta, pulmonary trunk, right main pulmonary artery, and left main pulmonary artery are automatically measured from the segmented three-dimensional region. The measurement position is determined along the blood vessel core line obtained by the thinning process based on the three-dimensional Euclidean distance. The core line of the pulmonary artery is classified into the pulmonary trunk, the right main pulmonary artery, and the left main pulmonary artery based on anatomical information. The measurement range of the length L _m is set to the core wire. The measurement range of the ascending aorta has the same image as the bifurcation of the pulmonary artery as the starting point, and the position of length L _m in the direction of the aortic arch as the ending point (see FIG. 7).

図７は、血管直径の計測例を示す図である。図７（Ａ）は、血管直径の計測のための芯線を示している。図７（Ａ）において、交差線の部分は大動脈の芯線、右上がり斜線の部分は肺動脈幹の芯線、左上がり斜線の線は右肺動脈の芯線、濃い点々の部分は左肺動脈の芯線、白色は気道領域、及び、淡い点々の部分は直径の計測範囲である。図７（Ｂ）は、計測対象の領域を示している。交差線の部分は大動脈、右上がり斜線の部分は肺動脈幹・主肺動脈、白色は気道、及び、点々の部分は計測対象の領域である。 FIG. 7 is a diagram showing a measurement example of the blood vessel diameter. FIG. 7A shows a core wire for measuring the blood vessel diameter. In FIG. 7(A), the intersecting line portion is the aorta core line, the upward-sloping diagonal line portion is the pulmonary artery trunk core line, the upward-sloping diagonal line is the right pulmonary artery core line, the dark dotted portions are the left pulmonary artery core line, and white is The airway region and light dots are the diameter measurement range. FIG. 7B shows an area to be measured. The intersecting line part is the aorta, the obliquely rising part is the pulmonary trunk/main pulmonary artery, the white part is the airway, and the dotted parts are the measurement target regions.

図７を参照して、肺動脈幹の計測範囲は肺動脈分岐部を開始点とする。右主肺動脈・左主肺動脈の計測範囲は、肺動脈分岐部から５ｍｍ先を開始点とする。開始点と終了点に芯線に垂直な面を設定し、これらの面で区切られた３次元血管領域を計測対象とする。この領域の体積ｖから算出する以下の［数７ａ］の値を直径とする。
Referring to FIG. 7, the measurement range of the pulmonary artery trunk starts from the pulmonary artery bifurcation. The measurement range of the right main pulmonary artery/left main pulmonary artery is 5 mm ahead from the pulmonary artery bifurcation. A plane perpendicular to the core line is set at the start point and the end point, and a three-dimensional blood vessel region divided by these planes is set as a measurement target. The value of the following [Equation 7a] calculated from the volume v of this region is the diameter.

［２．１．７．実施例１における大動脈・肺動脈幹・主肺動脈のセグメンテーション方法の評価］
［２．１．７．１．設定について］
実施例１における大動脈・肺動脈幹・主肺動脈のセグメンテーション方法を、以下の設定で評価した。以下のこれらの値は、学習データセットを用いた事前実験の結果に基づいて設定された。しきい値Ｔ_ｋは0.01、直径Ｄ_ＣＲＯＩは3mm、しきい値Ｔ_ａｘｉｓは0.8、しきい値Ｔ_ｃは 0.2、長さＬ_ｍは20mmに設定した。計算時間は、2.20GHz Intel（登録商標） Xeon（登録商標）CPUを用いて22.8±2.0分であった。処理時間の大部分はモデル照合工程におけるモデル最適化処理で消費される。このため、高頻度の３次元メディアルアクシスモデルに限定して照合することで、処理時間は4.0±0.5 分に短縮された。 [2.1.7. Evaluation of Segmentation Method of Aorta/Pulmonary Artery/Main Pulmonary Artery in Example 1]
[2.1.7.1. About settings]
The segmentation method of the aorta/pulmonary artery trunk/main pulmonary artery in Example 1 was evaluated with the following settings. These values below were set based on the results of prior experiments with the training dataset. The threshold value T _k was set to 0.01, the diameter D _CROI was set to 3 mm, the threshold value T _axis was set to 0.8, the threshold value T _c was set to 0.2, and the length L _m was set to 20 mm. The calculation time was 22.8±2.0 minutes using a 2.20 GHz Intel (registered trademark) Xeon (registered trademark) CPU. Most of the processing time is consumed in the model optimization process in the model matching process. Therefore, the processing time was shortened to 4.0±0.5 minutes by matching only the high-frequency 3D medial axis model.

［２．１．７．２．セグメンテーションの性能評価］
学習データセットとテストデータセットとを入力データとして用いて、実施例１における大動脈・肺動脈幹・主肺動脈のセグメンテーション方法の性能を評価した。大動脈・肺動脈幹・主肺動脈のセグメンテーション結果の例を図８に示している。 [2.1.7.2. Performance evaluation of segmentation]
Using the learning data set and the test data set as input data, the performance of the segmentation method of the aorta/pulmonary artery trunk/main pulmonary artery in Example 1 was evaluated. FIG. 8 shows an example of the segmentation result of the aorta/pulmonary artery trunk/main pulmonary artery.

図８は、ＣＴ画像における大動脈・肺動脈幹・主肺動脈の抽出結果の例である。図８（Ａ）（Ｂ）は、データセットＢの１例の原画像とセグメンテーション結果とを示す。図８（Ｃ）（Ｄ）は、データセットＣの１例の原画像とセグメンテーション結果とを示す。右上がり斜線の部分は大動脈を、左上がり斜線の部分は肺動脈幹・主肺動脈を表している。 FIG. 8 is an example of the extraction result of the aorta/pulmonary artery trunk/main pulmonary artery in the CT image. 8A and 8B show an original image and a segmentation result of an example of the data set B. 8C and 8D show an original image and a segmentation result of an example of the data set C. The part with the diagonal line rising to the right represents the aorta, and the part with the diagonal line rising to the left represents the pulmonary trunk/main pulmonary artery.

セグメンテーション方法の性能は３種類の指標、即ち、Jaccard coefficient Ｊ（Jaccard係数）、Dice coefficient Ｄ（Dice係数）、mean boundary distance ＭＢＤによって評価した。Jaccard係数およびDice係数は0.0から1.0の値をとり、1.0は２つの領域が一致していることを表す。ＭＢＤは２つの領域の輪郭線間の距離であり、0は2つの領域の輪郭線が一致していることを表す。Jaccard係数、Dice係数、及びＭＢＤは、以下の［数８］、［数９］、［数１０］で表される。
ここで、ここで、|・|はcardinality（濃度）、∩はintersection（積）、∪はunion（和）、Ｓ_ａは実施例１におけるセグメンテーション方法によって自動セグメンテーションされた領域、Ｓ_ｍは観察者によって手動操作でマーキングされた正解領域、Ｎ_ｂは正解領域の輪郭線の画素数、ｍ_ｉ＝（ｍｘ_ｉ,ｍｙ_ｉ,ｍｚ_ｉ）は正解領域の輪郭線の画素群、ａ_ｊ＝（ａｘ_ｊ,ａｙ_ｊ,ａｚ_ｊ）は本手法によって自動セグメンテーションされた領域の輪郭線の画素群である。 The performance of the segmentation method was evaluated by three types of indexes, namely Jaccard coefficient J (Jaccard coefficient), Dice coefficient D (Dice coefficient), and mean boundary distance MBD. The Jaccard coefficient and the Dice coefficient take a value of 0.0 to 1.0, and 1.0 indicates that the two areas match. MBD is the distance between the contour lines of the two regions, and 0 indicates that the contour lines of the two regions are the same. The Jaccard coefficient, Dice coefficient, and MBD are represented by the following [Equation 8], [Equation 9], and [Equation 10].
Here, ||| is cardinality (concentration), ∩ is intersection (product), ∪ is union (sum), S _a is a region automatically segmented by the segmentation method in the first embodiment, and S _m is an observer. Correct region marked by manual operation with N _b , the number of pixels of the contour line of the correct region, m _i =(mx _i ,my _i ,m _z _i ) is the pixel group of the contour line of the correct region, and a _j =(ax _j , ay _j , az _j ) is a pixel group of the contour line of the area automatically segmented by this method.

学習データセット（データセットＡ：１２１例）の中から３０例を選択し、これを評価に用いた。変数Ｎ_ｍとｎ_ｓを2.0と2.5に設定したときに最高性能を示した。大動脈のセグメンテーションにおける Jaccard係数、Dice係数、ＭＢＤの平均値及び標準偏差は、0.930±0.013、0.964±0.007、0.405±0.108であった。肺動脈幹・主肺動脈のセグメンテーションにおけるJaccard係数、Dice係数、ＭＢＤの平均値および標準偏差は0.905±0.020、0.950±0.011、0.586±0.156であった。テストデータセット（データセットＢ、Ｃ、Ｄ）を用いた性能評価結果を以下の［表１］と［表２］に示す。表１は、大動脈のセグメンテーションの性能評価結果であり、表２は、肺動脈幹・主肺動脈のセグメンテーションの性能評価結果である。周知の従来手法に比べて高い性能を示している。データセットＢ、Ｃ、Ｄを用いた場合の性能に差はなく（p-values > 0.05）、実施例１におけるセグメンテーション方法が患者群や撮影条件にロバストであることが示された。 Thirty cases were selected from the learning data set (data set A: 121 cases) and used for evaluation. The best performance was obtained when the variables N _m and n _s were set to 2.0 and 2.5. The mean and standard deviation of Jaccard coefficient, Dice coefficient, MBD in aortic segmentation were 0.930±0.013, 0.964±0.007, 0.405±0.108. The mean and standard deviation of Jaccard coefficient, Dice coefficient, MBD in the segmentation of pulmonary artery/main pulmonary artery were 0.905±0.020, 0.950±0.011, and 0.586±0.156. The performance evaluation results using the test data sets (data sets B, C, D) are shown in [Table 1] and [Table 2] below. Table 1 is a performance evaluation result of segmentation of the aorta, and Table 2 is a performance evaluation result of segmentation of the pulmonary trunk/main pulmonary artery. The performance is higher than that of the known conventional method. There was no difference in performance when using the data sets B, C, and D (p-values> 0.05), indicating that the segmentation method in Example 1 is robust to patient groups and imaging conditions.

［２．１．７．３．直径の計測結果］
データセットＢ（テストデータセット）において、大動脈・肺動脈幹・右主肺動脈・左主肺動脈の直径の平均値及び標準偏差は、3.219±0.297、2.360±0.223、2.003±0.328、1.911±0.233cmであった。データセットＣ（テストデータセット）において、大動脈・肺動脈幹・右主肺動脈・左主肺動脈の直径の平均値及び標準偏差は、3.124±0.333、3.220±0.486、2.494±0.310、2.500±0.317cmであった。 [2.1.7.3. Diameter measurement result]
In data set B (test data set), the average value and standard deviation of the diameters of the aorta, pulmonary trunk, right main pulmonary artery, and left main pulmonary artery were 3.219±0.297, 2.360±0.223, 2.003±0.328, and 1.911±0.233 cm. It was In data set C (test data set), the average values and standard deviations of the diameters of the aorta, pulmonary trunk, right main pulmonary artery, and left main pulmonary artery were 3.124±0.333, 3.220±0.486, 2.494±0.310, and 2.500±0.317 cm. It was

［２．１．７．４．血管直径の単変数・多変数ロジスティック回帰分析結果］
実施例１における大動脈・肺動脈幹・主肺動脈のセグメンテーション方法で計測した血管直径の、慢性血栓塞栓性肺高血圧症（ＣＴＥＰＨ）の診断に対する有用性は、以下の［表３］に示すように、単変数・多変数ロジスティック回帰分析によって評価した。この単変数・多変数ロジスティック回帰分析は、関心臓器画像自動セグメンテーション装置４の関心臓器画像評価部２４により実行され得る。 [2.1.7.4. Results of univariate/multivariable logistic regression analysis of blood vessel diameter]
The usefulness of the blood vessel diameter measured by the segmentation method of the aorta/pulmonary artery trunk/main pulmonary artery in Example 1 for the diagnosis of chronic thromboembolic pulmonary hypertension (CTEPH) is as shown in [Table 3] below. Evaluation was performed by variable/multivariable logistic regression analysis. This univariate/multivariable logistic regression analysis can be executed by the organ-of-interest image evaluation unit 24 of the organ-of-interest image automatic segmentation apparatus 4.

上記に示すように、表３は、大動脈・肺動脈幹・右主肺動脈・左主肺動脈の径のロジスティック回帰分析結果を示す。 As shown above, Table 3 shows the results of logistic regression analysis of the diameters of the aorta/pulmonary artery trunk/right main pulmonary artery/left main pulmonary artery.

また、図９に、ＲＯＣ曲線(Receiver Operating Characteristic curve；受信者動作特性曲線)を示す。図９は、血管直径を用いた慢性血栓塞栓性肺高血圧症（ＣＴＥＰＨ）の診断性能のＲＯＣ解析結果である。なお、「手動２Ｄ測定結果」は、肺動脈の直径の計測法としての２次元断面から手動操作で計測される手法による、測定結果である。単変数ロジスティック回帰分析の結果、肺動脈幹・右主肺動脈・左主肺動脈の直径が慢性血栓塞栓性肺高血圧症（ＣＴＥＰＨ）の診断に有用であることを示した（表３参照）。これらの中で、図９から明らかなように、肺動脈幹の直径が最も高い診断性能を示している（ＡＵＣは0.963である。）。多変数ロジスティック回帰分析の結果、肺動脈幹の直径が慢性血栓塞栓性肺高血圧症（ＣＴＥＰＨ）の診断に最も有用であることを示した（表３参照）。なお、臨床現場で利用されている手動操作の肺動脈幹の直径の計測法を実施した場合のＡＵＣは0.928であった（図９「手動２Ｄ測定結果」参照）。実施例１における大動脈・肺動脈幹・主肺動脈のセグメンテーション方法に基づく直径計測法は、手動操作の直径計測法よりも高い性能を示した。 Further, FIG. 9 shows a ROC curve (Receiver Operating Characteristic curve). FIG. 9 is a ROC analysis result of the diagnostic performance of chronic thromboembolic pulmonary hypertension (CTEPH) using the blood vessel diameter. The “manual 2D measurement result” is a measurement result obtained by a method of manually measuring from a two-dimensional cross section as a method of measuring the diameter of the pulmonary artery. As a result of the univariate logistic regression analysis, it was shown that the diameters of the pulmonary trunk, the right main pulmonary artery, and the left main pulmonary artery were useful for diagnosis of chronic thromboembolic pulmonary hypertension (CTEPH) (see Table 3). Of these, as is clear from FIG. 9, the diameter of the pulmonary artery trunk shows the highest diagnostic performance (AUC is 0.963). As a result of multivariate logistic regression analysis, it was shown that the diameter of the pulmonary trunk was most useful for the diagnosis of chronic thromboembolic pulmonary hypertension (CTEPH) (see Table 3). The AUC was 0.928 when the manually operated pulmonary artery diameter measurement method used in clinical practice was performed (see FIG. 9, “Manual 2D measurement result”). The diameter measurement method based on the segmentation method of the aorta/pulmonary artery trunk/main pulmonary artery in Example 1 showed higher performance than the manually operated diameter measurement method.

２・・・関心臓器画像自動セグメンテーションシステム、４・・・関心臓器画像自動セグメンテーション装置、６・・・制御部、８・・・入力部、１０・・・記憶部、１２・・・入出力インタフェース部、１４・・・出力部、１６・・・関心臓器候補領域セグメンテーション部、１８・・・関心臓器候補領域３次元メディアルアクシス抽出部、２０・・・関心臓器３次元メディアルアクシスモデル構築部、２２・・・関心臓器３次元メディアルアクシスモデル基準セグメンテーション部、２４・・・関心臓器画像評価部、２６・・・外部記憶装置。 2... Automatic organ image segmentation system of interest, 4... Automatic organ image segmentation device of interest, 6... Control unit, 8... Input unit, 10... Storage unit, 12... Input/output interface Section, 14... Output section, 16... Organ of interest candidate area segmentation section, 18... Organ of interest candidate area three-dimensional medial axis extraction section, 20... Three-dimensional medial axis model of interested organ construction section , 22... Organ of interest 3D medial axis model reference segmentation unit, 24... Organ image of interest image evaluation unit, 26... External storage device.

Claims

A first input step of inputting a learning data set consisting of a normal dose/low dose CT image data set including a target organ candidate region;
A second input step of inputting a test data set consisting of a normal dose/low dose CT image data set including a target organ candidate region;
A first organ-of-interest candidate area segmentation step of segmenting an organ-of-interest candidate area for the input training data set;
A second organ-of-interest candidate area segmentation step of segmenting the organ-of-interest candidate area for the input test data set;
A first three-dimensional medial axis extraction step of an organ of interest candidate area for extracting a three-dimensional medial axis of the organ of interest candidate area from a learning data set obtained by segmenting the organ of interest candidate area;
A second three-dimensional medial axis extraction step of an organ of interest candidate area for extracting a three-dimensional medial axis of the organ candidate area of interest for a test data set obtained by segmenting the organ of interest candidate area;
A step of constructing a three-dimensional medial axis model of the organ of interest, which constructs a three-dimensional medial axis model of the organ of interest based on the extracted three-dimensional medial axis data of the organ of interest in the learning data set,
An output step of outputting the constructed three-dimensional medial axis model of the organ of interest,
By comparing the constructed 3D medial axis model of the organ of interest, the segmentation is performed by selecting the 3D medial axis of the organ of interest candidate extracted from the test data set in which the segment of the organ of interest is segmented. A method for automatically segmenting an image of an organ of interest, which comprises performing a three-dimensional medial axis model reference segmentation of an organ of interest.

Including the controller,
The control unit,
An organ-of-interest candidate region segmentation unit,
A three-dimensional medial axis extraction unit for a candidate region of interest,
A 3D medial axis model construction unit for the organ of interest, and
And an organ of interest 3D medial axis model reference segmentation unit,
The organ-of-interest candidate region segmentation unit performs segmentation of the organ-of-interest candidate region on the input learning data set consisting of the CT image data set of normal dose/low dose including the organ-of-interest candidate region, and is further input. , Segmentation of the organ of interest candidate region is performed on a test data set consisting of a normal dose/low dose CT image data set including the organ of interest candidate region,
The organ-of-interest candidate region three-dimensional medial axis extraction unit extracts a three-dimensional medial-axis of the organ-of-interest candidate region from the learning data set on which the organ-of-interest candidate region segmentation has been performed, and further, the segmentation of the organ-of-interest candidate region. 3D medial axis of the organ of interest candidate area was extracted from the test data set
The organ of interest 3D medial axis model construction unit constructs a 3D medial axis model of the organ of interest based on the extracted 3D medial axis data of the organ of interest candidate region in the learning data set,
The organ of interest 3D medial axis model reference segmentation unit collates the constructed 3D medial axis model of the organ of interest, and the organ of interest extracted from the test data set in which the segment of the organ of interest candidate is segmented. Select the 3D medial axis of the candidate area and perform segmentation,
Automatic segmentation system for organs of interest.

A first input step of inputting a learning data set comprising a normal dose/low dose CT image data set including a mediastinal vessel candidate region;
A second input step of inputting a test data set comprising a normal dose/low dose CT image data set including a candidate mediastinal vessel region;
A first organ-of-interest candidate region segmentation step of segmenting the mediastinal vessel candidate region for the input learning data set;
A second organ-of-interest candidate region segmentation step for segmenting the mediastinal vessel candidate region for the input test data set;
A first three-dimensional medial axis extraction step of a candidate organ region of interest for extracting a three-dimensional medial axis of an oval-cylindrical blood vessel in the mediastinum of a learning data set obtained by segmenting the blood vessel candidate area in the mediastinum;
A second three-dimensional medial axis extraction step of a candidate organ region of interest, which extracts a three-dimensional medial axis of an oval-cylindrical blood vessel in the mediastinum of a test data set obtained by segmenting the blood vessel candidate area in the mediastinum;
3D media of the organ of interest to construct a 3D medial axis model of the aorta, pulmonary trunk, and main pulmonary artery based on the extracted 3D medial axis data of the mediastinum in the elliptic column in the training data set The step of building a luaxis model,
An output step of outputting the constructed three-dimensional medial axis model of the aorta, pulmonary trunk, and main pulmonary artery,
The three-dimensional medial axis model of the constructed aorta, pulmonary trunk, and main pulmonary artery was collated, and the mediastinal vessel candidate region in the mediastinum was segmented. Organ of interest 3D medial axis model-based segmentation step of selecting a 3D medial axis for segmentation.

The first organ-of-interest candidate region segmentation step and the second organ-of-interest candidate region segmentation step perform segmentation of a mediastinal vessel candidate region based on density information and/or shape information of a CT image,
In the first 3D medial axis extraction step of the first candidate organ region of interest and the second 3D medial axis extraction step of the second candidate organ region of interest, (1) distance conversion is performed on the segmented mediastinal vessel candidate region. Then, (2) the 4D hypersurface ratio is used to extract the region that becomes the edge in the distance value image, and this is used as the 3D medial axis, and (3) the 4D hypersurface curvature is used to identify the cylindrical shape. To calculate the three-dimensional medial axis of the cylindrical region,
In the step of constructing a three-dimensional medial axis model of the organ of interest, (1) one example is externally operated from the data of the three-dimensional medial axis of the mediastinum in the elliptic mediastinum extracted based on the learning data set. Selected as an example, other examples are spatially normalized to the reference example, and (2) aorta, pulmonary trunk, and main pulmonary artery (a) average shape, and (b) aorta extracted based on the learning data set. Calculate the high-frequency shape in the 3-dimensional medial axis data of the pulmonary artery trunk and main pulmonary artery,
The output step outputs a three-dimensional medial axis model of the aorta, pulmonary artery trunk, and main pulmonary artery expressed by a combination of (a) average shapes of the aorta, pulmonary trunk, and main pulmonary artery, and (b) high-frequency shapes. ,
In the 3D medial axis model reference segmentation step of the organ of interest, (1) the 3D medial axis extraction step of transforming the 3D medial axis model, The 3D medial axis model is optimized by matching with the medial axis, (2) the degree of agreement is calculated, and (3) the three-dimensional medial axis with a high degree of agreement is the 3D of the aorta/pulmonary artery trunk/main pulmonary artery. And selecting the medial axis, (4) interpolating the missing part of the selected 3D medial axis using interpolation processing, and (5) in the second 3D medial axis extraction region of interest candidate organs. By expanding each pixel with the obtained distance value, or by using the elliptic cylinder model fitting using the constrained optimization method, the area of the aorta/pulmonary artery trunk/main pulmonary artery is restored,
The method for automatically segmenting an organ image of interest according to claim 3.

Including the controller,
The control unit,
An organ-of-interest candidate region segmentation unit,
A three-dimensional medial axis extraction unit for a candidate region of interest,
A 3D medial axis model construction unit for the organ of interest, and
And an organ of interest 3D medial axis model reference segmentation unit,
The target organ candidate region segmentation unit performs segmentation of the mediastinal vessel candidate region on the input learning data set consisting of the CT image data set of normal dose/low dose including the mediastinal vessel candidate region, and further , Segmentation of the mediastinal vessel candidate region is performed for the input test data set consisting of the normal dose/low dose CT image data set including the mediastinal vessel candidate region,
The organ-of-interest candidate region three-dimensional medial axis extraction unit extracts a three-dimensional medial axis in the mediastinum of an elliptic cylinder from the learning data set in which the blood vessel candidate region in the mediastinum is segmented, and further Extracting the three-dimensional medial axis of the mediastinum in the mediastinum of the elliptic cylinder shape from the test data set in which the segmental blood vessel candidate region was segmented,
The organ of interest three-dimensional medial axis model construction unit, based on the extracted three-dimensional medial axis data of the elliptic-cylindrical blood vessel in the mediastinum, based on the extracted three-dimensional medial axis data of the aorta, pulmonary trunk, and main pulmonary artery. Dimensional medial axis model is constructed,
The 3D medial axis model reference segmentation unit of the organ of interest is subjected to the 3D medial axis model of the constructed aorta, pulmonary trunk, and main pulmonary artery, and the segmented blood vessel candidate region in the mediastinum is tested. Perform segmentation by selecting the three-dimensional medial axis of the mediastinal vessel in the shape of an elliptic cylinder extracted from the set,
Automatic segmentation system for organs of interest.

The organ-of-interest candidate region segmentation unit performs segmentation of a mediastinal vessel candidate region on the basis of density information and/or shape information of a CT image,
The organ-of-interest candidate region three-dimensional medial axis extraction unit (1) performs distance conversion of the segmented mediastinal blood vessel candidate region, and (2) uses a four-dimensional hypercurve ratio to form a ridge in a distance value image. Area is extracted, and this is used as a three-dimensional medial axis. Further, (3) the cylindrical shape likeness is calculated using the four-dimensional hypercurved surface curvature, and the three-dimensional medial axis of the cylindrical area is extracted.
The organ of interest 3D medial axis model constructing unit (1) uses an external operation as a reference from the data of the 3D medial axis of the mediastinum in the elliptic mediastinum extracted based on the learning data set. Selected as an example, other examples are spatially normalized to the reference example, and (2) aorta, pulmonary trunk, and main pulmonary artery (a) average shape, and (b) aorta extracted based on the learning data set. Calculate the high-frequency shape in the 3-dimensional medial axis data of the pulmonary artery trunk and main pulmonary artery,
Furthermore, a three-dimensional medial axis model of the aorta, pulmonary artery trunk, and main pulmonary artery expressed by a combination of (a) average shape of the aorta/pulmonary artery/main pulmonary artery and (b) high-frequency shape is output,
The organ of interest 3D medial axis model reference segmentation unit (1) transforms the 3D medial axis model while extracting 3 from the test data set by the organ of interest candidate region 3D medial axis extraction unit. The 3D medial axis model itself is optimized by matching it to the 3D medial axis model, (2) the degree of agreement is calculated, and (3) the 3D medial axis with a high degree of agreement is selected for the aorta, pulmonary trunk, and main pulmonary artery. Dimensional medial axis, (4) Interpolate the missing part of the selected 3D medial axis using interpolation processing, and (5) Obtain the organ of interest candidate area 3D medial axis extractor. The area of the aorta, pulmonary trunk, and main pulmonary artery is restored by expanding each pixel with different distance values,
The internal organ image automatic segmentation apparatus according to claim 5.

The control unit further includes
Equipped with an organ of interest image evaluation unit
The organ-of-interest image evaluation unit three-dimensionally measures the diameters of the aorta, the pulmonary trunk, and the main pulmonary artery based on the segmented three-dimensional region data of the aorta, the pulmonary trunk, and the main pulmonary artery.
The internal organ image automatic segmentation apparatus according to claim 6.

The organ-of-interest image evaluation unit performs univariate/multivariable logistic regression analysis on three-dimensionally measured aorta, pulmonary artery trunk, and main pulmonary artery diameter data for the diagnosis of chronic thromboembolic pulmonary hypertension.
The automatic organ image segmentation apparatus according to claim 7.