JP2021069793A - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2021069793A JP2021069793A JP2019199101A JP2019199101A JP2021069793A JP 2021069793 A JP2021069793 A JP 2021069793A JP 2019199101 A JP2019199101 A JP 2019199101A JP 2019199101 A JP2019199101 A JP 2019199101A JP 2021069793 A JP2021069793 A JP 2021069793A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- classifier
- unit
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 143
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000010354 integration Effects 0.000 claims abstract description 84
- 238000010801 machine learning Methods 0.000 claims abstract description 28
- 230000008685 targeting Effects 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 86
- 210000004185 liver Anatomy 0.000 description 303
- 210000002216 heart Anatomy 0.000 description 128
- 238000000034 method Methods 0.000 description 68
- 239000000284 extract Substances 0.000 description 23
- 238000013527 convolutional neural network Methods 0.000 description 8
- 210000000056 organ Anatomy 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 210000003734 kidney Anatomy 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 210000000813 small intestine Anatomy 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
を備える。
本実施形態では、まず第一の分類器により、三次元断層画像を構成する複数の画素のそれぞれを肝臓(第一の注目物体)、心臓(第一の注目物体に隣接する第二の注目物体)、その他に分類する。すなわち、三次元断層画像から、肝臓領域と心臓領域を抽出する。次に、第一の分類器による抽出結果に基づいて、肝臓と心臓がともに存在する体軸断層画像を特定する。ここで、体軸断層画像とは、三次元断層画像を構成する二次元断層画像である。体軸断層画像は、スライス画像やアキシャル断面画像とも呼ばれる。次に、特定した体軸断層画像を基準として、第二の分類器の分類対象となる画像領域を決定する。そして、第二の分類器によって分類対象の画像領域から肝臓領域を抽出する。最後に、第一の分類器によって抽出した肝臓領域と、第二の分類器によって抽出した肝臓領域とを統合して、統合後の肝臓領域の抽出結果を生成する。上述の通り、第一の分類器および第二の分類器は、画像から注目領域を抽出するCNNである。本実施形態では、第一の分類器は非特許文献1に記載のU−Netを利用し、第二の分類器はU−Netを三次元に拡張したネットワークを利用する。便宜上、以下では前者を2D−U−Netと呼び、後者を3D−U−Netと呼ぶ。即ち、画像処理装置100における第一の分類器および第二の分類器は深層学習に基づいて学習された分類器である。
まず、本実施形態に係る画像処理装置100の構成について説明する。
図2は画像処理装置100における推論時のハードウェア構成の一例を示す図である。CPU(Central Processing Unit)201は、主として各構成要素の動作を制御する。主メモリ202は、CPU201が実行する制御プログラムを格納したり、CPU201によるプログラム実行時の作業領域を提供したりする。磁気ディスク203は、OS(Operating System)、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する。CPU201が主メモリ202、磁気ディスク203等に格納されているプログラムを実行することにより、図1に示した画像処理装置100の機能(ソフトウェア)及び後述するフローチャートにおける処理が実現される。
次に、本実施形態における画像処理装置100の処理手順について、図3を用いて一連のフローを説明する。
ステップS310において、取得部110は、記憶装置70から三次元断層画像と、第一の分類器のパラメータと、第二の分類器のパラメータを取得する。そして、取得部110は、取得した三次元断層画像を第一の分類部および第二の分類部に送信する。また、第一の分類器のパラメータを第一の分類部120に送信し、第二の分類器のパラメータを第二の分類部150に送信する。
ステップS320において、第一の分類部120は、取得部110から三次元断層画像と、第一の分類器のパラメータである2D−U−Netのネットワークの重みを取得する。次に、取得したネットワークの重みに基づいて、第一の分類器である2D−U−Netを構成する。次に、2D−U−Netを利用することで三次元断層画像から肝臓領域と心臓領域を抽出し、第一の分類結果として、肝臓領域のグローバル尤度画像と心臓領域のグローバル尤度画像を生成する。そして、グローバル尤度画像を特定部130、決定部140、統合部160に送信する。
ステップS330において、特定部130は、第一の分類部120から、第一の分類結果である三次元断層画像に対応する肝臓領域と心臓領域のグローバル尤度画像を受信する。そして、特定部130は、肝臓領域と心臓領域のグローバル尤度画像をもとに、肝臓領域と心臓領域がともに存在している体軸断層画像を特定することで、肝臓と心臓が描出されている可能性がある体軸断層画像を特定する。そして、特定した体軸断層画像のスライスインデックスを特定情報として決定部140に送信する。
ステップS340において、決定部140は、第一の分類部120からグローバル尤度画像を受信する。また、特定部130から、特定情報である体軸断層画像のスライスインデックスの集合を受信する。そして、受信したスライスインデックスの集合に基づいて、第二の分類部150の分類対象となる画像領域を表現するバウンディングボックスを決定する。そして、バウンディングボックスを第二の分類部150に送信する。
ステップS350において、第二の分類部150は、取得部110から、三次元断層画像と第二の分類器のパラメータを受信する。そして、受信したパラメータに基づいて、第二の分類器を構成する。また、決定部140から、第二の分類部150の分類対象となる画像領域を表現するバウンディングボックスを受信する。次に、第二の分類器を利用することで、三次元断層画像における第二の分類部150の分類対象となる画像領域から注目領域として肝臓領域を抽出し、第二の分類結果として、肝臓領域のローカル尤度画像を生成する。そして、第二の分類部150により生成された肝臓領域のローカル尤度画像を統合部160に送信する。
ステップS360において、統合部160は、第一の分類部120から第一の分類結果であるグローバル尤度画像を受信する。また、第二の分類部150から、第二の分類結果であるローカル尤度画像を受信する。そして、決定部140から、第二の分類部150の分類対象となる画像領域を受信する。そして、統合部160は、決定部140から取得した第二の分類部150の分類対象となる画像領域に基づいて、グローバル尤度画像とローカル尤度画像を統合することで、第三の分類結果である統合尤度画像を生成する。本実施形態に係る画像処理装置は、肝臓を注目物体としているため、統合尤度画像は、肝臓領域の抽出結果である。そして、統合部160は、生成した統合尤度画像を記憶装置70に出力する。
次に、本実施形態に係る画像処理装置500の構成について説明する。
次に、本実施形態における画像処理装置500の処理手順について、図6を用いて説明する。
ステップS610において、教示データ取得部510は記憶装置70から1つ以上の教示データを受信することで、教示データセットのマスターを構成する。そして、教示データセットのマスターを第一の学習部520と第二の学習部530に送信する。
ステップS620において、第一の学習部520は、教示データ取得部510から教示データセットのマスターを受信する。次に、教示データセットのマスターを構成する教示データである学習用の三次元医用画像対して第一の学習範囲を設定し、第一の学習範囲にしたがって各教示データセットを前処理することで、第一の教示データセットを生成する。そして、第一の教示データセットを用いて第一の分類器を学習し、学習によって得られた第一の分類器のパラメータを記憶装置70に記録する。
ステップS621において、第一の学習部520は、第一の分類器である2D−U−Netの学習対象となる第一の学習範囲を設定する。
ステップS622において、第一の学習部520は、ステップS621で設定した第一の学習範囲に基づいて、教示データセットのマスターから第一の教示データセットを生成する。
ステップS623において、第一の学習部520は、第一の教示データセットを用いて、第一の分類器を学習する。そして、学習によって得られた第一の分類器のパラメータを、記憶装置70に記録する。
ステップS630において、第二の学習部530は、教示データ取得部510から教示データセットのマスターを受信する。次に、教示データセットのマスターを構成する教示データに対して第二の学習範囲を設定し、第二の学習範囲にしたがって各教示データセットを前処理することで、第二の教示データセットを生成する。そして、第二の教示データセットを用いて第二の分類器を学習し、学習によって得られた第二の分類器のパラメータを記憶装置70に記録する。
ステップS631において、第二の学習部530は、第二の分類器である3D−U−Netの学習対象となる第二の学習範囲を設定する。本実施形態において第二の学習範囲は、教示データを構成する学習用の三次元医用画像において、肝臓領域と心臓領域の境界付近の局所的な画像領域である。第一の学習範囲は肝臓領域と心臓領域の少なくとも一方が存在する体軸断層画像であったため、学習用の三次元医用画像における第二の学習範囲は第一の学習範囲よりも狭い。そのため、本ステップでは、まず教示データを構成する肝臓領域の正解画像と心臓領域の正解画像をそれぞれ体軸断層画像ごとに走査し、肝臓の正解領域または心臓の正解領域が同時に存在する複数の体軸断層画像を得る。その後、肝臓の正解領域と心臓の正解領域が同時に存在する複数の体軸断層画像について、肝臓の正解領域と心臓の正解領域を囲う最小のバウンディングボックスを決定する。この肝臓の正解領域と心臓の正解領域を囲う最小のバウンディングボックスが第二の学習範囲である。すべての教示データについて、同様の処理を行い、教示データごとに第二の学習範囲を設定する。
ステップS632において、第二の学習部530は、ステップS631で設定した第二の学習範囲に基づいて、教示データセットのマスターから第二の教示データセットを生成する。
ステップS633において、第二の学習部530は、第二の教示データセットを用いて、第二の分類器を学習する。そして、学習によって得られた第二の分類器のパラメータを、記憶装置70に記録する。
上述のように、本実施形態に係る第一の分類部120は、三次元医用画像に含まれる複数の画素のそれぞれを肝臓(第一の注目領域)、心臓(第二の注目領域)、その他に分類する3クラスの分類器であった。しかしながら、第一の分類部120の構成はこれに限らない。例えば、三次元医用画像を構成する複数の画素のそれぞれを肝臓かその他に分類する2クラスの分類器と、三次元医用画像を構成する複数画素のそれぞれを心臓かその他に分類する2クラスの分類器とを組み合わせるなど、第一の分類部120における第一の分類器は複数の分類器で構成されてもよい。それ以外にも、複数の画素のそれぞれを肝臓、心臓、肺、その他に分類するような3クラス以上の分類器を用いてもよい。また、第一の分類部120が分類するクラスは、上記に例示したクラスでなくてもよい。
上述のように、本実施形態に係る第二の分類部150における第二の分類器は、三次元医用画像に含まれる複数の画素のそれぞれを肝臓(第一の注目領域)かその他に分類する2クラスの分類器であった。しかしながら、第二の分類部150の構成はこれに限らない。例えば第二の分類部150における第二の分類器は、三次元医用画像を構成する複数の画素のそれぞれを心臓(第二の注目領域)かその他に分類する2クラスの分類器であってもよい。この場合、統合部160は、第一の分類部120により得られた肝臓領域のグローバル尤度画像と、第二の分類部150により得られた心臓領域のローカル尤度画像を統合する。統合方法は、例えば、数2で統合すればよい。
上述のように、本実施形態に係る決定部140は、特定範囲内の肝臓領域と心臓領域を囲う最小のバウンディングボックスに対して、定数の余白を与えることで、第二の分類部150の分類対象となる画像領域を決定したが、これに限らない。例えば、第一の分類部120における肝臓領域の抽出結果が、心臓領域を誤抽出する傾向にあるのであれば、決定部140は特定範囲内の肝臓領域と心臓領域を囲う最小のバウンディングボックスに対して余白を与えなくてもよい。その他にも、第二の分類部150の入力となる画像サイズに適合するように、バウンディングボックスを決定してもよい。この場合は、第二の分類部150において、画像サイズの変更は行わなくてもよい。また、定数の余白を与える場合、分類器を学習する際に用いた余白を考慮して、余白の値を設定してもよい。例えば、第二の学習部530において、第二の学習範囲[(x_0、y_0、z_0)、(x_1、y_1、z_1)]に対して、x_0、x_1、y_0、y_1は物理空間における0〜10mm分の画素の余白をランダムに与えたとする。この場合、例えば余白の平均値である5mmを用いてもよいし、最大値である10mmをもちいてもよい。このようにすることで、学習時における分類器の学習範囲と、推論時における分類器の分類対象となる画像領域を合わせることができるため、分類器が持つ性能を発揮することができる。
上述のように、本実施形態に係る統合部160は、第二の分類部150の分類対象となる画像領域について、第二の分類部150で得られた尤度画像のみを用いて統合したが、第一の分類部120で得られた尤度画像も用いて統合してもよい。例えば、第二の分類部150の分類対象となる画像領域の端の画素は第一の分類部120により得られた尤度画像の画素値を用い、画像領域の内部は第二の分類部150により得られた尤度画像の画素値を用いてもよい。このようにすることで、第二の分類部150の分類器が、画像領域の端の抽出精度が低い場合に、良好な結果が得られるように統合することができる。また、第二の分類部150の分類対象となる画像領域に含まれる画素に対して、第一の分類部120で得られた尤度画像の画素値と、第二の分類部150で得られた尤度画像の画素値を重み付き平均して統合(重み付き平均値統合)してもよい。この場合、例えば第二の分類部150で得られた肝臓領域の尤度画像の画素値への重みを0.75、第一の分類部120で得られた肝臓領域の尤度画像の画素値への重みを0.25とする。このようにすると、当該画像領域について、第二の分類部150により得られる肝臓領域の抽出結果をより重視することができる。その他にも、当該画像領域の各画素について、第一の分類部120で得られた肝臓領域の尤度画像の画素値と、第二の分類部150で得られた肝臓領域の尤度画像の画素値を比較し、最大値(または最小値)を選択する最大値統合(最小値統合)を行ってもよい。また、第一の分類部120で得られた肝臓領域の尤度画像と、第二の分類部150で得られた肝臓領域の尤度画像を、それぞれしきい値処理することでマスク画像を生成し、当該画像領域に含まれる画素に対して、論理積(または論理和)を取ることで統合してもよい。第一の分類部120が誤抽出する傾向にある場合、論理積で統合することで、誤抽出を抑制できる。逆に、第一の分類部120が抽出不足の傾向にある場合、論理和で統合することで抽出不足を抑制できる。
上述のように、本実施形態に係る画像処理装置100は、特定部130において、肝臓領域と心臓領域がともに存在する体軸断層画像を特定するが、当該体軸断層画像が特定できない場合は、処理を終了し、第一の分類部120の抽出結果を最終出力としてもよい。
第一の実施形態では、第一の分類部において、第一の注目領域と第二の注目領域を抽出し、2つ注目領域の抽出結果に基づいて、2つの注目領域が同時に存在する二次元断層画像を特定することで、誤分類しやすい画像領域を決定した。しかし、人体の構造物のように、第一の注目領域と第二の注目領域の位置関係が概ね決まっている場合には、2つの注目領域の相対位置に関する事前情報に基づいて、誤分類が生じやすい箇所を特定することができる。例えば、肝臓領域(第一の注目領域)は、心臓領域(第二の注目領域)の下部に接している。このような相対位置に関する事前情報を用いると、第一の分類部120が第一の注目領域しか抽出しない場合でも、特定部130は第一の注目領域と第二の注目領域がともに描出されている可能性がある体軸断層画像を特定することができる。本実施形態では、上記のように注目領域間の相対位置に関する事前情報と、第一の分類部120による第一の注目領域の抽出結果を用いることで、特定部130が第一の注目領域と第二の注目領域がともに描出されている可能性がある体軸断層画像を特定でき、特定部130による特定情報に基づいて、決定部140は第二の分類部の分類対象となる画像領域を決定する例を説明する。即ち、画像処理装置100において、取得部110は、第一の注目領域と、第二の注目領域との相対位置に関する事前情報をさらに取得し、特定部130は、第一の分類結果と、相対位置に関する事前情報に基づいて、第一の注目領域と第二の注目領域とを含む断層画像を特定することを特徴とする。
次に、本実施形態における画像処理装置100の処理手順について、図3を用いて説明する。なお、本処理手順では上述した図3のステップと同様のステップにおいては、説明を省略し、異なる点においてのみ説明する。
ステップS310の処理は、第一の実施形態におけるステップS310と同一の処理であるため、説明を省略する。
ステップS320の処理は、第一の実施形態におけるステップS320と次の点で異なる。本実施形態における第一の分類部120は、三次元断層画像から第一の注目領域である肝臓領域を抽出する。つまり、心臓領域は抽出しない。
ステップS330において、特定部130は、第一の分類部120から肝臓領域の抽出結果である肝臓領域のグローバル尤度画像を受信する。そして、肝臓領域のグローバル尤度画像と、肝臓領域と心臓領域の相対的な位置関係に関する事前情報をもとに、肝臓領域と心臓領域がともに存在している可能性がある体軸断層画像を特定する。これにより、肝臓と心臓が描出されている可能性がある体軸断層画像を特定する。そして、特定した体軸断層画像のスライスインデックスを、特定情報として決定部140に送信する。
ステップS340において、決定部140は、特定部130から特定情報であるスライスインデックスを受信する。次に、スライスインデックスと、肝臓と心臓との相対位置に関する事前情報とに基づいて、第二の分類部150の分類対象となる画像領域を決定する。そして、分類対象となる画像領域を第二の分類部150と統合部160に送信する。
ステップS350において第二の分類部150は、取得部110から三次元断層画像と第二の分類器のパラメータを受信する。また、決定部140から第二の分類部による分類対象となる画像領域である複数枚の体軸断層画像のスライスインデックスを受信する。次に、第二の分類部150は、第二の分類器のパラメータであるネットワークの重みに基づいて2D−U−Netを構成する。この分類器のパラメータは、第一の分類部120における第一の分類器のパラメータとは異なり、肝臓と心臓の境界付近の画像領域を用いて学習した結果である。そのため、第一の分類部120の2D−U−Netよりも、当該画像領域における注目領域の抽出精度が高くなることが期待できる。そして、第二の分類部150は、第二の分類器としてこの2D−U−Netを利用して、複数枚の体軸断層画像から注目領域である肝臓領域を抽出し、第二の分類結果として、肝臓領域のローカル尤度画像を生成する。最後に、肝臓領域のローカル尤度画像を統合部160に送信する。注目領域の抽出処理は、ステップS350と同様である。すなわち、分類対象となる画像領域に含まれる各体軸断層画像を2D−U−Netに入力することで、第二の分類部150による分類対象となる画像領域における注目領域のローカル尤度画像を生成する。
ステップS360の処理は、第一の実施形態におけるステップS360と同一の処理であるため、説明を省略する。
上述のように、本実施形態に係る第一の分類部120は、画像に含まれる複数の画素のそれぞれを肝臓(第一の注目領域)か否かを分類する2クラスの分類器であった。しかしながら、第一の分類部120における第一の分類器の構成はこれに限らない。例えば、第一の実施形態における第一の分類部120における第一の分類器のように3クラス以上を分類する分類器を用いてもよい。
第一の分類部120が抽出する領域の中に第二の注目領域が含まれている場合、特定部130は第二の注目領域の抽出結果と、第一の注目領域と第二の注目領域の相対位置に関する事前情報とに基づいて、断層画像を特定してもよい。例えば、第一の分類部120が第一の注目領域である肝臓領域と、第二の注目領域である心臓領域を抽出する場合、心臓領域の下部に肝臓領域が存在するという事前情報を用いることで、特定部130は、2つの注目領域が存在する可能性がある断層画像を特定できる。
以上に示したように、三次元断層画像から注目物体(肝臓)の領域を抽出できる第一の分類部120における第一の分類器と、第一の分類器が領域抽出を失敗しやすい特定範囲に特化した第二の分類部150における第二の分類器とを利用することで、高精度に注目領域を抽出することができる。
第一の実施形態および第二の実施形態における第二の分類部150における第二の分類器は、三次元断層画像における特定範囲を学習することで得られる分類器のパラメータによって構成される。しかしながら、画像における特定範囲を学習させた分類器を用いて分類を行う場合、特定範囲の端に近い領域の抽出精度が低下することがある。
次に、本実施形態における画像処理装置100の処理手順について、図9を用いて説明する。
ステップS910において、取得部110は記憶装置70から三次元断層画像と、第一の分類部120における分類器のパラメータと、第二の分類部150における分類器aと分類器bのそれぞれのパラメータを取得する。
ステップS920の処理は、第二の実施形態におけるステップS320と同一の処理であるため、説明を省略する。
ステップS930の処理は、第二の実施形態におけるステップS330と同一の処理であるため、説明を省略する。
ステップS940において、決定部140は、特定部130から特定情報としてスライスインデックスを受信する。次に、受信したスライスインデックスと、肝臓と心臓との相対位置に関する事前情報とに基づいて、第二の分類部150における分類器aの分類対象となる画像領域aを決定する。さらに、画像領域aに基づいて分類器bの分類対象となる画像領域bを決定する。そして、分類器aおよび分類器bの夫々の分類対象となる画像領域aおよび画像領域bを第二の分類部150と統合部160に送信する。
ステップS950において、第二の分類部150は、取得部110から三次元断層画像と、分類器aと分類器bのパラメータを受信し、決定部140から分類器aと分類器bの分類対象となる画像領域aおよび画像領域bを受信する。次に、取得部110から受信した分類器aと分類器bのパラメータに基づいて、分類器aと分類器bをそれぞれ構成する。次に、画像領域aに対して、分類器aを利用して肝臓領域を抽出し、画像領域aに対する肝臓のローカル尤度画像を生成する。同様に画像領域bに対して、分類器bを利用して注目領域を抽出し、画像領域bに対する肝臓のローカル尤度画像を生成する。そして、2つの分類器で得られた肝臓領域のローカル尤度画像を統合部160に送信する。本実施形態において、第二の分類部150における分類器aおよび分類器bは2D−U−Netである。そのため、本ステップでは第二の実施形態における第二の分類部150と同様の処理手順により、第二の分類部150における分類器aおよび分類器bを利用して、画像領域aおよび画像領域bからそれぞれ肝臓領域を抽出し、肝臓のローカル尤度画像を生成する。ここで、分類器aと分類器bの特性を述べる。分類器aのパラメータは、肝臓と心臓の境界付近の画像領域を学習範囲(画像領域aと同等の範囲)として設定し、学習した結果であるため、第一の分類部120の第一の分類器である2D−U−Netよりも、当該画像領域における注目領域の抽出精度が高いことが期待できる。しかし、分類器aは、画像領域aの下端付近に表れる肝臓領域の抽出精度が低いことがある。一方で、分類器bのパラメータは、分類器aの学習範囲の下端を中心とした学習範囲(画像領域bと同等の範囲)で学習した結果であるため、画像領域aの下端付近における注目領域に対する抽出精度が高いことが期待できる。
ステップS960において、統合部160は決定部140から受信した画像領域aと画像領域bに基づき、第一の分類部120が生成した肝臓領域グローバル尤度画像と、第二の分類部150が生成した肝臓領域のローカル尤度画像とを統合する。そして、統合後の肝臓領域の尤度画像を生成する。
110 取得部
120 第一の分類部
130 特定部
140 決定部
150 第二の分類部
160 統合部
Claims (20)
- 三次元医用画像を取得する取得部と、
前記取得部により取得された前記三次元医用画像を構成する複数の画素のそれぞれを、第一の注目領域を表すクラスを含む複数のクラスを分類するように学習した機械学習に基づく第一の分類器を用いて分類し、第一の分類結果を取得する第一の分類部と、
前記第一の分類結果に基づいて、前記三次元医用画像から少なくとも前記第一の注目領域と、第二の注目領域とを含む画像領域を分類対象とする画像領域として決定する決定部と、
前記決定部により決定された前記画像領域に含まれる複数の画素のそれぞれを、前記第一の注目領域を表すクラスと前記第二の注目領域を表すクラスのうち、少なくとも一方を含む複数のクラスを分類するように学習した機械学習に基づく第二の分類器を用いて分類し、第二の分類結果を取得する第二の分類部と、
前記第一の分類結果と前記第二の分類結果とを統合して第三の分類結果を取得する統合部と、
を有することを特徴とする画像処理装置。 - 前記第一の分類結果に基づいて、前記三次元医用画像から少なくとも前記第一の注目領域と、前記第二の注目領域とを含む断層画像を特定する特定部を有し、
前記決定部は、特定部によって特定された断層画像に基づいて、前記分類対象とする画像領域を決定することを特徴とする請求項1に記載の画像処理装置。 - 前記第一の分類器および前記第二の分類器は深層学習に基づいて学習された分類器であることを特徴とする請求項1または2に記載の画像処理装置。
- 前記第一の分類部における前記第一の分類器および前記第二の分類部における前記第二の分類器は分類結果を尤度で出力することを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。
- 前記第一の注目領域と、前記第二の注目領域が互いに隣接した領域であることを特徴とする請求項1乃至4のいずれか一項に記載の画像処理装置。
- 前記第一の分類部における第一の分類器は、前記第一の注目領域を表すクラスと、前記第二の注目領域を表すクラスとを少なくとも含む複数のクラスを分類するように学習した機械学習に基づく分類器であることを特徴とする請求項1乃至5のいずれか一項に記載の画像処理装置。
- 前記取得部は、前記第一の注目領域と、前記第二の注目領域との相対位置に関する事前情報をさらに取得し、
前記特定部は、前記第一の分類結果と、前記相対位置に関する事前情報に基づいて、前記第一の注目領域と前記第二の注目領域とを含む断層画像を特定することを特徴とする請求項2に記載の画像処理装置。 - 前記第一の分類部における前記第一の分類器は、学習用の三次元医用画像に基づく第一の教示データセットによって学習された分類器から構成され、
前記第二の分類部における前記第二の分類器は、前記学習用の三次元医用画像に基づく第二の教示データセットによって学習された分類器から構成されることを特徴とする請求項1乃至7のいずれか一項に記載の画像処理装置。 - 前記第一の教示データセットと、前記第二の教示データセットは前記学習用の三次元医用画像における異なる学習範囲を対象とした教示データセットであることを特徴とする請求項8に記載の画像処理装置。
- 前記第二の分類部は複数の分類器から構成されることを特徴とする請求項1乃至9のいずれか一項に記載の画像処理装置。
- 前記第二の分類部における複数の分類器は、少なくとも前記第一の注目領域を表すクラスを含む複数のクラスを分類するように学習した機械学習に基づく分類器と、前記第二の注目領域を表すクラスを含む複数のクラスを分類するように学習した機械学習に基づく分類器を含むことを特徴とする請求項10に記載の画像処理装置。
- 前記第二の分類部における複数の分類器は、学習用の三次元医用画像におけるそれぞれ異なる学習範囲を対象とした教示データセットによって学習された分類器から構成されることを特徴とする請求項10に記載の画像処理装置。
- 前記第二の教示データセットの学習範囲は、前記第一の教示データセットの学習範囲よりも狭い範囲を対象とした学習範囲であることを特徴とする請求項9に記載の画像処理装置。
- 前記統合部は、前記尤度に基づいた統合処理を行うことを特徴とする請求項4に記載の画像処理装置。
- 前記統合部は、前記分類器の学習範囲に応じた統合処理を行うことを特徴とする請求項9または12に記載の画像処理装置。
- 前記統合部は、前記三次元医用画像のうち前記分類対象とする画像領域に含まれる画素について前記第二の分類結果を用い、前記三次元医用画像のうち前記分類対象とする画像領域に含まれない領域には前記第一の分類結果を用いて統合を行い、前記第三の分類結果を取得することを特徴とする請求項1乃至15のいずれか一項に記載の画像処理装置。
- 前記統合部は、前記三次元医用画像のうち前記分類対象とする画像領域に含まれる画素について、前記第一の分類結果と前記第二の分類結果とを、重み付き平均値統合、最大値統合、論理和統合、論理積統合のうち、いずれかの統合手段により前記第三の分類結果を取得することを特徴とする請求項1乃至15のいずれか一項に記載の画像処理装置。
- 前記決定部は、前記特定部によって特定された前記断層画像に対して、前記第一の注目領域および前記第二の注目領域をすくなくとも含むバウンディングボックスを決定し、決定したバウンディングボックスに基づいて前記分類対象とする画像領域を決定することを特徴とする請求項1乃至17のいずれか一項に記載の画像処理装置。
- 三次元医用画像を取得する取得ステップと、
前記三次元医用画像を構成する複数の画素のそれぞれを、第一の注目領域を表すクラスを含む複数のクラスを分類するように学習した機械学習に基づく第一の分類器を用いて分類し、第一の分類結果を取得する第一の分類ステップと、
前記第一の分類結果に基づいて、前記三次元医用画像から少なくとも第一の注目領域と第二の注目領域とを含む画像領域を分類対象とする画像領域として決定する決定ステップと、
前記決定ステップにより決定された前記画像領域に含まれる複数の画素のそれぞれを、前記第一の注目領域を表すクラスと前記第二の注目領域を表すクラスのうち、少なくとも一方を含む複数のクラスを分類するように学習した機械学習に基づく第二の分類器を用いて分類し、第二の分類結果を取得する第二の分類ステップと、
前記第一の分類結果と前記第二の分類結果とを統合して第三の分類結果を取得する統合ステップと、
を有することを特徴とする画像処理方法。 - 請求項19に記載の画像処理方法をコンピュータで実行するためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019199101A JP7410619B2 (ja) | 2019-10-31 | 2019-10-31 | 画像処理装置、画像処理方法およびプログラム |
US17/077,909 US11417000B2 (en) | 2019-10-31 | 2020-10-22 | Image processing system, image processing method, and non-transitory storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019199101A JP7410619B2 (ja) | 2019-10-31 | 2019-10-31 | 画像処理装置、画像処理方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021069793A true JP2021069793A (ja) | 2021-05-06 |
JP2021069793A5 JP2021069793A5 (ja) | 2022-10-27 |
JP7410619B2 JP7410619B2 (ja) | 2024-01-10 |
Family
ID=75687503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019199101A Active JP7410619B2 (ja) | 2019-10-31 | 2019-10-31 | 画像処理装置、画像処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11417000B2 (ja) |
JP (1) | JP7410619B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023146141A1 (ko) * | 2022-01-27 | 2023-08-03 | 한국과학기술연구원 | 인공 지능을 이용하여 의료 영상에서 병변을 판단하는 방법, 이를 수행하는 인공 지능 신경망 시스템 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11144748B2 (en) * | 2018-12-07 | 2021-10-12 | IOT Technology, LLC. | Classification system |
JP6716765B1 (ja) * | 2018-12-28 | 2020-07-01 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、プログラム |
CN110276408B (zh) * | 2019-06-27 | 2022-11-22 | 腾讯科技(深圳)有限公司 | 3d图像的分类方法、装置、设备及存储介质 |
JP7486349B2 (ja) * | 2020-05-28 | 2024-05-17 | キヤノン株式会社 | ニューラルネットワーク、ニューラルネットワークの学習方法、プログラム、画像処理装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015036123A (ja) * | 2013-08-09 | 2015-02-23 | 株式会社東芝 | 医用画像処理装置、医用画像処理方法及び分類器トレーニング方法 |
JP2018175343A (ja) * | 2017-04-12 | 2018-11-15 | 富士フイルム株式会社 | 医用画像処理装置および方法並びにプログラム |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7680307B2 (en) * | 2005-04-05 | 2010-03-16 | Scimed Life Systems, Inc. | Systems and methods for image segmentation with a multi-stage classifier |
JP2010166238A (ja) * | 2009-01-14 | 2010-07-29 | Seiko Epson Corp | 画像形成装置、画像形成方法、及び印刷データ生成プログラム |
US9161041B2 (en) * | 2011-01-09 | 2015-10-13 | Mediatek Inc. | Apparatus and method of efficient sample adaptive offset |
WO2013103893A1 (en) * | 2012-01-05 | 2013-07-11 | General Instrument Corporation | Devices and methods for multipass sample adaptive offset coding |
US10413253B2 (en) * | 2014-11-21 | 2019-09-17 | Samsung Electronics Co., Ltd. | Method and apparatus for processing medical image |
WO2017165538A1 (en) * | 2016-03-22 | 2017-09-28 | Uru, Inc. | Apparatus, systems, and methods for integrating digital media content into other digital media content |
US10432972B2 (en) * | 2016-10-19 | 2019-10-01 | Google Llc | Guided offset correction for loop restoration in video coding |
JP6657132B2 (ja) | 2017-02-27 | 2020-03-04 | 富士フイルム株式会社 | 画像分類装置、方法およびプログラム |
JP2018175227A (ja) * | 2017-04-10 | 2018-11-15 | 富士フイルム株式会社 | 医用画像表示装置、方法およびプログラム |
JP6906347B2 (ja) * | 2017-04-10 | 2021-07-21 | 富士フイルム株式会社 | 医用画像分類装置、方法およびプログラム |
US20190122104A1 (en) * | 2017-10-19 | 2019-04-25 | General Electric Company | Building a binary neural network architecture |
US10592779B2 (en) * | 2017-12-21 | 2020-03-17 | International Business Machines Corporation | Generative adversarial network medical image generation for training of a classifier |
CN110335269A (zh) * | 2018-05-16 | 2019-10-15 | 腾讯医疗健康(深圳)有限公司 | 眼底图像的类别识别方法和装置 |
CN109410220B (zh) * | 2018-10-16 | 2019-12-24 | 腾讯科技(深圳)有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
JP6716765B1 (ja) * | 2018-12-28 | 2020-07-01 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、プログラム |
CN112639865B (zh) * | 2019-01-15 | 2024-05-14 | 奥林巴斯株式会社 | 图像处理系统、学习完毕模型和图像处理方法 |
JP2020170408A (ja) * | 2019-04-04 | 2020-10-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
US20210012162A1 (en) * | 2019-07-09 | 2021-01-14 | Shenzhen Malong Technologies Co., Ltd. | 3d image synthesis system and methods |
US11151407B2 (en) * | 2019-08-27 | 2021-10-19 | Aidoc Medical Ltd | System for detecting an adapted image |
CN110827195B (zh) * | 2019-10-31 | 2023-09-22 | 北京达佳互联信息技术有限公司 | 虚拟物品添加方法、装置、电子设备及存储介质 |
US11276166B2 (en) * | 2019-12-30 | 2022-03-15 | GE Precision Healthcare LLC | Systems and methods for patient structure estimation during medical imaging |
US20220059221A1 (en) * | 2020-08-24 | 2022-02-24 | Nvidia Corporation | Machine-learning techniques for oxygen therapy prediction using medical imaging data and clinical metadata |
-
2019
- 2019-10-31 JP JP2019199101A patent/JP7410619B2/ja active Active
-
2020
- 2020-10-22 US US17/077,909 patent/US11417000B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015036123A (ja) * | 2013-08-09 | 2015-02-23 | 株式会社東芝 | 医用画像処理装置、医用画像処理方法及び分類器トレーニング方法 |
JP2018175343A (ja) * | 2017-04-12 | 2018-11-15 | 富士フイルム株式会社 | 医用画像処理装置および方法並びにプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023146141A1 (ko) * | 2022-01-27 | 2023-08-03 | 한국과학기술연구원 | 인공 지능을 이용하여 의료 영상에서 병변을 판단하는 방법, 이를 수행하는 인공 지능 신경망 시스템 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 |
Also Published As
Publication number | Publication date |
---|---|
US20210133977A1 (en) | 2021-05-06 |
JP7410619B2 (ja) | 2024-01-10 |
US11417000B2 (en) | 2022-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7410619B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
Huang et al. | Fast and fully-automated detection and segmentation of pulmonary nodules in thoracic CT scans using deep convolutional neural networks | |
AU2018225145B2 (en) | Detection of prostate cancer in multi-parametric MRI using random forest with instance weighting and MR prostate segmentation by deep learning with holistically-nested networks | |
US11593943B2 (en) | RECIST assessment of tumour progression | |
US9931790B2 (en) | Method and system for advanced transcatheter aortic valve implantation planning | |
US20200265632A1 (en) | System and method for real-time rendering of complex data | |
JP6333265B2 (ja) | 3dコンピュータ断層撮影のための複数の骨のセグメンテーションの方法 | |
JP5868231B2 (ja) | 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム | |
KR101835873B1 (ko) | 의료 이미지들의 분할 불확실성의 계산 및 시각화를 위한 시스템들 및 방법들 | |
JP2021002338A (ja) | 画像セグメンテーション及び識別のための方法及びシステム | |
JP6716765B1 (ja) | 画像処理装置、画像処理システム、画像処理方法、プログラム | |
JP2011526508A (ja) | 医療用画像の領域分割 | |
JP2020166809A (ja) | モデル学習用のシステム、装置、及び学習方法 | |
JP2006034585A (ja) | 画像表示装置、画像表示方法およびそのプログラム | |
JP2007530088A (ja) | オブジェクト特有のセグメンテーション | |
Ravichandran et al. | 3D inception U-Net for aorta segmentation using computed tomography cardiac angiography | |
JP6041781B2 (ja) | 医用画像処理装置およびその作動方法並びに医用画像処理プログラム | |
KR20220001985A (ko) | 진단 영상에서 심층신경망을 이용한 국소종양진행을 진단하기 위한 장치 및 이를 위한 방법 | |
Admane et al. | Multi-stage Lung Cancer Detection and Prediction using Image Processing Techniques | |
Hatt et al. | A Convolutional Neural Network Approach to Automated Lung Bounding Box Estimation from Computed Tomography Scans | |
JP2024025980A (ja) | プログラム、情報処理装置、情報処理方法、情報処理システム及び学習モデルの生成方法 | |
Militzer | Boosting Methods for Automatic Segmentation of Focal Liver Lesions | |
Othman | Intelligent Medical Image Segmentation Using Evolving Fuzzy Sets | |
JP2018027302A (ja) | 画像処理装置、磁気共鳴イメージング装置及び画像処理プログラム | |
El-Baz et al. | Research Article Automatic Detection of 2D and 3D Lung Nodules in Chest Spiral CT Scans |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221019 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231220 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7410619 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |