JP2020042559A - 画像処理装置、及びプログラム - Google Patents

Abstract

【課題】ＣＴ画像に撮像された体の構成要素の識別率を向上させることができること。【解決手段】画像処理装置は、体の構成要素のうちの複数種類の構成要素である第１被撮像構成要素が撮像された第１画像に撮像されている第１被撮像構成要素の種類が、第１教師データを用いて学習された学習結果である多クラス学習結果を取得する多クラス学習結果取得部と、第２教師データを取得する第２教師データ取得部と、多クラス学習結果と、第２教師データとを用いて第２画像に撮像されている第２被撮像構成要素の種類が学習された学習結果である少クラス学習結果を取得する少クラス学習結果取得部と、構成要素が撮像された第３画像を取得する画像取得部と、少クラス学習結果に基づいて、第３画像に撮像されている構成要素の種類を判定する判定部とを備える。【選択図】図１

Description

本発明は、画像処理装置、及びプログラムに関する。

畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）を用いた深層学習が、医療画像の解析に用いられている。ＣＮＮを用いた多層のニューラルネットワークとしてＵ−ｎｅｔが知られている（非特許文献１）。Ｕ−ｎｅｔは、様々な生体医学的な画像を部分毎に識別する処理において、従来のアルゴリズムに比べて優れている。

３次元画像を解析するためのＣＮＮを用いた多層のニューラルネットワークとして、３Ｄ Ｕ−ｎｅｔが提案されている（非特許文献２）。３Ｄ Ｕ−ｎｅｔでは、３次元の畳み込みが用いられ、３次元画像が部分毎に識別される。３Ｄ Ｕ−ｎｅｔは、複数の臓器が撮像されたＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像の臓器の識別処理に応用されている。複数の臓器が撮像されたＣＴ画像の各臓器の識別処理は、ＣＴ画像がコンピュータ支援診断（ＣＡＤ：Ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｉａｇｎｏｓｔｉｃ）や治療に利用される際の前処理として重要である。

Ｏｌａｆ Ｒｏｎｎｅｂｅｒｇｅｒ， Ｐｈｉｌｉｐｐ Ｆｉｓｃｈｅｒ， ａｎｄ Ｔｈｏｍａｓ Ｂｒｏｘ、"Ｕ−Ｎｅｔ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ"、「ＭＩＣＣＡＩ２０１５．ＬＮＣＳ」、Ｓｐｒｉｎｇｅｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｕｂｌｉｓｈｉｎｇ Ｓｗｉｔｚｅｒｌａｎｄ ２０１５、２０１５、ｖｏｌ．９３５１、ｐ．２３４−２４１ Ｏｚｇｕｎ Ｃｉｃｅｋ、Ａｈｍｅｄ Ａｂｄｕｌｋａｄｉｒ、Ｓｏｅｒｅｎ Ｓ． Ｌｉｅｎｋａｍｐ、Ｔｈｏｍａｓ Ｂｒｏｘ、Ｏｌａｆ Ｒｏｎｎｅｂｅｒｇｅｒ、"３Ｄ Ｕ−Ｎｅｔ： Ｌｅａｒｎｉｎｇ Ｄｅｎｓｅ Ｖｏｌｕｍｅｔｒｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ ｆｒｏｍ Ｓｐａｒｓｅ Ａｎｎｏｔａｔｉｏｎ"、「ＭＩＣＣＡＩ２０１６．ＬＮＣＳ」、Ｓｐｒｉｎｇｅｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｕｂｌｉｓｈｉｎｇ ＡＧ ２０１６、２０１６、ｖｏｌ．９９０１、ｐ．４２４−４３２

非特許文献１に記載のＵ−ｎｅｔや、非特許文献２に記載の３Ｄ Ｕ−ｎｅｔなどの従来技術では、特定の臓器が撮像されている局所的な部分が撮像されたＣＴ画像に基づいて学習が行われていた。従来技術では、複数の種類の臓器が撮像されたＣＴ画像の臓器の識別処理において、特に膵臓や胆嚢、下大静脈などの臓器の識別率が高くなかった。

本発明は上記の点に鑑みてなされたものであり、ＣＴ画像に撮像された体の構成要素の識別率を向上させることができる画像処理装置、及びプログラムを提供する。

本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、体の構成要素のうちの複数種類の前記構成要素である第１被撮像構成要素が撮像された第１画像に撮像されている前記第１被撮像構成要素の種類が、前記第１画像に撮像されている前記第１被撮像構成要素の種類を示す第１教師データを用いて学習された学習結果である多クラス学習結果を取得する多クラス学習結果取得部と、前記構成要素のうちの前記複数種類のうちの部分集合の種類の前記構成要素である第２被撮像構成要素が撮像された第２画像に撮像されている前記第２被撮像構成要素の種類を示す第２教師データを取得する第２教師データ取得部と、前記多クラス学習結果取得部により取得された前記多クラス学習結果と、前記第２教師データ取得部により取得された前記第２教師データと、を用いて前記第２画像に撮像されている前記第２被撮像構成要素の種類が学習された学習結果である少クラス学習結果を取得する少クラス学習結果取得部と、前記構成要素が撮像された第３画像を取得する画像取得部と、前記少クラス学習結果取得部により取得された前記少クラス学習結果に基づいて、前記画像取得部により取得された前記第３画像に撮像されている前記構成要素の種類を判定する判定部とを備える画像処理装置である。

また、本発明の一態様は、上記の画像処理装置において、前記判定部は、前記第３画像の部分毎に前記構成要素の種類の確率分布を示す確率アトラスを用いて判定する。

また、本発明の一態様は、コンピュータに、体の構成要素のうちの複数種類の前記構成要素である第１被撮像構成要素が撮像された第１画像に撮像されている前記第１被撮像構成要素の種類が、前記第１画像に撮像されている前記第１被撮像構成要素の種類を示す第１教師データを用いて学習された学習結果である多クラス学習結果を取得する多クラス学習結果取得ステップと、前記構成要素のうちの前記複数種類のうちの部分集合の種類の前記構成要素である第２被撮像構成要素が撮像された第２画像に撮像されている前記第２被撮像構成要素の種類を示す第２教師データを取得する第２教師データ取得ステップと、前記多クラス学習結果取得ステップにより取得された前記多クラス学習結果と、前記第２教師データ取得ステップにより取得された前記第２教師データと、を用いて前記第２画像に撮像されている前記第２被撮像構成要素の種類が学習された学習結果である少クラス学習結果を取得する少クラス学習結果取得ステップと、前記構成要素が撮像された第３画像を取得する画像取得ステップと、前記少クラス学習結果取得ステップにより取得された前記少クラス学習結果に基づいて、前記画像取得ステップにより取得された前記第３画像に撮像されている前記構成要素の種類を判定する判定ステップとを実行させるためのプログラムである。

本発明によれば、ＣＴ画像に撮像された体の構成要素の識別率を向上させることができる。

本発明の第１の実施形態に係る画像処理装置の構成の一例を示す図である。 本発明の第１の実施形態に係るニューラルネットワークの一例を示す図である。 本発明の第１の実施形態に係る臓器識別処理の一例を示す図である。 本発明の第１の実施形態に係る臓器画像の一例を示す図である。 本発明の第１の実施形態に係る判定結果画像の一例を示す図である。 本発明の第２の実施形態に係る画像処理装置の構成の一例を示す図である。 本発明の第２の実施形態に係る臓器識別処理の一例を示す図である。 本発明の第３の実施形態に係る画像処理装置の構成の一例を示す図である。 本発明の第３の実施形態に係る病変部判定処理の一例を示す図である。 従来の２Ｄ Ｕ−ｎｅｔにより判定された判定結果画像の一例を示す図である。 従来のＳ−ＣＳＬ−ＵＩにより判定された判定結果画像の一例を示す図である。

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図１は、本実施形態に係る画像処理装置１の構成の一例を示す図である。

［画像処理装置の構成］
画像処理装置１は、深層学習を用いて３次元のＣＴ画像から各臓器が撮像された領域を抽出する。画像処理装置１は、まず全臓器の識別を同時に行う学習を行う。ここで画像処理装置１は、ニューラルネットワークにＣＴ画像に撮像されている臓器の種類をボクセル毎に学習させる。
次に、画像処理装置１は、臓器の種類と同じ数の複数のニューラルネットワークそれぞれに、全臓器の識別において学習した結合荷重を初期値として各臓器の周辺を学習させる。ここで画像処理装置１は、複数のニューラルネットワークそれぞれに、ＣＴ画像に撮像されている臓器のうち特定の臓器がＣＴ画像に撮像されているかをボクセル毎に学習させる。
本実施形態では、一例として、臓器の種類の数である臓器種類数Ｎが８である場合について説明する。本実施形態では、臓器の種類には、一例として、肝臓、脾臓、右腎臓、左腎臓、膵臓、胆嚢、大動脈、及び下大静脈がある。

画像処理装置１は、複数臓器教師付き画像取得部１０と、複数臓器学習部１１と、複数臓器学習結果取得部１２と、臓器教師付き画像取得部１３と、臓器毎学習部１４と、臓器毎学習結果取得部１５と、臓器画像取得部１６と、判定部１７とを備える。

複数臓器教師付き画像取得部１０は、複数臓器教師付き画像供給部２から供給される複数臓器教師付き画像ＰＬＤを取得する。ここで複数臓器教師付き画像ＰＬＤとは、複数臓器画像ＰＤに含まれるボクセルのうち部分領域の各ボクセルと、部分領域の各ボクセルのクラス分類を示す値とが対応づけられた画像である。ここで部分領域とは、複数臓器画像ＰＤのうちの一部の領域である。複数臓器教師付き画像ＰＬＤは、第１教師データの一例である。
複数臓器画像ＰＤとは、複数の種類の臓器が撮像された３次元のＣＴ画像である。複数臓器教師付き画像ＰＬＤにおけるクラス分類を示す値は、臓器種類数Ｎと、画像処理装置１が識別する臓器以外とに対応して、臓器種類数Ｎに１を加えた種類だけある。本実施形態では、臓器種類数Ｎが８であるからクラス分類を示す値は９種類ある。

画像処理装置１では、複数臓器画像ＰＤの全体が部分領域に分けられ、部分領域を単位として臓器の種類についてのクラス分類が行われる。複数臓器教師付き画像ＰＬＤでは、１枚の複数臓器画像ＰＤに対して、複数臓器画像ＰＤに含まれる部分領域の数だけの教師データが対応している。
ここで複数臓器画像ＰＤのボクセル数は、一例として、１３２×１３２×１１６ボクセルである。複数臓器画像ＰＤの部分領域のサイズは、一例として、４４×４４×２８ボクセルである。したがって、１枚の複数臓器画像ＰＤに対して、少なくとも３×３×４個の教師データが対応してよい。
なお、部分領域のサイズは、抽出対象の臓器の種類や、画像処理装置１の利用可能なメモリなどによって決定されてよい。部分領域のサイズは、複数臓器画像ＰＤのサイズと等しくてもよい。

複数臓器学習部１１は、複数臓器教師付き画像取得部１０により取得された複数臓器教師付き画像ＰＬＤを用いて学習を行う。ここで複数臓器学習部１１は、公知の３Ｄ Ｕ−ｎｅｔを用いて学習を行う。３Ｄ Ｕ−ｎｅｔとは、ＣＮＮを用いた多層のニューラルネットワークである。複数臓器学習部１１は、学習の結果として、３Ｄ Ｕ−ｎｅｔの各ノードの間の結合荷重（パラメータ）である複数臓器学習結合荷重ＰＷを算出する。
以下では、複数臓器学習部１１が学習に用いる３Ｄ Ｕ−ｎｅｔを、複数臓器判定用ニューラルネットワークＣＮという。

ここで図２を参照し、複数臓器判定用ニューラルネットワークＣＮについて説明する。
図２は、本実施形態に係るニューラルネットワークの一例を示す図である。複数臓器判定用ニューラルネットワークＣＮの入力層のノードの数は、複数臓器画像ＰＤのボクセル数と同じ数である。複数臓器画像ＰＤのボクセル数は１３２×１３２×１１６ボクセルであるから、複数臓器判定用ニューラルネットワークＣＮの入力層のノードの数は１３２×１３２×１１６である。

一方、複数臓器判定用ニューラルネットワークＣＮの出力層のノードの数は、複数臓器画像ＰＤの部分領域のボクセル数に、分類されるクラスの数を乗じた数である。複数臓器判定用ニューラルネットワークＣＮにおいて分類されるクラスの数であるクラス数は、臓器の８種類と、それらの臓器以外の１種類とに対応して９種類である。複数臓器画像ＰＤの部分領域のボクセル数は４４×４４×２８ボクセルであるから、複数臓器判定用ニューラルネットワークＣＮの出力層のノードの数は、４４×４４×２８×９である。

図１に戻って画像処理装置１の構成の説明を続ける。
複数臓器学習結果取得部１２は、複数臓器学習部１１により算出された複数臓器学習結合荷重ＰＷを取得する。

臓器教師付き画像取得部１３は、臓器教師付き画像供給部３から供給される第ｉ臓器教師付き画像ＬＤ−ｉ（ｉ＝１、２、・・・、８）を取得する。ここで第ｉ臓器教師付き画像ＬＤ−ｉには、臓器種類数Ｎと同じ数の種類がある。ここで第ｉ臓器教師付き画像ＬＤ−ｉとは、第ｉ臓器画像ＰＤ−ｉ（ｉ＝１、２、・・・、８）に含まれるボクセルのうち部分領域の各ボクセルと、部分領域の各ボクセルのクラス分類を示す値とが対応づけられた画像である。第ｉ臓器教師付き画像ＬＤ−ｉは、第２教師データの一例である。
第ｉ臓器画像ＰＤ−ｉとは、画像処理装置１が識別する臓器の種類のうち第ｉ臓器の全体または一部が撮像された３次元のＣＴ画像である。第ｉ臓器教師付き画像ＬＤ−ｉにおけるクラス数は、第ｉ臓器の１種類と、第ｉ臓器以外の１種類とに対応して、２種類ある。

第ｉ臓器画像ＰＤ−ｉと、複数臓器画像ＰＤとでは、撮像されている臓器の種類の数が異なる以外は、画像のサイズや部分領域のサイズは等しい。
なお、第ｉ臓器画像ＰＤ−ｉには、第ｉ臓器の全体または一部が撮像されていれば、画像処理装置１が識別する臓器の種類のうち第ｉ臓器以外の臓器の全体または一部が含まれていても構わない。

臓器毎学習部１４は、第ｉ臓器学習部１４−ｉ（ｉ＝１、２、・・・、８）をそれぞれ備える。ここで第ｉ臓器学習部１４−ｉは、臓器種類数Ｎと同じ数の種類がある。
第ｉ臓器学習部１４−ｉは、臓器教師付き画像取得部１３により取得された第ｉ臓器教師付き画像ＬＤ−ｉと、複数臓器学習結果取得部１２により取得された複数臓器学習結合荷重ＰＷと、を用いて学習を行う。ここで第ｉ臓器学習部１４−ｉは、公知の３Ｄ Ｕ−ｎｅｔを用いて、複数臓器学習結合荷重ＰＷを初期値として学習を行う。第ｉ臓器学習部１４−ｉは、学習の結果として、３Ｄ Ｕ−ｎｅｔの各ノードの間の結合荷重（パラメータ）である第ｉ臓器学習結合荷重Ｗ−ｉを算出する。
以下では、第ｉ臓器学習部１４−ｉが学習に用いる３Ｄ Ｕ−ｎｅｔを、第ｉ臓器判定用ニューラルネットワークＣＮ−ｉという。

ここで再び図２を参照し、第ｉ臓器判定用ニューラルネットワークＣＮ−ｉについて説明する。
第ｉ臓器判定用ニューラルネットワークＣＮ−ｉは、分類されるクラスの数が異なる点以外は、複数臓器判定用ニューラルネットワークＣＮと同様である。第ｉ臓器判定用ニューラルネットワークＣＮ−ｉにより分類されるクラスの数が複数臓器判定用ニューラルネットワークＣＮにより分類されるクラスの数と異なるため、第ｉ臓器判定用ニューラルネットワークＣＮ−ｉの出力層のノードの数は、複数臓器判定用ニューラルネットワークＣＮの出力層のノードの数と異なる。
第ｉ臓器判定用ニューラルネットワークＣＮ−ｉにおいて、分類されるクラスの数は、第ｉ臓器と、第ｉ臓器以外とに対応して２であり、第ｉ臓器画像ＰＤ−ｉの部分領域のボクセル数は４４×４４×２８ボクセルであるから、第ｉ臓器判定用ニューラルネットワークＣＮ−ｉの出力層のノードの数は、４４×４４×２８×２である。

図１に戻って画像処理装置１の構成の説明を続ける。
臓器毎学習結果取得部１５は、第ｉ臓器学習結果取得部１５−ｉ（ｉ＝１、２、・・・、８）をそれぞれ備える。ここで第ｉ臓器学習結果取得部１５−ｉは、臓器種類数Ｎと同じ数の種類がある。
第ｉ臓器学習結果取得部１５−ｉは、第ｉ臓器学習部１４−ｉにより算出された第ｉ臓器学習結合荷重Ｗ−ｉを取得する。

臓器画像取得部１６は、臓器画像供給部４から供給される臓器画像Ｐ１を取得する。ここで臓器画像Ｐ１とは、画像処理装置１により識別される臓器が撮像された３次元のＣＴ画像である。すなわち、臓器画像取得部１６は、臓器が撮像された臓器画像Ｐ１を取得する。

判定部１７は、第ｉ臓器判定部１７−ｉをそれぞれ備える。ここで第ｉ臓器判定部１７−ｉは、臓器種類数Ｎと同じ数の種類がある。
第ｉ臓器判定部１７−ｉは、第ｉ臓器学習結果取得部１５−ｉにより取得された第ｉ臓器学習結合荷重Ｗ−ｉに基づいて、臓器画像取得部１６により取得された臓器画像Ｐ１に撮像されている臓器の種類を判定する。ここで第ｉ臓器判定部１７−ｉは、第ｉ臓器学習結合荷重Ｗ−ｉを結合荷重として、第ｉ臓器判定用ニューラルネットワークＣＮ−ｉを用いて臓器の種類を判定する。

提示部５は、判定部１７の判定結果に基づいて、判定結果画像Ｐ２を提示する。ここで判定結果画像Ｐ２とは、臓器画像Ｐ１に撮像された各臓器に対応する領域が識別可能な態様に処理された画像である。本実施形態では、判定結果画像Ｐ２は、一例として、各臓器に対応する領域がそれぞれ異なる色を用いて表現された２次元の画像である。なお、判定結果画像Ｐ２は、臓器画像Ｐ１に撮像された各臓器に対応する領域が識別可能な態様に処理された３次元の画像であってもよい。
提示部５は、判定結果画像Ｐ２を、例えば外部の表示装置に表示させることにより判定結果画像Ｐ２を提示する。なお、提示部５は、判定結果画像Ｐ２を外部の記憶装置に出力させてもよい。
また、提示部５は、判定部１７の判定結果を外部の３Ｄプリンタに出力し、３Ｄプリンタに各臓器の形状を造形させてもよい。

複数臓器教師付き画像供給部２は、画像処理装置１に対して複数臓器教師付き画像ＰＬＤを供給する。
臓器教師付き画像供給部３は、画像処理装置１に対して第ｉ臓器教師付き画像ＬＤ−ｉを供給する。
臓器画像供給部４は、画像処理装置１に対して臓器画像Ｐ１を供給する。
複数臓器教師付き画像供給部２、臓器教師付き画像供給部３、及び臓器画像供給部４はそれぞれ、例えば、キーボードやタブレット、スキャナなどのヒューマンインタフェイス装置によって実現されてもよいし、サーバなどの情報記憶装置によって実現されてもよい。

［画像処理装置の処理］
次に図３を参照し、画像処理装置１が臓器画像Ｐ１に撮像された各臓器を識別する処理について説明する。
図３は、本実施形態に係る臓器識別処理の一例を示す図である。

ステップＳ１００：複数臓器教師付き画像取得部１０は、複数臓器教師付き画像供給部２から供給される複数臓器教師付き画像ＰＬＤを取得する。複数臓器教師付き画像ＰＬＤは、複数臓器画像ＰＤに撮像されている第１臓器〜第Ｎ臓器の種類を示す。
複数臓器教師付き画像取得部１０は、取得した複数臓器教師付き画像ＰＬＤを複数臓器学習部１１に供給する。

ステップＳ１１０：複数臓器学習部１１は、複数臓器教師付き画像取得部１０により取得された複数臓器教師付き画像ＰＬＤと、複数臓器判定用ニューラルネットワークＣＮとを用いて学習を行う。複数臓器学習部１１は、学習の結果として複数臓器学習結合荷重ＰＷを算出する。複数臓器学習部１１は、算出した複数臓器学習結合荷重ＰＷを複数臓器学習結果取得部１２に供給する。

ここで複数臓器学習結合荷重ＰＷは、臓器のうちの複数種類の臓器である第１臓器〜第Ｎ臓器が撮像された複数臓器画像ＰＤに撮像されている第１臓器〜第Ｎ臓器の種類が、複数臓器教師付き画像ＰＬＤを用いて学習された学習結果である。

ステップＳ１２０：複数臓器学習結果取得部１２は、複数臓器学習部１１により算出された複数臓器学習結合荷重ＰＷを取得する。複数臓器学習結果取得部１２は、取得した複数臓器学習結合荷重ＰＷを臓器毎学習部１４に供給する。

ステップＳ１３０：臓器教師付き画像取得部１３は、臓器教師付き画像供給部３から供給される第ｉ臓器教師付き画像ＬＤ−ｉ（ｉ＝１、２、・・・、８）を取得する。臓器教師付き画像取得部１３は、取得した第ｉ臓器教師付き画像ＬＤ−ｉを第ｉ臓器学習部１４−ｉにそれぞれ供給する。
ここで第ｉ臓器教師付き画像ＬＤ−ｉは、第ｉ臓器が撮像された第ｉ臓器画像ＰＤ−ｉに撮像されている第ｉ臓器の種類を示す。第ｉ臓器は、臓器のうちの複数臓器画像ＰＤに撮像されている第１臓器〜第Ｎ臓器のうちの部分集合の種類の臓器である。したがって、第ｉ臓器教師付き画像ＬＤ−ｉは、臓器のうちの複数臓器画像ＰＤに撮像されている第１臓器〜第Ｎ臓器のうちの部分集合の種類の臓器である第ｉ臓器が撮像された第ｉ臓器画像ＰＤ−ｉに撮像されている第ｉ臓器の種類を示す。

ステップＳ１４０：臓器毎学習部１４は、第ｉ臓器毎に学習を行う。ここで臓器毎学習部１４に備えられる第ｉ臓器学習部１４−ｉが、臓器教師付き画像取得部１３により取得された第ｉ臓器教師付き画像ＬＤ−ｉと、複数臓器学習結果取得部１２により取得された複数臓器学習結合荷重ＰＷと、第ｉ臓器判定用ニューラルネットワークＣＮ−ｉとを用いて学習を行う。

第ｉ臓器学習部１４−ｉは、複数臓器学習結合荷重ＰＷを第ｉ臓器判定用ニューラルネットワークＣＮ−ｉの各ノードの間の結合荷重の初期値として学習を行う。つまり、第ｉ臓器学習部１４−ｉは、複数臓器教師付き画像ＰＬＤが用いられて複数臓器判定用ニューラルネットワークＣＮにより学習された結果である複数臓器学習結合荷重ＰＷを用いて転移学習を行う。

ここでステップＳ１１０において複数の臓器の学習に用いられる複数臓器判定用ニューラルネットワークＣＮと、ステップＳ１４０において臓器毎の学習に用いられる第ｉ臓器判定用ニューラルネットワークＣＮ−ｉとでは、分類されるクラスの数が異なる。上述したように、複数臓器判定用ニューラルネットワークＣＮにおいて分類されるクラスの数は、臓器種類数Ｎの種類の臓器と、それらの臓器以外とを分類するため、臓器種類数Ｎに１を加えた数である。一方、第ｉ臓器判定用ニューラルネットワークＣＮ−ｉにおいて分類されるクラス数は、第ｉ臓器であるか否かを分類するため２である。

ステップＳ１４０においては、臓器画像Ｐ１の部分領域の各ボクセルが臓器種類数Ｎに１を加えた数のクラスに分類されることにより学習された結果である複数臓器学習結合荷重ＰＷを用いて、臓器画像Ｐ１の部分領域の各ボクセルが臓器種類数Ｎに１を加えた数よりも少ない数のクラスに分類されることにより転移学習が行われる。

第ｉ臓器学習部１４−ｉは、学習の結果として第ｉ臓器学習結合荷重Ｗ−ｉを算出する。ここで第ｉ臓器学習結合荷重Ｗ−ｉは、複数臓器学習結果取得部１２により取得された複数臓器学習結合荷重ＰＷと、臓器教師付き画像取得部１３により取得された第ｉ臓器教師付き画像ＬＤ−ｉと、を用いて第ｉ臓器画像ＰＤ−ｉに撮像されている種類が学習された学習結果である。

ステップＳ１５０：臓器毎学習結果取得部１５は、第ｉ臓器学習部１４−ｉにより算出された第ｉ臓器学習結合荷重Ｗ−ｉを取得する。ここで臓器毎学習結果取得部１５に備えられる第ｉ臓器学習結果取得部１５−ｉが、第ｉ臓器学習部１４−ｉにより算出された第ｉ臓器学習結合荷重Ｗ−ｉをそれぞれ取得することである。
第ｉ臓器学習結果取得部１５−ｉは、取得した第ｉ臓器学習結合荷重Ｗ−ｉを第ｉ臓器判定部１７−ｉにそれぞれ供給する。

ステップＳ１６０：臓器画像取得部１６は、臓器画像供給部４から供給される臓器画像Ｐ１を取得する。臓器画像取得部１６は、取得した臓器画像Ｐ１を判定部１７に供給する。

ここで図４を参照し、臓器画像Ｐ１の具体例について説明する。
図４は、本実施形態に係る臓器画像Ｐ１の一例を示す図である。ここで図４では、３次元のＣＴ画像である臓器画像Ｐ１の２次元の断面が示されている。臓器画像Ｐ１には、肝臓、脾臓、右腎臓、左腎臓、膵臓、胆嚢、大動脈、及び下大静脈の８種類の臓器がそれぞれ撮像されている。

図３に戻って画像処理装置１の処理の説明を続ける。
ステップＳ１７０：判定部１７は、臓器画像取得部１６により取得された臓器画像Ｐ１に撮像されている臓器の種類を判定する。ここで判定部１７に備えられる第ｉ臓器判定部１７−ｉが、第ｉ臓器学習結果取得部１５−ｉにより取得された第ｉ臓器学習結合荷重Ｗ−ｉに基づいて、臓器画像取得部１６により取得された臓器画像Ｐ１に撮像されている臓器の種類を判定する。第ｉ臓器判定部１７−ｉは、第ｉ臓器学習部１４−ｉにより学習に用いられた第ｉ臓器判定用ニューラルネットワークＣＮ−ｉを用いて臓器の種類を判定する。

判定部１７は、第ｉ臓器判定用ニューラルネットワークＣＮ−ｉ毎の判定結果を提示部５に供給する。ここで第ｉ臓器判定用ニューラルネットワークＣＮ−ｉ毎の判定結果とは、臓器画像Ｐ１において第ｉ臓器に対応する領域がボクセルを単位として示された情報である。

ステップＳ１８０：提示部５は、判定部１７の判定結果に基づいて、判定結果画像Ｐ２を提示する。

ここで図５を参照し、判定結果画像Ｐ２の具体例について説明する。
図５は、本実施形態に係る判定結果画像Ｐ２の一例を示す図である。図５では、一例として、判定部１７の判定結果のうち第１臓器判定領域Ｒ１と、第２臓器判定領域Ｒ２と、第３臓器判定領域Ｒ３とが示されている。第１臓器判定領域Ｒ１は、臓器画像Ｐ１のうち膵臓と判定された領域である。第２臓器判定領域Ｒ２は、臓器画像Ｐ１のうち胆嚢と判定された領域である。第３臓器判定領域Ｒ３は、臓器画像Ｐ１のうち下大静脈と判定された領域である。

画像処理装置１と比較するために、図１０及び図１１を参照し、従来技術による判定結果について説明する。
図１０は、従来の２Ｄ Ｕ−ｎｅｔにより判定された第１比較判定結果画像Ｐ１０の一例を示す図である。図１０では、一例として、２Ｄ Ｕ−ｎｅｔにより判定された判定結果のうち第１臓器判定領域Ｒ１０１と、第２臓器判定領域Ｒ１０２と、第３臓器判定領域Ｒ１０３とが示されている。第１臓器判定領域Ｒ１０１は、臓器画像Ｐ１のうち膵臓と判定された領域である。第２臓器判定領域Ｒ１０２は、臓器画像Ｐ１のうち胆嚢と判定された領域である。第３臓器判定領域Ｒ１０３は、臓器画像Ｐ１のうち下大静脈と判定された領域である。

図１０の第１臓器判定領域Ｒ１０１を、図５の膵臓と判定された第１臓器判定領域Ｒ１と比較すると、第１臓器判定領域Ｒ１０１は、第１臓器判定領域Ｒ１のうち例えば矢印Ａ１により示される領域を含んでいない。ここで矢印Ａ１により示される領域は膵臓である。つまり従来の２Ｄ Ｕ−ｎｅｔでは、矢印Ａ１により示される領域を膵臓と判定できていない。

図１１は、従来のＳ−ＣＳＬ−ＵＩにより判定された第２比較判定結果画像Ｐ２０の一例を示す図である。図１１では、一例として、Ｓ−ＣＳＬ−ＵＩにより判定された判定結果のうち第１臓器判定領域Ｒ２０１と、第２臓器判定領域Ｒ２０２と、第３臓器判定領域Ｒ２０３とが示されている。第１臓器判定領域Ｒ２０１は、臓器画像Ｐ１のうち膵臓と判定された領域である。第２臓器判定領域Ｒ２０２は、臓器画像Ｐ１のうち胆嚢と判定された領域である。第３臓器判定領域Ｒ２０３は、臓器画像Ｐ１のうち下大静脈と判定された領域である。

図１１の第１臓器判定領域Ｒ２０１を、図５の膵臓と判定された第１臓器判定領域Ｒ１と比較すると、第１臓器判定領域Ｒ２０１は、第１臓器判定領域Ｒ１には含まれていない例えば矢印Ａ２により示される領域を含んでいる。ここで矢印Ａ２により示される領域は膵臓ではない。つまり従来のＳ−ＣＳＬ−ＵＩでは、矢印Ａ２により示される領域を誤って膵臓と判定してしまっている。

また、図１１の第３臓器判定領域Ｒ２０３を、図５の下大静脈と判定された第３臓器判定領域Ｒ３と比較すると、第３臓器判定領域Ｒ２０３は、第３臓器判定領域Ｒ３には含まれていない例えば矢印Ａ３により示される領域を含んでいる。ここで矢印Ａ３により示される領域は下大静脈ではない。つまり従来のＳ−ＣＳＬ−ＵＩでは、矢印Ａ３により示される領域を誤って下大静脈と判定してしまっている。

なお、本実施形態では、一例として、画像処理装置１が、臓器画像Ｐ１の部分領域の各ボクセルを、第ｉ臓器であるか否かに基づいて２つのクラスに分類する場合について説明したが、これに限らない。画像処理装置１は、臓器画像Ｐ１の部分領域の各ボクセルを、臓器種類数Ｎよりも少ない種類である少臓器種類数Ｍの臓器のいずれかであるかに基づいて、少臓器種類数Ｍに１を加えた数のクラスに分類してもよい。
例えば、臓器種類数Ｎが８である場合、画像処理装置１は、臓器画像Ｐ１の部分領域の各ボクセルを、膵臓、脾臓、及び下大静脈の３種類の臓器か、それら３種類の臓器以外であるかに基づいて４つのクラスに分類してよい。

画像処理装置１が臓器画像Ｐ１の部分領域の各ボクセルを少臓器種類数Ｍに１を加えた数のクラスに分類する場合、画像処理装置１は、臓器画像Ｐ１の部分領域の各ボクセルが臓器種類数Ｎに１を加えた数のクラスに分類されることにより学習された結果である複数臓器学習結合荷重ＰＷを用いて、臓器画像Ｐ１の部分領域の各ボクセルが少臓器種類数Ｍに１を加えた数のクラスに分類されることにより転移学習を行う。

また、本実施形態では、一例として、臓器種類数Ｎが８である場合について説明したが、これに限らない。臓器種類数Ｎは、転移学習が行われるため２以上であればよい。

また、本実施形態では、一例として、複数臓器学習結果取得部１２が、複数臓器学習部１１により算出された複数臓器学習結合荷重ＰＷを取得する場合について説明したが、これに限らない。複数臓器学習結果取得部１２は、外部装置において算出された複数臓器学習結合荷重ＰＷを取得してもよい。
また、本実施形態では、一例として、臓器毎学習結果取得部１５に備えられる第ｉ臓器学習結果取得部１５−ｉが、臓器毎学習部１４に備えられる第ｉ臓器学習部１４−ｉにより算出された第ｉ臓器学習結合荷重Ｗ−ｉを取得する場合について説明したが、これに限らない。第ｉ臓器学習結果取得部１５−ｉは、外部装置において算出された第ｉ臓器学習結合荷重Ｗ−ｉを取得してもよい。

以上に説明したように、本実施形態に係る画像処理装置１は、多クラス学習結果取得部（複数臓器学習結果取得部１２）と、第２教師データ取得部（臓器教師付き画像取得部１３）と、少クラス学習結果取得部（臓器毎学習結果取得部１５）と、画像取得部（臓器画像取得部１６）と、判定部１７とを備える。
多クラス学習結果取得部（複数臓器学習結果取得部１２）は、体の構成要素（臓器）のうちの複数種類の構成要素（臓器）である第１被撮像構成要素（第１臓器〜第Ｎ臓器）が撮像された第１画像（複数臓器画像ＰＤ）に撮像されている第１被撮像構成要素（第１臓器〜第Ｎ臓器）の種類が、第１画像（複数臓器画像ＰＤ）に撮像されている第１被撮像構成要素（第１臓器〜第Ｎ臓器）の種類を示す第１教師データ（複数臓器教師付き画像ＰＬＤ）を用いて学習された学習結果である多クラス学習結果（複数臓器学習結合荷重ＰＷ）を取得する。
第２教師データ取得部（臓器教師付き画像取得部１３）は、体の構成要素（臓器）のうちの複数種類のうちの部分集合の種類の体の構成要素（臓器）である第２被撮像構成要素（第ｉ臓器）が撮像された第２画像（第１臓器画像ＰＤ−１）に撮像されている第２被撮像構成要素（第ｉ臓器）の種類を示す第２教師データ（第ｉ臓器教師付き画像ＬＤ−ｉ）を取得する。
少クラス学習結果取得部（臓器毎学習結果取得部１５）は、多クラス学習結果取得部（複数臓器学習結果取得部１２）により取得された多クラス学習結果（複数臓器学習結合荷重ＰＷ）と、第２教師データ取得部（臓器教師付き画像取得部１３）により取得された第２教師データ（第ｉ臓器教師付き画像ＬＤ−ｉ）と、を用いて第２画像（第ｉ臓器画像ＰＤ−ｉ）に撮像されている第２被撮像構成要素の種類が学習された学習結果である少クラス学習結果（第ｉ臓器学習結合荷重Ｗ−ｉ）を取得する。
画像取得部（臓器画像取得部１６）は、体の構成要素（臓器）が撮像された第３画像（臓器画像Ｐ１）を取得する。
判定部１７は、少クラス学習結果取得部（臓器毎学習結果取得部１５）により取得された少クラス学習結果（第ｉ臓器学習結合荷重Ｗ−ｉ）に基づいて、画像取得部（臓器画像取得部１６）により取得された第３画像（臓器画像Ｐ１）に撮像されている体の構成要素（臓器）の種類を判定する。

この構成により、本実施形態に係る画像処理装置１では、複数種類の体の構成要素を判定して得られた学習結果を用いて、判定対象の構成要素について転移学習をすることができるため、ＣＴ画像に撮像された体の構成要素の識別率を向上させることができる。

（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
上記第１の実施形態では、画像処理装置が、転移学習により学習された臓器判定用ニューラルネットワークを用いて各臓器の判定を行う場合について説明をした。本実施形態では、画像処理装置が、臓器判定用ニューラルネットワークを用いて各臓器の判定を行う前に、確率アトラスを用いて各臓器の位置の候補を絞り込む場合について説明をする。
本実施形態に係る画像処理装置を画像処理装置１ａという。

［画像処理装置の構成］
図６は、本実施形態に係る画像処理装置１ａの構成の一例を示す図である。本実施形態に係る画像処理装置１ａ（図６）と第１の実施形態に係る画像処理装置１（図１）とを比較すると、判定部１７ａ、及び確率アトラス取得部１８が異なる。ここで、他の構成要素（複数臓器教師付き画像取得部１０、複数臓器学習部１１、複数臓器学習結果取得部１２、臓器教師付き画像取得部１３、臓器毎学習部１４、臓器毎学習結果取得部１５、及び臓器画像取得部１６）が持つ機能は第１の実施形態と同じである。第１の実施形態と同じ機能の説明は省略し、第２の実施形態では、第１の実施形態と異なる部分を中心に説明する。

確率アトラス取得部１８は、確率アトラス供給部６から供給される確率アトラスＰＡを取得する。ここで確率アトラスＰＡとは、臓器画像Ｐ１において第ｉ臓器の確率分布をボクセル毎に示す情報である。つまり、確率アトラスＰＡは、臓器画像Ｐ１の部分毎に体の構成要素の種類の確率分布を示す。確率アトラスＰＡは、第ｉ臓器毎に確率分布を示す。

判定部１７ａは、第ｉ臓器判定部１７ａ−ｉ（ｉ＝１、２、・・・、８）と、臓器候補位置判定部１７０とを備える。
臓器候補位置判定部１７０は、確率アトラス取得部１８により取得された確率アトラスＰＡに基づいて、臓器画像Ｐ１の第ｉ臓器の候補となる位置を判定する。

第ｉ臓器判定部１７ａ−ｉは、臓器候補位置判定部１７０の判定結果と、第ｉ臓器学習結果取得部１５−ｉにより取得された第ｉ臓器学習結合荷重Ｗ−ｉに基づいて、臓器画像取得部１６により取得された臓器画像Ｐ１に撮像されている臓器の種類を判定する。ここで第ｉ臓器判定部１７−ｉは、第ｉ臓器学習部１４−ｉにより学習に用いられた第ｉ臓器判定用ニューラルネットワークＣＮ−ｉを用いて臓器の種類を判定する。

確率アトラス供給部６は、画像処理装置１ａに対して確率アトラスＰＡを供給する。確率アトラス供給部６は、例えば、キーボードやタブレット、スキャナなどのヒューマンインタフェイス装置によって実現されてもよいし、サーバなどの情報記憶装置によって実現されてもよい。

［画像処理装置の処理］
次に図７を参照し、画像処理装置１ａが臓器画像Ｐ１に撮像された各臓器を、確率アトラスＰＡを用いて識別する処理について説明する。
図７は、本実施形態に係る臓器識別処理の一例を示す図である。
なお、ステップＳ２００、ステップＳ２１０、ステップＳ２２０、ステップＳ２３０、ステップＳ２４０、ステップＳ２５０、ステップＳ２６０、及びステップＳ２９５の各処理は、図３におけるステップＳ１００、ステップＳ１１０、ステップＳ１２０、ステップＳ１３０、ステップＳ１４０、ステップＳ１５０、ステップＳ１６０、及びステップＳ１８０の各処理と同様であるため、説明を省略する。

ステップＳ２７０：確率アトラス取得部１８は、確率アトラス供給部６から供給される確率アトラスＰＡを取得する。確率アトラス取得部１８は、取得した確率アトラスＰＡを臓器候補位置判定部１７０に供給する。

ステップＳ２８０：臓器候補位置判定部１７０は、確率アトラス取得部１８により取得された確率アトラスＰＡに基づいて、臓器画像Ｐ１の第ｉ臓器の候補となる位置を判定する。ここで臓器候補位置判定部１７０は、臓器画像Ｐ１のボクセル群のうち、全てのボクセルの確率アトラスＰＡが第ｉ臓器の候補である確率が所定の値より大きいボクセル群を、臓器画像Ｐ１の第ｉ臓器の候補となる位置であると判定する。一方、臓器候補位置判定部１７０は、臓器画像Ｐ１のボクセル群のうち、全てのボクセルの確率アトラスＰＡが第ｉ臓器の候補である確率が所定の値以下であるボクセルを、臓器画像Ｐ１の第ｉ臓器の候補となる位置でないと判定する。
ここで所定の値とは、例えば、１パーセントである。なお、所定の値は、臓器の種類によらず共通の値が用いられてもよいし、臓器の種類に応じて異なる値が用いられてもよい。また、所定の値は０であってもよい。
臓器候補位置判定部１７０は、判定結果を第ｉ臓器判定部１７ａ−ｉにそれぞれ供給する。

ステップＳ２９０：第ｉ臓器判定部１７ａ−ｉは、臓器候補位置判定部１７０の判定結果と、第ｉ臓器学習結果取得部１５−ｉにより取得された第ｉ臓器学習結合荷重Ｗ−ｉに基づいて、臓器画像取得部１６により取得された臓器画像Ｐ１に撮像されている臓器の種類を判定する。つまり、判定部１７ａは確率アトラスＰＡを用いて判定する。

ここで第ｉ臓器判定部１７−ｉは、第ｉ臓器学習部１４−ｉにより学習に用いられた第ｉ臓器判定用ニューラルネットワークＣＮ−ｉを用いて臓器の種類を判定する。第ｉ臓器判定部１７ａ−ｉは、臓器画像Ｐ１のあるボクセルについて、臓器候補位置判定部１７０の判定結果が第ｉ臓器の候補となる位置でないことを示す場合、第ｉ臓器判定用ニューラルネットワークＣＮ−ｉによる判定結果にかかわらず、当該ボクセルを第ｉ臓器が撮像されていないボクセルであると判定する。

以上に説明したように、本実施形態に係る画像処理装置１ａは、判定部１７ａを備える。判定部１７ａは、第３画像（臓器画像Ｐ１）の部分毎に体の構成要素（臓器）の種類の確率分布を示す確率アトラスＰＡを用いて判定する。

この構成により、本実施形態に係る画像処理装置１では、確率アトラスＰＡを用いて体の構成要素の位置の候補を絞り込むことができるため、確率アトラスＰＡを用いない場合に比べてＣＴ画像に撮像された体の構成要素の識別率を向上させることができる。

（第３の実施形態）
以下、図面を参照しながら本発明の第３の実施形態について詳しく説明する。
上記第１の実施形態、及び第２の実施形態では、画像処理装置が、ＣＴ画像に撮像されている臓器の種類を識別する場合について説明をした。本実施形態では、画像処理装置が、ＣＴ画像に撮像されている体の構成要素の病変部を識別する場合について説明する。
本実施形態に係る画像処理装置を画像処理装置１ｂという。

［画像処理装置の構成］
図８は、本実施形態に係る画像処理装置１ｂの構成の一例を示す図である。第１実施形態の画像処理装置１（図１）が、第１臓器〜第Ｎ臓器を判定したのに対して、本実施形態の画像処理装置１ｂ（図８）は、健常部、及び病変部を判定する。画像処理装置１ｂ（図８）と、画像処理装置１（図１）とでは、判定対象である体の構成要素と、当該構成要素の種類の数とが異なる。

画像処理装置１ｂは、臓器健常部−病変部教師付き画像取得部１０ｂと、健常部病変部学習部１１ｂと、健常部病変部学習結果取得部１２ｂと、病変部教師付き画像取得部１３ｂと、病変部学習部１４ｂと、病変部学習結果取得部１５ｂと、画像取得部１６ｂと、病変部判定部１７ｂとを備える。

臓器健常部−病変部教師付き画像取得部１０ｂは、臓器健常部−病変部教師付き画像供給部２ｂから供給される臓器健常部−病変部教師付き画像ＨＬＬＤを取得する。ここで臓器健常部−病変部教師付き画像ＨＬＬＤとは、健常部病変部画像ＨＬＰＤに含まれるボクセルのうち部分領域の各ボクセルと、部分領域の各ボクセルのクラス分類を示す値とが対応づけられた画像である。臓器健常部−病変部教師付き画像ＨＬＬＤは、第１教師データの一例である。
健常部病変部画像ＨＬＰＤとは、臓器の健常部と病変部とが撮像された３次元のＣＴ画像である。臓器健常部−病変部教師付き画像ＨＬＬＤにおけるクラス数は、健常部である臓器の８種類と、病変部の１種類と、臓器以外の部分の１種類とに対応して、１０種類ある。

健常部病変部学習部１１ｂは、臓器健常部−病変部教師付き画像取得部１０ｂにより取得された臓器健常部−病変部教師付き画像ＨＬＬＤを用いて学習を行う。ここで健常部病変部学習部１１ｂは、公知の３Ｄ Ｕ−ｎｅｔを用いて学習を行う。健常部病変部学習部１１ｂは、学習の結果として、３Ｄ Ｕ−ｎｅｔの各ノードの間の結合荷重（パラメータ）である健常部病変部結合荷重ＨＬＷを算出する。
以下では、健常部病変部学習部１１ｂが学習に用いる３Ｄ Ｕ−ｎｅｔを、健常部病変部判定用ニューラルネットワークＨＬＣＮという。

ここで健常部病変部画像ＨＬＰＤの部分領域のボクセル数は４４×４４×２８ボクセルである。健常部病変部判定用ニューラルネットワークＨＬＣＮにおいて分類されるクラスの数は、１０種類である。健常部病変部判定用ニューラルネットワークＨＬＣＮの出力層のノードの数は、４４×４４×２８×１０である。

健常部病変部学習結果取得部１２ｂは、健常部病変部学習部１１ｂにより算出された健常部病変部結合荷重ＨＬＷを取得する。

病変部教師付き画像取得部１３ｂは、病変部教師付き画像供給部３ｂから供給される病変部教師付き画像ＬＬＤを取得する。ここで病変部教師付き画像ＬＬＤとは、病変部画像ＬＰＤに含まれるボクセルのうち部分領域の各ボクセルと、部分領域の各ボクセルのクラス分類を示す値とが対応づけられた画像である。病変部教師付き画像ＬＬＤは、第２教師データの一例である。
病変部画像ＬＰＤとは、臓器の病変部の全体または一部が撮像された３次元のＣＴ画像である。病変部教師付き画像ＬＬＤにおけるクラス数は、病変部の１種類と、病変部以外の１種類とに対応して、２種類ある。ここで病変部以外には、健常部、及び臓器以外の部分が含まれる。

病変部学習部１４ｂは、病変部教師付き画像取得部１３ｂにより取得された病変部教師付き画像ＬＬＤと、健常部病変部学習結果取得部１２ｂにより取得された健常部病変部結合荷重ＨＬＷとを用いて学習を行う。ここで病変部学習部１４ｂは、公知の３Ｄ Ｕ−ｎｅｔを用いて、健常部病変部結合荷重ＨＬＷを初期値として学習を行う。病変部学習部１４ｂは、学習の結果として、３Ｄ Ｕ−ｎｅｔの各ノードの間の結合荷重（パラメータ）である病変部結合荷重ＬＷを算出する。
以下では、病変部学習部１４ｂが学習に用いる３Ｄ Ｕ−ｎｅｔを、病変部判定用ニューラルネットワークＬＣＮという。

ここで病変部画像ＬＰＤの部分領域のボクセル数は４４×４４×２８ボクセルである。病変部判定用ニューラルネットワークＬＣＮにおいて分類されるクラスのクラス数は、２種類である。病変部判定用ニューラルネットワークＬＣＮの出力層のノードの数は、４４×４４×２８×２である。
病変部学習結果取得部１５ｂは、病変部学習部１４ｂにより算出された病変部結合荷重ＬＷを取得する。

画像取得部１６ｂは、画像供給部４ｂから供給される画像ＤＰ１を取得する。ここで画像ＤＰ１とは、画像処理装置１ｂにより病変部を識別される臓器が撮像された３次元のＣＴ画像である。画像ＤＰ１に撮像されている臓器には、病変部が含まれていてもよいし、病変部が含まれていなくてもよい。

病変部判定部１７ｂは、病変部学習結果取得部１５ｂにより取得された病変部結合荷重ＬＷに基づいて、画像取得部１６ｂにより取得された画像ＤＰ１に撮像されている臓器の病変部を判定する。ここで病変部判定部１７ｂは、病変部結合荷重ＬＷを結合荷重として、病変部判定用ニューラルネットワークＬＣＮを用いて病変部を判定する。

提示部５ｂは、病変部判定部１７ｂの判定結果に基づいて、診断結果画像ＤＰ２を提示する。ここで診断結果画像ＤＰ２は、画像ＤＰ１に撮像された病変部に対応する領域が識別可能な態様に処理された画像である。

臓器健常部−病変部教師付き画像供給部２ｂは、画像処理装置１ｂに対して臓器健常部−病変部教師付き画像ＨＬＬＤを供給する。
病変部教師付き画像供給部３ｂは、画像処理装置１ｂに対して病変部教師付き画像ＬＬＤを供給する。
画像供給部４ｂは、画像処理装置１ｂに対して画像ＤＰ１を供給する。

［画像処理装置の処理］
次に図９を参照し、画像処理装置１ｂが画像ＤＰ１に撮像された病変部を判定する処理について説明する。
図９は、本実施形態に係る病変部判定処理の一例を示す図である。

ステップＳ３００：臓器健常部−病変部教師付き画像取得部１０ｂは、臓器健常部−病変部教師付き画像供給部２ｂから供給される臓器健常部−病変部教師付き画像ＨＬＬＤを取得する。臓器健常部−病変部教師付き画像取得部１０ｂは、取得した臓器健常部−病変部教師付き画像ＨＬＬＤを健常部病変部学習部１１ｂに供給する。

ステップＳ３１０：健常部病変部学習部１１ｂは、臓器健常部−病変部教師付き画像取得部１０ｂにより取得された臓器健常部−病変部教師付き画像ＨＬＬＤを用いて学習を行う。ここで健常部病変部学習部１１ｂは、健常部病変部判定用ニューラルネットワークＨＬＣＮを用いて学習を行う。
健常部病変部学習部１１ｂは、学習の結果として、健常部病変部結合荷重ＨＬＷを算出する。健常部病変部学習部１１ｂは、算出した健常部病変部結合荷重ＨＬＷを健常部病変部学習結果取得部１２ｂに供給する。

ステップＳ３２０：健常部病変部学習結果取得部１２ｂは、健常部病変部学習部１１ｂにより算出された健常部病変部結合荷重ＨＬＷを取得する。

ステップＳ３３０：病変部教師付き画像取得部１３ｂは、病変部教師付き画像供給部３ｂから供給される病変部教師付き画像ＬＬＤを取得する。病変部教師付き画像取得部１３ｂは、取得した病変部教師付き画像ＬＬＤを病変部学習部１４ｂに供給する。

ステップＳ３４０：病変部学習部１４ｂは、病変部教師付き画像取得部１３ｂにより取得された病変部教師付き画像ＬＬＤと、健常部病変部学習結果取得部１２ｂにより取得された健常部病変部結合荷重ＨＬＷとを用いて学習を行う。ここで病変部学習部１４ｂは、公知の病変部判定用ニューラルネットワークＬＣＮを用いて、健常部病変部結合荷重ＨＬＷを初期値として学習を行う。
病変部学習部１４ｂは、学習の結果として、３Ｄ Ｕ−ｎｅｔの各ノードの間の結合荷重（パラメータ）である病変部結合荷重ＬＷを算出する。病変部学習部１４ｂは、病変部結合荷重ＬＷを病変部学習結果取得部１５ｂに供給する。

ステップＳ３５０：病変部学習結果取得部１５ｂは、病変部学習部１４ｂにより算出された病変部結合荷重ＬＷを取得する。病変部学習結果取得部１５ｂは、取得した病変部結合荷重ＬＷを画像取得部１６ｂに供給する。

ステップＳ３６０：画像取得部１６ｂは、画像供給部４ｂから供給される画像ＤＰ１を取得する。画像取得部１６ｂは、取得した画像ＤＰ１を病変部判定部１７ｂに供給する。

ステップＳ３７０：病変部判定部１７ｂは、病変部学習結果取得部１５ｂにより取得された病変部結合荷重ＬＷに基づいて、画像取得部１６ｂにより取得された画像ＤＰ１に撮像されている臓器の病変部を判定する。ここで病変部判定部１７ｂは、病変部結合荷重ＬＷを結合荷重として、病変部判定用ニューラルネットワークＬＣＮを用いて病変部を判定する。
病変部判定部１７ｂは、判定結果を提示部５ｂに供給する。

ステップＳ３８０：提示部５ｂは、病変部判定部１７ｂの判定結果に基づいて、診断結果画像ＤＰ２を提示する。

なお、画像処理装置１ｂは、第２の実施形態において説明した確率アトラスＰＡを用いて、病変部判定用ニューラルネットワークＬＣＮによる判定の前に、画像ＤＰ１における病変部の位置の候補を絞り込んでもよい。

なお、上述した実施形態における画像処理装置１、画像処理装置１ａ、及び画像処理装置１ｂの一部、例えば、複数臓器教師付き画像取得部１０、複数臓器学習部１１、複数臓器学習結果取得部１２、臓器教師付き画像取得部１３、臓器毎学習部１４、臓器毎学習結果取得部１５、臓器画像取得部１６、判定部１７、確率アトラス取得部１８、臓器健常部−病変部教師付き画像取得部１０ｂ、健常部病変部学習部１１ｂ、健常部病変部学習結果取得部１２ｂ、病変部教師付き画像取得部１３ｂ、病変部学習部１４ｂ、病変部学習結果取得部１５ｂ、画像取得部１６ｂ、及び病変部判定部１７ｂをコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、画像処理装置１、または画像処理装置１ａ、または画像処理装置１ｂに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における画像処理装置１、画像処理装置１ａ、及び画像処理装置１ｂの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。画像処理装置１、画像処理装置１ａ、及び画像処理装置１ｂの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。本文説明はＸ線照射装置を用いたＣＴ画像について記したが、色彩情報を伴う可視光画像、温度分布情報を伴う遠赤外線画像、や、陽子線、中性子線などの重粒子線を用いて撮像された画像、超音波画像、など、及びこれら画像の組み合わせ、を、複数臓器教師付き画像や臓器教師付き画像、臓器画像に利用することも可能である。

１、１ａ、１ｂ…画像処理装置、２…複数臓器教師付き画像供給部、３…臓器教師付き画像供給部、４…臓器画像供給部、５、５ｂ…提示部、１０…複数臓器教師付き画像取得部、１１…複数臓器学習部、１２…複数臓器学習結果取得部、１３…臓器教師付き画像取得部、１４…臓器毎学習部、１４−ｉ…第ｉ臓器学習部、１５…臓器毎学習結果取得部、１５−ｉ…第ｉ臓器学習結果取得部、１６…臓器画像取得部、１７、１７ａ…判定部、１７−ｉ、１７ａ−ｉ…第ｉ臓器判定部、１８…確率アトラス取得部、１７０…臓器候補位置判定部、６…確率アトラス供給部、２ｂ…臓器健常部−病変部教師付き画像供給部、３ｂ…病変部教師付き画像供給部、４ｂ…画像供給部、１０ｂ…臓器健常部−病変部教師付き画像取得部、１１ｂ…健常部病変部学習部、１２ｂ…健常部病変部学習結果取得部、１３ｂ…病変部教師付き画像取得部、１４ｂ…病変部学習部、１５ｂ…病変部学習結果取得部、１６ｂ…画像取得部、１７ｂ…病変部判定部

Claims (3)

1. 体の構成要素のうちの複数種類の前記構成要素である第１被撮像構成要素が撮像された第１画像に撮像されている前記第１被撮像構成要素の種類が、前記第１画像に撮像されている前記第１被撮像構成要素の種類を示す第１教師データを用いて学習された学習結果である多クラス学習結果を取得する多クラス学習結果取得部と、
   前記構成要素のうちの前記複数種類のうちの部分集合の種類の前記構成要素である第２被撮像構成要素が撮像された第２画像に撮像されている前記第２被撮像構成要素の種類を示す第２教師データを取得する第２教師データ取得部と、
   前記多クラス学習結果取得部により取得された前記多クラス学習結果と、前記第２教師データ取得部により取得された前記第２教師データと、を用いて前記第２画像に撮像されている前記第２被撮像構成要素の種類が学習された学習結果である少クラス学習結果を取得する少クラス学習結果取得部と、
   前記構成要素が撮像された第３画像を取得する画像取得部と、
   前記少クラス学習結果取得部により取得された前記少クラス学習結果に基づいて、前記画像取得部により取得された前記第３画像に撮像されている前記構成要素の種類を判定する判定部と
   を備える画像処理装置。
2. 前記判定部は、前記第３画像の部分毎に前記構成要素の種類の確率分布を示す確率アトラスを用いて判定する
   請求項１に記載の画像処理装置。
3. コンピュータに、
   体の構成要素のうちの複数種類の前記構成要素である第１被撮像構成要素が撮像された第１画像に撮像されている前記第１被撮像構成要素の種類が、前記第１画像に撮像されている前記第１被撮像構成要素の種類を示す第１教師データを用いて学習された学習結果である多クラス学習結果を取得する多クラス学習結果取得ステップと、
   前記構成要素のうちの前記複数種類のうちの部分集合の種類の前記構成要素である第２被撮像構成要素が撮像された第２画像に撮像されている前記第２被撮像構成要素の種類を示す第２教師データを取得する第２教師データ取得ステップと、
   前記多クラス学習結果取得ステップにより取得された前記多クラス学習結果と、前記第２教師データ取得ステップにより取得された前記第２教師データと、を用いて前記第２画像に撮像されている前記第２被撮像構成要素の種類が学習された学習結果である少クラス学習結果を取得する少クラス学習結果取得ステップと、
   前記構成要素が撮像された第３画像を取得する画像取得ステップと、
   前記少クラス学習結果取得ステップにより取得された前記少クラス学習結果に基づいて、前記画像取得ステップにより取得された前記第３画像に撮像されている前記構成要素の種類を判定する判定ステップと
   を実行させるためのプログラム。