JP2021009026A

JP2021009026A - プログラム、学習装置、学習方法、学習済みプログラムおよび骨格セグメンテーション装置

Info

Publication number: JP2021009026A
Application number: JP2019121528A
Authority: JP
Inventors: 清水　昭伸; Akinobu Shimizu; 昭伸清水; 斎藤　篤; Atsushi Saito; 篤斎藤; 巧金森; Takumi Kanamori; 西川　和宏; Kazuhiro Nishikawa; 和宏西川
Original assignee: Nihon Medi Physics Co Ltd; Tokyo University of Agriculture and Technology NUC
Current assignee: Nihon Medi Physics Co Ltd; Tokyo University of Agriculture and Technology NUC
Priority date: 2019-06-28
Filing date: 2019-06-28
Publication date: 2021-01-28
Anticipated expiration: 2039-06-28
Also published as: JP7446570B2

Abstract

【課題】骨シンチグラムの新しい画像処理装置を提供することを目的とする。【解決手段】プログラムは、被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与する骨格セグメンテーションを行うためのプログラムであって、コンピュータに、被験者のシンチグラムを入力するステップＳ２０と、複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして予め学習によって生成されたニューラルネットワークの学習済みモデルを記憶した記憶部から、学習済みモデルを読み出し、学習済みモデルに被験者のシンチグラムを入力し、被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論するステップＳ２５と、被験者のシンチグラムの解剖構造ラベルを示すデータを出力するステップＳ２６とを実行させる。【選択図】図６

Description

本発明は、被験者の骨シンチグラムの画像において解剖構造を認識する技術に関する。

がんの造骨性転移の診断には、骨シンチグラムが良く用いられる。がんの転移は画像上では高集積として現れるが、関節炎など、がん以外の生理集積との区別が必要であったり、部位によってがんの発生頻度が異なるため、事前に解剖構造を把握することが重要である。

特開２０１４−９９４５号公報

骨シンチグラム上の解剖構造認識処理の方法については、先行する研究が発表されているが、さらなる改良が求められていた。本発明は、上記背景に鑑み、新しい画像処理装置を提供することを目的とする。

本発明のプログラムは、被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与する骨格セグメンテーションを行うためのプログラムであって、コンピュータに、被験者のシンチグラムを入力するステップと、複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして予め学習によって生成されたニューラルネットワークの学習済みモデルを記憶した記憶部から、前記学習済みモデルを読み出し、前記学習済みモデルに前記被験者のシンチグラムを入力し、前記被験者のシンチグラムの中で前記解剖構造ラベルに対応する領域を推論するステップと、前記被験者のシンチグラムの前記解剖構造ラベルを示すデータを出力するステップとを実行させる。

本発明によれば、複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして予め学習によって生成されたニューラルネットワークの学習済みモデルを用いて、被験者のシンチグラムの解剖構造ラベルを求めることができる。

実施の形態の学習装置の構成を示す図である。前方画像と反転を行った後方画像の例を示す図である。本実施の形態で用いるＢｕｔｔｅｒｆｌｙ−Ｎｅｔの例を示す図である。実施の形態の骨格セグメンテーション装置の構成を示す図である。実施の形態の学習装置の動作を示す図である。実施の形態の骨格セグメンテーション装置の動作を示す図である。実施の形態の学習装置、骨格セグメンテーション装置のハードウェアを示す図である。骨格セグメンテーションの結果を示す図である。骨格の各部位のＤｉｃｅスコアを並べて記載した表である。すべてのテストケースのＤｉｃｅスコアを示す図である。

本実施の形態のプログラムは、被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与する骨格セグメンテーションを行うためのプログラムであって、コンピュータに、被験者のシンチグラムを入力するステップと、複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして予め学習によって生成されたニューラルネットワークの学習済みモデルを記憶した記憶部から、学習済みモデルを読み出し、学習済みモデルに被験者のシンチグラムを入力し、被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論するステップと、被験者のシンチグラムの解剖構造ラベルを示すデータを出力するステップとを実行させる。

この構成により、複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして予め学習によって生成されたニューラルネットワークの学習済みモデルを用いて、被験者のシンチグラムの解剖構造ラベルを求めることができる。ここで、「参照シンチグラム」とは、学習済みモデルを生成するために用いられるシンチグラムである。参照シンチグラムも被験者を撮影することによって得られるシンチグラムであるが、解剖構造ラベルを求める対象である被験者のシンチグラムと区別するために、便宜上、「参照」の文言を付したものである。

本実施の形態のプログラムは、被験者のシンチグラムを入力する前記ステップにおいて、被験者を前方および後方から撮影した一組のシンチグラムを入力し、前記解剖構造ラベルに対応する領域を推論する前記ステップにおいて、前記学習済みモデルの入力層に前記一組のシンチグラムを入力し、前記一組のシンチグラムの中で前記解剖構造ラベルに対応する領域を推論してもよい。

本実施の形態のプログラムは、前記一組のシンチグラムのうち、前方から撮影した前記シンチグラムと、後方から撮影した前記シンチグラムのうちの一方を水平方向に反転するステップを更に含み、その後に、前記解剖構造ラベルに対応する領域を推論する前記ステップを実行してもよい。

この構成により、前後から撮影した２枚のシンチグラムを学習済みモデルの入力層に入力して推論を行うことにより、シンチグラムの解剖構造ラベルを適切に付与することができる。この際に、２枚のシンチグラムのうちの一方を反転させて同じ向きとしたうえで推論を行うことにより、２枚のシンチグラムの左右の向きが合うので、精度の高い推論を行える。

本実施の形態の学習装置は、被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論するためのニューラルネットワークモデルを生成する学習装置であって、複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして入力する入力部と、前記参照シンチグラムを、ニューラルネットワークモデルの入力層に入力し、ニューラルネットワークモデルによる推論結果と正解の解剖構造ラベルとの誤差に基づいて、ニューラルネットワークモデルの学習を行う学習部とを備える。

この構成により、被験者のシンチグラムとその解剖構造ラベルの正解データとを教師データとして、被験者のシンチグラムの解剖構造ラベルを求めるためのニューラルネットワークのモデルを生成することができる。

本実施の形態の学習装置において、ニューラルネットワークは、Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ構造を有し、Ｅｎｃｏｄｅｒ構造で得た特徴マップをＤｅｃｏｄｅｒ構造に入力する構造の第１のネットワーク部分と、第１のネットワーク部分と同じ構造を有する第２のネットワーク部分とが結合された構造を有し、入力部は、各被験者を前後から撮影した参照シンチグラム及びその解剖構造ラベルの正解データを入力し、学習部は、第１のネットワーク部分の入力層に被験者を前方から撮影した参照シンチグラムを入力すると共に、第２のネットワーク部分の入力層に被験者を後方から撮影した参照シンチグラムを入力して学習を行ってもよい。

前方から撮影したシンチグラムと後方から撮影したシンチグラムを独立して処理するのではなく、Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ構造を有する２つのネットワーク部分を結合した構造のニューラルネットワークで同時に処理することにより、被験者のシンチグラムの解剖構造ラベルを精度良く求めるためのニューラルネットワークのモデルを生成することができる。

本実施の形態の学習装置において、学習部は、Ｄｅｃｏｄｅｒ構造を構成する層から出力される特徴マップと正解データとの誤差にも基づいて、ニューラルネットワークモデルの学習を行ってもよい。この構成により、学習時の勾配消失の問題を軽減し、生成されるニューラルネットワークのモデルの解剖構造ラベル付与の性能を高めることができる。

本実施の形態の学習装置は、入力部にて入力されたシンチグラムの濃度Ｉ_ｉｎを次式（１）
によって正規化した濃度Ｉ_normalizedに変換する濃度正規化部を備えてもよい。

本実施の形態のプログラムは、被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論するためのニューラルネットワークモデルを生成するためのプログラムであって、コンピュータに、複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして入力するステップと、参照シンチグラムを、ニューラルネットワークモデルの入力層に入力し、ニューラルネットワークモデルによる推論結果と正解の解剖構造ラベルとの誤差に基づいて、ニューラルネットワークモデルの学習を行うステップとを実行させる。

本実施の形態の学習方法は、被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論するためのニューラルネットワークモデルを学習によって生成する学習方法であって、被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論するためのニューラルネットワークモデルを学習によって生成する学習方法であって、複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして入力するステップと、参照シンチグラムを、ニューラルネットワークモデルの入力層に入力し、ニューラルネットワークモデルによる推論結果と正解の解剖構造ラベルとの誤差に基づいて、ニューラルネットワークモデルの学習を行うステップとを備える。

本実施の形態の学習済みモデルは、被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与するためのニューラルネットワークモデルを生成するために、コンピュータを機能させるための学習済みモデルであって、複数の参照シンチグラムと、各参照シンチグラムに付与した解剖構造ラベルの正解データとを教師データとして学習されたものであり、前記ニューラルネットワークモデルに入力された被験者のシンチグラムに解剖構造ラベルを付与するよう、コンピュータを機能させる。

また、本実施の形態の学習済みモデルは、Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ構造を有し、Ｅｎｃｏｄｅｒ構造で得た特徴マップをＤｅｃｏｄｅｒ構造に入力する構造の第１のネットワーク部分と、第１のネットワーク部分と同じ構造を有する第２のネットワーク部分とが結合された構造を有するニューラルネットワークモデルで構成され、複数の被験者を前方および後方から撮影した参照シンチグラムと、各参照シンチグラムに付与した解剖構造ラベルの正解データとを教師データとし、前方から撮影したシンチグラムまたは後方から撮影したシンチグラムのいずれかを水平方向に反転させた後に、前方および後方から撮影した参照シンチグラムのそれぞれを、ニューラルネットワークモデルの第１のネットワーク部分および第２のネットワーク部分のそれぞれにある入力層に入力して学習されたものであってもよい。

本実施の形態の骨格セグメンテーション装置は、被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与する骨格セグメンテーションを行うための装置であって、被験者のシンチグラムを入力する入力部と、上記した学習装置にて生成されたニューラルネットワークの学習済みモデルを記憶した記憶部と、記憶部から学習済みモデルを読み出し、学習済みモデルに被験者のシンチグラムを入力し、被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論する推論部と、被験者のシンチグラムの解剖構造ラベルを示すデータを出力する出力部とを備える。

以下、本実施の形態の学習装置および骨格セグメンテーション装置について図面を参照して説明する。
図１は、実施の形態の学習装置の構成を示す図である。実施の形態の学習装置１は、被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与するためのニューラルネットワークモデルを学習によって生成する装置である。本実施の形態の学習装置１が生成するニューラルネットワークモデルは、被験者を前方および後方から撮影したシンチグラムに映る骨格の部位に解剖構造ラベルを付与する。本明細書において、被験者を前方から撮影した参照シンチグラムを「前方画像」、後方から撮影した参照シンチグラムを「後方画像」という。

ここで、本実施の形態の学習装置１によって生成されるニューラルネットワークモデルが付与する解剖構造ラベルについて述べる。前方画像については、骨格の１２の部位（頭蓋骨、頸椎、胸椎、腰椎、仙骨、骨盤、肋骨、肩甲骨、上腕骨、大腿骨、胸骨および鎖骨）と背景からなる１３層に分類し、それぞれに解剖構造ラベルを付与する。後方画像については、骨格の１０の部位（頭蓋骨、頸椎、胸椎、腰椎、仙骨、骨盤、肋骨、肩甲骨、上腕骨、および大腿骨）と背景からなる１２層に分類し、それぞれに解剖構造ラベルを付与する。なお、後方画像に関して、１つの層は肋骨と肩甲骨がオーバーラップしているので、１０の骨格の部位と背景とで１２層になっている。

学習装置１は、教師データを入力する入力部１０と、教師データに基づいてニューラルネットワークモデルの学習を行う制御部１１と、学習により生成されたモデルを記憶する記憶部１７と、記憶部１７に記憶されたモデルを外部に出力する出力部１８とを有している。入力部１０には、一組の前方画像および後方画像と、前方画像および後方画像に付与した解剖構造ラベルの正解データとを、教師データとして入力する。

次に、制御部１１について説明する。制御部１１は、画像反転部１２と、前後画像位置合せ部１３と、空間的標準化部１４、濃度正規化処理部１５と、学習部１６とを有している。画像反転部１２は、後方画像を水平方向に反転する。図２は、前方画像と反転を行った後方画像の例を示す図である。前後画像位置合せ部１３は、前方画像と反転された後方画像の位置合せを行う。

空間的標準化部１４は、被験者の体軸がシンチグラムの垂直軸と平行になるように画像の並進・回転を行う。また、空間的標準化部１４は、被験者の頭頂部からつま先までの長さが２０００ｍｍとなるように画像の拡大・縮小を行う。これにより、画像の傾きや身長等のバラツキの影響を低減することができる。また、図２に示すように、前方画像および後方画像において、被験者の膝下をカットする空間的補正を行ってもよい。

濃度正規化処理部１５は、被験者ごとに異なる正常骨領域の濃度値のばらつきを抑えるために、濃度値の正規化を行う機能を有する。濃度正規化処理部１５は、濃度レンジ調整、正常骨レベルの同定、グレースケール正規化の処理により濃度値の正規化を行う。濃度正規化処理部１５は、入力されたシンチグラムの濃度Ｉ_ｉｎを次式（１）によって正規化した濃度Ｉ_normalizedに変換する。

学習部１６は、前方画像と反転された後方画像とを用いて、被験者のシンチグラムに骨格の解剖構造ラベルを付与するためのニューラルネットワークモデルの学習を行う機能を有する。本実施の形態では、ニューラルネットワークモデルとして、Ｂｕｔｔｅｒｆｌｙ−Ｎｅｔを用いる。

図３は、本実施の形態で用いるＢｕｔｔｅｒｆｌｙ−Ｎｅｔの例を示す図である。Ｂｕｔｔｅｒｆｌｙ−Ｎｅｔの基本的な構造は、Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ構造である。Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ構造では、入力層に入力された画像に対して、Ｅｎｃｏｄｅｒ構造で畳み込みとプーリングが繰り返し行われ、画像の大局的な特徴を抽出する。続いて、Ｄｅｃｏｄｅｒ構造によって、大局的な構造を元のサイズの画像に戻していくが、その過程において、Ｅｎｃｏｄｅの過程で得られた特徴を結合することにより、局所的な特徴も学習する。

Ｂｕｔｔｅｒｆｌｙ−Ｎｅｔは、２つの入力層と２つの出力層を有している。Ｂｕｔｔｅｒｆｌｙ−Ｎｅｔは、２つの入力層Ｉｎ１，Ｉｎ２から入力される画像をＥｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ構造に通して２つの出力層Ｏｕｔ１，Ｏｕｔ２から出力する。ここで、説明の便宜上、図３の上側にある第１の入力層Ｉｎ１と第１の出力層Ｏｕｔ１とを持つＥｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ構造を第１のネットワーク部分、図３の下側にある第２の入力層Ｉｎ２と第２の出力層Ｏｕｔ２とを持つＥｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ構造を第２のネットワーク部分と呼ぶ。Ｂｕｔｔｅｒｆｌｙ−Ｎｅｔは、第１のネットワーク部分と第２のネットワーク部分とが結合された構成を有している。本実施の形態においては、３２×７２の１２８個ずつの特徴マップのところで結合されている。

本例において、入力画像はグレースケールであり、入力の次元は２５６×５７６×１である。Ｂｕｔｔｅｒｆｌｙ−Ｎｅｔでは、入力層に入力された画像に畳込み処理を行った後にＭＡＸプーリング処理を行う。ここで行われる畳込み処理は、図３の下の枠内に示すように、３×３の畳込み、バッチノーマライゼーション、ＲｅＬＵ関数への適用の処理からなる。畳込み処理とＭＡＸプーリング処理を、第１の入力層Ｉｎ１、第２の入力層Ｉｎ２に入力された画像のそれぞれについて繰り返し行い、３２×７２×１２８のサイズの特徴マップを得る。第１のネットワーク部分と第２のネットワーク部分とを結合し、さらに、畳込み処理とＭＡＸプーリング処理を２回行って、Ｅｎｃｏｄｅｒ構造では、最終的に２×２×５１２のサイズの特徴マップを得る。

続いて、畳込みを行った後に逆畳込みを行って、特徴マップのサイズを倍にする。そして、逆畳込みの出力とＥｎｃｏｄｅｒの特徴マップを連結（ｃｏｎｃａｔ）し、畳込みを行う。さらに、畳込み、逆畳込み、Ｅｎｃｏｄｅｒの特徴マップとの連結の処理を行った後、その結果を複製し、上下のＥｎｃｏｄｅｒのそれぞれの特徴マップを連結し、畳込み、逆畳込みを行う処理を繰り返す。最後に、１×１の畳込み層で、前方画像については出力クラス数である１３チャンネルにし、後方画像については出力クラス数である１２チャンネルにする。

なお、本実施の形態では、学習済みモデルとして、Ｂｕｔｔｅｒｆｌｙ−Ｎｅｔを用いる例を挙げたが、解剖構造ラベルの推論を行うための学習済みモデルとしては、Ｂｕｔｔｅｒｆｌｙ−Ｎｅｔ以外のニューラルネットワークモデルを用いることもできる。前方画像と後方画像と同時に処理する場合には、Ｂｕｔｔｅｒｆｌｙ−Ｎｅｔのように２つの入力層を有し、畳み込みの結果を結合するネットワーク構造が有効である。前方画像または後方画像の一方を用いる場合には、例えば、Ｕ−Ｎｅｔを用いることも可能である。

学習部１６は、対になる前方画像および後方画像とその解剖構造ラベルの正解データを用いて、上記したＢｕｔｔｅｒｆｌｙ−Ｎｅｔのニューラルネットワークモデルの学習を行う。対になる前方画像および後方画像をニューラルネットワークモデルに入力したときの出力をソフトマックス関数で変換した確率ｐ_ｉと正解ラベルとの誤差（損失関数）を評価することで学習を行う。

本実施の形態の学習装置１は、ニューラルネットワークモデルのＤｅｃｏｄｅｒ構造において、出力層に至る過程（図３において●で示す箇所）で得られる特徴マップと正解ラベルとの誤差も評価して学習を行う。これは、ＤＳＶと呼ばれる手法であり、Dou Q, Yu L, Chen Hら「3D Deeply Supervised Network for Automated Segmentation of Volumetric Medical Images」Medical Image Analysis, 41(10):40-54に記載されている。なお、出力層に至る過程で得られる特徴マップのサイズは正解ラベルのサイズとは異なるので、特徴マップに逆畳み込みを行うことで、正解ラベルとサイズを合わせて評価を行う。

学習部１６が学習に用いる損失関数を次に示す。
ここで、ｎとｃは画素とクラス（骨転移領域、非悪性病変領域、その他）の値であり、ＮとＣは画素とクラスの総数である。さらに、ｐ_ｃｎは、ネットワークの出力ｙ_ｃｎのソフトマックスであり、ｔ_ｃｎは、対象組織の画素値を１、そうでないときに０を示す真のラベルを示す。最後に、εは０で除算することを防止する微小値である。

図４は、実施の形態の骨格セグメンテーション装置２の構成を示す図である。骨格セグメンテーション装置２は、被験者のシンチグラムを入力する入力部２０と、被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与する制御部２１と、上述した学習装置１によって学習した学習済みモデルを記憶した記憶部２７と、解剖構造ラベルのデータを出力する出力部２８とを有している。

制御部２１は、画像反転部２２と、前後画像位置合せ部２３と、空間的標準化部２４と、濃度正規化処理部２５と、推論部２６とを有している。画像反転部２２、前後画像位置合せ部２３、空間的標準化部２４及び濃度正規化処理部２５は、学習装置１が備える画像反転部１２、前後画像位置合せ部１３、空間的標準化部１４及び濃度正規化処理部１５と同じである。

推論部２６は、学習済みモデル記憶部２７から学習済みモデルを読み出し、学習済みモデルの入力層に一組の前方画像および後方画像を入力し、前方画像および後方画像のそれぞれの領域の解剖構造ラベルを推論する。

図５は、学習装置１の動作を示す図である。学習装置１は、教師データとして、複数の被験者の参照シンチグラム（前方画像および後方画像）とそれに対応する解剖構造ラベルの正解データを入力する（Ｓ１０）。学習装置１は、後方画像を反転させ（Ｓ１１）、前方画像と反転された後方画像との位置合わせを行う（Ｓ１２）。次に、学習装置１は、入力された前方画像および後方画像の空間的標準化（Ｓ１３）と濃度正規化（Ｓ１４）とを行う。

続いて、学習装置１は、一組の前方画像および後方画像とそれに対応する解剖構造ラベルの正解データを用いて、ニューラルネットワークモデルの学習を行う（Ｓ１５）。上述したとおり、ここでの学習では、一組の前方画像および後方画像をＢｕｔｔｅｒｆｌｙ−Ｎｅｔの入力層に入力し、出力層からの出力と正解データとに基づいて学習を行う。学習装置１は、学習によって得られたニューラルネットワークモデルを記憶部１７に記憶する（Ｓ１６）。なお、学習済みのモデルを骨格セグメンテーション装置２で用いる場合には、記憶部１７に記憶された学習モデルを読み出して、他の装置等に出力する。

図６は、骨格セグメンテーション装置２の動作を示す図である。骨格セグメンテーション装置２は、被験者を前後から撮影したシンチグラム（前方画像及び後方画像）を入力する（Ｓ２０）。骨格セグメンテーション装置２は、後方画像を反転させ（Ｓ２１）、前方画像と反転された後方画像との位置合わせを行う（Ｓ２２）。次に、骨格セグメンテーション装置２は、入力された前方画像および後方画像の空間的標準化（Ｓ２３）と濃度正規化（Ｓ２４）とを行う。

続いて、骨格セグメンテーション装置２は、学習済みモデルの２つの入力層に、被験者の前方画像および後方画像を入力し、前方画像および後方画像の解剖構造ラベルを推論し（Ｓ２５）、推論によって得られた解剖構造ラベルのデータを出力する（Ｓ２６）。

実施の形態の学習装置１は、学習モデルとしてＢｕｔｔｅｒｆｌｙ−Ｎｅｔのニューラルネットワークモデルを用い、その入力層に一組の前方画像および後方画像を入力して学習を行う構成としたので、相関の高いシンチグラムを同時に処理することにより、精度良く骨格セグメンテーションを行えるニューラルネットワークのモデルを生成することができる。

図７は、本実施の形態の学習装置１および骨格セグメンテーション装置２のハードウェアの構成を示す図である。学習装置１、骨格セグメンテーション装置２は、ＣＰＵ３０、ＲＡＭ３１、ＲＯＭ３２、ハードディスク３３、ディスプレイ３４、キーボード３５、マウス３６、通信インターフェース３７等を備えたコンピュータ３によって実現される。学習装置１と骨格セグメンテーション装置２は同じコンピュータで実現してもよいし、別個のコンピュータでもよい。学習済みモデル４１を例えばハードディスク３３に格納する。また、上記した各機能および各ステップを実現するモジュールを有するモデル学習用または骨格セグメンテーション用のプログラム４０をＲＯＭ３２に格納し、ＣＰＵ３０によって当該プログラム４０を実行することによって、上記した学習装置１および骨格セグメンテーション装置２が実現される。このようなモデル学習用または骨格セグメンテーション用のプログラム４０も本発明の範囲に含まれる。

次に、本実施の形態の学習装置１を用いて生成した学習済みモデルを用いて、骨格セグメンテーションを行った実施例について説明する。学習済みモデルの生成方法には、ＤＳＶを導入したＢｕｔｔｅｒｆｌｙ−Ｎｅｔと、ＤＳＶを導入しないＢｕｔｔｅｒｆｌｙ−Ｎｅｔを用いた。また、比較例として、マルチアトラスを用いて骨格セグメンテーションを行った。マルチアトラスを用いた骨格セグメンテーションでは、訓練用データから、１６４個のアトラスのＢスプラインベースの非剛性レジストレーションを採用した。この方法は、計算コストが高いので、前方画像のみ計算を行った。

（実験に用いた画像）
・骨シンチグラム濃度値正規化画像：２４６症例
訓練用データ：１６４症例
検証用データ：４１症例
テストデータ：４１症例
・画像サイズ：２５６×５７６[pixels]

（ネットワークの初期化と最適化）
・初期化：He K, Zhang X, Ren Sら「Deep Residual Learning for Image Recognition」 CVPR2016, 770-778にしたがって行った。
・最適化：適応モーメント推定（ＡＤＡＭ）を用いて損失関数の最小化を行った。（Kingma DP, Ba JL「ADAM: A method for stochastic optimization」 ICLR2015, arXiv:1412.6980v9）
・ＡＤＡＭのパラメータ
α＝０．００１、β＝０．９、γ＝０．９９９、ε＝１０^−８
ただし、αは１３５０回目の繰り返しで１／１０に減少された。繰り返しの最大回数は１６２０に設定され、繰り返しの最適回数は、次式（４）のＤｉｃｅスコアの平均が最大値に達したことによって決定した。なお、Ｄｉｃｅスコアは、真の骨格の部位と骨格セグメンテーションの結果との類似度を評価するスコアであり、値が大きいほど類似度が高いことを示す。

（実験結果）
図８は、骨格セグメンテーションの結果を示す図である。網掛けをした領域はセグメンテーションされた骨格を示し、白いラインは真の骨格の部位との境界を示している。図８の下部に示した数字は、骨格の各部位についてのＤｉｃｅスコアである。図９は、図８の下部に示したＤｉｃｅスコアを並べて記載した表であり、３つの手法のうち最も高いＤｉｃｅスコアを太字で示している。図８及び図９に示すように、Ｂｕｔｔｅｒｆｌｙ−ＮｅｔまたはＤＳＶを導入したＢｕｔｔｅｒｆｌｙ−Ｎｅｔを使って生成された学習済みモデルでセグメンテーションされた解剖構造ラベルはＤｉｃｅスコアが高く、適切にセグメンテーションを行なえた。

図１０は、すべてのテストケースのＤｉｃｅスコアを示す図である。上段は、前方画像において、骨格の各部位についてのＤｉｃｅスコアの分布を示し、左から順に、マルチアトラス（比較例）、Ｂｕｔｔｅｒｆｌｙ−Ｎｅｔ、Ｂｕｔｔｅｒｆｌｙ−ＮｅｔｗｉｔｈＤＳＶで求めた結果を示している。下段は、後方画像において、各骨格についてのＤｉｃｅスコアの分布を示し、左から順に、Ｂｕｔｔｅｒｆｌｙ−Ｎｅｔ、Ｂｕｔｔｅｒｆｌｙ−ＮｅｔｗｉｔｈＤＳＶで求めた結果を示している。上段、下段のいずれについても、表内に記載した数字は、Ｄｉｃｅスコアの中央値を示している。統計的検定は、「２つの方法の間のパフォーマンスに差がない」という帰無仮説を用いて、ウィルコクソンの符号順位検定を用いて行った。図１０の上段に示すように、Ｂｕｔｔｅｒｆｌｙ−ＮｅｔまたはＢｕｔｔｅｒｆｌｙ−ＮｅｔｗｉｔｈＤＳＶのモデルを用いた推論によって、マルチアトラスよりも精度の良い骨格セグメンテーションができた。

本発明は、被験者の骨シンチグラムの画像処理を行う装置として有用である。

１学習装置
２骨格セグメンテーション装置
３コンピュータ
１０入力部
１１制御部
１２画像反転部
１３前後画像位置合せ部
１４空間的標準化部
１５濃度正規化部
１６学習部
１７記憶部
１８出力部
２０入力部
２１制御部
２２画像反転部
２３前後画像位置合せ部
２４空間的標準化部
２５濃度正規化部
２６推論部
２７学習済みモデル記憶部
２８出力部
３０ＣＰＵ
３１ＲＡＭ
３２ＲＯＭ
３３ハードディスク
３４ディスプレイ
３５キーボード
３６マウス
３７通信インターフェース

Claims

被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与する骨格セグメンテーションを行うためのプログラムであって、コンピュータに、
被験者のシンチグラムを入力するステップと、
複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして予め学習によって生成されたニューラルネットワークの学習済みモデルを記憶した記憶部から、前記学習済みモデルを読み出し、前記学習済みモデルに前記被験者のシンチグラムを入力し、前記被験者のシンチグラムの中で前記解剖構造ラベルに対応する領域を推論するステップと、
前記被験者のシンチグラムの前記解剖構造ラベルを示すデータを出力するステップと、
を実行させるプログラム。
被験者のシンチグラムを入力する前記ステップにおいて、被験者を前方および後方から撮影した一組のシンチグラムを入力し、
前記解剖構造ラベルに対応する領域を推論する前記ステップにおいて、前記学習済みモデルの入力層に前記一組のシンチグラムを入力し、前記一組のシンチグラムの中で前記解剖構造ラベルに対応する領域を推論する、請求項１に記載のプログラム。
前記一組のシンチグラムのうち、前方から撮影した前記シンチグラムと、後方から撮影した前記シンチグラムのうちの一方を水平方向に反転するステップを更に含み、
その後に、前記解剖構造ラベルに対応する領域を推論する前記ステップを実行する、請求項２に記載のプログラム。
被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論するためのニューラルネットワークモデルを生成する学習装置であって、
複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして入力する入力部と、
前記参照シンチグラムを、ニューラルネットワークモデルの入力層に入力し、前記ニューラルネットワークモデルによる推論結果と正解の解剖構造ラベルとの誤差に基づいて、前記ニューラルネットワークモデルの学習を行う学習部と、
を備える学習装置。
前記ニューラルネットワークは、Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ構造を有し、Ｅｎｃｏｄｅｒ構造で得た特徴マップをＤｅｃｏｄｅｒ構造に入力する構造の第１のネットワーク部分と、前記第１のネットワーク部分と同じ構造を有する第２のネットワーク部分とが結合された構造を有し、
前記入力部は、各被験者を前後から撮影した参照シンチグラム及びその解剖構造ラベルの正解データを入力し、
前記第１のネットワーク部分の入力層に被験者を前方から撮影した参照シンチグラムを入力すると共に、前記第２のネットワーク部分の入力層に前記被験者を後方から撮影した参照シンチグラムを入力して学習を行う、
請求項４に記載の学習装置。
前記学習部は、Ｄｅｃｏｄｅｒ構造を構成する層から出力される特徴マップと前記正解データとの誤差にも基づいて、前記ニューラルネットワークモデルの学習を行う請求項５に記載の学習装置。
被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論するためのニューラルネットワークモデルを生成するためのプログラムであって、コンピュータに、
複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして入力するステップと、
前記参照シンチグラムを、ニューラルネットワークモデルの入力層に入力し、前記ニューラルネットワークモデルによる推論結果と正解の解剖構造ラベルとの誤差に基づいて、前記ニューラルネットワークモデルの学習を行うステップと、
を実行させるプログラム。
被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論するためのニューラルネットワークモデルを学習によって生成する学習方法であって、
複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして入力するステップと、
前記参照シンチグラムを、ニューラルネットワークモデルの入力層に入力し、前記ニューラルネットワークモデルによる推論結果と正解の解剖構造ラベルとの誤差に基づいて、前記ニューラルネットワークモデルの学習を行うステップと、
を備える学習方法。
被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与するためのニューラルネットワークモデルを生成するために、コンピュータを機能させるための学習済みモデルであって、
複数の参照シンチグラムと、各参照シンチグラムに付与した解剖構造ラベルの正解データとを教師データとして学習されたものであり、
前記ニューラルネットワークモデルの入力された被験者のシンチグラムに解剖構造ラベルを付与するよう、コンピュータを機能させる学習済みモデル。
前記学習済みモデルは、
Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ構造を有し、Ｅｎｃｏｄｅｒ構造で得た特徴マップをＤｅｃｏｄｅｒ構造に入力する構造の第１のネットワーク部分と、前記第１のネットワーク部分と同じ構造を有する第２のネットワーク部分とが結合された構造を有するニューラルネットワークモデルで構成され、
複数の被験者を前方および後方から撮影した参照シンチグラムと、各参照シンチグラムに付与した解剖構造ラベルの正解データとを教師データとし、前方から撮影した参照シンチグラムまたは後方から撮影した参照シンチグラムのいずれかを水平方向に反転させた後に、前方および後方から撮影した参照シンチグラムのそれぞれを、前記ニューラルネットワークモデルの前記第１のネットワーク部分および前記第２のネットワーク部分のそれぞれにある入力層に入力して学習されたものである請求項９に記載の学習済みモデル。
被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与する骨格セグメンテーションを行うための装置であって、
被験者のシンチグラムを入力する入力部と、
請求項４ないし６のいずれか一項に記載の学習装置にて生成されたニューラルネットワークの学習済みモデルを記憶した記憶部と、
前記記憶部から前記学習済みモデルを読み出し、前記学習済みモデルに前記被験者のシンチグラムを入力し、前記被験者のシンチグラムの中で前記解剖構造ラベルに対応する領域を推論する推論部と、
前記被験者のシンチグラムの前記解剖構造ラベルを示すデータを出力する出力部と、
を備える骨格セグメンテーション装置。