JP2022040763A - 側弯症診断支援装置、側弯症診断支援システム、機械学習装置、側弯症診断支援方法、機械学習方法及びプログラム - Google Patents

Abstract

【課題】低侵襲かつ簡易な構成で、側弯症の程度を精度良く容易に推定することが可能な側弯症診断支援装置を提供する。【解決手段】側弯症診断支援装置１０２は、被験者の背面のうちの関心領域の３次元形状を示す関心領域情報を取得する第１形状取得部１０３と、関心領域情報が示す３次元形状において被験者の矢状面に対応する面である近似矢状面を基準とする、関心領域情報が示す３次元形状の鏡像を示す鏡像情報を取得する第２形状取得部１０４と、関心領域情報が示す３次元形状と、鏡像情報が示す鏡像との間の偏差の分布を示す偏差分布情報を取得する偏差分布取得部１０５と、偏差分布情報を入力として側弯角の推定値である推定側弯角を出力する機械学習をした学習済みの学習モデルに基づいて、偏差分布情報を入力として被験者の推定側弯角を出力する側弯角推定部１０８とを備える。【選択図】図１

Description

本発明は、側弯症診断支援装置、側弯症診断支援方法及びプログラムに関する。

側弯症は、脊柱が変形する疾患である。症状が進行すると手術が必要になることもある一方で、早期に発見して治療をすれば、進行を止められることもある。そのため、早期に発見することが非常に重要である。

側弯症は学童期に発症することが多いため、その検診が、学校保健安全法で義務付けられている。ただ、側弯症の兆候は、被験者の背面における局所的な歪みとして現れることが多いため、検診で見落とされることもある。そこで、側弯症の診断を支援するためのシステムなどが種々提案されている。

また例えば、Ｘ線画像やＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像を利用して診断する方法もある。これらは、確定診断には有用であるが、一般的に、できる限り被ばくを避けたいという要望がある。ＣＴ画像を得るためのＣＴスキャナは、大掛かりな装置でもある。

検診に広く採用されるには、機能的又は物理的な構成が簡易で、かつ、放射線などを用いない低侵襲なシステムが望ましい。このようなシステムとして、例えば、特許文献１～３に記載のシステムが提案されている。

例えば、特許文献１に記載の側弯症スクリーニングシステムは、被験者の背面を撮影した画像を水平補正し二値化した後に解析することによって、所定のパラメータを取得する。所定のパラメータとして、特許文献１には、正中線Ｄの傾き角度、中央値連続線Ｃと正中線Ｄとの差の大きさ、肩ラインＥの傾き、腰ラインＧの角度、正中線Ｄを境界にして左右の面積の差分などが記載されている。ここで、中央値連続線Ｃは、肩部輪郭線と腰部輪郭線の中央値を結んで得られる線である。

特許文献２に記載の脊椎側弯症の評価システムは、被験者の背部を撮影することで得られる３次元データに基づいて、中心線を境にした左右のピーク位置の高低差を算出する。この高低差は、被験者の背部について湾曲の程度を測定すべき部位として指定される特徴部位について、算出される。これにより、特徴部位の捻じれ具合を把握することができると特許文献２には記載されている。

特許文献３に記載の脊柱配列推定装置は、人体表面の立体形状を表す画像を取得する画像取得部と、蓄積したデータを用いて、前記取得された画像から脊柱配列を推定する脊柱配列推定部と、前記推定された脊柱配列に基づいて、前記脊柱配列のコブ角及び回旋角の少なくとも一方を算出する角度算出部とを備える。人体表面の立体形状を表す画像は、人体の背面のモアレ縞を含むモアレ画像を撮像するモアレ撮像装置により撮像される。

特許文献４に記載の側弯症診断支援装置は、被験者の背面の３次元形状を示す背面形状情報と、当該３次元形状の矢状面を基準として鏡像の関係にある３次元形状を示す反射対称情報との偏差の分布を取得する。そして、側弯症診断支援装置は、当該偏差の分布に基づいて、背面の３次元形状が非対称である程度を示す非対称性指数を求める。被特許文献１，２には、当該非対称性指数が、被験者のコブ角と優れた相関関係を示すことが記載されている。

特開２０１３－２４８０８９号公報 国際公開第２０１３／８１０３０号 特許第６２８０６７６号公報 国際公開２０１７／１７５７６１号

Sudo H, et al., "Automated noninvasive detection of idiopathic scoliosis in children and adolescents: A principle validation study", SCIENTIFIC REPORTS 8: 17714, 07 December 2018 Kokabu T, et al., "Three-dimensional depth sensor imaging to identify adolescent idiopathic scoliosis: a prospective multicenter cohort study", SCIENTIFIC REPORTS 9: 9678, 2019.

しかしながら、特許文献１に記載の所定のパラメータは、被験者の背面の局所的な歪みを表す指標ではなく、被験者の背面の局所的な歪みを把握することが困難であると考えられる。また、特許文献２に記載の脊椎側弯症の評価システムでは、指定した特徴部位以外の部位について、捻じれ具合を把握することは困難である。

そのため、特許文献１，２のいずれに記載されたシステムであっても、被験者の背面内の局所的な歪みを把握することが困難である。側弯症の兆候は、上述の通り、被験者の背面における局所的な歪みとして現れることが多いため、特許文献１，２のいずれに記載されたシステムを用いたとしても、側弯症の兆候を見落とす可能性がある。

さらに、特許文献３に記載の脊柱配列推定装置では、人体表面の立体形状を表す画像を取得するためにモアレ撮像装置が採用される。モアレ撮像装置は、通常、大掛かりな装置などが必要となる。

また、人体の背面のモアレ縞を含むモアレ画像から脊柱配列を推定する。脊柱は、多数の脊柱要素（７個の頸椎、１２個の胸椎、５個の腰椎。さらに、仙椎、尾椎を含める場合もある。）からなる。そのため、背面の立体形状を表す画像から脊柱配列を推定するには、複雑な処理が必要になり、装置における処理が複雑になることに伴って、機能的な構成が複雑になると考えられる。

さらに、特許文献４に記載の側弯症診断支援装置によって求められる非対称性指数によれば、非対称性指数の扱いに慣れた医師などであれば、非対称性指数から被験者の側弯症の程度を推定できる。しかし、非対称性指数の扱いに不慣れな一般的な医師などが、非対称性指数から被験者の側弯症の程度を直感的に推定することは困難である。側弯症診断支援装置が、検診に広く採用されるには、診察者の側弯症の程度を容易にかつ精度良く推定できることが望ましい。

本発明は、上記の事情に鑑みてなされたものであって、低侵襲かつ簡易な構成で、側弯症の程度を精度良く容易に推定することが可能な側弯症診断支援装置などを提供することを目的とする。

本発明の第１の観点に係る側弯症検診支援装置は、
被験者の背面のうちの関心領域の３次元形状を示す関心領域情報を取得する第１形状取得部と、
前記関心領域情報が示す３次元形状において前記被験者の矢状面に対応する面である近似矢状面を基準とする、前記関心領域情報が示す３次元形状の鏡像を示す鏡像情報を取得する第２形状取得部と、
前記関心領域情報が示す３次元形状と、前記鏡像情報が示す鏡像との間の偏差の分布を示す偏差分布情報を取得する偏差分布取得部と、
偏差分布情報を入力として側弯角の推定値である推定側弯角を出力する機械学習をした学習済みの学習モデルに基づいて、前記偏差分布情報を入力として前記被験者の推定側弯角を出力する側弯角推定部とを備える。

本発明の第２の観点に係る側弯症検診支援システムは、
前記側弯症診断支援装置と、
前記被験者の後ろ姿の３次元形状を示す被験者データを生成する被験者データ生成装置とを備え、
前記第１形状取得部は、前記被験者データに基づいて前記関心領域情報を取得する。

本発明の第３の観点に係る機械学習装置は、
複数の被験者から得られた前記偏差分布情報と、前記複数の被験者の各々について測定された側弯角である実側弯角を教師データとに基づいて、Ｍａｘ Ｐｏｏｌｉｎｇ層と、３つのＣｏｎｖｏｌｕｔｉｏｎ層とを含む畳み込みニューラルネットワークを用いて、前記推定側弯角を出力する前記学習モデルを学習する学習部を備える。

本発明の第４の観点に係る側弯症診断支援方法は、
被験者の背面のうちの関心領域の３次元形状を示す関心領域情報を取得することと、
前記関心領域情報が示す３次元形状において前記被験者の矢状面に対応する面である近似矢状面を基準とする、前記関心領域情報が示す３次元形状の鏡像を示す鏡像情報を取得することと、
前記関心領域情報が示す３次元形状と、前記鏡像情報が示す鏡像との間の偏差の分布を示す偏差分布情報を取得することと、
偏差分布情報を入力として側弯角の推定値である推定側弯角を出力する機械学習をした学習済みの学習モデルに基づいて、前記偏差分布情報を入力として前記被験者の推定側弯角を出力することとを含む。

本発明の第５の観点に係る機械学習方法は、
複数の被験者から得られた前記偏差分布情報と、前記複数の被験者の各々について測定された側弯角である実側弯角を教師データとに基づいて、Maxpooling層と、３つのConvolution層とを含む畳み込みニューラルネットワークを用いて、前記推定側弯角を出力する前記学習モデルを学習することを含む。

本発明の第６の観点に係るプログラムは、
コンピュータに、
被験者の背面のうちの関心領域の３次元形状を示す関心領域情報を取得することと、
前記関心領域情報が示す３次元形状において前記被験者の矢状面に対応する面である近似矢状面を基準とする、前記関心領域情報が示す３次元形状の鏡像を示す鏡像情報を取得することと、
前記関心領域情報が示す３次元形状と、前記鏡像情報が示す鏡像との間の偏差の分布を示す偏差分布情報を取得することと、
偏差分布情報を入力として側弯角の推定値である推定側弯角を出力する機械学習をした学習済みの学習モデルに基づいて、前記偏差分布情報を入力として前記被験者の推定側弯角を出力することとを、実行させるためのプログラムである。

本発明の第７の観点に係るプログラムは、
コンピュータに、
複数の被験者から得られた前記偏差分布情報と、前記複数の被験者の各々について測定された側弯角である実側弯角を教師データとに基づいて、Ｍａｘ Ｐｏｏｌｉｎｇ層と、３つのＣｏｎｖｏｌｕｔｉｏｎ層とを含む畳み込みニューラルネットワークを用いて、前記推定側弯角を出力する前記学習モデルを学習することを、実行させるためのプログラムである。

本発明によれば、低侵襲かつ簡易な構成で、側弯症の程度を精度良く容易に推定することが可能になる。

本発明の一実施の形態に係る側弯症検診システムの機能的な構成を示す図である。 一実施の形態に係る第１形状取得部の機能的な構成を示す図である。 一実施の形態に係る側弯症検診装置の物理的な構成を示す図である。 本発明の一実施の形態に係る側弯症診断支援処理の一例を示すフローチャートである。 被験者の背面を撮影する際に、腰のくびれを推奨線に位置付ける例を示す図である。 第１形状取得処理の一例を示すフローチャートである。 被験者に設定される関心領域及び近似矢状面の一例を示す図である。 図７のVIII－VIII線において関心領域と鏡像との各々に含まれる点群を示す図である。 一実施の形態において、偏差の分布を入力として推定側弯角を求めるための第１の学習モデルの構成の例を示す図である。 一実施の形態において、偏差の分布を入力として推定側弯角を求めるための第２の学習モデルの構成の例を示す図である。 一実施の形態において、偏差の分布を入力として推定側弯角を求めるための第３の学習モデルの構成の例を示す図である。 一実施の形態において、偏差の分布を入力として推定側弯角を求めるための第４の学習モデルの構成の例を示す図である。 実施例１に係る側弯症診断支援装置による推定の結果を示す図であり、第１の訓練用データ群について１回目の訓練を行った第１の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例１に係る側弯症診断支援装置による推定の結果を示す図であり、第２の訓練用データ群について１回目の訓練を行った第１の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例１に係る側弯症診断支援装置による推定の結果を示す図であり、第３の訓練用データ群について１回目の訓練を行った第１の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例１に係る側弯症診断支援装置による推定の結果を示す図であり、第４の訓練用データ群について１回目の訓練を行った第１の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 第１～第４の訓練用データ群の各々について１回目の訓練を行った第１の学習モデルによる推定側弯角と実側弯角との相関係数Ｒ、平均絶対誤差、平均二乗誤差平方根及びこれらの平均を示す図である。 実施例１に係る側弯症診断支援装置による推定の結果を示す図であり、第１の訓練用データ群について２回目の訓練を行った第１の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例１に係る側弯症診断支援装置による推定の結果を示す図であり、第２の訓練用データ群について２回目の訓練を行った第１の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例１に係る側弯症診断支援装置による推定の結果を示す図であり、第３の訓練用データ群について２回目の訓練を行った第１の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例１に係る側弯症診断支援装置による推定の結果を示す図であり、第４の訓練用データ群について２回目の訓練を行った第１の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 第１～第４の訓練用データ群の各々について２回目の訓練を行った第１の学習モデルによる推定側弯角と実側弯角との相関係数Ｒ、平均絶対誤差、平均二乗誤差平方根及びこれらの平均を示す図である。 実施例１での訓練の１回目と２回目において、実側弯角１５度、２０度、２５度をカットオフ値にした場合の予測側弯角の感度、特異度、陽性的中率、陰性的中率、陽性尤度比、陰性尤度比とそれぞれの平均値を示す図である。 実施例２に係る側弯症診断支援装置による推定の結果を示す図であり、第１の訓練用データ群について１回目の訓練を行った第２の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例２に係る側弯症診断支援装置による推定の結果を示す図であり、第２の訓練用データ群について１回目の訓練を行った第２の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例２に係る側弯症診断支援装置による推定の結果を示す図であり、第３の訓練用データ群について１回目の訓練を行った第２の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例２に係る側弯症診断支援装置による推定の結果を示す図であり、第４の訓練用データ群について１回目の訓練を行った第２の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 第１～第４の訓練用データ群の各々について１回目の訓練を行った第２の学習モデルによる推定側弯角と実側弯角との相関係数Ｒ、平均絶対誤差、平均二乗誤差平方根及びこれらの平均を示す図である。 実施例２に係る側弯症診断支援装置による推定の結果を示す図であり、第１の訓練用データ群について２回目の訓練を行った第２の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例２に係る側弯症診断支援装置による推定の結果を示す図であり、第２の訓練用データ群について２回目の訓練を行った第２の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例２に係る側弯症診断支援装置による推定の結果を示す図であり、第３の訓練用データ群について２回目の訓練を行った第２の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例２に係る側弯症診断支援装置による推定の結果を示す図であり、第４の訓練用データ群について２回目の訓練を行った第２の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 第１～第４の訓練用データ群の各々について２回目の訓練を行った第２の学習モデルによる推定側弯角と実側弯角との相関係数Ｒ、平均絶対誤差、平均二乗誤差平方根及びこれらの平均を示す図である。 実施例２での訓練の１回目と２回目において、実側弯角１５度、２０度、２５度をカットオフ値にした場合の予測側弯角の感度、特異度、陽性的中率、陰性的中率、陽性尤度比、陰性尤度比とそれぞれの平均値を示す図である。 実施例３に係る側弯症診断支援装置による推定の結果を示す図であり、第１の訓練用データ群について１回目の訓練を行った第３の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例３に係る側弯症診断支援装置による推定の結果を示す図であり、第２の訓練用データ群について１回目の訓練を行った第３の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例３に係る側弯症診断支援装置による推定の結果を示す図であり、第３の訓練用データ群について１回目の訓練を行った第３の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例３に係る側弯症診断支援装置による推定の結果を示す図であり、第４の訓練用データ群について１回目の訓練を行った第３の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 第１～第４の訓練用データ群の各々について１回目の訓練を行った第３の学習モデルによる推定側弯角と実側弯角との相関係数Ｒ、平均絶対誤差、平均二乗誤差平方根及びこれらの平均を示す図である。 実施例３に係る側弯症診断支援装置による推定の結果を示す図であり、第１の訓練用データ群について２回目の訓練を行った第３の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例３に係る側弯症診断支援装置による推定の結果を示す図であり、第２の訓練用データ群について２回目の訓練を行った第３の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例３に係る側弯症診断支援装置による推定の結果を示す図であり、第３の訓練用データ群について２回目の訓練を行った第３の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例３に係る側弯症診断支援装置による推定の結果を示す図であり、第４の訓練用データ群について２回目の訓練を行った第３の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 第１～第４の訓練用データ群の各々について２回目の訓練を行った第３の学習モデルによる推定側弯角と実側弯角との相関係数Ｒ、平均絶対誤差、平均二乗誤差平方根及びこれらの平均を示す図である。 実施例３での訓練の１回目と２回目において、実側弯角１５度、２０度、２５度をカットオフ値にした場合の予測側弯角の感度、特異度、陽性的中率、陰性的中率、陽性尤度比、陰性尤度比とそれぞれの平均値を示す図である。 実施例４に係る側弯症診断支援装置による推定の結果を示す図であり、第１の訓練用データ群について１回目の訓練を行った第４の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例４に係る側弯症診断支援装置による推定の結果を示す図であり、第２の訓練用データ群について１回目の訓練を行った第４の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例４に係る側弯症診断支援装置による推定の結果を示す図であり、第３の訓練用データ群について１回目の訓練を行った第４の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例４に係る側弯症診断支援装置による推定の結果を示す図であり、第４の訓練用データ群について１回目の訓練を行った第４の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 第１～第４の訓練用データ群の各々について１回目の訓練を行った第４の学習モデルによる推定側弯角と実側弯角との相関係数Ｒ、平均絶対誤差、平均二乗誤差平方根及びこれらの平均を示す図である。 実施例４に係る側弯症診断支援装置による推定の結果を示す図であり、第１の訓練用データ群について２回目の訓練を行った第４の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例４に係る側弯症診断支援装置による推定の結果を示す図であり、第２の訓練用データ群について２回目の訓練を行った第４の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例４に係る側弯症診断支援装置による推定の結果を示す図であり、第３の訓練用データ群について２回目の訓練を行った第４の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 実施例３に係る側弯症診断支援装置による推定の結果を示す図であり、第４の訓練用データ群について２回目の訓練を行った第４の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。 第１～第４の訓練用データ群の各々について２回目の訓練を行った第４の学習モデルによる推定側弯角と実側弯角との相関係数Ｒ、平均絶対誤差、平均二乗誤差平方根及びこれらの平均を示す図である。 実施例４での訓練の１回目と２回目において、実側弯角１５度、２０度、２５度をカットオフ値にした場合の予測側弯角の感度、特異度、陽性的中率、陰性的中率、陽性尤度比、陰性尤度比とそれぞれの平均値を示す図である。 比較例に係る非対称性指数算出処理のフローチャートである。 比較例に係る非対称性指数と実側弯角とに基づいて求められる近似曲線の一例を示す図である。 比較例に係る推定側弯角と実側弯角との関係を示す図である。 比較例に係る推定側弯角について、実側弯角１５度、２０度、２５度をカットオフ値にした場合の感度、特異度、陽性的中率、陰性的中率、陽性尤度比、陰性尤度比を示す図である。 実施例１及び２に係る推定側弯角と実側弯角との相関係数の平均と、比較例に係る推定側弯角と実側弯角との相関係数と、を示す図である。 実施例１及び２に係る推定側弯角と実側弯角との平均絶対誤差の平均と、比較例に係る推定側弯角と実側弯角との平均絶対誤差と、を示す図である。

本発明の一実施の形態について図面を参照して説明する。

＜側弯症診断支援システムの機能的構成＞
本発明の一実施の形態に係る側弯症診断支援システム１００は、側弯症であるか否かに関する医師による診断を支援するためのシステムである。側弯症診断支援システム１００は、機能的には、図１に示すように、被験者データ生成装置１０１と、側弯症診断支援装置１０２とを備える。

被験者データ生成装置１０１は、被験者の背面の３次元形状を含む被験者データを生成する装置である。

詳細には、被験者データは、被験者の背面の３次元形状を表す複数の点と当該背面の色とを含む。被験者データに含まれる複数の点は、被験者の背面上の点であり、各点の位置を３次元で示す情報が被験者データに含まれる。

被験者データ生成装置１０１は、このような被験者データを生成できる装置であればよく、例えば、カラー画像と奥行画像とを同時に取得するＲＧＢ－Ｄカメラである。被験者は、例えば、両手を組んで、さらに両腕を伸ばした立位、或いは、その前屈位の姿勢で背面を撮影される。

なお、被験者データ生成装置１０１は、３次元スキャナとカメラとから構成されてもよい。３Ｄスキャナは、対象物の表面の凹凸を検知し、検知した結果を示す３次元データを生成する装置であり、被験者の背面の３次元形状を複数の点で示すスキャンデータを生成する。カメラは、例えば、被験者の背面の２次元の画像データを生成する。

側弯症診断支援装置１０２は、被験者データに基づいて、側弯症であるか否かに関する医師による診断を支援するための装置である。

側弯症診断支援装置１０２は、機能的には、図１に示すように、第１形状取得部１０３と、第２形状取得部１０４と、偏差分布取得部１０５と、偏差分布記憶部１０６と、学習モデル記憶部１０７と、側弯角推定部１０８と、推定側弯角記憶部１０９と、表示部１１０と、出力制御部１１１と、実側弯角記憶部１１２と、学習部１１３と、を備える。

第１形状取得部１０３は、被験者データ生成装置１０１によって生成された被験者データに基づいて、関心領域の３次元形状を示す関心領域情報を取得する。関心領域とは、被験者の背面のうち、側弯症によって表面形状が変化する領域であって、典型的には、腰から肩にかけて広がる領域（腕を除く。）である。

詳細には、第１形状取得部１０３は、図２に示すように、被験者データ取得部１１４と、近似矢状面取得部１１５と、関心領域取得部１１６とを含む。

被験者データ取得部１１４は、有線、無線又はこれらを組み合わせて構成されるネットワーク、フラッシュメモリなどの記憶媒体を介して被験者データ生成装置１０１から被験者データを取得する。

近似矢状面取得部１１５は、被験者データ取得部１１４によって取得された被験者データに含まれる被験者の背面の３次元形状から、近似矢状面を求める。近似矢状面とは、被験者データに含まれる被験者の背面の３次元形状において被験者の矢状面に対応する面である。

より詳細には、近似矢状面取得部１１５は、背中抽出部１１７と、主軸取得部１１８と、矢状面特定部１１９とを含む。

背中抽出部１１７は、被験者データに含まれる被験者の背面の色と、当該背面から抽出すべき領域の色に関する条件である抽出条件とに基づいて、被験者データに含まれる被験者の背中の３次元形状を抽出する。

ここで、背中は、頸部から臀部に至るまでの面であり、背面は、被験者の後方を向く面であって、背中の他に例えば後頭部を含んでもよい。

主軸取得部１１８は、背中抽出部１１７によって抽出された被験者の背中に対応する領域の３次元形状を表す複数の点について主成分分析を施す。これによって、主軸取得部１１８は、当該複数の点が存在する空間における３つの主軸を求める。

３つの主軸のうちの第１主軸は、被験者の上下方向の軸（例えば、頭頂と腰骨の中心とを結ぶ軸）に相当する主軸である。第２主軸は、被験者の左右方向の軸（例えば、左右の肩の両端を結ぶ軸）に相当する主軸である。第３主軸は、被験者の前後方向の軸（例えば、上下方向及び左右方向に垂直な軸）に相当する主軸である。主軸取得部１１８は、少なくとも、第１主軸及び第３主軸を求める。

矢状面特定部１１９は、主軸取得部１１８によって求められた少なくとも２つの主軸（第１主軸及び第３主軸）に基づいて、近似矢状面を求める。

関心領域取得部１１６は、被験者データに含まれる被験者の背面の３次元形状から、近似矢状面を基準として予め定められる領域である関心領域を抽出し、当該抽出した関心領域の３次元形状を示す関心領域情報を取得する。

図１を再び参照する。
第２形状取得部１０４は、鏡像情報を取得する。鏡像情報は、近似矢状面を基準とする、関心領域情報が示す３次元形状の鏡像を示す。

偏差分布取得部１０５は、第１形状取得部１０３によって取得された関心領域情報が示す３次元形状と、第２形状取得部１０４によって取得された鏡像情報が示す鏡像との間の偏差の分布を示す偏差分布情報を取得する。

詳細には、偏差分布取得部１０５は、関心領域情報が示す３次元形状と鏡像情報が示す鏡像とについて、近似矢状面を一致させた場合に冠状面に垂直な方向に並ぶ点の間の距離を偏差として求めることによって、偏差分布情報を取得する。

偏差分布記憶部１０６は、偏差分布情報を記憶するための記憶部である。偏差分布情報は、偏差分布取得部１０５によって偏差分布記憶部１０６に格納される。

学習モデル記憶部１０７は、偏差分布情報を入力として側弯角の推定値である推定側弯角を出力する機械学習をした学習済みの学習モデルを記憶するための記憶部である。

ここで、側弯角は、側弯症の程度を示す指標として一般的に採用される角度であって、典型的にはコブ角である。

側弯角推定部１０８は、学習モデル記憶部１０７に格納された学習モデルに基づいて、ステップＳ１０３にて取得された差分布情報を入力として、被験者の推定側弯角を出力する。

推定側弯角記憶部１０９は、推定側弯角情報を記憶するための記憶部である。推定側弯角情報は、側弯角推定部１０８によって推定側弯角記憶部１０９に格納される。

表示部１１０は、各種情報を表示する液晶ディスプレイなどである。

出力制御部１１１は、推定側弯角情報に含まれる被験者情報及び推定側弯角、偏差分布情報に含まれる偏差の分布などの各種情報を表示部１１０に表示させる。なお、出力制御部１１１は、側弯症診断支援装置１０２が備える表示部１１０に限らず、例えば図示しない入力部からの指示に応じて、根とワークを介して接続された端末装置、タブレット端末などの表示部に各種情報を表示させてもよい。

実側弯角記憶部１１２は、実側弯角情報を記憶するための記憶部であり、予め格納される。実側弯角情報は、実際に測定された被験者の側弯角を示す情報である。実側弯角は、例えば、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置によって得られる画像やＸ線写真に基づいて測定されるとよい。

学習部１１３は、偏差分布記憶部１０６に格納された偏差分布情報を入力として、ユーザにより設定された学習モデルに従って、推定側弯角を出力するための学習を行う。この学習では、実側弯角記憶部１１２に格納された実側弯角情報が教師データとして適用される。

＜側弯症診断支援装置１０２の物理的構成＞
本実施の形態に係る側弯症診断支援装置１０２は、物理的には図３に示すように、ＣＰＵ（Ｃｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１００２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００３、ストレージデバイス１００４、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１００５、出力インタフェース１００６、入力インタフェース１００７などから構成され、これらが内部バス１００７により通信可能に接続されている。このような側弯症診断支援装置１００は、例えば、汎用のパーソナルコンピュータ、タブレット端末、スマートホンである。出力インタフェース１００６、入力インタフェース１００７は、ユーザインタフェースであって、出力インタフェース１００６は例えば液晶パネルなどから構成され、入力インタフェース１００７は例えばキーボード、マウス、タッチパネルなどから構成される。

側弯症診断支援装置１０２が備える各機能は、例えば、ＣＰＵ１００１が予めインストールされたソフトウェア・プログラム（単に、「プログラム」ともいう。）を、ＲＡＭ１００２をワークスペースとして実行することによって実現される。

詳細には例えば、第１形状取得部１０３、第２形状取得部１０４、偏差分布取得部１０５、側弯角推定部１０８、出力制御部１１１及び学習部１１３の機能は、上述のようにプログラムを実行するＣＰＵ１００１などにより実現される。

例えば、偏差分布記憶部１０６、学習モデル記憶部１０７、推定側弯角記憶部１０９及び実側弯角記憶部１１２の各記憶部の機能は、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などのストレージデバイス１００４により実現される。

例えば、被験者データ生成装置１０１としてのＲＧＢ－Ｄカメラは、ネットワークに接続され、通信Ｉ／Ｆ１００５を介して側弯症診断支援装置１０２と通信可能に接続される。なお、被験者データ生成装置１０１が３Ｄスキャナ及びカメラによって実現される場合は、３Ｄスキャナ及びカメラの各々がネットワークに接続され、通信Ｉ／Ｆ１００５を介して側弯症診断支援装置１０２と通信可能に接続されるとよい。

例えば、表示部１１０の機能は、出力インタフェース１００６などにより実現される。

なお、側弯症診断支援装置１０２は、上述のような物理的な構成が組み込まれたＲＧＢ－Ｄカメラ、３Ｄスキャナによって実現されてもよい。

また、本実施の形態では、学習部１１３が側弯症診断支援装置１０２に組み込まれる例を説明したが、学習部１１３は、機械学習装置として側弯症診断支援装置１０２とは別の装置によって実現されてもよい。この場合の機械学習装置は、物理的には、側弯症診断支援装置１０２と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ、ストレージデバイス、通信Ｉ／Ｆ、出力インタフェース、入力インタフェースなどから構成され、これらが内部バス１００７により通信可能に接続されるとよい。そして、機械学習装置が備える各機能は、例えば、ＣＰＵが予めインストールされたプログラムを、ＲＡＭをワークスペースとして実行することによって実現されるとよい。

詳細には例えば、学習部１１３は、上述のようにプログラムを実行するＣＰＵ１００１などにより実現されるとよい。例えば、偏差分布記憶部１０６、学習モデル記憶部１０７、推定側弯角記憶部１０９及び実側弯角記憶部１１２の各記憶部の機能は、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などのストレージデバイスにより実現されるとよい。

＜側弯症診断支援方法＞
これまで、本発明の一実施の形態に係る側弯症診断支援システムの構成について説明した。ここから、本実施の形態に係る側弯症診断支援装置１０２の動作の例について説明する。

側弯症診断支援装置１０２は、図４のフローチャートに示す側弯症診断支援処理を実行する。側弯症診断支援処理は、側弯症の診断を支援するための処理である。側弯症診断支援処理は、例えば、被験者の背面が撮影されることによって被験者データ生成装置１０１が被験者データを生成した後に、ユーザが処理を開始させる指示を入力インタフェース１００７から与えることによって開始される。

ここで、被験者の撮影では、図５に示すように、被験者について予め定められた位置である腰のくびれを、推奨線Ｌに一致させて撮影される。これにより、診断の支援のために必要な領域をほぼ確実に撮影することができる。

第１形状取得部１０３は、被験者データ生成装置１０１から被験者データを取得すると、当該被験者データに基づいて関心領域情報を取得する（ステップＳ１０１）。

詳細には、図６に示すように、被験者データ取得部１１４は、被験者の背面の３次元形状を表す複数の点と当該背面の色とを含む被験者データを被験者データ生成装置１０１から取得する（ステップＳ１１１）。

近似矢状面取得部１１５は、ステップＳ１１１にて取得された被験者データに含まれる被験者の背面の３次元形状から、近似矢状面を求める（ステップＳ１１２）。

より詳細には、背中抽出部１１７は、被験者データに含まれる被験者の背面の中から、当該背面から抽出すべき領域の色に関する条件である抽出条件を満たす領域を抽出することによって、被験者の背中を抽出する（ステップＳ１１２ａ）。これにより、被験者の背中の３次元形状が抽出される。

例えば、３Ｄスキャナによるスキャンやカメラによる撮影は、通常、被験者が上半身裸であるなど背面の肌を露出させた状態で行われる。また、被験者の背面は、上述の通り、被験者が両手を組んでさらに両腕を伸ばした状態で、立位、或いは、前屈位の姿勢で撮影される。そのため、被験者データに含まれる被験者の背面は、被験者の腕を含まない。

そのため、抽出条件には、例えば、肌色に応じた色を示す値の範囲が設定されるとよい。これにより、関心領域取得部１１６は、被験者の背面から、肌色の領域として被験者の背中を抽出する。

主軸取得部１１８は、被験者データに含まれる被験者の背面の３次元形状を表す複数の点から、ステップＳ１１２ａにて抽出された背中に対応する領域の複数の点を抽出し、当該抽出した複数の点について主成分分析を施す。これによって、主軸取得部１１８は、当該複数の点が存在する空間における第１主軸、第２主軸及び第３主軸の３つの主軸を求める（ステップＳ１１２ｂ）。

例えば、主軸取得部１１８は、背中に対応する領域の複数の点について主成分分析を行うことによって、３つの主軸を求める。

詳細には例えば、主軸取得部１１８は、複数の点の座標値について、分散共分散行列の固有ベクトルを３つの主軸として求める。背中における複数の点の座標値の範囲は、通常、上下方向、左右方向、前後方向の順で広い。

そのため、分散共分散行列の固有値のうち、最大の固有値に対応するベクトルが、背中を表す複数の点が存在する空間において、被験者の上下方向の軸に相当する第１主軸として求められる。分散共分散行列の固有値のうち、２番目に大きい固有値に対応するベクトルが、背中を表す複数の点が存在する空間において、被験者の左右方向の軸に相当する第２主軸として求められる。分散共分散行列の固有値のうち、最小の固有値に対応するベクトルが、背中を表す複数の点が存在する空間において、被験者の前後方向の軸に相当する第３主軸として求められる。

矢状面特定部１１９は、主軸取得部１１８によって求められた第１主軸及び第３主軸に基づいて、近似矢状面を求める（ステップＳ１１２ｃ）。

例えば、近似矢状面は、第１主軸及び第３主軸に平行な面であって、被験者の中心に近いものとして求められる。被験者の中心は例えば、頭頂部、頸部の中央、或いは、被験者の両肩端部の中央と、腰のくびれの中央、或いは、腰骨の中央とを結ぶ線である。近似矢状面には例えば、第２主軸に沿って見た場合に、最小二乗法などにより第１主軸に最も近い線となるものが特定されるとよい。

関心領域取得部１１６は、被験者データに含まれる被験者の背面の３次元形状から、近似矢状面を基準として予め定められる関心領域を抽出することによって、関心領域の３次元形状を示す関心領域情報を取得する（ステップＳ１１３）。

関心領域は、例えば上下方向には、腰のくびれから肩までの矩形の領域であって、近似矢状面に関して対称な領域として予め定められるとよい。また例えば、関心領域は、左右方向には、腰のくびれの位置の幅の全体として予め定められるとよい。

これにより、例えば、図７に示すような関心領域ＲＯＩが設定される。図７は、被験者に設定される関心領域の一例を示す図である。図７では、当該被験者についてステップＳ１１２で求められた近似矢状面ＡＳの例もともに示している。

なお、関心領域を定める方法は、これに限られない。例えば、関心領域は上下方向には、腰骨から肩までの矩形の領域であって、近似矢状面に関して対称な領域として予め定められてもよい。また例えば、関心領域は左右方向には、腰骨の幅の全体として予め定められてもよく、腰のくびれの位置の幅、腰骨などの基準となる幅の９０％など予め定められた割合の部分として定められてもよい。

また、近似矢状面取得部１１５による処理（ステップＳ１１２）、関心領域取得部１１６による処理（ステップＳ１１３）のいずれか一方又は両方は、図示しない入力部などによってユーザが手動で行ってもよい。この場合、被験者は、背面を撮影するときに、両手を組んで、さらに両腕を伸ばした状態でなくてもよく、立位、或いは、その前屈位の姿勢でなくてもよい。

図４を再び参照する。
第２形状取得部１０４は、ステップＳ１０１にて求められた近似矢状面に関して、ステップＳ１０１にて取得された関心領域情報が示す３次元形状と左右対称な３次元形状（鏡像）を示す鏡像情報を取得する（ステップＳ１０２）。

ここで、図８は、図７のVIII－VIII線において関心領域と鏡像との各々に含まれる点群を示す図である。図８において、黒丸は、関心領域上の点を示し、白丸は、鏡像上の点を表す。

偏差分布取得部１０５は、ステップＳ１０１にて取得された関心領域情報が示す３次元形状と、ステップＳ１０２にて取得された鏡像情報が示す鏡像とに基づいて、偏差の分布を示す偏差分布情報を取得する（ステップＳ１０３）。

詳細には、ステップＳ１０３では、関心領域情報が示す３次元形状と鏡像との対応する各点について、前後方向の距離（図８参照）を偏差として求める。そして、偏差分布取得部１０５は、関心領域情報に含まれる各点について、被験者の冠状面に相当する面（第１軸及び第２軸に平行な面）における座標と、当該座標における偏差とを対応付けた偏差分布情報を生成する。

側弯角推定部１０８は、偏差分布情報を入力として、学習モデル記憶部１０７に格納された学習モデルを実行することによって得られる被験者の推定側弯角を出力する（ステップＳ１０４）。

詳細には、側弯角推定部１０８は、ステップＳ１０３にて取得された偏差分布情報を入力として、学習モデル記憶部１０７に格納された学習モデルを実行する。そして、側弯角推定部１０８は、学習モデルからの出力として推定側弯角を取得すると、当該取得した推定側弯角と被験者を識別するための被験者情報とを対応付けた推定側弯角情報を生成して出力する。

出力制御部１１１は、ステップＳ１０３にて取得された偏差分布情報が示す偏差の分布と、ステップＳ１０４にて出力された推定側弯角とを、表示部１１０に表示させて（ステップＳ１０５）、側弯診断支援処理を終了する。

本実施の形態によれば、Ｘ線などを利用せずに被験者を撮影した被験者データに基づいて、被験者の推定側弯角を求める。そのため、低侵襲かつ簡易な構成で、被験者の推定側弯角を求めることができる。

さらに、側弯角が推定される。側弯角は、側弯症の程度を示す指標として一般的な値が採用されるので、推定された側弯角を参照することで、医師は、被験者の側弯症の程度を容易に推定することができる。さらに、側弯角は、機械学習によって学習済みの学習モデルに基づいて推定されるので、側弯角を精度良く推定することができる。

従って、低侵襲かつ簡易な構成で、側弯症の程度を容易に推定することが可能になる。

＜学習モデル＞
ここから、側弯角推定部１０８が側弯角を推定するための学習モデルについて説明する。

学習部１１３は、複数の被験者から得られた偏差分布情報を入力として推定側弯角を出力する学習モデルを、複数の被験者の各々について実際に測定された側弯角を含む実側弯角情報を教師データとして学習する。学習部１１３によって学習済みの学習モデルが、側弯角推定部１０８における側弯角の推定処理に適用される。

本実施の形態に係る側弯角推定部１０８における側弯角の推定処理には、例えば、Ｍａｘ Ｐｏｏｌｉｎｇ層と３つのＣｏｎｖｏｌｕｔｉｏｎ層とを含む畳み込みニューラルネットワーク（ＣＮＮ）による学習モデルが好適に採用される。このような学習モデルの例として、第１～第４の学習モデルを以下で説明する。

なお、側弯角推定部１０８における側弯角の推定処理に採用される学習モデルは、ＣＮＮに限られず、ＳＶＲ（サポートベクター回帰）など、適宜の手法が用いられてよい。また例えば、側弯角推定部１０８における側弯角の推定処理における学習モデルにＣＮＮを採用する場合であっても、当該学習モデルには適宜の構成が採用されてもよく、当該学習モデルの構成を、以下に説明する第１～第４の学習モデルに限定する趣旨ではない。

（第１の学習モデル）
第１の学習モデルは、図９にその構成を示すように、Ｉｎｐｕｔ層、Ｒｅｓｈａｐｅ層、ＭａｘＰｏｏｌｉｎｇ層、Ｃｏｎｖｏｌｕｔｉｏｎ層、ＲｅＬＵ層、Ｃｏｎｖｏｌｕｔｉｏｎ層、ＲｅＬＵ層、Ｃｏｎｖｏｌｕｔｉｏｎ層、ＲｅＬＵ層、Ａｆｆｉｎｅ層、ＲｅＬＵ層、Ａｆｆｉｎｅ層、ＨｕｂｅｒＬｏｓｓ層を順に含むＣＮＮを用いた学習モデルである。

Ｉｎｐｕｔ層は、データの入力処理を行う。本実施の形態での入力データは、上述の通り、複数の被験者から得られた偏差分布情報である。

Ｒｅｓｈａｐｅ層は、入力データが示す行列の内容を維持しつつ、行列の形式を変更する。

ＭａｘＰｏｏｌｉｎｇ層は、プーリング処理を行うプーリング層の一種であり、入力データが示す行列のうち、ｍ×ｎ（ｍ，ｎは、自然数）の部分領域の最大値を、当該部分領域の代表値とする。

Ｃｏｎｖｏｌｕｔｉｏｎ層は、入力データが示す行列に対して、ｋ×ｌ（ｋ，ｌは、自然数）のフィルタを所定のスライド量で移動させながら掛けることによって、畳みこみ処理を行う。

ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）層は、入力データに含まれる要素がゼロよりも小さい場合はゼロに設定する閾値処理を行う。

Ａｆｆｉｎｅ層は、入力データを結合する全結合層である。出力データが示す行列をＯ、入力データが示す行列をＩ、重み付けの行列をＷ、予め設定される固定の行列をＢとし、内積を「・」で表すと、Ａｆｆｉｎｅ層は、Ｏ＝Ｗ・Ｉ＋Ｂの演算を行う。

ＨｕｂｅｒＬｏｓｓ層は、予測値と実測値との差に基づいてモデルの予測精度を評価するための処理の一種である。ＨｕｂｅｒＬｏｓｓ層では、予測値と実測値との差の大きさが閾値以下の場合に、推定値と実際の値の差の２乗の平均である平均二乗誤差を評価に採用し、それ以外の場合に、実際の値と予測値の絶対値を平均した平均絶対誤差を評価に採用する。ＨｕｂｅｒＬｏｓｓ層は、外れ値に寛容でありながら、効率的な学習を可能にする。

第１の学習モデルは、Ｍａｘ Ｐｏｏｌｉｎｇ層の後に少なくとも１つのＣｏｎｖｏｌｕｔｉｏｎ層を含むＣＮＮを用いる例の１つである。第１の学習モデルでは、Ｍａｘ Ｐｏｏｌｉｎｇ層は、３つのＣｏｎｖｏｌｕｔｉｏｎ層の前に含まれる例である。

（第２の学習モデル）
第２の学習モデルは、図１０にその構成を示すように、第１の学習モデルのＲｅｓｈａｐｅ層とＭａｘＰｏｏｌｉｎｇ層との間にＩｍａｇｕ Ａｕｇｍｅｎｔａｔｉｏｎ層を含む。

すなわち、第２の学習モデルは、Ｉｎｐｕｔ層、Ｒｅｓｈａｐｅ層、Ｉｍａｇｕ Ａｕｇｍｅｎｔａｔｉｏｎ層、ＭａｘＰｏｏｌｉｎｇ層、Ｃｏｎｖｏｌｕｔｉｏｎ層、ＲｅＬＵ層、Ｃｏｎｖｏｌｕｔｉｏｎ層、ＲｅＬＵ層、Ｃｏｎｖｏｌｕｔｉｏｎ層、ＲｅＬＵ層、Ａｆｆｉｎｅ層、ＲｅＬＵ層、Ａｆｆｉｎｅ層、ＨｕｂｅｒＬｏｓｓ層を順に含むＣＮＮを用いた学習モデルである。

Ｉｍａｇｕ Ａｕｇｍｅｎｔａｔｉｏｎ層は、入力データに対して、回転、左右反転、上下反転、拡大又は縮小後の切り出しをランダムに行う。これにより、強固な訓練用のネットワークを構築することができる。

第２の学習モデルは、Ｍａｘ Ｐｏｏｌｉｎｇ層の後に少なくとも１つのＣｏｎｖｏｌｕｔｉｏｎ層を含むＣＮＮを用いる例の１つである。第２の学習モデルは、Ｍａｘ Ｐｏｏｌｉｎｇ層が、３つのＣｏｎｖｏｌｕｔｉｏｎ層の前に含まれる例であり、当該Ｍａｘ Ｐｏｏｌｉｎｇ層の前にＩｍａｇｕ Ａｕｇｍｅｎｔａｔｉｏｎ層を含む例である。

（第３の学習モデル）
第３の学習モデルは、図１１にその構成を示すように、Ｉｍａｇｕ Ａｕｇｍｅｎｔａｔｉｏｎ層を含むとともに、３つのＣｏｎｖｏｌｕｔｉｏｎ層の後にＭａｘＰｏｏｌｉｎｇ層を含む。

詳細には、第３の学習モデルは、Ｉｎｐｕｔ層、Ｒｅｓｈａｐｅ層、Ｉｍａｇｕ Ａｕｇｍｅｎｔａｔｉｏｎ層、Ｃｏｎｖｏｌｕｔｉｏｎ層、ＲｅＬＵ層、Ｃｏｎｖｏｌｕｔｉｏｎ層、ＲｅＬＵ層、Ｃｏｎｖｏｌｕｔｉｏｎ層、ＭａｘＰｏｏｌｉｎｇ層、Ａｆｆｉｎｅ層、ＲｅＬＵ層、Ａｆｆｉｎｅ層、ＨｕｂｅｒＬｏｓｓ層を順に含むＣＮＮを用いた学習モデルである。

第３の学習モデルは、３つのＣｏｎｖｏｌｕｔｉｏｎ層の前にＩｍａｇｕ Ａｕｇｍｅｎｔａｔｉｏｎ層を含む例であり、３つのＣｏｎｖｏｌｕｔｉｏｎ層の後にＭａｘ Ｐｏｏｌｉｎｇ層を含む例である。

（第４の学習モデル）
第４の学習モデルは、図１１にその構成を示すように、Ｉｍａｇｕ Ａｕｇｍｅｎｔａｔｉｏｎ層を含むとともに、１回目のＣｏｎｖｏｌｕｔｉｏｎ層の直後にＭａｘＰｏｏｌｉｎｇ層を含む。

詳細には、第４の学習モデルは、Ｉｎｐｕｔ層、Ｒｅｓｈａｐｅ層、Ｉｍａｇｕ Ａｕｇｍｅｎｔａｔｉｏｎ層、Ｃｏｎｖｏｌｕｔｉｏｎ層、ＭａｘＰｏｏｌｉｎｇ層、Ｃｏｎｖｏｌｕｔｉｏｎ層、ＲｅＬＵ層、Ｃｏｎｖｏｌｕｔｉｏｎ層、ＲｅＬＵ層、Ａｆｆｉｎｅ層、ＲｅＬＵ層、Ａｆｆｉｎｅ層、ＨｕｂｅｒＬｏｓｓ層を順に含むＣＮＮを用いた学習モデルである。

第４の学習モデルは、Ｍａｘ Ｐｏｏｌｉｎｇ層の後に少なくとも１つのＣｏｎｖｏｌｕｔｉｏｎ層を含むＣＮＮを用いる例の１つである。第４の学習モデルは、１回目のＣｏｎｖｏｌｕｔｉｏｎ層の前にＩｍａｇｕ Ａｕｇｍｅｎｔａｔｉｏｎ層を含む例であり、１回目のＣｏｎｖｏｌｕｔｉｏｎ層の後にＭａｘ Ｐｏｏｌｉｎｇ層を含む例である。

＜実施例＞
ここから、学習済みの第１～第４の学習モデルを側弯角推定部１０８における側弯角の推定処理に採用した実施例について説明する。

機械学習の訓練用（学習用）データは、偏差分布情報が示す偏差の分布を中央に含む１５９行１５９列の行列データとし、偏差分布情報の周辺の成分の値には０を設定した。また、学習モデルの構築には、Ｓｏｎｙ Ｎｅｔｗｏｒｋ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ社のＮｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｃｏｎｓｏｌｅを利用した。

各実施例では、１６０例の偏差分布情報をランダムに４０例ずつ４群に分け、１つの群を検証用データ、残り３つの群を訓練用データとする４分割交差検証を２回行った。従って、以下の各実施例では、４つのデータセットについて２回ずつ学習した学習モデルに基づく推定側弯角が含まれる。なお、実施例における側弯角には、コブ角が適用される。

また、訓練用データが示す行列において、偏差分布情報が占める領域を許容範囲内で変更することによって、偏差分布情報の各々から３つの訓練用データを作成した。詳細には、偏差分布情報の中で腰のくびれの位置に相当する部分を許容範囲内で上限、中央、下限に位置付けるように変更することによって、偏差分布情報の各々から３つの訓練用データを作成した。従って、各回の学習には、（４０×３）×３＝３６０の訓練用データを用いた。

各実施例において、Ｍａｘ Ｐｏｏｌｉｎｇ層において適用する部分領域は、２×２の行列とし、スライド量は２とした。Ｃｏｎｖｏｌｕｔｉｏｎ層におけるフィルタは、１回目が８×８、２回目が６×６、３回目が３×３とし、スライド量は各回とも２とした。Ｉｍａｇｕ Ａｕｇｍｅｎｔａｔｉｏｎ層を含む場合、回転は－０．１［ラジアン］～＋０．１［ラジアン］とし、拡大及び縮小では１．１倍のズームイン及びズームアウトとした。

（実施例１）
実施例１に係る側弯症診断支援装置１０２では、側弯角推定部１０８が用いる学習モデルに第１の学習モデルによって学習をしたものを採用した。

実施例１では、エポック数を５００、バッチサイズを２０とし、最適化手法にＡｄａｍによる最適化アルゴリズム（ｏｐｔｉｍａｉｚｅｒ）を採用した。

図１３Ａ～Ｄは、第１～第４の訓練用データ群のそれぞれについて、１回目の訓練を行った第１の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。図１３Ａ～Ｄでは、横軸が実側弯角であり、縦軸が推定側弯角である。図中の点線は、近似直線を示しており、図中の式は、当該近似直線を表し、図中のＲ^２は、相関係数の２乗を示す。

なお、相関係数Ｒは、ピアソンの相関係数であり、以下においても同様である。

図１３Ａ～Ｄから分かるように、第１～第４の訓練用データ群の各々について１回目の訓練を行った第１の学習モデルによる推定側弯角と実側弯角との相関係数Ｒは、それぞれ０．８８、０．８３、０．８６、０．９０（すべてＰ＜０．０１）であり、相関係数間では有意な差はないと考えられる（Ｐ＝０．９８）。

なお、相関係数同士の比較はＦｉｓｈのｒ－ｚ変換を用いており、以下においても同様である。

図１４は、第１～第４の訓練用データ群の各々について１回目の訓練を行った第１の学習モデルによる推定側弯角の相関係数Ｒ、平均絶対誤差、平均二乗誤差平方根及びこれらの全体を示す図である。なお、平均二乗誤差平方根は、平均二乗誤差の平方根である。

図１４に示すように、１回目の訓練を行った第１の学習モデルによれば、第１～第４の訓練用データ群における平均絶対誤差は、５．１度、３．７度、５．３度、５．５度であり、全体では４．９度であった。訓練用データ群の間において絶対誤差の有意差はなかった（Ｐ＝０．５６）。第１～第４の訓練用データ群における平均二乗誤差平方根の範囲は５．４度～６．９度であり、全体では６．５度であった。

図１５Ａ～Ｄは、第１～第４の訓練用データ群のそれぞれについて、２回目の訓練を行った第１の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。図１５Ａ～Ｄでは、横軸が実側弯角であり、縦軸が推定側弯角である。図中の点線は、近似直線を示しており、図中の式は、当該近似直線を表し、図中のＲ^２は、相関係数の２乗を示す。

図１５Ａ～Ｄから分かるように、第１～第４の訓練用データ群の各々について２回目の訓練を行った第１の学習モデルによる推定側弯角と実側弯角との相関係数Ｒは、それぞれ０．８５、０．８９、０．９１、０．８１（すべてＰ＜０．０１）であり、相関係数間では有意な差はないと考えられる（Ｐ＝０．９６）。

図１６に示すように、２回目の訓練を行った第１の学習モデルによれば、第１～第４の訓練用データ群における平均絶対誤差は、４．８度、４．８度、５．２度、６．６度であり、全体では５．４度であった。訓練用データ群の間において絶対誤差の有意差はなかった（Ｐ＝０．１５）。第１～第４の訓練用データ群における平均二乗誤差平方根の範囲は６．２度～７．８度であり、全体では６．７度であった。

実施例１において、１回目と２回目との全体について、相関係数Ｒ間のＰ値は０．５４であり、平均絶対誤差間のＰ値は０．３４であり、２群間にほとんど差はない。

また、実施例１において、１回目と２回目との推定側弯角の平均値と実側弯角との相関係数Ｒは０．８８であり、平均絶対誤差は４．８度であり、平均二乗誤差平方根は６．１度であった。

図１７は、実施例１での訓練の１回目と２回目において、実側弯角１５度、２０度、２５度をカットオフ値にした場合の予測側弯角の感度、特異度、陽性的中率、陰性的中率、陽性尤度比、陰性尤度比とそれぞれの平均値をまとめた図である。

（実施例２）
実施例２に係る側弯症診断支援装置１０２では、側弯角推定部１０８が用いる学習モデルに第２の学習モデルによって学習をしたものを採用した。

実施例２では、エポック数を５０００、バッチサイズを２０とし、最適化手法にＡｄａｍによる最適化アルゴリズム（ｏｐｔｉｍａｉｚｅｒ）を採用した。

図１８Ａ～Ｄは、第１～第４の訓練用データ群のそれぞれについて、１回目の訓練を行った第２の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。図１８Ａ～Ｄでは、横軸が実側弯角であり、縦軸が推定側弯角である。図中の点線は、近似直線を示しており、図中の式は、当該近似直線を表し、図中のＲ^２は、相関係数の２乗を示す。

図１８Ａ～Ｄから分かるように、第１～第４の訓練用データ群の各々について１回目の訓練を行った第２の学習モデルによる推定側弯角と実側弯角との相関係数Ｒは、それぞれ０．８７、０．８７、０．９０、０．９１（すべてＰ＜０．０１）であり、相関係数間では有意な差はないと考えられる（Ｐ＝０．８７）。

図１９は、第１～第４の訓練用データ群の各々について１回目の訓練を行った第２の学習モデルによる推定側弯角の相関係数Ｒ、平均絶対誤差、平均二乗誤差平方根及びこれらの全体を示す図である。

図１９に示すように、１回目の訓練を行った第２の学習モデルによれば、第１～第４の訓練用データ群における平均絶対誤差は、５．１度、３．４度、４．７度、４．６度であり、全体では４．５度であった。訓練用データ群の間において絶対誤差の有意差はなかった（Ｐ＝０．２２）。第１～第４の訓練用データ群における平均二乗誤差平方根の範囲は４．６度～６．６度であり、全体では６．０度であった。

図２０Ａ～Ｄは、第１～第４の訓練用データ群のそれぞれについて、２回目の訓練を行った第２の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。図２０Ａ～Ｄでは、横軸が実側弯角であり、縦軸が推定側弯角である。図中の点線は、近似直線を示しており、図中の式は、当該近似直線を表し、図中のＲ^２は、相関係数の２乗を示す。

図２０Ａ～Ｄから分かるように、第１～第４の訓練用データ群の各々について２回目の訓練を行った第２の学習モデルによる推定側弯角と実側弯角との相関係数Ｒは、それぞれ０．８７、０．８６、０．８７、０．９１（すべてＰ＜０．０１）であり、相関係数間では有意な差はなかった（Ｐ＝０．８７）。

図２１に示すように、２回目の訓練を行った第２の学習モデルによれば、第１～第４の訓練用データ群における平均絶対誤差は、４．６度、５．０度、５．２度、４．４度であり、全体では４．８度であった。訓練用データ群の間において絶対誤差の有意差はなかった（Ｐ＝０．８２）。第１～第４の訓練用データ群における平均二乗誤差平方根の範囲は５．７度～６．８度であり、全体では６．３度であった。

実施例２において、１回目と２回目との全体について、相関係数Ｒ間のＰ値は０．７３であり、平均絶対誤差間のＰ値は０．４３であり、２群間にほとんど差はない。

また、実施例２において、１回目と２回目との推定側弯角の平均値と実側弯角との相関係数Ｒは０．９０であり、平均絶対誤差は４．３度であり、平均二乗誤差平方根は５．７度であった。

図２２は、実施例２での訓練の１回目と２回目において、実側弯角１５度、２０度、２５度をカットオフ値にした場合の予測側弯角の感度、特異度、陽性的中率、陰性的中率、陽性尤度比、陰性尤度比とそれぞれの平均値をまとめた図である。

（実施例３）
実施例３に係る側弯症診断支援装置１０２では、側弯角推定部１０８が用いる学習モデルに第３の学習モデルによって学習をしたものを採用した。

実施例３では、実施例２と同様に、エポック数を５０００、バッチサイズを２０とし、最適化手法にＡｄａｍによる最適化アルゴリズム（ｏｐｔｉｍａｉｚｅｒ）を採用した。

図２３Ａ～Ｄは、第１～第４の訓練用データ群のそれぞれについて、１回目の訓練を行った第３の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。図２３Ａ～Ｄでは、横軸が実側弯角であり、縦軸が推定側弯角である。図中の点線は、近似直線を示しており、図中の式は、当該近似直線を表し、図中のＲ^２は、相関係数の２乗を示す。

図２３Ａ～Ｄから分かるように、第１～第４の訓練用データ群の各々について１回目の訓練を行った第３の学習モデルによる推定側弯角と実側弯角との相関係数Ｒは、それぞれ０．８８、０．８３、０．８５、０．９０である。

図２４は、第１～第４の訓練用データ群の各々について１回目の訓練を行った第３の学習モデルによる推定側弯角の相関係数Ｒ、平均絶対誤差、平均二乗誤差平方根及びこれらの全体を示す図である。

図２４に示すように、１回目の訓練を行った第３の学習モデルによれば、第１～第４の訓練用データ群における平均絶対誤差は、５．１度、３．６度、５．６度、５．３度であり、全体では４．９度であった。第１～第４の訓練用データ群における平均二乗誤差平方根の範囲は５．４度～７．３度であり、全体では６．６度であった。

図２５Ａ～Ｄは、第１～第４の訓練用データ群のそれぞれについて、２回目の訓練を行った第３の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。図２５Ａ～Ｄでは、横軸が実側弯角であり、縦軸が推定側弯角である。図中の点線は、近似直線を示しており、図中の式は、当該近似直線を表し、図中のＲ^２は、相関係数の２乗を示す。

図２５Ａ～Ｄから分かるように、第１～第４の訓練用データ群の各々について２回目の訓練を行った第３の学習モデルによる推定側弯角と実側弯角との相関係数Ｒは、それぞれ０．８８、０．８７、０．８７、０．８８である。

図２６に示すように、２回目の訓練を行った第３の学習モデルによれば、第１～第４の訓練用データ群における平均絶対誤差は、４．４度、４．６度、５．３度、５．２度であり、全体では４．９度であった。第１～第４の訓練用データ群における平均二乗誤差平方根の範囲は５．５度～６．７度であり、全体では６．３度であった。

実施例３において、１回目と２回目との推定側弯角の平均値と実側弯角との相関係数Ｒは０．８９であり、平均絶対誤差は４．６度であり、平均二乗誤差平方根は５．９度であった。

図２７は、実施例３での訓練の１回目と２回目において、実側弯角１５度、２０度、２５度をカットオフ値にした場合の予測側弯角の感度、特異度、陽性的中率、陰性的中率、陽性尤度比、陰性尤度比とそれぞれの平均値をまとめた図である。

（実施例４）
実施例４に係る側弯症診断支援装置１０２では、側弯角推定部１０８が用いる学習モデルに第４の学習モデルによって学習をしたものを採用した。

実施例４では、実施例２と同様に、エポック数を５０００、バッチサイズを２０とし、最適化手法にＡｄａｍによる最適化アルゴリズム（ｏｐｔｉｍａｉｚｅｒ）を採用した。

図２８Ａ～Ｄは、第１～第４の訓練用データ群のそれぞれについて、１回目の訓練を行った第４の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。図２８Ａ～Ｄでは、横軸が実側弯角であり、縦軸が推定側弯角である。図中の点線は、近似直線を示しており、図中の式は、当該近似直線を表し、図中のＲ^２は、相関係数の２乗を示す。

図２８Ａ～Ｄから分かるように、第１～第４の訓練用データ群の各々について１回目の訓練を行った第３の学習モデルによる推定側弯角と実側弯角との相関係数Ｒは、それぞれ０．８８、０．８５、０．９０、０．８９である。

図２９は、第１～第４の訓練用データ群の各々について１回目の訓練を行った第４の学習モデルによる推定側弯角の相関係数Ｒ、平均絶対誤差、平均二乗誤差平方根及びこれらの全体を示す図である。

図２９に示すように、１回目の訓練を行った第４の学習モデルによれば、第１～第４の訓練用データ群における平均絶対誤差は、５．２度、３．６度、４．９度、５．６度であり、全体では４．９度であった。第１～第４の訓練用データ群における平均二乗誤差平方根の範囲は４．９度～７．２度であり、全体では６．４度であった。

図３０Ａ～Ｄは、第１～第４の訓練用データ群のそれぞれについて、２回目の訓練を行った第４の学習モデルにより側弯角を推定した結果と、実側弯角とを対応付けた図である。図３０Ａ～Ｄでは、横軸が実側弯角であり、縦軸が推定側弯角である。図中の点線は、近似直線を示しており、図中の式は、当該近似直線を表し、図中のＲ^２は、相関係数の２乗を示す。

図３０Ａ～Ｄから分かるように、第１～第４の訓練用データ群の各々について２回目の訓練を行った第４の学習モデルによる推定側弯角と実側弯角との相関係数Ｒは、それぞれ０．８７、０．８８、０．８６、０．８８である。

図３１に示すように、２回目の訓練を行った第４の学習モデルによれば、第１～第４の訓練用データ群における平均絶対誤差は、４．７度、４．９度、５．４度、５．１度であり、全体では５．０度であった。第１～第４の訓練用データ群における平均二乗誤差平方根の範囲は５．９度～７．０度であり、全体では６．４度であった。

実施例４において、１回目と２回目との推定側弯角の平均値と実側弯角との相関係数Ｒは０．８９であり、平均絶対誤差は４．６度であり、平均二乗誤差平方根は６．０度であった。

図３２は、実施例４での訓練の１回目と２回目において、実側弯角１５度、２０度、２５度をカットオフ値にした場合の予測側弯角の感度、特異度、陽性的中率、陰性的中率、陽性尤度比、陰性尤度比とそれぞれの平均値をまとめた図である。

実施例２～４を比較すると、実施例２（Maxpooling層が１回目のConvolution層の直前）の全体では、相関係数Ｒが０．９０、平均絶対誤差が４．３度、平均二乗誤差平方根５．７度であった。実施例３（Maxpooling層が３回目のConvolution層の直後）の全体では、相関係数Ｒが０．８９、平均絶対誤差が４．６度、平均二乗誤差平方根６．０度であった。実施例４（Maxpooling層が１回目のConvolution層の直後）の全体では、相関係数Ｒが０．８９、平均絶対誤差が４．６度、平均二乗誤差平方根５．９度であった。実施例２～４では、いずれも同程度の精度で良好な側弯角の推定結果を得ることができた。

＜実施例における推定結果の精度の検証＞
実施例１～４で求められた推定側弯角の精度の検証にあたって、被験者の側弯の程度を示す非対称性指数から推定されるコブ角を比較例として採用した。

（比較例）
比較例に係る非対称性指数は、図３３のフローチャートによって示される非対称性指数算出処理によって求めることができ、当該処理は、例えばプログラムをインストールしたコンピュータによって実行される。非対称性指数算出処理は、実施の形態と同様の被験者データを準備した後に行われる。

図３３に示すように、実施の形態と同様のステップＳ１０１及びＳ１０２が行われる。続けて、鏡像の位置調整処理（ステップＳ２０３）が行われる。

ステップＳ２０３では、ステップＳ１０１で取得された関心領域情報が示す３次元形状と、ステップＳ１０２で取得された鏡像との前後方向に対応する点間での偏差の二乗和が最小になるように、鏡像を前後方向に移動させる。

関心領域情報が示す３次元形状と、ステップＳ２０３にて位置調整後の鏡像との偏差の分布が求められる（ステップＳ２０４）。

ステップＳ２０４で求められた偏差の二乗和を関心領域の面積で除することによって非対称性指数が求められる（ステップＳ２０５）。

複数の被験者データの各々について非対称性指数算出処理を繰り返すことによって、各被験者の非対称性指数が求められる。これにより、図３４に例示するような非対称性指数と実側弯角との最小二乗近似曲線が求められる。図３４の中に記載された式は、横軸の非対称性指数をｘ、縦軸の実側弯角をｙとした場合の最小二乗３次曲線を表す比較例に係る近似式である。

そして、コブ角が不明な被験者について、上述の非対称性指数算出処理を行うことによって非対称性指数を求め、当該求めた非対称性指数を比較例に係る近似式に当てはめることによって、当該被験者のコブ角の推定値（比較例に係る推定側弯角）を得ることができる。

このような方法によって、実施例と同じ１６０例の被験者データを基に比較例に係る近似式を求めた。そして、当該被験者データから得られる非対称性指数を比較例に係る近似式に当てはめることによって、比較例に係る推定側弯角を求めた。これにより求められた比較例に係る推定側弯角と実側弯角との関係を図３５に示す。図中の点線は、近似直線を示しており、図中の式は、当該近似直線を表し、図中のＲ^２は、相関係数の２乗を示す。

図３５に示すように、比較例に係る推定側弯角と実側弯角との相関係数は、０．８３であった。また、比較例に係る推定側弯角と実側弯角について、平均絶対誤差は５．４度であり、平均二乗誤差平方根は７．１度であった。

図３６は、実側弯角１５度、２０度、２５度をカットオフ値にした場合の比較例に係る推定側弯角の感度、特異度、陽性的中率、陰性的中率、陽性尤度比、陰性尤度比をまとめた図である。

実施例と比較例とを比較すると、比較例に係る推定側弯角では、高度側弯症の事例で誤差が大きくなることがあった（実側弯角が５６度に対して、比較例に係る推定側弯角が２９度）。これに対して、実施例２では、同事例について、推定側弯角が５８度であり、より精度の良い推定値が得られた。

図３７は、実施例１及び２に係る推定側弯角と実側弯角との相関係数の平均と、比較例に係る推定側弯角と実側弯角との相関係数と、をまとめた図である。同図を参照すると分かるように、実施例に係る相関係数は、比較例に係る相関係数より高くなっており、特に実施例２では有意に相関係数が高い。

図３８は、実施例１及び２に係る推定側弯角の平均と実側弯角との平均絶対誤差（度）と、比較例に係る推定側弯角と実側弯角との平均絶対誤差（度）と、をまとめた図である。同図を参照すると分かるように、実施例に係る平均絶対誤差（度）の方が、比較例に係る平均絶対誤差（度）よりも小さい。

このように、実施例では、鏡像の位置調整処理（ステップＳ２０３）を行わなくても、比較例よりも精度良く側弯角を推定することができる。すなわち、本発明によれば、簡易な構成で精度良く側弯症の程度を推定することができることが分かる。

また、本発明では、Ｘ線などを用いないため低侵襲であり、側弯角の推定値を求めるため、容易に側弯症の程度を推測することができる。

従って、低侵襲かつ簡易な構成で、側弯症の程度を精度良く容易に推定することが可能になる。

以上、本発明の一実施の形態について説明したが、本発明は、この実施の形態に限られない。例えば、本発明は、以下のように変形されてもよく、実施の形態及び変形例の一部又は全部を適宜組み合わせた形態、その形態に適宜変更を加えた形態をも含む。

本発明は、被験者が側弯症に罹患しているか否かに関する医師などの診断を支援するための装置などに有用である。

１００ 側弯症診断支援システム
１０１ 被験者データ生成装置
１０２ 側弯症診断支援装置
１０３ 第１形状取得部
１０４ 第２形状取得部
１０５ 偏差分布取得部
１０６ 偏差分布記憶部
１０７ 学習モデル記憶部
１０８ 側弯角推定部
１０９ 推定側弯角記憶部
１１０ 表示部
１１１ 出力制御部
１１２ 実側弯角記憶部
１１３ 学習部
１１４ 被験者データ取得部
１１５ 近似矢状面取得部
１１６ 関心領域取得部
１１７ 背中抽出部
１１８ 主軸取得部
１１９ 矢状面特定部

Claims (15)

1. 被験者の背面のうちの関心領域の３次元形状を示す関心領域情報を取得する第１形状取得部と、
   前記関心領域情報が示す３次元形状において前記被験者の矢状面に対応する面である近似矢状面を基準とする、前記関心領域情報が示す３次元形状の鏡像を示す鏡像情報を取得する第２形状取得部と、
   前記関心領域情報が示す３次元形状と、前記鏡像情報が示す鏡像との間の偏差の分布を示す偏差分布情報を取得する偏差分布取得部と、
   偏差分布情報を入力として側弯角の推定値である推定側弯角を出力する機械学習をした学習済みの学習モデルに基づいて、前記偏差分布情報を入力として前記被験者の推定側弯角を出力する側弯角推定部とを備える
   ことを特徴とする側弯症診断支援装置。
2. 前記偏差分布取得部は、前記関心領域情報が示す３次元形状と前記鏡像情報が示す鏡像とについて、前記近似矢状面を一致させた場合に冠状面に垂直な方向に並ぶ点の間の距離を前記偏差として求めることによって、前記偏差分布情報を取得する
   ことを特徴とする請求項１に記載の側弯症診断支援装置。
3. 前記第１形状取得部は、
   前記被験者の背面の３次元形状を含む被験者データを取得する被験者データ取得部と、
   前記被験者データに含まれる前記被験者の背面の３次元形状から、前記近似矢状面を求める近似矢状面取得部と、
   前記被験者データに含まれる前記被験者の背面の３次元形状から、前記近似矢状面を基準として予め定められる領域である関心領域を抽出し、当該抽出した関心領域の３次元形状を示す関心領域情報を取得する関心領域取得部とを含む
   ことを特徴とする請求項１又は２に記載の側弯症診断支援装置。
4. 前記被験者データは、前記被験者の背面の３次元形状を表す複数の点と当該背面の色とを含み、
   前記近似矢状面取得部は、
   前記被験者データに含まれる前記被験者の背面の色と、当該背面から抽出すべき領域の色に関する条件である抽出条件とに基づいて、前記被験者データに含まれる前記被験者の背中の３次元形状を抽出する背中抽出部と、
   前記背中の３次元形状を表す複数の点について主成分分析を施すことによって、当該複数の点が存在する空間において、前記被験者の上下方向の軸及び前後方向の軸のそれぞれに相当する２つの主軸を求める主軸取得部と、
   前記求められた２つの主軸に基づいて、前記近似矢状面を求める矢状面特定部とを含む
   ことを特徴とする請求項３に記載の側弯症診断支援装置。
5. 請求項１から４のいずれか１項に記載の側弯症診断支援装置と、
   前記被験者の後ろ姿の３次元形状を示す被験者データを生成する被験者データ生成装置とを備え、
   前記第１形状取得部は、前記被験者データに基づいて前記関心領域情報を取得する
   ことを特徴とする側弯症診断支援システム。
6. 請求項１から５のいずれか１項に記載の学習モデルを学習する機械学習装置であって、
   複数の被験者から得られた前記偏差分布情報と、前記複数の被験者の各々について測定された側弯角である実側弯角を教師データとに基づいて、Ｍａｘ Ｐｏｏｌｉｎｇ層と、３つのＣｏｎｖｏｌｕｔｉｏｎ層とを含む畳み込みニューラルネットワークを用いて、前記推定側弯角を出力する前記学習モデルを学習する学習部を備える
   ことを特徴とする機械学習装置。
7. 前記畳み込みニューラルネットワークは、前記Ｍａｘ Ｐｏｏｌｉｎｇ層の後に少なくとも１つのＣｏｎｖｏｌｕｔｉｏｎ層を含む
   ことを特徴とする請求項６に記載の機械学習装置。
8. 前記Ｍａｘ Ｐｏｏｌｉｎｇ層は、３つの前記Ｃｏｎｖｏｌｕｔｉｏｎ層の前に含まれる
   ことを特徴とする請求項７に記載の機械学習装置。
9. 前記畳み込みニューラルネットワークは、前記Ｍａｘ Ｐｏｏｌｉｎｇ層の前にＩｍａｇｕ Ａｕｇｍｅｎｔａｔｉｏｎ層をさらに含む
   ことを特徴とする請求項７に記載の機械学習装置。
10. 前記畳み込みニューラルネットワークは、１回目の前記Ｃｏｎｖｏｌｕｔｉｏｎ層の前にＩｍａｇｕ Ａｕｇｍｅｎｔａｔｉｏｎ層をさらに含み、当該１回目のＣｏｎｖｏｌｕｔｉｏｎ層の後に前記Ｍａｘ Ｐｏｏｌｉｎｇ層を含む
    ことを特徴とする請求項７に記載の機械学習装置。
11. 前記畳み込みニューラルネットワークは、３つの前記Ｃｏｎｖｏｌｕｔｉｏｎ層の前にＩｍａｇｕ Ａｕｇｍｅｎｔａｔｉｏｎ層をさらに含み、前記３つのＣｏｎｖｏｌｕｔｉｏｎ層の後に前記Ｍａｘ Ｐｏｏｌｉｎｇ層を含む
    ことを特徴とする請求項６に記載の機械学習装置。
12. 被験者の背面のうちの関心領域の３次元形状を示す関心領域情報を取得することと、
    前記関心領域情報が示す３次元形状において前記被験者の矢状面に対応する面である近似矢状面を基準とする、前記関心領域情報が示す３次元形状の鏡像を示す鏡像情報を取得することと、
    前記関心領域情報が示す３次元形状と、前記鏡像情報が示す鏡像との間の偏差の分布を示す偏差分布情報を取得することと、
    偏差分布情報を入力として側弯角の推定値である推定側弯角を出力する機械学習をした学習済みの学習モデルに基づいて、前記偏差分布情報を入力として前記被験者の推定側弯角を出力することとを含む
    ことを特徴とする側弯症診断支援方法。
13. 請求項１０に記載の学習モデルを学習する機械学習方法であって、
    複数の被験者から得られた前記偏差分布情報と、前記複数の被験者の各々について測定された側弯角である実側弯角を教師データとに基づいて、Maxpooling層と、３つのConvolution層とを含む畳み込みニューラルネットワークを用いて、前記推定側弯角を出力する前記学習モデルを学習することを含む
    ことを特徴とする機械学習方法。
14. コンピュータに、
    被験者の背面のうちの関心領域の３次元形状を示す関心領域情報を取得することと、
    前記関心領域情報が示す３次元形状において前記被験者の矢状面に対応する面である近似矢状面を基準とする、前記関心領域情報が示す３次元形状の鏡像を示す鏡像情報を取得することと、
    前記関心領域情報が示す３次元形状と、前記鏡像情報が示す鏡像との間の偏差の分布を示す偏差分布情報を取得することと、
    偏差分布情報を入力として側弯角の推定値である推定側弯角を出力する機械学習をした学習済みの学習モデルに基づいて、前記偏差分布情報を入力として前記被験者の推定側弯角を出力することとを、実行させるためのプログラム。
15. コンピュータに、請求項１２に記載の学習モデルを学習させるためのプログラムであって、
    複数の被験者から得られた前記偏差分布情報と、前記複数の被験者の各々について測定された側弯角である実側弯角を教師データとに基づいて、Ｍａｘ Ｐｏｏｌｉｎｇ層と、３つのＣｏｎｖｏｌｕｔｉｏｎ層とを含む畳み込みニューラルネットワークを用いて、前記推定側弯角を出力する前記学習モデルを学習することを、実行させるためのプログラム。

Images