JP2022127759A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】骨折部位を含む比較的広範な空間が病変空間として推定される場合であっても骨折部位を立体的に見易く表示することが可能な技術を提供する。【解決手段】画像処理装置は、被検体の２次元スライス画像群に基づき骨折部位５０を含む空間として推定される推定病変空間７５（被検体の骨に隣接する近傍空間をも含む）と、被検体の骨の３次元モデルである３次元骨モデル３３０のうち少なくとも表面を含む部分と、の積空間である病変骨部領域７７（曲面領域７９等）を、３次元骨モデル３３０のうち病変骨部領域７７以外の部分（３３２等）とは異なる態様で表示部に表示する。【選択図】図６

Description

本発明は、画像処理装置およびそれに関連する技術に関する。

ＭＲＩ（Magnetic Resonance Imaging）装置あるいはＣＴ（Computed Tomography）装置などで被検体の複数の２次元スライス画像（断面画像）を取得し、当該複数の２次元スライス画像を用いて病変を特定する技術が存在する。

たとえば、複数の２次元スライス画像に基づくボリュームデータを生成し、当該ボリュームデータに基づき、骨折（病変）の有無および位置等を判定する技術が存在する（特許文献１参照）。特許文献１では、肋骨の立体的形状に関する左右対称性を利用して左右差が存在する領域（肋骨の変形が存在する領域）を肋骨の骨折領域として検出すること、および当該肋骨の骨折領域を表示することが記載されている（特許文献１の段落００７４および図１３参照）。特許文献１では、左右一対の肋骨のうちの一方の肋骨の骨折領域が検出される場合において、肋骨付近の前面方向からのＶＲ（Volume Rendering）画像（ボリュームレンダリング画像）が生成され、当該ＶＲ画像上の骨折領域が強調されて表示されている。

また、機械学習された学習モデルを用いて、複数の２次元スライス画像から病変部位を検出する技術も存在する。

特開２０１９－１０３７５２号公報

特許文献１では、肋骨の立体的形状に関する左右対称性を利用して左右差（位置ずれ）が存在する領域を肋骨の骨折領域として検出することが示されている。しかしながら、骨折部位（病変部位）の検出には、特許文献１のような検出技術が用いられるのみならず、上述のような機械学習を利用した検出技術等が用いられることもある。

特に、機械学習を利用した骨折部位の検出技術としては、骨折部位のみで構成される領域ではなく、骨折部位を含む領域（当該骨折部位のみよりも広範な領域）を推定病変領域（病変領域として推定される領域）として検出する技術も考えられる。たとえば、被検体の骨に隣接する近傍空間をも含む領域が推定病変領域として検出されてもよい。なお、機械学習を利用した骨折部位の検出技術によれば、立体的形状に関する左右対称性（左右の形状差）に依らずに骨折部位を検出することができるので、多様な種類の骨折を適切に検出することが可能である。たとえば、完全骨折（骨が断裂し複数の部分に分離している骨折等）のみならず不全骨折（骨にひびが入った状態の骨折等）をも検出することが可能である。

そして、このような推定病変領域が検出される場合にも、３次元ボリュームデータ（たとえば被検体の骨モデル）において病変の位置を立体的に表示することが要請される。

このような要請に対して、後述するように、たとえば、複数の２次元スライス画像における推定病変領域を積層すること等によって形成される空間（推定病変空間とも称する）を、被検体の骨モデルにそのまま重畳させて表示することが考えられる。詳細には、推定病変空間をソリッドモデルで表現し、当該ソリッドモデルを骨モデルに結合させた状態で表示させることが考えられる。

しかしながら、比較的広範な推定病変領域（骨折部位を含む領域）を積層すること等によって形成される推定病変空間は、骨モデルの表面から外側に突出した部分を有していることが多い。そのため、推定病変空間を被検体の骨モデルにそのまま重畳させるような表示では、骨モデルにおける表面が推定病変空間に覆われて見えなくなること等が発生し、骨モデルにおける骨折位置等を把握し難くなる。

そこで、この発明は、骨折部位を含む比較的広範な空間が病変空間として推定される場合であっても骨折部位を立体的に見易く表示することが可能な技術を提供することを課題とする。

上記課題を解決すべく、本発明に係る画像処理装置は、被検体の２次元スライス画像群に基づき骨折部位を含む空間として推定される推定病変空間であって前記被検体の骨に隣接する近傍空間をも含む推定病変空間と、前記被検体の骨の３次元モデルである３次元骨モデルのうち少なくとも表面を含む部分と、の積空間である病変骨部領域を、前記３次元骨モデルのうち前記病変骨部領域以外の部分とは異なる態様で表示部に表示する制御部、を備えることを特徴とする。

前記制御部は、機械学習によって学習された学習済みモデルを用いて、前記推定病変空間を推定してもよい。

前記制御部は、機械学習によって学習された学習済みモデルを用いて前記被検体の前記２次元スライス画像群のうちの２以上の２次元スライス画像のそれぞれにおける骨折部位を含む２次元領域を推定病変領域として推定し、前記２以上の２次元スライス画像の前記推定病変領域に基づき前記推定病変空間と前記３次元骨モデルの表面との前記積空間を求めてもよい。

前記制御部は、前記推定病変空間と前記３次元骨モデルのうち少なくとも表面を含む部分との前記積空間である病変骨部領域の各位置の表示態様を、当該各位置における病変推定に関する信頼度に応じて変更してもよい。

前記制御部は、前記推定病変空間と前記３次元骨モデルのうち少なくとも表面を含む部分との前記積空間である病変骨部領域を病変推定に関する信頼度に応じて複数の段階に分類した段階別データを生成し、前記段階別データを段階ごとに異なるデータファイルに出力してもよい。

前記制御部は、前記推定病変空間と前記３次元骨モデルのうち少なくとも表面を含む部分との前記積空間である病変骨部領域の表示態様を、病変の種類に応じて変更してもよい。

上記課題を解決すべく、本発明に係る画像処理方法は、ａ）被検体の２次元スライス画像群に基づき骨折部位を含む空間として推定される推定病変空間であって前記被検体の骨に隣接する近傍空間をも含む推定病変空間と、前記被検体の骨の３次元モデルである３次元骨モデルのうち少なくとも表面を含む部分と、の積空間である病変骨部領域を、前記３次元骨モデルのうち前記病変骨部領域以外の部分とは異なる態様で表示部に表示するステップ、を備えることを特徴とする。

本発明によれば、骨折部位を含む更に広範な空間が病変空間として推定される場合であっても骨折部位を立体的に見易く表示することが可能である。

画像処理システムのブロック図である。 機械学習における推論段階の処理を示す概念図である。 画像処理装置の処理を示すフローチャートである。 ３次元骨モデルの生成例を示す概念図である。 推定病変空間の生成例を示す概念図である。 ３次元骨モデルの表示例を示す図である。 完全骨折を伴う骨折部位付近における３次元骨モデルの部分拡大図である。 不全骨折を伴う骨折部位付近における３次元骨モデルの部分拡大図である。 第２実施形態における処理の一部を示すフローチャートである。 アキシャル断面、コロナル断面およびサジタル断面を示す図である。 複数のスライス画像群のそれぞれにおける病変候補空間、および統合病変候補空間、統合病変空間等を説明するための概念図である。 第２実施形態に係る３次元骨モデルの表示例を示す図である。 推定病変空間等を或るコロナル断面で切断した断面図である。 推定病変空間と３次元骨モデルの表面との積空間等を示す概念図である。 推定病変空間と３次元骨モデルとの積空間等を示す概念図である。 第１の比較例を示す図である。 第２の比較例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。

＜１．第１実施形態＞
＜１－１．システム概要＞
図１は、画像処理システム１０を示すブロック図である。画像処理システム１０は、基準軸に垂直な断面で被検体（被検者等）をスライスした複数の２次元スライス画像（断層画像）２２０（図４参照）（詳細には、複数の２次元スライス画像群２１０）を処理するシステムである。

図１に示されるように、画像処理システム１０は、スライス画像生成装置２０と画像処理装置３０とを備えている。スライス画像生成装置２０と画像処理装置３０とは有線接続（あるいは無線接続）されて互いに通信可能である。画像処理装置３０は、スライス画像生成装置２０で生成（取得）された情報（スライス画像等）を所定の接続ケーブル等を介してスライス画像生成装置２０から受信する。

スライス画像生成装置２０は、ＭＲＩ（Magnetic Resonance Imaging）装置あるいはＣＴ（Computed Tomography）装置などで構成される。スライス画像生成装置２０は、被検体（被検者等）に関する複数の２次元スライス画像（単にスライス画像とも称する）２２０を生成して取得する。当該複数のスライス画像２２０は、基準軸上の互いに異なる複数の位置において（例えば、０．６ｍｍ～１ｍｍ（ミリメートル）ピッチの異なる位置で）当該基準軸に垂直な断面で被検体をスライスした画像である。当該複数のスライス画像２２０は、基準軸方向における所定範囲（たとえば３００ｍｍ）に亘って取得され、数百枚から数千枚（たとえば５００枚）の画像で構成される。スライス画像生成装置２０においては、たとえば、骨盤を含む腰部に関する２次元スライス画像群２１０（複数の２次元スライス画像２２０）が撮像されて取得される（図４参照）。

画像処理装置３０は、学習パラメータが予め調整された学習モデル４１０（学習済みモデル４２０とも称する）を用いて、或る被検体に関して取得された複数のスライス画像２２０（２４０とも称する）のそれぞれについて推論処理を実行する（図２参照）。図２は、機械学習における推論段階の処理を示す概念図である。

具体的には、画像処理装置３０は、上述の学習済みモデル４２０を用いて、各スライス画像２４０の（未知の）病変部位（骨折部位）を推定する推論処理を実行する。ここでは、病変部位として骨折部位（より詳細には、骨盤における骨折部位）を主に例示する。当該推論処理においては、たとえば、骨折部位の有無および当該骨折部位の位置等が特定（推定）される。具体的には、骨折部位５０（図６参照）を含む領域（詳細には、当該骨折部位５０の近傍領域（骨に隣接する近傍領域）をも含む領域）が、推定病変領域７１（図５参照）として特定される。たとえば、骨折部位５０を囲む２次元バウンディングボックスが推定病変領域７１として特定される。なお、推定病変領域７１は、病変（骨折部位）を含む領域であると推定される領域である。

また、当該骨折部位の推論結果に関する信頼度（たとえば、８０％）も併せて出力される。当該信頼度は、スライス画像２４０ごとに判定されてもよく、スライス画像２４０内の画素ごとに判定されてもよい。

なお、学習済みモデル４２０は、学習モデル４１０（学習器）の学習パラメータが所定の機械学習手法を用いて調整されることによって生成される。学習モデル４１０としては、たとえば、複数の層で構成されるニューラルネットワークモデルが用いられる。そして、所定の機械学習手法（ディープラーニング等）によって、ニューラルネットワークモデルにおける複数の層（入力層、（１又は複数の）中間層、出力層）の層間における重み付け係数等（学習パラメータ）が調整される。このような機械学習における当該学習段階の処理は、たとえば、画像処理装置３０によって予め実行される。具体的には、スライス画像の病変部位を特定する推論処理を実行するための学習モデル４１０（学習済みモデル４２０）が、病変部位を有する教師データ（既知の病変部位を有する複数のスライス画像群（より詳細には複数の検体に関する複数のスライス画像群））等に基づいて生成される。ただし、これに限定されず、画像処理装置３０は、他の装置で調整された学習パラメータを取得することによって、自装置（画像処理装置３０）内に学習済みモデル４２０を構築するようにしてもよい。

また、画像処理装置３０は、機械学習による学習済みモデル４２０を用いた推論結果に基づき更なる処理を実行する。

具体的には、画像処理装置３０は、後述するように、推定病変領域７１に基づき、推定病変空間７５を仮想的に形成する。推定病変空間７５は、被検体の２次元スライス画像群２１０に基づき骨折部位５０を含む空間として推定される空間である（図５参照）。この推定病変空間７５には、被検体の骨に隣接する近傍空間も含まれている。

また、画像処理装置３０は、推定病変空間７５と３次元骨モデル３３０のうち少なくとも表面を含む部分との積空間７７（以下、病変骨部領域７７とも称する）を着目領域として求める。たとえば、画像処理装置３０は、推定病変空間７５と３次元骨モデル３３０の表面との積空間（以下、曲面領域７９とも称する）を、病変骨部領域７７として求める。なお、曲面領域７９は、（骨表面における）病変包含領域あるいは特定曲面領域等とも称される。

そして、画像処理装置３０は、３次元骨モデル３３０のうち、当該着目領域（病変骨部領域７７）を当該病変骨部領域７７以外の部分とは異なる態様で表示部３５ｂに表示する。たとえば、画像処理装置３０は、３次元骨モデルの表面のうち、当該着目領域（曲面領域７９等）を当該着目領域以外の領域とは異なる態様（たとえば異なる表示色）で表示部３５ｂに表示する。

図１に示されるように、画像処理装置３０は、コントローラ３１と記憶部３２と操作部３５とを備える。

コントローラ３１は、画像処理装置３０に内蔵され、画像処理装置３０の動作を制御する制御装置である。

コントローラ３１は、１又は複数のハードウェアプロセッサ（例えば、ＣＰＵ（Central Processing Unit）およびＧＰＵ（Graphics Processing Unit））等を備えるコンピュータシステムとして構成される。コントローラ３１は、ＣＰＵ等において、記憶部（ＲＯＭおよび／またはハードディスクなどの不揮発性記憶部）３２内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）を実行することによって、各種の処理を実現する。なお、当該プログラム（詳細にはプログラムモジュール群）は、ＵＳＢメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されて画像処理装置３０にインストールされるようにしてもよい。あるいは、当該プログラムは、通信ネットワーク等を経由してダウンロードされて画像処理装置３０にインストールされるようにしてもよい。

コントローラ３１は、たとえば、機械学習における推論段階に関する処理を実行する。具体的には、機械学習によって学習された学習モデル４１０（学習済みモデル４２０）（図２参照）を用いて、或る被検体に関して取得された複数の２次元スライス画像２２０（２４０）のそれぞれについて、推論処理が実行される。この推論処理によって推定病変領域７１が求められるとともに、推定病変空間７５（図５参照）が形成される。また、コントローラ３１は、病変部位に関する出力処理（骨折部位を含む画像の表示処理等）をも実行する（図６等参照）。具体的には、コントローラ３１は、推定病変空間７５と３次元骨モデル３３０のうち少なくとも表面を含む部分との積空間（病変骨部領域）７７を着目領域として求める。そして、コントローラ３１は、３次元骨モデルのうち、当該着目領域を当該着目領域以外の領域とは異なる態様で表示部３５ｂに表示する。換言すれば、コントローラ３１は、当該着目領域に対して、当該着目領域以外の領域に対する処理とは異なる処理を施す。

記憶部３２は、ハードディスクドライブ（ＨＤＤ）および／またはソリッドステートドライブ（ＳＳＤ）等の記憶装置で構成される。記憶部３２は、複数の２次元スライス画像２２０および学習済みモデル４２０（学習パラメータを含む）等を記憶する。

操作部３５は、画像処理装置３０に対する操作入力を受け付ける操作入力部３５ａと、各種情報の表示出力を行う表示部３５ｂとを備えている。たとえば、操作入力部３５ａ（受付部とも称される）は、処理対象の２次元スライス画像群２１０の指定操作等を受け付ける。また、表示部３５ｂは、学習済みモデル４２０を用いた推論処理結果に基づき、立体的な３次元骨モデル３３０を用いて骨折部位５０等を（病変骨部領域７７として）立体的に表示する。これにより、骨折部位５０等が判りやすく示される。操作入力部３５ａとしてはマウスおよびキーボード等が用いられ、表示部３５ｂとしてはディスプレイ（液晶ディスプレイ等）が用いられる。また、操作入力部３５ａの一部としても機能し且つ表示部３５ｂの一部としても機能するタッチパネルが設けられてもよい。

なお、この画像処理装置３０は医用画像処理装置とも称され、画像処理システム１０は医用画像処理システムとも称される。

＜１－２．処理の詳細＞
図３は、画像処理装置３０（詳細にはコントローラ３１（図１））の処理を示すフローチャートである。図３においては、機械学習による学習済みモデル４２０を用いた推論処理（ステップＳ２２）を含む処理が示されている。

まず、ステップＳ２１において、画像処理装置３０は、２次元スライス画像群２１０に基づき、３次元骨モデル３３０を求める（図４参照）。図４は、３次元骨モデル３３０が被検体に関する２次元スライス画像群２１０（複数の２次元スライス画像２２０）に基づいて生成されることを概念的に示す図である。

具体的には、画像処理装置３０は、各２次元スライス画像２２０の中から、骨らしさを示す指標値が所定範囲内の画素（ピクセル）の集合を骨領域（２次元領域）として抽出する。骨らしさを示す指標値としては、たとえば、ＣＴ画像（２次元スライス画像２２０）における各画素のＣＴ値（被検体のエックス線吸収値）が利用され得る。より詳細には、ＣＴ画像におけるＣＴ値（たとえば、－１０００～＋４０００）のうち、所定範囲内（たとえば、＋１００～＋１９００）の値を有する画素の集合が、骨領域として抽出されればよい。なお、当該各画素は、所定の厚み（スライス画像の法線方向における長さ）を有しており、ボクセルとも表現される。

そして、複数の２次元スライス画像２２０における骨領域を積層すること（換言すれば、各スライス画像のボクセルを集積すること）によって、３次元骨モデル３３０が生成される。なお、ここでは、３次元骨モデル３３０は、骨の表面のみならず骨の内部をも含むモデルとして生成される。換言すれば、３次元骨モデル３３０は、ソリッドモデルとして形成される。

つぎに、ステップＳ２２において、図５に示されるように、画像処理装置３０は、２次元スライス画像群２１０に基づき、推定病変空間７５を推定する（求める）。なお、図５は、被検体に関する２次元スライス画像群に基づいて３次元骨モデルが生成されることを示す概念図である。

具体的には、画像処理装置３０は、まず、学習済みモデル４２０を用いて、被検体の２次元スライス画像群２１０のうちの２以上の２次元スライス画像２２０（２５０とも称する）において、当該各２次元スライス画像における骨折部位５０を含む２次元領域を推定病変領域７１として推定する（図５の上半分参照）。学習済みモデル４２０は、２次元スライス画像を入力とし、且つ、病変部位等を含む推定病変領域７１を出力するモデルである。学習済みモデル４２０は、入力された２次元スライス画像２２０に病変部位（骨折部位５０）が存在すると判定する場合、骨折部位５０を含む推定病変領域７１等を出力する。つぎに、画像処理装置３０は、当該２以上の２次元スライス画像２２０（２５０）の推定病変領域７１に基づき、推定病変空間７５を求める（図５の下半分参照）。具体的には、２以上の２次元スライス画像から抽出された推定病変領域７１を積層することによって推定病変空間７５が求められる。

推定病変領域７１は、骨折部位５０（病変部位）を含む領域であり、推定病変空間７５は、骨折部位５０を含む空間として推定される。また、推定病変領域７１が、被検体の骨に隣接する近傍領域をも含むこと等を考慮すると、推定病変空間７５は、被検体の骨に隣接する近傍空間をも含む空間であるとも表現される。なお、図５では、推定病変空間７５は、直方体形状を有する（換言すれば、各推定病変領域７１は互いに同じ大きさ及び形状を有する）ように図示されているが、これに限定されず、推定病変空間７５は、他の形状を有していてもよい。たとえば、推定病変空間７５は、互いに異なる大きさ及び／又は形状を有する複数の推定病変領域７１の積層体等として構成されてもよい。

さらに、ステップＳ２３，Ｓ２４において、画像処理装置３０は、被検体の３次元骨モデル３３０において病変の位置等（骨折部位の位置等）を立体的に表示する。

具体的には、まず、ステップＳ２３において、推定病変空間７５と３次元骨モデル３３０のうち少なくとも表面を含む部分との積空間である病変骨部領域７７（図６参照）が着目領域として求められる。

病変骨部領域７７は、たとえば、推定病変空間７５と３次元骨モデル３３０の表面との積空間７９（曲面領域７９）として生成される。ただし、これに限定されず、後述するように、病変骨部領域７７は推定病変空間７５と３次元骨モデル３３０（骨の表面のみならず骨の内部をも含むモデル等）との積空間７８（図１４および図１５参照）として生成されてもよい。なお、曲面領域７９は、積空間７８の表面と等価である。また、曲面領域７９は、病変骨部領域７７の表面であるとも表現される。

そして、ステップＳ２４において、３次元骨モデル３３０のうち、病変骨部領域７７が病変骨部領域以外の部分とは異なる態様で表示部３５ｂに表示される（図６参照）。たとえば、３次元骨モデル３３０の表面のうち、曲面領域７９（着目領域）が当該曲面領域７９以外の領域とは異なる態様で表示部３５ｂに表示される（図６参照）。より詳細には、３次元骨モデル３３０の表面のうち、曲面領域７９以外の領域３３２が基本色（白色等）で表示されるのに対して、曲面領域７９は当該基本色以外の特定色（赤色等）で表示される。なお、図６は、曲面領域７９の表示を伴う３次元骨モデル３３０の表示例を示す図である。図６においては、図示の都合上、曲面領域７９にハッチングが付されて示されている。また、３次元骨モデル３３０および曲面領域７９は、立体的表現の実現のため、シェーディング処理が施されることが好ましい。その際、曲面領域７９の特定色と曲面領域７９以外の領域の基本色とは、シェーディング処理が施されても互いに異なる色であると判ることが好ましい。たとえば、３次元骨モデル３３０の表面のうち、曲面領域７９以外の領域は、白色等から変化する系統色（グレースケール等）で着色され、曲面領域７９は、赤色等から変化する系統色で着色されればよい。

なお、３次元骨モデル３３０（骨の立体表面モデル）は、ユーザ操作に応じて適宜、回転、移動（平行移動）、ならびに変倍（拡大および／または縮小）される。換言すれば、ユーザは、所望の視点から所望の大きさで、表示部３５ｂの表示面に表示された３次元骨モデル３３０（骨の立体表面モデル）を視認することが可能である。したがって、ユーザは、３次元骨モデル３３０を様々な視点から眺めつつ、特定色で示された病変骨部領域７７（曲面領域７９等）の位置（ひいては骨折部位５０の位置）を確認することが可能である。

ここで、第１の比較例（図１６参照）について説明する。図１６に示されるように、第１の比較例においては、推定病変空間７５がそのまま被検体の３次元骨モデル３３０に重畳されて表示されている。詳細には、推定病変空間７５がソリッドモデル（ここでは直方体形状を有するソリッドモデル）で表現され、当該ソリッドモデルが３次元骨モデル３３０に結合した状態で表示されている。

しかしながら、比較的広範な推定病変領域７１（骨折部位５０のみならず、骨に隣接する近傍領域（骨の外部領域）をも含む領域）を積層すること等によって形成される推定病変空間７５は、３次元骨モデル３３０の表面から外側に突出した部分を有している。換言すれば、推定病変空間７５を示すソリッドモデルの一部が３次元骨モデル３３０の表面から外側に向けて突出している。

このような推定病変空間７５を、当該比較例のように被検体の３次元骨モデル３３０にそのまま重畳させる場合、図１６に示されるように、３次元骨モデル３３０における表面（特に骨折部位５０付近の骨表面）が推定病変空間７５に覆われて見えなくなる。それ故、骨折部位５０を視認することが困難である。すなわち、３次元骨モデル３３０における骨折位置等を把握し難くなる。

これに対して、上記実施形態においては、推定病変空間７５と３次元骨モデル３３０のうち少なくとも表面を含む部分との積空間である病変骨部領域７７（たとえば曲面領域７９）が求められている。この病変骨部領域７７には、被検体の骨に隣接する近傍空間（骨の隣接外部空間）は含まれない。そして、推定病変空間７５のうち、推定病変空間７５と３次元骨モデル３３０のうち少なくとも表面を含む部分との積空間である病変骨部領域７７のみが表示されており、被検体の骨に隣接する近傍空間（骨の外部空間）は可視化されず、ソリッドモデル等として表示されていない（図６参照）。したがって、３次元骨モデル３３０の表面（特に骨折部位５０付近の表面等）が隠れてしまうことを回避することが可能である。これにより、ユーザは、骨折部位５０（詳細には、骨折により生じた断裂空間等）およびその両側部位（骨表面における両側部位）付近の様子を視認しやすくなる。

さらに、３次元骨モデル３３０のうち、推定病変空間７５との積空間である病変骨部領域７７が、当該病変骨部領域７７以外の領域とは異なる態様（たとえば、異なる表示色）で表示されている（図６参照）。たとえば、３次元骨モデル３３０の表面のうち、推定病変空間７５との積空間である曲面領域７９が、当該曲面領域７９以外の領域とは異なる態様で表示されている。特に、図６の中段、および最下段の部分拡大図に示されるように、骨折部位５０の両側の骨表面を含む曲面領域７９が他の部分とは異なる態様で表示（他の色で表示）されている。

したがって、ユーザは、３次元骨モデル３３０のうち病変骨部領域７７の位置を容易に視認すること、より詳細には、３次元骨モデル３３０の表面のうち曲面領域７９の位置を容易に視認することが可能である。すなわち、見易い表示が実現される。

このように、骨折部位５０を含む比較的広範な空間が推定病変空間７５として推定される場合であっても骨折部位５０を立体的に見易く表示することが可能である。

＜１－３．曲面領域７９＞
図１４は、曲面領域７９を概念的に示す図である。図１４では、３次元骨モデル３３０が円柱部材で模式的に表現され、推定病変空間７５が直方体部材で模式的に表現されている。図１４に示されるように、曲面領域７９は、たとえば、推定病変空間７５と３次元骨モデル３３０とに基づき、推定病変空間７５と３次元骨モデル３３０の表面との積空間として直接的（且つ明示的）に求められる（大きな白矢印参照）。

ここにおいて、推定病変空間７５と３次元骨モデル３３０の表面との積空間（７９）である曲面領域７９は、推定病変空間７５と３次元骨モデル３３０（骨の表面のみならず骨の内部をも含むモデル等）との積空間７８のうちの３次元骨モデル３３０の表面領域と等価である。ここで、積空間７８は、骨の表面のみならず骨の内部をも含む空間であり、図１４では、３次元骨モデル３３０の一部の円柱状部分（推定病変空間７５との重複空間）として示されている。

このような特性等を利用して、推定病変空間７５と３次元骨モデル３３０の表面との積空間である曲面領域７９は、推定病変空間７５と３次元骨モデル３３０とに基づいて、（積空間７８等を経由して）間接的（ないし結果的）に得られてもよい。

たとえば、推定病変空間７５と３次元骨モデル３３０（骨の表面のみならず骨の内部をも含む）との積空間７８が先ず求められてもよい（図１４の小さな白矢印参照）。さらに、当該積空間７８のうち３次元骨モデル３３０の表面でもある曲面（たとえば、３次元骨モデル３３０の表面と当該積空間７８との更なる積空間）が曲面領域７９として得られてもよい。そして、３次元骨モデル３３０の表面のうち、曲面領域７９が、曲面領域７９（着目領域）以外の領域とは異なる態様（異なる表示色等）で表示されてもよい。

あるいは、積空間７８が求められた後、積空間７８の表面と３次元骨モデル３３０の表面との更なる積空間（７９）が明示的に求められることなく、積空間７８の表面と３次元骨モデル３３０の表面とが重ね合わせて表示（重畳表示）されてもよい。この際、積空間７８の表面は、３次元骨モデル３３０の表面の基本表示色（たとえば白色等）とは別の表示色（たとえば赤色等）で表示されればよい。このような重畳表示等によって、積空間７８の表面のうち骨内部に相当する部分（３次元骨モデル３３０の表面以外の部分）は、３次元骨モデル３３０の表面の下側に隠れる。３次元骨モデル３３０の表面の下側に隠れる当該部分としては、積空間７８の表面のうち、推定病変空間７５に隣接する骨部分との境界面（円柱状の積空間７８の端面７８ｄ）等が例示される。これにより（結果的に）、積空間７８のうち３次元骨モデル３３０の表面でもある面（積空間７８のうちの３次元骨モデル３３０の表面領域）のみが曲面領域７９として、当該曲面領域７９以外の領域３３２とは異なる態様（異なる表示色等）で表示される。このようにして、曲面領域７９が当該曲面領域７９以外の領域とは異なる態様（異なる表示色等）で表示されてもよい。

また、曲面領域７９（着目領域）は、３次元骨モデル３３０（骨の表面のみならず骨の内部をも含むモデル等）または積空間７８等から明示的に分離されることを要しない。曲面領域７９が３次元骨モデル３３０または積空間７８等の一部を構成したまま、曲面領域７９が着目領域として、曲面領域７９（着目領域）以外の領域とは異なる態様（異なる表示色等）で表示されてもよい。

＜１－４．完全骨折および不全骨折＞
また、骨折には「完全骨折」と「不全骨折（不完全骨折とも称される）」とが存在する。「完全骨折」（図７参照）は、骨が完全に断裂している骨折である。一方、「不全骨折」（図８参照）は、いわゆる「ひび」が生じている状態など、骨が完全には断裂していない骨折である。なお、図７は、完全骨折を伴う骨折部位付近における３次元骨モデル３３０の部分拡大図であり、図８は、不全骨折を伴う骨折部位付近における３次元骨モデル３３０の部分拡大図である。図７および図８においては、骨折状態が模式的に示されている。

図７に示されるように、完全骨折の場合には、骨の断裂により骨折部位５０において間隙５５が生じる。この場合、曲面領域７９は、断裂した骨の表面における間隙５５の両側（左右両側）部分に存在する曲面領域（部分領域）７９ａと、断裂した骨の断裂面（断裂前には骨の内部に存在した部分）に存在する曲面領域（部分領域）７９ｃとを有する。骨の表面における間隙５５の両側の部分は、骨折部位５０の近傍部位であるとも表現される。

図８には、ひび５４が生じている骨折（不全骨折）が示されている。この場合、曲面領域７９は、骨の表面においてひび５４（骨折部位５０）の左右両側の近傍部分に存在する曲面領域（部分領域）７９ａを有する。

推定病変空間７５と３次元骨モデル３３０との積空間（ひいては、推定病変空間７５と３次元骨モデル３３０の表面との積空間）は、被検体の骨に隣接する近傍空間（骨の隣接外部空間）を含まない。すなわち、曲面領域７９は、骨の隣接外部空間を含まない。そして、被検体の骨に隣接する近傍空間（骨の隣接外部空間）においては、推定病変空間７５であることを示すソリッドモデル等は表示されない。それ故、３次元骨モデル３３０の表面（特に、骨折部位５０およびその両側部位付近の様子）が隠れることを回避できる。したがって、ユーザは、骨折部位５０付近の骨の表面状態（断裂の有無および断裂の状態、ならびに「ひび」の有無および「ひび」の状態等）を把握することも可能である。

また、３次元骨モデル３３０の表面において、これらの曲面領域７９（７９ａ，７９ｃ）は、曲面領域７９以外の領域３３２とは異なる態様（特定色での着色表示等）で表示される。このような３次元骨モデル３３０によれば、ユーザは、被検者の腰部付近における骨折部位５０の位置を容易に把握することが可能である。

たとえば、図８のような不全骨折の場合、３次元骨モデル３３０の表面において、曲面領域７９（７９ａ）は、曲面領域７９以外の領域３３２とは異なる態様（特定色での着色表示等）で表示される。したがって、ユーザは、被検者の骨折部位５０の位置を容易に把握することが可能である。また、上述のように、曲面領域７９は３次元骨モデル３３０の表面である（骨の隣接外部空間を含まない）ので、ユーザは、骨折部位５０付近の骨の表面状態（「ひび」の有無および「ひび」の状態等）を把握することも可能である。

また、図７のような完全骨折の場合、断裂により生じた間隙５５自体ではなく、断裂した骨の両側および断裂面が、曲面領域（着目領域）７９（７９ａ，７９ｃ）として特定色で着色等されて他の部分と区別して表示される。したがって、ユーザは、被検者の骨折部位５０の位置を容易に把握することが可能である。また、上述のように、曲面領域７９は３次元骨モデル３３０の表面である（骨の隣接外部空間を含まない）ので、ユーザは、骨折部位５０付近の骨の表面状態（断裂の有無および断裂の状態等）を把握することも可能である。特に、間隙５５の有無（断裂の有無）、ならびに間隙５５の両側の断裂面および間隙５５の両側の骨表面を直接視認できる。また、間隙５５自体が着色等されるのではなく、間隙５５の周囲（具体的には、骨の断裂面、および骨の表面における間隙５５の両側あるいは片側（骨折部位の近傍部位））が着色等されるので、骨折部位５０付近の様子が見易く表示される。特に、骨折部位５０の間隙５５自体が小さい（細い）場合等においても、間隙５５の両側（あるいは片側）の近傍部位に亘る比較的広い範囲（間隙５５自体の幅よりも広い範囲）が着色されるので、ユーザは当該骨折部位５０を視認し易い。

＜１－５．積空間７８＞
上記においては、推定病変空間７５と３次元骨モデル３３０の表面との積空間７９（曲面領域７９）が病変骨部領域７７として求められ、曲面領域７９が、３次元骨モデル３３０の表面のうち曲面領域７９以外の領域とは異なる態様で表示される態様について主に説明されている。しかしながら、本発明は、これに限定されない。

たとえば、図１５に示されるように、推定病変空間７５と３次元骨モデル３３０（骨の表面のみならず骨の内部をも含むモデル）との積空間７８が病変骨部領域７７として得られてもよい。換言すれば、３次元骨モデル３３０の内部の各ボクセルについても、上記と同様の思想が適用されてもよい。

具体的には、ステップＳ２３において、推定病変空間７５と３次元骨モデル３３０（詳細には、その骨部）との積空間７８（図１５参照）が病変骨部領域７７として求められてもよい。なお、図１５（特にその中段）には、推定病変空間７５と３次元骨モデル３３０との積空間７８等が模式的に示されている。

そして、ステップＳ２４において、この積空間７８が、３次元骨モデル３３０のうち、当該積空間７８（病変骨部領域）以外の部分とは異なる態様で表示部に表示されてもよい。より具体的には、当該積空間７８を構成するボクセルと、積空間７８（病変骨部領域）以外の部分を構成するボクセルとが、互いに異なる態様で（異なる表示色等で）表示されればよい。換言すれば、３次元骨モデル３３０の表面（の各ボクセル）のみならず、３次元骨モデル３３０の内部（の各ボクセル）についても、３次元骨モデル３３０の表面と同様の表示処理が行われてもよい。

これによっても、図６等と同様の表示が実現され得る。たとえば、３次元骨モデル３３０のうち積空間７８（病変骨部領域７７）に該当する部分の表面（換言すれば、曲面領域７９）は、上記各実施形態等と同様に、積空間７８（病変骨部領域７７）以外の表面領域（正常領域）とは異なる態様で表示されればよい。

また、３次元骨モデル３３０の断面を伴う表示を行う場合等においては、当該断面のうち積空間７８に該当する部分の内部（３次元骨モデル３３０の内部のボクセル）も、積空間７８（病変骨部領域７７）以外の部分とは異なる態様（異なる表示色等）で表示されてもよい。図１５の最下段においては、積空間７８が或る切断面７８ｃで切断されており、積空間７８（３次元骨モデル３３０）の内部のボクセルが当該切断面７８ｃにて表出している。図１５の最下段に示されるように、当該切断面７８ｃに表れる積空間７８の内部も、３次元骨モデル３３０のうち病変骨部領域７７（積空間７８）以外の部分と異なる態様で表示されてもよい。なお、積空間７８の内部は、積空間７８の表面と同じ態様で表示されてもよく、積空間７８の表面とは異なる態様で表示されてもよい。

また、積空間７８は明示的に抽出されることを要しない。端的に言えば、ステップＳ２３（図３参照）は、実行されなくてもよい。たとえば、コントローラ３１は、推定病変空間７５を求める際（ステップＳ２２）に、３次元骨モデル３３０の全てを包含する所定空間内の各ボクセル（あるいは３次元骨モデル３３０の表面および内部の各ボクセル）に対して、推定病変空間７５内のボクセルであるか否かを示すフラグを更に付与しておく。詳細には、推定病変空間７５内のボクセルには「１」が付与され、推定病変空間７５外のボクセルには「０」が付与される。そして、３次元骨モデル３３０が表示される際（ステップＳ２４）に、３次元骨モデル３３０の表面および内部のボクセルのうち、当該フラグ値「１」を有するボクセルが、当該フラグ値「０」を有するボクセルとは異なる表示色で表示されてもよい。この場合、３次元骨モデル３３０の表面および内部のボクセルのうち、フラグ値「１」を有するボクセルは積空間７８（詳細にはその表面および内部）のボクセルに相当し、フラグ値「０」を有するボクセルは積空間７８以外の部分のボクセルに相当する。このような態様によって、積空間７８（病変骨部領域７７）が、３次元骨モデル３３０のうち積空間７８以外の部分とは異なる態様で表示されてもよい。

＜２．第２実施形態＞
第２実施形態は、第１実施形態の変形例である。以下、第１実施形態との相違点を中心に説明する。

上記第１実施形態においては、単一の基準軸方向に関する一の２次元スライス画像群２１０に基づき推定病変空間７５が形成されているが、これに限定されない。たとえば、互いに異なる基準軸方向に関する複数の２次元スライス画像群２１０に基づき推定病変空間７５が形成されてもよい。第２実施形態では、このような態様について説明する。

複数のスライス画像群２１０は、同一の被検体に関して、互いに異なる複数の基準軸（断面の法線方向）のそれぞれについて取得される。換言すれば、スライス画像群２１０（複数の２次元スライス画像）が、断面の方向を変更した上で更に撮影される。この結果、複数のスライス画像群２１０が撮像（生成）される。

各スライス画像群２１０は、画像群ごとの固有の法線方向を有する断面で被検体をスライスした複数のスライス画像を有する。なお、各スライス画像群２１０は、（第ｉの）スライス画像群Ｇｉ（ただし、ｉ＝１，...，Ｎ；Ｎはスライス画像群の個数であり、２以上の自然数である）とも称される。

各スライス画像群２１０は、他のスライス画像群の断面とは異なる方向の断面（たとえば、アキシャル断面、コロナル断面、サジタル断面等の各断面）で被検体をスライスして撮像される（図１０参照）。

図１０は、アキシャル断面、コロナル断面、サジタル断面の各種類の断面を示す図である。アキシャル断面は、体軸に直交する断面（軸位断あるいは横断面とも称する）である。コロナル断面は、横切りの断面（体等を前側と後ろ側とに分割する断面）（冠状断あるいは冠状面とも称する）である。サジタル断面は、縦切りの断面（体等を左側と右側とに分割する断面）（矢状断あるいは矢状面とも称する）である。また、断面の種類としては、オブリーク断面（傾斜した断面）（斜断面）等も存在する。

一のスライス画像群２１０は、アキシャル断面でスライスされた複数の２次元スライス画像２２０（アキシャル断面の法線方向を基準軸方向とする複数の２次元スライス画像２２０）で構成される（図４参照）。

別の一のスライス画像群２１０は、コロナル断面でスライスされた複数の２次元スライス画像２２０（コロナル断面の法線方向を基準軸方向とする複数の２次元スライス画像２２０）で構成される。更に別の一のスライス画像群２１０は、サジタル断面でスライスされた複数の２次元スライス画像２２０（サジタル断面の法線方向を基準軸方向とする複数の２次元スライス画像２２０）で構成される。さらに、更に別のスライス画像群２１０は、オブリーク断面（（任意の角度で）傾斜した断面）（斜断面）でスライスされた複数の２次元スライス画像２２０で構成される（図１１等参照）。

なお、当該複数のスライス画像群２１０は、上述のように、互いに異なる基準軸に関する各方向（たとえば９方向のそれぞれ）のスライス画像群をそれぞれ撮像することによって取得されればよい。ただし、これに限定されず、当該複数のスライス画像群は、１つの方向の一のスライス画像群を撮像するとともに、当該一のスライス画像群に対して画像変換処理を施して他の方向のスライス画像群（たとえば他の８方向をそれぞれ基準軸方向とする８つのスライス画像群）を生成することによって、取得されてもよい。

図１１は、複数のスライス画像群のそれぞれにおける病変候補空間８５（後述）、および統合病変候補空間８７（後述）等を説明するための概念図である。図１１における直方体８０は、スライス画像群２１０（複数の２次元スライス画像２２０の積層体）を概念的に示している。図１１の左半側の９つの大きな直方体８０は、９つのスライス画像群２１０にそれぞれ対応する。また、当該９つの大きな直方体８０のそれぞれにて平行四辺形形状に描画された太線は、各スライス画像群２１０における一の断面（スライス断面）を示している。図１１の左半側の９つの直方体８０のうち中段の（左右方向に配列される）３つの直方体は、３つのスライス画像群２１０（左から順に、コロナル断面によるスライス画像群２１０、アキシャル断面によるスライス画像群２１０、サジタル断面によるスライス画像群２１０）を概念的に示している。また、図１１の左半側の上段および下段においては、（それぞれ３つずつ）合計で６つのオブリーク断面によるスライス画像群２１０が概念的に示されている。当該６つのスライス画像群２１０は、互いに異なる６つのオブリーク断面でスライスされた（互いに異なる６つのオブリーク断面の法線方向をそれぞれ基準軸方向とする）スライス画像群である。なお、９つの２次元スライス画像群２１０がそれぞれ撮像される場合等において、厳密には、各２次元スライス画像群２１０の基準軸の方向に依拠して各直方体８０の向きは互いに異なっている。ここでは、２次元スライス画像群２１０の存在を示すことを主眼として、２次元スライス画像群２１０を直方体８０で概念的に表現している。

第２実施形態では、複数のスライス画像群２１０のそれぞれにおける病変候補空間８５、および複数の病変候補空間８５を統合した統合病変候補空間８７が形成され、さらに統合病変候補空間８７から統合病変空間８９（図１１の右端参照）が抽出される。そして、統合病変空間８９が、第２実施形態における推定病変空間７５（７５Ｂとも称する）として求められる。

第２実施形態においても第１実施形態と同様の処理（図３参照）が実行される。ただし、ステップＳ２２における処理が第１実施形態と異なっている。図９は、第２実施形態のステップＳ２２における処理を示すフローチャートである。以下、図９を参照しつつ、第２実施形態に係るステップＳ２２（Ｓ２２Ｂとも称する）の処理について説明する。

まず、ステップＳ３１において、コントローラ３１は、操作ユーザによる指定操作に応じて、第ｉの２次元スライス画像群Ｇｉ（値ｉの初期値はここでは「１」）を取得（入力）する。具体的には、操作ユーザによって第ｉの２次元スライス画像群Ｇｉ（２１０）の格納フォルダおよびファイル名等が指定され、コントローラ３１は、その指定内容に基づき、第ｉのスライス画像群Ｇｉのデータを読み込む。

次のステップＳ３２において、コントローラ３１は、第ｉの２次元スライス画像群Ｇｉ（単に第ｉスライス画像群とも称する）を構成する複数の２次元スライス画像２４０のそれぞれに対して、学習済みモデル４２０による推論処理を実行する。具体的には、学習済みモデル４２０（学習器）によって第ｉスライス画像群Ｇｉ（２１０）において病変領域として推定された領域（推定病変領域７１）が求められる。

そして、ステップＳ３３において、第ｉスライス画像群Ｇｉの各２次元スライス画像２２０にて検出された推定病変領域７１に基づき、病変候補空間８５が形成される。たとえば、第ｉスライス画像群Ｇｉの各２次元スライス画像２２０にて検出された推定病変領域７１が積層されることによって、病変候補空間８５が形成される。病変候補空間８５は、病変の候補空間（詳細には、病変を含む空間の候補空間）であり、病変を含むと推定される空間である。病変候補空間８５は、第１実施形態における推定病変空間７５（７５Ａとも称する）に相当する空間であるとも表現される。

次のステップＳ３４においては、全てのスライス画像群Ｇｉについて処理が完了したか否かに応じて分岐処理が実行される。処理が完了していない場合、値ｉをインクリメント（ステップＳ３５）してステップＳ３１に戻り、ステップＳ３１～Ｓ３３の処理を実行する。一方、全てのスライス画像群Ｇｉについて処理が完了した場合（Ｎ個のスライス画像群Ｇｉ（Ｇ１～ＧＮ）の全てについて病変候補空間８５が形成された場合）、ステップＳ３６に進む。

ステップＳ３６においては、Ｎ個の病変候補空間８５を統合した統合病変候補空間８７が形成される（図１１参照）。詳細には、統合病変候補空間８７は、Ｎ個の病変候補空間８５の論理和空間として形成される。より詳細には、複数のスライス画像群Ｇｉのそれぞれの病変候補空間８５を、それぞれの対応位置を合わせながら統合することによって、統合病変候補空間８７が形成される。図１１においては、９個のスライス画像群Ｇ１～Ｇ９のそれぞれに関する病変候補空間８５（９個の病変候補空間８５）が模式的に示されるとともに、当該９個の病変候補空間８５を統合した統合病変候補空間８７が模式的に示されている。

そして、ステップＳ３７において、統合病変候補空間８７に基づき統合病変空間８９が特定される。具体的には、コントローラ３１は、統合病変候補空間８７内の複数のボクセルのうち、Ｎ個未満の所定数（たとえば、５個）よりも多数の病変候補空間８５に属するボクセルを最終的に病変領域として判定する。図１１の右端側においては、統合病変空間８９（最終的に推定（判定）された病変包含空間）が模式的に示されている。統合病変空間８９は、統合病変候補空間８７内のボクセルのうち、所定数（たとえば、５個）よりも多数の病変候補空間８５に属するボクセルの集合体である。

より具体的には、被検体に関する立体モデル（複数の２次元スライス画像２２０に基づく３次元ボリュームデータ（骨および内蔵等を含むモデル））における複数のボクセルのうち、病変候補空間８５内のボクセルには評価値「１」が付与され、病変候補空間８５外のボクセルには評価値「０」が付与される（図１１参照）。そして、複数のスライス画像群Ｇｉの統合の際に、対応するボクセルごとに当該評価値が加算される。加算後のボクセルごとの評価値は、各ボクセルが幾つのスライス画像群Ｇｉの病変候補空間８５に属しているかを表す。たとえば、或るボクセルの評価値が「９」である場合、当該或るボクセルは９つのスライス画像群Ｇｉの全て（９つ）の病変候補空間８５に属していることを表している。また、或るボクセルの評価値が「７」である場合、当該或るボクセルは７つのスライス画像群Ｇｉの病変候補空間８５に属していることを表している。また、或るボクセルの評価値が「０」である場合、当該或るボクセルは９つのスライス画像群Ｇｉの病変候補空間８５のいずれにも属していないことを表している。

ここにおいて、統合病変空間８９は、少なくとも１つの病変候補空間８５に属するボクセルをも含む集合体として規定されてもよい。ただし、少数の病変候補空間８５のみに属するボクセルは、実際には病変領域に関するボクセルではない可能性が高い。それ故、他の多数のスライス画像群Ｇｉの病変候補空間８５でも推定病変領域７１として検出されたボクセルであることを条件に、病変領域として判定されることが好ましい。換言すれば、他の角度で見ても推定病変領域７１として検出されるボクセルであることを条件に、病変領域として判定されることが好ましい。そこで、ここでは、所定数（たとえば、５個）よりも多数の病変候補空間８５に属するボクセルで構成される空間が、最終的な病変空間（統合病変空間８９）として推定（判定）される。

第２実施形態では、このようにして抽出された統合病変空間８９が推定病変空間７５（７５Ｂ）として決定される。

その後、第１実施形態と同様に、ステップＳ２３，Ｓ２４（図３参照）において、画像処理装置３０は、被検体の３次元骨モデル３３０において病変の位置等（骨折部位の位置等）を立体的に表示する。

具体的には、まず、ステップＳ２３において、３次元骨モデル３３０の少なくとも表面を含む部分と推定病変空間７５（ここでは統合病変空間８９）との積空間である病変骨部領域７７が着目領域として求められる。そして、ステップＳ２４において、３次元骨モデル３３０の表面のうち、当該着目領域（病変骨部領域７７）が当該着目領域以外の領域とは異なる態様で表示部３５ｂに表示される。

図１２は、ステップＳ２４における３次元骨モデル３３０の表示例を示す図である。図１７の比較例（第２の比較例）と比較すると判るように、図１２のような表示によれば各種の効果を得ることが可能である。

なお、図１７の比較例（第２の比較例）においては、ステップＳ３７で抽出された統合病変空間８９（推定病変空間７５）がソリッドモデルとして形成されるとともに、当該統合病変空間８９（ソリッドモデル）が３次元骨モデル３３０に結合して表示されている。図１６と比較すると判るように、図１７の統合病変空間８９（第２実施形態に係る推定病変空間７５（７５Ｂ））は、図１６の推定病変空間７５（７５Ａ）のような直方体形状ではなく、複雑な形状を有している。そのため、たとえば図１３に示されるように、統合病変空間８９は、或る断面（図１３は或るコロナル断面）においても、複雑な形状を有している。換言すれば、統合病変空間８９と当該或るコロナル断面との積空間（積平面）は、複雑な形状を有している。なお、図１３は、推定病変空間７５等を一のコロナル断面で切断して示す断面図である。図１３においては、統合病変空間８９（推定病変空間７５）を或るコロナル断面で切断した断面領域が、太い黒線で囲まれて示されている。

図１７に示されるように、第２の比較例における推定病変空間７５（当該統合病変空間８９）は、３次元骨モデル３３０の表面から外側に突出した部分を有している。たとえば、図１３のスライス画像２２０においては、統合病変空間８９（推定病変空間７５）を或るコロナル断面で切断した断面領域（太い黒線で囲まれた領域）が、骨領域７５ａ（骨の内部および表面に相当する領域）のみならず、骨の表面から外側に突出した部分７５ｃをも含んでいる。

このような推定病変空間７５（統合病変空間８９）を、第２の比較例のように被検体の３次元骨モデル３３０にそのまま重畳させる場合、図１７に示されるように、３次元骨モデル３３０の表面が推定病変空間７５に覆われて見えなくなる。たとえば、腸骨の上部において実際には骨折による間隙５５が生じている（図１２参照）のに対して、図１７においては、当該骨折部位（間隙５５付近）が推定病変空間７５によって覆われており、ユーザは当該骨折部位を見ることができない。また、同様に、左右の恥骨部分および左右の座骨部分に存在する骨折部分も推定病変空間７５によって覆われており、ユーザは当該骨折部位を見ることができない。このように、骨折部位５０を視認することが困難である。すなわち、３次元骨モデル３３０における骨折位置等を把握し難い。

これに対して、上記第２実施形態においては、推定病変空間７５（統合病変空間８９）と３次元骨モデル３３０の少なくとも表面を含む部分との積空間である病変骨部領域７７が、３次元骨モデル３３０の表面のうち、当該病変骨部領域７７以外の領域とは異なる態様で表示されている。特に、推定病変空間７５のうち、推定病変空間７５と３次元骨モデル３３０の少なくとも表面を含む部分との積空間である病変骨部領域７７のみが表示されており、被検体の骨に隣接する近傍空間（骨の隣接外部空間）は可視化されず、ソリッドモデル等として表示されていない。したがって、３次元骨モデル３３０の表面（特に、骨折部位５０およびその両側部位付近の様子）が隠れてしまうことを回避することが可能である。詳細には、腸骨上部等の骨折部位、左右の恥骨の骨折部位、および左右の座骨の骨折部位等が隠れずに表示されている。

さらに、３次元骨モデル３３０の表面のうち、推定病変空間７５との積空間である病変骨部領域７７（特にその表面領域）が、他の領域とは異なる態様（たとえば、異なる表示色）で表示されている。したがって、ユーザは、３次元骨モデル３３０の表面のうち、病変骨部領域７７（特にその表面領域）の位置を容易に視認することが可能である。すなわち、見易い表示が実現される。なお、図１２における病変骨部領域７７は、上述のように、積空間７８であってもよく、曲面領域７９であってもよい。

このように、骨折部位５０を含む比較的広範な空間が推定病変空間７５（統合病変空間８９）として推定される場合であっても骨折部位５０を立体的に見易く表示することが可能である。

なお、第２実施形態においては、統合病変空間８９は、所定数未満の病変候補空間８５に属するボクセルをも含む集合体等として規定されているが、これに限定されない。たとえば、統合病変候補空間８７内の複数のボクセルのうち、その評価値が所定レベルよりも高いボクセルが、統合病変空間８９を構成するボクセルとして判定されてもよい。評価値としては、各スライス画像群Ｇｉの推定病変領域７１に対して学習済みモデル４２０によって算出された信頼度に応じて各ボクセルに割り当てられた値等が用いられればよい。

＜３．変形例等＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

＜信頼度に応じた表示等＞
たとえば、上記各実施形態等においては、病変骨部領域７７（積空間７８あるいは積空間７９）が特定の一色で表示されているが、これに限定されない。

具体的には、推定病変空間７５と３次元骨モデル３３０の少なくとも表面を含む部分との積空間である病変骨部領域７７の各位置の表示色が、当該各位置における病変推定に関する信頼度（推定病変空間７５内の位置ごとの信頼度）に応じて変更されてもよい。ここでは、上記各実施形態における推定病変空間７５内の各ボクセルに対して、骨折部位（および骨折部位の近傍部位）であるとの推定に関する信頼度が算出されているものとする。そして、病変骨部領域７７（曲面領域７９等）に対応する各ボクセル（ないしピクセル）が、当該各ボクセルの信頼度（推定病変空間７５内（且つ病変骨部領域７７）の位置ごとの信頼度）に応じた色で表示されてもよい。端的に言えば、病変骨部領域７７の各位置の信頼度に応じたヒートマップが、３次元骨モデル３３０の表面に生成されてもよい。また、病変骨部領域７７の各位置の色は、当該信頼度に応じて連続的に変化する色であってもよいが、これに限定されず、当該信頼度に応じて複数の段階（第１レベル～第Ｎレベル）に分類した段階ごとの特定色であってもよい。たとえば、第１レベル（信頼度９５％以上１００％以下）が赤色、第２レベル（信頼度８０％以上９５％未満）がオレンジ色、第３レベル（信頼度５０％以上８０％未満）が緑色、第４レベル（信頼度５０％未満）が黄色で示されてもよい。

これによれば、３次元骨モデル３３０の病変骨部領域７７内の各位置の表示態様が信頼度に応じて変更されるので、ユーザは、当該各位置での信頼度（骨折であることの信頼度）を把握し易い。それ故、信頼度に基づく優先度をつけて病変部位（骨折部位）と思われる箇所を順次に確認する際等において特に有用である。

また、病変骨部領域７７を当該信頼度に応じて複数の段階に分類した段階別データが生成され、当該段階別データが段階ごとに異なるデータファイル（段階別データファイル）に出力されてもよい。詳細には、病変骨部領域７７のうち第１レベルの領域の位置情報等を示す第１レベルデータ（第１段階データ）が第１データファイルに出力されればよい。また、病変骨部領域７７のうち第２レベルの領域の位置情報等を示す第２レベルデータ（第２段階データ）が第２データファイルに出力されればよい。同様に、病変骨部領域７７のうち第３レベルの領域の位置情報等を示す第３レベルデータが第３データファイルに出力され、病変骨部領域７７のうち第４レベルの領域の位置情報等を示す第４レベルデータが第４データファイルに出力されればよい。これらの段階別データ（各段階に対応するデータ）は、各段階（レベル）の病変骨部領域７７を個別に表示する際に用いられ得るデータであり、段階別曲面領域の表示用データなどとも称される。また、複数の段階別データを組み合わせて用いることによれば、病変骨部領域７７の各位置の表示態様（表示色等）を、当該各位置における病変推定に関する信頼度に応じて変更することもできる。なお、各表示用データを有するファイルは、表示用データファイルとも称される。

このようなデータファイルを生成しておくことによれば、その後、画像処理装置３０において、病変骨部領域７７を有する３次元骨モデル３３０を、（新たな画像処理（たとえば図３のステップＳ２１～Ｓ２３）を伴うことなく）即時に表示することが可能である。また、画像処理装置３０以外の表示装置等（特に、画像処理システム１０以外のシステムにおける表示装置等）との親和性を高めることが可能である。たとえば、外部の表示用データファイルを用いた表示が可能な他の既存のシステム等において、本装置３０から出力されたデータファイルを用いた表示を容易に行うことが可能である。換言すれば、他のシステムにおいて当該データファイルを読み込むことによって、他のシステムにおいて図１２のような表示を容易に実現することが可能である。

＜病変の種類に応じた表示等＞
また、上記各実施形態等においては、病変骨部領域７７が病変の種類に依らずに或る表示色で表示されているが、これに限定されない。たとえば、病変骨部領域７７（推定病変空間７５と３次元骨モデル３３０の少なくとも表面を含む部分との積空間）の表示態様が、病変の種類（骨折の種類）に応じて変更されてもよい。具体的には、病変骨部領域７７が完全骨折に関する領域と不全骨折に関する領域とのいずれであるかが判定され、その判定結果に基づき、互いに異なる態様で表示されてもよい。より詳細には、完全骨折に関する病変骨部領域７７は特定色（たとえば赤色）で表示され、不全骨折に関する病変骨部領域７７は当該特定色とは異なる色（たとえば、青色）で表示されてもよい。

これによれば、病変の種類（骨折の種類）に応じて表示態様が変更されるので、ユーザは、病変の種類を容易に把握した上で、病変箇所（骨折箇所）を視認することが可能である。

なお、さらに、病変骨部領域７７に対応する各ボクセルがその信頼度（当該各ボクセルに割り当てられた信頼度）にも応じた色で表示されてもよい。たとえば、完全骨折に関する病変骨部領域７７は、暖色系の各色（各ボクセル（各位置）の信頼度に応じた色）で表示され、不全骨折に関する病変骨部領域７７は、寒色系の各色（各ボクセル（各位置）の信頼度に応じた色）で表示されてもよい。

あるいは、信頼度に応じた色で表示する表示モードと骨折の種類に応じた色で表示する表示モードとがユーザ操作に応じて選択されるようにしてもよい。

＜小面積部分の表示＞
３次元骨モデル３３０の表面における病変骨部領域７７（曲面領域７９等）のうち小面積の被疑部分（たとえば、図６および図１２にて殆ど点にしか見えないような被疑部分）は、そのままでは見難い。そこで、当該小面積の被疑部分を強調表示するようにしてもよい。たとえば、当該小面積の被疑部分の面積を（たとえば、数倍程度に）膨張させて表示しても良い。あるいは、当該小面積の被疑部分を点滅表示させてもよい。また、当該小面積の被疑部分を膨張させた上で点滅表示させてもよい。

また、小面積の被疑部分の強調表示モードと他の表示モードとがユーザによって選択できるように構成され、ユーザの選択操作に応じて当該強調表示モードが選択されると、小面積の被疑部分が強調表示されるようにしてもよい。

これによれば、小面積の被疑部分の見逃し（ひいては当該被疑部分に存在する骨折の見逃し等）を防止することが可能である。なお、小面積の被疑部分の存在に気づいたユーザ（医師等）は、必要に応じて適宜３次元骨モデル３３０を拡大すること等によって、骨折か否か等を詳細に見極めることが可能である。

＜推定病変空間７５の形成等＞
上記各実施形態等においては、推定病変空間７５は２以上の２次元スライス画像における推定病変領域７１に基づき形成されている。ただし、推定病変空間７５は、２以上の２次元スライス画像における推定病変領域７１を積層して結合したデータとして実際に生成されることを要しない。推定病変空間７５は、推定病変領域７１が２以上の２次元スライス画像にて求められる（抽出される）こと自体によって、概念的に形成されれば十分である。換言すれば、２以上の２次元スライス画像２２０における推定病変領域７１を求めること自体が推定病変空間７５を形成することと等価である。

また、上記各実施形態等においては、推定病変空間７５が推定病変領域７１に基づき明示的に一旦抽出された上で、推定病変空間７５と３次元骨モデル３３０の少なくとも表面を含む部分との積空間である病変骨部領域７７（曲面領域７９等）が求められているが、これに限定されない。たとえば、推定病変空間７５の明示的な生成工程が省略されてもよい。

詳細には、２以上の２次元スライス画像のそれぞれにおいて、推定病変領域７１と３次元骨モデル３３０の骨表面に相当する曲線との積領域（積曲線）が求められてもよい。当該２以上の２次元スライス画像における当該積曲線が積層されること等によって形成される曲面（積層曲面）は、推定病変空間７５と３次元骨モデル３３０の表面との積空間（曲面領域７９）に相当する。このような手法によっても、推定病変空間７５と３次元骨モデル３３０の表面との積空間（曲面領域７９）が求められ得る。

あるいは、２以上の２次元スライス画像のそれぞれにおいて、推定病変領域７１と３次元骨モデル３３０の骨断面との積領域（積領域面）が求められてもよい。当該２以上の２次元スライス画像における当該積領域面が積層されること等によって形成される空間（積層空間）は、推定病変空間７５と３次元骨モデル３３０との積空間７８に相当する。このような手法によっても、推定病変空間７５と３次元骨モデル３３０との積空間７８が求められ得る。

なお、上述のように、２以上の２次元スライス画像２２０における推定病変領域７１を求めることは推定病変空間７５を形成することと等価であり、このような態様においても推定病変空間７５が（実質的に）形成されている。

＜推定病変領域７１の補完等＞
上記各実施形態等においては、推定病変空間７５は、学習済みモデル４２０を用いた推定処理によって特定された推定病変領域７１のみに基づいて形成されている。しかしながら、これに限定されず、当該推定病変領域７１以外の領域をも含めて推定病変空間７５が形成されてもよい。たとえば、連続する複数のスライス画像Ｌｊ（ｊ＝１，...，Ｎ）のうち一部のスライス画像Ｌｋ（たとえば、ｋ＝３，５）のみにおいて推定病変領域７１が抽出されなかった場合、当該スライス画像Ｌｋにおいて推定病変領域７１が補完されて生成されてもよい。詳細には、スライス画像Ｌｋの前後のスライス画像Ｌ（ｋ－１）、Ｌ（ｋ＋１）等の推定病変領域７１を用いて、スライス画像Ｌｋの推定病変領域７１（補完された推定病変領域７１）が生成されてもよい。換言すれば、推定病変領域７１は、学習済みモデル４２０を用いた推定処理によって特定された領域に限定されず、その他の領域を含んでもよい。そして、補完された推定病変領域７１をも含めて、推定病変空間７５が形成されてもよい。

＜３次元ボリュームデータに基づく推定病変空間７５の直接推定等＞
上記各実施形態等（ステップＳ２２等）においては、学習済みモデル４２０を利用して２次元スライス画像データに基づき推定病変領域７１が求められるとともに、当該推定病変領域７１に基づき推定病変空間７５が求められている。しかしながら、本発明はこれに限定されない。

たとえば、推定病変領域７１の抽出を伴わずに推定病変空間７５が形成されてもよい。具体的には、２次元スライス画像群２１０に基づく３次元ボリュームデータから直接的に推定病変空間７５が求められてもよい。詳細には、病変位置等を含む３次元ボリュームデータに関する教師データを用いて機械学習された学習済みモデル４２０（４２０Ｂとも称する）を予め生成しておく。学習済みモデル４２０は、２次元スライス画像群２１０に基づく３次元ボリュームデータから直接的に推定病変空間７５を抽出するタイプの学習モデルである。たとえば、当該学習済みモデル４２０は、３次元ボリュームデータを入力とし、且つ、病変部位等を含む推定病変空間７５を出力するモデルである。そして、当該学習済みモデル４２０に対して、対象人物の３次元ボリュームデータが入力され、当該学習済みモデル４２０の出力として推定病変空間７５が直接的に得られてもよい。

なお、上記各実施形態のように２次元スライス画像２２０に基づく病変推定が行われる（推定病変領域７１が求められる）場合には、３次元ボリュームデータに基づき直接的に推定病変空間７５が推定される場合に比べて、病変推定に関する処理負荷を低減することが可能である。

＜３次元骨モデル３３０＞
また、上記実施形態等においては、３次元骨モデル３３０は、骨の表面のみならず骨の内部をも含むモデル（ソリッドモデルとも称される）として生成されているが、これに限定されない。３次元骨モデル３３０は、たとえば、骨の表面のみを示すサーフェスモデルとして生成されてもよい。

なお、３次元骨モデル３３０がソリッドモデルとして構築される場合には、積空間７８は、３次元領域（空間領域）として形成される。一方、３次元骨モデル３３０がサーフェスモデルとして構築される場合には、積空間７８は、実質的には２次元領域（曲面領域）として形成される。このように、積空間７８（病変骨部領域）は、３次元領域として形成されてもよく、２次元領域として形成されてもよい。

＜その他＞
また、上記実施形態等においては、スライス画像２２０における推定病変領域７１（ひいては推定病変空間７５）が、機械学習を利用して検出されているが、これに限定されない。たとえば、機械学習を伴わない他の画像処理技術等を利用して、スライス画像２２０における推定病変領域７１（ひいては推定病変空間７５）が検出されてもよい。

１０ 画像処理システム
２０ スライス画像生成装置
３０ 画像処理装置
２１０ ２次元スライス画像群
２２０ ２次元スライス画像
３３０ ３次元骨モデル
３３２ （曲面領域７９以外の）骨表面領域
５０ 骨折部位
５５ 間隙
７１ 推定病変領域
７５，７５Ａ，７５Ｂ 推定病変空間
７７ 病変骨部領域
７８ 積空間
７９ 曲面領域
８５ 病変候補空間
８７ 統合病変候補空間
８９ 統合病変空間（推定病変空間）

Claims (7)

1. 被検体の２次元スライス画像群に基づき骨折部位を含む空間として推定される推定病変空間であって前記被検体の骨に隣接する近傍空間をも含む推定病変空間と、前記被検体の骨の３次元モデルである３次元骨モデルのうち少なくとも表面を含む部分と、の積空間である病変骨部領域を、前記３次元骨モデルのうち前記病変骨部領域以外の部分とは異なる態様で表示部に表示する制御部、
   を備えることを特徴とする画像処理装置。
2. 前記制御部は、機械学習によって学習された学習済みモデルを用いて、前記推定病変空間を推定することを特徴とする、請求項１に記載の画像処理装置。
3. 前記制御部は、
   機械学習によって学習された学習済みモデルを用いて前記被検体の前記２次元スライス画像群のうちの２以上の２次元スライス画像のそれぞれにおける骨折部位を含む２次元領域を推定病変領域として推定し、
   前記２以上の２次元スライス画像の前記推定病変領域に基づき前記推定病変空間と前記３次元骨モデルの表面との前記積空間を求めることを特徴とする、請求項１または請求項２に記載の画像処理装置。
4. 前記制御部は、前記推定病変空間と前記３次元骨モデルのうち少なくとも表面を含む部分との前記積空間である病変骨部領域の各位置の表示態様を、当該各位置における病変推定に関する信頼度に応じて変更することを特徴とする、請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記制御部は、
   前記推定病変空間と前記３次元骨モデルのうち少なくとも表面を含む部分との前記積空間である病変骨部領域を病変推定に関する信頼度に応じて複数の段階に分類した段階別データを生成し、
   前記段階別データを段階ごとに異なるデータファイルに出力することを特徴とする、請求項１から請求項４のいずれかに記載の画像処理装置。
6. 前記制御部は、前記推定病変空間と前記３次元骨モデルのうち少なくとも表面を含む部分との前記積空間である病変骨部領域の表示態様を、病変の種類に応じて変更することを特徴とする、請求項１から請求項５のいずれかに記載の画像処理装置。
7. ａ）被検体の２次元スライス画像群に基づき骨折部位を含む空間として推定される推定病変空間であって前記被検体の骨に隣接する近傍空間をも含む推定病変空間と、前記被検体の骨の３次元モデルである３次元骨モデルのうち少なくとも表面を含む部分と、の積空間である病変骨部領域を、前記３次元骨モデルのうち前記病変骨部領域以外の部分とは異なる態様で表示部に表示するステップ、
   を備えることを特徴とする画像処理方法。

Images