JP2022040570A - 画像処理装置、画像処理システム、アノテーション付与方法、学習済みモデルの製造方法、学習済みモデル、およびプログラム - Google Patents

Abstract

【課題】アノテーション付与操作における煩雑さを低減することが可能な技術を提供する。【解決手段】画像処理装置は、複数の２次元スライス画像２２０に基づき３次元表面データ３３０を生成し、３次元表面データ３３０に対する３Ｄアノテーション（３次元位置情報を有するアノテーション）の付与操作を受け付ける。また、画像処理装置は、３次元表面データ３３０に対するアノテーションを反映したデータを教師データとして利用して、機械学習を実行する。たとえば、画像処理装置は、３次元表面データに対する３Ｄアノテーション５３を操作ユーザの操作に応じて付与する第１処理を実行し、３Ｄアノテーション５３に基づき２次元スライス画像２２０内において２Ｄアノテーションを自動的に付与する第２処理を実行する。そして、２Ｄアノテーションが付与された２次元スライス画像２２０に基づくデータが教師データとして利用されて、機械学習が実行される。【選択図】図２

Description

本発明は、複数の２次元スライス画像に関する処理技術およびそれに関連する技術に関する。

ＭＲＩ（Magnetic Resonance Imaging）装置あるいはＣＴ（Computed Tomography）装置などで被検体の複数の２次元スライス画像（断面画像とも称する）を取得し、当該複数の２次元スライス画像を用いて病変を特定する技術が存在する。

たとえば、特許文献１においては、ニューラルネットワークを用いた機械学習によって複数の２次元スライス画像から病変の有無等を判定する技術が記載されている。このような技術においては、機械学習の学習器をトレーニングする際の教師データとして、既知の病変部位を含む多数の２次元スライス画像が用いられる。

特表２０１９－５０４６５９号公報

しかしながら、上記のような技術では、各被検者（各個人）に関する多数（たとえば、数百枚）の２次元スライス画像データのそれぞれにおいて、病変部位（骨折部位等）にアノテーションマークを付与する操作が行われる。

このような操作は煩雑であり、膨大な時間を要する。

そこで、本発明は、アノテーション付与操作における煩雑さを低減することが可能な技術を提供することを課題とする。

上記課題を解決すべく、本発明に係る画像処理装置は、複数の２次元スライス画像に基づき３次元表面データを生成する制御部と、前記３次元表面データに対するアノテーションであって３次元位置情報を有するアノテーションである３Ｄアノテーションの付与操作を受け付ける受付部と、を備えることを特徴とする。

前記受付部は、前記複数の２次元スライス画像のうちの２以上の２次元スライス画像に跨がる範囲に亘る３Ｄアノテーションの付与操作を受け付けてもよい。

前記受付部は、前記３次元表面データを投影した投影面上における２次元位置の指定操作を、前記３Ｄアノテーションの位置の指定操作として受け付け、前記制御部は、前記投影面上での２次元位置を前記３次元表面データ上での３次元位置に変換し、前記３Ｄアノテーションの３次元位置情報を生成してもよい。

前記制御部は、前記３次元表面データに対するアノテーションを反映したデータを教師データとして利用して、機械学習を実行してもよい。

前記制御部は、前記３次元表面データに対する前記３Ｄアノテーションを操作ユーザの操作に応じて付与する第１処理を実行し、前記３Ｄアノテーションに基づき、前記複数の２次元スライス画像のうちの少なくとも１つの２次元スライス画像内において、２次元位置情報を有するアノテーションである２Ｄアノテーションを自動的に付与する第２処理を実行し、前記２Ｄアノテーションが付与された前記少なくとも１つの２次元スライス画像に基づくデータを前記教師データとして利用して、前記機械学習を実行してもよい。

前記２Ｄアノテーションは、前記３Ｄアノテーションの３次元位置に対応する前記少なくとも１つの２次元スライス画像内において、前記３Ｄアノテーションの３次元位置に対応する２次元位置である対応２次元位置に付与されるとともに、各２次元スライス画像内において、当該各２次元スライス画像の近傍の所定数の２次元スライス画像のいずれかにて前記対応２次元位置であると判定された２次元位置にも付与されてもよい。

前記２Ｄアノテーションは、前記３Ｄアノテーションの３次元位置に対応する前記少なくとも１つの２次元スライス画像内において、前記３次元位置に対応する２次元位置に付与される２Ｄ基本アノテーションと、前記２Ｄ基本アノテーションを補完する２Ｄ補完アノテーションであって、各２次元スライス画像において、前記各２次元スライス画像の近傍の所定数のスライス画像のいずれかにて前記２Ｄ基本アノテーションが付与された２次元位置に付与される２Ｄ補完アノテーションと、を含んでもよい。

前記制御部は、前記２Ｄアノテーションとして、前記３Ｄアノテーションの前記３次元位置に対応する２次元位置である対応２次元位置のみならず当該対応２次元位置以外にも付与される２Ｄ拡張アノテーションを付与し、前記２Ｄ拡張アノテーションは、前記３Ｄアノテーションの前記３次元位置に対応する前記少なくとも１つの２次元スライス画像内において、前記３次元位置に対応する２次元位置に付与される２Ｄ基本アノテーションと、各２次元スライス画像において、当該各２次元スライス画像の近傍の所定数の２次元スライス画像のいずれかにて前記２Ｄ基本アノテーションが付与された２次元位置に付与される２Ｄ補完アノテーションと、を含んでもよい。

前記２Ｄアノテーションは、各２次元スライス画像内において、当該各２次元スライス画像とその近傍の所定数の２次元スライス画像とのいずれかにて前記３Ｄアノテーションの３次元位置に対応する２次元位置であると判定された全ての２次元位置に付与されてもよい。

前記制御部は、前記複数の２次元スライス画像のうちそれぞれ２以上の２Ｄアノテーションが付与された少なくとも一部の２次元スライス画像内の部分画像であって前記２以上の２Ｄアノテーションに応じたバウンディングボックス内の部分画像を前記教師データとして利用して、前記機械学習を実行してもよい。

前記制御部は、前記複数の２次元スライス画像のうち少なくとも一部の２次元スライス画像内の部分画像であって、前記２Ｄ基本アノテーションと前記２Ｄ補完アノテーションとの双方に応じたバウンディングボックス内の部分画像を前記教師データとして利用して、前記機械学習を実行してもよい。

前記制御部は、前記機械学習によって生成された学習済みモデルを利用して、推論処理を実行してもよい。

前記３次元表面データは、骨の３次元表面形状を表すデータであってもよい。

前記複数の２次元スライス画像は、骨折状態を有する被検体のスライス画像であり、前記３次元表面データは、骨の３次元表面形状を表すデータであり、前記受付部は、骨折箇所を示す前記３Ｄアノテーションの付与操作を受け付け、前記制御部は、前記３次元表面データに対するアノテーションを反映したデータを前記教師データとして利用して、前記機械学習を実行し、前記制御部は、前記機械学習によって生成された学習済みモデルを利用して、骨折検知に関する推論処理を実行してもよい。

上記課題を解決すべく、本発明に係る画像処理システムは、上記のいずれかの画像処理装置と、前記複数の２次元スライス画像を生成する画像生成装置と、を備えることを特徴とする。

上記課題を解決すべく、本発明に係るプログラムは、ａ）複数の２次元スライス画像に基づいて生成された３次元表面データに対するアノテーションの付与操作を受け付けるステップと、ｂ）前記付与操作に応じて、前記３次元表面データに関する３次元モデルの表面に、３次元位置情報を有するアノテーションを付与するステップ、をコンピュータに実行させるためのプログラムであることを特徴とする。

上記課題を解決すべく、本発明に係るアノテーション付与方法は、ａ）複数の２次元スライス画像に基づいて生成された３次元表面データに対するアノテーションの付与操作を受け付けるステップと、ｂ）前記付与操作に応じて、前記３次元表面データに関する３次元モデルの表面に、３次元位置情報を有するアノテーションを付与するステップ、を備えることを特徴とする。

上記課題を解決すべく、本発明に係る学習済みモデルの製造方法は、ａ）複数の２次元スライス画像に基づいて生成された３次元表面データに対するアノテーションの付与操作を受け付けるステップと、ｂ）前記３次元表面データに対する前記アノテーションを反映したデータを教師データとして利用して、機械学習を実行して学習済みモデルを生成するステップと、を備えることを特徴とする。

前記製造方法は、ｃ）前記付与操作に応じて、前記３次元表面データに対する前記アノテーションであって３次元位置情報を有するアノテーションである３Ｄアノテーションを付与するステップと、ｄ）前記３Ｄアノテーションに基づき、前記複数の２次元スライス画像のうちの少なくとも１つのスライス画像内において、２次元位置情報を有するアノテーションである２Ｄアノテーションを自動的に付与するステップと、をさらに備え、前記ステップｂ）は、ｂ－１）前記２Ｄアノテーションが付与された前記少なくとも１つの２次元スライス画像を前記教師データとして利用して、前記機械学習を実行するステップ、を有してもよい。

前記ステップｄ）において、前記２Ｄアノテーションは、前記少なくとも１つのスライス画像内において、前記３Ｄアノテーションの３次元位置に対応する２次元位置である対応２次元位置に付与されるとともに、各２次元スライス画像内において、当該各２次元スライス画像の近傍の所定数の２次元スライス画像のいずれかにて前記対応２次元位置であると判定された２次元位置にも付与されてもよい。

前記ステップｂ）は、ｂ－１）前記複数の２次元スライス画像のうちそれぞれ２以上の２Ｄアノテーションが付与された少なくとも一部の２次元スライス画像内の部分画像であって前記２以上の２Ｄアノテーションに応じたバウンディングボックス内の部分画像を前記教師データとして利用して、前記機械学習を実行するステップ、を有してもよい。

上記課題を解決すべく、本発明に係る学習済みモデルは、上記のいずれかの製造方法を用いて製造された学習済みモデルであることを特徴とする。

本発明によれば、アノテーション付与操作における煩雑さを低減することが可能である。

画像処理システムを示すブロック図である。 教師データの準備段階の処理およびデータ等を示す概念図である。 学習段階の処理を示す概念図である。 推論段階の処理を示す概念図である。 準備段階におけるコントローラの処理を示すフローチャートである。 学習段階におけるコントローラの処理を示すフローチャートである。 推論段階におけるコントローラの処理を示すフローチャートである。 複数の２次元スライス画像を示す模式図である。 ３次元表面データ等を示す模式図である。 ３Ｄアノテーションが付与された３次元表面データを示す模式図である。 ３Ｄアノテーションに基づいて付与された２Ｄアノテーション等を示す概念図である。 完全骨折を伴う立体モデルの部分拡大図である。 不完全骨折を伴う立体モデルの部分拡大図である。 ３Ｄアノテーションの付与処理を説明するための概略図である。 投影面に投影された投影画像等を示す図である。 ３Ｄアノテーションの付与処理および２Ｄアノテーションの付与処理等を示す図である。 別の３Ｄアノテーションが付与された３次元表面データ等を示す図である。 別の３Ｄアノテーションが付与された３次元表面データ等を示す図である。 図１８の３次元表面データに関する別の断面内の２Ｄアノテーション等を示す図である。 更に別の断面内の２Ｄアノテーション等を示す図である。 更に別の断面内の２Ｄアノテーション等を示す図である。 第２実施形態における処理の一部を示すフローチャートである。 一連の２次元スライス画像を示す図である。 ２Ｄ基本アノテーションが付与された一連の２次元スライス画像を示す図である。 ２Ｄ拡張アノテーションが付与された一連の２次元スライス画像等を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。

＜１．第１実施形態＞
＜１－１．システム概要＞
図１は、画像処理システム１０を示すブロック図である。画像処理システム１０は、基準軸に垂直な断面で被検体（被検者等）をスライスした複数の２次元スライス画像２２０を処理するシステムである。

画像処理システム１０は、スライス画像生成装置２０と画像処理装置３０とを備えている。

スライス画像生成装置２０は、ＭＲＩ（Magnetic Resonance Imaging）装置あるいはＣＴ（Computed Tomography）装置などで構成される。スライス画像生成装置２０は、被検体（被検者等）に関する複数の２次元スライス画像（単にスライス画像とも称する）２２０を生成して取得する。当該複数のスライス画像２２０は、基準軸上の互いに異なる複数の位置において（例えば、０．６ｍｍ～１ｍｍ（ミリメートル）ピッチの異なる位置で）当該基準軸に垂直な断面で被検体をスライスした画像である。当該複数のスライス画像２２０は、基準軸方向における所定範囲（たとえば３００ｍｍ）に亘って取得され、数百枚から数千枚（たとえば５００枚）の画像で構成される。

また、当該複数のスライス画像２２０（一のスライス画像群２１０とも称する）は、一の検体に関して、互いに異なる基準軸（たとえば異なる９つ（９方向）の基準軸）に関して取得され、複数のスライス画像群が構成されることもある。このようにして取得された複数のスライス画像群の枚数は、数千枚以上（たとえば４５００枚）の画像で構成され、非常に多い。なお、当該複数のスライス画像群は、たとえば、互いに異なる基準軸に関する各方向（たとえば９方向のそれぞれ）のスライス画像群をそれぞれ撮像することによって取得されればよい。ただし、これに限定されず、当該複数のスライス画像群は、１つの方向の一のスライス画像群を撮像するとともに、当該一のスライス画像群に対して画像変換処理を施して他の方向のスライス画像群（たとえば他の８方向をそれぞれ基準軸方向とする８つのスライス画像群）を生成することによって、取得されてもよい。

さらに、当該複数のスライス画像（一のスライス画像群）あるいは当該複数のスライス画像群は、複数の検体に関してそれぞれ取得され、複数の検体に関する複数のスライス画像群が構成される。複数の検体に関する複数のスライス画像群の枚数は、膨大である。

スライス画像生成装置２０においては、たとえば、骨盤を含む腰部に関するスライス画像群２１０が撮像されて取得される。

画像処理装置３０は、スライス画像生成装置２０によって取得された複数の２次元スライス画像２２０（詳細には、複数の検体に関する複数のスライス画像群）に基づいて、機械学習を実行する。具体的には、学習モデル４１０（学習器）の学習パラメータが所定の機械学習手法を用いて調整され、学習済みモデル４１０（４２０とも称する）が生成される（図３参照）。学習モデル４１０としては、たとえば、複数の層で構成されるニューラルネットワークモデルが用いられる。そして、所定の機械学習手法（ディープラーニング等）によって、ニューラルネットワークモデルにおける複数の層（入力層、（１又は複数の）中間層、出力層）の層間における重み付け係数（学習パラメータ）等が調整される。このように、画像処理装置３０は、機械学習における学習段階の処理を実行する。なお、図３は、当該学習段階の処理を示す概念図である。

具体的には、画像処理装置３０は、病変部位を有する教師データ（既知の複数のスライス画像群）等に基づいて、スライス画像の病変部位を特定する推論処理を実行するための学習モデル（学習済みモデル４２０）を生成する（図３および図６参照）。ここでは、病変部位として骨折部位（より詳細には、骨盤における骨折部位）を例示する。なお、図６は、学習段階におけるコントローラ３１（図１参照）の処理を示すフローチャートである。

また、画像処理装置３０は、教師データの準備段階に関する処理（学習段階で利用される教師データを生成するための準備処理）をも実行する。具体的には、３次元表面データ（骨の３次元表面データ）に対するアノテーションの付与処理等が実行される（図２および図５参照）。なお、図２は、教師データの準備段階の処理およびデータ等を示す概念図であり、図５は、準備段階におけるコントローラ３１（図１）の処理を示すフローチャートである。

さらに、画像処理装置３０は、パラメータが調整された学習モデル４１０（学習済みモデル４２０）を用いて、或る被検体に関して取得された（未知の）複数のスライス画像２２０（２７０とも称する）のそれぞれについて、推論処理を実行する（図４および図７参照）。具体的には、画像処理装置３０は、上述の学習済みモデル４２０を用いて、各スライス画像２７０の病変部位（骨折部位）を特定する推論処理を実行する。推論処理においては、たとえば、骨折部位の有無および当該骨折部位の位置等が特定（推定）される。なお、図４は、機械学習における推論段階の処理を示す概念図であり、図７は、推論段階におけるコントローラ３１（図１）の処理を示すフローチャートである。

図１に示されるように、画像処理装置３０は、コントローラ３１（制御部とも称される）と記憶部３２と操作部３５とを備える。スライス画像生成装置２０と画像処理装置３０とは有線接続（あるいは無線接続）されて互いに通信可能である。画像処理装置３０は、スライス画像生成装置２０で取得された情報（スライス画像等）を所定の接続ケーブルを介してスライス画像生成装置２０から受信する。

コントローラ３１は、画像処理装置３０に内蔵され、画像処理装置３０の動作を制御する制御装置である。

コントローラ３１は、単一または複数のＣＰＵ（Central processing Unit）（マイクロプロセッサあるいはハードウエアプロセッサなどとも称される）等を備えるコンピュータシステムとして構成される。コントローラ３１は、当該ＣＰＵにおいて、記憶部（ＲＯＭおよび／またはハードディスクなどの不揮発性記憶部）３２内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）を実行することによって、各種の処理を実現する。なお、当該プログラム（詳細にはプログラムモジュール群）は、ＵＳＢメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されて画像処理装置３０にインストールされるようにしてもよい。あるいは、当該プログラムは、通信ネットワーク等を経由してダウンロードされて画像処理装置３０にインストールされるようにしてもよい。

コントローラ３１は、機械学習における教師データの準備段階に関する処理を実行する。具体的には、複数のスライス画像２２０をスライス画像生成装置２０から取得する処理、３次元表面データ３３０を生成する処理、当該３次元表面データ３３０に対するアノテーションの付与処理、および当該アノテーションに基づく教師データの生成処理等が実行される。

また、コントローラ３１は、機械学習における学習段階に関する処理を実行する。具体的には、生成された教師データに基づいて、学習器（学習モデル４１０）に関する学習パラメータを最適化する処理が実行され、学習済みモデル４２０が生成される。より詳細には、既知の骨折部位を有するスライス画像２２０を教師データとして機械学習が行われ、学習パラメータが最適化される。これにより、学習済みモデル４２０が生成される。

さらに、コントローラ３１は、機械学習における推論段階に関する処理を実行する。具体的には、パラメータが調整された学習モデル（学習済みモデル４２０）を用いて、或る被検体に関して取得された（未知の）複数のスライス画像２７０のそれぞれについて、推論処理が実行される。詳細には、各スライス画像２７０の病変部位（骨折部位）を特定する推論処理が実行される。また、コントローラ３１は、推論結果を出力する処理（骨折部位を含む画像の表示処理等）をも実行する。

記憶部３２は、ハードディスクドライブ（ＨＤＤ）および／またはソリッドステートドライブ（ＳＳＤ）等の記憶装置で構成される。記憶部３２は、複数の２次元スライス画像２２０，２６０，２７０，２８０、３次元表面データ３３０、および学習モデル４１０（学習モデルに関する学習パラメータを含む）（ひいては学習済みモデル４２０）等を記憶する。

操作部３５は、画像処理装置３０に対する操作入力を受け付ける操作入力部３５ａと、各種情報の表示出力を行う表示部３５ｂとを備えている。たとえば、操作入力部３５ａ（受付部とも称される）は、３次元表面データに対するアノテーション（３Ｄアノテーション５３（図１０等参照））の付与操作等を受け付ける。また、表示部３５ｂは、学習済みモデル４２０を用いた推論処理の結果に関するスライス画像２８０等を表示する。操作入力部３５ａとしてはマウスおよびキーボード等が用いられ、表示部３５ｂとしてはディスプレイ（液晶ディスプレイ等）が用いられる。また、操作入力部３５ａの一部としても機能し且つ表示部３５ｂの一部としても機能するタッチパネルが設けられてもよい。

なお、この画像処理装置３０は医用画像処理装置とも称され、画像処理システム１０は医用画像処理システムとも称される。

以下、教師データの準備段階、教師データを利用した学習段階、および推論段階の各処理について順に説明する。

＜１－２．教師データの準備段階＞
＜処理概略＞
まず、教師データの準備段階の処理の概略について説明する。

本実施形態に係る機械学習においては、教師データ有り学習における教師データとして、骨折状態（骨折疾患）を有する被検者（個人）に関する複数のスライス画像２２０（スライス画像群２１０）が利用される。より詳細には、骨折状態を有する複数の被検者に関する複数の２次元スライス画像２２０（複数のスライス画像群２１０）が利用される。特に、骨折部位を含む２次元スライス画像２２０が利用される。詳細には、２次元スライス画像２２０内において既知の骨折部位を含む領域（骨折部位領域とも称する）が特定された上で、当該骨折部位領域を含む２次元スライス画像２２０が利用される。

２次元スライス画像内での骨折部位領域を特定するための１つの手法としては、操作ユーザが各２次元スライス画像内の骨折部位（病変部位）にアノテーションマークを直接付与する手法が存在する。当該手法においては、多数（たとえば、数百枚）の２次元スライス画像データのそれぞれにおいて、骨折部位にアノテーションマークを付与する操作を行うことを要する。

しかしながら、多数（たとえば、数百枚）の２次元スライス画像のそれぞれの病変部位（骨折部位等）に対するアノテーションが操作ユーザによって２次元スライス画像ごとに付与される操作は、極めて煩雑であり、膨大な時間を要する。

そこで、この実施形態では、新たな手法を用いて２次元スライス画像２２０（単にスライス画像とも称する）に対するアノテーションが付与される。これによれば、アノテーション付与操作における煩雑さを低減することが可能である。

当該新たな手法は、複数の２次元スライス画像２２０（図８等参照）に基づく３次元表面データ３３０（図２および図９参照）を利用して、アノテーションを付与する手法である。より具体的には、画像処理装置３０は、操作ユーザによる３次元表面データ３３０に対する付与操作を受け付ける。そして、画像処理装置３０は、当該付与操作に基づいて３次元表面データ３３０（人体構造（骨）の立体モデル）の表面に３Ｄ（３次元）アノテーション５３（３次元位置情報を有するアノテーション）を付与する（図２および図１０等参照）。さらに、画像処理装置３０は、当該３Ｄアノテーション５３に基づき、複数の２次元スライス画像２２０のそれぞれに２Ｄ（２次元）アノテーション５２（各スライス画像内の２次元位置の情報を有するアノテーション）を付与する（図２および図１１等参照）。

なお、図８は、複数の２次元スライス画像を示す模式図である。また、図９は、複数の２次元スライス画像２２０（図８等参照）に基づいて生成された３次元表面データ３３０等を示す模式図である。図９では３次元表面データ３３０が簡略化されて示されているが、実際には、骨の表面の状態を判別可能な程度（骨折箇所を視認できる程度）に精緻な３次元表面データ３３０が生成される。また、図１０は、３Ｄアノテーション５３が付与された３次元表面データ３３０（３４０とも称する）等を示す概念図であり、図１１は、３Ｄアノテーション５３に基づいて付与された２Ｄアノテーション５２等を示す概念図である。図１１においては、２Ｄアノテーション５２が付与された２次元スライス画像２２０（２６０とも称する）が示されているとともに、２Ｄアノテーション５２（図１６の右上部分等参照）を囲むバウンディングボックス５５（後述）が示されている。これらの図（特に図１０および図１１）では、被検者の左半身に存在する骨折箇所が示されている。当該骨折箇所は、２次元スライス画像（背骨が下側に配置された画像（頭側ではなく足側から見た画像））を描いた図１１等では、図内の右側に示されており、３次元表面データ３３０（被検者を前側（正面側）からみた立体モデル）を描いた図１０等でも、図内の右側に示されている。

＜処理詳細＞
以下、このような手法について図５等を参照しつつ更に詳細に説明する。

図５は、コントローラ３１の処理（詳細には、当該準備段階の処理）を示すフローチャートである。なお、図５は、アノテーションの付与方法を示す図でもあり、学習済みモデルの生成方法（一部）を示す図でもある。

まず、ステップＳ１１（図５）において、コントローラ３１は、スライス画像生成装置２０で生成（撮像）された一連の複数のスライス画像２２０（図２の最上段および図８参照）を取得する。詳細には、或る被検体（被検者）に関する一連の複数のスライス画像２２０が取得される。

次に、ステップＳ１２において、図９に示されるように、コントローラ３１は、当該複数のスライス画像２２０に基づき、３次元表面データ３３０（立体モデル）（図２の上から２段目も参照）を生成する。この３次元表面データ３３０は、被検体の一部に関する立体モデル（ここでは、被検者の骨盤の骨を表現する立体モデル）の表面を表現するデータである。当該３次元表面データ３３０は、たとえば、多数の隣接するポリゴン（たとえば、三角形）が集合することによって表面を表現するポリゴンメッシュデータとして構成される。ここでは、３次元表面データ３３０として、被検者の骨（骨盤）の３次元表面形状を表すポリゴンメッシュデータが生成される。

当該３次元表面データ３３０は、次のようにして形成される。たとえば、複数のスライス画像２２０のそれぞれに対する画像処理によって骨の表面領域が抽出されるとともに当該複数のスライス画像２２０の表面領域が当該複数のスライス画像の基準軸方向（法線方向）に積層される。そして、積層方向にて隣接する表面領域が相互に接続されること等によって、３次元表面データ３３０が形成される。

次のステップＳ１３において、コントローラ３１は、３次元表面データ３３０に対するアノテーションであって３次元位置情報を有するアノテーション（以下、「３Ｄアノテーション」とも称する）５３を付与するための操作を受け付ける。さらに、コントローラ３１は、当該操作に応じて、３次元表面データ３３０（詳細には、３次元表面データ３３０に関する３次元モデル（立体モデル）の表面）に対して３Ｄアノテーション５３を（自動的に）付与する。

図１４は、このような３Ｄアノテーション５３の付与処理を説明するための概略図である。なお、３次元表面データ３３０は、実際には非常に複雑な構造を有する骨盤の立体表面モデルであるが、図１４では、説明の簡略化のため、３次元表面データ３３０を円柱形状の立体表面モデルとして示している。

コントローラ３１は、３次元表面データ３３０の位置（仮想空間における存在位置）と操作ユーザの視点位置との間に仮想的に配置された投影面７０に対して、３次元表面データ３３０（換言すれば、骨の立体表面モデル）を投影して表示する。図１５は、このような投影面７０が表示部３５ｂに表示されている様子を示す図である。なお、３次元表面データ３３０（骨の立体表面モデル）は、ユーザ操作に応じて適宜、回転、移動（平行移動）、ならびに変倍（拡大および／または縮小）される。換言すれば、ユーザは、所望の視点から所望の大きさで、投影面７０に投影された３次元表面データ３３０（骨の立体表面モデル）を視認することが可能である。

表示部３５ｂには、３次元表面データ３３０を投影面７０に投影した投影画像３３２（２次元画像）が表示される。図１５においては、その中心軸を鉛直方向に有する円柱形状の立体表面モデル（３次元表面データ３３０）を正面から見ることによって矩形形状の投影画像３３２が表示されている。

このような投影画像３３２において、操作ユーザは、医学的見地に基づき骨折部位であると判断される部分に対して、アノテーションライン５１を描画する。アノテーションライン５１は、たとえば、操作ユーザがマウス等（操作入力部３５ａ）を利用してライン状（直線状あるいは曲線状）に描画される。

このようなアノテーションライン５１の描画操作（３次元表面データ３３０を投影した投影面７０上における２次元位置の指定操作を含む操作）は、３Ｄアノテーション５３の位置の指定操作等として受け付けられる。そして、コントローラ３１は、投影面７０においてアノテーションライン５１が描画されると、投影面７０上でのアノテーションライン５１の２次元位置を３次元表面データ３３０上での３次元位置に変換し、３Ｄアノテーション５３の３次元位置情報を生成する。

詳細には、図１４（特に破線矢印参照）に示されるように、アノテーションライン５１上の各点がユーザの視線方向において３次元表面データ３３０へと向けて移動される。そして、当該視線方向に移動していく各点が３次元表面データ３３０の表面（骨の立体モデルの表面）にぶつかる位置（到達する位置）が３Ｄアノテーション５３の３次元位置として算出される。図１４では、投影面７０における直線状のアノテーションライン５１が、３次元表面データ３３０の表面（曲面）上の各位置に対応づけられている状況が示されている。３次元表面データ３３０の表面に対応づけられた曲線で表現される部分が３Ｄアノテーション５３として付与される。

アノテーションライン５１は、実際には、たとえば図１０に示すように、骨盤の立体モデル（３次元表面データ３３０）の表面に描画される。図１０の上段には、ステップＳ１２で生成された３次元表面データ３３０（骨盤の立体モデル）が示されており、図１０の下段には、アノテーションライン５１が描画された３次元表面データ３３０が示されている。

より詳細には、図１２あるいは図１３に示されるようなアノテーションライン５１が描画される。アノテーションライン５１は、ポリゴンメッシュデータとして構成される３次元表面データ３３０において、所定幅（数個分（たとえば、３～４個分）のポリゴンの幅）を有するラインとして描画される（図１２および図１３参照）。換言すれば、所定幅を有する細長い面状領域として描画される。また、当該所定幅は、操作ユーザによる指定操作（変更操作）等に応じて適宜変更され得るようにしてもよい。

なお、図１２および図１３は、当該立体モデル（３次元表面データ３３０）の部分拡大図である。図１２の上段および図１３の上段においては、骨折状態が模式的に示されている。また、図１２の下段および図１３の下段においては、３次元表面データ３３０がポリゴンメッシュデータとして示されているとともに当該ポリゴンメッシュデータ上における骨折箇所が示されている。

ここで、骨折には「完全骨折」と「不完全骨折」とが存在する。「完全骨折」（図１２参照）は、断片が生じている骨折（骨が完全に断裂している骨折等）である。一方、「不完全骨折」（図１３参照）は、断片が生じていない骨折（いわゆる「ひび」が生じている状態など、骨が完全には断裂していない骨折等）である。なお、図１２は、完全骨折を伴う立体モデルの部分拡大図であり、図１３は、不完全骨折を伴う立体モデルの部分拡大図である。

図１２に示されるように、断片が存在する完全骨折の場合には、当該断片（骨折箇所の両界面の相互間の空間）（図１２下段の中央の黒色部分）の両側にアノテーションライン５１が描画される。一方、図１３に示されるように、断片が存在しない不完全骨折の場合には、骨折箇所であると判定される部分（医師等が骨折箇所であると判断した線）（図１３の破線参照）に沿ってアノテーションライン５１が描画される。

このようなアノテーションライン５１の描画と同時に当該アノテーションライン５１の３次元位置が算出され、当該３次元位置の算出動作に伴って３Ｄアノテーション５３が生成される。

より詳細には、所定幅を有するアノテーションライン５１を操作ユーザが投影画像３３２上で描画すると、３次元表面データ３３０にて当該所定幅のアノテーションライン５１に対応する位置に存在するポリゴンが特定される。そして、当該ポリゴンの集合によって構成されるアノテーションライン５１が３次元表面データ３３０上（３次元表面データ３３０の表面）に描画されると同時に、当該各ポリゴンの３次元位置が３Ｄアノテーション５３の３次元位置として特定される。なお、当該３次元表面データ３３０上でのアノテーションライン５１は、３Ｄアノテーション５３であるとも表現される。このように、骨折箇所を示す３Ｄアノテーション５３の付与操作（投影画像３３２におけるアノテーションライン５１の描画操作）に応じて、３Ｄアノテーション５３が生成される。

また、アノテーションライン５１は、骨折部分を示すため、骨の表面において比較的長い範囲（例えば、骨を半周あるいは１周する範囲）に亘って描画される（図１０、図１６および図１７参照）。その結果、複数の２次元スライス画像２２０のうちの２以上の２次元スライス画像に跨がる範囲（スライス断面の法線方向における所定範囲（たとえば、Ｚ軸方向（当該法線方向）において最小値Ｚminから最大値Ｚmaxまでの範囲に相当する範囲等（後述）））に亘って３Ｄアノテーション５３の付与操作が受け付けられる。そして、当該付与操作に応じて、当該２以上の２次元スライス画像に跨がる範囲に亘って３Ｄアノテーション５３が付与される。

なお、図１６は、３Ｄアノテーション５３の付与処理、および３Ｄアノテーション５３に基づく２Ｄアノテーション５２の付与処理等について説明する概念図である。図１６は、図１４に類似する図である。ただし、図１６では、図１４のアノテーションライン５１とは異なる曲線が、アノテーションライン５１として描画されている。同様に、図１７は、図１４および図１６に類似する図である。ただし、図１７では、図１４および図１６のアノテーションライン５１とは異なる曲線が、アノテーションライン５１として描画されている。また、図１６以降の各図（図２２を除く）においては、２次元スライス画像２２０として、立体モデル（３次元表面データ３３０）の断面（水平断面）を上方側から見た画像が適宜示されている。

ステップＳ１３では、上述のように、投影画像３３２に対して描画されたアノテーションライン５１に基づき、３Ｄアノテーション５３が生成される。たとえば、図１６では、投影画像３３２にて描画されたアノテーションライン５１（図１６の下段参照）に対応する３Ｄアノテーション５３（図１６の中段参照）が３次元表面データ３３０に付与される。

次のステップＳ１４において、コントローラ３１は、３Ｄアノテーション５３に基づく２Ｄアノテーション５２を２次元スライス画像２２０に付与する。

図１６においては、略半円弧状の３Ｄアノテーション５３が円柱状の立体モデル（３次元表面データ３３０）の表面に付与されている。ここでは、略半円弧状の３Ｄアノテーション５３を概ね含む平面（近似平面）と３次元表面データ３３０でその表面が示される円柱空間（骨に相当する空間）とが交わる面の付近に骨折（ひび等を含む）が生じている状況を想定する。詳細には、当該円柱空間（骨に相当する空間）の側面に対して、略半円弧状の３Ｄアノテーション５３を含む平面（近似平面）が斜めに交差している。この交差部分の付近に骨折が生じている状況を想定する。

ステップＳ１４においては、コントローラ３１は、３Ｄアノテーション５３の３次元位置に対応する少なくとも１つの２次元スライス画像内にて、当該３次元位置に対応する２次元位置（「対応２次元位置」とも称する）に２Ｄアノテーション５２を自動的に付与する。ここで、２Ｄアノテーション５２は、各２次元スライス画像内における２次元位置情報を有するアノテーションである。

詳細には、まず、コントローラ３１は、複数の２次元スライス画像２２０のうち、細長い面状領域である３Ｄアノテーション５３との交線（ないし交点）をその面内に有する少なくとも１つの２次元スライス画像２２０（好ましくは、２以上の２次元スライス画像２２０）を求める。たとえば、スライス画像群２１０の基準軸方向（スライス断面の法線方向）に沿ってＺ軸を配置する場合、３Ｄアノテーション５３のＺ軸方向における存在範囲（最大値Ｚmaxおよび最小値Ｚmin）を求める。そして、最小値Ｚminを有するスライス画像２２０から、最大値Ｚmaxを有するスライス画像２２０までの少なくとも１つの２次元スライス画像２２０が特定される。

さらに、コントローラ３１は、当該少なくとも１つの２次元スライス画像２２０内にて、３Ｄアノテーション５３の３次元位置に対応する２次元位置（対応２次元位置）に２Ｄアノテーションを自動的に付与する。たとえば、スライス画像群２１０の基準軸方向（スライス断面の法線方向）に沿ってＺ軸が配置される場合、コントローラ３１は、各２次元スライス画像２２０と細長い面状領域である３Ｄアノテーション５３との交線（交点の集合）の２次元位置（各交点の２次元位置（ＸＹ位置））を求める。そして、コントローラ３１は、各２次元スライス画像２２０内において、当該交線に対応する２次元位置に２Ｄアノテーション５２を付与する。これに応じて、可視化された２Ｄアノテーション５２（詳細には２Ｄアノテーション５２を示すマーク）が当該２次元位置に描画される。

たとえば、図１６に示されるように、或る２次元スライス画像２２０内において、当該２次元スライス画像２２０と３Ｄアノテーション５３との交線が２つの箇所で求められる場合、当該２つの箇所に２Ｄアノテーション５２が付与される（図１６の最上段参照）。より詳細には、図１６の最上段の円形状領域の下端付近と右端付近とに２Ｄアノテーション５２がそれぞれ付与される。なお、図１６の最上段における円形状領域（砂地ハッチングが付された領域）は、円柱形状で表現されている（模式化されている）骨の立体モデルの切断面（２次元スライス画像２２０（平面）による切断面）、すなわち骨の断面を表している。また、当該円形状領域の内部の曲線は骨折線（骨のひび割れ箇所等が２次元スライス画像（断面画像）にて線状領域として現れた部分）を表している。また、図１６の中段にて楕円形状の破線で囲まれる領域は、図１６の最上段における円形状領域に対応する。

そして、コントローラ３１は、当該２つの２Ｄアノテーション５２を包含するようにバウンディングボックス５５を描画するとともに、当該バウンディングボックス５５で囲まれる矩形領域を、骨折領域を示す教師データとして決定する。

このようにして少なくとも１つの２次元スライス画像２２０内にて、３Ｄアノテーション５３との交線に対応する２次元位置に２Ｄアノテーション５２が付与される。また、当該２Ｄアノテーション５２をバンディングボックスで囲む矩形領域（部分画像）が、骨折領域を示す教師データとして決定される。

なお、後述するように、アノテーションライン５１の描画の仕方等に依っては、或る２次元スライス画像２２０（スライス断面）においては、３Ｄアノテーション５３との交線が１箇所にしか現れないことがある。この場合には、たとえば、当該１箇所のみの２Ｄアノテーション５２を囲むようにバウンディングボックス５５が形成されればよい。また、ここでは、一の被検者に関して単一の骨折箇所のみが存在する場合を想定している。一の被検者に関して複数の骨折箇所が存在する場合には、各骨折箇所をそれぞれ識別するための識別子（識別番号／識別記号等）を各骨折箇所に付与して（ラベリングして）、当該複数の骨折箇所が互いに区別されればよい。そして、当該識別子で互いに区別された複数の骨折箇所のそれぞれについて、上記のステップＳ１３，Ｓ１４の処理等が施されればよい。

以上のようにして、一のスライス画像群２１０に関する教師データの生成処理等が実行される。

さらに、このような一のスライス画像群２１０に関する教師データの生成処理等は、複数のスライス画像群２１０に対して実行される。たとえば、複数の被検体に関する複数のスライス画像群２１０について実行される。これにより、非常に多数（たとえば数万枚～数十万枚）の教師データが生成される。

これらの教師データは、次の段階（学習段階）で利用される。

＜１－３．教師データを利用した学習段階＞
また、コントローラ３１は、３次元表面データに対するアノテーション（３Ｄアノテーション５３等）を反映したデータを教師データとして利用して、機械学習を実行して学習済みモデルを生成する。以下、このような学習段階の処理について説明する。

図６は、学習段階（図３参照）におけるコントローラ３１の処理を示すフローチャートである。なお、図６も、学習済みモデルの生成方法（一部）を示す図である。

ステップＳ２１において、コントローラ３１は、図５の処理によって生成された教師データ（既知の病変部位（骨折部位）を有する教師データ）を利用して機械学習を実行する。詳細には、２Ｄアノテーション５２が付与された２次元スライス画像２２０（２６０）に基づくデータ（特に、バウンディングボックス５５で囲まれた骨折領域の画像データ）が教師データとして利用され、機械学習が実行される。機械学習としては、ディープラーニング等が実行される。

このような機械学習によって学習モデル４１０（図３参照）の各種のパラメータが調整され、学習済みモデル４２０が生成される（ステップＳ２２）。具体的には、学習モデル４１０（学習器）の学習パラメータ（複数の層（入力層、（１又は複数の）中間層、出力層）の相互間における重み付け係数等）が調整され、学習済みモデル４２０が生成される。この学習済みモデル４２０は、未知の２次元スライス画像の病変部位（骨折箇所）を特定する推論処理を実行するための学習モデルである。

本願においては、学習済みモデル４２０を生成することは、学習済みモデル４２０を製造（生産）することを意味するとともに、「学習済みモデルの生成方法」は「学習済みモデルの製造方法」を意味する。

＜１－４．推論段階＞
さらに、コントローラ３１は、機械学習によって生成された学習済みモデル４２０を利用して、機械学習における推論処理を実行する。

具体的には、コントローラ３１は、学習済みモデル４２０を用いて、或る被検体に関して取得された（未知の）複数の２次元スライス画像２２０（２７０（図４参照）とも称する）のそれぞれについて、骨折検知に関する推論処理を実行する。詳細には、上述の学習済みモデル４２０を用いて、各スライス画像の病変部位（骨折部位）を特定する推論処理が実行される。以下、図７を参照しつつ当該推論処理について説明する。

まず、図７のステップＳ３１において２次元スライス画像２７０が推論対象データとして学習済みモデル４２０に入力されると、ステップＳ３２において学習済みモデル４２０は、入力データに関する推論結果を取得する。具体的には、学習済みモデル４２０（コントローラ３１）は、スライス画像２７０における骨折部位の有無および位置等を検知する。このような処理は、終了すべき旨がステップＳ３３にて判定されるまで、複数の２次元スライス画像２７０に対して繰り返し実行される。具体的には、画像番号ｉをインクリメントし（ステップＳ３４）新たな２次元スライス画像Ｍｉ（２７０）について当該処理が実行される。

学習済みモデル４２０（コントローラ３１）は、２次元スライス画像２７０における骨折部位の存在等を検知すると、骨折部位の位置等を特定した２次元スライス画像２７０（２８０とも称する）をステップＳ３５において出力する（図４参照）。当該スライス画像２８０においては、たとえば、骨折部位を示す領域がバウンディングボックス５８で囲まれて表示される。また、当該骨折部位の推論結果に関する信頼度（たとえば、８０％）も併せて出力される。

なお、ここでは、複数の２次元スライス画像２２０に関する推論結果が纏めて表示されている（ステップＳ３５）が、これに限定されない。たとえば、各２次元スライス画像２２０に関する推論結果が逐次表示されてもよい。

＜１－５．第１実施形態における効果＞
以上のような態様によれば、複数の２次元スライス画像２２０に基づき３次元表面データ３３０が生成され（Ｓ１２（図５参照））、当該３次元表面データ３３０に対する３Ｄアノテーションの付与操作が受け付けられる（Ｓ１３）。それ故、多数（たとえば、数百枚）の２次元スライス画像のそれぞれに対するアノテーションの付与操作が操作ユーザによって２次元スライス画像ごとに行われる場合に比べて、アノテーション付与操作における煩雑さを低減することが可能である。

さらに、３次元表面データ３３０に対するアノテーション（３Ｄアノテーション５３等）を反映したデータを教師データとして利用して、機械学習が実行される（Ｓ２１）。したがって、アノテーション付与操作における煩雑さを低減して教師データを作成し、当該教師データに基づく機械学習を実行することが可能である。

特に、３次元表面データ３３０に対する３Ｄアノテーション５３を操作ユーザの操作に応じて付与する第１処理（Ｓ１３）と、当該第１処理に引き続く第２処理（Ｓ１４）とが実行される。第２処理は、３Ｄアノテーション５３に基づき、複数の２次元スライス画像２２０のうち少なくとも１つのスライス画像内において、２Ｄアノテーションを自動的に付与する処理である。第２処理は、３Ｄアノテーション５３の３次元位置に対応する少なくとも１つの２次元スライス画像内にて、当該３次元位置に対応する２次元位置（対応２次元位置）に２Ｄアノテーション５２を自動的に付与する処理を含む。そして、２Ｄアノテーション５２が付与された少なくとも１つの２次元スライス画像に基づくデータを教師データとして利用して、機械学習が実行される（Ｓ２１）。

これによれば、２次元スライス画像２２０（特に多数の２次元スライス画像２２０）に対して個別にアノテーションを付与して教師データを作成する場合に比べて、アノテーション付与操作における煩雑さを大きく低減して教師データを生成することが可能である。特に、上述のような処理が複数のスライス画像群２１０に対して実行されることによれば、非常に多数（たとえば数千枚～数十万枚）の教師データを、アノテーション付与操作における煩雑さを大幅に低減して生成することが可能である。

また、従来のように複数の２次元スライス画像２２０において個別に（２Ｄ）アノテーションおよびバウンディングボックスが操作者によって付与される場合、アノテーション等が大まかな位置に付与されることがある。具体的には、各２次元スライス画像２２０におけるアノテーション等は、他の２次元スライス画像２２０におけるアノテーションとの位置関係を確認することなく付与されることがある。この場合、複数の２次元スライス画像２２０の相互間におけるアノテーションの付与位置のばらつき（ユーザ操作における付与位置誤差）が生じ易い。

一方、上記実施形態においては、操作ユーザが３次元表面データ３３０を用いて３次元位置を確認しつつ描画したアノテーションライン５１に基づき３Ｄアノテーション５３が付与され、当該３Ｄアノテーション５３に基づき２Ｄアノテーション５２が付与される。より詳細には、複数の２次元スライス画像２２０に亘る連続的なアノテーションライン５１に基づいて３Ｄアノテーション５３および２Ｄアノテーション５２が付与される。それ故、複数の２次元スライス画像２２０の相互間におけるアノテーションの付与位置誤差（ユーザ操作における付与位置のばらつき）が低減され得る。したがって、各２次元スライス画像２２０に対して２Ｄアノテーション５２をより正確に付与することが可能である。

＜２．第２実施形態＞
＜概要＞
上記第１実施形態においては、２次元スライス画像２２０内にて、３Ｄアノテーション５３との交線に対応する２次元位置（対応２次元位置）にのみ２Ｄアノテーション５２が付与される態様が例示されている。換言すれば、複数の２次元スライス画像２２０のうち（３Ｄアノテーションの３次元位置に対応する）少なくとも１つのスライス画像内において、３Ｄアノテーション５３の３次元位置に対応する２次元位置（対応２次元位置）にのみ２Ｄアノテーション５２が付与されている。

具体的には、図１６（および図１７）に示されるように、或る２次元スライス画像２２０内において、当該２次元スライス画像２２０と３Ｄアノテーション５３との交線が２つの箇所で求められる場合には、当該２つの箇所に２Ｄアノテーション５２が付与される。そして、当該２つの２Ｄアノテーション５２を包含するようなバウンディングボックス５５が描画され、当該バウンディングボックス５５で囲まれる矩形領域が、骨折領域を示す教師データとして決定されている（図１６の最上段および図１７の最上段参照）。

しかしながら、後述するように、或る２次元スライス画像２２０（スライス断面）においては、３Ｄアノテーション５３との交線が１箇所にしか現れないことがある（図１８等参照）。この場合、上記第１実施形態においては、当該１箇所のみの２Ｄアノテーション５２を囲むようにバウンディングボックス５５が形成される。その結果、骨折部位（骨折線等）を含む部分領域（本来的には教師データに含ませたい部分領域）は、当該バウンディングボックス５５からはみ出してしまう。すなわち、当該バウンディングボックス５５は、当該部分領域を必ずしも正確に囲むことができない。

そこで、第２実施形態においては、３Ｄアノテーション５３との交線が１箇所にしか現れない断面（単一の２Ｄアノテーション５２しか付与されない断面）等において、２Ｄアノテーション５２を補完して付与する技術について説明する。詳細には、各２次元スライス画像内において、当該各２次元スライス画像の近傍の所定数の２次元スライス画像のいずれかにて「対応２次元位置」であると判定された２次元位置にも２Ｄアノテーション５２が補完的に付与される。換言すれば、各２次元スライス画像内において、当該各２次元スライス画像の近傍の所定数の２次元スライス画像のいずれかにて２Ｄ基本アノテーション５２Ａ（次述）が付与された２次元位置にも、２Ｄアノテーション５２が補完的に付与される。

ここにおいて、３Ｄアノテーション５３との交線を有する２次元スライス画像内において、当該交線の位置に付与される２Ｄアノテーション５２を「２Ｄ基本アノテーション」（５２Ａ）とも称するものとする。換言すれば、２Ｄ基本アノテーション５２Ａは、３Ｄアノテーション５３の３次元位置に対応する少なくとも１つの２次元スライス画像内にて、当該３次元位置に対応する２次元位置（対応２次元位置）に付与される２Ｄアノテーション５２である。上記第１実施形態にて付与された２Ｄアノテーション５２は、「２Ｄ基本アノテーション」に相当する。

また、各２次元スライス画像内において、当該各２次元スライス画像の近傍の所定数の２次元スライス画像のいずれかにて「対応２次元位置」であると判定された２次元位置に補完的に付与される２Ｄアノテーション５２を「２Ｄ補完アノテーション」（５２Ｂ）とも称するものとする。２Ｄ補完アノテーション５２Ｂ（図２５参照）は、第２実施形態において、２Ｄ基本アノテーション５２Ａとは別に、補完的に付与される２Ｄアノテーション５２である。２Ｄ補完アノテーション５２Ｂは、２Ｄ基本アノテーション５２Ａを補完する２Ｄアノテーションである、とも表現される。

なお、２Ｄ基本アノテーション５２Ａと２Ｄ補完アノテーション５２Ｂとの双方を含む２Ｄアノテーション５２を、（２Ｄ基本アノテーション５２Ａを概念的に拡張したものであることから、）「２Ｄ拡張アノテーション」（５２Ｃ）とも称するものとする。２Ｄ拡張アノテーション５２Ｃは、３Ｄアノテーション５３の３次元位置に対応する２次元位置（対応２次元位置）のみならず当該対応２次元位置以外にも付与される２Ｄアノテーションである、とも表現される。

第２実施形態は、第１実施形態の変形例である。以下では、第１実施形態との相違点を中心に説明する。

第２実施形態においても図５～図７と同様の処理が実行される。ただし、図５のステップＳ１４の処理が第１実施形態とは異なっている。図２２は、第２実施形態におけるステップＳ１４（Ｓ１４Ｂとも称する）の処理を示すフローチャートである。なお、図２２のステップＳ５１においては、第１実施形態のステップＳ１４における２Ｄアノテーション（２Ｄ基本アノテーション５２Ａ）の付与処理と同様の処理が行われる。第２実施形態においては、ステップＳ５２の処理（２Ｄ補完アノテーション５２Ｂの付与処理）が追加的に行われ、ステップＳ５３ではステップＳ５２の処理結果に基づいてバウンディングボックスが設定されて教師データが生成される。

＜第２実施形態に係る複数の２次元スライス画像等＞
以下では、図２２の処理について説明する前に、まず、或る２次元スライス画像２２０（スライス断面）において３Ｄアノテーション５３との交線が１箇所にしか現れない状況、および図５の処理について説明する。その後、図２２の処理について説明する。

図２３は、一連の２次元スライス画像２２０を示す模式図である。図２３では、第２実施形態に係る教師データ用の複数の２次元スライス画像２２０のうちの一部（７枚）の２次元スライス画像２２０（断面画像Ｌ５～Ｌ１１とも称する）が示されている。図２３における円形領域（砂地ハッチングが付された領域）は骨の断面を表しており、その内部の曲線は骨折線（骨のひび割れ箇所等が断面画像にて線状領域として現れた部分）を表している。

図２３の複数の断面画像（２次元スライス画像２２０）のうちの幾つか（断面画像Ｌ８，Ｌ９）では、骨折線が円形断面内の一部分（下端部分）から他部分（右端部分）へと貫通している。一方、他の幾つかの断面画像（断面画像Ｌ５～Ｌ７，Ｌ１０～Ｌ１１）では、骨折線が円形断面内の一部分から他部分へと貫通はしておらず、その途中で止まっている。詳細には、断面画像Ｌ５～Ｌ７においては、下端から伸延する骨折線は、右端までは到達せずに途中で止まっている。また、断面画像Ｌ８～Ｌ９においては、右端から伸延する骨折線は、下端までは到達せずに途中で止まっている。骨折の種類および／または程度等に依っては、このような複数の２次元スライス画像２２０が得られることがある。

図１８は、このような２次元スライス画像２２０に基づいて生成された３次元表面データ３３０（立体モデル）を示す模式図である。なお、当該３次元表面データ３３０は、第１実施形態（ステップＳ１１，Ｓ１２（図５）参照）と同様にして生成される。

図１８は、図１６に類似する図である。図１８の中段の斜視図では、或るＺ位置のスライス断面（２次元スライス画像２２０）が併せて示されている。当該中段における破線で描かれた楕円領域は、円柱形状の立体モデルと当該スライス断面とが交わる部分を示している。また、図１８の下段においては、３次元表面データ３３０（立体モデル）を投影面７０に投影した投影画像３３２が示されている。さらに、図１８の上段（右上部分）には、２Ｄアノテーション５２（詳細には、２Ｄ基本アノテーション５２Ａ）が付与された２次元スライス画像２２０が模式的に示されている。

ただし、図１８では、図１６のアノテーションライン５１とは異なる曲線が、アノテーションライン５１として描画されている。より詳細には、骨（ここでは円柱形状で模式化されている）を半周あるいは１周するような連続的な１本のアノテーションライン５１ではなく、途中で分断された２本のアノテーションライン５１が描画されている。骨の或る表面部分に骨折線が到達していない場合、当該表面部分（３次元表面データ３３０の表面（骨の立体モデルの表面））には骨折を示す部分が現れず、当該表面部分にアノテーションライン５１を描画できないことがある。その結果、アノテーションライン５１が分断される状況等が発生し得る。

２本のうちの１本のアノテーションライン５１は、図１８の投影画像３３２内において中央付近から左寄り下端側にかけて描画される。換言すれば、当該アノテーションライン５１は、図１８中段の３次元表面データ３３０の手前側（図２３の下端側）付近の表面に現れた骨折箇所に沿って投影画像３３２内にて描画される。そして、当該アノテーションライン５１に対応する３Ｄアノテーション５３が、図１８中段の３次元表面データ３３０の手前側（図２３の下端側）付近の表面に現れた骨折箇所に沿って付与される。

また、他の１本のアノテーションライン５１は、図１８の投影画像３３２内において中央右端付近に概ね上下方向に描画される。換言すれば、当該アノテーションライン５１は、図１８中段の３次元表面データ３３０の右側（図２３の右端側に相当）付近の表面に現れた骨折箇所に沿って投影画像３３２内に描画される。そして、当該アノテーションライン５１に対応する３Ｄアノテーション５３が、図１８中段の３次元表面データ３３０の右側（図２３の右端側に相当）付近の表面に現れた骨折箇所に沿って付与される。

このように、２本のアノテーションライン５１が描画され、これに応じて２つの３Ｄアノテーション５３が付与される（ステップＳ１３（図５）参照）。当該２つの３Ｄアノテーション５３のＺ方向（基準軸方向）における存在範囲は、一部重複しつつつも互いに異なっている。

図１９～図２１も、図１８と同様の図である。ただし、図１８～図２１においては、基準軸方向（ここではＺ軸方向）における位置が互いに異なるスライス断面（２次元スライス画像２２０）の様子が示されている。図１８から図２１にいくにつれて、２次元スライス画像２２０のＺ軸方向の位置が徐々に高くなっている。図１８～図２１の各２次元スライス画像２２０は、図２３等の断面画像Ｌ７～Ｌ１０にそれぞれ対応する。

次に、このような３Ｄアノテーション５３が付された３次元表面データ３３０に基づいて、各２次元スライス画像２２０に関して、第１実施形態（ステップＳ１４参照）と同様にして、３Ｄアノテーション５３との交線部分に２Ｄアノテーション５２（詳細には、２Ｄ基本アノテーション５２Ａ）が付与される（図２４参照）。図２４は、図２３の一連の２次元スライス画像に対して、それぞれ、２Ｄ基本アノテーション５２Ａが付与された様子を示す図である。

図１９～図２０に示されるように、一部の２次元スライス画像２２０においては、３Ｄアノテーション５３との交線が２箇所現れている。当該一部の２次元スライス画像２２０においては、２つの２Ｄアノテーション５２が当該２次元スライス画像２２０内の互いに異なる位置に付与される。

一方、図１８および図２１に示されるように、他の一部の２次元スライス画像２２０においては、３Ｄアノテーション５３との交線が１箇所にのみ現れている。当該他の一部の２次元スライス画像２２０においては、単一の２Ｄアノテーション５２（２Ｄ基本アノテーション５２Ａ）が当該２次元スライス画像２２０内に付与される。

ここにおいて、上述のように、第１実施形態と同様の処理によって付与される２Ｄアノテーション５２を２Ｄ基本アノテーション５２Ａとも称し、第２実施形態において補完的に付与される２Ｄ補完アノテーション５２Ｂと区別する。図２２のステップＳ５１においては、２Ｄ基本アノテーション５２Ａの付与処理が実行される（図２４も参照）。具体的には、各２次元スライス画像２２０（第ｉの２次元スライス画像Ｌｉ）内において、３Ｄアノテーション５３との交線部分に２Ｄ基本アノテーション５２Ａが付与される。なお、図２４は、２Ｄ基本アノテーション５２Ａがそれぞれ付与された一連の２次元スライス画像２２０を示す図である。

このような状況においては、上述したように、或る２次元スライス画像２２０（断面画像Ｌ５～Ｌ７，Ｌ１０～Ｌ１１）においては、３Ｄアノテーション５３との交線が１箇所にしか現れない。この場合、第１実施形態のように、当該１箇所のみに付与された２Ｄアノテーション５２（２Ｄ基本アノテーション５２Ａ）を囲むようにバウンディングボックス５５が形成されてもよい。ただし、骨折部位を含む部分領域（本来的には教師データに含ませたい部分領域）は、当該バウンディングボックス５５からはみ出してしまい、当該バウンディングボックス５５は、当該部分領域を必ずしも正確に囲むことができない。

＜２Ｄ補完アノテーション５２Ｂの付与処理等＞
そこで、この第２実施形態においては、第１実施形態と同様にして２Ｄ基本アノテーション５２Ａを付与する処理（ステップＳ５１）が実行された後、２Ｄ補完アノテーション５２Ｂを付与する処理（ステップＳ５２）がさらに実行される。

より具体的には、ステップＳ５１では、第ｉの２次元スライス画像（断面画像）Ｌｉ内において、３Ｄアノテーション５３との交線部分に２Ｄ基本アノテーション５２Ａが付与される。そして、ステップＳ５２では、第ｉの２次元スライス画像Ｌｉ内において、（必要に応じて）２Ｄ補完アノテーション５２Ｂが付与される。具体的には、第ｉの２次元スライス画像Ｌｉ内において、当該第ｉの２次元スライス画像Ｌｉの近傍の所定数（所定枚数）の２次元スライス画像のいずれかにて２Ｄ基本アノテーション５２Ａが付与された２次元位置に２Ｄ補完アノテーション５２Ｂが付与される。換言すれば、第ｉの２次元スライス画像Ｌｉ内において、当該第ｉの２次元スライス画像Ｌｉの近傍の所定数の２次元スライス画像のいずれかにて「対応２次元位置」（３Ｄアノテーション５３との交線部分）であると判定された２次元位置に２Ｄ補完アノテーション５２Ｂが付与される。

当該所定枚数は、たとえば、数枚～数十枚である。また、当該所定枚数の２次元スライス画像は、たとえば、（２＊Ｎ）枚（ただし、Ｎは自然数）の２次元スライス画像Ｌ（ｉ－Ｎ）～Ｌ（ｉ－１），Ｌ（ｉ＋１）～Ｌ（ｉ＋Ｎ）である。より詳細には、Ｎ＝３の場合、ｉ＝８のときには、２次元スライス画像Ｌ８内において、その近傍の６枚の２次元スライス画像Ｌ５～Ｌ７，Ｌ９～Ｌ１１にて２Ｄ基本アノテーション５２Ａが付与された２次元位置に２Ｄ補完アノテーション５２Ｂが付与される。また、Ｎ＝３の場合、ｉ＝５のときには、２次元スライス画像Ｌ８内において、その近傍の６枚の２次元スライス画像Ｌ２～Ｌ４，Ｌ６～Ｌ８にて２Ｄ基本アノテーション５２Ａが付与された２次元位置に２Ｄ補完アノテーション５２Ｂが付与される。以下では、当該所定枚数が前後の３枚ずつ（合計６枚）であるとして説明する。

図２５は、ステップＳ５２の処理の前後の複数の２次元スライス画像を示す図である。図２５の上段には、図２４と同様、（ステップＳ５１にて）２Ｄ基本アノテーション５２Ａのみが付与された各２次元スライス画像２２０（断面画像Ｌ５～Ｌ１１）が示されている。また、図２５の下段には、更に２Ｄ補完アノテーション５２Ｂが付与された当該各２次元スライス画像２２０が示されている。換言すれば、図２５の下段の各２次元スライス画像２２０には、２Ｄ拡張アノテーション５２Ｃ（２Ｄ基本アノテーション５２Ａと２Ｄ補完アノテーション５２Ｂとの双方を含む２Ｄアノテーション５２）が付与されている。

図２５に示されるように、コントローラ３１は、ステップＳ５２において、各２次元スライス画像２２０（２Ｄ基本アノテーション５２Ａが付与された２次元スライス画像等）において、２Ｄ補完アノテーション５２Ｂを補完的に付与する（図２５の下段参照）。

図２５の下段と上段とを比較すると判るように、２Ｄ補完アノテーション５２Ｂは、各２次元スライス画像２２０において、当該各２次元スライス画像２２０の近傍の所定数（所定枚数）のスライス画像のいずれかにて２Ｄ基本アノテーション５２Ａが付与された２次元位置に（自動的に）付与される。

たとえば、断面画像Ｌ５（２次元スライス画像２２０）において、下端付近の２Ｄ基本アノテーション５２Ａに加えて、２Ｄ補完アノテーション５２Ｂが（右端付近に）付与される。

断面画像Ｌ５の近傍の合計６枚の断面画像Ｌ２～Ｌ４，Ｌ６～Ｌ８には、それぞれ２Ｄ基本アノテーション５２Ａが既に（ステップＳ５１にて）付与されている（図２５の上段参照）。ステップＳ５２では、これらの断面画像Ｌ２～Ｌ４，Ｌ６～Ｌ８にて付与されている２Ｄ基本アノテーション５２Ａの全てが、２Ｄ補完アノテーション５２Ｂとして、断面画像Ｌ５内の対応位置に付与される。

具体的には、近傍の断面画像Ｌ８の右端付近に２Ｄ基本アノテーション５２Ａが付与されている場合、断面画像Ｌ５の右端付近の位置（近傍の断面画像Ｌ８にて２Ｄ基本アノテーション５２Ａが付与されている位置）に２Ｄ補完アノテーション５２Ｂがさらに付与される。換言すれば、断面画像Ｌ５内において、当該断面画像Ｌ５の２Ｄ基本アノテーション５２Ａの位置（下端付近）とは異なる２次元位置（右端付近）に２Ｄ補完アノテーション５２Ｂが補完的に付与される（図２５の下段参照）。なお、図２５においては、２Ｄ基本アノテーション５２Ａとほぼ同じ位置に付与される２Ｄ補完アノテーション５２Ｂは適宜省略されている。たとえば、断面画像Ｌ５内の下端付近に付与される２Ｄ補完アノテーション５２Ｂ（近傍の断面画像Ｌ６内の下端付近にて付与されている２Ｄ基本アノテーション５２Ａに対応して付与される２Ｄ補完アノテーション５２Ｂ）は、省略されている。

断面画像Ｌ６，Ｌ７についても同様である。具体的には、各断面画像Ｌ６，Ｌ７において、当該各断面画像Ｌ６，Ｌ７の右端付近の位置（近傍の断面画像Ｌ８にて２Ｄ基本アノテーション５２Ａが付与されている位置）に２Ｄ補完アノテーション５２Ｂが補完的に付与される。

また、断面画像Ｌ１０においては、右端付近の２Ｄ基本アノテーション５２Ａに加えて、２Ｄ補完アノテーション５２Ｂが（下端付近等に）付与される。断面画像Ｌ１０の近傍の３枚ずつの断面画像Ｌ７～Ｌ９，Ｌ１１～Ｌ１３には、それぞれ２Ｄ基本アノテーション５２Ａが既に（ステップＳ５１にて）付与されている（図２５の上段参照）。ステップＳ５２では、これらの断面画像Ｌ７～Ｌ９，Ｌ１１～Ｌ１３にて付与されている２Ｄ基本アノテーション５２Ａの全てが、２Ｄ補完アノテーション５２Ｂとして、断面画像Ｌ５内の対応位置に付与される。この結果、特に、断面画像Ｌ１０の下端付近にも２Ｄ補完アノテーション５２Ｂが付与される（図２５の下段参照）。

断面画像Ｌ１１についても同様である。断面画像Ｌ１１の下端付近の位置（断面画像Ｌ８，Ｌ９にて２Ｄ基本アノテーション５２Ａが付与されている位置）に２Ｄ補完アノテーション５２Ｂが付与される。

他の断面画像Ｌｉについても同様である。各断面画像Ｌｉにおいて、近傍の所定枚数の断面画像（２次元スライス画像２２０）にて２Ｄ基本アノテーション５２Ａが付与されている位置（対応位置）に、２Ｄ補完アノテーション５２Ｂが付与される。換言すれば、２Ｄアノテーション５２が補完される。

このように、ステップＳ５１では、第ｉの２次元スライス画像Ｌｉ内において、３Ｄアノテーション５３との交線部分に２Ｄ基本アノテーション５２Ａが付与される。そして、ステップＳ５２では、第ｉの２次元スライス画像Ｌｉ内において、当該第ｉの２次元スライス画像Ｌｉの近傍の所定数の２次元スライス画像（Ｌ（ｉ－Ｎ）～Ｌ（ｉ－１），Ｌ（ｉ＋１）～Ｌ（ｉ＋Ｎ））のいずれかにて「対応２次元位置」（３Ｄアノテーション５３との交線部分）であると判定された２次元位置に２Ｄ補完アノテーション５２Ｂが付与される。換言すれば、一のスライス画像の近傍の所定数のスライス画像に付与された２Ｄ基本アノテーション５２Ａを用いて、当該一のスライス画像に対して２Ｄ補完アノテーション５２Ｂが補完的に付与される。

この結果、ステップＳ５１，Ｓ５２において、２Ｄアノテーション５２（２Ｄ拡張アノテーション５２Ｃ）が次のように付与される。当該２Ｄアノテーション５２は、各２次元スライス画像Ｌｉ内において、当該各２次元スライス画像Ｌｉとその近傍の所定数の２次元スライス画像とのいずれかにて３Ｄアノテーションの３次元位置に対応する２次元位置（対応２次元位置）であると判定された全ての２次元位置に付与される。

より詳細には、第ｉの２次元スライス画像Ｌｉ内において、当該第ｉの２次元スライス画像Ｌｉを含む所定範囲の２次元スライス画像（たとえば、（Ｌ（ｉ－Ｎ）～Ｌ（ｉ－１），Ｌｉ，Ｌ（ｉ＋１）～Ｌ（ｉ＋Ｎ）））のいずれかにて「対応２次元位置」（３Ｄアノテーション５３との交線部分）であると判定された全ての２次元位置に、２Ｄ拡張アノテーション５２Ｃが付与される。換言すれば、第ｉの２次元スライス画像Ｌｉ内において、第ｉの２次元スライス画像Ｌｉを含む近傍範囲の合計（２＊Ｎ＋１）個の２次元スライス画像における２Ｄ基本アノテーション５２Ａの論理和集合として２Ｄ拡張アノテーション５２Ｃが付与される。

その後、ステップＳ５３において、２Ｄ基本アノテーション５２Ａと２Ｄ補完アノテーション５２Ｂとの双方に応じたバウンディングボックス５５が形成される。当該バウンディングボックス５５は、当該双方を包囲する外接矩形として形成される。そして、当該バウンディングボックス５５内の部分画像が、骨折部位を含む部分画像として特定される。換言すれば、複数の２次元スライス画像のうちそれぞれ２以上の２Ｄアノテーションが付与された少なくとも一部の２次元スライス画像内の部分画像であって、当該２以上の２Ｄアノテーションに応じたバウンディングボックス内の部分画像が、骨折部位を含む部分画像として特定される。

この結果、図２５の下段に示されるように、断面画像Ｌ８，Ｌ９のみならず、断面画像Ｌ５～Ｌ７，Ｌ１０，Ｌ１１においても、それぞれのバウンディングボックス５５が骨折部分（骨折線等）を適切に包囲するように形成されている。換言すれば、骨折部分をはみ出させないように含む適切な部分画像が教師データとして抽出されている。

さらに、当該部分画像を教師データとして利用して、機械学習が実行される（図６のステップＳ２１等参照）。当該機械学習によって、学習済みモデル４２０が生成される（図３も参照）。

また、機械学習によって生成された学習済みモデル４２０を利用して、機械学習における推論処理が実行される（図４および図７参照）。

以上のような態様においては、２Ｄアノテーション５２は、複数の２次元スライス画像２２０のうち３Ｄアノテーション５３との交線を有する少なくとも１つのスライス画像内において、当該３Ｄアノテーションの３次元位置に対応する２次元位置（対応２次元位置）に付与される。さらに、２Ｄアノテーション５２は、各２次元スライス画像内において、当該各２次元スライス画像の近傍の所定数の２次元スライス画像のいずれかにて対応２次元位置であると判定された２次元位置にも付与される。すなわち、２Ｄアノテーション５２として、２Ｄ基本アノテーション５２Ａと２Ｄ補完アノテーション５２Ｂとの双方が付与される。換言すれば、２Ｄアノテーション５２として、２Ｄ拡張アノテーション５２Ｃが付与される。

このような態様によれば、２Ｄ補完アノテーション５２Ｂもが付与される。したがって、２Ｄ基本アノテーション５２Ａのみが付与される場合に比べて、より適切な２Ｄアノテーション５２を付与することが可能である。ひいては、より適切な教師データを生成することが可能である。また、このような適切な教師データを用いて機械学習を行うことによれば、学習モデルにおけるパラメータの適正化を図ること、換言すれば、学習済みモデルを用いた推論処理の精度を向上することが可能である。

＜３．変形例等＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

たとえば、上記各実施形態においては、３Ｄアノテーション５３は所定の幅を有する（細長い面状の領域である）ものとし、各２次元スライス画像２２０と３Ｄアノテーション５３との交線部分に２Ｄアノテーション５２が付与されているが、これに限定されない。具体的には、３Ｄアノテーション５３は線状のものであるとし、各２次元スライス画像２２０と３Ｄアノテーション５３との交点部分に２Ｄアノテーション５２が付与されてもよい。換言すれば、３Ｄアノテーション５３の３次元位置に対応する２次元位置は、２次元スライス画像２２０と３Ｄアノテーションとの交線部分であってもよく、２次元スライス画像２２０と３Ｄアノテーションとの交点部分等であってもよい。

また、上記各実施形態では、アノテーションライン５１（所定幅を有する細長い面状領域）の描画操作に基づいて、３Ｄアノテーション５３が付与されているが、これに限定されない。たとえば、投影画像３３２（図１４および図１５等参照）内でのアノテーションライン５１の描画操作に代えて或いはアノテーションライン５１の描画操作とともに、投影画像３３２内での閉曲線（円、楕円、多角形等）の描画操作に基づいて３Ｄアノテーション５３が付与されてもよい。詳細には、当該閉曲線（閉直線を含む）で囲まれた閉領域内のポリゴンが骨折箇所を示すものとして指定されてもよい。そして、当該各ポリゴンの３次元位置が３Ｄアノテーション５３の３次元位置として特定されてもよい。さらに、このような閉領域の描画操作に応じた３Ｄアノテーション５３（面状の拡がりを有する領域）と各２次元スライス画像２２０との交線部分に２Ｄアノテーション５２が付与されてもよい。

また、上記第２実施形態においては、２Ｄ基本アノテーションと２Ｄ補完アノテーションとの両者が順次に付与されている（Ｓ５１，Ｓ５２）。詳細には、複数の２次元スライス画像２２０に関して２Ｄ基本アノテーション５２Ａの付与処理（ステップＳ５１）が先ず（事前に）施された後に、各２次元スライス画像に対して２Ｄ補完アノテーション５２Ｂを補充する処理（ステップＳ５２）が施されている。しかしながら、本発明は、これに限定されず、当該両者が同時並列的に付与されてもよい。

たとえば、ステップＳ５１の処理が行われていない状態で、各２次元スライス画像Ｌｉ内において、複数の２Ｄ拡張アノテーション５２Ｃが一度に（纏めて）付与されるようにしてもよい。

詳細には、コントローラ３１は、第ｉの２次元スライス画像Ｌｉを含む所定範囲の２次元スライス画像（たとえば、（Ｌ（ｉ－Ｎ）～Ｌ（ｉ－１），Ｌｉ，Ｌ（ｉ＋１）～Ｌ（ｉ＋Ｎ）））において、「対応２次元位置」（３Ｄアノテーション５３との交線部分）が存在するか否かを判定する。そして、コントローラ３１は、当該所定範囲（近傍範囲）の２次元スライス画像のいずれかにて「対応２次元位置」であると判定された全ての２次元位置（第ｉの２次元スライス画像Ｌｉ内の位置）に、２Ｄ拡張アノテーション５２Ｃを付与する。さらに、コントローラ３１は、以上のような処理を全てのｉ（全ての２次元スライス画像２２０）について繰り返し実行する。

このように、２次元スライス画像Ｌｉごとに、当該２次元スライス画像Ｌｉ自身をも含む近傍範囲の２次元スライス画像における「対応２次元位置」が求められ、それらの論理和集合で構成される２Ｄアノテーション５２（２Ｄ拡張アノテーション５２Ｃ）が纏めて付与されてもよい。すなわち、複数の２次元スライス画像２２０に対して２Ｄ基本アノテーション５２Ａを事前に付与した後に２Ｄ補完アノテーション５２Ｂを付与する手法とは異なる手法で、２Ｄ拡張アノテーション５２Ｃが付与されてもよい。

このような態様によっても、２Ｄ基本アノテーション５２Ａと２Ｄ補完アノテーション５２Ｂとを含む２Ｄ拡張アノテーション５２Ｃが付与される。

また、上記第２実施形態等においては、各２次元スライス画像Ｌｉに関して前後同数（Ｎ枚ずつ）の複数の２次元スライス画像の範囲に亘る論理和集合（対応２次元位置の論理和集合）が求められている。しかしながら、本発明は、これに限定されない。たとえば、各２次元スライス画像Ｌｉに関して、前後の枚数が互いに異なる範囲（複数の２次元スライス画像の範囲）に亘る論理和集合が求められてもよい。

１０ 画像処理システム
２０ スライス画像生成装置
３０ 画像処理装置
５１ アノテーションライン
５２ ２Ｄアノテーション
５２Ａ ２Ｄ基本アノテーション
５２Ｂ ２Ｄ補完アノテーション
５２Ｃ ２Ｄ拡張アノテーション
５３ ３Ｄアノテーション
５５，５８ バウンディングボックス
７０ 投影面
２１０ スライス画像群
２２０，２６０，Ｌｉ （教師データ用の）２次元スライス画像（断面画像）
２７０，Ｍｉ （推論処理対象の）２次元スライス画像
２８０ （推論結果を含む）２次元スライス画像
３３０，３４０ ３次元表面データ
３３２ 投影画像
４１０ 学習モデル
４２０ 学習済みモデル

Claims (22)

1. 複数の２次元スライス画像に基づき３次元表面データを生成する制御部と、
   前記３次元表面データに対するアノテーションであって３次元位置情報を有するアノテーションである３Ｄアノテーションの付与操作を受け付ける受付部と、
   を備えることを特徴とする画像処理装置。
2. 前記受付部は、前記複数の２次元スライス画像のうちの２以上の２次元スライス画像に跨がる範囲に亘る３Ｄアノテーションの付与操作を受け付けることを特徴とする、請求項１に記載の画像処理装置。
3. 前記受付部は、前記３次元表面データを投影した投影面上における２次元位置の指定操作を、前記３Ｄアノテーションの位置の指定操作として受け付け、
   前記制御部は、前記投影面上での２次元位置を前記３次元表面データ上での３次元位置に変換し、前記３Ｄアノテーションの３次元位置情報を生成することを特徴とする、請求項１または請求項２に記載の画像処理装置。
4. 前記制御部は、前記３次元表面データに対するアノテーションを反映したデータを教師データとして利用して、機械学習を実行することを特徴とする、請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記制御部は、
   前記３次元表面データに対する前記３Ｄアノテーションを操作ユーザの操作に応じて付与する第１処理を実行し、
   前記３Ｄアノテーションに基づき、前記複数の２次元スライス画像のうちの少なくとも１つの２次元スライス画像内において、２次元位置情報を有するアノテーションである２Ｄアノテーションを自動的に付与する第２処理を実行し、
   前記２Ｄアノテーションが付与された前記少なくとも１つの２次元スライス画像に基づくデータを前記教師データとして利用して、前記機械学習を実行することを特徴とする、請求項４に記載の画像処理装置。
6. 前記２Ｄアノテーションは、
   前記３Ｄアノテーションの３次元位置に対応する前記少なくとも１つの２次元スライス画像内において、前記３Ｄアノテーションの３次元位置に対応する２次元位置である対応２次元位置に付与されるとともに、
   各２次元スライス画像内において、当該各２次元スライス画像の近傍の所定数の２次元スライス画像のいずれかにて前記対応２次元位置であると判定された２次元位置にも付与されることを特徴とする、請求項５に記載の画像処理装置。
7. 前記２Ｄアノテーションは、
   前記３Ｄアノテーションの３次元位置に対応する前記少なくとも１つの２次元スライス画像内において、前記３次元位置に対応する２次元位置に付与される２Ｄ基本アノテーションと、
   前記２Ｄ基本アノテーションを補完する２Ｄ補完アノテーションであって、各２次元スライス画像において、前記各２次元スライス画像の近傍の所定数のスライス画像のいずれかにて前記２Ｄ基本アノテーションが付与された２次元位置に付与される２Ｄ補完アノテーションと、
   を含むことを特徴とする、請求項５に記載の画像処理装置。
8. 前記制御部は、前記２Ｄアノテーションとして、前記３Ｄアノテーションの前記３次元位置に対応する２次元位置である対応２次元位置のみならず当該対応２次元位置以外にも付与される２Ｄ拡張アノテーションを付与し、
   前記２Ｄ拡張アノテーションは、
   前記３Ｄアノテーションの前記３次元位置に対応する前記少なくとも１つの２次元スライス画像内において、前記３次元位置に対応する２次元位置に付与される２Ｄ基本アノテーションと、
   各２次元スライス画像において、当該各２次元スライス画像の近傍の所定数の２次元スライス画像のいずれかにて前記２Ｄ基本アノテーションが付与された２次元位置に付与される２Ｄ補完アノテーションと、
   を含むことを特徴とする、請求項５に記載の画像処理装置。
9. 前記２Ｄアノテーションは、各２次元スライス画像内において、当該各２次元スライス画像とその近傍の所定数の２次元スライス画像とのいずれかにて前記３Ｄアノテーションの３次元位置に対応する２次元位置であると判定された全ての２次元位置に付与されることを特徴とする、請求項５に記載の画像処理装置。
10. 前記制御部は、前記複数の２次元スライス画像のうちそれぞれ２以上の２Ｄアノテーションが付与された少なくとも一部の２次元スライス画像内の部分画像であって前記２以上の２Ｄアノテーションに応じたバウンディングボックス内の部分画像を前記教師データとして利用して、前記機械学習を実行することを特徴とする、請求項６から請求項９のいずれかに記載の画像処理装置。
11. 前記制御部は、前記複数の２次元スライス画像のうち少なくとも一部の２次元スライス画像内の部分画像であって、前記２Ｄ基本アノテーションと前記２Ｄ補完アノテーションとの双方に応じたバウンディングボックス内の部分画像を前記教師データとして利用して、前記機械学習を実行することを特徴とする、請求項７または請求項８に記載の画像処理装置。
12. 前記制御部は、前記機械学習によって生成された学習済みモデルを利用して、推論処理を実行することを特徴とする、請求項４から請求項１１のいずれかに記載の画像処理装置。
13. 前記３次元表面データは、骨の３次元表面形状を表すデータであることを特徴とする、請求項１から請求項１２のいずれかに記載の画像処理装置。
14. 前記複数の２次元スライス画像は、骨折状態を有する被検体のスライス画像であり、
    前記３次元表面データは、骨の３次元表面形状を表すデータであり、
    前記受付部は、骨折箇所を示す前記３Ｄアノテーションの付与操作を受け付け、
    前記制御部は、前記３次元表面データに対するアノテーションを反映したデータを前記教師データとして利用して、前記機械学習を実行し、
    前記制御部は、前記機械学習によって生成された学習済みモデルを利用して、骨折検知に関する推論処理を実行することを特徴とする、請求項４から請求項１１のいずれかに記載の画像処理装置。
15. 請求項１から請求項１４のいずれかに記載の画像処理装置と、
    前記複数の２次元スライス画像を生成する画像生成装置と、
    を備えることを特徴とする画像処理システム。
16. ａ）複数の２次元スライス画像に基づいて生成された３次元表面データに対するアノテーションの付与操作を受け付けるステップと、
    ｂ）前記付与操作に応じて、前記３次元表面データに関する３次元モデルの表面に、３次元位置情報を有するアノテーションを付与するステップ、
    をコンピュータに実行させるためのプログラム。
17. ａ）複数の２次元スライス画像に基づいて生成された３次元表面データに対するアノテーションの付与操作を受け付けるステップと、
    ｂ）前記付与操作に応じて、前記３次元表面データに関する３次元モデルの表面に、３次元位置情報を有するアノテーションを付与するステップ、
    を備えることを特徴とする、アノテーション付与方法。
18. ａ）複数の２次元スライス画像に基づいて生成された３次元表面データに対するアノテーションの付与操作を受け付けるステップと、
    ｂ）前記３次元表面データに対する前記アノテーションを反映したデータを教師データとして利用して、機械学習を実行して学習済みモデルを生成するステップと、
    を備えることを特徴とする、学習済みモデルの製造方法。
19. ｃ）前記付与操作に応じて、前記３次元表面データに対する前記アノテーションであって３次元位置情報を有するアノテーションである３Ｄアノテーションを付与するステップと、
    ｄ）前記３Ｄアノテーションに基づき、前記複数の２次元スライス画像のうちの少なくとも１つのスライス画像内において、２次元位置情報を有するアノテーションである２Ｄアノテーションを自動的に付与するステップと、
    をさらに備え、
    前記ステップｂ）は、
    ｂ－１）前記２Ｄアノテーションが付与された前記少なくとも１つの２次元スライス画像を前記教師データとして利用して、前記機械学習を実行するステップ、
    を有することを特徴とする、請求項１８に記載の学習済みモデルの製造方法。
20. 前記ステップｄ）において、前記２Ｄアノテーションは、
    前記少なくとも１つのスライス画像内において、前記３Ｄアノテーションの３次元位置に対応する２次元位置である対応２次元位置に付与されるとともに、
    各２次元スライス画像内において、当該各２次元スライス画像の近傍の所定数の２次元スライス画像のいずれかにて前記対応２次元位置であると判定された２次元位置にも付与されることを特徴とする、請求項１９に記載の学習済みモデルの製造方法。
21. 前記ステップｂ）は、
    ｂ－１）前記複数の２次元スライス画像のうちそれぞれ２以上の２Ｄアノテーションが付与された少なくとも一部の２次元スライス画像内の部分画像であって前記２以上の２Ｄアノテーションに応じたバウンディングボックス内の部分画像を前記教師データとして利用して、前記機械学習を実行するステップ、
    を有することを特徴とする、請求項２０に記載の学習済みモデルの製造方法。
22. 請求項１８から請求項２１のいずれかに記載の学習済みモデルの製造方法を用いて製造された学習済みモデル。

Images