JP2020175184A - ２ｄ解剖学的画像から３ｄ解剖学的画像を再構成するシステムおよび方法 - Google Patents

Abstract

【課題】１枚または複数の２Ｄ画像から３Ｄ点群を再構成するようにニューラルネットワークを訓練する方法を提供する。【解決手段】対象の解剖学的構造を描写している３Ｄ解剖学的画像から、複数の点群を抽出し１０４、その１つをテンプレートとして選択する１０６。このテンプレートを複数の点群それぞれと非剛体位置合わせし、それぞれの点群の形状を有しかつテンプレートの座標の順序を維持するそれぞれの歪んだテンプレートを計算する１０８。歪んだテンプレートが座標の順序に関して一貫性を維持し、対応する３Ｄ解剖学的画像に描写されている対象の解剖学的構造を描写している２Ｄ解剖学的画像を受信し１１０、１枚または複数の２Ｄ解剖学的画像を３Ｄ点群にマッピングするように、歪んだテンプレートおよび対応する２Ｄ画像の訓練データセットに従ってニューラルネットワークを訓練する１１４。【選択図】図１

Description

本発明は、そのいくつかの実施形態においては、３Ｄ画像の再構成に関し、より詳細には、これに限定されないが、２Ｄ解剖学的画像から３Ｄ解剖学的画像の再構成に関する。

３Ｄ再構成は、病態の診断および手術の計画（特に骨格に関連する状態）において重要なツールである。最も優れており広く普及している３Ｄ撮影技術は、ＣＴである。ＣＴは、人体の内部構造の高解像度情報を生成する正確な３Ｄ撮影技術である。この能力は代償を伴う。すなわちＣＴスキャンは、患者への高い放射線量を引き起こし、比較的高額であり、またＣＴスキャナーは固定されておりスキャン中に患者の姿勢が制約される（これは場合によっては重要でありうる）。

本出願は、米国特許出願第１６／３８７，５９９号（出願日：２０１９年４月１８日）の優先権の利益を主張し、この文書の内容はその全体が参照により本明細書に組み込まれている。

第１の態様によれば、少なくとも１枚の２Ｄ画像から３Ｄ点群を再構成するようにニューラルネットワークを訓練する方法は、対象の解剖学的構造を描写している複数の３Ｄ解剖学的画像から、それぞれが座標の順序付けられたリストによって表現される複数の点群、を抽出するステップと、複数の点群の１つをテンプレートとして選択するステップと、このテンプレートを複数の点群それぞれと非剛体位置合わせし（non-rigidly registering）、それぞれの点群の形状を有しかつテンプレートの座標の順序を維持するそれぞれの歪んだテンプレート（warped template）を計算するステップであって、複数の歪んだテンプレートが、座標の順序に関して一貫性がある、ステップと、対応する３Ｄ解剖学的画像に描写されている対象の解剖学的構造を描写している複数の２Ｄ解剖学的画像を受信するステップと、少なくとも１枚の２Ｄ解剖学的画像を３Ｄ点群にマッピングするように、歪んだテンプレートおよび対応する２Ｄ画像の訓練データセットに従って、ニューラルネットワークを訓練するステップと、を含む。

第２の態様によれば、患者の対象の解剖学的構造の外科治療の方法は、対象患者の対象の解剖学的構造を描写している２Ｄ解剖学的画像を取得するステップと、複数の歪んだテンプレートおよび対応する２Ｄ画像の訓練データセットに従って訓練された訓練済みニューラルネットワークに、２Ｄ解剖学的画像を入力するステップであって、複数の歪んだテンプレートが、複数の３Ｄ解剖学的画像から抽出される複数の点群から作成され、各点群が、座標の順序付けられたリストによって表現され、複数の点群の１つがテンプレートとして選択され、このテンプレートが複数の点群のそれぞれと非剛体位置合わせされて、それぞれがそれぞれの点群の形状を有しかつテンプレートの座標の順序を維持する複数の歪んだテンプレートが計算され、複数の歪んだテンプレートが、座標の順序に関して一貫性がある、ステップと、訓練済みニューラルネットワークによって、対象の解剖学的構造の再構成された３Ｄ点群モデルを出力するステップであって、患者の対象の解剖学的構造の外科治療が、対象の解剖学的構造の再構成された３Ｄ点群モデルに従って計画される、ステップと、を含む。

第３の態様によれば、２Ｄ画像から３Ｄ点群を再構成するようにニューラルネットワークを訓練するシステムは、少なくとも１つのハードウェアプロセッサであって、以下、すなわち、対象の解剖学的構造を描写している複数の３Ｄ解剖学的画像から、それぞれが座標の順序付けられたリストによって表現される複数の点群を抽出するステップと、複数の点群の１つをテンプレートとして選択するステップと、このテンプレートを複数の点群のそれぞれと非剛体位置合わせして、それぞれの点群の形状を有しかつテンプレートの座標の順序を維持するそれぞれの歪んだテンプレートを計算するステップであって、複数の歪んだテンプレートが、座標の順序に関して一貫性がある、ステップと、対応する３Ｄ解剖学的画像に描写されている対象の解剖学的構造を描写している複数の２Ｄ解剖学的画像を受信するステップと、少なくとも１枚の２Ｄ解剖学的画像を３Ｄ点群にマッピングするように、歪んだテンプレートおよび対応する２Ｄ画像の訓練データセットに従って、ニューラルネットワークを訓練するステップ、のためのコード、を実行する、少なくとも１つのハードウェアプロセッサ、を備えている。

第１の態様、第２の態様、および第３の態様のさらなる実装形態においては、複数の２Ｄ解剖学的画像は、対応する３Ｄ解剖学的画像のそれぞれから計算される複数のエミュレートされた２Ｄ解剖学的画像を含み、複数のエミュレートされた２Ｄ解剖学的画像は、エミュレートされた２Ｄ解剖学的画像を仮想的に撮影する仮想２Ｄセンサーの向きに対応する方向に沿って、対応する３Ｄ解剖学的画像の撮影値を集積する（aggregate）ことによって計算される。

第１の態様、第２の態様、および第３の態様のさらなる実装形態においては、複数のエミュレートされた２Ｄ解剖学的画像は、患者に関連する事前定義される向きにおけるＸ線源およびＸ線センサーアレイによって撮影される対象の２Ｄ Ｘ線画像に相当するように計算される。

第１の態様、第２の態様、および第３の態様のさらなる実装形態においては、複数の３Ｄ解剖学的画像から抽出される複数の点群のそれぞれは、頂点の座標順序および頂点の結合によって表現される３Ｄポリゴンメッシュを表している。

第１の態様、第２の態様、および第３の態様のさらなる実装形態においては、複数の点群の各点群は、それぞれの３Ｄ解剖学的画像の複数の２Ｄスライスの各２Ｄスライスにおいて、描写されている対象の解剖学的構造の２Ｄセグメンテーションを計算するステップと、複数の２Ｄスライスにおいて計算された複数の２Ｄセグメンテーションを積層させるステップと、積層された複数の２Ｄセグメンテーションから、対象の解剖学的構造の３Ｄ ２値配列（binary array）を取得するステップと、この３Ｄ ２値配列から点群を計算するステップと、によって、複数の３Ｄ解剖学的画像のそれぞれの３Ｄ解剖学的画像から抽出される。

第１の態様、第２の態様、および第３の態様のさらなる実装形態においては、描写されている対象の解剖学的構造の２Ｄセグメンテーションは、それぞれのピクセルが対象の解剖学的構造を描写している、ピクセルごとの確率、を計算するセグメンテーションニューラルネットワークによって、それぞれの２Ｄスライスから切り出され、この場合、セグメンテーションニューラルネットワークは、複数のサンプル患者の複数の３Ｄ解剖学的画像それぞれの複数の２Ｄスライスの訓練データセットで訓練されており、各２Ｄスライスは、対象の解剖学的構造のセグメンテーションの指示情報によってアノテートされている。

第１の態様、第２の態様、および第３の態様のさらなる実装形態においては、非剛体位置合わせは、コヒーレントポイントドリフト（coherent point drift）および非剛体の反復最近接点（non-rigid iterative closest points）から選択される非剛体位置合わせプロセス、に従って実行される。

第１の態様、第２の態様、および第３の態様のさらなる実装形態においては、対象の解剖学的構造は、股関節、膝関節、および肩関節からなる群から選択される、関節および関連する骨、を含む。

第１の態様、第２の態様、および第３の態様のさらなる実装形態においては、対象の解剖学的構造は、骨を含む。

第１の態様、第２の態様、および第３の態様のさらなる実装形態においては、対象の解剖学的構造は、大腿骨を含む。

第１の態様、第２の態様、および第３の態様のさらなる実装形態においては、対象の解剖学的構造は、骨の内面を含む。

第１の態様、第２の態様、および第３の態様のさらなる実装形態においては、内面は、皮質骨の内面を含む。

第１の態様、第２の態様、および第３の態様のさらなる実装形態においては、内面は、長骨の髄腔の内面）である。

第１の態様、第２の態様、および第３の態様のさらなる実装形態においては、対象の解剖学的構造の再構成された３Ｄ点群モデルは、対象の解剖学的構造の内側表面を含む。

第１の態様、第２の態様、および第３の態様のさらなる実装形態においては、対象の解剖学的構造は、長骨を含み、再構成された３Ｄ点群に描写されている内側表面は、長骨の髄腔の内面を含む。

第１の態様、第２の態様、および第３の態様のさらなる実装形態においては、２Ｄ解剖学的画像は、Ｘ線画像を含む。

第１の態様、第２の態様、および第３の態様のさらなる実装形態においては、再構成された３Ｄモデルを２Ｄ画像の平面上に投影するための投影を計算するステップであって、２Ｄ解剖学的画像が、既知の寸法を有する較正オブジェクトの描写を含む、ステップと、投影のスケールパラメータを計算するステップと、再構成された３Ｄモデルを、スケールパラメータに従って元の任意の単位からピクセル単位にスケーリングするステップと、ピクセル単位からミリメートルに変換するための変換パラメータを、２Ｄ解剖学的画像に描写されている較正オブジェクトに従って計算するステップと、再構成された３Ｄ画像のピクセル単位を、計算された変換パラメータに従ってミリメートルに変換するステップと、をさらに含む。

第１の態様、第２の態様、および第３の態様のさらなる実装形態においては、対象の解剖学的構造は、少なくとも１つの骨を含み、対象の解剖学的構造の再構成された３Ｄ点群モデルに従って計画される患者の外科治療は、３Ｄ点群モデルによって描写されている少なくとも１つの骨の少なくとも１つの寸法に従って、関節置換人工装具（joint replacement prosthetic）および骨折修復埋め込み器具（fracture repair implantable device）の少なくとも一方を選択するステップを含む。

第１の態様、第２の態様、および第３の態様のさらなる実装形態においては、対象の解剖学的構造の再構成された３Ｄ点群モデルに従って計画される患者の外科治療は、３Ｄ点群モデルを使用して外科的処置をシミュレートするステップを含む。

特に定義しない限り、本明細書で使用する全ての技術および／または科学用語は、本発明が属する技術分野の当業者により通常理解されるものと同じ意味を有する。本明細書に記載のものと同様のまたは等価な方法および材料を、本発明の実施形態の実践または試験に使用することができるが、例示的な方法および／または材料を下記に記載する。矛盾する場合、定義を含む特許明細書が優先する。加えて、材料、方法、および実施例は単なる例示であり、必ずしも限定を意図するものではない。

本発明のいくつかの実施形態について、その例示のみを目的として添付の図面を参照して本明細書に記載する。以下、特に図面を詳細に参照して示す細部は、例示を目的とし、また本発明の実施形態の詳細な説明を目的とすることを強調する。同様に、図面と共に説明を見ることで、本発明の実施形態をどのように実践し得るかが当業者には明らかとなる。

本発明のいくつかの実施形態による、対象の解剖学的構造を描写している１枚または複数の２Ｄ画像から、対象の解剖学的構造を描写している３Ｄ点群を再構成するようにニューラルネットワークを訓練する方法の流れ図である。 本発明のいくつかの実施形態による、対象の解剖学的構造を描写している１枚または複数の２Ｄ画像から、対象の解剖学的構造を描写している３Ｄ点群を再構成するようにニューラルネットワークを訓練する、および／または、ニューラルネットワークによって出力される対象の解剖学的構造の３Ｄ点群の再構成に従っての患者の対象の解剖学的構造の外科治療、のためのシステム、の構成要素のブロック図である。 本発明のいくつかの実施形態による、ニューラルネットワークによって出力される対象の解剖学的構造の３Ｄ点群の再構成に従っての、患者の対象の解剖学的構造の外科治療の方法の流れ図である。 本発明のいくつかの実施形態による、３Ｄ ＣＴスキャンボリュームからの、大腿骨（すなわち対象の解剖学的構造）の自動的なセグメンテーションの概略図である。 本発明のいくつかの実施形態による、ＣＴスキャンボリュームから生成される切り出された３次元の大腿骨およびメッシュのさまざまなビューの概略図である。 本発明のいくつかの実施形態による、２枚の２Ｄ解剖学的画像を３Ｄ点群にマッピングするためのニューラルネットワークの例示的なアーキテクチャを描いた図である。 本発明のいくつかの実施形態による、大腿部に配置された較正オブジェクトの使用を描いた２Ｄ Ｘ線画像であり、大腿骨の再構成された３Ｄ点群のサイズを任意の単位から実世界のサイズに変換するために、較正オブジェクトが自動的に検出および測定される。

本発明のいくつかの実施形態の一態様は、対象の解剖学的構造を描写している１枚または複数の２Ｄ画像、オプションとしてさまざまな向きにおける２Ｄ画像（例えばＸ線画像、および／または超音波画像）（例えば前後方向（ＡＰ）および横方向のＸ線写真）から、対象の解剖学的構造を描写している３Ｄ点群を再構成するようにニューラルネットワークを訓練するシステム、方法、装置、および／またはコード命令（すなわちメモリに格納されており（１つまたは複数の）ハードウェアプロセッサによって実行可能である）、に関する。このニューラルネットワークは、実際には、例えば、ＣＴなどの３Ｄ撮影装置を使用する代わりに、２Ｄ撮影装置から取得された２Ｄ画像を使用して、対象の解剖学的構造の３Ｄ再構成を生成することを可能にする。対象の解剖学的構造（オプションとして骨、オプションとして長骨（例えば大腿骨））を描写している３Ｄ解剖学的画像から、点群を抽出する。各画像から１つの点群を抽出することができる。各点群は、座標の順序付けられたリストによって表される。点群の１つをテンプレートとして選択する。このテンプレートを他の点群それぞれと非剛体位置合わせして、それぞれの歪んだテンプレートを計算する。歪んだテンプレートは、それぞれの点群の形状を有し、テンプレートの座標の順序を維持する。歪んだテンプレートは、座標の順序に関して一貫性がある。対象の解剖学的構造を描写している複数の２Ｄ解剖学的画像を受信する。オプションとして、２Ｄ画像は、対応する３Ｄ解剖学的画像に描写されている同じ対象の解剖学的構造を描写しており、例えば対応する３Ｄ解剖学的画像から２Ｄ画像を作成することができる。歪んだテンプレートおよび対応する２Ｄ画像の訓練データセットに従って、ニューラルネットワークを訓練する。ニューラルネットワークは、対象の解剖学的構造を描写している１枚または複数の２Ｄ解剖学的画像を受け取り、対象の解剖学的構造の３Ｄ点群の再構成を出力するように、訓練される。

本発明のいくつかの実施形態の一態様は、（１枚または複数の）２Ｄ解剖学的画像（例えばＸ線写真）に描写されている対象の解剖学的構造の３Ｄ再構成に基づく、患者の対象の解剖学的構造の外科治療のためのシステム、方法、装置、および／またはコード命令（すなわちメモリに格納されており（１つまたは複数の）ハードウェアプロセッサによって実行可能である）、に関する。対象患者の対象の解剖学的構造を描写している（１枚または複数の）２Ｄ解剖学的画像を取得する。本明細書に記載されているように、歪んだテンプレートおよび対応する２Ｄ画像の訓練データセットに従って訓練されたニューラルネットワークに、これら（１枚または複数の）２Ｄ解剖学的画像を入力する。訓練されたニューラルネットワークによって、対象の解剖学的構造の再構成された３Ｄ点群モデルが出力される。対象の解剖学的構造の再構成された３Ｄ点群モデルに従って、患者の対象の解剖学的構造の外科治療を計画する。例えば、外科医は、手術を計画する目的で３Ｄ点群を見ることができる。別の例においては、手術を計画することを支援するアプリケーション（および／または他のコードプロセス）（例えば、関節置換術および／または骨折修復のための補綴装置および／またはネイルを選択するために、および／または手術のシミュレーションのために、長骨の髄腔を測定するように設計されているアプリケーション）に、３Ｄ点群を供給する。

本明細書に記載されているシステム、方法、装置、および／またはコード命令の少なくともいくつかの実装形態は、ニューラルネットワークが２Ｄ画像を３Ｄ点群にマッピングすることを可能にすることによって、ニューラルネットワークの技術分野の改善に対処する。本明細書に記載されているシステム、方法、装置、および／またはコード命令の少なくともいくつかの実装形態は、３Ｄ点群（例えば３Ｄポリゴンメッシュ）のデータセットを使用してニューラルネットワークを訓練するという技術的課題に対処する。２Ｄ画像を３Ｄ点群にマッピングするためのニューラルネットワークを、標準的な方法を使用して訓練することはできず、なぜなら例えば３Ｄポリゴンメッシュとして表される３Ｄ点群の訓練データセットで標準的な方法を使用してニューラルネットワークを訓練することができないためである。ポリゴンメッシュ化は、表面を記述するための効率的な方法であるが、ニューラルネットワークを訓練するうえで必要である一貫性のある表現という特性が欠如している。この文脈における一貫性とは、３Ｄ構造が数のリストとして定義されているとき、そのリスト内の要素の順序は、リストが記述しているオブジェクトに影響を及ぼすことなく入れ替えることができないことを意味する。例えば、画素化されたデジタル解剖学的画像（例：Ｘ線写真）は、数の順序付けられたリストである。そのリストが入れ替えられると、入れ替えられたリストによって記述される画像は、元の画像とは異なる。ポリゴンメッシュの課題の技術的な解決策には、この特性がない。ポリゴンメッシュは、頂点の座標および頂点の結合性のリストによって記述される。そのリストが入れ替えられて、それに応じて結合性が変更されても、その入れ替えられたリストが記述するメッシュは、元のメッシュとまったく同じである。ポリゴンメッシュ表現は一貫性が欠如しているため、１つのリストの中の要素の間の空間的な関係は、類似するオブジェクトを記述する別のリストにおいて維持されない。したがって、ポリゴンメッシュ（一貫性が欠如しており要素間の空間的な関係が維持されない）で訓練されたニューラルネットワークは、不正確な結果、および／または無関係な結果を出力する。本明細書に記載されているシステム、方法、装置、および／またはコード命令の少なくともいくつかの実装形態は、訓練データセットから１つの３Ｄ点群を選択し、選択された３Ｄ点群をテンプレートとして使用することによって、この技術的課題に対する技術的解決策を提供する。テンプレートのモデル（例：Ｔと表す）を、整列するまで、異なる３Ｄ点群モデル（例：Ｍと表す）と位置合わせし（オプションとして非剛体位置合わせし）、それぞれの歪んだテンプレートを計算する。歪んだテンプレート（例：Ｗと表す）は、Ｍの形状を有し、Ｔの同じ頂点の順序も維持する。訓練データセットの中の残りの点群についてこのプロセスを繰り返すことにより、３Ｄモデルの新しいデータセット（元のデータセットにおけるモデルの形状を捕捉しており、頂点のリストの順序付けに関して一貫性がある）が作成される。歪んだテンプレートのこの新しいデータセット（頂点のリストの順序付けに関して一貫性がある）を使用して、ニューラルネットワークを訓練する。

本明細書に記載されているシステム、方法、装置、および／またはコード命令の少なくともいくつかの実装形態は、患者の対象の解剖学的構造を描写している２Ｄ画像から、患者の対象の解剖学的構造を描写している３Ｄ画像を再構成するという技術的課題に対処する。Ｘ線写真（本明細書では放射線写真とも称する）などの２Ｄ解剖学的画像は、３Ｄ ＣＴ画像と比較して、安全で信頼性が高く、安価で普及しており、より柔軟性の高い代替形態である。Ｘ線写真は、患者の身体の２次元投影であるため、伝える情報は、ＣＴスキャナーによって生成される３Ｄボリュームよりもずっと少ない。１枚または複数の２Ｄ Ｘ線画像から３Ｄ解剖学的画像を再構成することは、挑戦的な技術的課題である。

本明細書に記載されているシステム、方法、装置、および／またはコード命令の少なくともいくつかの実装形態は、２Ｄ解剖学的画像を使用して３Ｄ解剖学的画像を再構成することを可能にすることによって、画像処理の技術分野を向上させる。

本明細書に記載されているシステム、方法、装置、および／またはコード命令の少なくともいくつかの実装形態は、Ｘ線写真などの２Ｄ解剖学的画像を使用して、患者の対象の解剖学的構造の再構成された３Ｄ画像を見ることを可能にすることによって、患者の薬物治療および／または医学的治療の分野を向上させる。患者の治療（外科治療など）を、再構成された３Ｄ画像に基づいて計画する、および／またはシミュレートすることができる。３Ｄ画像の代わりに２Ｄ画像を使用することは、患者を治療するうえでのいくつかの重要な利点があり、例えば、放射線が比較的少ない、コストが低い、取得時間が早い、また３Ｄ撮影装置が利用できない場合に患者の高いクォリティの治療計画が提供される。

本明細書に記載されているシステム、方法、装置、および／またはコード命令の少なくともいくつかの実装形態は、２Ｄ解剖学的画像から３Ｄ解剖学的画像を再構成するための他のプロセスとは異なる、および／または、そのような公知のプロセスに優る利点を提供する。例えば以下のプロセスである。

ポイントベースのプロセス（point-based process）。このプロセスの最も単純な形においては、熟練者が、既知の向きの１対の放射線写真からの事前定義されるキーポイントのペアを手動でアノテートする。画像上のキーポイントのペアの位置と、Ｘ線源およびフィルム（またはセンサー）の向きとに基づいて、３Ｄ座標を推定する。事前定義されるキーポイントの３Ｄ座標のセットが与えられたとき、ジェネリック３Ｄモデルが、推定されたキーポイントの位置をこのモデルが最良に説明する（best explains）ように変形する。しかしながら、ポイントベースのモデルからは不十分な結果しか得られず、また熟練したアノテーターがアノテートするのに時間がかかる。

ポイントベース法の改良によって、（立体的なペアのみならず）１つのキーポイントを使用することも可能になった。立体的なペアの３Ｄ位置は容易に推定されるが、３次元内の１つのキーポイントの位置は直接推定することはできず、画像面上のキーポイントの位置とＸ線源とを結ぶ線の上に位置するように制約される。いくつかのこのような制約によって、ジェネリック３Ｄモデルが、入力される制約を最良に説明するように最適に変形する。このような方法では、通常ではアノテーターはより多くのキーポイントをアノテートすることができ、なぜならペア化が必須でないためである。結果として、このようなポイントベース法の出力モデルは、相対的により正確であり、アノテートするのにかかる時間も短い。しかしながら、このようなポイントベース法であっても、（個別のキーポイントの数が少ない理由で）出力の精度が極めて制限され、また特徴のない連続的な構造および／または領域（例：膝関節）に対しては良好に機能せず、オペレータの技能に大きく依存し、キーポイントを手動で検出してペア化する長いプロセスが要求される。

対照的に、本明細書に記載されているシステム、装置、方法、および／またはコード命令の少なくともいくつかの実装形態は、再構成される３Ｄ点群における点の数が多い理由できわめて正確であり、特徴のない領域に対しても良好に機能し、かつ比較的迅速である。

以下では、２Ｄ入力画像から３Ｄモデルを計算する別の方法のいくつかの例と、これら引用した方法に優る、本明細書に記載されているシステム、装置、方法、および／またはコード命令の少なくともいくつかの実装形態の改善点とについて説明する。以下の標準的なプロセスは、いずれも、（１枚または複数の）Ｘ線画像上で一連のキーポイントまたは曲線を手動または半自動的に識別した後、識別されたキーポイントおよび曲線の位置および形状を最良に説明する３Ｄオブジェクトを再構成する処理に依存する。これらの特徴は、調査者（researcher）（または別の訓練された使用者）によって選択され、目視検査によって、または従来のコンピュータビジョン技術によって識別される。説明した方法における特徴のほとんどは、手作業のプロセス（例えば、ハフ変換、動的輪郭（active contour）、Ｗａｔｅｒｓｈｅｄ法など）に基づく。それ以外のプロセスにおいて使用される特徴は、すべての手作業の特徴と同様に、（本明細書に記載されているシステム、装置、方法、および／またはコード命令の少なくともいくつかの実装形態によって行われるように）何らかの最適化プロセスによって選択またはパラメータ化されることはなく、結果として、標準的な方法の特徴は、最適には及ばない結果につながる。対照的に、本明細書に記載されているシステム、装置、方法、および／またはコード命令の少なくともいくつかの実装形態は、入力された２Ｄ画像から特徴のセットを抽出する訓練されたニューラルネットワークに基づき、これらの特徴は、３Ｄ点群を出力するタスクに最適である。ニューラルネットワークは、キーポイント検出方式、標準的なセグメンテーション方式、および／または２Ｄから３Ｄへの標準的な変換方式などの標準的な方法とは異なる。本明細書に記載されているニューラルネットワークの少なくともいくつかの実装形態は、１段階で２Ｄ画像から３Ｄ点群モデルを再構成するという課題を解決し、この方法は、ノイズおよび／または低画質に対して堅牢である、完全に自動的である、正確である、計算効率が高い、および／または、比較的短い処理時間で実行される。

輪郭ベースのプロセス。輪郭ベースのプロセスの原理は、放射線写真からの識別可能な２Ｄ輪郭を、基準オブジェクトの表面上に定義される３Ｄ曲線に関連付けることである。このプロセスは、最初に、オブジェクトの３Ｄ構造および向きを、既存のプロセスに基づいて初期推定する。初期モデルが計算されたら、オブジェクトの表面上で３Ｄ曲線を選択し、このとき３Ｄ曲線の投影がモデルの投影された輪郭と整列するように選択する（例えばこの場合、シミュレートされるＸ線は３Ｄモデルの表面に接する）。次に、これらの３Ｄ曲線を画像平面に投影する。２Ｄ曲線の各ペア（例：放射線写真の骨の輪郭および３Ｄ曲線の投影）から差分項を計算し、次にこの差分項を使用して３Ｄモデルの形状を更新する。収束に達するまでこのプロセスを繰り返す。このプロセスは、前に説明した「非立体対応ポイント」（ＮＳＣＰ：non stereo corresponding points）プロセスとは対照的に、「非立体対応輪郭」（ＮＳＣＣ：non stereo corresponding contour）とも称される。輪郭ベースのプロセスでは、（個別のキーポイントなしで）より滑らかな表面の３Ｄモデリングが可能であり、より正確なモデルが作成され、手動でのアノテーション時間が大幅に短縮される。

統計形状モデル（ＳＳＭ）ベースのプロセス。ＳＳＭプロセスでは、出力モデルが「自然に見える」ように強制することによって、出力モデルに対して強い制約が課される。この制約により、自然の基準オブジェクトの一般的な形状および可能な変動に関する、人のアノテーターのそれまでの知識を置き換えることによって、より高いレベルの自動化が可能になる。このプロセスでは、基準オブジェクトの集合全体の平均および変動を計算する目的で、基準オブジェクトモデルの大きなデータセットが必要である。すべての自然の基準オブジェクトは類似する構造を有し、高い相関性があるため、次元数の減少を利用して、最終的なモデル推定プロセスを単純化し、「自然さ」を強制することができる。次元数の減少は、通常では、主成分分析（ＰＣＡ）を使用して統計モデルの最初の数個の主成分を計算することによって達成される。これらのベクトルの線形結合によって、「自然に見える」基準オブジェクトが記述される。例えば、一連の放射線写真が提供されたとき、（輪郭ベース法と同様に）初期３Ｄモデルを画像平面に投影し、投影されたモデルの外形を、放射線写真上の推定された基準オブジェクトの外形と比較する。次のステップでは反復プロセスを使用し、収束に達するまで主ベクトルの係数を変化させることによって、２本の曲線（投影されたモデルの外形および基準オブジェクトの外形）の差を最小にする。ＳＳＭは計算負荷が高く、したがって１回のオブジェクト再構成に最大で数分かかる。

パラメトリックプロセス。パラメータプロセスは、ＳＳＭのように高いレベルの自動化および精度を提供するが、これらを異なる方法で提供する。オブジェクトの形状を表すために使用される単純化されたパラメトリックモデルを定義する。このパラメトリックモデルは、点、線、円錐、球、円柱など（記述子と称される）からなる。オブジェクトモデルの大きな集合に、単純化されたパラメトリックモデルを適用することによって、統計モデルを計算し、それを使用して推測する。一連の放射線写真が提供されたとき、識別された解剖学的ランドマークに従って主記述子を計算し、記述子の完全なセットを統計モデルに従って推定する。記述子の完全なセットから、個別化されたパラメトリックモデルを取得する。パラメトリックモデルをより自然に見えるモデルにレンダリングする目的で、３Ｄジェネリックメッシュをモーフィングして、個別化されたパラメトリックモデルをフィットさせる。

本明細書に記載されているシステム、方法、装置、および／またはコード命令の少なくともいくつかの実装形態は、２Ｄ画像が入力されるニューラルネットワークによって３Ｄ点群を変換するという技術的課題に対処し、この場合、３Ｄ点群は、２Ｄ画像の座標系とは異なる任意の座標系によって表される。放射線写真の撮影の特性の理由で、位置に依存する拡大が起こり、Ｘ線源を中心とする小さい半径の球の上に位置するオブジェクトは、より大きい球の上に位置するオブジェクトより大きく見える。放射線写真は、さまざまな位置におけるオブジェクトのボリューム全体を２Ｄ平面上に投影したものであるため、ピクセル単位でのオブジェクトのサイズを実世界のサイズ（例えばミリメートル単位）に変換するために使用できる単一のスケールパラメータは存在しない。このことは、たとえＸ線源、患者、および検出器の位置および向きが既知である場合にもあてはまる。臨床アプリケーションによっては、対象のオブジェクトの形状のみならず実際のサイズも重要である。標準的な方法の使用時、寸法が既知であるオブジェクト（すなわち較正オブジェクト）を、Ｘ線源から対象のオブジェクトまでと同じ距離に配置する。オブジェクトの寸法が既知であるため、ピクセルからミリメートルへの変換パラメータを推定することができる。このパラメータは、Ｘ線源までの距離が較正オブジェクトと同じ位置にあるオブジェクトに対応する。画像内に現れているさまざまなオブジェクトを、このパラメータを使用して測定することは簡単である。しかしながら、本明細書に記載されているニューラルネットワークの少なくともいくつかの実装形態では、標準的な方法において行われるようにピクセルをミリメートルに直接マッピングすることない。正しいスケーリングパラメータを見つけるという課題は、別のレベルの複雑さを有し、すなわちニューラルネットワークによって出力される３Ｄ点群モデルは、入力される２Ｄ画像（例：放射線写真）の座標系とは異なる何らかの任意の座標系を有する。したがって、３Ｄオブジェクトを何らかの任意の単位からミリメートルに変換する目的に、ピクセルからミリメートルへの変換（標準的な方法において使用される）を使用することはできない。本明細書に記載されているシステム、方法、装置、および／またはコード命令の少なくともいくつかの実装形態は、３Ｄモデルを２Ｄ画像（例：放射線写真）の平面上に投影することによって、説明した課題に対する技術的な解決策を提供する。投影が識別された時点で、その投影に使用されたスケーリングパラメータを使用して、推定された３Ｄモデルをその元の任意の単位からピクセル単位にスケーリングする。３Ｄモデルがピクセル単位にスケーリングされると、画像内の較正オブジェクトを使用して、ピクセルからミリメートルへの変換パラメータを計算することができ、次にその変換パラメータを使用して３Ｄモデルを実世界のサイズに変換する。

本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、必ずしもその用途が、以下の記載に示す、および／または図面および／または実施例で例示する、構成の詳細および要素の配置および／または方法に限定されるものではないことを理解するべきである。本発明は、他の実施形態が可能であり、また、さまざまな手段で実施または実行することが可能である。

本発明は、システム、方法、および／またはコンピュータプログラム製品とすることができる。コンピュータプログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令を有する（１つまたは複数の）コンピュータ読み取り可能な記憶媒体を含むことができる。

コンピュータ読み取り可能な記憶媒体は、命令実行装置によって使用するための命令を保持および記憶することのできる有形装置とすることができる。コンピュータ読み取り可能な記憶媒体は、例えば、以下に限定されないが、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、またはこれらの任意の適切な組合せ、とすることができる。コンピュータ読み取り可能な記憶媒体のさらなる具体例のリスト（すべては網羅していない）には、以下、すなわち、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的符号化装置（命令が記録されたパンチカードまたは構内の隆起構造など）、およびこれらの任意の適切な組合せ、が含まれる。本明細書において使用されるコンピュータ読み取り可能な記憶媒体は、本質的に一時的な信号（電波または他の自由に伝搬する電磁波、導波路または他の伝送媒体中を伝搬する電磁波（例：光ファイバケーブルを通る光パルス）、またはワイヤを伝わる電気信号など）であるとは解釈されないものとする。

本明細書に記載されているコンピュータ可読プログラム命令は、コンピュータ読み取り可能な記憶媒体からそれぞれの計算装置／処理装置にダウンロードする、またはネットワーク（例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、および／またはワイヤレスネットワーク）を介して外部のコンピュータまたは外部の記憶装置にダウンロードすることができる。ネットワークは、銅の伝送ケーブル、光伝送ファイバ、無線伝送、ルーター、ファイヤウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバを備えていることができる。各計算装置／処理装置におけるネットワークアダプタカードまたはネットワークインタフェースが、ネットワークからコンピュータ可読プログラム命令を受信して、それらのコンピュータ可読プログラム命令を、それぞれの計算装置／処理装置内のコンピュータ読み取り可能な記憶媒体に記憶されるように転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、または、１種類または複数種類のプログラミング言語（ＳｍａｌｌｔａｌｋやＣ＋＋などのオブジェクト指向プログラミング言語、「Ｃ」プログラミング言語や類似するプログラミング言語などの従来の手続き型プログラミング言語を含む）の任意の組合せで書かれたソースコードまたはオブジェクトコードのいずれかとすることができる。コンピュータ可読プログラム命令は、独立したソフトウェアパッケージとして、その全体を使用者のコンピュータ上で実行する、またはその一部を使用者のコンピュータ上で実行する、または一部を使用者のコンピュータ上で実行しかつ一部を遠隔のコンピュータ上で実行する、または全体を遠隔のコンピュータまたはサーバ上で実行することができる。後者のシナリオでは、遠隔のコンピュータを、任意のタイプのネットワーク（ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む）を通じて使用者のコンピュータに接続することができる、または、（例えばインターネットサービスプロバイダを使用してインターネットを通じて）外部のコンピュータへの接続を形成することができる。いくつかの実施形態においては、本発明の態様を実行する目的で、電子回路（例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む）が、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることによって、コンピュータ可読プログラム命令を実行することができる。

本発明の態様は、本発明の実施形態に係る方法、装置（システム）、およびコンピュータプログラム製品の流れ図および／またはブロック図を参照しながら、本明細書に説明してある。流れ図および／またはブロック図の各ブロック、および、流れ図および／またはブロック図におけるブロックの組合せを、コンピュータ可読プログラム命令によって実施できることが理解されるであろう。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、またはマシンを形成するための他のプログラマブルデータ処理装置のプロセッサに提供することができ、したがってこれらの命令（コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される）は、流れ図および／またはブロック図の１つまたは複数のブロックに指定されている機能／動作を実施するための手段を形成する。これらのコンピュータ可読プログラム命令は、コンピュータ、プログラマブルデータ処理装置、および／または他の装置が特定の方法で機能するように導くことのできるコンピュータ読み取り可能な記憶媒体に記憶してもよく、したがって、命令を記憶しているコンピュータ読み取り可能な記憶媒体は、流れ図および／またはブロック図の１つまたは複数のブロックに指定されている機能／動作の態様を実施する命令を含む製品を含む。

コンピュータ、他のプログラマブルデータ処理装置、または他の装置上で一連の動作ステップが実行されて、コンピュータによって実施されるプロセスが生成されるように、コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、または他の装置にロードしてもよく、したがって、コンピュータ、他のプログラマブルデータ処理装置、または他の装置で実行される命令が、流れ図および／またはブロック図の１つまたは複数のブロックに指定されている機能／動作を実施する。

図における流れ図およびブロック図は、本発明のさまざまな実施形態に係るシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性、および動作を示している。これに関して、流れ図またはブロック図における各ブロックは、指定された（１つまたは複数の）論理機能を実施するための１つまたは複数の実行可能命令を含むモジュール、セグメント、または命令の一部を表しうる。いくつかの代替実装形態においては、ブロックに記載されている機能は、図に記載されている以外の順序で実行してもよい。例えば、連続して示されている２つのブロックを、関与する機能に応じて、実際には、実質的に同時に実行する、あるいは場合によってはブロックを逆の順序で実行することができる。さらに、ブロック図および／または流れ図の各ブロックと、ブロック図および／または流れ図におけるブロックの組合せは、指定された機能または動作を実行する専用ハードウェアベースのシステムによって、または専用ハードウェアおよびコンピュータ命令の組合せを実行する専用ハードウェアベースのシステムによって、実施してもよいことに留意されたい。

次に図１を参照し、図１は、本発明のいくつかの実施形態による、対象の解剖学的構造を描写している１枚または複数の２Ｄ画像から、対象の解剖学的構造を描写している３Ｄ点群を再構成するようにニューラルネットワークを訓練する方法の流れ図である。さらに図２も参照し、図２は、本発明のいくつかの実施形態による、対象の解剖学的構造を描写している１枚または複数の２Ｄ画像から、対象の解剖学的構造を描写している３Ｄ点群を再構成するようにニューラルネットワークを訓練する、および／または、ニューラルネットワークによって出力される対象の解剖学的構造の３Ｄ点群の再構成に従っての患者の対象の解剖学的構造の外科治療、のためのシステム２００、の構成要素のブロック図である。さらに図３も参照し、図３は、本発明のいくつかの実施形態による、ニューラルネットワークによって出力される対象の解剖学的構造の３Ｄ点群の再構成に従っての、患者の対象の解剖学的構造の外科治療の方法の流れ図である。システム２００は、図１および／または図３を参照しながら説明する方法の動作を、オプションとして、メモリ２０６に記憶されているコード命令を実行する計算装置２０４の（１つまたは複数の）ハードウェアプロセッサ２０２によって、実施することができる。

以下では、システム２００の理解を助けるため、患者の対象の解剖学的構造の３Ｄ点群を２Ｄ解剖学的画像（例：Ｘ線写真）に従って再構成する処理の例示的な実装形態について説明する。２Ｄ撮影装置２１２Ａ（Ｘ線装置）は、対象の解剖学的構造を描写している、対象の個人の（１枚または複数の）２Ｄ解剖学的画像を取得する。（１枚または複数の）２Ｄ画像は、画像リポジトリ２１４（例えば、ＰＡＣＳサーバ、クラウドストレージ、ストレージサーバ、ＣＤ−ＲＯＭ、および電子的な健康記録）に格納しておくことができる。計算装置２０４は、本明細書に記載されているように、訓練されたニューラルネットワークのコード２０６Ｃを利用するコード２０６Ａを実行することによって、２Ｄ解剖学的画像から、再構成された３Ｄ点群を計算する。訓練されたニューラルネットワーク２０６Ｃは、（１基または複数の）３Ｄ撮影装置２１２Ｂ（例：ＣＴスキャン）によって出力される３Ｄ解剖学的画像から作成される歪んだテンプレートと、オプションとして３Ｄ画像から作成される対応する２Ｄ画像の訓練データセット２２２Ａから、訓練コード２０６Ｂによって生成される。再構成された３Ｄ点群は、３Ｄ点群データセット２２２Ｂに格納することができる。患者の対象の解剖学的構造の外科治療を、手術計画コード２２２Ｃを使用し、かつ対象の解剖学的構造の再構成された３Ｄ点群モデルを使用して、計画することができる。

計算装置２０４は、例えば、クライアント端末、サーバ、仮想サーバ、放射線ワークステーション、手術計画ワークステーション、仮想マシン、コンピューティングクラウド、モバイル機器、デスクトップコンピュータ、シンクライアント、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、ウェアラブルコンピュータ、メガネ型コンピュータ、ウォッチ型コンピュータ、として実施することができる。計算装置２０４は、高度な映像化ワークステーションを含むことができ、このワークステーションは、場合によっては放射線ワークステーションおよび／または外科ワークステーションおよび／または他の装置の拡張機能であり、使用者が再構成された３Ｄ点群を見る、および／または再構成された３Ｄ点群を使用して手術（および／または他の治療）を計画することを可能にする。

計算装置２０４は、図１および／または図３を参照しながら説明する動作の１つまたは複数を実行するローカルに格納されたソフトウェアを含むことができる、および／または、サービス（例：図１および／または図３を参照しながら説明する動作の１つまたは複数）をネットワーク２１０を通じて１基または複数のクライアント端末２０８（例：解剖学的画像を見るために使用者によって使用されるクライアント端末、再構成された３Ｄ点群を使用して手術を計画するための（１つまたは複数の）手術計画アプリケーションを実行しているクライアント端末、再構成された３Ｄ点群を自動的に分析するための（１つまたは複数の）コンピュータ支援診断（ＣＡＤ）アプリケーションを実行しているクライアント端末、遠隔に位置する放射線ワークステーション、遠隔の医療用画像管理システム（ＰＡＣＳ：picture archiving and communication system）サーバ、遠隔の電子カルテ（ＥＭＲ：electronic medical record）サーバ）に提供する１基または複数のサーバ（例：ネットワークサーバ、Ｗｅｂサーバ、コンピューティングクラウド、仮想サーバ）として機能することができ、例えば、サービスとしてのソフトウェア（ＳａａＳ）を（１基または複数の）クライアント端末２０８に提供する、および／または、Ｗｅｂブラウザおよび／または医療撮像ビューアアプリケーションおよび／または手術計画アプリケーションの拡張機能としてローカルダウンロード用のアプリケーションを（１基または複数の）クライアント端末２０８に提供する、および／または、リモートアクセスセッションを使用する機能を（例えばＷｅｂブラウザ、アプリケーションプログラミングインタフェース（ＡＰＩ）、および／またはソフトウェア開発キット（ＳＤＫ）を通じて）クライアント端末２０８に提供し、例えば、計算装置２０４に手術計画アプリケーションを統合して、手術計画アプリケーションが自身の設計対象である（１つまたは複数の）対象の解剖学的構造の再構成された３Ｄ点群を取得することを可能にする。

（１基または複数の）クライアント端末２０８は、例えば、手術計画ワークステーション、放射線ワークステーション、デスクトップコンピュータ（例：ＰＡＣＳビューアアプリケーションおよび／またはＣＡＤアプリケーションおよび／または手術計画アプリケーションを実行している）、モバイル機器（例：ノートブックコンピュータ、スマートフォン、メガネ型装置、ウェアラブル装置）、およびナースステーションサーバ、として実施することができる。

なお、ニューラルネットワークの訓練と、訓練されたニューラルネットワークを２Ｄ解剖学的画像に適用して再構成された３Ｄ点群を計算する処理は、同じ計算装置２０４によって実施する、および／または、異なる計算装置２０４によって実施することができ、後者の場合には例えば、１つの計算装置２０４がニューラルネットワークを訓練して、訓練されたニューラルネットワークを別のサーバ装置２０４に送信し、そのサーバ装置２０４が訓練されたニューラルネットワークを使用して、２Ｄ解剖学的画像に対して再構成される３Ｄ点群を計算する。

計算装置２０４は、（１基または複数の）２Ｄ撮影装置２１２Ａ（例：Ｘ線、超音波）によって撮影された２Ｄ解剖学的画像を受信して、再構成された３Ｄ点群を計算する。これに代えて、またはこれに加えて、計算装置２０４は、（１基または複数の）３Ｄ撮影装置２１２Ｂ（例：ＣＴ、ＭＲＩ、３次元超音波、核医学検査）によって撮影された３Ｄ解剖学的画像を受信し、ニューラルネットワークを訓練して訓練済みニューラルネットワーク２０６Ｃを作成するための訓練データセット２２２Ａを作成する。２Ｄ画像および／または３Ｄ画像は、画像リポジトリ２１４（例えば、ストレージサーバ（例：ＰＡＣＳサーバ）、コンピューティングクラウド、仮想メモリ、ハードディスク）に格納することができる。

訓練データセット２２２Ａは、撮影された３Ｄ解剖学的画像から、本明細書に説明されているように作成される。

（１基または複数の）２Ｄ撮影装置２１２Ａによって撮影される２Ｄ解剖学的画像は、対象患者の身体内の解剖学的特徴および／または解剖学的構造を描写している。（１基または複数の）３Ｄ撮影装置２１２Ｂによって撮影される３Ｄ解剖学的画像は、（１基または複数の）２Ｄ撮影装置２１２Ａによって撮影された２Ｄ解剖学的画像から、本明細書に説明されているように３Ｄ点群を再構成するようにニューラルネットワークを訓練する目的で、使用される。３Ｄ解剖学的画像によって描写される例示的な対象の解剖学的構造（２Ｄ解剖学的画像から再構成される３Ｄ点群によっても描写される）は、関節および関連する骨（例えば、股関節、膝関節、肩関節、骨（例：大腿骨）、骨（オプションとして皮質骨）の内面、および／または長骨の髄腔）を含む。

計算装置２０４は、（１基または複数の）撮影装置２１２Ａおよび／または２１２Ｂおよび／または画像リポジトリ２１４から、１つまたは複数の撮影インタフェース２２０（例えば、有線接続（例：物理ポート）、無線接続（例：アンテナ）、ローカルバス、データストレージ装置を接続するためのポート、ネットワークインタフェースカード、他の物理的なインタフェース実装、および／または、仮想インタフェース（例：ソフトウェアインタフェース、仮想プライベートネットワーク（ＶＰＮ）接続、アプリケーションプログラミングインタフェース（ＡＰＩ）、ソフトウェア開発キット（ＳＤＫ）））を使用して、２Ｄ解剖学的画像および／または３Ｄ解剖学的画像を受信する。

（１つまたは複数の）ハードウェアプロセッサ２０２は、例えば、（１つまたは複数の）中央処理装置（ＣＰＵ）、（１つまたは複数の）グラフィック処理装置（ＧＰＵ）、（１つまたは複数の）フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、（１つまたは複数の）デジタル信号プロセッサ（ＤＳＰ）、（１つまたは複数の）特定用途向け集積回路（ＡＳＩＣ）、として実施することができる。プロセッサ２０２は、１つまたは複数のプロセッサ（同種または異種）を含むことができ、これらのプロセッサは、クラスタとして、および／または、１つまたは複数のマルチコア処理装置として、並列処理用に配置することができる。

メモリ２０６（プログラム記憶部および／またはデータ記憶装置とも称される）は、（１つまたは複数の）ハードウェアプロセッサ２０２によって実行するためのコード命令を記憶し、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、および／またはストレージデバイス（例えば、不揮発性メモリ、磁気媒体、半導体記憶装置、ハードディスクドライブ、リムーバブル記憶装置、および光媒体（例：ＤＶＤ、ＣＤ−ＲＯＭ））である。メモリ２０６は、例えば、図１を参照しながら説明する方法の１つまたは複数の動作および／または特徴を実施するコード２０６Ａ、および／または、図３を参照しながら説明する方法の１つまたは複数の動作を実行する訓練コード２０６Ｂ、および／または、訓練されたニューラルネットワーク２０６Ｃのコード命令、および／または手術計画コード２２２Ｃ、を記憶することができる。

なお、手術計画コード２２２Ｃは、（１枚または複数の）２Ｄ解剖学的画像から計算される再構成された３Ｄ点群モデルを使用するシミュレーションおよび／または他の計算を実行するＣＡＮアプリケーションおよび／または他のアプリケーションを含む、および／または、このようなアプリケーションに置き換えることができることに留意されたい。

これに代えて、またはこれに加えて、（１基または複数の）クライアント端末２０８および／またはサーバ２１８が、手術計画コード２２２Ｃおよび／または訓練コード２０６Ｂをローカルに格納する、および／または実行することができる。
計算装置２０４は、データ（例えば、訓練データセット２２２Ａ（本明細書に説明されているように作成される）、３Ｄ点群データセット２２２Ｂ（例：訓練データセットに含めるための再構成された３Ｄ点群および／または計算された３Ｄ点群を格納する）、および／または（１つまたは複数の）手術計画アプリケーション２２２Ｃ）を格納するためのデータストレージ装置２２２を含むことができる。データストレージ装置２２２は、例えば、メモリ、ローカルハードディスクドライブ、リムーバブル記憶装置、光ディスク、ストレージデバイスとして、および／または、リモートサーバおよび／またはコンピューティングクラウド（例：ネットワーク２１０を使用してアクセスされる）として、実施することができる。なお、コード２２２Ａ〜２２２Ｃをデータストレージ装置２２２に格納することができ、この場合に実行部分が、（１つまたは複数の）プロセッサ２０２によって実行されるようにメモリ２０６にロードされることに留意されたい。

計算装置２０４は、ネットワーク２１０に接続するためのデータインタフェース２２４（オプションとしてネットワークインタフェース）（例えば、ネットワークインタフェースカード、無線ネットワークに接続するための無線インタフェース、ネットワーク接続用のケーブルに接続するための物理インタフェース、ソフトウェアにおいて実施される仮想インタフェース、ネットワーク接続の上位層を提供するネットワーク通信ソフトウェア、および／または他の実装形態、のうちの１つまたは複数）を含むことができる。計算装置２０４は、例えば、更新された訓練データセットをダウンロードする、訓練データセットに含める構成要素（例：３Ｄ解剖学的画像）をダウンロードする、および／または、コード２０６Ａ、訓練コード２０６Ｂ、訓練されたニューラルネットワーク２０６Ｃ、および／または手術計画コード２２２Ｃの更新されたバージョンをダウンロードする目的で、ネットワーク２１０を使用して１基または複数のリモートサーバ２１８にアクセスすることができる。

なお、撮影インタフェース２２０およびデータインタフェース２２４は、単一のインタフェース（例：ネットワークインタフェース、１つのソフトウェアインタフェース）として実施する、および／または、２つの独立したインタフェース（ソフトウェアインタフェース（例：ＡＰＩとして、ネットワークポートとして）および／またはハードウェアインタフェース（例：２つのネットワークインタフェース）など）として実施する、および／または組合せ（例：１つのネットワークインタフェースと、２つのソフトウェアインタフェース、共通の物理インタフェース上の２つの仮想インタフェース、共通のネットワークポート上の仮想ネットワーク）として実施することができることに留意されたい。用語／構成要素「撮影インタフェース２２０」は、用語「データインタフェース２２４と相互に置き換えられていることがある。

計算装置２０４は、ネットワーク２１０を使用して、または別の通信路を使用して（直接リンク（例：ケーブル、無線）を通じて、および／または間接リンクを通じて（例：サーバなどの中間計算装置を介して、および／または記憶装置を介して）など）、以下の１つまたは複数と通信することができる。

（１つまたは複数の）クライアント端末２０８（例えば計算装置２０４が、提供される２Ｄ解剖学的画像から、再構成された３Ｄ点群を計算するサーバとして機能するとき）。クライアント端末２０８は、２Ｄ解剖学的画像を提供して、計算装置２０４によって計算される再構成された３Ｄ点群を受信することができる。取得した再構成された３Ｄ点群は、例えば、クライアント端末のディスプレイ上で（例えば放射線医師が）見るために表示アプリケーション内で提示する、および／または、クライアント端末２０８にインストールされている手術計画コード２２２Ｃ（および／またはＣＡＤなどの他のアプリケーション）に供給することができる。

サーバ２１８。一実装形態においては、サーバ２１８は、画像サーバ２１４（例えばＰＡＣＳサーバ）として実施される。サーバ２１８は、新しい２Ｄ解剖学的画像が撮影されたときにこれらを格納する、および／または、訓練データセット２２２Ａを作成するために使用される３Ｄ解剖学的画像を格納することができる。別の実装形態においては、サーバ２１８は、画像サーバ２１４および計算装置２０４と通信する。サーバ２１８は、画像サーバ２１４と計算装置２０４の間で調整することができ、例えば、サーバ２１８２１４から新たに受信された２Ｄ解剖学的画像を、再構成された３Ｄ点群を計算できるように計算装置２０４に送信する。さらに別の実装形態においては、サーバ２１８は、クライアント端末２０８に関連して説明した１つまたは複数の特徴を実行することができ、例えば、再構成された３Ｄ点群を、（１つまたは複数の）手術計画アプリケーション２２２Ｃ（サーバ２１８にローカルにインストールすることができる）に供給する。

２Ｄ解剖学的画像（および／または訓練データセットに含めるための３Ｄ解剖学的画像）を格納する解剖学的画像リポジトリ２１４、および／または、２Ｄ解剖学的画像および／または３Ｄ解剖学的画像を出力する撮影装置２１２。

計算装置２０４および／または（１基または複数の）クライアント端末２０８および／または（１基または複数の）サーバ２１８は、ユーザインタフェース２２６を含む、またはユーザインタフェース２２６と通信し、ユーザインタフェース２２６は、使用者がデータを入力する（例：再構成された３Ｄ点群を計算させる（１つまたは複数の）対象の解剖学的構造を選択する、実行する手術計画アプリケーションを選択する）、および／または取得された２Ｄ画像を見る、および／または再構成された３Ｄ点群を見ることができるように設計されている機構を含む。例示的なユーザインタフェース２２６は、例えば、タッチスクリーン、ディスプレイ、キーボード、マウス、スピーカーおよびマイクロフォンを使用する音声作動ソフトウェア、の１つまたは複数を含む。

再び図１を参照し、１０２においては、サンプル患者の複数の３Ｄ画像を受信する。これらの３Ｄ画像は、対象の解剖学的構造、例えば、関節および関連する骨（例えば、股関節、膝関節、肩関節、骨（例：大腿骨）、骨（オプションとして皮質骨）の内面、および／または長骨の髄腔）、を描写している。

３Ｄ画像は、例えば、ＣＴ装置、ＭＲＩ装置、超音波装置、核医学撮像装置、および／またはＰＥＴ ＣＴ装置、によって出力することができる。

オプションとして、３Ｄ画像は、２次元の連続する２Ｄスライス（例えば３Ｄ ＣＴスキャンボリュームの２Ｄアキシャルスライス（ａｘｉａｌ ｓｌｉｃｅ））として表現する、および／または格納する、および／または提示することができる。（例えばＰＡＣＳからの）２Ｄスライスが利用可能ではないときには、３Ｄ画像から２Ｄスライスを計算する、および／または作成することができる。

本明細書では、３Ｄ画像を３Ｄボリュームと称することがある。

１０４においては、３Ｄ解剖学的画像から点群を抽出する、および／または計算する。各３Ｄ解剖学的画像から１つの点群を抽出することができる。各点群は、それぞれの３Ｄ解剖学的画像の対象の解剖学的構造を描写している。

各点群は、座標の順序付けられたリストによって表現される。オプションとして、各点群は、頂点の座標順序および頂点の結合によって表現される３Ｄポリゴンメッシュを表している。特定の形状を、同じリストの多数の並べ替えによって記述することができる。リストの順序は、リストが記述する形状に対して必ずしも意味を持たないが、データベース全体において１つの表現を有する目的で、複数の異なる点群（例：すべての点群）を表現するための１つの順序（任意でよい）を設定する。この設定は、本明細書にさらに詳しく説明されているように、例えば、同じタイプ（例：特定の大腿骨）の選択されたテンプレートの構造を投影し、このテンプレートを他のすべての大腿骨に非剛体式に（in a non-rigid fashion）マッピングすることによって、行うことができる。このプロセスを使用すると、テンプレートは、データセットの大腿骨（例：すべての大腿骨からの任意の大腿骨）の形状を定義し、一定の順序付けを維持する。

オプションとして、各点群は、３Ｄ画像の２Ｄスライスを以下の例示的なプロセスに従って処理することによって、それぞれの３Ｄ解剖学的画像から抽出される。すなわち、描写される対象の解剖学的構造の２Ｄセグメンテーションを、それぞれの３Ｄ画像の各２Ｄスライスにおいて計算する。描写される対象の解剖学的構造の２Ｄセグメンテーションは、それぞれの２Ｄスライスから、セグメンテーション畳み込みニューラルネットワーク（２Ｄ画像が入力されて、各ピクセルが対象の解剖学的構造を描写している、ピクセルごとの確率を出力する）によって切り出すことができる。セグメンテーションニューラルネットワークは、サンプル患者の３Ｄ解剖学的画像の２Ｄスライス（オプションとして連続する２Ｄスライス）（例えばアキシャルスライスおよび／または他のビュー）の訓練データセットで訓練することができる。各２Ｄスライスを、対象の解剖学的構造のセグメンテーションの指示情報によって（例えばポリゴンおよび／または他のセグメンテーションの指示情報を使用して）アノテートする。訓練データセットの２Ｄスライスのアノテーションは、訓練プロセスにおけるグランドトゥルースを意味する。セグメンテーションは、使用者によって手動でアノテートする、および／または、２Ｄ画像を切り出すように訓練されたコードによって自動的にアノテートすることができる。それぞれの３Ｄ画像の２Ｄスライス（オプションとしてすべての２Ｄスライス）においてセグメンテーションニューラルネットワークによって計算された２Ｄセグメンテーションを、積層させる。積層された２Ｄセグメンテーションから、対象の解剖学的構造（オプションとして構造全体）の３Ｄ ２値配列を取得する（例：計算する）。オプションとして、例えば、対象の解剖学的構造の３Ｄ配列が滑らかである、正確である、および／または適切にスケーリングされているように、作成された３Ｄ ２値配列を後処理する。

３Ｄ ２値配列から点群を計算する。オプションとして、３Ｄ ２値配列からメッシュを計算する。メッシュは、例えばマーチングキューブプロセス（marching cubes process）を使用して、３Ｄ点群を作成するために使用することができる。

次に図４を参照し、図４は、本発明のいくつかの実施形態による、３Ｄ ＣＴスキャンボリュームからの大腿骨（すなわち対象の解剖学的構造）の自動的なセグメンテーションの概略図である。本明細書に説明されているように、切り出された部分を積層させて３Ｄ配列にすることによって、大腿骨がスライスごとに（すなわち３Ｄボリュームの連続する２Ｄ画像から）切り出されている。画像４０２Ａおよび４０４Ａは、生のＣＴスライスの例を描写している。画像４０２Ｂおよび４０４Ｂは、対応するそれぞれのスライス４０２Ａおよび４０４Ａのセグメンテーションの結果を描写している。

次に図５を参照し、図５は、本発明のいくつかの実施形態による、ＣＴスキャンボリュームから生成された、切り出された３Ｄ大腿骨５０２およびメッシュのさまざまなビューの概略図である。本明細書に説明されている、大腿骨の自動的な３Ｄセグメンテーションプロセスと、手動のセグメンテーションとの間で、本発明者らが行った比較では、０．５ミリメートルのＲＭＳＥを示した。３Ｄ大腿骨は、図４に関連して説明したように、ＣＴボリュームのスライスの２Ｄセグメンテーションから作成される。

再び図１を参照し、１０６においては、点群の１つをテンプレートとして選択する。

１０８においては、３Ｄ画像のそれ以外の点群（すなわちテンプレートとして使用されるように選択されなかった点群）それぞれの歪んだテンプレートを、テンプレートに従って計算する。テンプレートは、例えば、ランダムに選択する、最初のテンプレートを選択する、最後のテンプレートを選択する、特定の位置からテンプレートを選択することができる。なお、いずれのテンプレートも適切でありうることに留意されたい。

各それぞれの歪んだテンプレートは、テンプレートを点群それぞれと位置合わせする（オプションとして非剛体位置合わせする）ことによって計算することができる。それぞれの歪んだテンプレートは、それぞれの点群の形状を有し、テンプレートの座標の順序を維持する。計算された歪んだテンプレートは、座標の順序に関して一貫性がある。

例示的な非剛体位置合わせプロセスは、例えば、コヒーレントポイントドリフト、および／または非剛体の反復最近接点を含む。

１１０においては、対象の解剖学的構造を描写している２Ｄ画像を受信する。２Ｄ画像は、同じサンプル患者からの、かつ３Ｄ解剖学的画像に描写されている同じ対象の解剖学的構造の画像とすることができる。

オプションとして、サンプルの各個人の各対象の解剖学的構造について、１枚または複数の２Ｄ画像を受信する。２Ｄ画像は、対象の解剖学的構造に対するさまざまな向き（例えば、前後方向（ＡＰ）、横方向、さまざまなセンサー傾斜角、および／または他の向き）を描写していることができる。２Ｄ画像は、Ｘ線写真（または超音波画像など他の画像）を取得するうえでの放射線医学の標準（例えば、腹部の３つのビュー、関節の複数のビューなど）に基づいていることができる。

オプションとして、２Ｄ画像は、受信した３Ｄ解剖学的画像から作成される２Ｄエミュレート画像（疑似画像とも称される）、例えば疑似Ｘ線写真（放射線写真とも称される）である。これらの２Ｄ画像は、対応する３Ｄ解剖学的画像の撮影値（例：ピクセル強度値および／またはボクセル強度値）を集積することによって計算することができる。例示的な集積法としては、積分、合計、加重平均、が挙げられる。例えば、エミュレートされた２Ｄ解剖学的画像を仮想的に撮影する仮想２Ｄセンサーの向きに対応する方向に沿って、ピクセル強度値および／またはボクセル強度値を集積する。概念的には、３Ｄボリュームを軸に沿って２Ｄ領域に「圧縮」して、所望の平面における２Ｄ画像を得る。

オプションとして、エミュレートされた２Ｄ解剖学的画像は、患者に関連する事前定義される向きにおけるＸ線源およびＸ線センサーアレイによって撮影される対象の２Ｄ Ｘ線画像に相当するように計算する。例えば、３Ｄボリューム（例：ＣＴスキャン）から計算されるエミュレートされた画像は、Ｘ線装置によって撮影される２Ｄ Ｘ線画像に統計的に類似する。

例えば、疑似Ｘ線写真は、ＣＴスキャナーによって生成されたＣＴボリュームから生成され、ＣＴボリュームのデジタルレベルを、仮想Ｘ線源から仮想Ｘ線センサーアレイのピクセルに照射される放射線によって定義される方向に沿って積分することによる。

エミュレートされた２Ｄ画像（例：疑似放射線写真）を３Ｄ画像から生成するプロセスによって、実際の放射線写真のように見えるエミュレートされた２Ｄ画像が作成される。例えば、要件の範囲内で統計的に類似している、および／または、どちらの２Ｄ画像が実際の元の２Ｄ画像で、どちらがエミュレートされた２Ｄ画像かを使用者は区別するのが難しい、または区別することができない。さらには、Ｘ線源と患者とセンサーのさまざまな配置、および／またはさまざまなセンサー解像度、および／またはさまざまなセンサーピッチにおけるエミュレートされた２Ｄ画像を、生成することができる。

これに代えて、またはこれに加えて、対応する３Ｄ解剖学的画像に描写されている対象の解剖学的構造を描写している２Ｄ解剖学的画像が、２Ｄ撮影装置によって撮影される。例えば、３Ｄ ＣＴスキャン中に、Ｘ線撮影装置によって２Ｄ Ｘ線画像も撮影する。

オプションとして、２Ｄエミュレート画像は、実世界の２Ｄ撮影装置（例：Ｘ線装置、超音波装置）によって撮影されうる撮影平面（例えば前後方向（ＡＰ）、横方向、他の標準的な向き（軸方向および／または超音波装置によって得られる他の平面））における２Ｄ画像を作成するように、計算する。

１１２において、歪んだテンプレートおよび対応する２Ｄ画像（オプションとしてエミュレートされた２Ｄ画像）から訓練データセットを作成する。

複数の訓練データセットを作成することができ、例えば、各訓練データセットがそれぞれのニューラルネットワークの訓練用である。訓練データセットは、例えば、対象の解剖学的構造（例：大腿骨、背骨の脊椎骨、股関節）に従って、および／または２Ｄ画像を出力する撮像モダリティ（例えばＸ線、超音波）に従って、作成することができる。

訓練データセットは、一貫性を維持して表現されている、さまざまなサイズおよび／または形状の３Ｄ点群モデルを含むことができる。

１１４においては、ニューラルネットワークを訓練データセットに従って訓練する。歪んだテンプレートは、グランドトゥルースに相当する。２Ｄ画像（オプションとしてエミュレートされた２Ｄ画像）は、入力に相当する。ニューラルネットワークに供給された１枚または複数の２Ｄ解剖学的画像を、ニューラルネットワークの３Ｄ点群出力マッピングするように、ニューラルネットワークを訓練する。

訓練データセットの３Ｄ点群は、ニューラルネットワークを訓練するときにターゲットおよび／またはグランドトゥルースの役割を果たす。グランドトゥルースの３Ｄ点群モデルと、ニューラルネットワークの予測との間の差異から損失項がもたらされ、これを訓練過程によって最小化する。

複数のニューラルネットワークを、それぞれの訓練データセットに従って訓練することができる。

いくつかの実装形態においては、ニューラルネットワークを、符号器−復号器として表すことができる。入力される（１枚または複数の）２Ｄ画像を、３Ｄオブジェクトの形状予測に必要な情報を保持する一連の特徴に分解し、これらの特徴は、ニューラルネットワークの符号化部分を表す。ニューラルネットワークの第２の部分は、復号器として表すことができる。第２の部分は、２Ｄ画像から符号器によって抽出された特徴ベクトルを受け取り、その特徴ベクトルを完全な３Ｄモデルに変換する。訓練時、ネットワークに２Ｄ画像（例：疑似画像、オプションとして（１枚または複数の）放射線写真）を入力し、ネットワークがオブジェクトの３Ｄ構造を出力する（例：予測する）。予測された構造とグランドトゥルースの特徴から、誤差（損失とも称される）項を計算する。訓練時、ネットワークは、この損失項が減少するように自身の内部パラメータを徐々に変化させていき、予測されるオブジェクトの３Ｄ構造がグランドトゥルースの構造に次第に似ていく。ニューラルネットワークが訓練された時点で、そのニューラルネットワークを使用し、まだ訓練されていない新しい２Ｄ画像（例：放射線写真）に基づいて、オブジェクトの３Ｄ形状を出力する（例：予測する）。ニューラルネットワークに２Ｄ画像（例：（１枚または複数の）放射線写真）を入力し、ニューラルネットワークが、それら（１枚または複数の）２Ｄ放射線写真に描写されている３Ｄ解剖学的構造の座標を出力する。

次に図６を参照し、図６は、本発明のいくつかの実施形態による、２枚の２Ｄ解剖学的画像を３Ｄ点群にマッピングするためのニューラルネットワークの例示的なアーキテクチャを描いた図である。２枚の２Ｄ画像は、Ｘ線画像とすることができる。２枚の２Ｄ画像は、対象の解剖学的構造の異なるビュー（例えば前後方向（ＡＰ）のビューおよび横方向のビュー）とすることができる。

再び図１を参照し、１１６においては、訓練されたニューラルネットワークを提供する。訓練されたニューラルネットワークは、例えば、（１枚または複数の）２Ｄ画像に応えて３Ｄ点群を出力する要求を処理するサーバに格納する、および／または、３Ｄ点群をローカルに計算する遠隔のクライアント端末に転送する、および／または、ストレージ装置に格納することができる。

再び図３を参照し、３０２においては、例えば、対象の解剖学的構造に従って、および／または、ニューラルネットワークに入力される（１枚または複数の）２Ｄ画像を出力する撮像モダリティ装置（例：Ｘ線、超音波）に従って、１つまたは複数の訓練されたニューラルネットワークを提供する、および／または、（例えば図１を参照しながら説明したように）ニューラルネットワークを訓練する。

ニューラルネットワークは、本明細書に説明されているように、歪んだテンプレートおよび対応する２Ｄ画像の訓練データセットに従って訓練する。歪んだテンプレートは、３Ｄ解剖学的画像から抽出される点群から作成することができる。各点群は、座標の順序付けられたリストによって表現される。点群の１つをテンプレートとして選択する。このテンプレートを、他の（すなわち選択されていない）点群それぞれと非剛体位置合わせして、それぞれの歪んだテンプレートを計算することができる。各歪んだテンプレートは、それぞれの点群の形状を有し、テンプレートの座標の順序を維持する。歪んだテンプレートは、座標の順序に関して一貫性がある。

３０４においては、対象患者の対象の解剖学的構造を描写している１枚または複数の２Ｄ解剖学的画像を取得する。２Ｄ解剖学的画像は、放射線医学の標準および／または臨床標準に基づいて取得することができる。例えば、（１枚または複数の）２Ｄ解剖学的画像は、Ｘ線装置によって出力された（１枚または複数の）Ｘ線画像であり、例えば、（例：胸部、大腿部の）前後方向（ＡＰ）および横方向のビュー、腹部の３つのビュー、関節の２つ以上のビューである。別の例においては、２Ｄ解剖学的画像は超音波画像であり、例えば、さまざまな器官の軸方向の平面または別のビュー（肝臓の複数の異なる平面など）である。

３０６においては、（１枚または複数の）２Ｄ解剖学的画像をニューラルネットワークに入力する。

３０８においては、本明細書に説明されているように、訓練されたニューラルネットワークによって、対象の解剖学的構造の再構成された３Ｄ点群モデルを出力する。

オプションとして、対象の解剖学的構造の再構成された３Ｄ点群モデルは、対象の解剖学的構造の内側表面（例えば、内腔および／または管腔の内面）を描写している。例えば、対象の解剖学的構造が長骨であるとき、再構成された３Ｄ点群に描写されている内側表面は、長骨の髄腔の内面とすることができる。別の例においては、対象の解剖学的構造が膀胱であるとき、内側表面は膀胱の内面である。

３１０においては、再構成された３Ｄ画像のピクセル単位および／またはボクセル単位をミリメートル（または実世界の別の測度）に変換するための変換パラメータを計算することができる。

以下は、変換パラメータを計算するための例示的なプロセスである。すなわち、再構成された３Ｄモデルを、（再構成された３Ｄ画像を出力したニューラルネットワークに入力された）２Ｄ画像の平面上に投影するための投影を計算する。２Ｄ解剖学的画像は、既知の寸法を有する較正オブジェクト（例えば、既知の直径を有する鋼製の球）の描写を含む。較正オブジェクトは、２Ｄ画像上に明瞭に見えるように選択することができる（例えば、Ｘ線写真に現れるように放射線を透過させない物質からなるオブジェクト）。投影のスケールパラメータを計算する。再構成された３Ｄモデルを、このスケールパラメータに従って元の任意の単位からピクセル単位および／またはボクセル単位にスケーリングする。ピクセル単位および／またはボクセル単位からミリメートル（または実世界の別の物理的測度（センチメートルなど））に変換するための変換パラメータを、２Ｄ解剖学的画像に描写されている較正オブジェクトに従って計算する。再構成された３Ｄ画像のピクセル単位および／またはボクセル単位を、計算された変換パラメータに従ってミリメートルに変換することができる。

次に図７を参照し、図７は、本発明のいくつかの実施形態による、大腿骨７０８（すなわち対象の解剖学的構造）に配置された較正オブジェクト７０６（鋼製の球として実施されている）の使用を描いた２Ｄ Ｘ線画像７０２，７０４であり、この場合、大腿骨７０８の再構成された３Ｄ点群７１０のサイズを任意の単位から実世界のサイズに変換するために、較正オブジェクトが自動的に検出および測定される。再構成された３Ｄ点群７１０が、２Ｄ Ｘ線画像７０４内の２Ｄ大腿骨７０８上に投影されて示されている。較正オブジェクト７０６は、２Ｄ Ｘ線画像７０２内に外形７１２によって表されているように、自動的に検出される。

再び図３を参照し、３１２においては、患者の対象の解剖学的構造の外科治療を、対象の解剖学的構造の再構成された３Ｄ点群モデルに従って計画することができる。

対象の解剖学的構造の再構成された３Ｄ点群モデルに従って計画される、患者の例示的な外科治療は、関節置換人工装具および／または骨折修復埋め込み器具（例：ねじ、ネイル、髄内釘）を選択するステップを含む。外科治療を計画する別の例は、補綴装置および／または骨折修復埋め込み器具を配置する場所（例えば骨折を軽減する目的でネイルをどのように挿入するか）を、３Ｄ点群の分析に基づいて決定することである。

患者の外科治療のための部品は、３Ｄ点群モデルによって描写されている骨（および／または他の構造）の（１つまたは複数の）寸法に従って（オプションとして、ミリメートルへの計算された変換に基づいて）、サイズ決定する、および／または選択することができる。例えば、患者を治療するための髄内釘のサイズ、ねじのサイズ、および／または人工関節のサイズである。

オプションとして、例えば手術シミュレーションアプリケーションを用いて、３Ｄ点群モデルを使用して外科的処置をシミュレートすることによって、患者の外科治療を、対象の解剖学的構造の再構成された３Ｄ点群モデルに従って計画する。

別の例においては、使用者は、表示アプリケーションにおいて３Ｄ点群を見ることができる。使用者は、３Ｄ点群を手動で操作する（例えば測定を行う、および／または見る向きを変更する）ことができる。

３１４においては、３Ｄ点群モデルに基づいた計画に従って患者を治療する（例えば、計画された手術に従って選択された、および／または挿入された補綴装置もしくは骨折修復埋め込み器具またはその両方を使用する）。

ここまで本発明のさまざまな実施形態を、実例を目的として説明してきたが、上記の説明は、すべてを網羅する、または開示される実施形態に限定されることを意図するものではない。この技術分野における通常の技術を有する者には、説明した実施形態の範囲および趣旨から逸脱することなく、多数の修正形態および変形形態が明らかであろう。本明細書において使用されている専門用語は、実施形態の原理、実際の用途、または市場に存在する技術に優る技術的改善を最良に説明するために、あるいは、この技術分野における通常の技術を有する者が、本明細書に開示されている実施形態を理解することができるように、選択されている。

本出願から発生する特許権の存続期間中、数多くの関連する３Ｄ解剖学的画像が開発されることが予測されるが、用語「３Ｄ解剖学的画像」の範囲は、このような新規の技術すべてを含むものとする。

本明細書で使用する「約」は、±１０％を指す。

用語「含む（comprises)」、「含む(comprising)」、「含む(includes)」、「含む(including)」、「有する(having)」およびその活用形は、「限定されるものではないが、含む(including but not limited to)」を意味する。この語は、語「〜からなる」および「本質的に〜からなる」を包含する。

「本質的に〜からなる」という表現は、組成物または方法が、追加の成分および／または追加のステップを含んでもよく、ただし、それら追加の成分および／または追加のステップが、特許請求の範囲に記載されている組成物または方法の基本的かつ新規の特徴を実質的に変化させない場合に限られることを意味する。

本明細書において、単数形を表す「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が明らかに他を示さない限り、複数をも対象とする。例えば、「化合物（a compound）」または「少なくとも１種の化合物」には、複数の化合物が含まれ、それらの混合物をも含み得る。

語「例示的な」は、本明細書においては、「例、一例、または説明としての役割を果たす」を意味する目的で使用されている。「例示的な」として説明されている実施形態は、必ずしも他の実施形態よりも好ましい、または有利であるとは解釈されないものとする、および／または、他の実施形態の特徴を組み込むことが排除されないものとする。

語「オプションとして」は、本明細書においては、「いくつかの実施形態において設けられ、他の実施形態では設けられない」を意味する目的で使用されている。本発明のいずれの実施形態も、互いに矛盾しない限りは複数の「オプションの」特徴を含むことができる。

本願全体を通して、本発明のさまざまな実施形態は、範囲形式にて示され得る。範囲形式での記載は、単に利便性および簡潔さのためであり、本発明の範囲の柔軟性を欠く制限ではないことを理解されたい。したがって、範囲の記載は、可能な下位の範囲の全部、およびその範囲内の個々の数値を特異的に開示していると考えるべきである。例えば、１〜６といった範囲の記載は、１〜３、１〜４、１〜５、２〜４、２〜６、３〜６等の部分範囲のみならず、その範囲内の個々の数値、例えば１、２、３、４、５および６も具体的に開示するものとする。これは、範囲の大きさに関わらず適用される。

本明細書において数値範囲を示す場合、それは常に示す範囲内の任意の引用数（分数または整数）を含むことを意図する。第１の指示数と第２の指示数「との間の範囲」という表現と、第１の指示数「から」第２の指示数「までの範囲」という表現は、本明細書で代替可能に使用され、第１の指示数および第２の指示数と、それらの間の分数および整数の全部を含むことを意図する。

明確さのために別個の実施形態に関連して記載した本発明の所定の特徴はまた、１つの実施形態において、これら特徴を組み合わせて提供され得ることを理解されたい。逆に、簡潔さのために１つの実施形態に関連して記載した本発明の複数の特徴はまた、別々に、または任意の好適な部分的な組合せ、または適当な他の記載された実施形態に対しても提供され得る。さまざまな実施形態に関連して記載される所定の特徴は、その要素なしでは特定の実施形態が動作不能でない限り、その実施形態の必須要件であると捉えてはならない。

本発明をその特定の実施形態との関連で説明したが、多数の代替、修正および変種が当業者には明らかであろう。したがって、そのような代替、修正および変種の全ては、添付の特許請求の範囲の趣旨および広い範囲内に含まれることを意図するものである。

本明細書で言及した全ての刊行物、特許および特許出願は、個々の刊行物、特許および特許出願のそれぞれについて具体的且つ個別の参照により本明細書に組み込む場合と同程度に、それらの全体が参照により本明細書に組み込まれる。加えて、本願におけるいかなる参考文献の引用または特定は、このような参考文献が本発明の先行技術として使用できることの容認として解釈されるべきではない。また、各節の表題が使用される範囲において、必ずしも限定として解釈されるべきではない。さらに、本出願の任意の（１つまたは複数の）優先権書類は、その全体が参照により本明細書に組み込まれている。

Claims (21)

1. 少なくとも１枚の２Ｄ画像から３Ｄ点群を再構成するようにニューラルネットワークを訓練する方法であって、
   対象の解剖学的構造を描写している複数の３Ｄ解剖学的画像から、それぞれが座標の順序付けられたリストによって表現される複数の点群、を抽出するステップと、
   前記複数の点群の１つをテンプレートとして選択するステップと、
   前記テンプレートを前記複数の点群のそれぞれと非剛体位置合わせし、それぞれの前記点群の形状を有しかつ前記テンプレートの座標の順序を維持するそれぞれの歪んだテンプレートを計算するステップであって、前記複数の歪んだテンプレートが、座標の順序に関して一貫性がある、ステップと、
   対応する３Ｄ解剖学的画像に描写されている前記対象の解剖学的構造を描写している複数の２Ｄ解剖学的画像を受信するステップと、
   少なくとも１枚の２Ｄ解剖学的画像を３Ｄ点群にマッピングするように、前記歪んだテンプレートおよび対応する２Ｄ画像の訓練データセットに従って、ニューラルネットワークを訓練するステップと、
   を含む、方法。
2. 前記複数の２Ｄ解剖学的画像が、前記対応する３Ｄ解剖学的画像のそれぞれから計算される複数のエミュレートされた２Ｄ解剖学的画像を含み、前記複数のエミュレートされた２Ｄ解剖学的画像が、前記エミュレートされた２Ｄ解剖学的画像を仮想的に撮影する仮想２Ｄセンサーの向きに対応する方向に沿って、前記対応する３Ｄ解剖学的画像の撮影値を集積することによって計算される、請求項１に記載の方法。
3. 前記複数のエミュレートされた２Ｄ解剖学的画像が、患者に関連する事前定義される向きにおけるＸ線源およびＸ線センサーアレイによって撮影される対象の２Ｄ−Ｘ線画像に相当するように計算される、請求項２に記載の方法。
4. 前記複数の３Ｄ解剖学的画像から抽出される前記複数の点群のそれぞれが、頂点の座標順序および頂点の結合によって表現される３Ｄポリゴンメッシュを表している、請求項１に記載の方法。
5. 前記複数の点群の各点群が、
   それぞれの前記３Ｄ解剖学的画像の複数の２Ｄスライスの各２Ｄスライスにおいて、前記描写されている対象の解剖学的構造の２Ｄセグメンテーションを計算するステップと、
   前記複数の２Ｄスライスにおいて計算された前記複数の２Ｄセグメンテーションを積層させるステップと、
   前記積層された複数の２Ｄセグメンテーションから、前記対象の解剖学的構造の３Ｄ−２値配列を取得するステップと、
   前記３Ｄ−２値配列から前記点群を計算するステップと、
   によって、前記複数の３Ｄ解剖学的画像のそれぞれの３Ｄ解剖学的画像から抽出される、
   請求項１に記載の方法。
6. 前記描写されている対象の解剖学的構造の前記２Ｄセグメンテーションが、それぞれのピクセルが前記対象の解剖学的構造を描写している、ピクセルごとの確率を計算するセグメンテーションニューラルネットワークによって、それぞれの前記２Ｄスライスから切り出され、前記セグメンテーションニューラルネットワークが、複数のサンプル患者の複数の３Ｄ解剖学的画像それぞれの複数の２Ｄスライスの訓練データセットで訓練されており、各２Ｄスライスが、前記対象の解剖学的構造のセグメンテーションの指示情報によってアノテートされている、請求項５に記載の方法。
7. 前記非剛体位置合わせが、コヒーレントポイントドリフトおよび非剛体の反復最近接点から選択される非剛体位置合わせプロセスに従って、実行される、請求項１に記載の方法。
8. 前記対象の解剖学的構造が、股関節、膝関節、および肩関節からなる群から選択される、関節および関連する骨、を含む、請求項１に記載の方法。
9. 前記対象の解剖学的構造が、骨を含む、請求項１に記載の方法。
10. 前記対象の解剖学的構造が、大腿骨を含む、請求項９に記載の方法。
11. 前記対象の解剖学的構造が、骨の内面を含む、請求項１に記載の方法。
12. 前記内面が、皮質骨の内面を含む、請求項１１に記載の方法。
13. 前記内面が、長骨の髄腔の内面である、請求項１１に記載の方法。
14. 患者の対象の解剖学的構造の外科治療の方法であって、
    対象患者の対象の解剖学的構造を描写している２Ｄ解剖学的画像を取得するステップと、
    複数の歪んだテンプレートおよび対応する２Ｄ画像の訓練データセットに従って訓練された訓練済みニューラルネットワークに、前記２Ｄ解剖学的画像を入力するステップであって、
    前記複数の歪んだテンプレートが、複数の３Ｄ解剖学的画像から抽出される複数の点群から作成され、各点群が、座標の順序付けられたリストによって表現され、前記複数の点群の１つがテンプレートとして選択され、前記テンプレートが前記複数の点群のそれぞれと非剛体位置合わせされて、それぞれがそれぞれの前記点群の形状を有しかつ前記テンプレートの座標の順序を維持する前記複数の歪んだテンプレートが計算され、前記複数の歪んだテンプレートが、座標の順序に関して一貫性がある、ステップと、
    前記訓練済みニューラルネットワークによって、前記対象の解剖学的構造の再構成された３Ｄ点群モデルを出力するステップであって、
    前記患者の前記対象の解剖学的構造の外科治療が、前記対象の解剖学的構造の前記再構成された３Ｄ点群モデルに従って計画される、ステップと、
    を含む、方法。
15. 前記対象の解剖学的構造の前記再構成された３Ｄ点群モデルが、前記対象の解剖学的構造の内側表面を含む、請求項１４に記載の方法。
16. 前記対象の解剖学的構造が、長骨を含み、前記再構成された３Ｄ点群に描写されている前記内側表面が、前記長骨の髄腔の内面を含む、請求項１５に記載の方法。
17. 前記２Ｄ解剖学的画像が、Ｘ線画像を含む、請求項１４に記載の方法。
18. 前記再構成された３Ｄモデルを前記２Ｄ画像の平面上に投影するための投影を計算するステップであって、前記２Ｄ解剖学的画像が、既知の寸法を有する較正オブジェクトの描写を含む、ステップと、
    前記投影のスケールパラメータを計算するステップと、
    前記再構成された３Ｄモデルを、前記スケールパラメータに従って元の任意の単位からピクセル単位にスケーリングするステップと、
    ピクセル単位からミリメートルに変換するための変換パラメータを、前記２Ｄ解剖学的画像に描写されている前記較正オブジェクトに従って計算するステップと、
    前記再構成された３Ｄ画像の前記ピクセル単位を、前記計算された変換パラメータに従ってミリメートルに変換するステップと、
    をさらに含む、請求項１４に記載の方法。
19. 前記対象の解剖学的領域が、少なくとも１つの骨を含み、前記対象の解剖学的構造の前記再構成された３Ｄ点群モデルに従って計画される前記患者の外科治療が、前記３Ｄ点群モデルによって描写されている前記少なくとも１つの骨の少なくとも１つの寸法に従って、関節置換人工装具および骨折修復埋め込み器具の少なくとも一方を選択するステップを含む、請求項１４に記載の方法。
20. 前記対象の解剖学的構造の前記再構成された３Ｄ点群モデルに従って計画される前記患者の外科治療が、前記３Ｄ点群モデルを使用して外科的処置をシミュレートするステップを含む、請求項１４に記載の方法。
21. ２Ｄ画像から３Ｄ点群を再構成するようにニューラルネットワークを訓練するシステムであって、
    少なくとも１つのハードウェアプロセッサであって、以下、すなわち、
    対象の解剖学的構造を描写している複数の３Ｄ解剖学的画像から、それぞれが座標の順序付けられたリストによって表現される複数の点群を抽出するステップと、
    前記複数の点群の１つをテンプレートとして選択するステップと、
    前記テンプレートを前記複数の点群のそれぞれと非剛体位置合わせして、それぞれの前記点群の形状を有しかつ前記テンプレートの座標の順序を維持するそれぞれの歪んだテンプレートを計算するステップであって、前記複数の歪んだテンプレートが、座標の順序に関して一貫性がある、ステップと、
    対応する３Ｄ解剖学的画像に描写されている前記対象の解剖学的構造を描写している複数の２Ｄ解剖学的画像を受信するステップと、
    少なくとも１枚の２Ｄ解剖学的画像を３Ｄ点群にマッピングするように、前記歪んだテンプレートおよび対応する２Ｄ画像の訓練データセットに従って、ニューラルネットワークを訓練するステップ、
    のためのコード、を実行する、前記少なくとも１つのハードウェアプロセッサ、
    を備えている、
    システム。