JP2020527380A - 蛍光透視法および追跡センサを使用する股関節の外科手術ナビゲーション - Google Patents

Abstract

体部分の動きを追跡する方法であって、(a)動きのレンジの中で再度位置設定される体部分から動きデータを収集するステップであって、体部分は、その体部分に装着される動きセンサを有する、収集するステップと、(b)体部分が動きのレンジの中の異なる位置にある間に、体部分の、撮影される複数の放射線写真画像を収集するステップであって、複数の放射線写真画像は、視野の中に体部分および動きセンサを有する、収集するステップと、(c)複数の放射線写真画像のうちの少なくとも2つの中で識別可能な動きセンサの構造を使用して、放射線写真画像を較正して、複数の放射線写真画像から体部分の仮想3次元モデルを構築するステップとを含む、方法。

Description

関連出願の相互参照
本出願は、2017年6月19日に出願された、「Surgical Navigation of the Hip using Fluoroscopy and Tracking Sensors」と表題を付けられた、米国仮特許出願第62/521,582号の利益を主張し、2017年10月23日に出願された、「Surgical Navigation of the Hip using Fluoroscopy and Tracking Sensors」と表題を付けられた、米国仮特許出願第62/575,905号の利益を主張し、2018年1月15日に出願された、「Surgical Navigation of the Hip using Fluoroscopy and Tracking Sensors」と表題を付けられた、米国仮特許出願第62/617,383号の利益を主張するものであり、それらの米国仮特許出願の各々の開示は、参照により本明細書に組み込まれている。

コンピュータ断層撮影(CT)または磁気共鳴イメージング(MRI)は一般に、具体的には仮想解剖学的モデルを要する用途において、関節イメージングのためのゴールドスタンダードと考えられる。画像は、3次元(3D)再構築を実行するために、セグメンテーションソフトウェアにより使用され得るものであり、そのソフトウェアの出力が、患者の関節の表面モデルである。これらのモデルは、骨、軟骨、他の軟組織、または、任意の組み合わせを含み得る。ゆえに、これらの3Dモデルは、全関節置換外科手術のための、現代の外科手術ナビゲーションおよびガイダンスシステムにおいて頻繁に使用される。しかしながら、これらのモデルの創出は、しばしば時間がかかり、増大されるコスト、およびしばしば、イメージングと外科手術との間の相当量の時間を結果的に生じさせる。イメージングのよりコスト効果的な方法は、オフサイト再構築を要さず、既存の診療室ベースのイメージング、例えば標準X線写真または蛍光透視法を利用するが、計画立案または外科手術において使用されることになる3Dモデル創出のための経路をやはり提供するものである。本開示の一部として、3Dモデルおよびイメージングは、外科手術時間を減少し、追加的なコストを低減するために、手術中レジストレーションにおいて使用され得る。

手術中に外科手術ナビゲーションおよびガイダンスシステムを使用することに関係付けられる1つの困難なプロセスは、ナビゲーションシステムに対して患者の関節場所および向きをレジストレーションすることである。このことは、普通、ガイダンスシステムのサーベイランスのもとで患者上の骨性ランドマークの場所をレジストレーションすることによって実行され、その場合、関節位置および向きが、システムに対して較正され得る。従前から、このことは、手術室内で、手作業で行われ、時間がかかり、潜在的には不正確である。

レジストレーションのために患者固有器具を利用するための技法が開発されており、その場合、器具は、唯一無二の方式において患者の骨にフィットするように作製される。器具は、患者のために付加製造および殺菌され得る。いくつかの難題が、このプロセスにおいて存在する。第1のものは、製造に関係付けられる。一部の患者は、患者固有器具に対して唯一無二の形で「ロックする」ことができる、理想的な骨性幾何学的形状を有さないことがあり、そのことが、レジストレーション誤差を持ち込むことがある。加えて、付加製造の性質に起因して、材料はしばしば多孔性であり、そのことが、水分レベルに依存して、器具の耐性に影響を及ぼすことがある。別の問題点は、これらの器具を製造するために要される、高いコストおよびリードタイムである。しばしば技師は、セグメンテーションを実行し、関節幾何学的形状を分析して、患者関節に対する器具のロッキング機構を創出することを必要とされ、そのことは、ボリュームに依存して、成し遂げるのに数週間かかることがある。本開示の一部として、何らかの追加的なデバイスを製造する必要性を回避するための医療イメージングによる、新規のレジストレーション技法が提示される。

米国特許出願公開第20170296115号

Hu、Wenze、およびSong-Chun Zhu、「Learning 3d object templates by quantizing geometry and appearance spaces.」IEEE transactions on pattern analysis and machine intelligence 37.6 (2015): 1190〜1205頁

手術中放射線写真法イメージングを慣性追跡システムと結合することにより、患者は、患者固有器具を製造すること、または、ランドマークを手作業で識別することのオーバヘッドなしに、手術室内でレジストレーションされ得る。

体部分の動きを追跡する方法であって、(a)動きのレンジの中で再度位置設定される体部分から動きデータを収集するステップであって、体部分は、その体部分に装着される動きセンサを有する、収集するステップと、(b)体部分が動きのレンジの中の異なる位置にある間に、体部分の、撮影される複数の放射線写真画像を収集するステップであって、複数の放射線写真画像は、視野の中に体部分および動きセンサを有する、収集するステップと、(c)複数の放射線写真画像のうちの少なくとも2つの中で識別可能な動きセンサの構造を使用して、放射線写真画像を較正して、複数の放射線写真画像から体部分の仮想3次元モデルを構築するステップとを含む、方法を提供することが、本発明の第1の態様である。

第1の態様のより詳細な実施形態において、動きセンサは、慣性測定ユニットを備える。その上別のより詳細な実施形態において、慣性測定ユニットは、複数の加速度計、複数のジャイロスコープ、および、複数の磁気計を備える。さらなる詳細な実施形態において、動きセンサは、体部分に非剛体的に(non-rigidly)装着される。なおもさらなる詳細な実施形態において、動きセンサは、体部分を少なくとも部分的に覆う表皮の外の側に装着される。より詳細な実施形態において、動きセンサは、体部分に剛体的に(rigidly)装着される。より詳細な実施形態において、動きセンサの構造は、抵抗器、チップ、コンデンサ、回路ボード、および電気導線のうちの少なくとも1つを備える。別のより詳細な実施形態において、放射線写真画像は、X線写真を含む。その上別のより詳細な実施形態において、放射線写真画像は、蛍光透視画像を含む。なおも別のより詳細な実施形態において、放射線写真画像を較正するステップは、自動的に実行される。

第1の態様のその上別のより詳細な実施形態において、放射線写真画像の自動的な較正は、ソフトウェアプログラムを実行するコンピュータにより実行される。その上別のより詳細な実施形態において、方法は、時間に対する関数として、動きセンサの位置および回転のうちの少なくとも1つを決定するために使用され得る、動きセンサからのデータを収集するステップをさらに含む。さらなる詳細な実施形態において、動きセンサから収集されるデータは、ワイヤレスで収集される。なおもさらなる詳細な実施形態において、動きセンサから収集されるデータは、動きセンサに接続される電線から収集される。より詳細な実施形態において、動きセンサから収集されるデータは、電話、コンピュータ、タブレット、およびポータブルメモリのうちの少なくとも1つにより収集される。より詳細な実施形態において、方法は、3次元空間内で、体部分の仮想3次元モデルに対して動きセンサをレジストレーションするステップと、体部分の位置の関数として、動きセンサからの収集されるデータを相関させて、動きのレンジの中で再度位置設定されるときに、体部分の実際の位置を反映するように再度位置設定可能である、体部分の仮想動的モデルを創出するステップとをさらに含む。別のより詳細な実施形態において、方法は、複数の放射線写真画像を使用して、動きセンサの仮想3次元モデルを構築するステップをさらに含む。その上別のより詳細な実施形態において、動きセンサの仮想3次元モデルは、仮想3次元複合モデルを創出するために、体部分の仮想3次元モデルへと一体化される。なおも別のより詳細な実施形態において、方法は、体部分の位置の関数として、動きセンサからの収集されるデータを相関させて、仮想3次元複合モデルに対する動的移動を提供するステップをさらに含む。

第1の態様のより詳細な実施形態において、動きデータを収集するステップは、時間の関数として、動きセンサの位置の変化および回転の変化のうちの少なくとも1つを記録するステップを含む。その上別のより詳細な実施形態において、動きデータを収集するステップは、時間の関数として、動きセンサの変化加速度を記録するステップを含む。さらなる詳細な実施形態において、方法は、体部分の仮想3次元モデルを表示して、リアルタイムで実際の体部分の位置の変化を反映するステップをさらに含む。なおもさらなる詳細な実施形態において、収集される動きデータはタイムスタンプされる。

体部分の動きをたどるためのシステムであって、(a)動きセンサと、(b)動きセンサに通信可能に結合されるように構成されるプロセッサとを備え、プロセッサは、複数のモジュールに通信可能に結合され、モジュールは、(i)動きセンサにより生成される動きデータを記録するように構成されるデータ受信モジュールであって、データ受信モジュールおよび動きセンサのうちの少なくとも1つが、動きセンサにより生成される動きデータにタイムスタンプする、データ受信モジュールと、(ii)複数の放射線写真画像にわたって可視である共通の特徴を、複数の放射線写真画像を較正するために識別するように構成される放射線写真画像処理モジュールと、(iii)複数の放射線写真画像を処理し、複数の放射線写真画像のうちの少なくとも一部において視認可能な物体の仮想3次元モデルを創出するように構成される3次元モデルモジュールとを備える、システムを提供することが、本発明の第2の態様である。

第2の態様のより詳細な実施形態において、動きセンサは、慣性測定ユニットを含む。その上別のより詳細な実施形態において、動きセンサは、複数の加速度計を含む。さらなる詳細な実施形態において、動きセンサは、複数の磁気計を含む。なおもさらなる詳細な実施形態において、動きセンサは、複数のジャイロスコープを含む。より詳細な実施形態において、システムは、プロセッサに通信可能に結合され、仮想3次元モデルを表示するように動作可能なディスプレイをさらに含む。より詳細な実施形態において、システムは、放射線写真画像撮影機械をさらに含む。

外科手術ナビゲーションを提供する方法であって、(a)体部分および少なくとも1つの画像目標を含む、複数個の有利な角度(vantage angle)から手術中に撮影される複数の放射線写真画像を取得するステップと、(b)ナビゲーションシステムに対して手術中に体部分をレジストレーションするステップと、(c)ナビゲーションシステムにより使用される3次元座標系において、体部分の向きおよび位置のうちの少なくとも1つを算出するステップと、(d)体部分、外科手術器具、および整形外科インプラントのうちの少なくとも1つを含む有形物品(tangible item)の仮想モデルを表示するステップであって、有形物品の位置および向きのうちの少なくとも1つの変化と一致するように、仮想モデルの位置および向きのうちの少なくとも1つをリアルタイムで変化させるステップを含む、仮想モデルを表示するステップとを含む、方法を提供することが、本発明の第3の態様である。

第3の態様のより詳細な実施形態において、有形物品の仮想モデルは、ナビゲーションシステムと関連付けられる3次元モデルを含み、レジストレーションするステップは、3次元モデルに対して体部分の2次元画像をレジストレーションするステップを含む。その上別のより詳細な実施形態において、レジストレーションするステップは、複数の放射線写真画像から体部分の2次元解剖学的ランドマークを識別し、それらの2次元解剖学的ランドマークを、ナビゲーションシステムの仮想3次元モデルと関連付けられる3次元ランドマークとレジストレーションするステップを含む。さらなる詳細な実施形態において、2次元解剖学的ランドマークを3次元解剖学的ランドマークとレジストレーションするステップは、3次元ランドマークを2次元画像上へと投影するステップを含む。なおもさらなる詳細な実施形態において、3次元ランドマークを投影するステップは、選択される2次元ランドマークの間の距離が、対応する3次元ランドマークの間の距離に関して低減されるように、3次元モデルの姿勢を調整するステップを含む。より詳細な実施形態において、レジストレーションするステップは、単一の位置および向きのみにおいて体部分と正しく係合する患者固有器具を使用するステップを含む。より詳細な実施形態において、患者固有器具は、慣性測定ユニットを含む。別のより詳細な実施形態において、患者固有器具は、複数の加速度計を含む。その上別のより詳細な実施形態において、患者固有器具は、複数のジャイロスコープを含む。なおも別のより詳細な実施形態において、患者固有器具は、複数の磁気計を含む。

第3の態様のその上別のより詳細な実施形態において、方法は、体部分を含む、複数個の有利な角度から手術前に撮影される複数の放射線写真画像を取得するステップと、複数の放射線写真画像から体部分の仮想3次元モデルを創出するステップとをさらに含む。その上別のより詳細な実施形態において、方法は、仮想3次元モデルを創出するステップより前に、手術前に撮影される複数の放射線写真画像を較正するステップをさらに含む。さらなる詳細な実施形態において、方法は、仮想3次元モデルを使用して外科手術処置を計画立案するステップをさらに含む。なおもさらなる詳細な実施形態において、方法は、動きのレンジの中で再度位置設定される体部分から動きデータを収集するステップであって、体部分は、その体部分に装着される動きセンサを有する、収集するステップをさらに含む。より詳細な実施形態において、動きセンサは、慣性測定ユニットを備える。より詳細な実施形態において、慣性測定ユニットは、複数の加速度計、複数のジャイロスコープ、および、複数の磁気計を備える。別のより詳細な実施形態において、動きセンサは、体部分に非剛体的に装着される。その上別のより詳細な実施形態において、動きセンサは、体部分を少なくとも部分的に覆う表皮の外の側に装着される。なおも別のより詳細な実施形態において、動きセンサは、体部分に剛体的に装着される。

第3の態様のより詳細な実施形態において、複数の放射線写真画像は、複数のX線写真画像を含む。その上別のより詳細な実施形態において、複数の放射線写真画像は、複数の蛍光透視画像を含む。さらなる詳細な実施形態において、方法は、手術中に取得される複数の放射線写真画像を較正するステップをさらに含む。なおもさらなる詳細な実施形態において、複数の放射線写真画像の較正は、ソフトウェアプログラムを実行するコンピュータにより自動的に実行される。より詳細な実施形態において、方法は、時間に対する関数として、動きセンサの位置および回転のうちの少なくとも1つを決定するために使用され得る、動きセンサからのデータを収集するステップをさらに含む。より詳細な実施形態において、動きセンサから収集されるデータは、ワイヤレスで収集される。別のより詳細な実施形態において、動きセンサから収集されるデータは、動きセンサに接続される電線(wire)から収集される。

第3の態様のその上別のより詳細な実施形態において、動きセンサから収集されるデータは、電話、コンピュータ、タブレット、およびポータブルメモリのうちの少なくとも1つにより収集される。その上別のより詳細な実施形態において、方法は、3次元空間内で、体部分の仮想3次元モデルに対して動きセンサをレジストレーションするステップと、体部分の位置の関数として、動きセンサからの収集されるデータを相関させて、動きのレンジの中で再度位置設定されるときに、体部分の実際の位置を反映するように再度位置設定可能である、体部分の仮想動的モデルを創出するステップとをさらに含む。さらなる詳細な実施形態において、方法は、複数の放射線写真画像を使用して、動きセンサの仮想3次元モデルを構築するステップをさらに含む。なおもさらなる詳細な実施形態において、方法は、複数の放射線写真画像を使用して、動きセンサの仮想3次元モデルを構築するステップをさらに含む。より詳細な実施形態において、動きセンサの仮想3次元モデルは、仮想3次元複合モデルを創出するために、体部分の仮想3次元モデルへと一体化される。より詳細な実施形態において、方法は、体部分の位置の関数として、動きセンサからの収集されるデータを相関させて、仮想3次元複合モデルに対する動的移動を提供するステップをさらに含む。別のより詳細な実施形態において、動きデータを収集するステップは、時間の関数として、動きセンサの位置の変化および回転の変化のうちの少なくとも1つを記録するステップを含む。その上別のより詳細な実施形態において、動きデータを収集するステップは、時間の関数として、動きセンサの変化加速度を記録するステップを含む。なおも別のより詳細な実施形態において、収集される動きデータはタイムスタンプされる。

本開示による、手術前X線写真または蛍光透視法を使用する股関節の例示的な外科手術ナビゲーションの例示的なシステム概観の図である。 本開示による、手術中X線写真または蛍光透視法を使用する股関節の例示的な外科手術ナビゲーションの例示的なシステム概観の図である。 本開示による、追跡センサを使用する、手術中リアルタイム画像ベースのナビゲーションシステムを伴う、画像ベースの手術前計画立案の例示的なシステム概観の図である。 本開示による、手術中リアルタイム画像ベースのナビゲーションシステムをプラスした、画像ベースの手術前計画立案の例示的なセンサレス変形形態の図である。 本開示による、追跡センサを使用する、手術中リアルタイム画像ベースのナビゲーションシステムを伴う、画像ベースの手術の間用の計画立案の例示的なシステム概観の図である。 本開示による、再構築を伴わない、X線写真画像を使用する、および、リアルタイム追跡システムを使用しない、ナビゲーションのための例示的な構成の図である。 本開示による、X線写真からの、患者固有3次元骨盤および近位大腿骨モデルの創出のための非剛体レジストレーションを描写する例示的なプロセスフローである。 本開示による、異なるビューにおいて撮影される骨盤X線写真画像における特徴検出の例示的な描写の図である。 本開示による、骨盤X線写真画像におけるグリッドベースの動き統計(grid-based motion statistics)手法を使用するのみの、異なるビューにおいて撮影される複数個の2D画像の間の特徴マッチングを示す例示的な描写の図である。 本開示による、骨盤X線写真画像におけるグリッドベースの動き統計手法およびベクトル場コンセンサス(vector field consensus)手法の組み合わせを使用する、異なるビューにおいて撮影される複数個の2D画像の間の特徴マッチングを示す例示的な描写の図である。 本開示による、例示的な骨盤モデルの、右ジュデット(Judet)ビュー、APビュー、および左ジュデットビューのDRR画像の例示的な描写の図である。 モーフィングのための強調表示される骨境界を示す、本開示による、例示的なX線写真再構築の図である。 右ジュデットビュー、APビュー、および左ジュデットビューのパースペクティブから撮影される骨盤の複数個のX線写真の例示的な描写の図である。 骨および取り付けられたセンサを伴うX線写真画像を示す例示的な描写の図である。 イメージングより前に患者に取り付けられたセンサ、ならびに、センサおよび患者関節情報の両方を内包する結果的に生ずるX線写真画像を示す例示的な描写の図である。 本開示による、蛍光透視法からの患者解剖学的構造および外科手術ランドマーキングの再構築のためのプロセスの例示的なプロセスフローである。 本開示による、歪み除去の前(左)、および、歪み除去の後(右)の、幾何学的較正グリッドの蛍光透視画像を示す例示的な描写の図である。 本開示による、例示的な姿勢および形状パラメータ最適化プロセスフローである。 本開示の一部としての、入力空間距離と特徴空間距離との間の関係性を示す例示的な描写の図である。 骨盤および大腿骨3D仮想モデルにおける、解剖学的ランドマークの自動的な算出を示すスクリーンショットの例示的な描写の図である。 骨盤および大腿骨3D仮想モデルにおける、寛骨臼カップおよび大腿骨ステムの計画立案された配置を示すスクリーンショットの例示的な描写の図である。 骨盤3D仮想モデルに関しての、寛骨臼カップの汎用的テンプレーティングを描写するスクリーンショットの図である。 ステムの汎用的テンプレーティング、ならびに、最適なインプラント直径、頸部角度、および頭部オフセットを計算するために使用される、異なるインプラント場所を査定するための髄内管幾何学的形状としての大腿骨測定を描写する部分的スクリーンショットの図である。 本開示による、活動の異なる段階の間の靱帯張力、および、インプラントの接触マップを含む、動的計画立案情報を明示するソフトウェアの例示的なスクリーンショットの図である。 本開示による、2次元対3次元レジストレーションを描写する例示的なプロセスフロー線図である。 本開示による、2次元X線写真または蛍光透視画像に対する3次元モデルのレジストレーションのための例示的なソフトウェアユーザインターフェイスのスクリーンショットの図であり、ユーザが、解剖学的ランドマークに対応する画像上のランドマークのセットを選択する。 本開示による、2次元X線写真または蛍光透視画像に対する3次元モデルのレジストレーションのための例示的なソフトウェアユーザインターフェイスのスクリーンショットの図であり、ランドマークが、投影されるランドマークと選択されるランドマークとの間の最も小さい距離を結果的に生じさせる姿勢を出力する初回通過最適化において使用される。 2次元X線写真または蛍光透視画像に対する3次元モデルのレジストレーションのための例示的なソフトウェアユーザインターフェイスのスクリーンショットの図であり、さらなる最適化(3Dモデルの投影される画像、および2D画像に基づいてコスト関数を最小化する、ランドマーク最適化の出力姿勢において初期化される)が、2次元画像に対する3次元モデルの最終的な姿勢を結果的に生じさせる。 股関節/骨盤の例示的な放射線写真法画像の図である。 本開示による、図26の画像に対してレジストレーションされる3次元骨モデルの図である。 手術中イメージングのためのセットアップAの例示的な描写の図であり、関節(この事例においては股関節の関節)の、各々の骨が、固定デバイスによって追跡デバイスに取り付けられ、各々の追跡デバイスは、内に取り付けられる、または埋め込まれる、4つ以上の放射線不透過性特徴部を含み得る。 手術中イメージングのためのセットアップBの例示的な描写の図であり、関節(この事例においては股関節の関節)の、各々の骨が、固定デバイス(この事例においては、骨ピン)によって追跡デバイスに取り付けられ、追加的な追跡デバイス付属品が、追跡デバイスと固定デバイスとの間に取り付けられ得るものであり、付属品および追跡デバイスは、各々、内に取り付けられる、または埋め込まれる、4つ以上の放射線不透過性特徴部を有する。 骨盤、追跡デバイス、固定デバイス、および、追跡デバイス内へと埋め込まれる4つの放射線不透過性特徴部を示す、例示的な放射線写真画像(例えば、蛍光透視法)の図である。 本開示による、追跡デバイス/センサ、固定デバイス(基準アセンブリ)、および、患者骨盤に留められている、内に埋め込まれる複数個の放射線不透過性特徴部を伴うレジストレーション/画像目標を示す、例示的な装着の図である。 本開示による、(A)骨盤に装着される画像目標を伴って撮影される例示的なX線写真画像を示し、(B)X線写真画像上へと重畳される画像目標の仮想モデルを示す図である。 (a)X線写真画像によって解剖学的構造に剛体的に取り付けられる、追跡デバイス/センサのレジストレーションのためのイメージング目標を示し、(b)X線写真画像とマッチングする、解剖学的構造、および、それに装着される追跡デバイス/センサの3D仮想モデルを示す図である。 本開示による、例示的な画像目標を描写する図である。 図34の画像目標の複数個のビューを描写する図である。 基準片および追跡デバイス/センサに装着される図34の画像目標を備える例示的な基準アセンブリの複数個のビューを描写する図である。 装着される骨ピンを伴う、および伴わない、図36の例示的な基準アセンブリを描写する図である。 前後ビューにおいて、骨盤の仮想モデルに装着される(左)、および、X線写真画像によって実際の骨盤に装着される(右)、図36の例示的な基準アセンブリを描写する図である。 ジュデットビューにおいて、骨盤の仮想モデルに装着される(左)、および、X線写真画像によって実際の骨盤に装着される(右)、図36の例示的な基準アセンブリを描写する図である。 本開示による、3D-2Dレジストレーションおよびセンサナビゲーションを可能とし得る、骨盤および大腿骨の両方にそれぞれ装着される、図36の複数個の例示的な基準アセンブリを示す、股関節の例示的な仮想3D関節モデルの図である。 システムが、追跡デバイスの現実世界座標q₀と、放射線写真画像内のフィデューシャルマーカを使用する画像目標による画像座標q₁との間の関係性を確立するということを示す例示的な描写の図である。 本開示による、レジストレーションプロセスの例示的なグラフィカルビューを例解する図である。 本開示による、例示的なレジストレーションプロセスを遂行するための例示的なプロセスフローを例解する図である。 画像およびモデルデータをレジストレーションする、ならびに、リアルタイム外科手術ナビゲーションを手助けするために使用され得る、あらかじめ決定された位置および向きにおいて患者解剖学的構造に装着されるPAM基準アセンブリを例解する図である。 リアルタイムナビゲーションシステム座標(TN)系と較正目標座標系(TC)との間の例示的な較正行列を例解する図である。 本開示による、インプラントの配置位置を検証するために外科手術処置において使用され得る放射線写真イメージングシステムのグラフィカル描写の図である。 本開示による、例示的な外科手術ガイダンス表示のスクリーンショットの図であり、その表示は、患者解剖学的構造(この事例においては股関節)の3D仮想モデル、および、手術前計画と合致するように寛骨臼カップインプラントを配置するために外科医がしたがうべきである意図される向きを描写し、意図される向きからの乖離は、何らかの乖離を意図される向きに復帰させるために、ブルズアイイラストレーションの形で示される。 インプラント情報が外科手術ガイダンスソフトウェアに知られているので、そのソフトウェアは、同じインプラントの3D CADモデルを使用して、3Dモデル対2D画像レジストレーションを実行することができ、そのことによって、3D対2D画像レジストレーションが完了されると、組み合わされた前捻および外転角度などの向きメトリックが、2Dモデルに対する3Dモデルの相対的な向きの差に基づいて決定され得るということを示す描写の図である。 脚長などの空間的測定値が、放射線写真画像における直接的な2D測定値に対する比較として3D測定値を取得するために、レジストレーションされた3Dモデルから測定され得るものであり、そのことは、2D平面状画像からの臨床測定値のあいまいさを消失させ得るということを反映するグラフィカル描写の図である。 整形外科インプラントCADモデルを使用することなく、カップおよびステム向きを決定することのプロセスを描写する例示的なフロー線図である。 患者解剖学的構造(骨盤)に関しての画像目標の配置を示す、本開示による、例示的な実施形態のRPOジュデットビューを示す例示的な放射線写真画像の図である。 患者解剖学的構造(骨盤)に関しての画像目標の配置を示す、本開示による、例示的な実施形態のAPビューを示す例示的な放射線写真画像の図である。 患者解剖学的構造(骨盤)に関しての画像目標の配置を示す、本開示による、例示的な実施形態のLPOジュデットビューを示す例示的な放射線写真画像の図である。 本開示による、ステレオ較正行列の自動的な抽出のための例示的なフロー線図である。 放射線写真画像内で可視である放射線不透過性ビードを自動的に検出するコンピュータプログラムの初期成果を示す放射線写真画像の系列の図である。 複数個の放射線写真画像、および、画像内で現れる較正目標の自動的な姿勢推定の結果を示す、本開示による、例示的なコンピュータプログラムからのスクリーンショットの図である。 本開示による、「n」個の数の2次元ステレオ画像から3次元ランドマーキングを識別するための例示的なプロセスを描写する例示的なフロー線図である。 骨盤のAP放射線写真画像から抽出された、骨盤の解剖学的表面エッジ検出を反映する例示的なグラフィカル描写の図である。 本開示による、2次元ステレオ画像からの3次元ランドマークの生成のための例示的なユーザインターフェイスのグラフィカルインターフェイスビューの図である。 骨盤の仮想3Dモデルの複数個のビューを示すこと、および、整形外科カップのインプランテーションを反映することの、ユーザインターフェイスから撮影される例示的なスクリーンショットの図であり、ユーザインターフェイスは、手術中ステレオ画像からの抽出される3Dランドマークを使用する、手術中外科手術計画立案のために利用される。 外科手術治療のエピソードにわたって動的データを利用して、患者固有インプラントおよび器具を創出し、インプラントを配置し、手術後に性能を監視することの例示的なプロセスのフロー線図である。 動的画像データから解剖学的情報を創出することの例示的なプロセスを描写するフロー線図である。 ハイブリッド分類器による初期化を描写する線図である。 膝関節に適用されるKPCAモデル変形形態を描写する線図である。 姿勢および形状パラメータ最適化のためのプロセスを描写する線図である。 入力空間距離と特徴空間距離との間の関係性を描写する線図である。 X線写真蛍光透視法からの肩および股関節再構築の例示的な画像を含む図である。 どのように幾何空間が、最初に、部分テンプレートが実在し得るボリュームとして関心ボリューム(VOI)を抽出することにより分解されるかを描写する線図である。 どのように関心ボリューム(VoI)が検出により決定されるかを描写する線図である。 統計的形状変形を使用することに対する1つの代替案は、直接的に画像上の特徴を識別し、形状識別および変形のためにいわゆるAnd-Orツリーを使用することであるということを描写する線図である。 大腿骨解剖学的構造を原始的形状へと分解するコンピュータ生成イラストレーションの系列の図である。 イメージングデータから抽出された靱帯場所を示す骨モデルの図である。 深い膝曲げに対する脛骨および大腿骨の接触マップを描写する線図である。 どのように静的データおよび蛍光透視データが、キネマティクスおよびモルフォロジーを結合するために利用されるかを描写する線図である。 動的画像撮影の一部として相対的な軟骨厚さを示す、2つの遠位大腿骨のマップの図である。 動的データから軟骨厚さを推定するためのフロー線図である。 遠位大腿骨および近位脛骨に対する靱帯箇所確率マップの図である。 予測される軟骨損失の量をマッピングする遠位大腿骨モデルの対の図である。 キネマティックパターンを識別するためのキネマティック訓練ネットワークを創出および使用するためのプロセスフロー線図である。 内側の側の崩壊を示す膝関節骨モデルの図である。 正常な関節アライメントの推定、および、靱帯長さの変化を示す膝関節骨モデルの図である。 遠位固定を使用する自動的な大腿骨ステム配置に対する例示的なプロセス線図である。 プレスフィットおよび3つの接触部を使用する自動的な大腿骨ステム配置に対する例示的なプロセス線図である。

本開示の例示的な実施形態は、例示的な外科手術ナビゲーション方法、ならびに、対応するデバイスおよびシステムを包含するように、下記で説明および例解される。当然ながら、下記で論考される実施形態は、本質的には例示的であり、本発明の範囲および趣旨から逸脱することなく再構成され得るということが、当業者には明白であろう。しかしながら、明確さおよび精密さのため、下記で論考されるような例示的な実施形態は、本発明の範囲の中に収まるための必須のものではないと当業者が認識するはずである、任意選択のステップ、方法、および特徴を含み得る。

例示的なシステムは、本明細書において説明されるように、リアルタイムナビゲーションのために、手術中蛍光透視法および/またはX線写真、ならびに、追跡される器具類を組み合わせる、ハイブリッドシステムを備える。図1を確認されたい。システムは、本明細書の後で詳細に概説されるようないくつかの変形形態のうちの1つを利用し得る。下記の構成の各々に対して、手術中蛍光透視法が、デジタル平面状放射線写真法により置換され得る。

図2は、リアルタイム追跡システムおよび2Dイメージングを利用する例示的なナビゲーション構成の例示的なワークフローを概説する。概説されるナビゲーションシステム構成は、手術前再構築モジュールにおいて実行される、1つまたは複数の放射線写真画像からの骨盤および/または大腿骨の3D表面創出のための手術前イメージングを要し得る。3Dモデルと関連付けられるのが、解剖学的サイズ設定および基準座標系を規定する解剖学的ランドマークである。3D解剖学的モデルは、次いで、寛骨臼および/または大腿骨置換構成要素が仮想的に位置設定される、手術前外科手術計画立案モジュール内へと入力され得る。手術中に、知られている向きにおいて分布させられる放射線不透過性特徴部を含む、第1の基準IMU/位置センサアセンブリ(センサ、画像目標、および基準片)が、ナビゲートされている患者骨盤または大腿骨に取り付けられ、第2のIMU/位置センサが、追跡されているツールに取り付けられる。単一の2D X線写真または蛍光透視画像が、何らかの画像歪みに対して補正するために獲得および調整され得る。各々の手術中画像は、最低でも、ナビゲートされている解剖学的構造、および、基準センサアセンブリの一部分を内包する。画像は、ワイヤレスで、または、何らかの他の適したデータ転送方法によって、コンピュータ/タブレットに送信される。コンピュータ上で実行されるナビゲーションソフトウェアモジュールは、画像、3D解剖学的モデル、および、外科手術計画、インプラントテンプレート、解剖学的ランドマーク、または、処置に関連性のある任意の他のデータなどの、関係付けられる情報などの入力を使用する。ソフトウェアは、次いで、第1の3D対2Dレジストレーションを実行して、3D解剖学的構造を画像とアライメントし得る。このことを成し遂げるための1つの手立ては、第1に、3D対2Dレジストレーションプロセスをランドマークベースのレジストレーションによって初期化することであり、その場合、3D解剖学的構造上の3D解剖学的ランドマークが、3D骨の姿勢を調整することにより、画像上の対応する2Dランドマークに対してレジストレーションされ、そのことによって、画像上の選択される2Dランドマークと、2D画像上への投影の後の3Dランドマークの場所との間の距離が最小化される。第2のレジストレーションステップが実行され得るものであり、その場合、画像からの情報(検出されるエッジ、輪郭、領域、勾配、および/またはテクスチャ情報)が、3Dモデルの3D位置および向きをさらに調整するために使用され、そのことによって、画像平面上へのモデルの投影は、投影情報と画像情報との間の最小誤差または最大相関に基づいて最適化される。1つの例示的な実施形態において、画像情報は、第1に、画像内のエッジを検出し、次いで、エッジマップ画像における距離変換を実行することにより算出され得る。最適化ステップにおいて使用されるコスト関数が、次いで、現在の位置および向き(「姿勢」)においての3Dモデルのオフスクリーン投影を創出することにより、この画像からエッジおよび勾配情報を算出し得る。スコアリング関数が、次いで、2つの画像の、画素ごとの積の総和、プラス、2つの勾配方向(獲得される画像の勾配方向、および、投影される画像の勾配方向)の間の、画素ごとのドット積の絶対値の総和として算出し得る。第1の基準センサアセンブリが、2D画像とのアセンブリの放射線不透過性特徴部のレジストレーションによって、患者解剖学的構造に対してレジストレーションされ得る。このレジストレーションは、手術中イメージング座標フレームおよび追跡センサ座標フレームとの、患者手術前座標フレームの統合を可能とする。所定のステップの完了を基に、リアルタイム手術中ガイダンスが、患者解剖学的構造についての器具類を追跡して、所望される外科手術目標を達成することにより達成され得る。追加的なX線写真または蛍光透視画像が、画像に対する解剖学的構造の、および、画像に対する構成要素の、その上別のレジストレーションステップによって、最終的なインプラント配置、脚オフセット、および脚長を測定するために、試行および/または最終的なインプラントの配置を基に撮影され得る。加えて、距離測定デバイスが、基準センサと器具センサとの間の距離を捕捉するために使用され得るものであり、その距離は、次いで、両方のセンサの間の相対的な並進を捕捉するために利用され得る。

図3は、先の構成の例示的な変形形態を説明するものであり、センサは、解剖学的構造およびインプラントを内包する、静的X線写真または蛍光透視イメージングにより置換され得る。インプラントの位置および向きは、別の3D対2Dレジストレーションプロセスにより、画像に対してレジストレーションされるが、初期化が、すでにレジストレーションされた3D解剖学的モデルに相対的に、デフォルトの、または計画立案された位置および向きにおいて、3Dインプラントをアライメントすることにより為され得る。おそらくは、この初期化は、最終的な位置に近く、それゆえに、充分な初期推測を含む。インプラント(または試行)構成要素がレジストレーションされると、構成要素の向きおよび位置が、3D座標系において算出され、スクリーン上でオペレータに報告され得る。調整が、仮想3Dインプラントに対して為され得るものであり、適正に配置されるならば、予期される画像コンテンツに関係付けられるフィードバックを提供するために、2D画像上へと投影され得る。ソフトウェアは、さらには、代替のサイズ設定および位置設定を提案して、最小量のオフセットおよび脚長差異を結果的に生じさせる構成を可能とし得る。大腿骨および寛骨臼の両方のインプラントが配置されており、3Dモデルが、両方の構成要素を内包する画像に対してレジストレーションされているならば、最終的な構成要素向きおよび位置設定が計算され得る。

総体的なシステムの、その上別の例示的な構成において、画像ベースのリアルタイム手術中ナビゲーションシステムは、手術前イメージングまたは計画立案なしで利用される。図4は、この例示的な構成のワークフローを概説する。手術中に、知られている構成において分布させられる放射線不透過性特徴部を伴う、基準IMUセンサアセンブリが、ナビゲートされている患者骨盤または大腿骨に取り付けられる。追加的なIMUセンサが、追跡されているツールに取り付けられる。骨盤および大腿骨解剖学的構造の、1つまたは複数のx線写真/蛍光透視法画像が獲得される。各々の画像は、ナビゲートされている解剖学的構造のうちの1つ、および、少なくとも、レジストレーションのための基準センサアセンブリの充分な部分を内包すべきである。例えば、AP、ジュデットRPO、および/またはジュデットLPOが、妥当な画像であり得る。画像は、ワイヤレスで、または、USBなどの任意の記憶媒体、もしくは、任意の他の適したデータ転送方法によって、コンピュータに送信され得る。ナビゲーションソフトウェアモジュールは、画像を使用し、それらの画像を処理して、各々、獲得されるショットにおいて、放射線不透過性特徴部を内包する、剛体的に固定される基準アセンブリの相対的な向きおよび位置を抽出することにより、画像の各々に対するアセンブリの3D対2Dレジストレーションによって、画像の各々の間の較正を算出する。各々の画像上で、1つまたは複数の解剖学的ランドマークが、自動化された、または半自動化されたプロセスによって識別され得る。較正された画像、および、場所設定されたランドマークのセットから、マルチビューカメラ幾何原理が、画像のうちの2つ以上において識別されるランドマークの各々に対する3D座標の創出のために使用され得る。例えば、骨盤に対して、ランドマークは、右および左上前腸骨棘、右および左恥骨結節点を含み得るものであり、大腿骨に対して、大腿骨頭中心、および、大腿骨IM管の中心が算出される。ランドマークは、次いで、処置を計画立案するために使用される3D外科手術座標系を算出するために利用される。例えば、骨盤に対する前骨盤平面、ならびに、大腿骨に対する解剖学的軸および大腿骨頸部軸。それらの外科手術軸は、次いで、インプラント配置の測定、ならびに、寛骨臼カップおよび大腿骨ステムのサイズ設定のために利用される。基準センサの向きが、基準アセンブリのフィデューシャルマーカに相対的な、その基準センサの知られている位置および向きによって、生成されるランドマークおよび外科手術軸に対してレジストレーションされる。このステップの完了を基に、リアルタイム手術中ガイダンスが、患者解剖学的構造に相対的な器具類を追跡して、規定された外科手術目標による構成要素の配置を可能にすることにより達成され得る。器具の追跡は、外科手術処置において使用されている際に各々の器具に取り付けられる、第2のIMUにより実行される。追加的な、ただし任意選択の、蛍光透視法画像が、最終的なインプラント配置、脚オフセット、および脚長を測定するために、試行および最終的なインプラントの配置を基に捕捉され得る。加えて、距離測定デバイスが、基準センサと器具センサとの間の距離を捕捉するために使用され得るものであり、その距離は、次いで、両方のセンサの間の相対的な並進を捕捉するために利用され得る。

後に続く例示的な構成において、センサを伴うリアルタイム追跡システムが、手術前イメージングであり得るように省略され得る。この構成において、手術中イメージングが、構成要素位置および向きに関係付けられるフィードバックを取得するために利用される。捕捉される画像の各々に対する、骨、画像目標、および構成要素のレジストレーション、ならびに、画像からの骨解剖学的構造および/またはランドマークの再構築が、すべての構成に対して、ここで開示される方法を使用して実行される。図5は、この例示的な構成においてのステップを説明する。インプラントの位置および向きは、本明細書の後で詳細に説明されるようなレジストレーションプロセスにより画像に対してレジストレーションされる。インプラントレジストレーションの自動的な初期化が、すでにレジストレーションされた3Dランドマークに相対的に、デフォルトの位置および向きにおいて、3Dインプラントをアライメントすることにより為され得る。インプラント(または試行)構成要素が、獲得される画像、ならびに、患者解剖学的構造および/またはランドマークに対してレジストレーションされると、構成要素の向きおよび位置が、3D座標系において算出され、スクリーン上でオペレータに報告され得る。調整が、仮想3Dインプラントに対して為され得るものであり、適正に配置されるならば、予期される画像コンテンツに関係付けられるフィードバックを提供するために、2D画像上へと投影され得る。ナビゲーションソフトウェアモジュールは、さらには、代替のサイズ設定および位置設定を提案して、最小量のオフセットおよび脚長差異を結果的に生じさせる構成を可能とし得る。大腿骨および寛骨臼の両方のインプラントが配置されており、3Dモデルが、両方の構成要素を内包する画像に対してレジストレーションされているならば、最終的な構成要素向きおよび位置設定が計算され得る。

I.手術前イメージング
例示的な構成の例示的なステップは、仮想外科手術計画立案のために、患者関節のイメージング、および、3Dモデルの創出を実行するステップを含み得る。X線写真、CT、および/またはMRIなどの静的イメージングモダリティを利用して、患者解剖学的モデルを創出する、従前のイメージング方法論とは別に、例示的な本開示は、患者骨および関節動きを創出するための追加的な技法を組み込み得る。1つの例示的な実施形態において、1つまたは複数のX線写真画像が、ランドマーキングおよび測定のための3D患者固有解剖学的モデルを創出するために使用され得る。同じ時間において、1つまたは複数の追跡センサが、関節動きデータを取得するために、患者に固定され、捕捉される画像と連関して使用され得る。このことは、本明細書の後で、より詳細に概説される。別の例示的な実施形態において、センサが利用可能でないならば、X線写真または蛍光透視法が、複数個の活動の間に患者解剖学的構造をイメージングするために使用され得る。活動の記録される画像は、キネマティックデータと結合される3D患者モデルを作り上げるために利用され得るものであり、それらのモデルは、次いで、ランドマーキング、ならびに、動的および/または静的外科手術計画立案のために使用され得る。別の例示的な実施形態において、超音波が、ランドマーキングおよび測定のための患者の骨モデルを創出するために使用され得る。

A.関節のX線写真再構築
複数個のX線写真画像からの解剖学的モデルの、3D再構築または非剛体レジストレーション(図6において示される)は、患者関節を理解することにおいて重要な役割を果たす。しかしながら、マルチビューX線写真画像からの既存の3D再構築方法においての中心的な問題は、後に続く制約にあり、X線写真画像は、画像対の相対的な位置および向きを推定することについて較正の正確性を改善するために、較正目標としての異なるタイプのマーカまたは装具を伴って撮影される。しかしながら、そのような較正手法の重大な制限は、その手法は、特定の較正目標を含むステレオ放射線写真画像を取り扱う能力があるのみであるということである。上記の問題点に潜在的に対処するために、較正目標に対する必要性を伴わない実践的な方法が、異なるビューにおいての同じ1つの物体または複数の物体のX線写真画像からの特徴対応に基づいてエピポーラ線を推定するために開示される。

2つの画像の間のエピポーラ幾何は、一方の画像内で、他方の画像内の画素のセットを与えられて、対応する画素を索出することによりほとんどの場合決定される内的射影幾何である。そのエピポーラ幾何は、画像対内の対応する画素の間の射影変換を記述する基礎行列を計算することにより決定され得る。画像対の間のエピポーラ線を推定するために用いられるのが、異なるビューにおいて獲得される両方の画像内の同じシーン点の射影を索出することを必然的に含む特徴対応である。しかしながら、2方向X線写真画像内の対応する画素または特徴をマッチングすることは、とりわけ難題の問題であり、なぜならば、対応する情報は、各々の画像の異なる領域および形状において現れ得るからである。この最終目的に対して、マルチビューX線写真画像にわたるハイブリッド特徴対応が確立され得る。

特徴対応の例示的な実施形態は、(1)特徴検出、(2)特徴記述、および(3)特徴マッチングからなっているものであり得る。X線写真入力上の弁別的特徴のセットは、点、エッジ、線、パッチとして、または、それらの点等の任意の混合体に関して表象され得る。1つの例実施形態において、特徴点が、2つの入力画像の対の間の射影変換を計算するためのあらかじめの必須のものとして、異なる画像内の対応する場所の疎セットを索出するために使用され得る。画素ごとの検出に対する特徴点は、画素ごとの検出が、一時に入力画像の1つの場所においての画素を実行する場合、有意に異なる向きにおいて、大きいコントラスト変化および勾配を伴うと考えられ得る。両方の画像内の対応する点特徴のセットを索出するために、2D画像ドメイン内の位置(x,y)と関連付けられる特徴点の各々は、入力画像内の特徴点の位置の周囲の、局所的外観および空間的関係性を表す特徴ベクトルとして記述され得る。特徴ベクトルは、特徴記述と呼称される。画像対の間の基礎行列を推定するために、基準内の特徴点のセットが、特徴ベクトルの比較の間、真および偽マッチを識別することとともに、目標内の特徴点の別のセットとマッチングされる。

2方向X線写真画像において、特徴検出は、特徴対応を決定して、点、エッジ、線、パッチなどの画像内で表される顕著な特徴を、それらの点等の任意の混合体に関して抽出することの主要プロセスとして使用され得る。特徴の局所的な顕著な情報に直接的に関係付けられる、画像内のテクスチャは、特徴対応を効率的に実行するために決定的なものである。しかしながら、X線写真画像内の最小量のテクスチャ付きの骨構造における特徴対応は、局所的な顕著な情報の不足に起因して、テクスチャ付きでない領域におけるそれらの特徴対応の実行の悪化する繰り返し性および安定性を抱えることがある。目標画像内のコーナ点を検出して、テクスチャ付きでない物体においての難題の問題にできる限り対処することにおいて、コーナ検出手法は、テクスチャ付きでない骨構造を伴うX線写真画像上の、高度に弁別的な特徴点のセットを検出する能を提供し得る。スケール不変性を考慮して、画像の複数個のスケールにわたるコーナ点検出が用いられ得る。図7を参照する、特徴検出の例示的な方法は、後に続くステップの一部またはすべての実行を含み得る:(1)既存のコーナ検出手法によってコーナ点を抽出するステップ、(2)各々の点のコーナらしさを測定することにより、エッジ上の検出されるコーナ点をフィルタリングするステップ、ならびに、(3)画像のスケールピラミッドの、各々のレベルにおいて、先のステップ(1)および(2)を繰り返すステップ。顕著なコーナ点が、画像内のすべての画素の間で検出されると、各々の検出されるコーナ点の、それらのコーナ点の場所の周囲の局所的情報が、ベクトルに符号化され得るものであり、その場合、局所的情報は、顕著な視覚的パターン、向きとして、または、それらのパターン等の任意の混合体に関して特徴付けられ得る。画像対内の対応するコーナ点をマッチングするために、方法は、グリッドベースの動き統計手法およびベクトル場コンセンサス手法を使用してハイブリッド特徴対応を実行するステップを含み得るものであり、その場合、ベクトル場コンセンサス手法は、グリッドベースの動き統計手法からのマッチング結果においてのアウトライアを除去するために用いられる。図8は、グリッドベースの動き統計手法による特徴マッチングの結果を示す。大きい数の偽対応またはアウトライアが、とりわけ、図8の強調表示される領域内に残る。偽マッチを除去することにより、比較可能な結果が取得され得る。

図9において示されるように、ハイブリッド特徴対応方法は、画像対内のエピポーラ線を推定することの正確性を改善する能を提供することができる。この理由のため、特徴マッチングの例示的な方法は、アウトライア除去方法を用いて、より良好なエピポーラ線推定を履行し得る。より具体的には、ハイブリッド特徴対応方法は、図8において示されるようなグリッドベースの動き統計手法の結果と比較して、アウトライアの個数を低減する。このハイブリッド対応方法は、画像対内のエピポーラ線を推定することの正確性を改善する能を提供し得る。

本明細書において説明されるハイブリッド対応から取得される真マッチまたはインライアは、基礎行列を計算するために使用され得るものであり、その基礎行列は、8つのマッチの反復ランダム選択が確立される、ランダムサンプルコンセンサス(RANSAC)スキームを使用して推定され得る。RANSACスキームの、各々の選択において、基礎行列が推定され、その基礎行列の正確性が、候補マッチのサブセットの濃度を考慮することにより査定される。基礎行列の最も良好な正しい解が索出されると、エピポーラ線(内部カメラパラメータの知識を考慮する)が、基礎行列の基本的な特質を使用して決定され得るものであり、その特質は、2つの画像内の点xおよびx^'の任意の対が対応するならば、x'は、点xに対応するエピポーラ線l^'=Fx上にあるということに関するものであり、ただし、Fは基礎行列を表象する。これらのエピポーラ線は、下記で説明されるように、世界点と、画像平面上のそれらの世界点の投影との間の幾何学的関係性を使用することにより、骨構造の3Dモデルを再構築するために用いられ得る。

特徴点、および、X線写真ビューの間の対応を算出することの代替的な例示的な方法は、イメージングされている解剖学的構造に関係する先験的情報、および、解剖学的構造の予期される画像特質を利用し得る。この代替の例示的な方法は、統計的形状モデルを使用し、それらのモデルは、モデル内に組み込まれるすべての解剖学的サンプルにわたる点対応を有する。対応するCT画像を有する各々の形状モデルに対して、デジタル再構築放射線写真(DRR: digitally reconstructed radiograph)が、複数の知られているビューにおいてシミュレートされ得る。各々のDRRは、知られているカメラパラメータによる、患者解剖学的構造のシミュレートされるX線写真画像である。各々のDRRに対して、画像平面に相対的な、統計的形状モデルに対する点対応を伴う、患者解剖学的構造の位置が、さらには知られている。各々のビューに対して、解剖学的モデル上の各々の頂点に対する特徴記述が、DRR画像上の頂点の場所を決定し、投影の画像座標においての所望される特徴情報を算出することにより算出され得る。投影の画像座標は、形状頂点を通る、および、画像平面上への、カメラ原点からの線をたどることにより決定される。今や、各々のDRR画像に対して、このプロセスは、解剖学的モデル上の各々の頂点に対する、画像における特徴記述を生成する。かくして、各々のデータセット(CT+解剖学的モデル)に対して、複数個のDRRが、診療室内再構築の間に獲得されることになる、予期される画像をシミュレートして生成される(図10を確認されたい)。今や、各々の姿勢 - 例えばAP、右ジュデット、左ジュデット - に対して、統計が、解剖学的構造上の各々の頂点においての特徴記述子の分布に対して算出され得る。これらの統計は、現実世界画像においての点対応を決定することのプロセスにおいての先験的情報として使用され得る。特徴記述子、および、それらを算出する方法は、コンピュータビジョンの技術分野においての当業者には知られているということ、ならびに、1つまたは複数の適した記述子が、このプロセスにおいて展開され得るということが注目されるべきである。このデータを使用するために、新しいX線写真画像が獲得されるとき、それらの画像の捕捉位置が注目され(AP、右ジュデット、左ジュデット、または類似するもの)、適切な特徴統計が、先験的データからロードされ得る。新しい画像内の特徴が、画像データから算出され、先験的データセットと比較される。このステップにおいて、各々の検出される特徴点は、画像から算出されるような特徴点記述子を与えられる各々の表面点に対する先験的確率の算出に基づいて、解剖学的表面に属することの対ごとの尤度を割り当てられる。各々の画像に対して、特徴点は、特徴記述子を与えられるメンバーシップの最も高い尤度を伴う表面頂点に割り当てられる。ファジーな方法、または、類似する統計的メンバーシップが用いられ得る。対応が、今や、同じ表面頂点に属するマッチング特徴点により、画像点の間で索出され得る。対応算出の代替的な方法は、先験的データにおいて決定されるような、知られている差を使用することにより、1つの画像内の特徴点を、別の画像内の特徴点を与えられて予測することなどで、容易に確認される。別の代替案は、機械学習フレームワークにおいての先験的データを利用して、ニューラルネットワークを訓練して、複数個のX線写真画像にわたるマッチング特徴点を識別することである。誤った対応は、今や、カメラ幾何においての当業者には馴染みのある、RANSACまたは類似するロバストな方法を使用してフィルタリングされ得る。

画像較正が実行される後、再構築プロセスが、異なる画像ビューの中で、患者の骨の3D姿勢を推定する。このことは、自動的に、先に説明されたのと同じまたは類似する先験的データを使用して、画像データセット上の3D解剖学的ランドマークの投影を表す、2D点のあらかじめ規定されたセットを選択することにより行われ得る。様々な解剖学的ランドマーク投影点が、画像データセットからの少なくとも2つの画像上で識別される。2つの画像上の対応する点は、次いで、2つの画像の間の、先に算出された基礎行列を使用して、3次元においての3Dランドマークを算出するために使用され得る。統計的骨アトラスからの骨モデルのリストが、次いで、算出される3Dランドマークに対してアライメントされ得るものであり、ゆえに、それらの3Dランドマークを患者空間内でレジストレーションする。その後、テンプレート骨モデルが、再構築プロセスを始動させるために選択され得る。異なる画像においての抽出される患者の骨姿勢を与えられて、画像データセットを捕捉するために使用される放射線学的シーンのグラフィカル3Dシミュレーションが、次いで創出され得る。X線源は、放射線学的ビーム発散をシミュレートする、パースペクティブカメラにより表され得るものであり、投影平面に対して画像の焦点長距離に配置され得る。カメラの視野の中で、アトラス骨モデルが、画像の抽出される3D骨姿勢において別々に配置され得るものであり、骨投影画像が合成され得る。合成された骨外形は、次いで、放射線写真画像と比較され得る。放射線学的患者骨外形に最も近い、合成された骨外形距離を生み出すアトラス骨モデルが、初期再構築テンプレートとして選択され得る。

選択される骨テンプレートは、患者解剖学的構造をより良好に表すためにモーフィングされ得る。シミュレートされる放射線学的シーンにおいて、放射線学的画像は、投影平面上に配置され得るものであり、輻射線が、x線源場所と放射線学的骨輪郭点との間で生成され得る。テンプレート骨点が、次いで、あらゆる画像輻射線に対して、輻射線に対するテンプレート点の距離しきい値dおよび法線角度しきい値(90-α)に基づいて選択され得る。目標3Dフィッティング点が、モデルの表面に対して法線の方向で、選択される点を動かすことにより算出され得る。動かされる距離は、輻射線と、輻射線の最も近傍のテンプレート頂点との間の距離であり得る。テンプレートモデルは、次いで、テンプレートの選択される点と、それらの点の対応する3D目標点との間の距離が最小化され得るように変換され得る。そのことの後、テンプレートは、骨アトラスの原理成分値を最適化して、テンプレートの選択される点と、それらの点の対応する3D目標点との間の距離を最小化することによりモーフィングされ得る。最適化は、任意の直接的またはヒューリスティックなサーチアルゴリズムを使用して行われ得る。このプロセスは、あらかじめ決定された数の反復の間、または、これ以上の有意な形状変形が発生しないときに繰り返され得る。距離dおよび角度αの値は、大まかな変形のために、より大きい値を伴って開始し得るものであり、次いで、あらゆる反復によって、微調整のために線形的に減少し得る。

代替的に、機械学習フレームワークが、先に説明されたDRRデータを使用して創出され得る。このフレームワークにおいて、再構築される骨の予期される主成分が、画像データおよび初期姿勢から予測され得る。このフレームワークにおいて、適切に構造化されるニューラルネットワークが、入力としてのDRR画像および姿勢、ならびに、対応する解剖学的モデルの主成分を使用して訓練され得る。複数の訓練セットを生成し、これらの訓練セットを使用して、充分に深層のニューラルネットワークを訓練することにより、訓練されたネットワークが、新しく提示される較正されたX線写真画像内で、初期化された骨モデルの形状を予測するために使用され得る(図12を確認されたい)。

B.静的X線写真および動きセンサによる動的イメージング
この例示的な実施形態において、患者は、センサの回転および/または位置を出力する、1つまたは複数の、加速度計、ジャイロスコープ、および/または磁気計を備える、1つまたは複数の、IMUなどの動き検知ユニットを着用し得る。センサは、このデータをワイヤレスで、処理デバイス(電話、タブレット、PC、または類似するもの)に流し得る。X線写真が、次いで捕捉され得るものであり、その場合、各々のX線写真画像は、少なくとも1つのIMUセンサ、および、患者解剖学的構造の一部分を内包する。これらのセンサは、ラップ、またはフレキシブルバンド、または、制限なしに接着剤を含む任意の他の取り付け手段を使用して、外部に固定され得る。イメージングの間、センサおよび骨は、捕捉され、複数個の画像内で可視である。画像シーケンスの較正が、次いで、IMUボード設計上の知られている点に対応する、イメージングされるIMUセンサ上の点を索出することにより実行され得る。対応する点および領域の決定は、自動的に実行され得る。画像内のこれらの点は、図13において示されるように、1つまたは複数のX線写真画像内で、および、回路ボード上で明瞭に識別可能であり得る、抵抗器、コンデンサ、チップ、配線、または、任意の他の特徴などの、回路ボード上の構成要素に対応し得る。較正のためにセンサを使用して、骨は、本明細書において概説されるX線写真再構築方法、または、物体再構築および非剛体レジストレーションにおいての当業者には馴染みのあるものであり得る任意の他の方法を使用して再構築され得る。再構築された骨表面は、画像内のレジストレーションされたセンサとともに、骨のX線写真再構築、および、再構築のために使用され、かくして、センサを骨に関係付ける情報を提供する、同じ画像に対するセンサのレジストレーションによって、3D空間内でレジストレーションされている、少なくとも1つの骨およびセンサからなる、動き捕捉セッションを初期化するために使用され得る。この相対的な情報を使用して、センサデータは、今や、直接的に骨データに関係付けられ得る。この手立てで、静的X線写真画像が、センサベースの動き捕捉システムを初期化するために使用され、3D関節の動的情報を捕捉することにおいて使用され得る。この例示的なプロセスは、図14において例解される。この例示的なプロセスにおいて、X線写真およびセンサデータは、動的イメージングデータを創出するために一体で使用され得る。このデータは、本明細書において概説されるような蛍光透視法動的データと類似する手立てで利用され得る。動き捕捉セッションが初期化される後、関節動き活動が実行され得る。各々の活動の間、各々のセンサからの向きデータが、処理デバイスに伝えられ、記録される。処理デバイスは、骨モデルの、センサデータを使用して決定されるそれらの骨モデルのそれぞれの位置においての、更新される3Dレンダリングなどの、実行されている動きの何らかの視覚的指示を提供し得る。ここでは、動的データは、少なくとも、骨モデル、センサモデル、それらの相対的な位置および向き、ならびに、少なくとも1つの活動の間の骨の動きに関係するタイムスタンプされるデータ(クォータニオン、剛体変換、または、センサ能力により定められるような任意の他のもの)を包含する。

C.蛍光透視法再構築
再構築の総体的な構造は、以下の、図15において示されるような4つの部分のうちの1つまたは複数を含み得る:(A)蛍光透視画像から特徴を抽出する画像処理、(B)k近傍法(KNN)およびサポートベクターマシン(SVM)を一体化するハイブリッド分類器(他の機械学習技法を使用して、訓練し、画像を分類し得る)を使用して、3Dモデルの初期姿勢を推定する初期化、(c)2D X線写真蛍光透視法と、再構築される3D表面メッシュモデルとの間の類似性尺度を最大化することにより、3Dモデルの最適な姿勢および形状を決定する最適化(類似性尺度は、エッジスコア、領域スコア、均質性スコア、および多体レジストレーションスコアを含む、新規のエネルギー関数として設計される)、ならびに、(D)カーネル主成分分析(KPCA)という名前の非線形統計的形状モデルによる3D表面メッシュモデルの訓練データセットを表す3D形状分析。

動的蛍光透視画像データからの解剖学的情報の創出は、蛍光透視画像獲得によって始まる。この画像獲得の一部として、対象/患者は、深い膝曲げおよび反対歩行終点を含み得る、任意の数の位置において観察され得る。画像獲得後、画像処理サブステップが遂行され得る。

較正目標を使用して、画像処理サブステップの一部として、歪みを推定し、それを後続の画像から除去することができる。この処置においての例示的なステップは、何らかの2D画像の幾何学的歪みを推定するステップを含み得る。金属ビードの知られている矩形グリッドのX線写真を撮影することにより、4つのビードにより境界設定される、各々の小さい正方形サブ画像に対する2D空間的変換を推定することができる。幾何学的歪み除去においての標準技法を使用して、局所的双線形モデルが、空間的マッピング、および、グレーレベル補間をモデリングするために使用され得る。2D歪みが除去されてしまうと、実効的な源対画像平面距離(焦点長)が、平面の間の知られている変位によって、2平面較正グリッドにより計算され得る。

図16は、幾何学的歪み除去の前および後の、幾何学的較正グリッドの蛍光透視画像を例解する。このサブステップの一部として、左画像内のビードの画像位置を、右においての規則的に隔置されるグリッド場所に変換する、4つのグリッド点の、各々のセットに対する双線形変換を計算することができる。明らかに、較正処置は、グリッド点が直線に沿ってあるように、ピンクッション歪みを除去する。

画像処理後、初期化サブステップが、平均モデルの初期姿勢を決定するために実行され得る。初期化は、図59において示されるように、k近傍法およびサポートベクターマシンを組み合わせるハイブリッド分類器に基づくものであり得る。

図60において描写されるように、再構築の2つの主要方法が、蛍光透視法画像から3D患者解剖学的構造を作り上げるために開発されている。第1の方法、方法1は、逐次的形状および姿勢推定を含み、しかるに、第2の方法、方法2は、And-Orツリー(AoT)を使用する再構築を含む。これらのモデルの各々の、より詳細な論考が後に続く。

逐次的形状および姿勢推定3D再構築は、非線形統計的形状モデル、すなわち、カーネル主成分分析(KPCA)に基づくものであり得る。訓練データを高次元カーネル空間上へと投影することにより、3Dモデルの形状が、図62において示されるように、形状パラメータのベクトルにより表され得る。この方法の一部として、最適化プロセスが遂行され得るものであり、その場合、最適化は、図63において示されるように、単平面(monoplane)蛍光透視X線写真画像のシーケンスから、3Dモデルの形状および姿勢パラメータを決定する。最適化は、表1において示されるように、エッジ、領域、均質性、および多体レジストレーションスコアを組み合わせて、3Dモデルと2D X線写真画像との間の類似性を測定する、新規のエネルギー関数に基づくものであり得る。ハイブリッドエネルギー関数は、時間がかかるDRR生成も、エラーが起こりやすい2Dセグメンテーションも要さない。

その後、3Dモデルは、プレ画像近似により再構築され得るものであり、なぜならば、入力空間点と特徴空間点との間のマップは、必ずしも知られていないからである。入力空間内の距離制約に基づいて、対応するテスト点のプレ画像を再構築することが好まれる。このことは、図64において示されるように、入力空間距離と特徴空間距離との間の関係性を確立することにより達成され得る。

代替的に、図65において描写されるように、再構築は、AOT技法によって実行され得る。初期に、幾何空間が、部分テンプレートが実在し得るボリュームとして関心ボリューム(VOI)を抽出することにより分解される。各々のVOIは、部分テンプレートの配置のためのバウンディングボリュームとして使用され得る、オーバーラップするサブボリュームのセットへとさらに分割され得る。サブボリュームの例は、図65の左側のノード上で示される。「And-orツリー」は、ボリュームをパーティション化し、And-orノード対によりパーティションを表すことにより再帰的に生成され得る。「orノード」は、この「orノード」により表されるボリュームを2つのサブボリュームへとスライスする、すべての「andノード」に接続し得る。「orノード」は、さらには、リーフノードの2つのセットに接続し得るものであり、その場合、各々のノード上で、表面が、ボリュームを内接させることによって、または、深さ方向と直角をなす表面上でのいずれかで配置される。各々の「andノード」は、現在のサブボリュームを占有する2つのより小さいサブボリュームのうちの1つを各々が表す、2つ以上のノードを接続し得る。このツリーは、関心ボリューム(VoI)を表すルート「ORノード」から開始し、サブボリュームがサイズ限度まで分割されるまで成長することを続ける。表面をバウンディングボックスとして使用して、部分テンプレートの外観が、さらに規定され得る。各々の部分テンプレートに対する可能な外観は、さらには、「and-orツリー」により表され得るものであり、その場合、「and」は組成を表し、「or」は変形を表す。「andノード」の層は、部分テンプレートを曲線セグメントへと分解し得る。これらの曲線は、画像平面上へと投影され得る。3D物体テンプレートは、画像平面内の物体外観に似ているものであり得る、能動的曲線からなっている2D物体テンプレートに転換され得る。変形させられた能動的曲線は、次いで、再構築された3Dモデルとして物体空間内へと戻るように投影され得る。

図66において示されるように、関心ボリューム(VoI)は、検出により決定される。汎用的モデルの形状が、情報利得を最適化することにより、異なる、知られている姿勢から学習され得る。次いで、テンプレートが、画像平面内で変形する、能動的輪郭(active contour)として2D画像平面上へと投影され得る。外観「And-orツリー」のリーフが、能動的輪郭として2D画像平面上へと投影され得る。部分レベルにおいて、テンプレートは、3D変形と呼ばれる、平面内並進、回転を実行し得る。投影される能動的曲線は、さらには、2Dにおいて変形することを可能とされ得る。2Dおよび3Dの両方の変形が、情報利得を最大化することにより導かれ得る。変形させられた能動的曲線を、物体平面に戻るように投影することにより、3Dモデルは再構築され得る。

図67〜図69において描写されるように、統計的形状変形を使用することに対する1つの代替案は、特徴を画像上で直接的に識別し、形状識別および変形のために、いわゆる「And-Orツリー」を使用することであり得る(Hu、Wenze、およびSong-Chun Zhu、「Learning 3d object templates by quantizing geometry and appearance spaces.」IEEE transactions on pattern analysis and machine intelligence 37.6 (2015): 1190〜1205頁を確認のこととし、その文献の開示は、参照により本明細書に組み込まれている)。前述の刊行物において、骨解剖学的構造に対する形状パラメータは、AoTの構造、および、蛍光透視法フレームにおいてのそれらの構造の識別により定められる。

膝に対して、最低でも、関節の膝部分が創出される(遠位大腿骨および近位脛骨)ということが要されるということは述べる価値がある。しかしながら、同じ手法は、任意の関節に適用され得る。

D.画像処理
蛍光透視法は画像歪みが起こりやすいので、画像データを分析するより前に、この歪みを補正することが望ましくあり得る。較正目標を使用して、この歪みは、推定され、後続の画像から除去され得る。較正処置においてのステップは、何らかの2D画像の幾何学的歪みを推定するステップを含み得る。金属ビードの知られている矩形グリッドの画像を撮影することにより、4つのビードにより境界設定される、各々の小さい正方形サブ画像に対する2D空間的変換が推定され得る。幾何学的歪み除去においての標準技法を使用して、局所的双線形モデルが、空間的マッピング、および、グレーレベル補間をモデリングするために使用され得る。2D歪みが除去されてしまうと、実効的な源対画像平面距離(焦点長)が、平面の間の知られている変位によって、2平面較正グリッドにより計算され得る。図16は、幾何学的歪み除去の前および後の、幾何学的較正グリッドの蛍光透視画像を例解する。左画像内のビードの画像位置を、右においての規則的に隔置されるグリッド場所に変換する、4つのグリッド点の、各々のセットに対する双線形変換が計算され得る。この補正は、処置の間に獲得される各々の蛍光透視画像に適用され得る。歪み補正は、平面状X線写真画像に対して要されないことがある。

初期化
初期化が、平均モデルの初期姿勢を決定するために実行され得る。初期化は、k近傍法およびサポートベクターマシンを組み合わせるハイブリッド分類器に基づいて実行され得る。他の選択肢は、モデルを手作業で初期化すること、または、CNNもしくは類似する深層学習構造などの他の機械学習フレームワークを利用して、訓練し、画像から姿勢を分類することを含み得る。初期化ステップの出力は、テンプレートモデル、および、蛍光透視法画像の少なくとも1つのフレームにおいて画像平面に相対的なモデルの適切な姿勢を含み得る。

最適化
最適化は、図17において示されるように、単平面蛍光透視X線写真画像のシーケンスから、3Dモデルの形状および姿勢パラメータを決定することを含み得る。最適化は、表1において示されるように、エッジ、領域、均質性、および多体レジストレーションスコアを組み合わせて、3Dモデルと2D X線写真画像との間の類似性を測定する、新規のエネルギー関数に基づくものであり得る。ハイブリッドエネルギー関数は、時間がかかるDRR生成も、エラーが起こりやすい2Dセグメンテーションも要さない。

プレ画像
3Dモデルは、次いで、プレ画像近似により再構築され得るものであり、なぜならば、入力空間点と特徴空間点との間のマップは、必ずしも知られていないからである。対応するテスト点のプレ画像の再構築は、入力空間内の距離制約に基づくものであり得る。このことは、図18において示されるように、入力空間距離と特徴空間距離との間の関係性を確立することにより達成され得る。

II.外科手術計画立案
A.静的外科手術計画立案
本明細書において開示される例示的なシステムの構成の任意のものにおいて、関連性のある外科手術ランドマークが、手作業で、および/または自動的に算出され得るものであり(図19を確認されたい)、その場合、これらの算出される外科手術ランドマークは、インプラント配置を測定するための座標系を確立するために使用され得る。

外科手術インプラントを配置する、または、外科手術インプラントの配置をガイドするより前に、仮想外科手術計画が、仮想テンプレーティングまたは外科手術計画立案のプロセスによって創出されるということが望ましくあり得る。仮想テンプレーティングは、外科手術において使用されることになる同一のインプラントの3Dテンプレートによって実行されるということが望ましくあり得る。しかしながら、そのようなインプラントが利用可能でないならば、テンプレーティングは、知られている外科手術インプラントの形状およびサイズを模倣するように設計され得る汎用的インプラント仮想テンプレートを使用して、インプラントに非依存的な手立てで行われ得る。

仮想テンプレーティングプログラムは、3D患者固有モデルを、自動セグメンテーションプログラムおよび非剛体レジストレーションプログラムのいずれかまたは両方から受信し得る。股関節の文脈において、3D患者固有モデルは、両方が自動的なランドマーキングプログラムに入力される、骨盤および大腿骨を含み得る。この自動的なランドマーキングプログラムは、統計的アトラスおよび局所的幾何学的サーチにおいて存在する類似する解剖学的構造からの領域を使用して、大腿骨および骨盤3Dモデル上のインプラント配置に関連性のある解剖学的ランドマークを算出する。

図80において示されるような、遠位固定を使用する大腿骨ステムの自動的な配置の文脈において、自動的なランドマーキングは、大腿骨およびインプラント上の軸の定義を含み得る。大腿骨に関しては、解剖学的大腿骨軸(AFA: anatomical femoral axis)が、その後に続いて、近位解剖学的軸(PAA: proximal anatomical axis)が算出され得る。AFAとPAAとの間の角度として定義される、近位頸部角度(PNA: proximal neck angle)が、次いで算出され得る。大腿骨インプラントに関しては、インプラント軸は、インプラントステムの長さに沿っており、インプラント頸部軸は、インプラント頸部の長さに沿っている。大腿骨のPNAに類似して、インプラント角度が、インプラント軸とインプラント頸部軸との間の角度として定義される。PNAに最も近いものであり得るインプラント角度を有するインプラントが、次いで選定され得る。インプラントフィッティング角度(IFA: implant fitting angle)が、次いで、選定されたインプラント角度で大腿骨頭中心から引かれるベクトルとの、近位解剖学的軸の交差として定義され得る。

図80において示されるような、遠位固定、および、算出された解剖学的ランドマークを使用する、大腿骨ステムの自動的な配置を使用するとき、インプラントサイズ設定ステップが、適切なインプラントサイズのために、大腿骨構成要素を決定/推定するために使用され得る。インプラントサイズは、インプラントの幅を髄内管の幅と比較し、髄内管に最も類似する幅を伴うインプラントを選択することにより選定され得る。その後、プログラムは、インプラント配置ステップへと前方に進み得る。

遠位固定大腿骨ステムに対する例示的なインプラント配置ステップにおいて、外科医に好まれる外科手術技法、および、先に算出された解剖学的ランドマークに基づいて、初期インプラント位置が、すべての関連性のあるインプラントされる構成要素に対して決定/選定され得る。切除平面が、次いで、近位大腿骨骨切りをシミュレートするために創出され得るものであり、インプラントフィットが査定され得る。フィット査定は、インプラント軸に沿った変動するレベルにおいて、アライメントされたインプラントおよび大腿骨髄内管の断面を分析することにより履行され得る。インプラントは、インプラントの頸部が、近位大腿骨頸部の一般的な場所内にあるように、インプラント軸を解剖学的大腿骨軸に対してアライメントし、次いで、インプラントを並進させることにより、大腿骨に対してアライメントされ得る。インプラントは、次いで、所望される前捻を達成するために、解剖学的大腿骨軸の周りで回転させられ得る。

この例示的なインプラント配置ステップの一部として、キネマティックシミュレーションの一部としてのインプラント配置に関しての初期の「知識に基づいた推測(educated guess)」を使用して、「知識に基づいた推測」の配置を評価することを含む、反復スキームが利用され得る。例示的な形式において、キネマティックシミュレーションは、推定または測定される関節キネマティクスを使用して、動きのレンジを通して(選定されたインプラントの配置に基づいて)インプラントを解し得る。その結果、キネマティックシミュレーションは、インプランテーション後に、インピンジメント場所を決定し、インプラントの動きの結果的に生じるレンジを推定するために使用され得る。キネマティックシミュレーションが、不満足なデータ(例えば、動きの不満足なレンジ、自然なキネマティクスの不満足な模倣、その他)を結果的に生じさせる事例において、インプラント配置のための別の場所が、その後に続いて、インプラント配置をさらに精緻化するためのキネマティック分析が、満足な結果に達するまで利用され得る。

図81において示されるような、プレスフィットおよび3つの接触部を使用する大腿骨ステムの自動的な配置の文脈において、自動的なランドマーキングは、大腿骨およびインプラント上の軸の定義を含み得る。大腿骨に関しては、解剖学的大腿骨軸(AFA)が、その後に続いて、近位解剖学的軸(PAA)が算出され得る。AFAとPAAとの間の角度として定義される、近位頸部角度(PNA)が、次いで算出され得る。大腿骨インプラントに関しては、インプラント軸は、インプラントステムの長さに沿っており、インプラント頸部軸は、インプラント頸部の長さに沿っている。大腿骨のPNAに類似して、インプラント角度が、インプラント軸とインプラント頸部軸との間の角度として定義される。インプラントが、次いで、PNAに最も近いインプラント角度を有するように、様々なインプラントの中で選定され得る。インプラントフィッティング角度(IFA)が、次いで、選定されたインプラント角度で大腿骨頭中心から引かれるベクトルとの、近位解剖学的軸の交差として定義され得る。

図81において示されるような、プレスフィット、3つの接触部、および、算出された解剖学的ランドマークを使用する、大腿骨ステムの自動的な配置を使用するとき、インプラントサイズ設定ステップが、骨盤および大腿骨構成要素に対する適切なインプラントサイズを決定/推定し得る。インプラントサイズは、インプラント軸を解剖学的大腿骨軸に対してアライメントすることにより、インプラントを大腿骨に対してアライメントすることにより選定され得る。インプラントは、次いで、その頸部軸を大腿骨頸部軸とアライメントするために回転させられ得る。インプラントは、次いで、近位大腿骨の中の解剖学的に適正な位置内にあるように並進させられ得る。その後、システムは、インプラント配置ステップへと前方に進み得る。

プレスフィット大腿骨ステムに対する例示的なインプラント配置ステップにおいて、外科医に好まれる外科手術技法、および、先に算出された解剖学的ランドマークに基づいて、初期インプラント位置が、すべての関連性のあるインプラントされる構成要素に対して決定/選定され得る。切除平面が、近位大腿骨骨切りをシミュレートするために創出され得るものであり、インプラントフィットが査定され得る。フィット査定は、インプラントおよび大腿骨髄内管の輪郭を分析することにより履行され得る。輪郭は、輪郭を生み出す、解剖学的軸および大腿骨頸部軸の交差の点を通過する、解剖学的軸および大腿骨頸部軸の両方に対して法線方向の平面と、髄内管を交差させることにより創出され得る。インプラント輪郭および髄内管輪郭が生成されるとき、同じ場所においての髄内管幅より少ない幅を伴うインプラントのみが維持され、そのことは、多くの可能な正しいインプラントサイズを結果的に生じさせる。可能なサイズのグループは、インプラントと髄内管との間の平均二乗距離誤差を低減する2つの方策によって低減され得る。第1の方策は、インプラントおよび髄内管の、内側および外側の両方の側の間の距離の、平均二乗誤差(MSE)、または、他の数学的誤差メトリックを最小化する。第2の方策は、インプラントおよび髄内管の外側の側の間の距離のMSEを最小化する。

この例示的なインプラント配置ステップの一部として、キネマティックシミュレーションの一部としてのインプラント配置に関しての初期の「知識に基づいた推測」を使用して、「知識に基づいた推測」の配置を評価することを含む、反復スキームが利用され得る。例示的な形式において、キネマティックシミュレーションは、推定または測定される関節キネマティクスを使用して、動きのレンジを通して(選定されたインプラントの配置に基づいて)インプラントを解し得る。その結果、キネマティックシミュレーションは、インプランテーション後に、インピンジメント場所を決定し、インプラントの動きの結果的に生じるレンジを推定するために使用され得る。キネマティックシミュレーションが、不満足なデータ(例えば、動きの不満足なレンジ、自然なキネマティクスの不満足な模倣、その他)を結果的に生じさせる事例において、インプラント配置のための別の場所が、その後に続いて、インプラント配置をさらに精緻化するためのキネマティック分析が、満足な結果に達するまで利用され得る。

外科手術計画立案プログラムの代替的な実施形態において、テンプレーティングは、インプラント3D CADモデルのデータベースを要する必要はない。代わりに、プログラムは、解剖学的寛骨臼カップ直径および深さを計算し得る。プログラムは、汎用的カップインプラント(半球)のセットを利用して、外科手術ランドマークに相対的なカップ配置をテンプレーティングし得る(図21を確認されたい)。

B.膝に対する動的外科手術計画立案
外科手術計画立案プログラムは、股関節に対して先に詳細に説明されたが、さらには、制限なしに、膝、股関節、足首、肘、肩、または類似するものなどの、関節形成術に対する候補である、他の関節の任意のもののために使用され得る。多くの関節、具体的には膝に対して、テンプレーティングの間に静的幾何学的形状およびランドマークを分析することのみではなく、さらには、関節の軟組織と結合される動的情報が重要であり得る。仮想テンプレーティングプログラムは、手術前イメージングの間に捕捉されるセンサ動きデータおよび3Dデータを利用して、最適なサイズ設定および位置設定を決定する。

図59を参照すると、骨および軟組織再構築サブステップ22は、サブステップ21において取得される動的画像を使用して、軟組織および正常な解剖学的構造を予測するステップを含み得る。標準インプラント設計、または、患者固有インプラントおよび器具の一部として、静的CTまたはMRIに依拠して、関節のモルフォロジーを抽出する。しかしながら、モルフォロジーは普通、疾患または変形症により改変される。膝の骨関節炎の事例において、軟骨が失われ得るものであり、存在する骨増殖体が、膝のモルフォロジーを変化させる。静的CTおよびMRIを使用することは、関節の靱帯症状を正確に説明しないことがある。例えば、骨増殖体成長の存在に加えて、膝においての内側区画の崩壊が、内側側副靱帯(MCL)および外側側副靱帯(LCL)動的性状を変化させる。軟組織および骨におけるこれらの大きい変化を与えられると、骨輪郭の抽出は、困難に、不正確に、および時には不可能になる。この事態において、特定の集団の統計的アトラスが、靱帯場所を正確に予測することに加えて、元の変形させられた骨形状を予測し、次いで、この特定の患者に対する設計パラメータおよび湾曲を動的に抽出するために使用され得る。静的画像に依拠して、患者固有インプラントおよび器具を生成するよりむしろ、本発明の例示的な実施形態は、キネマティックデータ(動的データ)に加えて静的画像を使用して、患者解剖学的構造およびキネマティクスの両方を再現するために最適化される、インプラントおよび器具を生成する。従来技術患者固有インプラントおよび器具は、せいぜい、患者解剖学的構造を再現するためにのみ最適化されるが、整形外科インプラントの最終の形状の要素としては、キネマティクスを無視する、または、キネマティクスを使用することをしない。

図70に目を向けると、仮想骨モデルと関連付けられる軟組織を再構築することの一部として、靱帯場所が、イメージングデータから抽出され得る。特に、骨および靱帯の表面モデルは、MRIから再構築され得る。骨モデルは、統計的アトラスに追加され得るものであり、各々の頂点は、靱帯表面モデルまでの距離に基づいて、付着部位に属する、または、そうではない、のいずれかとしてフラグ設定され得る。このステップを複数個の対象に対して実行することは、各々の靱帯付着部位に対する確率マップ(図70において、ACLおよびPCLの大腿骨付着部位に対して、上部行において示される)の創出を可能とする。マップにおいて、各々の骨アトラス頂点は、付着部位に属することの確率を割り当てられ得る。

図71を参照すると、骨および軟組織再構築サブステップ22(図59を確認されたい)のさらなる一部として、大腿骨および脛骨に対する接触マップが、深い膝曲げの間に創出され得る。単一の対象に対して、大腿骨および脛骨の両方が、それぞれの骨アトラスに対する頂点対応を割り当てられ得る。脛骨に相対的な大腿骨の姿勢が、各々の屈曲角度において更新され得る。各々の姿勢において、接触領域に属する大腿骨および脛骨の頂点は、関節接合する骨に対する近接度に基づいて決定され得る。複数個の対象にわたってこの分析を実行することは、接触領域の、各々の屈曲角度においての、各々の骨における確率マップの創出を可能とする。

図72は、(図59においての動的イメージングサブステップ21の間に記録されるものなどの)深い膝曲げの間に接触領域の中の軟骨厚さを決定するための例示的な方法と関連付けられる入力および出力を描写する。この方法は、接触領域をマッピングし、真の患者固有厚さを決定し、この情報を、先に創出された正常な統計的アトラスへと戻るように結び付けるために使用され得る。この方式において、キネマティクスがモルフォロジーに結合される。

図73は、内側区画においての重度の軟骨損失を示す(キネマティック分析、図59においてのサブステップ21から取得される)患者固有軟骨マップを描写する。この情報のみによって患者固有インプラントを創出することは、低質のインプラント機能性につながることになる。代わりに、本発明の実施形態は、統計的方法を使用して、変形症が創出される前のモルフォロジーについて推定し得るものであり、以て、真の患者固有(病態より前の)湾曲抽出を可能とする。そして、この推定されるモルフォロジーは、より卓越したインプラント機能性につながる。

図74を参照すると、本開示による、動的データから軟骨厚さを推定するためのフロー線図が描写されている。関節接合する表面 - 例えば、膝 - の複数個の姿勢を与えられて、各々の姿勢においての接触部が決定され得る。接触部は、主として、各々のモデルの間の、小さいパーセンテージの最も近い点を使用して決定され得る。各々の接触点に対して、点と、関節接合するモデルとの間の距離が決定され得る。軟骨厚さが、次いで、2つの厚さ値の総和が表面の間の総合的な距離に等しいように、モデル1からのX%、モデル2のY%と推定され得る。各々の姿勢において、各々の接触頂点において厚さを算出することは、推定処置の間、一定に維持されることになる、「知られている」厚さのセットをもたらす。このセットは、凸射影法(POCS: projection on convex sets)アルゴリズムにおいて凸セット1と考えられ得る。凸セット2は、先験的データセットから先に算出された軟骨アトラスであり、これらの軟骨アトラスは、正常な解剖学的構造、特定の病態コホート(膝の事例においての内反、外反)、または、それらの組み合わせを含むことができる。POCSアルゴリズムにしたがって、凸セット1は凸セット2上へと投影され、そのことの結果が、凸セット1上に戻るように投影され、このことが、結果が収束するまで繰り返される。説明されたアルゴリズムにおいて、アトラス上の投影は、軟骨に属するすべての頂点を更新する。結果が収束しなかったならば、軟骨に属する頂点は、凸セット1(「知られている」厚さ)にセットされ、収束が達せられるまでアトラス上へと戻るように投影される。収束したとき、各々の関節接合する骨モデル上の軟骨の表面がエクスポートされる。このルーチンは、動的データを使って、十二分な接触情報を捕捉することにより、軟骨の正確な推定を可能とする。

図59に戻って参照すると、骨形状の再構築を基に、靱帯の場所が、靱帯形状アトラスを使用して予測され得るものであり、形状アトラスは、図74において示されるように、靱帯箇所である各々の点の確率とともに、集団にわたって軟組織の箇所を捕捉する能を有する。算出される靱帯挿入点は、次いで、図75において示されるように、キネマティック活動の間の靱帯長さエンベロープを算出するために使用され得る。

軟骨推定に対する基盤は、平均軟骨テンプレートを内包し、セグメント化された大腿骨および脛骨モデルからの情報を使用して、平均軟骨テンプレートを局所的に変形させる、統計的モデルであり得る。平均軟骨テンプレートは、手作業でセグメント化される軟骨モデルのデータベースから算出される平均軟骨厚さであり得る。各々の厚さ値は、その値を局所化するために使用される、骨アトラス上の点に対応する、その値と関連付けられるインデックスを有する。平均テンプレートを新しい骨モデルに追加するとき、骨上の各々の点は、その場所においてのテンプレートから、平均厚さに対応する距離だけ、法線方向に沿って外向きにワーピングされ得る。平均軟骨テンプレートは、大腿骨および脛骨軟骨がオーバーラップするときのみ調整され得る。この事例において、軟骨厚さは、大域的には小さい因子により、および、オーバーラップの区域においては、より大きい因子により低減され得る。このプロセスは、オーバーラップの区域が存しなくなるまで反復する。

測定される関節変形症とともに、推定される軟骨マップを使用して、軟骨損失の場所が決定され得るものであり、軟骨損失の量が、図76において示されるように、患者軟骨を正常な軟骨モデル上に投影することにより推定され得る。軟骨損失の量に対して補正することにより、関節は、その正常なアライメントへと戻るようにされ得る。関節アライメントのこの変化は、直接的に靱帯長さおよび弛緩に影響を及ぼす。例えば、内側の側の軟骨の損失は、図77において示されるように、内側側副靱帯においての弛緩、および、外側側副靱帯においての増大される張力につながることになる。靱帯長さの正常な関節アライメント変化を回復させることが算出され得る(図78を確認されたい)。軟組織およびモルフォロジー情報を使用して、正常なキネマティックデータベースからの最も近いキネマティックモデルが選択され得る。

例として、正常な健全なキネマティクスを決定することは、深層ニューラルネットワークの使用を通してのものであり得るものであり、その場合、ネットワークは、健全な関節により実行される動きにより訓練され得る。深層ニューラルネットワークは、病態動き入力を受け取り、最適な健全なキネマティクスを決定し得る(図73を確認されたい)。

図79を参照すると、図59においての正常なキネマティクス予測要素の一部として、患者固有靱帯硬さを算出するための例示的なプロセスを描写するフローチャートが提供される。足首関節形成術処置に関して論考される、例示的な形式において、制限なしに、動き、動きのスピード、動きの加速度、および、動きの間の靱帯長さを含む、受動的キネマティック動き態様の系列が記録され得る。これらの態様は、受動的動きモデルに対する入力として使用され得るものであり、そのモデルは、さらには、動きの間の、靱帯硬さ、および、動かされる組織の質量に関わる入力を受信し得る。これらの入力を使用して、受動的動きモデルは、組織を動かすのに必要な力を予測し得る。そして、この予測される力は、予測される力が、測定される力と等しいように、靱帯硬さ値が調整されるべきであるかどうかを分析するために、測定される力と比較され得る。予測される力、および、測定される力が、等しくない、または、あまり近く類似しない状況において、靱帯硬さ値および/または質量入力が、後続の予測される力算出を可能とするために最適化および更新され得る。このプロセスは、予測される力、および、測定される力が、互いの受け入れ可能な許容差の中に収まるまで繰り返され得る。

上記の動的および軟組織分析から生成される情報を使用して、大腿骨、脛骨、および脛骨インサートの仮想テンプレートが、最も良好なサイズおよび配置パラメータを決定するために、インプラントの群から選定され得るものであり、そのことによって、手術後動的成果物 - 動き、靱帯長さ、張力、および大腿脛骨接触 - が、患者に対して最適化され得る(図23を確認されたい)。この最適化は、患者関節幾何学的形状により決定されるような、デフォルトサイズ設定および配置によって始まり得る。この初期配置は、次いで、患者病態の望ましい(または、望ましくない)補正、ならびに、靱帯場所、および、予測される接触区域における補正の効果の因をなすように、自動的に調整され得る。計画立案ソフトウェアは、手術前および手術後の予測される動的データを提示し、ユーザが結果を精査することを可能とすることになる。満足のものでなければ、ユーザは、仮想インプラントの位置および/またはサイズ設定を改変し得るものであり、そのことは、ソフトウェアが、予測される動的データを再度分析することを引き起こし、そのデータは、再びユーザに提示される。このプロセスは、ユーザが満足させられるまで継続し得る。不満足な結果の1つの例は、位置またはインプラントサイズの選定が、計画立案モジュールにより予測されるようなMCLまたはLCL長さにおいて、手術前解剖学的構造に相対的に相当量の変化を引き起こす場合であることになる。そのような大きい変化は、屈曲のこの接合部においての、過度にぴんと張った、または弛緩した靱帯を指し示し得るものであり、外科手術計画に対する変更を必要とし得る。このステップの出力は、特定の患者に対して最適化される手術前外科手術計画である。

III.解剖学的構造レジストレーション
3D対2Dレジストレーションにおいて、目指すところは、3D表面を、単平面蛍光透視シーケンスまたはX線写真画像セットの、各々のフレームに対してアライメントすることである(図24を確認されたい)。3Dモデルは、手術前イメージングから生成される患者解剖学的構造に対する表面メッシュモデルである。シーケンス内のすべてのフレームに対する3Dモデルの姿勢が、エネルギー関数の最適化により決定され得る。エネルギー関数は、エッジスコア項、強度スコア項、ミスアライメント項、および衝突検出項からなるものであり得る。エッジスコア項および強度スコア項は、どのように良好に3Dモデルの投影が、それぞれ、エッジおよび強度に関して蛍光透視画像にフィットするかを示す。ミスアライメント項および衝突検出項は、同じフレーム内の近隣の骨の間のミスアライメントおよび衝突にペナルティを科す。他の要因、例えるなら、複数個の解剖学的構造(例えば骨盤および大腿骨)の相対的な姿勢、知られているハードウェア、または、フィッティング最適化に関連性のある任意の他の要因が、先験的情報を利用するためにエネルギー関数に導入され得る。

レジストレーションプロセスは、入力を求めてユーザを促すソフトウェア(例えば、プログラム)上で実行され得る。例えば、ソフトウェアは、ユーザに、骨またはインプラントの3D表面上のランドマークに対応する、画像上のランドマークを識別するように要求し得る。これらの対応は、選択される点までの投影される点の距離のコスト関数を最小化するために、3Dモデルの姿勢を最適化することによる、2D画像に対するモデルの初期アライメントのために使用され得る。姿勢は、x、y、zにおいての並進、または、x、y、およびz軸の周囲の回転の、任意のものまたはすべてであり得る。ソフトウェアは、任意選択で、さらには、カメラ(または、他の画像撮影機)の焦点長を、それが知られていないならば索出することを最適化し得る。この初期推測は、次いで、姿勢をさらに更新して、画像ベースのスコアリング関数を最小化し得る、精緻化最適化ステップ内への入力として使用され得るものであり、そのスコアリング関数は、画像平面上への3Dモデルの投影により生成される画像と、元の蛍光透視法またはX線写真画像との間の何らかのメトリックを使用し得る。メトリックは、画像情報 - エッジ、テクスチャ、強度から直接的に導出され得る。この最適化の出力は、骨の投影を画像データと最適にアライメントする骨の姿勢を反映する3Dモデルの最終的な姿勢である。代替的に、第2の最適化ステップが、充分に満足な姿勢が索出されるまで実行され得る。3D対2Dレジストレーションの方法は、オペ前再構築および手術中ナビゲーションの両方に適用可能である(図25、図26を確認されたい)。複数個の物体が同じ画像に対してレジストレーションされているならば、いくつかの制約が提起され得る。例えば、寛骨臼構成要素は、骨盤の寛骨臼に対して内の側に(または、非常に近傍に)配置されるのみであることになる。この情報は、画像に対するレジストレーションの間の寛骨臼の可能とされる姿勢を制約するために使用され得る。この技法は、物体が何らかの知られている相対的な位置を有し得るときはいつでも適用可能である。さらなる例は、大腿骨対骨盤、大腿骨ステム対大腿骨を含む。

IV.手術中イメージング
手術中処置は、患者に、手術中イメージングに対する準備をさせることによって始まり得る。イメージングシステムは、X線写真または蛍光透視法などの放射線写真画像を生み出し得る。

第1の例示的なプロセス(セットアップA、図28を確認されたい)の一部として、患者の骨盤および/または大腿骨が、固定デバイス(例えば、骨ピン)を取り付けられ得るものであり、追跡デバイス/センサ(例えば、IMU)が、固定デバイス上へと留められ得る。例として、固定デバイスは、基部取り付け部と、基部取り付け部に追跡デバイスを接続する伸長コネクタとを備え得る。基部取り付け部は、患者骨(例えば、骨盤)に取り付けられ得る。伸長コネクタは、外科医が手術するためのより多くの余地を可能とするために、レジストレーションの後に除去され得る。

デバイスの位置および/または向きが、ベイズ推定アルゴリズムを使用して、センサの出力から決定され得るということは、センサフュージョンおよびデータ処理の技術分野においての当業者には自明であるはずである。例示的な形式において、直接カルマンフィルタが、センサの出力に基づいて、位置および/または向きを予測するために使用され得る。参照により本明細書に組み込まれている、米国特許出願公開第20170296115号を確認されたい。さらなる例示的な形式において、誤差状態カルマンフィルタが、推定される向きに基づいて、センサの出力誤差を予測するために使用され得る。そのフィルタは、間違った結果を潜在的に生み出し得る、誤った、または乱されたセンサデータ(例えば、振動で誘導されるドリフト)をフィルタリング除去するために使用され得る。

さらなる代替の例示的な推定技法は、乱された信号が検出される(例えば、磁気的歪みを長引かせる)ときにセンサの依拠を低下させる、イベントベースのPID推定技法を使用し得る。

ソフトウェアは、センサの条件に基づいて出力を選定して、最も良好な結果を生み出すことができる。

追跡デバイスは、実行されているソフトウェアを有するコンピューティングデバイスとのデータ通信に対して、有線またはワイヤレスであり得る。例として、追跡デバイスは、放射線イメージングのための、単一の放射線不透過性特徴部、または、放射線不透過性特徴部の組み合わせからなるものであり得る。

追跡センサ内に埋め込まれ得る、または、スタンドアローン物体としての、放射線不透過性特徴部は、任意の組み合わせの形で配置構成され得る。さらなる例として、放射線不透過性特徴部は、数において少なくとも4つを含み得るものであり、特徴部のうちの少なくとも1つが、他の特徴部と同じ平面内にないように配置構成され得る。

第2の例示的なプロセス(セットアップB、図29を確認されたい)の一部として、付属品が、固定デバイスから追跡デバイス/センサ(例えば、IMU)を伸長するために使用され得る。放射線写真イメージングシステムの制限される視認区域のため、付属品は、レジストレーションの一助となるための追加的な放射線不透過性特徴部を含み得るものであり、追跡デバイスの位置設定が、レジストレーションに対して利用可能な十分な放射線不透過性特徴部が存するということを確実にすることを可能とし得る。付属品は、レジストレーションプロセスの一助となるための、内に埋め込まれる放射線不透過性特徴部を有し得る。

さらなる例として、図30において描写されるように、付属品は、手術中レジストレーションのために必要とされ得る放射線不透過性特徴部を埋め込まれ得る。さらなる例として、付属品が放射線不透過性特徴部を有するような状況において、付属品は、手術中イメージングおよびレジストレーションのために単独で使用され得る。追跡デバイスは、イメージングが実行される後に付属品に取り付けられ得る。付属品は、放射線写真イメージングシステムから追跡デバイスへの電磁干渉を低減するように動作可能であり得る。

どちらの例示的なプロセスも、その一部として、複数個の放射線写真画像が撮影され得る。例えば、骨盤、および、骨盤追跡デバイスの放射線不透過性特徴部が、放射線写真イメージングシステムの視認区域内にある、1つの画像、ならびに、大腿骨、および、大腿骨追跡デバイスの放射線不透過性特徴部が、放射線写真イメージングシステムの視認区域内にある、第2の画像。これらの画像は、次いで、レジストレーションのために使用され得る。

追跡デバイスをセットアップする後、放射線写真が、放射線写真イメージングシステムによって実行され得る。

画像データは、ネットワークを通して、有線もしくはワイヤレスで、この画像データを送出することによって、または、外部記憶デバイスによる物理的転送を使用することにより、外科手術ガイダンスソフトウェアに転送され得る。画像データは、画像の歪みに対して補正し得る、イメージング処理ソフトウェアにより処理され得る。

V.手術中データ転送
手術中画像は、ワイヤレス(Blue tooth(登録商標)またはWi-Fiデバイス)、画像保管通信システム(PACS: picture archiving and communication system)による転送、有線、または、セキュアなUSB記憶デバイスなどのポータブルデバイスによるリモート転送を含むが、それらに制限されない、異なる方法を使用して、イメージングデバイスから、再構築およびレジストレーションソフトウェアを実行する、本明細書において開示される例示的なシステムに転送され得る。

VI.手術中レジストレーション
本開示によって使用される追跡デバイス/センサ(例えば、IMU)の向きは、放射線不透過性特徴部を含み得る追跡デバイスと関連付けられるレジストレーション目標(すなわち、画像目標)を使用して、放射線写真法画像から復元/洞察され得る。レジストレーション目標上の放射線不透過性特徴部の構成は、本明細書において説明されるように、外科手術ガイダンスソフトウェアに知られているものであり得るものであり、そのことは、ソフトウェアが、放射線写真法画像がソフトウェアにより分析されるときに、フィデューシャルマーカのみからレジストレーション目標の3D向きを計算することを可能とする。

追跡デバイス/センサの向きは、さらには、追跡デバイスそれ自体上のセンサにより決定され得る。センサから生み出される向きは、放射線写真法画像から算出される向きとは異なる座標系においてのものであり得る。潜在的に異なる座標系においての2つの向きの間の変換は、追跡デバイスにより決定される向きが、放射線写真法画像座標系および空間に変換され得るものであり、逆もしかりであるように計算され得る。

A.ナビゲーションシステムのレジストレーションに対する画像目標
本開示による例示的な画像目標は、サイズ設定が、過度に面倒であることなく、すべての予期されるイメージングビューにおいて可視であるために適切であるように寸法設定され得る(図34を確認されたい)。この寸法設定は、制限なしに、潜在的な患者体の関節の任意のものなどの、関心の体領域に対する、シミュレートされるX線写真および蛍光透視画像に加えて、代表的な集団に関して実行される1つまたは複数の分析の結果であり得る。

本開示による例示的な画像目標は、知られている形状およびサイズを有し得る、放射線透過性または放射線半透過性(radiotranslucent)材料の中に埋め込まれ得る、1つまたは複数のビードを含み得る。例として、知られているサイズは、9.4mm直径を有する球を含み得る。ビードは、ビードの精密な構成が、獲得される放射線写真法画像内の画像目標の識別およびレジストレーションを手助けするために知られるように、非平面状の表面に沿って非対称パターンの形で配置構成され得る。画像目標は、ビードを保持し存続させるためのビード治具を備え得るものであり、追跡デバイスに関しての回転(例えば、ゼロから180度の間)を可能とし得るものであり、以て、ビードが、あらかじめ決定された画像フレームにおいてフィットすることを可能とする。ビードの数は変動し得るが、好ましくは、ビード治具に装着されると、すべてが同じ平面の中にあるのではない、少なくとも4つのビードが利用される。より大である数のビード、例えば5〜20個のビードが、より大である冗長性を可能なものにし得る。図35は、異なる直交パースペクティブから視認されるときの、本開示による非対称設計パターンを含む、例示的なビード治具を示す。非対称設計は、ビード治具が視野の中にある間に撮影される放射線写真画像の、異なっているビューにわたって、ビードが互いとオーバーラップすることになるという見込みを低減する助けになる。

例示的な画像目標は、追跡デバイス/センサ(例えば、およびIMU)とともに、または、ともにではなく使用され得る。例示的な画像目標は、図36において確認されるように、基準片として、追跡デバイス/センサとの画像目標のロッキングを可能とする、少なくとも1つのロッキング特徴部を含み得る。基準片は、少なくとも2つのロッキング特徴部を含み得るものであり、1つのそのロッキング特徴部は画像目標とともに、および、1つは追跡デバイス/センサとともに使用されることが意図される。画像目標、基準片、および追跡デバイス/センサのアセンブリは、センサを、画像目標に相対的な知られている向きおよび位置に配置する。それゆえに、画像目標3Dモデルが、捕捉される放射線写真画像内で可視であるビードに対してレジストレーションされるとき、レジストレーションされる3D画像目標に相対的な、追跡デバイス/センサ位置および向きは、アセンブリ設計を知ることにより決定され得る。図36は、画像目標、追跡デバイス/センサ、および基準アセンブリの例を示す。画像目標および追跡デバイス/センサの両方は、知られている向き、および、知られている位置において、基準片に対してロックされる。

図38および図39は、それぞれの放射線写真画像内の適位置の、画像目標、基準片、および追跡デバイス/センサを伴う、APおよびジュデットにおいての2つの異なるビュー、ならびに、これらの放射線写真画像を使用して、対応する3D仮想モデルを構築およびレジストレーションすることの結果を示す。アセンブリ(例えば、画像目標、基準片、および追跡デバイス/センサ)は、剛体様式で患者骨に装着され得る。この装着は、経皮的に、または、切開部内固定(intra-incision fixation)を使用して実行され得る。基準片は、この固定を手助けするように設計され得る。基準片の代替の例示的な実施形態において、このことは、外科手術ピンが通過することを可能とするように設計される少なくとも2つの穴を有することを必然として伴い得るものであり、ピンは、制限なしに、止めねじまたは類似するデバイスの利用などの、従来の方法を使用して、基準片に対してロックするように構成されている。再構築的な外科手術処置の間に、所定の大腿骨構成要素の配置をガイドすることが望ましくあり得るので、アセンブリは、さらには、図40において示されるように、大腿骨に剛体的に固定され得る。前述の本開示に鑑みて、当業者は、例示的なアセンブリ、または、そのアセンブリの任意の構成要素が、患者の1つまたは複数の骨に装着され、潜在的には、外科手術処置の一部として、および任意選択で、外科手術処置の間に使用されることになる外科手術ナビゲーションシステムの一部として、患者の骨の3D仮想モデルをレジストレーションおよび/または創出するために利用され得るということを理解するであろうということが理解されるべきである。

B.追跡デバイス対患者解剖学的構造レジストレーション
追跡デバイス/センサ(例えば、およびIMU)および患者解剖学的構造の向きは、両方が、放射線写真画像空間に変換され、一体でレジストレーションされ得る。このプロセスは、画像平面に対して患者解剖学的構造をレジストレーションするための第1の3D対2Dレジストレーションステップを必然として伴い得る。次いで、基準アセンブリ(画像目標、基準片、および追跡デバイス/センサ)をアライメントするための第2の3D対2Dレジストレーションステップ。レジストレーションが完了されると、解剖学的構造に対する追跡デバイスの相対的な場所および向きが、知られている様態になる。この点において、追跡デバイスは、患者の骨セグメントを追跡するために使用され得る。このステップは、図42および図43において概説される。

股関節全置換術処置のための患者のレジストレーションを実行することの例示的なプロセスにおいて、1つの追跡デバイスが、固定デバイスによって患者の骨盤に接続され得るものであり、一方で、別の追跡デバイスが、別の固定デバイスによって患者の大腿骨に接続され得る。放射線写真画像が、次いで、各々の画像目標の放射線不透過性特徴部とともに、両方の骨セグメント(すなわち、股関節形成術に対しては大腿骨および骨盤)に対して撮影され得る。図42において参照されるように、アセンブリは患者骨に装着され、放射線写真法画像が撮影される(A)。患者の骨の位置および向きが、先に説明されたレジストレーションプロセスによって復元される(B)。画像目標により提供される大域的フレームの位置および向きが復元される。患者の骨の位置および向きと、画像目標の位置および向きとの間のオフセットが算出され、患者の骨が、画像目標に結び付けられる(C)。画像目標に取り付けられる追跡デバイスは、画像が撮影される同じ時間においての、その追跡デバイスの現在の向きを報告する。追跡デバイスと画像目標との間のオフセットは、追跡デバイスの向きが今や大域的フレーム内にあるように算出される。追跡デバイスおよび解剖学的構造の両方は、大域的フレーム内で、画像目標により、一体に結び付けられるので、患者骨の向きは、追跡デバイスに対してレジストレーションされ得るものであり、追跡デバイスは、患者の骨における向き変化を追跡するために使用され得る。この方式において、画像データは、レジストレーションを実行するために外科手術ガイダンスコンピュータに転送され得る。レジストレーションが完了されると、画像目標は、固定デバイスまたはアセンブリから除去され得る。

図43を参照すると、追跡デバイスと、画像目標の放射線不透過性特徴部との間の関係性が、システムに知られている。放射線不透過性特徴部は、追跡デバイスに取り付く2次的デバイスに対して、埋め込まれ得る、または、取り付けられ得る。フィデューシャルマーカ場所から、追跡デバイスの向きへの変換は、T_iF、i=1、2…と定義される。放射線不透過性特徴部の3D場所から、2D放射線写真法画像への変換は、大腿骨上の放射線不透過性特徴部に対してはT_IF、および、骨盤上の放射線不透過性特徴部に対してはT_IPと定義される。2D放射線写真法画像に基づく、大腿骨に取り付けられる追跡デバイス1の向きを決定するための変換は、T_1F x T_IFとして与えられ、2D放射線写真法画像に基づく、骨盤に取り付けられる追跡デバイス2の向きは、T_2F x T_IPとして与えられる。3D患者骨モデルから2D放射線写真法画像への変換は、大腿骨に対してはT_IFemur、および、骨盤に対してはT_IPelvisと定義される。これらの変換によって、患者骨の向きは、それらの患者骨に取り付けられる追跡デバイスに対してレジストレーションされ得る。
大腿骨:T^I _Femur→T1_F x T^I _F
脛骨:T^I _Pelvis→T2_F x T^I _P

C.患者解剖学的マッパ(PAM: Patient Anatomical Mapper)
本開示によれば、例示的な患者解剖学的マッパ(PAM)は、患者の解剖学的構造上の1つの特定の向きおよび位置にフィットするように製造される患者固有器具類を備える。PAMの幾何学的形状は、手術前イメージングなどの、先に取得されたイメージングから創出される、患者の骨の仮想3Dモデルから創出され得る。PAMは、追跡デバイス/センサ、または、追跡デバイス/センサを保持するための基準片の取り付けを手助けするように設計される、1つまたは複数のロッキング特徴部を含み得る。PAMのさらなるロッキング特徴部は、患者固有であり、(患者骨を相手になどで)患者解剖学的構造と、唯一無二の位置および向きにおいて対になるように設計される。患者固有ロッキング特徴部を、患者解剖学的構造の正しい部位/場所とマッチングするとき、取り付けられる追跡デバイス/センサの向きおよび位置/場所は、解剖学的構造に相対的に知られているべきである。

PAMは、本明細書において論考される画像目標に類似して、放射線不透過性特徴部を埋め込まれ得るものであり、そのことによって、意図される位置および向きにおいて、患者解剖学的構造上にPAMを配置することを基に、画像目標に相対的なPAMの位置および向きが知られ得る。このオフセットは、インプラントが配置される後に脚長を検証するために使用され得る。

VII.外科手術ガイダンス
本開示によれば、前述の追跡デバイス/センサ(例えば、IMU)は、股関節全置換術処置などの外科手術ガイダンスの一部として利用され得る。例示的な形式において、外科医は、切開を為し、大腿骨頭切除を実行し、寛骨臼カップを露出させることなどの、股関節全置換術の典型的な外科手術処置を継続することができる。外科医は、追跡デバイスのうちの1つを(骨盤に取り付くための)骨盤固定デバイスに取り付け、別の追跡デバイスを、制限なしに、ドリル、カップインパクタ、ラスプハンドル、切断ガイド、または、任意の他の器具を含む、ガイドされることになる外科手術器具に取り付けることができる。追跡デバイスは、外科手術ナビゲーションソフトウェアを実行する処理デバイス(例えば、コンピュータ、専用化された機械、タブレット、その他)に、向きおよび/または並進を指し示すデータを継続的に送出するように構成され得る。追跡デバイスの間の相対的な向きは、インクリネーション/デクリネーション、および外転/内転角度、または、望ましくあり得る任意の他の値として表され得るものであり、制限なしに、コンピュータモニタまたは外科手術ナビゲーションディスプレイなどのディスプレイ上で表示され得る。外科医は、寛骨臼表面再建、試行配置の間の寛骨臼カップ嵌入、および、最終的な整形外科インプラントの実際の配置の間の寛骨臼カップ嵌入、および、患者解剖学的構造上の寛骨臼カップの向きを検証することのような例示的な処置のために、追跡デバイスを使用して、1つまたは複数の外科手術器具の向きを知り得る。

外科医は、さらには、大腿骨ステム配置のために追跡デバイスを使用し得るものであり、そのことは、1つまたは複数の追跡デバイスを(大腿骨に取り付くための)大腿骨固定デバイスに、および、取り付けられる別の追跡デバイスを外科手術器具に取り付けることを含み得る。外科手術ナビゲーションシステムは、追跡デバイスからのデータを使用して、ブローチングの向きを決定およびガイドし得るものであり、その場合、外科手術ガイダンスは、ブローチング向きが大腿骨骨折を引き起こし得る事例において、外科医に警告し得る。外科医は、さらには、この外科手術ナビゲーションシステムおよび追跡デバイスを使用して、大腿骨インプラントを配置し得る。外科手術ガイダンスソフトウェアは、インプラントの、組み合わされた臨床インクリネーション/デクリネーション、および外転/内転角度を推定し得る。より詳細な論考が後に続く。

例として、任意選択で先に寛骨臼レジストレーションツールに装着されている、追跡デバイス/センサを備える第1のIMUが、知られている場所において外科手術ツールに装着され得る。例示的な形式において、IMUは、カップリーマに、リーミング方向に相対的な知られている向きによって剛体的に固定され得るものであり、そのことによって、骨盤に関してのカップリーマの向きは、知られており、複数個のIMU(例えば、カップリーマに装着される第1のIMU、および、骨盤に装着される第2のIMU)によって動的に更新される。

外科手術ナビゲーションコンピュータのソフトウェアプログラムは、患者の骨盤の仮想モデル、および、当該の外科手術ツール、この事例においてはカップリーマの仮想モデルを表示し得るグラフィカルユーザインターフェイス(外科手術ナビゲーションシステムと関連付けられる)を提供し(患者の骨盤の仮想モデルは、仮想テンプレーティングステップにしたがって、すでに完了されており、カップリーマまたは他の外科手術ツールの仮想モデルは、利用され得る個別のカップリーマおよび他の外科手術ツールに対するシステム内へと、先にロードされている)、外科医に位置および向き情報を提供するディスプレイによって、リアルタイムで、骨盤および外科手術ツールの向きを更新し得る。ディスプレイを使用するよりむしろ、本発明のシステムは、インジケータ光を有する外科手術デバイスを含み得るものであり、それらのインジケータ光は、リーマが正しく向きを設定されるかどうかを、および、そうでないならば、どの方向でリーマは、手術前計画立案と合致するように、リーマについて正しく向きを設定するために再度位置設定されることを必要とするかを外科医に指示する。カップリーマを使用する表面再建が完了した後、IMUは、カップリーマから除去され、カップインサータに、インサータ方向に相対的な知られている向きによって剛体的に固定され得る。カップインサータは、次いで、カップインプラントを配置するために利用され得るものであり、IMUは、加速度フィードバックを提供することを継続し、その加速度フィードバックをソフトウェアは利用して、位置を算出して、カップインサータに関しての骨盤の位置に関してのリアルタイムフィードバックを提供する。カップ位置設定の前または後に、穴が骨盤内にドリルであけられる限りにおいて、IMU(任意選択で先にレジストレーションツールに装着される)は、骨盤に関してのドリルの正しい向きを確実にするために、外科手術ドリルに剛体的に固定され得る。任意選択の類似のレジストレーションツール、および、IMUのセットが、大腿骨ステム構成要素の配置を支援するためのソフトウェアシステムとともに使用され得る。

例として、第1のIMUは、知られている場所において別の外科手術ツールに装着され得る。例示的な形式において、IMU(任意選択で先に大腿骨レジストレーションツールに装着される)は、知られている場所において外科手術鋸に剛体的に固定され得るものであり、そのことによって、IMUの移動は、対応して、外科手術鋸の知られている移動へと転化する。第2のIMUが、知られている場所において大腿骨に固定されて装着されるということを与えられると、IMUは、一体で作動して、大腿骨および外科手術鋸の両方の位置(加速度データによる)の変化について、ソフトウェアシステムに、動的に更新される情報を提供する。

ソフトウェアプログラムは、前もって述べられたように、外科医が、患者の大腿骨の、および、当該の外科手術ツール、この事例においては外科手術鋸の仮想モデルを視認することを可能とする表示を提供し(患者の大腿骨の仮想モデルは、仮想テンプレーティングステップにしたがって、すでに完了されており、外科手術鋸または他の外科手術ツールの仮想モデルは、利用され得る個別の外科手術鋸および他の外科手術ツールに対するシステム内へと、先にロードされている)、外科医に位置および向き情報を提供するディスプレイによって、リアルタイムで、大腿骨および外科手術ツールの向きを更新するように構成される。ディスプレイを使用するよりむしろ、本発明のシステムは、インジケータ光を有する外科手術デバイスを含み得るものであり、それらのインジケータ光は、外科手術鋸が正しく向きを設定されるかどうかを、および、そうでないならば、どの方向で外科手術鋸は、手術前計画立案と合致するように、外科手術鋸について正しく向きを設定して、正しい骨切断を為すために再度位置設定されることを必要とするかを外科医に指示する。必須の骨切断を為す後、第1のIMUは、外科手術鋸から除去され、(髄内管を正しくリーミングするために)リーマに剛体的に固定され、その後、大腿骨ステムインサータに、インサータ方向に相対的な知られている向きによって装着され得る。ステムインサータは、次いで、リーミングされた髄内管の中に大腿骨ステムインプラントを配置するために利用され得るものであり、IMUは、フィードバックを提供することを継続し、そのフィードバックをソフトウェアは利用して、リアルタイムで大腿骨およびステムインサータの位置および向きを算出し、ディスプレイによって、リアルタイムで互いに相対的に、大腿骨およびステムインサータの仮想モデルを表示し、そのことによって、外科医は、外科手術部位への直接的な視線を要することなく、患者解剖学的構造に相対的な外科手術器具の相対的な位置および向きを視覚的に想像することができる。

VIII.手術中配置検証
最終的または試行の、1つまたは複数の構成要素が、配置された間または後、放射線写真画像が撮影され得る。画像は、画像平面に対する構成要素および解剖学的構造またはランドマークの3D対2Dレジストレーションによって、解剖学的構造に相対的な試行向きおよび位置を検出するために使用され得る。使用される外科手術計画立案に依存して、このステップの2つの構成が存し得る。手術前再構築が患者に対して利用可能でないならば、第1のステップが、先に獲得された手術中画像によって検証画像を較正するために、および、検証画像に相対的な患者3D座標系の位置を算出するために着手され得る。このプロセスは、本明細書の後で詳細に説明されるようなマルチビュー較正および手術中ランドマーキングと同一であり得る。

A.3DインプラントCADモデルを使用する
現在のインプラント群およびサイズの知識によって、インプラントの3D位置が、本明細書において論考されるような3D対2D画像レジストレーション技法を使用して計算され得る。例として、3D対2D画像レジストレーションは、レジストレーションされることになる形状としてインプラント幾何学的形状を使用することにより、本出願人のセクションIII解剖学的構造レジストレーションにおいて説明されたように遂行され得る。追加的なメトリックが、インプラントの推定される位置、およびインプラント制約(例えば、大腿骨解剖学的構造およびカップに相対的な大腿骨ステムの姿勢を制約する、解剖学的構造および大腿骨ステムに相対的なカップの姿勢を制約する)の因をなすように、スコアリング関数に追加され得る。

3D対2D画像レジストレーションは、追跡デバイスの入力によってエンハンスされ得るものであり、その場合、最適化アルゴリズムは、追跡デバイスからの向きを使用して、位置推定を限定および支援し得る。インプラントの3D位置は、好ましくは知られているので、脚長などの任意の空間的測定値およびメトリックは、直接的に、レジストレーションされた3Dモデルから計算され得る。例として、脚長ミスマッチの事例において、外科手術ガイダンスシステムは、代替的なインプラント群およびサイズを提供して、脚長差を調整して、互いをより近く接近させ得る。

B.インプラントCADモデルを伴わない汎用的テンプレート
図49において描写されるように、インプラント向きは、対応する整形外科インプラントCADモデルなしで、外科手術ナビゲーションシステムにより追跡および決定され得る。例示的な形式において、整形外科インプラント位置設定後の患者解剖学的構造の放射線写真画像が撮影され得る。これらの画像は、ソフトウェアが、画像内で描写される物体のエッジを自動的に検出し、画像の中のテクスチャを使用して物体の間で区別して、互いに相対的な、画像の中の物体の相対的な位置を決定することを可能とするようにエンハンスされ得る。同じように、追跡デバイスからのデータが、整形外科インプラント(大腿骨ステムまたは寛骨臼カップなど)の相対的な位置を決定するために、放射線写真画像からの物体検出とともに、同時的に利用され得る。2D画像からのこの相対的な位置データは、次いで、本出願人のセクションIII解剖学的構造レジストレーションにおいて説明されたように、3D対2D画像レジストレーションによって3D解剖学的モデルに対してレジストレーションされ得る。3Dモデルとのレジストレーション後、整形外科インプラント向きが確知され得る。

IX.マルチビュー手術中イメージング
マルチビュー手術中イメージングが、手術前イメージングが捕捉されないならば要され得るが、3D座標系または解剖学的モデルが、構成要素配置の一助となることを所望される。手術中画像は、(先に論考されたように)患者解剖学的構造および画像目標の両方を捕捉するために獲得され得る。複数の画像が、手術中に、制限なしにX線写真または蛍光透視法イメージングを含む、従来イメージングモダリティを使用して獲得され得る。例として、骨盤に対して、2つ以上の画像のセット(AP、ジュデットRPO、ジュデットLPO)が獲得され得るものであり、その場合、画像の編集物は、好ましくは、寛骨臼構成要素の配置のために、すべての必要な外科手術ランドマークを内包する。近位大腿骨解剖学的構造に対して、2つ以上の画像のセット(APおよび外側)が獲得され得るものであり、その場合、画像の編集物は、好ましくは、大腿骨ステムの配置のために、近位大腿骨および髄内管の両方の、すべての必要な外科手術ランドマークを内包する。

A.マルチビュー較正
マルチビュー較正は、例示的な形式において、および、本開示によれば、画像撮影パラメータを抽出して、画像の「n」セットから3Dシーンを再構築することのプロセスを含み得る。この情報は、次いで、3Dランドマークのセットを再構築するために利用され得る。ステレオカメラ較正の例示的なプロセスが、図52において概説される。入力画像は、エンハンスおよびフィルタリングされ得るものであり、自動的な目標ビード(すなわち、放射線不透過性目標形状)索出アルゴリズムが、次いで、画像内で可視である較正目標ビードのうちのいくつかまたはすべての場所を索出するために利用され得る(図53を確認されたい)。検出されるビードは、次いで、画素間隔を算出するために使用され得るものであり、その後に続くのが、空間内の3D目標姿勢の推定である。このことは、標準イメージングビューに相対的な較正目標の場所から抽出され得る先験的位置を使用してなどで、イメージャのビュー(例えば、X線写真ビュー)に基づいて、較正目標の位置を初期化することにより達成され得る。この初期姿勢は、次いで、入力画像内の投影されるビード構成を達成する姿勢を達成するように最適化され得る(図54を確認されたい)。較正目標を使用することに対する例示的な代替案は、各々の画像内の対応する点を使用することを含み得る。

X.手術中ランドマーキング
例示的な本開示において、ランドマーキングは、較正された2D画像からのインプラントの配置のために必要であり得る、関連性のある外科手術ランドマークを抽出することのプロセスを含む。プロセスのフローチャートが、図55において解説される。例示的な形式において、2Dランドマークのセットが、第1の2D画像上で識別され得るものであり、例えば、点は、AP画像上の左および右ASISおよび恥骨結節点を含み得る。画像上のそれらのランドマークの初期位置は、自動的なアルゴリズムを使用して識別され得るものであり、そのアルゴリズムは、統計的解剖学的アトラスから抽出される集団統計とともに、2D画像から抽出される特徴点を利用して、それらのランドマークの箇所を算出し、それらの箇所は、次いで、例えば、ランドマークの位置を算出するために、それらのランドマークの、エッジおよび/またはテクスチャ情報、ならびに、相対的な位置を使用して制約され得る(図60を確認されたい)。

第1の画像上の抽出された2Dランドマークは、次いで、第2または後続の画像上の各々のランドマークに対するエピポーラ線を創出するために、ステレオ較正行列とともに利用され得る。第1の画像上のランドマークの場所は、第2の画像上のエピポーラ線上の、そのランドマークの場所とともに、次いで、最適化アルゴリズムに給送され得るものであり、そのアルゴリズムは、較正目標内のランドマークの3D位置を抽出し、または、座標系を推量し得る(図57を確認されたい)。マルチビュー幾何に馴染んでいる者は、すべてが本開示の範囲の中にある、同じシーンの較正された2D画像から3D位置を決定するための、数多くのよく知られている方法が存するということを理解するであろう。

XI.手術中ランドマーキングからの手術中計画立案
本開示によれば、3Dランドマークは、較正された手術中画像から抽出され得るものであり、関連性のある外科手術軸および寸法を算出するために使用され得る。骨盤の文脈において、これは、前後平面、SI、前後(AP)および内側外側(ML)方向、ならびに/または、解剖学的寛骨臼カップ中心および寸法を計算するための、右および左ASISおよび恥骨結節点を含み得る。所望されるインプラントサイズおよび向きの選択を可能とする、外科手術計画立案インターフェイスが、次いで、ユーザに提示され得る(図58を確認されたい)。

上記の説明から、後に続くことが必然的に導かれるが、本明細書において説明される方法および装置は、本発明の例示的な実施形態の構成物となるが、本明細書において説明される本発明は、いずれの寸分違わない実施形態にも制限されないということ、ならびに、変更が、そのような実施形態に対して、特許請求の範囲により定義されるような本発明の範囲から逸脱することなく為され得るということは、当業者には明白であるはずである。加えて、本発明は、特許請求の範囲により定義され、本明細書において論述される例示的な実施形態を説明する任意の制限または要素が、任意の請求項要素の解釈に組み込まれることになるということは、そのような制限または要素が明示的に説述されない限り意図されないということが理解されることになる。同じように、任意の請求項の範囲の中に収まるために、本明細書において開示される本発明の識別される利点または目的の、任意のものまたはすべてを満たすことは必要ではなく、なぜならば、本発明は、特許請求の範囲により定義されるからであり、なぜならば、本発明の内在する、および/または予見し難い利点が、それらが本明細書において明示的に論考されていないことがあり得るとしても実在し得るからであるということが理解されることになる。

21 動的イメージングサブステップ
22 骨および軟組織再構築サブステップ

Claims (65)

1. 体部分の動きを追跡する方法であって、
   動きのレンジの中で再度位置設定される体部分から動きデータを収集するステップであって、前記体部分は、前記体部分に装着される動きセンサを有する、収集するステップと、
   前記体部分が動きの前記レンジの中の異なる位置にある間に、前記体部分の、撮影される複数の放射線写真画像を収集するステップであって、前記複数の放射線写真画像は、視野の中に前記体部分および前記動きセンサを有する、収集するステップと、
   前記複数の放射線写真画像のうちの少なくとも2つの中で識別可能な前記動きセンサの構造を使用して、前記放射線写真画像を較正して、前記複数の放射線写真画像から前記体部分の仮想3次元モデルを構築するステップと
   を含む、方法。
2. 前記動きセンサは、慣性測定ユニットを備える、請求項1に記載の方法。
3. 前記慣性測定ユニットは、複数の加速度計、複数のジャイロスコープ、および、複数の磁気計を備える、請求項2に記載の方法。
4. 前記動きセンサは、前記体部分に非剛体的に装着される、請求項1から3のいずれか一項に記載の方法。
5. 前記動きセンサは、前記体部分を少なくとも部分的に覆う表皮の外の側に装着される、請求項4に記載の方法。
6. 前記動きセンサは、前記体部分に剛体的に装着される、請求項1から3のいずれか一項に記載の方法。
7. 前記動きセンサの前記構造は、抵抗器、チップ、コンデンサ、回路ボード、および電気導線のうちの少なくとも1つを備える、請求項1から6のいずれか一項に記載の方法。
8. 前記放射線写真画像は、X線写真を含む、請求項1から7のいずれか一項に記載の方法。
9. 前記放射線写真画像は、蛍光透視画像を含む、請求項1から7のいずれか一項に記載の方法。
10. 前記放射線写真画像を較正するステップは、自動的に実行される、請求項1から9のいずれか一項に記載の方法。
11. 前記放射線写真画像の前記自動的な較正は、ソフトウェアプログラムを実行するコンピュータにより実行される、請求項10に記載の方法。
12. 時間に対する関数として、前記動きセンサの位置および回転のうちの少なくとも1つを決定するために使用され得る、前記動きセンサからのデータを収集するステップ
    をさらに含む、請求項1から11のいずれか一項に記載の方法。
13. 前記動きセンサから収集される前記データは、ワイヤレスで収集される、請求項12に記載の方法。
14. 前記動きセンサから収集される前記データは、前記動きセンサに接続される電線から収集される、請求項12に記載の方法。
15. 前記動きセンサから収集される前記データは、電話、コンピュータ、タブレット、およびポータブルメモリのうちの少なくとも1つにより収集される、請求項12から14のいずれか一項に記載の方法。
16. 3次元空間内で、前記体部分の前記仮想3次元モデルに対して前記動きセンサをレジストレーションするステップと、
    前記体部分の位置の関数として前記動きセンサからの収集されるデータを相関させて、動きの前記レンジの中で再度位置設定されるときに、前記体部分の実際の位置を反映するように再度位置設定可能である、前記体部分の仮想動的モデルを創出するステップと
    をさらに含む、請求項1から15のいずれか一項に記載の方法。
17. 前記複数の放射線写真画像を使用して、前記動きセンサの仮想3次元モデルを構築するステップ
    をさらに含む、請求項1から16のいずれか一項に記載の方法。
18. 前記動きセンサの前記仮想3次元モデルは、仮想3次元複合モデルを創出するために、前記体部分の前記仮想3次元モデルへと一体化される、請求項17に記載の方法。
19. 前記体部分の位置の関数として前記動きセンサからの収集されるデータを相関させて、前記仮想3次元複合モデルに対する動的移動を提供するステップ
    をさらに含む、請求項18に記載の方法。
20. 前記動きデータを収集するステップは、時間の関数として、前記動きセンサの位置の変化および回転の変化のうちの少なくとも1つを記録するステップを含む、請求項1から19のいずれか一項に記載の方法。
21. 前記動きデータを収集するステップは、時間の関数として、前記動きセンサの変化加速度を記録するステップを含む、請求項1から19のいずれか一項に記載の方法。
22. 前記体部分の前記仮想3次元モデルを表示して、リアルタイムで前記実際の体部分の位置の変化を反映するステップ
    をさらに含む、請求項1から21のいずれか一項に記載の方法。
23. 収集される前記動きデータはタイムスタンプされる、請求項1から22のいずれか一項に記載の方法。
24. 体部分の動きをたどるためのシステムであって、
    動きセンサと、
    前記動きセンサに通信可能に結合されるように構成されるプロセッサとを備え、前記プロセッサは、複数のモジュールに通信可能に結合され、前記モジュールは、
    前記動きセンサにより生成される動きデータを記録するように構成されるデータ受信モジュールであって、前記データ受信モジュールおよび前記動きセンサのうちの少なくとも1つが、前記動きセンサにより生成される前記動きデータにタイムスタンプする、データ受信モジュールと、
    複数の放射線写真画像にわたって可視である共通の特徴を、前記複数の放射線写真画像を較正するために識別するように構成される放射線写真画像処理モジュールと、
    複数の放射線写真画像を処理し、前記複数の放射線写真画像のうちの少なくとも一部において視認可能な物体の仮想3次元モデルを創出するように構成される3次元モデルモジュールと
    を備える、システム。
25. 前記動きセンサは、慣性測定ユニットを含む、請求項24に記載のシステム。
26. 前記動きセンサは、複数の加速度計を含む、請求項24に記載のシステム。
27. 前記動きセンサは、複数の磁気計を含む、請求項24に記載のシステム。
28. 前記動きセンサは、複数のジャイロスコープを含む、請求項24に記載のシステム。
29. 前記プロセッサに通信可能に結合され、前記仮想3次元モデルを表示するように動作可能なディスプレイをさらに備える、請求項1から28のいずれか一項に記載のシステム。
30. 放射線写真画像撮影機械をさらに備える、請求項1から29のいずれか一項に記載のシステム。
31. 外科手術ナビゲーションを提供する方法であって、
    体部分および少なくとも1つの画像目標を含む、複数個の有利な角度から手術中に撮影される複数の放射線写真画像を取得するステップと、
    ナビゲーションシステムに対して手術中に前記体部分をレジストレーションするステップと、
    前記ナビゲーションシステムにより使用される3次元座標系において、前記体部分の向きおよび位置のうちの少なくとも1つを算出するステップと、
    前記体部分、外科手術器具、および整形外科インプラントのうちの少なくとも1つを含む有形物品の仮想モデルを表示するステップであって、前記有形物品の位置および向きのうちの少なくとも1つの変化と一致するように、前記仮想モデルの位置および向きのうちの少なくとも1つをリアルタイムで変化させるステップを含む、前記仮想モデルを表示するステップと
    を含む、方法。
32. 前記有形物品の前記仮想モデルは、前記ナビゲーションシステムと関連付けられる3次元モデルを含み、
    レジストレーションする前記ステップは、前記3次元モデルに対して前記体部分の2次元画像をレジストレーションするステップを含む、
    請求項31に記載の方法。
33. レジストレーションする前記ステップは、前記複数の放射線写真画像から前記体部分の2次元解剖学的ランドマークを識別し、前記2次元解剖学的ランドマークを、前記ナビゲーションシステムの仮想3次元モデルと関連付けられる3次元ランドマークとレジストレーションするステップを含む、請求項31または32に記載の方法。
34. 前記2次元解剖学的ランドマークを前記3次元解剖学的ランドマークとレジストレーションするステップは、前記3次元ランドマークを2次元画像上へと投影するステップを含む、請求項33に記載の方法。
35. 前記3次元ランドマークを投影するステップは、選択される2次元ランドマークの間の距離が、対応する3次元ランドマークの間の距離に関して低減されるように、前記3次元モデルの姿勢を調整するステップを含む、請求項34に記載の方法。
36. レジストレーションする前記ステップは、単一の位置および向きのみにおいて前記体部分と正しく係合する患者固有器具を使用するステップを含む、請求項31から34のいずれか一項に記載の方法。
37. 前記患者固有器具は、慣性測定ユニットを含む、請求項36に記載の方法。
38. 前記患者固有器具は、複数の加速度計を含む、請求項36に記載の方法。
39. 前記患者固有器具は、複数のジャイロスコープを含む、請求項36に記載の方法。
40. 前記患者固有器具は、複数の磁気計を含む、請求項36に記載の方法。
41. 前記体部分を含む、複数個の有利な角度から手術前に撮影される複数の放射線写真画像を取得するステップと、
    前記複数の放射線写真画像から前記体部分の仮想3次元モデルを創出するステップと
    をさらに含む、請求項31から40のいずれか一項に記載の方法。
42. 前記仮想3次元モデルを創出するステップより前に、手術前に撮影される前記複数の放射線写真画像を較正するステップ
    をさらに含む、請求項41に記載の方法。
43. 前記仮想3次元モデルを使用して外科手術処置を計画立案するステップ
    をさらに含む、請求項41または42に記載の方法。
44. 動きのレンジの中で再度位置設定される前記体部分から動きデータを収集するステップであって、前記体部分は、前記体部分に装着される動きセンサを有する、収集するステップ
    をさらに含む、請求項31から43のいずれか一項に記載の方法。
45. 前記動きセンサは、慣性測定ユニットを備える、請求項44に記載の方法。
46. 前記慣性測定ユニットは、複数の加速度計、複数のジャイロスコープ、および、複数の磁気計を備える、請求項45に記載の方法。
47. 前記動きセンサは、前記体部分に非剛体的に装着される、請求項44から46のいずれか一項に記載の方法。
48. 前記動きセンサは、前記体部分を少なくとも部分的に覆う表皮の外の側に装着される、請求項47に記載の方法。
49. 前記動きセンサは、前記体部分に剛体的に装着される、請求項44から46のいずれか一項に記載の方法。
50. 前記複数の放射線写真画像は、複数のX線写真画像を含む、請求項31から49のいずれか一項に記載の方法。
51. 前記複数の放射線写真画像は、複数の蛍光透視画像を含む、請求項31から49のいずれか一項に記載の方法。
52. 手術中に取得される前記複数の放射線写真画像を較正するステップをさらに含む、請求項31から51のいずれか一項に記載の方法。
53. 前記複数の放射線写真画像の前記較正は、ソフトウェアプログラムを実行するコンピュータにより自動的に実行される、請求項52に記載の方法。
54. 時間に対する関数として、前記動きセンサの位置および回転のうちの少なくとも1つを決定するために使用され得る、前記動きセンサからのデータを収集するステップ
    をさらに含む、請求項44から53のいずれか一項に記載の方法。
55. 前記動きセンサから収集される前記データは、ワイヤレスで収集される、請求項54に記載の方法。
56. 前記動きセンサから収集される前記データは、前記動きセンサに接続される電線から収集される、請求項54に記載の方法。
57. 前記動きセンサから収集される前記データは、電話、コンピュータ、タブレット、およびポータブルメモリのうちの少なくとも1つにより収集される、請求項54から56のいずれか一項に記載の方法。
58. 3次元空間内で、前記体部分の仮想3次元モデルに対して前記動きセンサをレジストレーションするステップと、
    前記体部分の位置の関数として前記動きセンサからの収集されるデータを相関させて、動きのレンジの中で再度位置設定されるときに、前記体部分の実際の位置を反映するように再度位置設定可能である、前記体部分の仮想動的モデルを創出するステップと
    をさらに含む、請求項44から57のいずれか一項に記載の方法。
59. 前記複数の放射線写真画像を使用して、前記動きセンサの仮想3次元モデルを構築するステップ
    をさらに含む、請求項44から57のいずれか一項に記載の方法。
60. 前記複数の放射線写真画像を使用して、前記動きセンサの仮想3次元モデルを構築するステップ
    をさらに含む、請求項58に記載の方法。
61. 前記動きセンサの前記仮想3次元モデルは、仮想3次元複合モデルを創出するために、前記体部分の前記仮想3次元モデルへと一体化される、請求項60に記載の方法。
62. 前記体部分の位置の関数として前記動きセンサからの収集されるデータを相関させて、前記仮想3次元複合モデルに対する動的移動を提供するステップ
    をさらに含む、請求項61に記載の方法。
63. 前記動きデータを収集するステップは、時間の関数として、前記動きセンサの位置の変化および回転の変化のうちの少なくとも1つを記録するステップを含む、請求項62に記載の方法。
64. 前記動きデータを収集するステップは、時間の関数として、前記動きセンサの変化加速度を記録するステップを含む、請求項62に記載の方法。
65. 収集される前記動きデータはタイムスタンプされる、請求項62に記載の方法。