JP2020522369A

JP2020522369A - 手術経路上の１つまたは複数の点を決定する方法およびシステム

Info

Publication number: JP2020522369A
Application number: JP2020517253A
Authority: JP
Inventors: シェシャオチェン; カンジュワン
Original assignee: ブレインナビバイオテクノロジーカンパニーリミテッド
Priority date: 2017-06-04
Filing date: 2018-06-04
Publication date: 2020-07-30
Anticipated expiration: 2038-06-04
Also published as: EP3586507A4; KR102493021B1; KR20200016833A; TW201907366A; WO2018223925A1; US11648066B2; TWI670681B; CN110494096B; CN110494096A; JP7095079B2; EP3586507A1; US20200008892A1

Abstract

本発明の実施形態は、手術経路上の１つまたは複数の点にロボットアームを駆動する方法を説明する。この方法は、患者の医用画像スキャンに基づいて３次元モデルを構築することと、３次元モデルに従って手術経路を計画することと、３次元光学装置によって取り込まれた患者の画像情報を取得することと、３次元モデルのランドマーク点の第１のセットを選択することと、取得した画像情報内のランドマーク点の第２のセットを選択することと、ランドマーク点の第１のセットとランドマーク点の第２のセットとをマッチングさせることと、マッチング結果に基づいて３次元モデルの座標系から３次元光学装置の座標系に座標を変換することと、ロボットアームの座標系において手術経路上の１つまたは複数の点にロボットアームを駆動することを含む。

Description

本発明の実施形態は、一般に、手術経路上の１つまたは複数の点を決定する方法およびシステムに関する。

本明細書で特に明記しない限り、このセクションで説明するアプローチは、本出願の特許請求の範囲の先行技術ではなく、このセクションに含めることによって先行技術であるとは認められない。

手術では手術経路の計画が重要である。前記手術経路には、患者から離れた安全点および術前点、患者の組織の入口点、手術の目標における目標点など、複数の点が含まれ得る。

ロボット手術によって前記手術経路を正確に制御できる。手術の前に、患者は医用スキャン（例えば、ＣＴまたはＭＲＩ）を受ける。目的の解剖学的領域への前記手術経路が計画される。人工知能を使用して、損傷が最も少ない最良のルートを外科医に提示することができる。手術を行うために、前記患者の位置を医用スキャンの視点に合わせて、計画された手術経路に沿って正確に手術を行うことができる。従来のアプローチは、基準マークへの接着またはねじ止めに依拠しているために採用の問題がある。

（関連出願の相互参照）
本出願は、２０１７年６月４日に出願された米国仮出願第６２／５１４，９５１号、２０１８年１月２日に出願された米国仮出願第６２／６１２，７２８号、および２０１８年１月１６日に出願された米国仮出願第６２／６１８，０５３号の利益を主張し、参照によりそれらの全体が組み込まれる。

手術中に遭遇する可能性のあるいくつかの点の間の空間的関係を示す例示的な図である。手術経路上の１つまたは複数の点にロボットアームを駆動する例示的なプロセスを示すフロー図である。手術経路計算の例を示す図である。医用画像スキャンによって得られた情報を処理する画像処理を示す図である。医用画像スキャンによって得られた情報を処理する画像処理を示す図である。主要な特徴を選択してランドマーク点を識別する顔面認識方法を示す図である。主要な特徴を選択してランドマーク点を識別する顔面認識方法を示す図である。構築された３次元モデル座標系から３次元カメラ座標系への座標変換を示す図である。座標を変換する例示的なプロセスを示す流れ図である。ロボットアーム座標系で光学装置を位置合わせする例示的なプロセスを示すフロー図である。手術経路上の初期点から安全点にロボットアームを移動させる例示的プロセスを示すフロー図である。ロボットアーム座標系でロボットアームフランジに取り付けられた外科用ツールを位置合わせするシステムを示す例示的な図である。本開示のいくつかの実施形態に従って全て配置された、ロボットアーム座標系でロボットアームフランジに取り付けられた外科用ツールを位置合わせするシステムの第１のカメラおよび第２のカメラによって取り込まれた画像例を示す図である。本開示のいくつかの実施形態に従って全て配置された、ロボットアーム座標系でロボットアームフランジに取り付けられた外科用ツールを位置合わせするシステムの第１のカメラおよび第２のカメラによって取り込まれた画像例を示す図である。

以下の詳細な説明では、本明細書の一部を形成する添付図面を参照する。図面では、文脈からそうでないことが示されていない限り、同様の記号は通常、同様の成分を示す。詳細な説明、図面、および特許請求の範囲に記載されている例示的な実施形態は、限定することを意図していない。本明細書に提示される主題の精神または範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を加えることができる。本開示の態様は、本明細書に一般的に記載され、図に例示されるように、多種多様な異なる構成で配置、置換、組み合わせ、および設計することができ、その全てが本明細書で明示的に企図されることは容易に理解されよう。

図１は、本開示のいくつかの実施形態に従って配置された、手術中に遭遇する可能性のあるいくつかの点の間の空間的関係を示す例示的な図である。図１において、手術経路１１０は、安全点１２０、術前点１３０、入口点１４０、および目標点１５０を含み得る。

図２は、本開示のいくつかの実施形態に従って配置された手術経路上の１つまたは複数の点にロボットアームを駆動する例示的なプロセス２００を示す流れ図である。前記プロセス２００は、ブロック２１０、２２０、２３０、２４０、２５０、２６０、２７０、および／または２８０で例示されるように、ハードウェア、ソフトウェア、および／またはファームウェアによって実行され得る１つまたは複数の動作、機能、またはアクションを含み得る。様々なブロックは、説明する実施形態に限定されることを意図していない。概説された工程および動作は例としてのみ提供され、工程および動作の一部はオプションであり、組み合わせてより少ない工程および動作にしてもよいし、開示される実施形態の本質を損なうことなく追加の工程および動作に拡張してもよい。ブロックは連続した順序で例示されているが、これらのブロックは、並行して、および／または本明細書で説明する順序とは異なる順序で実行されてもよい。

前記プロセス２００は、前記ブロック２１０「医用画像スキャンに基づいて３次元モデルを構築する」で開始することができる。手術が実行される前に、いくつかの医用撮像技術を使用して患者の状態のスナップショットを取り込み、手術計画を策定することができる。手術計画は、上記の計画された手術経路を含み得る。例えば、外科医は、手術目標の医用画像スキャン（例えば、ＣＴまたはＭＲＩ）を指示してもよい。そのような医用画像スキャンは、手術の数日前（例えば、３〜５日前）に実行されてもよい。３次元モデルは、いくつかの既知のアプローチを使用して医用画像スキャンデータに基づいて構築され得る。したがって、前記計画された手術経路上の点を前記３次元モデルにおいて識別することができる。

前記ブロック２１０の後に、前記ブロック２２０「インテリジェント手術経路計画を実行する」が続き得る。いくつかの実施形態では、人工知能エンジンを使用して、前記患者への物理的損傷を最小限に抑えた１つまたは複数のルートを外科医に提案することができる。前記患者のＣＴまたはＭＲＩスキャンに基づいて、前記人工知能エンジンは１つまたは複数の最適な手術経路を提案することができる。図３は、本開示のいくつかの実施形態に従って配置された目標点３２０に到達するための手術経路３１０の計算の一例を示す。計算には、標準の脳アトラスデータを変換すること、および脳野を識別するためにそれを前記患者の医用スキャン画像に位置合わせすることが含まれ得る。いくつかの脳野の例には、運動連合野３３１、表現発話野３３２、高次精神機能野３３３、運動野３３４、感覚野３３５、体性感覚連合野３３６、包括的言語野３３７、視覚野３３８、受容発話野３３８、受容発話野３３９、連合野３４１、および小脳野３４２が含まれる。さらに、視床下核などの一般的な目標組織は自動的に識別されてもよい。さらに、上記の各脳野に費用関数を割り当てて、前記人工知能エンジンが前記目標組織への１つまたは複数のルートを提案してもよい。血管は、ＴＯＦ（飛行時間ＭＲＩ）データから識別され得る。外側の脳の境界上の点は、入口点の候補である。

図４Ａおよび図４Ｂは、本開示のいくつかの実施形態に従って配置された前記医用画像スキャンによって得られた情報を処理する画像処理を例示している。図４Ａおよび図４Ｂに関連して、本開示のいくつかの実施形態によれば、前記ブロック２２０の後に、前記ブロック２３０「医用画像スキャンによって得られた情報を処理する」が続き得る。３次元光学装置によって取り込まれた画像から得られた点は、前記患者の外観情報にのみ関連付けられ、前記患者の皮下情報には関連付けられない。しかし、医用画像スキャンで得られた画像は、通常、前記外観情報と前記皮下情報の両方に関連付けられている。画像処理を実行して、前記医用画像スキャンからの前記皮下情報を取り除く。したがって、ブロック２６０では、前記３次元光学装置によって得られた外観点および前記医用画像スキャンから得られた外観点が３次元マッチングに使用される。

図４Ａにおいて、いくつかの実施形態では、手術目標が患者の頭部内にあると仮定すると、２値画像４１０は、前記患者の頭部からつま先までの軸方向に沿った元のＭＲＩ画像から導出され得る。領域４１１は前記患者の頭蓋骨であり、通常、元のＭＲＩ画像では白で表される。前記領域４１１の外周４１２は、前記患者の外観に関連付けられた前記患者の皮膚を指す場合がある。閾値化アプローチにより、頭蓋骨の外側の領域４１３（全て黒）および頭蓋骨の内側の領域４１５を含む前記画像４１０が作成され得る。前記画像４１０をさらに処理して、画像４２０を形成することができる。前記画像４２０では、前記領域４１３にグレースケールが割り当てられ、白黒と区別されて領域４２３が形成される。

図４Ｂでは、前記画像４２０をさらに処理して画像４３０を形成することができる。前記画像４３０では、前記領域４１３のグレースケール以外の領域に黒が割り当てられて領域４３１が形成される。次に、前記画像４３０の前記領域４２３に白を割り当てて、画像４４０を形成することができる。いくつかの実施形態では、前記画像４４０の周辺部４４１に沿った点は、前記ブロック２４０で前記３次元光学装置によって撮影された画像からの点をマッチングさせるために選択されてもよい。

前記ブロック２３０の後には前記ブロック２４０「３次元光学装置によって撮影された患者の画像を取得する」が続き得る。前記「３次元光学装置」は、一般に、深度検知技術を備えたカメラまたはスキャナを指す場合がある。いくつかの実施形態では、前記３次元光学装置は、少なくとも２つの２次元カメラを含み得るが、これらに限定されない。いくつかの他の実施形態では、前記３次元光学装置は、３次元深度検知モジュールおよび２次元カメラモジュールを含むことができるが、これらに限定されない。いくつかの実施形態では、３次元スキャナは、スキャンされる物体の表面上に幾何学的サンプルの点群を作成するように構成される。これらの点を使用して物体の形状を推定することができる。いくつかの実施形態では、前記３次元スキャナは口腔内スキャナであってもよい。

いくつかの実施形態では、従来の２次元光学装置で得られた情報に加えて、前記３次元光学装置で前記患者の深度情報を取り込んでもよい。いくつかの実施形態では、前記３次元光学装置は、手術室で前記患者の外科的切開が行われる直前に該患者の画像を撮影するように構成されてもよい。前記３次元光学装置は、手術室の静止デバイス（例えば、ロボットアーム、手術台車）に固定されてもよい。

前記ブロック２４０の後に前記ブロック２５０「ランドマーク点を選択する」が続き得る。いくつかの実施形態では、前記ブロック２１０で構築された前記３次元モデルおよび前記ブロック２４０で取得された画像から１つまたは複数のランドマーク点を選択することができる。いくつかの実施形態では、強い特徴を有する３つ以上のランドマーク点が選択される。ランドマーク点の例は、眼の中央、鼻先、または口を含み得る。いくつかの実施形態では、３つのランドマーク点は、反復最近接点（ＩＣＰ）アルゴリズムを使用した後続のマッチングを可能にする初期３次元座標を識別してもよい。いくつかの実施形態では、前記ランドマーク点は、３次元光学装置スキャンおよびＣＴ／ＭＲＩデータの両方で同じ順序（例えば、１．鼻先、２．左眼、３．右眼）であり得る。

明確にするために、以下の説明では、主に、３次元カメラなどの前記３次元光学装置の非限定的な一例、および３次元カメラ座標系などのその座標系を使用して、本開示の様々な実施形態を説明する。

いくつかの実施形態において、図５Ａおよび図５Ｂは、本開示のいくつかの実施形態に従って配置されたランドマーク点を識別するために主要な特徴を選択する顔面認識方法を例示している。患者は通常、外科処置中に眼を閉じているため、丸い虹彩で眼を識別することに依拠する従来の顔面認識アルゴリズムは使用できない。代わりに、前記患者の鼻、最も前方の構造が最初に選択される。これは、前記患者が一般に同じ位置にいるために可能である。所定のｚオフセットを有する鼻先から、他のランドマーク点（例えば、眼）を選択するための関心領域（例えば、図５Ａに例示されている長方形）が画定される。いくつかの実施形態では、関心領域は、鼻先、眼、額、および眉間の領域によって画定される領域を含み得る。したがって、いくつかの実施形態では、横（軸）断面から、３つ以上のランドマーク点が（例えば、鼻がより高い中心ピークとして、眼球がより小さな２つのピークとして）識別され得る。

前記ブロック２５０の後に、前記ブロック２６０「画像マッチングを実行する」が続き得る。いくつかの実施形態では、前記画像マッチングは、前記ブロック２５０で選択された前記ランドマーク点のマッチングを含む。いくつかの実施形態では、前記３次元光学装置によって撮影された画像から選択されたランドマーク点と、前記構築された３次元モデルから選択されたランドマーク点とが、２セットのランドマーク点間の差を最小化するために時には反復してマッチングされる。いくつかの実施形態では、マッチングに使用されるランドマーク点は、利用可能な全ての表面データを包含してもよい。他の実施形態では、マッチングに使用されるランドマーク点は、表面データの選択されたサブセットであってもよい。例えば、マッチングのためのランドマーク点は、利用可能な全ての表面データから繰り返し選択される代わりに、前記３次元光学装置によって撮影された画像の関心領域（例えば、図５Ａに例示されている長方形）および前記構築された３次元モデルの関心領域から繰り返し選択されてもよい。

前記ブロック２６０の後には、前記ブロック２７０「座標を変換する」が続き得る。前記ブロック２７０では、前記構築された３次元モデル（例えば、Ｐ１、Ｐ２、およびＰ３）から選択された点が、元の座標系（すなわち、３次元モデル座標系）から前記３次元光学装置によって撮影された画像の座標（すなわち、３次元カメラ座標系）に変換される。前記変換は、反復最近接点（ＩＣＰ）などのいくつかの画像比較アプローチに基づいてもよい。前記ブロック２７０は、前記３次元カメラ座標系上の全ての点がロボットアームの座標（すなわち、ロボットアーム座標系）に変換される、追加の座標変換をさらに含むことができる。座標変換の詳細については、以下でさらに説明する。

前記ブロック２７０の後には、前記ブロック２８０「手術経路上の点にロボットアームを駆動する」が続き得る。前記ブロック２８０において、３次元モデル座標系における前記計画された手術経路の座標は、前記ロボットアーム座標系に変換され得る。したがって、前記ロボットアームは、前記計画された手術経路上の安全点、術前点、入口点、および／または目標点に移動することができる。

要するに、３次元カメラまたはスキャナを使用して、患者の顔面の特徴を得ることができる。次に、顔面の特徴を、医用画像スキャンに関連付けられた処理済み画像データと比較してもよい。比較するために、前記３次元カメラで得た画像および前記医用画像スキャンに関連付けられた画像の両方で、ランドマーク点を同じ順序で選択する。いくつかの実施形態では、例示的なプロセス２００は、脳手術、神経系手術、内分泌手術、眼科手術、耳手術、呼吸器手術、循環器系手術、リンパ管手術、胃腸手術、口腔および歯科手術、泌尿器手術、生殖手術、骨、軟骨および関節手術、筋肉／軟組織手術、乳房手術、皮膚手術など、様々な種類の手術に適用され得る。

図６は、本開示のいくつかの実施形態による、前記構築された３次元モデル座標系から前記３次元カメラ座標系への例示的な座標変換を示す。この図について、図７に関連して以下でさらに説明する。

図７は、本開示のいくつかの実施形態による、座標を変換する例示的なプロセス７００を示す流れ図である。前記プロセス７００は、ブロック７１０、７２０、７３０、および／または７４０で例示されるように、ハードウェア、ソフトウェア、および／またはファームウェアによって実行され得る１つまたは複数の動作、機能、またはアクションを含み得る。様々なブロックは、説明する実施形態に限定されることを意図していない。概説された工程および動作は例としてのみ提供され、工程および動作の一部はオプションであり、組み合わせてより少ない工程および動作にしてもよいし、開示される実施形態の本質を損なうことなく追加の工程および動作に拡張してもよい。ブロックは連続した順序で例示されているが、これらのブロックは、並行して、および／または本明細書で説明する順序とは異なる順序で実行されてもよい。

図６に関連して、前記ブロック７１０で初期行列を得る。いくつかの実施形態では、第１の初期行列Ｔ_ＭＲＩおよび第２の初期行列Ｔ_{ｃａｍｅｒａ}を得る。いくつかの実施形態では、
式中、
Ｖｅｃｔｏｒ_ＸｘはＶｅｃｔｏｒ_Ｘのｘ成分、Ｖｅｃｔｏｒ_ＸｙはＶｅｃｔｏｒ_Ｘのｙ成分、Ｖｅｃｔｏｒ_ＸｚはＶｅｃｔｏｒ_Ｘのｚ成分である。同様に、Ｖｅｃｔｏｒ_ｙｘはＶｅｃｔｏｒ_ｙ，のｘ成分、Ｖｅｃｔｏｒ_ｙｙはＶｅｃｔｏｒ_ｙのｙ成分、Ｖｅｃｔｏｒ_ｙｚはＶｅｃｔｏｒ_ｙ，のｚ成分である。Ｖｅｃｔｏｒ_ＺｘはＶｅｃｔｏｒ_Ｚのｘ成分、Ｖｅｃｔｏｒ_ＺｙはＶｅｃｔｏｒ_Ｚのｙ成分、Ｖｅｃｔｏｒ_ＺｚはＶｅｃｔｏｒ_Ｚのｚ成分である。Ｐ１_ＸはＰ１のｘ座標、Ｐ１_ｙはＰ１のｙ座標、Ｐ１_ｚはＰ１のｚ座標である。

いくつかの他の実施形態では、
式中、
Ｖｅｃｔｏｒ_Ｘ’ｘはＶｅｃｔｏｒ_Ｘ’のｘ成分、Ｖｅｃｔｏｒ_Ｘ’ｙはＶｅｃｔｏｒ_Ｘ’のｙ成分、Ｖｅｃｔｏｒ_Ｘ’ｚはＶｅｃｔｏｒ_Ｘ’のｚ成分である。同様に、Ｖｅｃｔｏｒ_ｙ’ｘはＶｅｃｔｏｒ_ｙ’のｘ成分、Ｖｅｃｔｏｒ_ｙ’ｙはＶｅｃｔｏｒ_ｙ’のｙ成分、Ｖｅｃｔｏｒ_ｙ’ｚはＶｅｃｔｏｒ_ｙ’のｚ成分である。Ｖｅｃｔｏｒ_Ｚ’ｘはＶｅｃｔｏｒ_Ｚ’のｘ成分、Ｖｅｃｔｏｒ_Ｚ’ｙはＶｅｃｔｏｒ_Ｚ’のｙ成分、Ｖｅｃｔｏｒ_Ｚ’ｚはＶｅｃｔｏｒ_Ｚ’のｚ成分である。Ｐ１’_ＸはＰ１’のｘ座標、Ｐ１’_ｙはＰ１’のｙ座標、Ｐ１’_ｚはＰ１’のｚ座標である。

前記ブロック７１０の後に、前記ブロック７２０「変換行列を得る」が続き得る。いくつかの実施形態では、前記変換行列はＴ_{ｃａｍｅｒａ}Ｔ_ＭＲＩ ^−１であってもよく、Ｐ１、Ｐ２およびＰ３は、前記Ｔ_{ｃａｍｅｒａ}Ｔ_ＭＲＩ ^−１に従って前記３次元カメラ座標系に変換される。Ｐ１、Ｐ２およびＰ３がそれぞれＰ１_transformed、Ｐ２_transformed、Ｐ３_transformedに変換されると仮定すると、前記Ｐ１_{ｔｒａｎｓｆｏｒｍｅｄ}および前記Ｐ１’、前記Ｐ２_transformedおよび前記Ｐ２’、ならびに前記Ｐ３_transformedおよび前記Ｐ３’の間の差異に関連付けられた距離メトリックは、いくつかの実行可能なＩＣＰアプローチに基づいて計算される。

前記ブロック７２０の後に前記ブロック７３０が続き得る。前記ブロック７３０では、前記距離メトリックの変化が閾値に達しているかどうかが決定される。前記閾値に達していない場合、前記ブロック７３０は前記ブロック７２０に戻り、そこで前記Ｐ１_transformed、前記Ｐ２_transformed、および前記Ｐ３_transformedが選択されて、Ｔ_{ｃａｍｅｒａ}が更新され、最終的に新しい変換行列Ｔ_{ｃａｍｅｒａ}Ｔ_ＭＲＩ ^−１が得られる。前記閾値に達している場合、前記ブロック７３０の後に前記ブロック７４０が続き得る。

前記ブロック７４０では、前記３次元カメラ座標系から前記ロボットアーム座標系に点を変換するための変換行列が得られる。いくつかの実施形態では、前記変換行列は、
であり、式中、

は前記ロボットアーム座標系のカメラ中心（カメラ座標系の原点など）に関連付けられた回転ベクトルであり、
ｋｘは前記
のｘ成分、ｋｙは前記
のｙ成分、ｋｚは前記
のｚ成分であり、Ｐｃｘは前記ロボットアーム座標系の前記カメラ中心のｘ座標、Ｐｃｙは前記ロボットアーム座標系の前記カメラ中心のｙ座標、Ｐｃｚは前記ロボットアーム座標系の前記カメラ中心のｚ座標である。いくつかの実施形態では、前記ロボットアーム座標系の前記カメラ中心を位置合わせするための例示的なアプローチについて、図８に関連して以下でさらに説明する。

前記変換行列に従って、前記３次元モデル座標系の前記手術経路上の点は前記ロボットアーム座標系に変換され得る。したがって、前記ロボットアームは、前記手術経路上の１つまたは複数の点に移動することができる。

いくつかの実施形態において、図８は、前記ロボットアーム座標系で光学装置（例えば、カメラ）を位置合わせする例示的なプロセス８００を示す流れ図である。いくつかの実施形態では、前記光学装置は前記ロボットアームのフランジに取り付けられてもよい。上述のように、前記ｋｘ、前記ｋｙ、前記ｋｚ、前記Ｐｃｘ、前記Ｐｃｙ、および前記Ｐｃｚを有する前記ロボットアーム座標系で前記光学装置を説明するために、まず、前記光学装置に関連付けられた点（例えば、カメラ座標系の原点）を前記プロセス８００に従って前記ロボットアーム座標系に位置合わせすることができる。前記プロセス８００は、ブロック８１０、８２０、８３０および／または８４０によって示されるように、ハードウェア、ソフトウェアおよび／またはファームウェアによって実行され得る１つまたは複数の動作、機能、またはアクションを含み得る。様々なブロックは、説明する実施形態に限定されることを意図していない。概説された工程および動作は例としてのみ提供され、工程および動作の一部はオプションであり、組み合わせてより少ない工程および動作にしてもよいし、開示される実施形態の本質を損なうことなく追加の工程および動作に拡張してもよい。ブロックは連続した順序で例示されているが、これらのブロックは、並行して、および／または本明細書で説明する順序とは異なる順序で実行されてもよい。

前記プロセス８００は、前記ブロック８１０で開始することができる。前記ブロック８１０で、前記ロボットアームは開始位置に移動するように構成される。いくつかの実施形態では、前記開始位置は前記ロボットアームの基部に隣接し、かつ面している。いくつかの実施形態では、前記開始位置で、前記光学装置は、前記ロボットアームの該基部の１つまたは複数の画像を取り込むように構成されている。前記取り込まれた画像は、前記光学装置の点と前記ロボットアームの該基部との空間的関係に関連付けられる。

前記ブロック８１０の後に前記ブロック８２０が続き得る。前記ブロック８２０では、前記取り込まれた画像に基づいて、前記ロボットアームの該基部のメッシュが得られる。

前記ブロック８２０の後に前記ブロック８３０が続き得る。前記ブロック８３０では、前記ロボットアームの特定の物理情報に基づいて、前記ロボットアームの該基部の３次元モデルが構築される。いくつかの実施形態では、前記物理情報は、前記ロボットアームの要素の寸法、向き、および／または幾何学的特徴を含んでもよい。

前記ブロック８３０の後に前記ブロック８４０が続き得る。前記ブロック８４０では、前記得られたメッシュと前記構築された３次元モデルとをマッチングさせる。前記マッチングには、いくつかの技術的に実行可能なアプローチを使用することができ、例えば、所与の収束精度を満たすために、前記得られたメッシュの点と前記構築された３次元モデルの点とをマッチングさせる反復最近接点アプローチが使用され得る。前記所与の収束精度が満たされることに応答して、前記光学装置の点と前記ロボットアームの該基部との空間的関係を計算できる。この計算に基づいて、カメラの点を前記ロボットアーム座標系に位置合わせできる。

図９は、本開示のいくつかの実施形態による、手術経路上の初期点から安全点までロボットアームを移動させる例示的なプロセス９００を示す流れ図である。いくつかの実施形態では、前記初期点は、光学装置が前記患者の画像を撮影するように構成される点である。いくつかの実施形態では、前記初期点および前記安全点は前記ロボットアーム座標系にある。前記プロセス９００は、ブロック９１０、９２０、および／または９３０によって示されるように、ハードウェア、ソフトウェア、および／またはファームウェアによって実行され得る１つまたは複数の動作、機能、またはアクションを含み得る。様々なブロックは、説明する実施形態に限定されることを意図していない。概説された工程および動作は例としてのみ提供され、工程および動作の一部はオプションであり、組み合わせてより少ない工程および動作にしてもよいし、開示される実施形態の本質を損なうことなく追加の工程および動作に拡張してもよい。ブロックは連続した順序で例示されているが、これらのブロックは、並行して、および／または本明細書で説明する順序とは異なる順序で実行されてもよい。

前記ブロック９１０では、前記ロボットアームを前記初期点から前記安全点まで回転させるための回転行列が得られる。いくつかの実施形態では、前記回転行列は
であり、式中、
Ｒ_１は、前記初期点での回転行列であり、
αは、前記初期点でのＺ軸に沿った回転角度であり、
βは、前記初期点でのＹ軸に沿った回転角度である。

前記ブロック９１０の後に前記ブロック９２０が続き得る。前記ブロック９２０では、前記安全点の座標が得られる。いくつかの実施形態では、前記安全点の座標（Xｓ，Ys，Ｚｓ）は、
であり得、
Ｒ_１は、前記初期点での回転行列であり、
（Ｘ_１，Ｙ_１，Ｚ_１）は、前記初期点の座標であり、
Ｘ_ｄｉｓは、前記初期点からのＸ軸上の移動距離であり、
Ｙ_ｄｉｓは、前記初期点からのＹ軸上の移動距離であり、
Ｚ_ｄｉｓは、前記初期点からのＺ軸上の移動距離である。

いくつかの実施形態では、Ｘ_ｄｉｓ、Ｙ_ｄｉｓ、およびＺ_ｄｉｓは、前記ロボットアームに取り付けられた外科用器具の長さに関連付けられている。いくつかの実施形態では、前記外科用器具の長さと、Ｘ_ｄｉｓ、Ｙ_ｄｉｓ、およびＺ_ｄｉｓのいずれかとの合計は、それぞれＸ軸、Ｙ軸およびＺ軸上の前記ロボットアームから前記患者までの距離よりも小さい。

前記ブロック９２０の後に前記ブロック９３０が続き得る。前記ブロック９３０では、ロボットアームは、前記ブロック９１０で得られた前記回転行列および前記ブロック９２０で得られた前記座標に従って、前記初期点から前記安全点まで回転および移動するように構成される。

いくつかの実施形態では、図１０のコンピューティングシステム１０６０は、前述のプロセス９００を実行するように構成され得る。

図１０は、本開示のいくつかの実施形態による、前記ロボットアーム座標系においてロボットアームフランジに取り付けられた外科用ツールを位置合わせするシステム１０００を示す例示的な図である。いくつかの実施形態では、前記ロボットアームは初期点にある。いくつかの実施形態では、前記システム１０００は、端部１０１１を有するロボットアームのフランジ１０１０、先端部１０２１を有する前記フランジ１０１０に取り付けられた外科用器具１０２０、第１の光源１０３２、第１のカメラ１０４２、第２の光源１０３４、第２のカメラ１０４４、および有線接続または無線接続のいずれかを介して前記ロボットアームに接続されたコンピューティングシステム１０６０を含み得る。いくつかの実施形態では、前記光源１０３２、１０３４は、プレート１０５０上に垂直に配設されたバックライトプレートであり得る。いくつかの実施形態では、前記プレート１０５０は、前記フランジ１０１０に取り付けられた標準プローブを使用する技術的に実行可能な較正アプローチを通じて前記ロボットアーム座標系によって定義される。較正後、前記標準プローブを前記フランジ１０１０から取り外し、その後前記外科用器具１０２０を前記フランジ１０１０に取り付ける。前記プレート１０５０が前記較正を通じて前記ロボットアーム座標系によって定義されるため、第１のバックライトプレート１０３２は、前記ロボットアーム座標系のｘ座標およびｚ座標によって定義され、第２のバックライトプレート１０３４は、図１０に示すような前記ロボットアームの座標系のｙ座標およびｚ座標によって定義され得る。

いくつかの実施形態では、前記光源１０３２、１０３４は、互いに対して垂直に配設される。いくつかの他の実施形態では、前記第１のカメラ１０４２は前記プレート１０５０上に配設され、前記第２の光源１０３４に垂直であり、前記第２のカメラ１０４４は前記プレート１０５０上に配設され、前記第１の光源１０３２に垂直である。前記外科用器具１０２０は、前記第１の光源１０３２、前記第２の光源１０３４、前記第１のカメラ１０４２、および前記第２のカメラ１０４４の間に配設され得る。

いくつかの実施形態では、前記第１の光源１０３２は、バックライトを生成するように構成される。前記バックライトは、前記外科用器具１０２０の本体を通過するように構成される。前記第１のカメラ１０４２は、前記第１の光源１０３２によって生成される前記バックライトによって生じる前記外科用器具１０２０に関連付けられた１つまたは複数の画像（例えば、前記ロボットアーム座標系のｘ‐ｚ平面上の外科用器具の投影）を取り込むように構成される。

同様に、前記第２の光源１０３４もバックライトを生成するように構成される。前記バックライトは、前記外科用器具１０２０の本体を通過するように構成される。前記第２のカメラ１０４４は、前記第２の光源１０３４によって生成される前記バックライトによって生じる前記外科用器具１０２０に関連付けられた１つまたは複数の画像（例えば、前記ロボットアーム座標系のｙ−ｚ平面上の外科用器具の投影）を取り込むように構成される。

図１０に関連して、図１１は、本開示のいくつかの実施形態による、前記第１のカメラ１０４２によって取り込まれた例示的な画像１１０１、１１０２、および１１０３を示す。上述のように、いくつかの実施形態では、前記第１のカメラ１０４２は、前記ロボットアーム座標系のｘ−ｚ平面上の前記外科用器具１０２０の１つまたは複数の投影を取り込むように構成される。前記画像１１０１の中心から離れた前記先端部１０２１の第１のｘ−ｚ平面投影を有する第１の状態で前記外科用器具１０２０の第１のｘ−ｚ平面投影に応答して前記ロボットアーム座標系で前記外科用器具１０２０を位置合わせするために、前記コンピューティングシステム１０６０は、前記ロボットアームおよび前記フランジ１０１０を移動させるコマンドを生成するように構成され、したがって前記外科用器具１０２０は第２の状態に移動する。前記第２の状態では、前記外科用器具１０２０の第２のｘ−ｚ平面投影が前記画像１１０２に示されており、前記先端部１０２１の第２のｘ−ｚ平面投影は前記画像１１０２の中心にマッチングする。しかし、前記第２の状態では、前記外科用器具１０２０の該第２のｘ−ｚ平面投影は、前記ロボットアーム座標系のｚ軸と整列していない。これに応じて、前記コンピューティングシステム１０６０は、前記ロボットアームおよび前記フランジ１０１０を回転させるコマンドを生成するように構成され、したがって、前記外科用器具１０２０は第３の状態に回転する。前記第３の状態では、前記外科用器具１０２０の第３のｘ−ｚ平面投影が前記画像１１０３に示されており、前記先端部１０２１の第３のｘ−ｚ平面投影は前記画像１１０３の中心にマッチングし、前記外科用器具１０２０の該第３のｘ−ｚ平面投影は前記ロボットアーム座標系のｚ軸と整列している。

上記の工程に加えて、図１０および図１１に関連して、図１２は、本開示のいくつかの実施形態による、前記第２のカメラ１０４４によって取り込まれた例示的な画像１２０１、１２０２、および１２０３を示す。上述のように、いくつかの実施形態では、前記第２のカメラ１０４４は、前記ロボットアーム座標系のｙ−ｚ平面上の前記外科用器具１０２０の１つまたは複数の投影を取り込むように構成される。前記画像１２０１の中心から離れた前記先端部１０２１の第１のｙ−ｚ平面投影を有する第４の状態での前記外科用器具１０２０の第１のｙ−ｚ平面投影に応答して前記ロボットアーム座標系で前記外科用器具１０２０を位置合わせするために、前記コンピューティングシステム１０６０は、前記ロボットアームおよび前記フランジ１０１０を移動させるコマンドを生成するように構成され、したがって前記外科用器具１０２０は第５の状態に移動する。前記第５の状態では、前記外科用器具１０２０の第２のｙ−ｚ平面投影が前記画像１２０２に示されており、前記先端部１０２１の第２のｙ−ｚ平面投影は前記画像１２０２の中心にマッチングする。しかし、前記第５の状態では、前記外科用器具１０２０の該第２のｙ−ｚ平面投影は、前記ロボットアーム座標系のｚ軸と整列していない。これに応じて、前記コンピューティングシステム１０６０は、前記ロボットアームおよび前記フランジ１０１０を回転させるコマンドを生成するように構成され、したがって、前記外科用器具１０２０は第６の状態に回転する。前記第６の状態では、前記外科用器具１０２０の第３のｙ−ｚ平面投影が前記画像１２０３に示されており、前記先端部１０２１の第３のｙ−ｚ平面投影は前記画像１２０３の中心にマッチングし、前記外科用器具１０２０の該第３のｙ−ｚ平面投影はｚ軸と整列している。

いくつかの実施形態では、前記第６の状態で、前記第１のカメラ１０４２は、前記ロボットアーム座標系のｘ−ｚ平面上の前記外科用器具１０２０の１つまたは複数の投影を取り込むように構成される。前記第６の状態に応答して、前記画像１１０３と実質的に同じｘ−ｚ平面投影も示し、前記コンピューティングシステム１０６０は、前記フランジ１０１０の前記端部１０１１に開始点を有し前記先端部１０２１に終点を有する前記外科用器具１０２０に対応する線が、前記ロボットアーム座標系で定義されることを決定するように構成される。したがって、前記ロボットアーム座標系における前記先端部１０２１の座標は、前記ロボットアーム座標系における前記端部１０１１の座標および前記外科用器具１０２１の幾何学的情報（例えば長さ）に基づいて決定され得る。

反対に、前記画像１１０３と実質的に同じではないｘ−ｚ平面投影を示す前記第６の状態に応答して、図１１および図１２について上述した１つまたは複数の工程は、前記第６の状態が前記画像１１０３と実質的に同じｘ−ｚ平面投影を示すまで繰り返される。

いくつかの実施形態では、前記ロボットアーム座標系で前記先端部１０２１の座標を決定した後、前記ロボットアームは、前記フランジ１０１０および前記外科用器具１０２０を移動および／または回転させることにより、前記ロボットアーム座標系で既知の座標を有する基準点に前記先端部１０２１を接触させるように構成され得る。実質的に前記基準点に触れる前記先端部１０２１に応答して、前記コンピューティングシステム１０６０は、前記先端部１０２１の座標が検証されることを決定するように構成される。そうでない場合、上記の工程を繰り返してもよい。

前述の詳細な説明では、ブロック図、フローチャート、および／または例を使用して、デバイスおよび／またはプロセスの様々な実施形態を説明した。そのようなブロック図、フローチャート、および／または例が１つまたは複数の機能および／または動作を含む限り、そのようなブロック図、フローチャート、または例内の各機能および／または動作は個別および／または集合的に、広範囲のハードウェア、ソフトウェア、ファームウェア、またはそれらの実質的にあらゆる組み合わせによって実装できることが当業者には理解されよう。いくつかの実施形態において、本明細書に記載の主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、または他の統合フォーマットを介して実装され得る。しかし、当業者は、本明細書に開示される実施形態のいくつかの態様は、全体または一部において、１つまたは複数のコンピュータで実行される１つまたは複数のコンピュータプログラムとして（例えば、１つまたは複数のコンピュータシステムで実行される１つまたは複数のプログラムとして）、１つまたは複数のプロセッサで実行される１つまたは複数のプログラムとして（例えば、１つまたは複数のマイクロプロセッサで実行される１つまたは複数のプログラムとして）、ファームウェアとして、またはそれらの実質的にあらゆる組み合わせとして、集積回路において同等に実装でき、回路の設計および／またはソフトウェアおよび／またはファームウェアのコードの記述は、本開示に照らして当業者の技術の範囲内に十分にあるであろうことを認識するであろう。さらに、当業者は、本明細書に記載の主題のメカニズムが様々な形態のプログラム製品として配信可能であり、本明細書に記載の主題の例示的な実施形態が、実際に配信を実行するために使用される信号伝達媒体の特定の種類にかかわらず適用されることを理解するであろう。信号伝達媒体の例には、フロッピーディスク、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリなどの記録可能なタイプの媒体、ならびにデジタルおよび／またはアナログ通信媒体（例えば、光ファイバケーブル、導波路、有線通信リンク、無線通信リンクなど）などの伝送タイプの媒体が含まれるがこれらに限定されない。

上記から、本開示の様々な実施形態が例示の目的で本明細書に記載されており、本開示の範囲および精神から逸脱することなく様々な改変がなされ得ることが理解されよう。したがって、本明細書で開示された様々な実施形態は、限定することを意図するものではない。

Claims

患者の医用画像スキャンに基づいて３次元モデルを構築することと、
前記３次元モデルに従って手術経路を計画することと、
３次元光学装置によって取り込まれた前記患者の画像情報を取得することと、
前記３次元モデルのランドマーク点の第１のセットを選択することと、
前記取得した画像情報内のランドマーク点の第２のセットを選択することと、
前記ランドマーク点の第１のセットと前記ランドマーク点の第２のセットとをマッチングさせることと、
前記ランドマーク点の第１のセットと前記ランドマーク点の第２のセットとをマッチングした結果に基づいて、前記３次元モデルに関連付けられた第１の座標系から前記３次元光学装置に関連付けられた第２の座標系に座標を変換することと、
ロボットアームに関連付けられた第３の座標系で手術経路上の１つまたは複数の点にロボットアームを駆動することと
を含む、
手術経路上の１つまたは複数の点にロボットアームを駆動する方法。
前記医用画像スキャンに基づいて１つまたは複数の２値画像を作成することをさらに含み、前記２値画像の白色エリアは、前記手術経路上の解剖学的領域に対応する、
請求項１に記載の方法。
前記白色エリアに基づいて、前記２値画像の第１の領域および第２の領域を画定することをさらに含む、
請求項２に記載の方法。
前記ランドマーク点の第１のセットを選択することは、前記第１の領域とは異なるグレースケール値を有する前記第２の領域内の１つまたは複数のランドマーク点を選択することをさらに含む、
請求項３に記載の方法。
前記ランドマーク点の第１のセットを選択することは、前記３次元モデルの第１の関心領域内の１つまたは複数のランドマーク点を一貫して選択することを含む、
請求項１に記載の方法。
前記ランドマーク点の第２のセットを選択することは、前記取得した画像情報の第２の関心領域内の１つまたは複数のランドマーク点を一貫して選択することを含む、
請求項５に記載の方法。
前記第１の関心領域または前記第２の関心領域は、前記患者の鼻先、眼、額、および眉間の領域によって画定される領域を含む、請求項６に記載の方法。
前記座標を変換することは、前記３次元光学装置の点を前記第３の座標系に位置合わせすることをさらに含む、
請求項１に記載の方法。
前記第３の座標系における前記位置合わせ点に基づいて、前記第２の座標系から前記第３の座標系に座標を変換することをさらに含む、
請求項８に記載の方法。
前記３次元光学装置によって取り込まれた前記ロボットアームの一部の画像によって得られたメッシュを、前記ロボットアームの該一部の３次元モデルとマッチングさせることをさらに含む、
請求項８に記載の方法。
前記ロボットアームに取り付けられた外科用器具を前記第３の座標系に位置合わせすることをさらに含む、
請求項１に記載の方法。
前記外科用器具を位置合わせすることは、前記第３の座標系における前記外科用器具の１つまたは複数の投影に基づいている、
請求項１１に記載の方法。
前記手術経路を計画することは、前記患者の解剖学的領域に費用関数を割り当てることをさらに含む、
請求項１に記載の方法。
ロボットアームと、
３次元光学装置と、
患者の医用画像スキャンに基づいて３次元モデルを構築し、
前記３次元モデルに従って手術経路を計画し、
３次元光学装置によって取り込まれた前記患者の画像情報を取得し、
前記３次元モデルのランドマーク点の第１のセットを選択し、
前記取得した画像情報内のランドマーク点の第２のセットを選択し、
前記ランドマーク点の第１のセットと前記ランドマーク点の第２のセットとをマッチングし、
前記ランドマーク点の第１のセットと前記ランドマーク点の第２のセットとをマッチングした結果に基づいて、前記３次元モデルに関連付けられた第１の座標系から前記３次元光学装置に関連付けられた第２の座標系に座標を変換し、かつ
前記ロボットアームに関連付けられた第３の座標系で前記手術経路上の１つまたは複数の点に前記ロボットアームを駆動する
ように構成されたプロセッサと
を含む、
手術経路上の１つまたは複数の点にロボットアームを駆動するシステム。
前記プロセッサは、前記医用画像スキャンに基づいて１つまたは複数の２値画像を作成するようにさらに構成され、前記２値画像の白色エリアは、前記手術経路上の解剖学的領域に対応する、
請求項１４に記載のシステム。
前記プロセッサは、前記白色エリアに基づいて、前記２値画像の第１の領域および第２の領域を画定するようにさらに構成されている、
請求項１５に記載のシステム。
前記プロセッサは、前記第１の領域とは異なるグレースケール値を有する前記第２の領域内の１つまたは複数のランドマーク点を選択するようにさらに構成されている、
請求項１６に記載のシステム。
前記プロセッサは、前記３次元モデルの第１の関心領域内の１つまたは複数のランドマーク点および／または前記取得した画像情報の第２の関心領域内の１つまたは複数のランドマーク点を一貫して選択するようにさらに構成されている、
請求項１４に記載のシステム。
前記プロセッサは、前記３次元光学装置の点を前記第３の座標系に位置合わせし、前記第３の座標系の位置合わせ点に基づいて前記第２の座標系から前記第３の座標系に座標を変換するようにさらに構成されている、
請求項１４に記載のシステム。
前記ロボットアームに取り付けられた外科用器具の複数の投影を形成する光を生成するように構成された第１の光源と第２の光源とをさらに備え、前記投影は前記第３の座標系で表現される、
請求項１４に記載のシステム。
前記第１の光源および前記第２の光源は、互いに垂直に配設される、
請求項２０に記載のシステム。
互いに垂直に配設され、前記投影の画像を取り込むように構成された第１のカメラと第２のカメラとをさらに備える、
請求項２１に記載のシステム。
前記システムが、脳手術、神経系手術、内分泌手術、眼科手術、耳手術、呼吸器手術、循環器系手術、リンパ管手術、胃腸手術、口腔および歯科手術、泌尿器手術、生殖手術、骨、軟骨および関節手術、筋肉／軟組織手術、乳房手術、および／または皮膚手術で使用するように構成されている、
請求項１４に記載のシステム。